CN112994965B - 一种网络异常检测方法、装置和服务器 - Google Patents

Abstract

本发明提供了网络异常检测方法、装置和服务器，方法包括：接收与规定时间对应的网络指标的预测数据的数据流，以及与规定时间对应的所述网络指标的实际数据的数据流；对接收到的预测数据的数据流与实际数据的数据流进行比对处理，得到网络指标的比对结果。该方法中，预先设置规定时间，当达到该规定时间时，接收与该规定时间对应的网络指标的预测数据的数据流和实际数据的数据流，并进行比对处理，这种在时间维度上逐量抽取预测数据和实际数据，并以数据流的形式进行比对的方式，无需缓存大量的预测数据，从而缓解了内存压力。

Description

一种网络异常检测方法、装置和服务器

技术领域

本发明涉及互联网技术领域，尤其是涉及一种网络异常检测方法、装置和服务器。

背景技术

CDN(Content Delivery Network，即内容分发网络)网络是一种常用的信息分发网络，CDN网络的网络质量，直接影响着信息分发的效率和可靠性，因此，需要对网络质量相关的各项指标进行监控，网络指标例如为错误码、故障率、带宽、丢包率、发包时长等。通过监控，可以及时发现并处理网络异常情况，保证CDN网络的正常运转。

其中一种方式中，需要首先获得网络指标的预测数据，该数据可以是利用预先设定的算法基于历史网络指标数据对指标进行预测得到的预测数据，然后再将指标的预测数据与采集的指标的实际数据进行比对，根据比对结果评估网络质量。其中，预测数据通常保存在数据源中，为了进行比对，需要从数据源中查询预测数据，并且，一般会提前查询预测数据，并对查询到的预测数据进行一定时长的缓存。

但是，查询预测数据需要占用内存资源，而且，预测数据的数据量通常较大，如果预测数据的缓存量较大，易导致内存溢出。

发明内容

本发明的目的在于提供一种网络异常检测方法、装置和服务器，以缓解内存压力。

第一方面，本发明提供的一种网络异常检测方法，该方法包括：接收与规定时间对应的网络指标的预测数据的数据流；接收与规定时间对应的网络指标的实际数据的数据流；对预测数据的数据流与实际数据的数据流进行比对处理，得到网络指标的比对结果。

进一步的，上述对预测数据的数据流与实际数据的数据流进行比对处理，得到网络指标的比对结果的步骤，包括：采用预设的比对算法，计算预测数据的数据流的数据与实际数据的数据流中相应的数据比对值；根据比对值，确定网络指标的比对结果。

进一步的，上述采用预设的比对算法，计算预测数据的数据流的数据与实际数据的数据流中相应的数据比对值的步骤，包括：将预测数据的数据流与实际数据的数据流中，相同位置或相同时刻的数据进行配对处理，得到多对配对集合；计算每对配对集合的比对值，其中，每对配对集合的比对值包括差值和/或比率值；根据每对配对集合的比对值，确定预测数据的数据流的数据与实际数据的数据流中相应的数据比对值。

进一步的，上述得到网络指标的比对结果的步骤之后，该方法还包括：如果比对结果指示网络异常时，生成报警信号。

第二方面，本发明提供的一种网络异常检测方法，该方法包括：从预先存储的网络指标的预测数据集合中，读取规定时间对应的网络指标的预测数据；生成预测数据的数据流，将预测数据的数据流发送至用于比对网络指标的装置，以通过装置对预测数据的数据流与规定时间对应的网络指标的实际数据的数据流进行比对处理，得到网络指标的比对结果。

进一步的，上述读取规定时间对应的网络指标的预测数据的步骤，包括：读取规定时间对应的预设时间段内网络指标的预测数据；或者，读取规定时间对应的网络指标的指定数量的预测数据。

进一步的，上述生成预测数据的数据流的步骤，包括：按照预定的插值时间间隔，在规定时间对应的网络指标的预测数据中的相邻两个数据之间，插入中间值，以生成预测数据的数据流。

进一步的，上述插入的中间值根据相邻两个数据确定。

第三方面，本发明提供的一种网络异常检测装置，该装置包括：第一接收模块，用于接收与规定时间对应的网络指标的预测数据的数据流；第二接收模块，用于接收与规定时间对应的网络指标的实际数据的数据流；比对处理模块，用于对预测数据的数据流与实际数据的数据流进行比对处理，得到网络指标的比对结果。

第四方面，本发明提供的一种网络异常检测装置，该装置包括：数据读取模块，用于从预先存储的网络指标的预测数据集合中，读取规定时间对应的网络指标的预测数据；数据流生成模块，用于生成预测数据的数据流，将预测数据的数据流发送至用于比对网络指标的装置，以通过装置对预测数据的数据流与规定时间对应的网络指标的实际数据的数据流进行比对处理，得到网络指标的比对结果。

第五方面，本发明提供的一种网络异常检测系统，该系统包括预测数据预测装置、实际数据采集装置和比对装置，其中：预测数据预测装置用于预测网络指标的预测数据，从预先预测并存储的网络指标的预测数据集合中，读取规定时间对应的网络指标的预测数据，生成规定时间对应的网络指标的预测数据的数据流，并将预测数据的数据流发送至比对装置；上述实际数据采集装置用于获取与规定时间对应的网络指标的实际数据的数据流，并将实际数据的数据流发送至比对装置；上述比对装置用于接收与规定时间对应的网络指标的预测数据的数据流和与规定时间对应的网络指标的实际数据的数据流，对预测数据的数据流与实际数据的数据流进行比对处理，得到网络指标的比对结果。

进一步的，上述系统还包括报警装置，用于如果比对结果指示网络异常时，生成报警信号。

第六方面，本发明提供的一种服务器，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述第一方面任一项的网络异常检测方法，或者第二方面任一项的网络异常检测方法。

本发明提供的一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述第一方面任一项的网络异常检测方法，或者第二方面任一项的网络异常检测方法。

本发明提供的网络异常检测方法、装置和服务器，首先接收与规定时间对应的网络指标的预测数据的数据流，以及与规定时间对应的所述网络指标的实际数据的数据流；对接收到的预测数据的数据流与实际数据的数据流进行比对处理，得到网络指标的比对结果。该方法中，预先设置规定时间，当达到该规定时间时，接收与该规定时间对应的网络指标的预测数据的数据流和实际数据的数据流，并进行比对处理，这种在时间维度上逐量抽取预测数据和实际数据，并以数据流的形式进行比对的方式，无需缓存大量的数据，从而缓解了内存压力。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种网络异常检测方法的流程图；

图2为本发明实施例提供的另一种网络异常检测方法的流程图；

图3为本发明实施例提供的另一种网络异常检测方法的流程图；

图4为本发明实施例提供的另一种网络异常检测方法的流程图；

图5为本发明实施例提供的另一种网络异常检测方法的流程图；

图6为本发明实施例提供的另一种网络异常检测方法的流程图；

图7为本发明实施例提供的一种网络异常检测装置的结构示意图；

图8为本发明实施例提供的另一种网络异常检测装置的结构示意图；

图9为本发明实施例提供的一种网络异常检测系统的结构示意图；

图10为本发明实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

CDN网络是一种常用的信息分发网络，CDN网络的网络质量，直接影响着信息分发的效率和可靠性，因此，需要对网络质量相关的各项指标进行监控。通常在对网络质量进行监控时，会对各种维度的网络指标数据进行监控，并针对异常值进行报警。

但在实际工作中，由于存在以下两种情况，使得网络指标波动较大；一种情况是，同一网络指标在不同时间段或不同周期内的常态值不同；另一种情况是，同一网络指标在不同地域时，实际的网络指标数据也不同；如果按经验为网络指标设定固定的阈值范围，由于不同周期期间内或者不同地域的网络状况的差异，所设定的阈值范围可能并不适合所有的时间段或地域，因此，针对指定的网络指标，很难有一个通用的、明确的网络指标数据。

为解决上述问题，当需要对网络质量相关的各项指标进行监控时，在其中一种方式中，首先对网络指标数据进行了一定程度上的预测，得到预测数据，然后将预测数据和实际数据进行比对，输出比对结果，并在预测数据和实际数据差异大于预设阈值的情况下，进行报警。

通常采用以下两种方式实现预测数据和实际数据的比对，这两种方式都需要经过查询-缓存-比对的过程，才能完成数据比对；方式一中，预测数据在和实际数据进行比对时，需要进行一个阻塞式的访问，具体地，当有实际数据到达时，需要先访问存储预测数据的数据源，从数据源获取到相关的预测数据后，再与实际数据进行比对，比对结束之后再输出比对结果；该方式中，当有实际数据到达，需要与预测数据比对时，就需要访问数据源，因此对数据源的访问频率较高。为了加快效率，可以预先从数据源中获取预测数据并进行缓存，但是由于预测数据的数据量通常较大，变化幅度也较快，无法进行大规模数据的缓存，如果强行进行大规模数据缓存，可能会由于预测数据的缓存量过大，而导致内存溢出。

方式二中，当实际数据规模较大时，采用spark进行分布式处理，该方式需要由任务分发端进行数据源访问并且分发给所有节点；考虑到不同网络指标的数据预测粒度存在差异，比如，有的数据预测是以“天”为单位进行预测，有的数据预测是以“分钟”为单位进行预测，且由于预测数据本身的维度比较多，如果获取整体维度的所有数据，数据量会很大，即使采用该分布式处理方式，也很难保证各节点只接收与该节点相匹配的预测数据信息，每个节点可能会接收到所有的预测数据信息，或者相对较多的预测数据信息，这样各节点都需要缓存大量的预测数据，节点的内存压力也会较大。

基于此，本发明实施例提供了网络异常检测方法、装置和服务器，该技术可以应用于内容分发网络或者各种数据传输网络中。

首先对本发明实施例所公开的一种网络异常检测方法进行详细介绍，该方法可以应用于第一服务器，如图1所示，该方法包括如下步骤：

步骤S102，接收与规定时间对应的网络指标的预测数据的数据流。

上述规定时间可以理解为预先规定的对网络异常进行检测的时间，该规定时间可以是一个时间段也可以是一个时间点；上述网络指标可以理解为衡量网络性能的各种维度的指标，如网络带宽的总量，网络的错误码的错误率，瞬时流量等；上述预测数据可以理解为根据历史数据，为对各种维度的网络指标进行预测后，所得到的网络指标值等；上述数据流可以理解为一组有序的、有起点和终点的字节的数据序列；在实际实现时，为了缓解内存压力，通常会预先设定对网络异常进行检测的时间，即规定时间,当达到该规定时间时，接收与该规定时间对应的网络指标的预测数据的数据流。

上述预测数据的数据流可以从除上述第一服务器以外的服务器中获取，该服务器可以用于存储网络指标的预测数据，并生成规定时间对应的网络指标的预测数据的数据流。

步骤S104，接收与上述规定时间对应的上述网络指标的实际数据的数据流。

上述实际数据可以理解为检测或计算得到的一个或多个网络指标的实际数据，该实际数据通常是数据流的形式；在实际实现时，当达到该规定时间时，接收与该规定时间对应的该网络指标的实际数据的数据流。

步骤S106，对上述预测数据的数据流与上述实际数据的数据流进行比对处理，得到上述网络指标的比对结果。

针对同一维度的网络指标，将上述预测数据的数据流与实际数据的数据流进行比较，判断两组数据流的差异，得到该维度的网络指标的比对结果，根据实际需求，该比对结果可以采用不同的表示形式，如差值或比率值等，该比对结果亦可以进一步为差值或比率值与预设阈值的比较结果。

本发明实施例提供的网络异常检测方法，接收与规定时间对应的网络指标的预测数据的数据流，以及与规定时间对应的网络指标的实际数据的数据流；对接收到的预测数据的数据流与实际数据的数据流进行比对处理，得到网络指标的比对结果。该方法中，预先设置规定时间，当达到该规定时间时，接收与该规定时间对应的网络指标的预测数据的数据流和实际数据的数据流，并进行比对处理，这种在时间维度上逐量抽取预测数据和实际数据，并以数据流的形式进行比对的方式，无需缓存大量的数据，从而缓解了内存压力。

本发明实施例还提供另一种网络异常检测方法，该方法在上述实施例方法的基础上实现；本实施例重点描述对预测数据的数据流与实际数据的数据流进行比对处理，得到网络指标的比对结果的具体实现过程；如图2所示，该方法包括以下步骤：

步骤S202，接收与规定时间对应的网络指标的预测数据的数据流。

步骤S204，接收与上述规定时间对应的上述网络指标的实际数据的数据流。

步骤S206，采用预设的比对算法，计算上述预测数据的数据流的数据与上述实际数据的数据流中相应的数据比对值。

上述比对算法可以基于spark计算引擎，结合一定的计算逻辑来实现；上述比对值通常是上述预测数据的数据流的数据与实际数据的数据流中相应的数据比对之后所得到的数值，比如差值或比率值等，可以进一步为差值或比率值与预设阈值的比较结果；在实际实现时，该步骤S206可以通过以下步骤来实现：

步骤20，将上述预测数据的数据流与上述实际数据的数据流中，相同位置或相同时刻的数据进行配对处理，得到多对配对集合。

在实际实现时，可以先利用spark在多数据流合并和分布式处理方面的功能，将预测数据的数据流和实际数据的数据流中，相同位置或相同时刻的数据进行配对处理，即按照相同的网络指标进行合并，得到{指标，时间，(实际，预测)}形式的多对配对集合。其中，该集合形式中的时间可以理解为时间点，比如，如果计算的是瞬时流量的指标，所对应的数据即为每个时间点的瞬时流量数据，数据流持续不断向外输出数据，每个时间点与该数据流中相应时间点的瞬时流量数据一一对应。

通过spark分布式计算的功能，将转化成一条数据流的预测数据，与实际数据进行联合比对，在时间和维度上进行双重同步，实现实时处理比对数据，将数据流的处理流程转变为配对-比对的过程，与现有方法中的查询-缓存-比对的过程相比，节省了查询和缓存的过程，降低了数据读写的损耗以及数据缓存的内存压力，并且能够减少在分布式计算任务时各个节点之间的数据交互的网络消耗压力，不会产生因大规模数据缓存而导致的内存问题，进而可以更高效的处理预测数据比对问题。

步骤21，计算每对上述配对集合的比对值，其中，每对配对集合的比对值包括差值和/或比率值。

上述差值可以理解为实际数据的数据流的数据与预测数据的数据流中相应的数据之间的差异的绝对值；上述比率值可以理解为实际数据的数据流的数据与预测数据的数据流中相应的数据之间的差异的百分比，如实际数据比预测数据高10％等。在实际实现时，将该配对集合中的实际数据与预测数据按照一定的计算逻辑，计算出每对配对集合的比对值，其中，该比对值可以是差值，或者比率值，或者差值和比率值等。

步骤22，根据每对上述配对集合的比对值，确定上述预测数据的数据流的数据与上述实际数据的数据流中相应的数据比对值。

按照上述步骤计算出每对配对集合的比对结果，则多对配对集合的比对结果的集合，即可确定为预测数据的数据流的数据与实际数据的数据流中相应的数据比对值；作为另一种实现方式，可以对上述多对配对集合的比对结果作进一步处理，如取均值等，将处理后的数据确定为预测数据的数据流的数据与实际数据的数据流中的数据比对值。

步骤S208，根据上述比对值，确定上述网络指标的比对结果。

针对不同的网络指标，采用上述方法确定出相应的比对值，进而得到不同网络指标的比对结果。

上述网络异常检测方法，通过将预测数据的数据流的数据和实际数据的数据流中相应的数据进行配对处理，并基于预设的比对算法，计算出相应的比对值，进而得到预测数据的数据流的数据与实际数据的数据流中相应的数据比对值，以此确定网络指标的比对结果。该方法中，预先设置规定时间，当达到该规定时间时，接收与该规定时间对应的网络指标的预测数据的数据流和实际数据的数据流，并进行比对处理，这种在时间维度上逐量抽取预测数据和实际数据，并以数据流的形式进行比对的方式，无需缓存大量的数据，从而缓解了内存压力。

本发明实施例还提供另一种网络异常检测方法，该方法在上述实施例方法的基础上实现；如图3所示，该方法包括如下步骤：

步骤S302，接收与规定时间对应的网络指标的预测数据的数据流。

步骤S304，接收与上述规定时间对应的上述网络指标的实际数据的数据流。

步骤S306，对上述预测数据的数据流与上述实际数据的数据流进行比对处理，得到上述网络指标的比对结果。

步骤S308，如果上述比对结果指示网络异常时，生成报警信号。

针对每个网络指标，如果网络指标的比对结果指示网络异常时，比如，比对结果大于预设报警阈值，则生成报警信号，以及时提示网络维护人员根据生成报警信号的网络指标，对网络进行维护；如果网络指标的比对结果未指示网络异常，执行步骤S302。

上述比对结果还可以传入报警系统或报警模块，由报警系统或报警模块生成报警信号。

上述网络异常检测方法，如果比对结果指示网络异常时，生成报警信号，以及时提示网络维护人员对网络进行维护，进而提高网络的稳定性。同时这种在时间维度上逐量抽取预测数据和实际数据，并以数据流的形式进行比对的方式，无需缓存大量的数据，从而缓解了内存压力。

本发明实施例还提供另一种网络异常检测方法，该方法可以应用于第二服务器，该第二服务器用于存储网络指标的预测数据，并生成规定时间对应的网络指标的预测数据的数据流，然后将预测数据的数据流发送至前述实施例中的第一服务器；如图4所示，该方法包括如下步骤：

步骤S402，从预先存储的网络指标的预测数据集合中，读取规定时间对应的网络指标的预测数据。

上述预测数据集合可以理解为对各种维度的网络指标进行阈值预测后，所得到的预测数据的集合；由于预测数据一般是提前产生，无法实时利用，因此对于预测产生的数据，通常需要预先缓存在指定位置，例如，上述网络指标的预测数据集合通常预先存储在数据源中，如本地数据库、分布式文件系统或数据库集群等。

从存储在数据源的网络指标的预测数据集合中，读取规定时间对应的网络指标的预测数据，在实际实现时，读取预测数据通常在接收到实际数据前完成读取，但提前的时间通常很短，如3min或5min等，具体可以根据不同的网络指标的监控频率进行设定，两者时间基本同步；计算预测数据的过程通常是基于训练网络，如各种神经网络等，根据不同的时间、地域等条件下的历史数据学习得到。

步骤S404，生成上述预测数据的数据流，将该预测数据的数据流发送至用于比对上述网络指标的装置，以通过该装置对该预测数据的数据流与规定时间对应的网络指标的实际数据的数据流进行比对处理，得到该网络指标的比对结果。

根据预测数据生成的数据流，与数据流形式的实际数据在数据流长度、数据量、数据流内部数据点之间的时间间隔等方面相对应；根据上述步骤所读取出的预测数据，按照预设的数据处理方式，如对预测数据进行插值处理，生成与该实际数据相匹配的数据流；将所生成的预测数据的数据流发送至用于比对网络指标的装置，以通过该装置对预测数据的数据流与规定时间对应的网络指标的实际数据的数据流进行比对处理，得到该网络指标的比对结果。

上述网络异常检测方法，首先读取规定时间对应的网络指标的预测数据，根据该预测数据生成对应的数据流，并发送至用于比对网络指标的装置，以通过该装置对预测数据的数据流与规定时间对应的网络指标的实际数据的数据流进行比对处理，得到网络指标的比对结果。该方法中，预先设置规定时间，当达到该规定时间时，读取规定时间对应的网络指标的预测数据，生成该预测数据的数据流，并发送用于比对网络指标的装置进行比对处理，这种在时间维度上逐量抽取预测数据，并以数据流的形式进行比对的方式，无需缓存大量的数据，从而缓解了内存压力。

本发明实施例还提供另一种网络异常检测方法，该方法在上述实施例方法的基础上实现；本实施例重点描述读取规定时间对应的网络指标的预测数据的具体实现过程；如图5所示，该方法包括以下步骤：

步骤S502，从预先存储的网络指标的预测数据集合中，读取规定时间对应的预设时间段内网络指标的预测数据；或者，读取规定时间对应的网络指标的指定数量的预测数据。

相关技术中，实际数据是数据流的形式，而预测数据是一个完整的结果，如果提前准备好整个预测数据的完整结果，数据量会很大，而实际数据的数据流动态更新的，比如，每分钟计算一个预测数据，针对同一维度，每天预测数据的总量为8万多条，实际数据也会有8万多条，但每分钟只接收一个实际数据，如果需要比对数据，需要把预测数据的全量数据都准备好，预测数据量会比较大，这还只是一个维度，如果考虑多省份等多个维度，总的数据量会更大；另外，如果用整个预测数据进行比对，需要接收到一个实际数据，就需要从整个预测数据中查询对应时间点的数据，数据查询量也会很大。

而本实施例中，由于预测数据通常缓存在指定的数据集中，该数据集也可以理解为数据源，按照时间维度将总数据量较大的预测数据进行分步读取，以减少需要读取的预测数据的数据量；分步读取实际就是隔一段时间访问一次数据源，从该数据源中提取出与规定时间对应的网络指标的预测数据，避免出现大规模的数据查询或缓存，降低数据源访问次数或数据缓存的内存压力。

采用分布读取方式时，预测数据的总数据量不变，通过改变数据读取方式，每次只需预读取少量的预测数据；该读取方式可以采用两种方式：方式一是读取规定时间对应的预设时间段内网络指标的预测数据，该方式每次读取预测数据的持续时间通常是固定的，该预设时间段可以根据用户需求进行设定，如规定时间对应的预设时间段为1分钟、5分钟等；方式二是读取规定时间对应的网络指标的指定数量的预测数据，该方式每次所读取的预测数据的数量通常是固定的，该指定数量可以根据用户需求进行设定，例如：如果读取的预测数据为10:10，每次读取两个预测数据。

步骤S504，生成上述预测数据的数据流，将该预测数据的数据流发送至用于比对上述网络指标的装置，以通过该装置对该预测数据的数据流与规定时间对应的该网络指标的实际数据的数据流进行比对处理，得到该网络指标的比对结果。

上述网络异常检测方法，详细描述了读取规定时间对应的网络指标的预测数据可以采用的两种读取方式，一种是按照固定的持续时间读取预测数据；另一种是按照固定的读取数量读取预测数据；预测数据的读取方式更加灵活。该方法中，在时间维度上逐量抽取预测数据，并以数据流的形式进行比对的方式，无需缓存大量的数据，从而缓解了内存压力。

本发明实施例还提供另一种网络异常检测方法，该方法在上述实施例方法的基础上实现；本实施例重点描述生成预测数据的数据流的具体实现过程；如图6所示，该方法包括如下步骤：

步骤S602，从预先存储的网络指标的预测数据集合中，读取规定时间对应的网络指标的预测数据。

步骤S604，按照预定的插值时间间隔，在上述规定时间对应的网络指标的预测数据中的相邻两个数据之间，插入中间值，以生成该预测数据的数据流。

不同维度的网络指标，监控频率也会有差异，因而接收到实际数据的时间间隔也不同，如，有的网络指标，每分钟可以接收到该网络指标的一个实际数据；而有的网络指标，每天接收到该网络指标的一个实际数据；因为实际数据为数据流形式，数据较为密集，相邻数据之间的时间间隔较小；而预测数据通常是隔一段时间预测一次，预测数据之间的时间间隔较大，为了使预测数据与实际数据具有可比性，需要预先确定实际数据中相邻两个数据之间的时间间隔，以根据该时间间隔确定插值时间间隔。

按照预定的该插值时间间隔，在规定时间对应的网络指标的预测数据中的相邻两个数据之间，插入中间值，以生成该预测数据的数据流；其中，插入的中间值根据该相邻两个数据确定，例如，可以根据相邻两个数据中的第一个数据或最后一个数据确定，也可以根据两个数据共同确定，如两个数据的平均值等。

在实际实现时，可以在规定时间对应的网络指标的预测数据中的相邻两个数据之间插入若干个中间值，形成连续的数据流，所插入的中间值的数量按照上述时间间隔确定，即所形成的连续的数据流中，相邻两个数据之间的时间间隔即为上述插值时间间隔；从而使预测数据对应的数据流与实际数据的数据流之间数据量相匹配；比如，实际数据中每个数据可能对应一个时间点，通过插入中间值的方式，预测数据的数据流中也具有了该时间点上的预测数据；再比如，实际数据中有10个数据，而该实际数据对应时间段的预测数据只有2个数据，通过插入中间值方式，可以使预测数据的数据量达到10个数据，与实际数据的数据量相同。

作为示例，当接收到的实际数据中有5个数据，读取两个预测数据为10:15时，可以采用如上所述的三种方式对预测数据进行插值处理，具体的，如果采用相邻两个数据中的第一个数据作为插入值时，则在10和15之间插入3个数据，数据值均为10，所得到的预测数据的数据流为10:10:10:10:15，该数据流中有5个数据；如果采用相邻两个数据中的最后一个数据作为插入值时，则在10和15之间插入3个数据，数据值均为15，所得到的预测数据的数据流为10:15:15:15:15，该数据流中有5个数据；如果采用两个数据的平均值作为插入值，由于两个数据的平均值为(10+15)/2＝12.5，则在10和15之间插入3个数据，数据值均为12.5，所得到的预测数据的数据流为10:12.5:12.5:12.5:15，该数据流中有5个数据；通过上述方式得到预测数据对应的数据流，该预测数据对应的数据流与实际数据的数据流之间的数据量相匹配。

步骤S606，将上述预测数据的数据流发送至用于比对上述网络指标的装置，以通过该装置对该预测数据的数据流与规定时间对应的网络指标的实际数据的数据流进行比对处理，得到该网络指标的比对结果。

上述网络异常检测方法，详细描述了生成预测数据的数据流的具体实现过程，按照预定的插值时间间隔，在规定时间对应的网络指标的预测数据中的相邻两个数据之间，插入中间值，以生成预测数据的数据流。该方法中，在时间维度上逐量抽取预测数据，并以数据流的形式进行比对的方式，无需缓存大量的数据，从而缓解了内存压力。

参照图7所示的一种网络异常检测装置的结构示意图，该装置包括：第一接收模块70，用于接收与规定时间对应的网络指标的预测数据的数据流；第二接收模块71，用于接收与规定时间对应的网络指标的实际数据的数据流；比对处理模块72，用于对预测数据的数据流与实际数据的数据流进行比对处理，得到网络指标的比对结果。

上述网络异常检测装置，接收与规定时间对应的网络指标的预测数据的数据流，以及与规定时间对应的网络指标的实际数据的数据流；对接收到的预测数据的数据流与实际数据的数据流进行比对处理，得到网络指标的比对结果。该装置中，预先设置规定时间，当达到该规定时间时，接收与该规定时间对应的网络指标的预测数据的数据流和实际数据的数据流，并进行比对处理，这种在时间维度上逐量抽取预测数据和实际数据，并以数据流的形式进行比对的方式，无需缓存大量的数据，从而缓解了内存压力。

进一步的，比对处理模块72还用于：采用预设的比对算法，计算预测数据的数据流的数据与实际数据的数据流中相应的数据比对值；根据比对值，确定网络指标的比对结果。

进一步的，比对处理模块72还用于：将预测数据的数据流与实际数据的数据流中，相同位置或相同时刻的数据进行配对处理，得到多对配对集合；计算每对配对集合的比对值，其中，每对配对集合的比对值包括差值和/或比率值；根据每对配对集合的比对值，确定预测数据的数据流的数据与实际数据的数据流中相应的数据比对值。

进一步的，该装置还用于：如果比对结果指示网络异常时，生成报警信号。

本发明实施例所提供的网络异常检测装置，其实现原理及产生的技术效果和前述网络异常检测方法实施例相同，为简要描述，网络异常检测装置实施例部分未提及之处，可参考前述网络异常检测方法实施例中相应内容。

参照图8所示的另一种网络异常检测装置的结构示意图，该装置包括：数据读取模块80，用于从预先存储的网络指标的预测数据集合中，读取规定时间对应的网络指标的预测数据；数据流生成模块81，用于生成预测数据的数据流，将预测数据的数据流发送至用于比对网络指标的装置，以通过装置对预测数据的数据流与规定时间对应的网络指标的实际数据的数据流进行比对处理，得到网络指标的比对结果。

上述网络异常检测装置，首先读取规定时间对应的网络指标的预测数据，根据该预测数据生成对应的数据流，并发送至用于比对网络指标的装置，以通过该装置对预测数据的数据流与规定时间对应的网络指标的实际数据的数据流进行比对处理，得到网络指标的比对结果。该装置中，预先设置规定时间，当达到该规定时间时，读取规定时间对应的网络指标的预测数据，生成该预测数据的数据流，并发送用于比对网络指标的装置进行比对处理，这种在时间维度上逐量抽取预测数据，并以数据流的形式进行比对的方式，无需缓存大量的数据，从而缓解了内存压力。

进一步的，数据读取模块80还用于：读取规定时间对应的预设时间段内网络指标的预测数据；或者，读取规定时间对应的网络指标的指定数量的预测数据。

进一步的，数据流生成模块81还用于：按照预定的插值时间间隔，在规定时间对应的网络指标的预测数据中的相邻两个数据之间，插入中间值，以生成预测数据的数据流。

进一步的，插入的中间值根据相邻两个数据确定。

本发明实施例所提供的网络异常检测装置，其实现原理及产生的技术效果和前述网络异常检测方法实施例相同，为简要描述，网络异常检测装置实施例部分未提及之处，可参考前述网络异常检测方法实施例中相应内容。

参照图9所示的一种网络异常检测系统的结构示意图，该系统包括预测数据预测装置90、实际数据采集装置91和比对装置92，其中：

预测数据预测装置90用于预测网络指标的预测数据，从预先预测并存储的网络指标的预测数据集合中，读取规定时间对应的网络指标的预测数据，生成规定时间对应的网络指标的预测数据的数据流，并将预测数据的数据流发送至比对装置。

该预测数据预测装置可以运行在前述实施例中的第二服务器中，该预测数据预测装置相当于前述图8所示的网络异常检测装置。

实际数据采集装置91用于获取与规定时间对应的网络指标的实际数据的数据流，并将实际数据的数据流发送至比对装置。

在实际实现时，对于一个网络指标，获取该网络指标的实际数据的数据流通常采用的方式为：先从CDN网络的边缘服务器中采集与规定时间对应的该网络指标的多个初始实际数据的数据流，然后按照预设规则对所采集的多个初始实际数据的数据流进行聚合运算，最终得到规定时间对应的所需维度的实际数据的数据流。

比对装置92用于接收与规定时间对应的网络指标的预测数据的数据流和与规定时间对应的网络指标的实际数据的数据流，对预测数据的数据流与实际数据的数据流进行比对处理，得到网络指标的比对结果。

该比对装置可以运行在前述实施例中的第一服务器中，该比对装置相当于前述图7所示的网络异常检测装置。

上述网络异常检测系统，通过预测数据预测装置预测网络指标的预测数据，读取规定时间对应的网络指标的预测数据生成相应的数据流，并发送至比对装置；通过实际数据采集装置获取与规定时间对应的网络指标的实际数据的数据流，并发送至比对装置；通过比对装置对接收到的预测数据的数据流和实际数据的数据流进行比对，得到网络指标的比对结果。该系统中，预先设置规定时间，当达到该规定时间时，读取规定时间对应的网络指标的预测数据，生成该预测数据的数据流，同时获取规定时间对应的实际数据的数据流，预测数据的数据流和实际数据的数据流均发送至比对装置进行比对处理，这种在时间维度上逐量抽取预测数据，并以数据流的形式进行比对的方式，无需缓存大量的数据，从而缓解了内存压力。

进一步的，该系统还包括报警装置，用于如果比对结果指示网络异常时，生成报警信号。

本发明实施例还提供了一种服务器，参见图10所示，该服务器包括处理器100和存储器101，该存储器101存储有能够被处理器100执行的机器可执行指令，该处理器100执行机器可执行指令以实现上述网络异常检测方法。

进一步地，图10所示的服务器还包括总线102和通信接口103，处理器100、通信接口103和存储器101通过总线102连接。

其中，存储器101可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器100可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器100可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器101，处理器100读取存储器101中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述网络异常检测方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的网络异常检测方法、装置和服务器的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种网络异常检测方法，其特征在于，所述方法包括：

接收与规定时间对应的网络指标的预测数据的数据流；

接收与所述规定时间对应的所述网络指标的实际数据的数据流；

基于spark计算引擎，对所述预测数据的数据流与所述实际数据的数据流进行比对处理，得到所述网络指标的比对结果；

所述基于spark计算引擎，对所述预测数据的数据流与所述实际数据的数据流进行比对处理，得到所述网络指标的比对结果的步骤，包括：

基于spark计算引擎，采用预设的比对算法，计算所述预测数据的数据流的数据与所述实际数据的数据流中相应的数据比对值；

根据所述比对值，确定所述网络指标的比对结果；其中，所述预设的比对算法包括：将所述预测数据的数据流与所述实际数据的数据流中，相同位置或相同时刻的数据进行配对处理，得到多对配对集合；计算每对所述配对集合的比对值。

2.根据权利要求1所述的方法，其特征在于，计算所述预测数据的数据流的数据与所述实际数据的数据流中相应的数据比对值的步骤，包括：

根据每对所述配对集合的比对值，确定所述预测数据的数据流的数据与所述实际数据的数据流中相应的数据比对值；其中，每对所述配对集合的比对值包括差值和/或比率值。

3.根据权利要求1-2任一项所述的方法，其特征在于，得到所述网络指标的比对结果的步骤之后，所述方法还包括：

如果所述比对结果指示网络异常时，生成报警信号。

4.一种网络异常检测方法，其特征在于，所述方法包括：

从预先存储的网络指标的预测数据集合中，读取规定时间对应的网络指标的预测数据；

生成所述预测数据的数据流，将所述预测数据的数据流发送至用于比对所述网络指标的装置，以通过所述装置基于spark计算引擎，对所述预测数据的数据流与所述规定时间对应的所述网络指标的实际数据的数据流进行比对处理，得到所述网络指标的比对结果；

所述通过所述装置基于spark计算引擎，对所述预测数据的数据流与所述规定时间对应的所述网络指标的实际数据的数据流进行比对处理，得到所述网络指标的比对结果的步骤，包括：

通过所述装置基于spark计算引擎，采用预设的比对算法，计算所述预测数据的数据流的数据与所述规定时间对应的所述网络指标的实际数据的数据流中相应的数据比对值；

根据所述比对值，确定所述网络指标的比对结果；其中，所述预设的比对算法包括：将所述预测数据的数据流与所述规定时间对应的所述网络指标的实际数据的数据流中，相同位置或相同时刻的数据进行配对处理，得到多对配对集合；计算每对所述配对集合的比对值。

5.根据权利要求4所述的方法，其特征在于，所述读取规定时间对应的网络指标的预测数据的步骤，包括：

读取规定时间对应的预设时间段内网络指标的预测数据；

或者，读取规定时间对应的网络指标的指定数量的预测数据。

6.根据权利要求4所述的方法，其特征在于，所述生成所述预测数据的数据流的步骤，包括：

按照预定的插值时间间隔，在所述规定时间对应的网络指标的预测数据中的相邻两个数据之间，插入中间值，以生成所述预测数据的数据流。

7.根据权利要求6所述的方法，其特征在于，所述插入的所述中间值根据所述相邻两个数据确定。

8.一种网络异常检测装置，其特征在于，所述装置包括：

第一接收模块，用于接收与规定时间对应的网络指标的预测数据的数据流；

第二接收模块，用于接收与所述规定时间对应的所述网络指标的实际数据的数据流；

比对处理模块，用于基于spark计算引擎，对所述预测数据的数据流与所述实际数据的数据流进行比对处理，得到所述网络指标的比对结果；

所述比对处理模块还用于：

基于spark计算引擎，采用预设的比对算法，计算所述预测数据的数据流的数据与所述实际数据的数据流中相应的数据比对值；

根据所述比对值，确定所述网络指标的比对结果；其中，所述预设的比对算法包括：将所述预测数据的数据流与所述实际数据的数据流中，相同位置或相同时刻的数据进行配对处理，得到多对配对集合；计算每对所述配对集合的比对值。

9.一种网络异常检测装置，其特征在于，所述装置包括：

数据读取模块，用于从预先存储的网络指标的预测数据集合中，读取规定时间对应的网络指标的预测数据；

数据流生成模块，用于生成所述预测数据的数据流，将所述预测数据的数据流发送至用于比对所述网络指标的装置，以通过所述装置基于spark计算引擎，对所述预测数据的数据流与所述规定时间对应的所述网络指标的实际数据的数据流进行比对处理，得到所述网络指标的比对结果；

所述数据流生成模块还用于：

通过所述装置基于spark计算引擎，采用预设的比对算法，计算所述预测数据的数据流的数据与所述规定时间对应的所述网络指标的实际数据的数据流中相应的数据比对值；

根据所述比对值，确定所述网络指标的比对结果；其中，所述预设的比对算法包括：将所述预测数据的数据流与所述规定时间对应的所述网络指标的实际数据的数据流中，相同位置或相同时刻的数据进行配对处理，得到多对配对集合；计算每对所述配对集合的比对值。

10.一种网络异常检测系统，其特征在于，所述系统包括预测数据预测装置、实际数据采集装置和比对装置，其中：

所述预测数据预测装置用于预测网络指标的预测数据，从预先预测并存储的网络指标的预测数据集合中，读取规定时间对应的网络指标的预测数据，生成规定时间对应的网络指标的预测数据的数据流，并将所述预测数据的数据流发送至所述比对装置；

所述实际数据采集装置用于获取与所述规定时间对应的所述网络指标的实际数据的数据流，并将所述实际数据的数据流发送至所述比对装置；

所述比对装置用于接收与规定时间对应的网络指标的预测数据的数据流和与所述规定时间对应的所述网络指标的实际数据的数据流，基于spark计算引擎，对所述预测数据的数据流与所述实际数据的数据流进行比对处理，得到所述网络指标的比对结果；

所述比对装置还用于：

基于spark计算引擎，采用预设的比对算法，计算所述预测数据的数据流的数据与所述实际数据的数据流中相应的数据比对值；

根据所述比对值，确定所述网络指标的比对结果；其中，所述预设的比对算法包括：将所述预测数据的数据流与所述实际数据的数据流中，相同位置或相同时刻的数据进行配对处理，得到多对配对集合；计算每对所述配对集合的比对值。

11.根据权利要求10所述的系统，其特征在于，所述系统还包括报警装置，用于如果所述比对结果指示网络异常时，生成报警信号。

12.一种服务器，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至3任一项所述的网络异常检测方法，或者权利要求4至7任一项所述的网络异常检测方法。

13.一种机器可读存储介质，其特征在于，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现权利要求1至3任一项所述的网络异常检测方法，或者权利要求4至7任一项所述的网络异常检测方法。

Images