CN111400126A - 网络服务异常数据检测方法、装置、设备和介质 - Google Patents

Abstract

本申请属于数据处理领域，公开了一种网络服务异常数据检测方法、装置、计算机设备及可读存储介质。所述方法包括对数据异常判断的无监督算法进行预判，将无监督算法进行划分，减少初步检测的数据计算量，然后再通过预设的异常检测模型进行有监督算法的判断生成的包括判别情况和表示判别情况可信度的判别置信度的目标判断结果，采用本方法通过多种算法对同一数据进行检测，解决了现有技术中通过单一算法进行数据异常判断，导致的对数据的异常判断精确度低的技术问题。

Description

网络服务异常数据检测方法、装置、设备和介质

技术领域

本申请涉及数据处理领域，特别是涉及一种网络服务异常数据检测方法、装置、计算机设备和存储介质。

背景技术

伴随着云计算和大数据的发展，对通过分析数据获取判断结果的需求也越来越高，但是传统技术中需要对数据是否异常进行检测时，需要计算数据特征，并且使用有监督算法比如通过人工进行标注筛选的方式进行判断，有监督算法需要对每一个网络服务异常待检测数据进行判断，比如日志数据、域名访问数据等等，然后得出该待检测数据是否异常，比较耗费时间，而且只通过单一的有监督算法进行判断，随着数据的增长，得出的数据异常的判断结果的准确率也跟不上日益提升的精确度，往往达不到要求的检测精度，使得传统方式的可用性比较低。

发明内容

基于此，有必要针对上述技术问题，本申请提供一种网络服务异常数据检测方法、装置、计算机设备及存储介质，以解决现有技术中通过单一算法进行数据异常判断，导致的对数据的异常判断精确度低的技术问题。

一种网络服务异常数据检测方法，所述方法包括：

获取待检测数据，其中，所述待检测数据包括当前待检测点预设时间内的实时数据，以及所述当前待检测点的同比、环比时间内的历史数据；

获取预设优先条件，并根据所述预设优先条件将无监督算法划分为优先判断算法和滞后判断算法；

将所述待检测数据输入到所述优先判断算法中，得到所述待检测数据的优先判断结果，并将所述优先判断结果作为初步判断结果；

若所述初步判断结果为所述待检测数据异常，则将所述待检测数据输入到异常检测模型得到所述待检测数据的目标判断结果，其中，所述目标判断结果包括判断情况、判别置信度，所述判别置信度为所述判断情况的准确率；

若所述初步判断结果为所述待检测数据正常，则将所述待检测数据输入到所述滞后判断算法中，得到每一个所述滞后判断算法的滞后判断结果，根据所述滞后判断结果生成所述目标判断结果。

一种网络服务异常数据检测装置，所述装置包括：

数据获取模块，用于获取待检测数据，其中，所述待检测数据包括当前待检测点预设时间内的实时数据，以及所述当前待检测点的同比、环比时间内的历史数据；

算法预判模块，用于获取预设优先条件，并根据所述预设优先条件将无监督算法划分为优先判断算法和滞后判断算法；

优先检测模块，用于将所述待检测数据输入到所述优先判断算法中，得到所述待检测数据的优先判断结果，并将所述优先判断结果作为初步判断结果；

目标判断模块，用于若所述初步判断结果为所述待检测数据异常，则将所述待检测数据输入到异常检测模型得到所述待检测数据的目标判断结果，其中，所述目标判断结果包括判断情况、判别置信度，所述判别置信度为所述判断情况的准确率；

滞后检测模块，用于若所述初步判断结果为所述待检测数据正常，则将所述待检测数据输入到所述滞后判断算法中，得到每一个所述滞后判断算法的滞后判断结果，根据所述滞后判断结果生成所述目标判断结果。

一种计算机设备，包括存储器和处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述网络服务异常数据检测方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述网络服务异常数据检测方法的步骤。

上述网络服务异常数据检测方法、装置、计算机设备和存储介质，通过对数据异常判断的无监督算法进行预判，将无监督算法进行划分，减少初步检测的数据计算量，然后再通过预设的异常检测模型进行有监督算法的判断生成的包括判别情况和表示判别情况可信度的判别置信度的目标判断结果，通过多种算法对同一数据进行检测，解决了现有技术中通过单一算法进行数据异常判断，导致的对数据的异常判断精确度低的技术问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为网络服务异常数据检测方法的应用环境示意图；

图2为网络服务异常数据检测方法的流程示意图；

图3为图2中步骤204的流程示意图；

图4为图2中步骤210的流程示意图；

图5为图2中步骤210的另一流程示意图；

图6为网络服务异常数据检测方法中更新预设优先条件的流程示意图；

图7为图6中步骤608的流程示意图；

图8为网络服务异常数据检测方法中确定异常检测模型的流程示意图；

图9为网络服务异常数据检测装置的示意图；

图10为一个实施例中计算机设备的示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的网络服务异常数据检测方法，可以应用于如图1所示的应用环境中。其中，该应用环境可以包括终端102、网络106以及服务端104，网络106用于在终端102和服务端104之间提供通信链路介质，网络106可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端102通过网络106与服务端104交互，以接收或发送消息等。终端102上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端102可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group AudioLayer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务端104可以是提供各种服务的服务器，例如对终端102上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的网络服务异常数据检测方法一般由服务端/终端执行，相应地，网络服务异常数据检测装置一般设置于服务端/终端设备中。

应该理解，图1中的终端、网络和服务端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

其中，终端102通过网络与服务端104进行通信。服务端104首先对数据异常判断的无监督算法进行预判，将无监督算法进行划分，减少初步检测的数据计算量，然后再通过预设的异常检测模型进行有监督算法的判断生成的包括判别情况和表示判别情况可信度的判别置信度的目标判断结果。其中，终端102和服务端104之间通过网络进行连接，该网络可以是有线网络或者无线网络，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务端104可以用独立的服务器或者是多个组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种网络服务异常数据检测方法，以该方法应用于图1中的服务端为例进行说明，包括以下步骤：

步骤202，获取待检测数据，其中，待检测数据包括当前待检测点预设时间内的实时数据，以及当前待检测点的同比、环比时间内的历史数据。

本实施例中，以某域名的用户访问量为待检测数据。那么当前待检测点可以是中午12:00，预设时间可以是当前待检测点的前3个小时；则获取12:00点的域名用户访问量数据，以及前3个小时(180分钟)内每分钟的用户域名访问量，共181个点；而同比时间内的域名访问量数据为当前待检测点昨天相同时时刻、以及昨天相同时刻的前3个小时、后3个小时，共361个点的域名访问量数据；环比时间内的域名访问量数据为当前待检测点的上周同一时刻、同一时刻前3个小时、后3个小时，一共361个点内的用户域名访问量数据。最后将这些数据综合起来作为待检测数据。

可选地，也不一定固定是前、后3个小时内的域名访问量数据，也可以是2个小时、4个小时等，具体几个小时内的域名访问量数据需要根据域名访问量的具体情况而定。

例如，当某一域名的访问量在一段时间内比较多，且在此时间段内向前推或者向后推的时间段的同比环比时间内的域名访问量都比较多，则需要扩大时间选取的范围，以保证数据的连续和准确。

步骤204，获取预设优先条件，并根据预设优先条件将无监督算法划分为优先判断算法和滞后判断算法。

一组待检测数据中是包括181+361+361，一共903个点的用户域名访问量数据，将这些点的域名访问量输入到无监督算法中，得到待检测数据的异常判断结果。其中，可以对多组待检测数据进行检测，得到多个异常判断结果。

可选地，无监督算法不止一个，在对待检测数据进行异常检测时，需要将待检测数据输入到每一个无监督算法中，若有5个无监督算法，则得到5个异常判断结果，不同的无监督算法对同一待检测数据进行异常检测得到的异常判断结果也有可能不同，该异常判断结果可以是待检测数据正常也可以是待检测数据异常。

可选地，无监督算法可以是：EWMA(指数加权移动平均法)、Holt-winters(指数平滑法)、孤立森林(Isolation Forest)、同比算法、环比算法以及箱型图(Box-plot)等，只要能够实现对待检测数据的异常判断的无监督算法都可以应用到本实施例，本实施例不做限定。

优选的，可以在对待检测数据进行检测前，按照无监督算法对数据监测的异常率对这多个无监督算法进行排序，或者称之为划分操作。

具体地，可以根据预设优先条件对无监督算法进行划分操作，得到优先判断算法和异常判断算法。其中，优先判断算法一般是只有一个，当然，若存在对数据检测的异常率的数值相同的两个无监督算法，可以将这两个无监督算法同时作为优先判断算法对待检测数据进行检测。这样就不必将待检测数据输入到每一个无监督算法中进行异常检测，可以大大降低服务端数据的计算量，提高计算效率。

步骤206，将待检测数据输入到优先判断算法中，得到待检测数据的优先判断结果，并将优先判断结果作为初步判断结果。

本实施例可以以优先判断算法为指数平滑法进行说明，将待检测数据输入到指数平滑法中进行判断，得到该待检测数据的优先判断结果，并将该优先判断结果作为初步判断结果。该初步判断结果可以是待检测数据正常，也可以是待检测数据异常。当优先判断算法是两个时，若其中有一个算法得到的待检测数据的判断结果为异常，则优先判断结果是待检测数据异常；只有当全部的优先判断算法得到的待检测数据是正常时，优先判断结果才是正常的。

步骤208，若初步判断结果为待检测数据异常，则将待检测数据输入到异常检测模型得到待检测数据的目标判断结果，其中，目标判断结果包括判断情况、判别置信度，判别置信度为判断情况的准确率。

异常检测模型是一个数据异常检测模型，是根据历史标注数据进行训练得到的；判别情况表示待检测数据是否异常，可以使用一个数字、一串数字或者一个字符表示，比如用00表示待检测数据正常，用01表示待检测数据异常。至于判别情况具体用什么表示，需要看用户/开发人员的设置，本实施例不做限定。判别置信度是表示判别情况可信程度的概率，判别置信度越低则代表待检测数据中当前时间点的异常访问量异常的可能性越大，否则，待检测数据中的当前时间点的异常访问量异常的可能性越小。

具体地，当判别情况为：待检测数据异常(01)，且判别置信度为：0.0014628335，则可以得出该检测点的用户域名访问量异常的概率为99.8％。值越小，说明判别情况为待检测数据异常的置信度越高。

相反的，当判别情况为：待检测数据正常(00)，且判别置信度为：0.0014628335，则可以得出该检测点的用户域名访问量异常的概率较低。

将通过异常检测模型得到的异常判断结果作为目标判断结果，然后根据判别情况以及判别置信度确认待检测数据是否异常。

步骤210，若初步判断结果为待检测数据正常，则将待检测数据输入到滞后判断算法中，得到每一个滞后判断算法的滞后判断结果，根据滞后判断结果生成目标判断结果。

滞后判断算法是根据预设优先条件对无监督算法进行划分后，得到的除优先判断算法之外的无监督算法，滞后判断算法的对数据检测的异常率的数值低于优先判断算法。只有当通过优先判断算法得到的初步判断结果的为正常的时候才会再通过滞后判断算法对待检测数据再次进行异常检测，相当于对初步判断结果进行验证的操作，最后得到滞后判断结果，可以是待检测数据正常、也可以是待检测数据异常，最后再根据滞后判断结果生成目标判断结果。判断滞后判断结果是正常还是异常的方式为：当有一个滞后判断算法得出的滞后判断结果是判断异常，则待检测数据的就是异常的，只有当所有的滞后判断算法得出的滞后判断结果都是待检测数据正常，才会认为待检测数据是正常的。

上述网络服务异常数据检测方法中，通过将对待检测数据通过不同算法的双重检测得到异常判断结果，大大提高了对待检测数据的异常判断的准确度；并且通过预先生成对无监督算法进行排序的预设优先条件，获取输出异常率最高的无监督算法，作为优先判断算法，并使待检测数据率先经过该优先判断算法，过滤待检测算法中的疑似异常的数据，减少数据处理量，提高异常判断效率。

在一个实施例中，如图3所示，步骤204，包括：

步骤302，获取预设数量的历史待检测数据。

本实施例的历史待检测数据是与待检测数据中的待测时间点同一时间点但是不同时间段的用户域名访问数据，比如可以是两周以前、三周以前、一月以前、两月以前等等时间段之前的数据。

步骤304，将历史待检测数据输入到无监督算法中，得到每一个无监督算法的历史判断结果。

将这些历史待检测数据输入到无监督算法中得到每一个无监督算法对这些历史待检测数据检测的异常判断结果。然后根据异常判断结果计算每一个无监督算法的异常率。比如有100组历史待检测数据，对于每一个无监督算法都得到100个历史判断结果。本实施例以EWMA算法为例，若得到EWMA算法的数据检测正常的结果有20条，而异常的有80条，则可以得到EWMA算法的数据检测的异常率为80％。

步骤306，根据历史判断结果得到每一个无监督算法的判断异常率，作为预设优先条件。

若得到5个无监督算法的异常率分别是80％、79％、67％、66％以及60％，则可以将异常率最高的无监督算法设为优先判断算法，其他的无监督算法设为滞后判断算法，将这种算法排序/划分方式设为预设优先条件。

可选地，还可以通过判断异常率是否符合预设数值判断是否将某一或某几个无监督算法设为优先判断算法。比如，若预设数值为80％，而5个无监督算法的异常率分别是81％、80％、79％、67％以及66％，则可以将异常率为81％以及80％的无监督算法设为优先判断条件，以保证得到的检测结果的准确性。

本实施例通过先对多个无监督算法进行一个优先判断，将之划分为优先判断算法和滞后判断算法，待检测数据先通过优先判断算法得到初步判断结果，不必将待检测数据一一通过所有的无监督算法得到初步判断结果。因为只要通过无监督算法得到的结果中有一个异常的结果，都会将待检测数据输入到异常检测模型中进行重复检测，确保检测的准确性，而用异常率最高的无监督算法先对待检测数据进行检测，可以很大概率地得到一个准确的检测结果，最后再对初步判断结果进行其他操作便可以了，大大节省了服务端的计算量，提高了检测效率。

在一个实施例中，如图4所示，步骤210，包括：

步骤402，识别滞后判断结果，得到待检测数据的最终判断结果。

对滞后判断结果进行识别，若识别到的结果是0000，代表滞后判断结果是待检测数据正常，若是0001，代表滞后判断结果异常。通过不同的字符、字符串或者数字表示优先判断结果与滞后判断结果，用于区分通过不同算法得到的结果，防止混淆。其中，通过不同算法得到的结果也有与算法相对应的标识，用于区分不同算法的结果。若存在至少一个滞后判断结果是待检测数据异常，则最终判断结果是待检测数据异常，若所有滞后判断算法得到的滞后判断结果都是待检测数据正常，则最终判断结果为待检测数据正常。

步骤404，若最终判断结果为待检测数据正常，则获取每一个滞后判断算法的历史判断结果。

本实施例所述的滞后判断结果是所有滞后判断算法对待检测数据判断后得到的最终判断结果。

其中，滞后判断算法的历史判断结果可以直接使用上述实施例得到的历史判断结果。

步骤406，对比每一个滞后判断算法的滞后判断结果与历史判断结果，得到最终判断结果的滞后置信度。

根据历史判断结果的异常率确定最终判断结果的可信度。

例如，若指数加权移动平均法的历史判断结果中历史待检测数据为异常的概率为65％以上，则可以确认通过指数加权移动平均法得到的待检测数据的滞后判断结果的滞后置信度为0.0014628335，滞后置信度可以根据历史待检测数据得到。若是多个滞后判断算法的滞后判断结果，则将每一个滞后判断算法的滞后判断结果与历史判断结果的异常率进行一致性对比，得到滞后置信度，作为最终判断结果的置信度。

步骤408，整合最终判断结果与滞后置信度，生成待检测数据的目标判断结果。

将最终判断结果与滞后置信度进行结合后，就可以作为目标判断结果。然后根据滞后置信度确定最终判断结果为待检测数据正常的可信度。若最终判断结果为待检测数据正常的可信度比较高，则可以认为待检测数据的最终判断结果为待检测数据正常，并将最终判断结果作为目标判断结果。

本实施例将初步判断结果为待检测数据正常的待检测数据重新输入到滞后判断算法中，得到每一个滞后判断算法的滞后判断结果，通过对滞后判断结果进行识别，若滞后判断结果得到的每一个结果也是待检测数据正常，则可以通过获取历史待检测数据的历史判断结果判断该滞后判断结果的可信度，确保得到的结果的精准度。但是若为正常就不必再输入到异常检测模型中进行重复检测，还节省了计算量，提高了检测效率。

在一个实施例中，如图5所示，在步骤402之后，还包括：

步骤502，若滞后判断结果为待检测数据异常。

步骤504，将待检测数据输入到异常检测模型中，得到目标判断结果。

若滞后判断结果为待检测数据异常，则说明待检测数据虽然通过了优先判断结果的异常判断，但存在至少一个滞后判断结果是待检测数据的异常，所以还需要将待检测数据输入到异常检测模型再次进行检测，异常检测模型会直接生成待检测数据的判断情况以及判别置信度，将判别情况与判别置信度作为目标判断结果，其中，目标判断结果可以是待检测数据异常，也可以是待检测数据正常。

本实施例中，通过将通过无监督算法的得到异常结果的待检测数据输入到异常检测模型中进行重复检测，得到目标判断结果，保证了检测结果的准确性。

在一个实施例中，如图6所示，在步骤504之后，还包括：

步骤602，获取预设数量的优先判断结果作为优先对比结果，并计算优先异常率。

若滞后判断结果异常，则说明优先判断结果的可能存在不准确的情况。则需要对无监督算法进行重新划分，得到新的优先判断算法以确保优先判断算法的异常率是无监督算法中最高的，从而实现保证检测准确度和减少数据计算量的目的。

步骤604，获取预设数量的滞后判断结果，并根据滞后判断结果计算每一个滞后判断算法的滞后异常率。

通过相同数量的滞后判断结果和优先判断结果计算每一个无监督算法的异常率。

步骤606，将优先异常率与每一个滞后判断算法的滞后异常率进行数值对比，得到优先对比结果。

若滞后判断算法中存在异常率大于优先判断算法异常率的无监督算法，则可以将该异常率最大的那个滞后判断算法作为新的优先判断算法，将异常率低于某滞后判断算法异常率的优先判断算法划分到滞后判断算法中；若不存在，则依旧保持原有的算法划分。

步骤608，根据优先对比结果更新预设优先条件。

通过以上得到的优先对比结果更新预设优先条件，在下一次的异常检测中重新对无监督算法进行划分。通过该方式可以提高异常判断的精准度，并节省计算时间。

可选地，还可以选择时间点执行更新操作，例如：

比如可以将一天24小时分成8个时间段，每个时间段开始之前进行一次预设优先条件的更新操作。

具体地，将早上6：01点-9:00点作为一个时间段，在该时间段中使用第一次得到的优先判断算法进行异常检测，当到了9:01-12：00作为下一个时间段，在此时间段开始前，进行预设优先条件的更新：计算早上6：01点-9:00点这个时间段中所有时刻点对应的待检测数据的优先判断结果，根据这些优先判断结果计算得到无监督算法的异常率，作为优先异常率。

按照上述方法，根据滞后判断结果计算每一个滞后判断算法的异常率，作为滞后异常率。

计算优先异常率与每一个滞后判断条件算法的滞后异常率的大小；若优先异常率大于每一个滞后异常率，则仍旧将该优先异常率对应的无监督算法设为优先判断条件。否则，则将数值最高的滞后异常率对应的无监督算法设为优先判断条件，并将原来的优先判断算法加入到滞后判断算法中，然后继续下一轮计算。

本实施例通过不断对预设优先条件进行更新，确保数据异常检测的准确率。因为不同时间段用户访问的方向不同，比如在上班时间，用户一般访问技术性网站比如：CSDN，51cto.com、cpquery.sipo.gov.cn等等专业网站，但是在午休、下班、上班路上访问微博、头条等娱乐性网站/服务器较多，对预设优先条件进行多次更新，可以提高异常检测的准确率。

在一个实施例中，如图7所示，步骤608，包括：

步骤702，若优先异常率小于滞后异常率，则将数值最大的滞后异常率对应的滞后判断算法更新为优先判断算法。

步骤704，若优先异常率大于每一个滞后判断算法的滞后异常率，则保持与优先异常率对应的无监督算法作为优先判断算法。

具体地，可以将早上6：01点-9:00点作为一个时间段，在该时间段中使用第一次得到的优先判断算法进行异常检测，当到了9:01-12：00作为下一个时间段，在此时间段开始前，进行预设优先条件的更新：计算早上6：01点-9:00点这个时间段中所有时刻点对应的待检测数据的优先判断结果，根据这些优先判断结果计算得到无监督算法的异常率，作为优先异常率。

按照上述方法，根据滞后判断结果计算每一个滞后判断算法的异常率，作为滞后异常率。

计算优先异常率与每一个滞后判断条件算法的滞后异常率的大小；若优先异常率大于每一个滞后判断算法的滞后异常率，则仍旧将该优先异常率对应的无监督算法设为优先判断条件。否则，则将数值最高的滞后异常率对应的无监督算法设为优先判断条件，并将原来的优先判断算法加入到滞后判断算法中，然后继续下一轮计算。

本实施例通过不断对预设优先条件进行更新，确保数据异常检测的准确率。因为不同时间段用户访问的方向不同，比如在上班时间，用户一般访问技术性网站比如：CSDN，51cto.com、cpquery.sipo.gov.cn等等专业网站，但是在午休、下班、上班路上访问微博、头条等娱乐性网站较多，对预设优先条件进行多次更新，可以提高异常检测的准确率。

在一个实施例中，如图8所示，在步骤202之前，还包括：

步骤802，获取指标异常正样本、指标异常负样本，作为指标样本数据。指标样本数据是一些数字，我们会用科学计算的方式，具体来说是用numpy这个库，去计算指标样本数字的统计特征等。

步骤804，提取指标样本数据中的统计特征、拟合特征以及分类特征，作为特征样本数据。其中，统计特征为平均值、方差标准差、峰度值、中位数、均值以下点数等、拟合特征为移动平均、回归、指数移动平均等、分类特征为分桶熵、自相关、协方差等。异常判断模型能够分别待检测点的数据是否是异常的模型。进一步地，提取特征的维度越多越利于提高分类精度，一般要求特征维度在90个以上。特征越多，代表对样本数据的描述更全面，比如描述一个人，那身高，体重，穿着都是特征，特征越多那描述的越清晰，以后再出现类似的人就可以快速的识别出来。

正样本：正常点，负样本：异常点，正负样本都包括待检测点和前面一定时间的数据、待监测点同比时间的数据和环比时间的数据。

步骤806，将提取到的特征样本数据输入到树状模型中，得到异常检测模型。

模型的训练属于有监督的训练，有监督的训练即需要先对样本数据进行标注，即样本是带标签的。如下面的指标，第一列时间，第二列是值，第三列就是标签，标签为0代表这个点不是异常，1代表这个点是异常。

timestamp,value,label,

1476460800,0.0126036806477,0

1476460860,0.017785768231900003,1。

在训练的时候可以指定一些参数(召回率、准确率、和模型的起始超参数)，目的是给训练的模型一个期望的准确率，如果没有达到就会调整超参数再次进行训练，直到达到预期值为止。

训练出模型，后续如果识别不准或者指标有变化，可以再次对新的样本数据进行标记，并在之前训练过的基础上用新的训练样本再训练一个新的模型，调整识别情况，这一步相当于模型的优化或者更新。

本实施例通过获取样本数据进行异常检测模型的训练，实现数据异常检测的双重验证，提高了异常检测的准确率。

应该理解的是，虽然图2-图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图9所示，提供了一种网络服务异常数据检测装置，该网络服务异常数据检测装置与上述实施例中网络服务异常数据检测方法一一对应。该网络服务异常数据检测装置包括：

数据获取模块902，用于获取待检测数据，其中，待检测数据包括当前待检测点预设时间内的实时数据，以及当前待检测点的同比、环比时间内的历史数据。

算法预判模块904，用于获取预设优先条件，并根据预设优先条件将无监督算法划分为优先判断算法和滞后判断算法。

优先检测模块906，用于将待检测数据输入到优先判断算法中，得到待检测数据的优先判断结果，并将优先判断结果作为初步判断结果。

目标判断模块908，用于若初步判断结果为待检测数据异常，则将待检测数据输入到异常检测模型得到待检测数据的目标判断结果，其中，目标判断结果包括判断情况、判别置信度，判别置信度为判断情况的准确率。

滞后检测模块910，用于若初步判断结果为待检测数据正常，则将待检测数据输入到滞后判断算法中，得到每一个滞后判断算法的滞后判断结果，根据滞后判断结果生成目标判断结果。

进一步地，算法预判模块904，包括：

历史获取子模块，用于获取预设数量的历史待检测数据；

历史判断子模块，用于将所述历史待检测数据输入到所述无监督算法中，得到每一个所述无监督算法的历史判断结果；

异常计算子模块，用于根据所述历史判断结果得到每一个所述无监督算法的判断异常率，作为预设优先条件。

进一步地，滞后检测模块910，包括：

第一滞后子模块，用于识别所述滞后判断结果，得到待检测数据的最终判断结果；

历史结果子模块，用于若所述滞后判断结果为所述待检测数据正常，则获取每一个所述滞后判断算法的所述历史判断结果；

滞后信度子模块，用于对比每一个滞后判断算法的所述滞后判断结果与所述历史判断结果，得到所述最终判断结果的滞后置信度；

最终判断子模块，用于整合所述最终判断结果与所述滞后置信度，生成所述待检测数据的目标判断结果。

进一步地，滞后检测模块910，还包括：

第二滞后子模块，用于若所述滞后判断结果为所述待检测数据异常；

第二判断子模块，用于将所述待检测数据输入到所述异常检测模型中，得到所述目标判断结果。

进一步地，在第二判断子模块之后，还包括：

优先计算子模块，用于获取预设数量的优先判断结果作为优先对比结果，并计算优先异常率；

滞后计算子模块，用于获取预设数量的滞后判断结果，并根据所述滞后判断结果计算每一个所述滞后判断算法的滞后异常率；

优先对比子模块，用于将所述优先异常率与每一个所述滞后判断算法的滞后异常率进行数值对比，得到优先对比结果；

优先更新子模块，用于根据所述优先对比结果更新所述预设优先条件。

进一步地，优先对比子模块，包括；

优先算法更新单元，用于若所述优先异常率小于所述滞后异常率，则将数值最大的所述滞后异常率对应的滞后判断算法更新为所述优先判断算法；

优先算法保持单元，用于若所述优先异常率大于每一个所述滞后判断算法的滞后异常率，则保持与所述优先异常率对应的无监督算法作为所述优先判断算法。

进一步地，在数据获取模块902之前，还包括：

样本获取模块，用于获取指标异常正样本、指标异常负样本，作为指标样本数据；

特征提取模块，用于提取所述指标样本数据中的统计特征、拟合特征以及分类特征，作为特征样本数据；

模型训练模块，用于将提取到的所述特征样本数据输入到树状模型中，得到异常检测模型。

上述网络服务异常数据检测装置，通过对数据异常判断的无监督算法进行预判，将无监督算法进行划分，减少初步检测的数据计算量，然后再通过预设的异常检测模型进行有监督算法的判断生成的包括判别情况和表示判别情况可信度的判别置信度的目标判断结果，通过多种算法对同一数据进行检测，解决了现有技术中通过单一算法进行数据异常判断，导致的对数据的异常判断精确度低的技术问题。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储用户订单数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种网络服务异常数据检测方法。通过对数据异常判断的无监督算法进行预判，将无监督算法进行划分，减少初步检测的数据计算量，然后再通过预设的异常检测模型进行有监督算法的判断生成的包括判别情况和表示判别情况可信度的判别置信度的目标判断结果，通过多种算法对同一数据进行检测，解决了现有技术中通过单一算法进行数据异常判断，导致的对数据的异常判断精确度低的技术问题。

其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中网络服务异常数据检测方法的步骤，例如图2所示的步骤202至步骤210，或者，处理器执行计算机程序时实现上述实施例中网络服务异常数据检测装置的各模块/单元的功能，例如图9所示模块902至模块910的功能。为避免重复，此处不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中网络服务异常数据检测方法的步骤，例如图2所示的步骤202至步骤210，或者，处理器执行计算机程序时实现上述实施例中网络服务异常数据检测装置的各模块/单元的功能，例如图9所示模块902至模块910的功能。为避免重复，此处不再赘述。通过对数据异常判断的无监督算法进行预判，将无监督算法进行划分，减少初步检测的数据计算量，然后再通过预设的异常检测模型进行有监督算法的判断生成的包括判别情况和表示判别情况可信度的判别置信度的目标判断结果，通过多种算法对同一数据进行检测，解决了现有技术中通过单一算法进行数据异常判断，导致的对数据的异常判断精确度低的技术问题。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形、改进或者对部分技术特征进行等同替换，而这些修改或者替换，并不使相同技术方案的本质脱离本发明个实施例技术方案地精神和范畴，都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种网络服务异常数据检测方法，其特征在于，所述方法包括：

获取待检测数据，其中，所述待检测数据包括当前待检测点预设时间内的实时数据，以及所述当前待检测点的同比、环比时间内的历史数据；

获取预设优先条件，并根据所述预设优先条件将无监督算法划分为优先判断算法和滞后判断算法；

将所述待检测数据输入到所述优先判断算法中，得到所述待检测数据的优先判断结果，并将所述优先判断结果作为初步判断结果；

若所述初步判断结果为所述待检测数据异常，则将所述待检测数据输入到异常检测模型得到所述待检测数据的目标判断结果，其中，所述目标判断结果包括判断情况、判别置信度，所述判别置信度为所述判断情况的准确率；

若所述初步判断结果为所述待检测数据正常，则将所述待检测数据输入到所述滞后判断算法中，得到每一个所述滞后判断算法的滞后判断结果，根据所述滞后判断结果生成所述目标判断结果。

2.根据权利要求1所述的方法，其特征在于，所述获取预设优先条件，包括：

获取预设数量的历史待检测数据；

将所述历史待检测数据输入到所述无监督算法中，得到每一个所述无监督算法的历史判断结果；

根据所述历史判断结果得到每一个所述无监督算法的判断异常率，作为预设优先条件。

3.根据权利要求2所述的方法，其特征在于，所述根据所述滞后判断结果生成所述目标判断结果，包括：

识别所述滞后判断结果，得到所述待检测数据的最终判断结果；

若所述最终判断结果为所述待检测数据正常，则获取每一个所述滞后判断算法的所述历史判断结果；

对比每一个所述滞后判断算法的滞后判断结果与历史判断结果，得到所述最终判断结果的滞后置信度；

整合所述最终判断结果与所述滞后置信度，生成所述待检测数据的目标判断结果。

4.根据权利要求2所述的方法，其特征在于，在所述识别所述滞后判断结果之后，还包括：

若所述滞后判断结果为所述待检测数据异常；

将所述待检测数据输入到所述异常检测模型中，得到所述目标判断结果。

5.根据权利要求4所述的方法，其特征在于，在所述若所述滞后判断结果为所述待检测数据异常之后，还包括：

获取预设数量的优先判断结果作为优先对比结果，并计算优先异常率；

获取预设数量的滞后判断结果，并根据所述滞后判断结果计算每一个所述滞后判断算法的滞后异常率；

将所述优先异常率与每一个所述滞后判断算法的滞后异常率进行数值对比，得到优先对比结果；

根据所述优先对比结果更新所述预设优先条件。

6.根据权利要求5所述的方法，其特征在于，所述根据所述优先对比结果更新所述预设优先条件，包括：

若所述优先异常率小于所述滞后异常率，则将数值最大的所述滞后异常率对应的滞后判断算法更新为所述优先判断算法；

若所述优先异常率大于每一个所述滞后判断算法的滞后异常率，则保持与所述优先异常率对应的无监督算法作为所述优先判断算法。

7.根据权利要求1-6任一项所述的方法，其特征在于，在所述获取待检测数据之前，还包括：

获取指标异常正样本、指标异常负样本，作为指标样本数据；

提取所述指标样本数据中的统计特征、拟合特征以及分类特征，作为特征样本数据；

将提取到的所述特征样本数据输入到树状模型中，得到异常检测模型。

8.一种网络服务异常数据检测装置，其特征在于，包括：

数据获取模块，用于获取待检测数据，其中，所述待检测数据包括当前待检测点预设时间内的实时数据，以及所述当前待检测点的同比、环比时间内的历史数据；

算法预判模块，用于获取预设优先条件，并根据所述预设优先条件将无监督算法划分为优先判断算法和滞后判断算法；

优先检测模块，用于将所述待检测数据输入到所述优先判断算法中，得到所述待检测数据的优先判断结果，并将所述优先判断结果作为初步判断结果；

目标判断模块，用于若所述初步判断结果为所述待检测数据异常，则将所述待检测数据输入到异常检测模型得到所述待检测数据的目标判断结果，其中，所述目标判断结果包括判断情况、判别置信度，所述判别置信度为所述判断情况的准确率；

滞后检测模块，用于若所述初步判断结果为所述待检测数据正常，则将所述待检测数据输入到所述滞后判断算法中，得到每一个所述滞后判断算法的滞后判断结果，根据所述滞后判断结果生成所述目标判断结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images