CN108322347B - 数据检测方法、装置、检测服务器及存储介质 - Google Patents

数据检测方法、装置、检测服务器及存储介质 Download PDF

Info

Publication number
CN108322347B
CN108322347B CN201810136475.1A CN201810136475A CN108322347B CN 108322347 B CN108322347 B CN 108322347B CN 201810136475 A CN201810136475 A CN 201810136475A CN 108322347 B CN108322347 B CN 108322347B
Authority
CN
China
Prior art keywords
detection
alarm
detected
metadata
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810136475.1A
Other languages
English (en)
Other versions
CN108322347A (zh
Inventor
曹慧霞
孙宇霜
陈乃华
刘江冬
张廷进
刘伟
洪楷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810136475.1A priority Critical patent/CN108322347B/zh
Publication of CN108322347A publication Critical patent/CN108322347A/zh
Application granted granted Critical
Publication of CN108322347B publication Critical patent/CN108322347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Abstract

本发明提出一种数据检测方法、装置、检测服务器及存储介质，该方法包括：获取外网质量告警数据；从外网质量告警数据中挖掘出告警元数据；从挖掘的告警元数据中选取待检测告警元数据，确定待检测告警元数据中各区域组合的业务影响权重；至少根据待检测告警元数据中各区域组合的业务影响权重，选取待检测告警元数据的检测特征；根据选取的检测特征，分别利用至少两种异常检测模型，确定待检测告警元数据在各异常检测模型的检测结果；根据各异常检测模型对待检测告警元数据的检测结果，投票确定待检测告警元数据的最终检测结果。本发明可以自动化的对监测的外网质量告警数据进行分析检测，从中检测出异常告警，便于业务的故障定位。

Description

数据检测方法、装置、检测服务器及存储介质
技术领域
本发明涉及数据处理技术领域，具体涉及数据检测方法、装置、检测服务器及存储介质。
背景技术
随着网络技术的不断发展，联网业务越来越丰富，联网业务如联入互联网、移动运营商运营的移动网络等外网的游戏、社交软件、电子商务等类型的业务；这些联网业务的运营对于外网质量的要求越来越高，及时发现外网异常状况并及时排除外网异常成为保证联网业务正常运行，提升用户体验的必要措施。
目前存在一些告警系统，可监测联网业务的外网质量告警数据，然而这些告警系统仅能输出告警数据，往往缺乏对外网质量告警数据的分析、检测；因此如何对这些外网质量告警数据进行分析、检测，并发现异常的告警(如影响业务的告警)，成为了难题。
发明内容
有鉴于此，本发明提出一种数据检测方法、装置、检测服务器及存储介质，以对外网质量告警数据进行分析、检测，发现异常告警。
为了实现上述目的，本发明提出如下技术方案：
一种数据检测方法，包括：
获取外网质量告警数据；
从所述外网质量告警数据中挖掘出告警元数据，其中，一条告警元数据对应一项业务的告警；
从挖掘的告警元数据中选取待检测告警元数据，确定所述待检测告警元数据中各区域组合的业务影响权重；其中，一区域组合为所述待检测告警元数据中相同区域终端和相同业务服务器的组合；
至少根据所述待检测告警元数据中各区域组合的业务影响权重，选取所述待检测告警元数据的检测特征；
根据选取的检测特征，分别利用至少两种异常检测模型，确定所述待检测告警元数据在各异常检测模型的检测结果；
根据各异常检测模型对待检测告警元数据的检测结果，投票确定待检测告警元数据的最终检测结果。
本发明还提出一种数据检测装置，包括：
告警数据获取模块，用于获取外网质量告警数据；
元数据挖掘模块，用于从所述外网质量告警数据中挖掘出告警元数据，其中，一条告警元数据对应一项业务的告警；
业务影响权重确定模块，用于从挖掘的告警元数据中选取待检测告警元数据，确定所述待检测告警元数据中各区域组合的业务影响权重；其中，一区域组合为所述待检测告警元数据中相同区域终端和相同业务服务器的组合；
检测特征选取模块，用于至少根据所述待检测告警元数据中各区域组合的业务影响权重，选取所述待检测告警元数据的检测特征；
检测模型利用模块，用于根据选取的检测特征，分别利用至少两种异常检测模型，确定所述待检测告警元数据在各异常检测模型的检测结果；
检测结果投票模块，用于根据各异常检测模型对待检测告警元数据的检测结果，投票确定待检测告警元数据的最终检测结果。
本发明还提出一种检测服务器，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器执行所述程序，以实现上述数据检测方法。
本发明还提出一种存储介质，所述存储介质存储有适于处理器执行的程序，以实现上述数据检测方法。
本发明提供的数据检测方法，在获取到外网质量告警数据后，从所述外网质量告警数据中挖掘出告警元数据，再从挖掘的告警元数据中选取待检测告警元数据，确定所述待检测告警元数据中各区域组合的业务影响权重；然后至少根据所述待检测告警元数据中各区域组合的业务影响权重，选取所述待检测告警元数据的检测特征；根据选取的检测特征，分别利用至少两种异常检测模型，确定所述待检测告警元数据在各异常检测模型的检测结果；根据各异常检测模型对待检测告警元数据的检测结果，投票确定待检测告警元数据的最终检测结果。将本发明实施例提供的数据检测方法应用于外网质量告警数据的监测中，可以自动化的对监测的外网质量告警数据进行分析检测，从中检测出异常的告警，及时向运维人员反馈异常告警，便于业务的故障定位。
附图说明
图1为本发明实施例提供的一种网络系统架构示意图；
图2为本发明实施例提供的一种数据检测方法的流程示意图；
图3为本发明实施例提供的孤立森林算法数据分类示意图；
图4为本发明实施例提供的确定设定的检测特征类型的流程示意图；
图5为本发明实施例提供的对异常数据检测模型进行训练的流程示意图；
图6为本发明实施例提供的ACU评价指标曲线示意图；
图7为本发明实施例提供的另一种数据检测方法的流程示意图；
图8为本发明实施例提供的一种数据检测装置的结构示意图；
图9为本发明实施例提供的数据检测装置的另一结构示意图；
图10为本发明实施例提供的数据检测装置的再一结构示意图；
图11为本发明实施例提供的检测服务器的硬件结构示意图。
具体实施方式
本发明实施例提供的数据检测方法可适用于从监测的外网质量告警数据中，检测出异常告警；示例的，本发明实施例提供的数据检测方法可针对游戏应用、社交软件、电子商务等各种类型的联网业务，进行外网质量告警数据的异常检测。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
作为一种可选示例，本发明实施例提供的数据检测方法可针对游戏业务，进行外网质量告警数据的异常数据检测。
基于游戏应用情境，图1示出了本发明实施例适用的一种网络系统架构示意图。
如图1所示，区域终端与业务服务器之间通过网络(如互联网，或移动运营商提供的移动网络)连接实现游戏业务数据通信。区域终端和业务服务器的数量均为任意个，并且双方之间可以根据业务需求，灵活进行连接，即不限定一对一连接。
上述业务服务器，是指在游戏场景下，为游戏业务提供业务服务的游戏服务器；当然，在其他类型的业务下，业务服务器可提供相应的业务服务，如对于社交业务，业务服务器可相应提供社交业务服务。游戏服务器是一个长期运行的复杂程序，它要服务于多个不定时、不定点的网络请求，一般需要多进程同时运行。游戏服务器主要用于对游戏数据和用户数据进行存储、对用户交互数据进行广播和同步、以及实现重要逻辑运算等。
根据游戏类型的区别，游戏服务器数量也存在区别。对于小型游戏，可能只需要一个游戏服务器就可以服务于足够大范围内的区域终端，例如在全国设置一个小游戏的游戏服务器，则全国用户都可以基于该游戏服务器运行上述小游戏。而对于大型网络游戏，则可能会需要多个游戏服务器进行分区服务，每个分区的服务器只服务于指定区域内的用户；当用户运行游戏时，需要先选择分区的服务器，每个分区服务器只能服务于本区内的用户。
图1所示的网络结构中，代表性地展示了多个业务服务器仅用于表示业务服务器，但是并不是严格限定本发明实施例技术方案只能应用于多个分区的服务器的场景。本发明实施例技术方案适用于任意数量的业务服务器的游戏应用网络架构。
需要说明的是，不同的业务服务器可以以业务服务器名称或编号来区分，理论上任意一种可以区分不同业务服务器的方式，都可以被本发明实施例所采用。例如，一种示例性区分方式是，由于业务服务器一般设置于位于某一地点的机房内，因此可以以不同地点的机房来代表该机房内的业务服务器。例如，“上海机房”则代表位于上海机房内的业务服务器，所有与“上海机房”连接的区域终端，都视为与“上海机房”内的业务服务器连接。
上述区域终端，具体是指运行游戏应用的终端设备，例如用户手机、电脑、平板电脑等设备。由于网络连接具有区域特性，因此，本发明实施例技术方案将用户终端设备以区域进行划分，命名为区域终端，即不同的区域终端代表位于不同区域的终端。上述区域，可以是任意角度划分出的区域，例如不同省份区域、不同经纬度地理区域等。
在图1所示的网络架构中，代表性地展示了多个区域终端，用于表示不同区域的用户终端设备。由于区域划分标准不限，因此本发明实施例仅以多个不同的区域终端表示不同区域的用户终端设备，并不严格限定是某一个或某几个特定区域的用户终端设备。
对于分区服务器网络架构，由于用户可以自由选择分区服务器，因此各个区域终端与多个分区服务器之间都是可以任意进行网络连接的。一台区域终端可以选择任意一个业务服务器进行连接，基于连接的业务服务器运行游戏应用。对于只有一个业务服务器的网络架构，所有的区域终端都与这个唯一的业务服务器进行连接，基于该业务服务器运行游戏应用。
上述图1中所示的区域终端与业务服务器之间的网络连接，称为外网。本发明实施例设置外网质量监测装置监测外网网络质量，获取外网网络质量告警数据。例如，在业务服务器中设置八爪鱼等网络监测产品监测区域终端与业务服务器之间的外网网络质量。
可以理解，上述对于外网网络质量的监测工作，也可以由独立于业务服务器的装置或设备独自执行，例如在业务服务器之外单独设置网络监测装置或设备，用于专门监测区域终端与业务服务器之间的网络质量。
作为一种示例，本发明实施例设定，将监测到的外网质量告警数据存储到图1所示的数据库中，该数据库中的数据，可用于对外网网络进行分析。可以理解，上述外网质量告警数据，也可以直接存储在业务服务器的存储装置中，或者直接发送给检测服务器进行分析检测，或者直接存储到检测服务器的存储装置中，本发明实施例不做严格限定。
上述外网质量告警数据，是指可以反映外网网络质量变差的网络数据。但是外网网络质量变差，并不一定会影响游戏业务的正常运行，只有当外网网络质量劣于一定情况时，才会真正影响游戏业务正常运行；本发明实施例的任务即是从数据库中存储的外网质量告警数据中分析、检测出影响游戏业务正常运行的告警数据，以便准确地识别网络异常，便于及时做出应对措施。
本发明实施例技术方案的技术目的，就是对上述外网质量告警数据进行分析检测，从中检测出异常告警。作为一种示例，本发明实施例设定，由图1所示的网络架构中的检测服务器来实现本发明实施例提供的数据检测方法。
上述检测服务器，具体是指用于对外网质量告警数据进行分析检测的服务器。检测服务器可以主动获取或被动接收外网质量告警数据，实施本发明实施例提出的数据检测方法对其进行分析检测，检测异常告警。
需要说明的是，上述检测服务器，可以如图1所示独立存在并且与数据库连接，也可以内置于数据库或业务服务器中。上述检测服务器可以以软件或硬件的形式应用于数据检测设备中。
当以软件形式应用于数据检测设备中时，上述检测服务器可为独立的软件，也可以作为大型系统(例如操作系统)的子系统(子组件)，提供数据检测服务。
当以硬件形式应用于数据检测设备中时，上述检测服务器示例性的可为服务器的控制器或处理器。
结合图1所示的网络架构，图2示出了本发明实施例提供的数据检测方法的一种可选流程，该方法流程可应用于图1所示的检测服务器，参见图2所示，该流程可以包括：
S201、获取外网质量告警数据。
上述外网质量告警数据，是指对图1所示的区域终端和业务服务器之间的网络连接(外网)进行监测得到的表示外网质量发生波动的告警数据。
本发明实施例设定，对图1所示的区域终端和业务服务器之间的网络连接进行监测得到的外网质量告警数据存储在数据库中，因此检测服务器可以直接从数据库中读取外网质量告警数据。
需要说明的是，在实际实施本发明实施例技术方案时，还可以设定检测服务器通过其它途径获取外网质量告警数据。一种示例性的途径是，当监测到外网质量告警数据时，直接发送给检测服务器，使检测服务器直接接收外网质量告警数据，不必先将监测的外网质量告警数据存储到数据库，再由检测服务器从数据库中读取外网质量告警数据，这样可以更快速地实现对外网质量告警数据的检测。
步骤S202、从所述外网质量告警数据中挖掘出告警元数据，其中，一条告警元数据对应业务服务器的一项业务的告警。
检测服务器从数据库中读取外网质量告警数据时，是批量地从数据库中读取的，本发明实施例可对获取的外网质量告警数据进行各项业务的告警区分，从而从获取的外网质量告警数据中区分出各项业务的告警数据，并对区分各项业务的告警数据进行整理，得到各项业务相应的告警元数据，使得一条告警元数据对应业务服务器的一项业务的告警；
可选的，本发明实施例可根据业务服务器提供的各项业务服务的业务ID(标签)，从获取的外网质量告警数据中区分出各项业务的告警数据；并对各项业务的告警数据，分别进行数据字段筛选，去除对于异常检测无用的数据字段；对于筛选数据字段后的各项业务的告警数据，分别整理每个数据字段的数据类型，确定各数据字段的数据取值范围，挖掘出各项业务相应的告警元数据。
可选的，挖掘出的告警元数据的示例可如下表1所示。
表1
Figure BDA0001576428040000071
表1中一行的数据可以认为是一项业务相应的告警元数据，不同的告警元数据可通过不同的业务ID进行区分，一个业务ID对应业务服务器提供的一项业务；一条告警元数据所包括的数据字段可以为：业务ID、是否影响、影响set、影响模块、标题。
其中，业务ID字段表示业务标识信息，可按照预设规则进行标识，例如以不同数字编号标识不同业务；是否影响字段用于表示告警元数据是否对业务造成影响，一种可选的赋值方式是利用布尔值表示是否造成影响，例如用“0”表示不会对业务造成影响，用“1”表示会对业务造成影响；影响set字段表示影响的业务集合；影响模块字段表示所影响的业务模块；一条告警元数据的标题指示了，该条告警的区域终端所在区域信息、外网运营商信息、业务服务器所在机房位置信息、网络延迟信息等，是告警的主要内容信息。
S203、从挖掘的告警元数据中选取待检测告警元数据，确定所述待检测告警元数据中各区域组合的业务影响权重；其中，一区域组合为所述待检测告警元数据中相同区域终端和相同业务服务器的组合。
本发明实施例可逐条的将挖掘的告警元数据，依次作为待检测告警元数据，从而对挖掘出的逐条告警元数据进行异常检测；下文的描述以选取的一条告警元数据作为待检测告警元数据进行说明，各条告警元数据的异常检测可同理实现。
进一步，执行步骤S203之前，还可对挖掘出的告警元数据进行过滤无效、错误、重复数据的处理，对机器无法识别的数据进行特征编码等。
需要说明的是，由于本发明实施例是要检测区域终端和业务服务器之间的告警是否异常；因此，在对待检测告警元数据进行异常检测时，待检测告警元数据中区域终端到业务服务器之间的告警出现次数，能够直接反应区域终端和业务服务器之间的网络质量。根据业务经验，相同区域终端和相同业务服务器的组合之间的告警出现次数对业务造成影响的比例越大，则说明该区域终端和业务服务器组合之间的告警存在异常的概率越大。因此，为了使重要信息更明确突出，可将待检测告警元数据中相同区域终端和相同业务服务器相组合，得到各区域组合，其中，一区域组合为检测告警元数据中相同区域终端和相同业务服务器的组合；
可选的，待检测告警元数据中的区域终端和业务服务器的信息一般记录于待检测告警元数据的标题中；本发明实施例可根据待检测告警元数据的标题中区域终端所在区域信息、业务服务器所在机房位置信息，确定待检测告警元数据中的相同区域终端和相同业务服务器，将待检测告警元数据的标题中相同区域终端和相同业务服务器相组合，得到待检测告警元数据的各区域组合；
例如，假设某一告警元数据的标题中包含由第一省份区域终端分别到第二省份业务服务器、第三省份业务服务器和第四省份业务服务器的告警数据，则按照本发明实施例思想，将第一省份区域终端与第二省份业务服务器进行组合可以得到一个区域组合“第一省份区域终端到第二省份业务服务器”，将第一省份区域终端与第三省份业务服务器进行组合可以得到另一个区域组合“第一省份区域终端到第三省份业务服务器”，将第一省份区域终端与第四省份业务服务器进行组合可以得到又一个区域组合“第一省份区域终端到第四省份业务服务器”，由此得到了三个区域组合。
更具体的，例如，假设告警元数据的标题中包含“天津市到东莞-大朗|深圳-观澜|深圳-坪山”，则该标题包含三种区域组合：“天津市到东莞-大朗”,“天津市到深圳-观澜”,“天津市到深圳-坪山”。可以看出，将告警元数据的标题中相同的区域终端和相同的业务服务器进行组合，即可得到告警元数据的标题中包含的各区域组合。
按照上述本发明实施例介绍，对待检测告警元数据的标题中的相同区域终端和相同业务服务器进行组合，能够确定待检测告警元数据中的各个区域组合。
在确定待检测告警元数据中的各区域组合，可统计待检测告警元数据的各区域组合的告警出现次数(如相同区域终端和相同业务服务器的各区域组合的告警出现次数)，以及各区域组合的告警出现次数中对业务有影响的次数，得到待检测告警元数据的各区域组合的业务影响权重p；
可选的，待检测告警元数据中，一相同区域终端和一相同业务服务器相组合后的区域组合的业务影响权重P＝该区域组合的告警出现次数中对业务有影响的次数，除以，该区域组合的告警出现次数。
S204、至少根据所述待检测告警元数据中各区域组合的业务影响权重，选取所述待检测告警元数据的检测特征。
可选的，可以通过算法计算或根据业务经验来选择待检测告警元数据的检测特征，且选择检测特征的过程至少基于待检测告警元数据中各区域组合的业务影响权重确定；作为一种示例，所选取的检测特征可至少包括：待检测告警元数据中的各区域组合的业务影响权重，待检测告警元数据中的各区域组合的业务影响权重的总和。
可选的，本发明实施例可设定检测特征类型，根据所述待检测告警元数据中各区域组合的业务影响权重，从待检测告警元数据中选取与设定检测特征类型相应的检测特征；基于设定检测特征类型，所选取的检测特征可至少包括：待检测告警元数据中的各区域组合的业务影响权重，待检测告警元数据中的各区域组合的业务影响权重的总和；
显然，设定检测特征类型还可包括：网络延迟信息等；
作为一种示例，设定检测特征类型可以包括：待检测告警元数据相应的延迟、丢包(延迟、丢包可以认为是网络延迟信息的表现)、待检测告警元数据的标题相应的各区域组合的业务影响权重，待检测告警元数据的标题相应的业务影响权重总和(即待检测告警元数据的标题相应的各区域组合的业务影响权重的总和)、区域终端的运营商名称、区域终端所在的区域、区域终端的区域个数、所影响的游戏业务模块个数，这共7类检测特征。相应的，可选取这7类设定检测特征类型相应的检测特征。
可以理解，根据异常数据检测效率和精度要求，可以选择更多类型的检测特征，或适应性地减少检测特征的类型。
需要说明的是，待检测告警元数据的标题相应的各区域组合的业务影响权重，为基于待检测告警元数据的标题内容所确定的各区域组合的业务影响权重；
待检测告警元数据的标题相应的业务影响权重总和可以认为是，待检测告警元数据的标题相应的各区域组合的业务影响权重的总和；例如，假设待检测告警元数据的标题中包含“天津市到东莞-大朗|深圳-观澜|深圳-坪山”，则该标题包含三种区域组合：S＝(“天津市到东莞-大朗”,“天津市到深圳-观澜”,“天津市到深圳-坪山”)，那么，这三种区域组合的业务影响权重的总和，即为该待检测告警元数据的标题相应的业务影响权重总和。假设上述三种区域组合中的每一种区域组合的业务影响权重为p(si),i＝1,2,3，则该待检测告警元数据的标题相应的业务影响权重总和
Figure BDA0001576428040000101
S205、根据选取的检测特征，分别利用孤立森林算法、一类支持向量机、基于密度的噪声应用空间聚类方法这三种异常检测模型，确定所述待检测告警元数据在各异常检测模型的检测结果。
作为一种可选示例，本发明实施例可采用孤立森林算法、一类支持向量机、基于密度的噪声应用空间聚类方法这三种异常检测模型，分别就待检测告警元数据的检测特征进行异常检测，得到待检测告警元数据分别在这三种异常检测模型的检测结果。
显然，本发明实施例所采用的这三类异常检测模型仅是可选的，在实际实现时，本发明实施例可采用至少两种异常检测模型，进行待检测告警元数据的异常检测，得到待检测告警元数据在各异常检测模型的检测结果。所采用的至少两种异常检测模型不限于孤立森林算法、一类支持向量机、基于密度的噪声应用空间聚类方法等异常检测模型。
需要说明的是，一般异常点检测分为新奇检测novelty detection与异常值检测outlier detection，新奇检测指训练数据不被离群值污染，我们感兴趣的是在新数据集中检测出异常数据。异常值检测指训练数据包含异常值，我们需要拟合训练数据的中心模式，忽略观察到的不正常数据。
基于数据源的特征比较少以及算法实用的角度本发明实施例主要采用的是scikit-learn中的算法孤立森林(Isolation Forest，iForest)(outlier detection)、一类支持向量机(One-class SVM)(novelty detection)、基于密度的噪声应用空间聚类(Density Based Spatial Clustering of Applications with Noise，DBSCAN)(noveltydetection)三种算法进行异常检测。
iForest(Isolation Forest)孤立森林是一个基于Ensemble的快速异常检测方法，具有线性时间复杂度和高精准度，是符合大数据处理要求的state-of-the-art算法。
目前学术界对异常(anomaly detection)的定义有很多种，iForest适用于连续数据(Continuous numerical data)的异常检测，将异常定义为“容易被孤立的离群点(morelikely to be separated)”——可以理解为分布稀疏且离密度高的群体较远的点。用统计学来解释，在数据空间里面，分布稀疏的区域表示数据发生在此区域的概率很低，因而可以认为落在这些区域里的数据是异常的。
以图3中数据点分类为例，假设图中实心的圆为异常点，空心圆为正常的点(在一个簇中)。iForest检测到的异常边界为红色，它可以正确地检测到所有实心圆异常点。
iForest属于Non-parametric和unsupervised的方法，即不用定义数学模型也不需要有标记的训练。对于如何查找哪些点是否容易被孤立(isolated)，iForest使用了一套非常高效的策略。假设我们用一个随机超平面来切割(split)数据空间(data space),切一次可以生成两个子空间(想象拿刀切蛋糕一分为二)。之后我们再继续用一个随机超平面来切割每个子空间，循环下去，直到每子空间里面只有一个数据点为止。直观上来讲，我们可以发现那些密度很高的簇是可以被切很多次才会停止切割，但是那些密度很低的点很容易很早的就停到一个子空间了。图3里面实心的圆就很容易被切几次就停到一个子空间，而空心圆聚集的地方可以切很多次才停止。
另外，iForest既能发现群异常数据，也能发现散点异常数据。同时也能处理训练数据中不包含异常数据的情况。
与传统SVM不同的是，One-class SVM是一种非监督的算法。它是指在训练集中只有一类positive(或者negative)的数据，而没有另外的一类。而这时，需要学习(learn)的就是边界(boundary)，而不是最大间隔(maximum margin)。
通常一类问题出现在需要对训练样本进行一定比例的筛选，或者已知的训练样本都是正样本，而负样本却很少的情况。这种情况下，往往需要训练一个对于训练样本紧凑的分类边界，就可以通过负样本实验。一个简单的实际例子是：一个工厂对于产品的合格性进行检查时，往往所知道是合格产品的参数，而不合格的产品的参数要么空间比较大，要么知道的很少。这种情况下就可以通过已知的合格产品参数来训练一个一类分类器，得到一个紧凑的分类边界，超出这个边界就认为是不合格产品。比如有100个训练样本，V设为0.1，去学一个one class SVM，然后在学到的SVM上测试之前用的训练集，最后可以看到有10个左右的样本的标签为-1，被分为负样本。
DBSCAN(Density-Based SpatialClustering of Applications with Noise，基于密度的噪声应用空间聚类)是一种基于密度的空间聚类算法。该算法将具有足够密度的区域划分为簇，并在具有噪声的空间数据库中发现任意形状的簇，它将簇定义为密度相连的点的最大集合。
该算法利用基于密度的聚类的概念，即要求聚类空间中的一定区域内所包含对象(点或其他空间对象)的数目不小于某一给定阈值。DBSCAN算法的显著优点是聚类速度快且能够有效处理噪声点和发现任意形状的空间聚类。但是由于它直接对整个数据库进行操作且进行聚类时使用了一个全局性的表征密度的参数，因此也具有两个比较明显的弱点：
(1)当数据量增大时，要求较大的内存支持I/O消耗也很大；
(2)当空间聚类的密度不均匀、聚类间距差相差很大时，聚类质量较差。
上述三种算法均为常用的数据分类算法，可用于对输入的数据基于选定的特征进行分类或聚类，得出分类或聚类结果。上述三种算法的数据检测过程，可以简单理解为，算法将输入的数据分为异常数据和非异常数据两类，因此达到了从输入数据中检测异常数据的目的。
进一步，为了提高上述三种异常检测模型的检测准确性，本发明实施例可事先利用样本数据，对上述三种异常检测模型分别进行训练、优化参数，使上述三种异常检测模型具备可观的异常检测精度，然后，将训练后的三种异常检测模型用于对各待检测告警元数据的异常检测。也就是说，步骤S204中所使用的孤立森林算法、一类支持向量机、基于密度的噪声应用空间聚类方法的异常检测模型均是经过训练后，具备从待检测告警元数据中检测异常功能的算法模型。
上述三种异常检测模型均存在开源的程序包，分别获取并运行上述三种异常检测模型的程序包，随三种异常检测模型分别进行训练参数调优，基于选定的检测特征对待检测告警元数据进行异常检测，可以得到各异常检测模型对于待检测告警元数据的检测结果。
需要说明的是，上述三种异常检测模型代表了可以替换为任意的数据分类算法，实现对输入数据的分类、检测。一种示例性的替换方式为，将上述三种异常检测模型替换为至少两种异常检测模型。
S206、根据各异常检测模型对待检测告警元数据的检测结果，投票确定待检测告警元数据的最终检测结果。
可选的，由于本发明实施例采用了三种异常检测模型分别对待检测告警元数据，基于选定的检测特征进行异常检测，因此会得到三种异常检测模型对待检测告警元数据的检测结果。由于算法原理及算法性能不同，各异常检测模型的检测结果会存在差异，因此本发明实施例可根据各异常检测模型的检测结果，投票确定待检测告警元数据的最终检测结果。
作为一种示例性的确认方式，本发明实施例以投票的方式，对三种异常检测模型的检测结果进行投票，确定最终检测结果。一种可选的投票方式是，对于待检测告警元数据，如果各异常检测模型的检测结果均是待检测告警元数据会影响游戏业务，则确认待检测告警元数据为存在异常，会对待检测告警元数据所属的业务造成影响；如果存在任一异常检测模型的检测结果为待检测告警元数据不会影响游戏业务，则确定待检测告警元数据不存在异常。
可以理解，上述介绍只是一种可选的投票方式，在实施本发明实施例技术方案时，可以根据三种异常检测模型的检测结果，灵活设置投票方式，例如，可以根据三种异常检测模型的异常检测精度，为各异常检测模型设置投票权重，根据各异常检测模型的投票权重对各异常检测模型的检测结果进行投票，确认最终检测结果。
本发明实施例提供的数据检测方法，在获取到外网质量告警数据后，从所述外网质量告警数据中挖掘出告警元数据，再从挖掘的告警元数据中选取待检测告警元数据，确定所述待检测告警元数据中各区域组合的业务影响权重；然后至少根据所述待检测告警元数据中各区域组合的业务影响权重，选取所述待检测告警元数据的检测特征；根据选取的检测特征，分别利用至少两种异常检测模型，确定所述待检测告警元数据在各异常检测模型的检测结果；根据各异常检测模型对待检测告警元数据的检测结果，投票确定待检测告警元数据的最终检测结果。将本发明实施例提供的数据检测方法应用于外网质量告警数据的监测中，可以自动化的对监测的外网质量告警数据进行分析检测，从中检测出异常的告警，及时向运维人员反馈异常告警，便于业务的故障定位。
可选的，在图2所示的数据检测方法的流程基础上，本发明实施例可根据设定检测特征类型，选取与设定检测特征类型相应的检测特征；可选的，设定检测特征类型可以包括：延迟、丢包、待检测告警元数据的标题相应的各区域组合的业务影响权重，待检测告警元数据的标题相应的业务影响权重总和、区域终端的运营商名称、区域终端所在的区域、区域终端的区域个数、所影响的游戏业务模块个数，这七类。
可选的，设定的检测特征类型的确定可如图4所示，包括：
S401、确定告警元数据的各项特征，利用随机森林特征选择方法和稳定性特征选择方法，分别计算得到告警元数据的各项特征的权重。
在对任一外网质量告警数据挖掘出告警元数据后，本发明实施例可提取告警元数据的各项特征，所提取的特征的类型的数量可大于七，并至少包含上述所述的七类设定检测特征类型。
本方案主要基于随机森林特征选择方法和稳定性特征选择方法，分别确定告警元数据的各项特征的权重。
随机森林由多个决策树构成，决策树中的每一个节点都是关于某个特征的条件，为的是将数据集按照不同的变量值一分为二。利用不纯度可以确定节点(最优条件)，对于分类问题，通常采用基尼不纯度或者信息增益，对于回归问题，通常采用的是方差或者最小二乘拟合。当训练决策树的时候，可以计算出每个特征减少了多少树的不纯度。对于一个决策树森林来说，可以算出每个特征平均减少了多少不纯度，并把它平均减少的不纯度作为特征选择的值，即特征的权重。
稳定性特征选择方法是一种顶层特征选择算法，之所以叫顶层，是因为它是建立在基于模型的特征选择方法基础之上，在不同的子集上建立模型，然后汇总最终确定特征得分，即特征权重。稳定性选择是一种基于二次抽样和选择算法相结合的方法，它的主要思想是在不同的数据子集和特征子集上运行特征选择算法，不断的重复，最终汇总特征选择结果，比如可以统计某个特征被认为是重要特征的频率(被选为重要特征的次数除以它所在的子集被测试的次数)。
本发明实施例计算告警元数据的各项特征的权重，分别是采用的稳定性、随机森林的信息增益来衡量各个特征的重要性(权重)，由此可以看到延迟、丢包和权重的信息增益是相比比较大的，这也是与业务运维经验相吻合的。
需要说明的是，上述随机森林特征选择方法和稳定性特征选择方法均存在开源的程序包，获取并运行随机森林特征选择方法和稳定性特征选择方法的开源程序包，即可计算得到告警元数据的各项特征的权重值，对于上述处理过程，本发明实施例不再赘述。
S402、根据计算得到的告警元数据的各项特征的权重，确定设定检测特征类型。
可以理解，告警元数据的特征的权重代表了特征的重要性，特征的权重越大，则说明该项特征越重要。因此，选择权重较大的特征，对于异常检测是有利的，本发明实施例可选择权重排名靠前的设定数量的特征的类型，作为设定检测特征类型，其中，权重排名靠前的特征的权重越大；
作为一种可选实现，可按照各项特征的权重从大到小的顺序，选择各项特征中，权重排名靠前的N个特征的类型，作为设定检测特征类型；
可选的，作为一种示例，可选取权重排名靠前的七个特征的类型，作为设定检测特征类型，具体选取的设定检测特征类型的权重的示例可如下表2所示。
表2
特征重要性 延迟 title权重 运营商 省份 丢包 业务id 省份个数
随机森林 24.5％ 23.0％ 2.8％ 8.4％ 24.6％ 13.5％ 3.2％
稳定性 28.7％ 21.3％ 1.4％ 6.6％ 25.4％ 14.0％ 2.6％
从而本发明实施例在通过随机森林特征选择方法和稳定性特征选择方法计算得到告警元数据的各项特征的权重后，可根据各项特征权重，确定选择检测特征所用的设定检测特征类型；从而在对待检测告警元数据进行检测时，可选取与所述设定检测特征类型相应的检测特征。
作为一种可选实现，本发明实施例主要借助孤立森林算法、一类支持向量机、基于密度的噪声应用空间聚类方法三种异常检测模型，实现自动化地检测外网质量告警数据是否异常。
孤立森林算法、一类支持向量机、基于密度的噪声应用空间聚类方法均为深度学习算法，即算法本身具有学习能力，通过学习训练，可以完全适应某种计算场景，从而可以独立地完成基于该场景下的数据计算。为了使孤立森林算法、一类支持向量机、基于密度的噪声应用空间聚类方法能够适用本发明实施例所提出的从外网质量告警数据中检测异常数据的应用场景，本发明实施例需要事先对孤立森林算法、一类支持向量机、基于密度的噪声应用空间聚类方法的异常检测模型分别进行训练。
对上述三种异常检测模型进行训练使其具备识别某条待检测告警元数据是否异常的能力的思想是：将已标记异常的待检测告警元数据输入异常检测模型，得到检测结果；将异常检测模型得出的检测结果与预先标记的异常结果进行对比，判断异常检测模型的异常检测性能；然后以每次的检测结果趋于实际标记的异常结果为目标，迭代地对异常检测模型进行参数优化，使异常检测模型的异常检测性能得以提升。
本发明实施例提供了一种示例性的对异常检测模型进行训练的处理过程。以对iForest(Isolation Forest，孤立森林)算法的异常检测模型的训练过程为例进行说明，参见图5所示，本发明实施例提出对异常检测模型进行训练的一种可选流程包括：
S501、将已标记异常的告警元数据的检测特征输入iForest算法异常检测模型，得到iForest算法异常检测模型对该告警元数据的检测结果。
上述已标记异常的告警元数据又称为样本数据。
可选的，本发明实施例可为iForest算法异常检测模型事先选择，标记为异常的告警元数据的检测特征。也就是说，当iForest算法异常检测模型接收到输入的告警元数据的检测特征后，可得到检测结果。
S502、根据已标记的异常结果，和iForest算法异常检测模型检测出的检测结果，计算iForest算法异常检测模型的性能评价指标。
本发明实施例采用ACU(Area under the Curve of ROC)评价指标计算iForest算法异常检测模型的性能评价指标。AUC是一个模型评价指标，应用于二分类模型的性能评价，能够综合衡量模型的分类性能。AUC衡量的是ROC(Receiver OperatingCharacteristic)曲线下的面积，如图6所示，ROC曲线的横坐标为假正率(false positiverate，FPR)，纵坐标为真正率(true positive rate，TPR)，AUC越大，表示模型的分类性能越好。
由于ACU是常用且公知的评价二分类模型的性能的评价方法，因此利用ACU性能评价方法的开源程序包可以实现对iForest算法异常数据检测性能的评价。本发明实施例不再详细介绍具体的评价过程。
可以理解，上述评价方法不是唯一的iForest算法的异常数据检测性能评价方法，任意可以评价分类算法性能的评价方法都可以被采用。一种示例性的评价方法为，通过iForest算法的异常数据检测结果的正确率和召回率评价iForest算法的异常数据检测性能评价指标。
S503、以所述性能评价指标达到极值为目标，根据逐次输入的已标记异常的告警元数据的检测特征，迭代地对iForest算法异常检测模型的参数进行优化。
可选的，性能评价指标达到极值，例如使iForest算法异常检测模型的性能评价指标达到最大值等。一次对iForest算法异常检测模型的参数进行优化可能无法使iForest算法异常检测模型的性能评价指标达到极值，因此需要迭代地，多次对iForest算法异常检测模型的参数进行优化，也就是多次向iForest算法异常检测模型输入样本数据，使iForest算法异常检测模型对样本数据进行异常检测，然后根据检测结果优化参数。由于iForest算法本身为深度学习算法，可以自身执行对自身参数的优化，因此本发明实施例实际上只需要根据iForest算法异常检测模型的异常数据检测性能评价指标决定是否对iForest算法异常检测模型的参数进行优化，而由iForest算法异常检测模型自身完成对自身参数的优化。
本发明实施例仅以对iForest算法异常检测模型的训练过程为例，对本发明实施例所进行的异常检测模型的参数调优过程进行说明。相应的，对其它异常检测模型的参数调优过程，可以参照图5所示的训练过程进行，本发明实施例不再赘述。
按照上述介绍的训练方法对本发明实施例所采用的三种异常检测模型分别进行训练后，三种异常检测模型均具备检测待检测告警元数据是否异常的能力，可用于本发明实施例技术方案中，实施待检测告警元数据是否异常的检测。
下面以各省份的用户通过外网连接位于各地机房的游戏服务器运行网络游戏应用为例，介绍采用本发明实施例检测各省份到各地机房的外网质量告警数据中的异常数据的处理流程。参见图7所示，本发明实施例提出的异常数据检测方法应用于网络游戏应用的外网质量告警数据的异常数据检测的具体处理过程包括：
S701、获取外网质量告警数据。
在本发明实施例中，以将监测的外网质量告警数据存储到图1所示的数据库中为例。则检测服务器获取外网质量告警数据时，从数据库中读取。
例如，检测服务器读取设定时间段内的外网质量告警数据，得到外网质量告警数据如下：
{"provname":["辽宁省",......],"app_id":*,"data_loss":"8.38","provnamelist":["辽宁省",.....],"data_delay":"32.73","appmodule":"**","UserTgwRelation":{"上海**":{"联通":[1.1.1.1]},"percent":1,"delay":"32.73","ispidlist":[1,.....],"src_city":["江苏",.....],"dtEventtime":"2018-01-09 16:30:30","reason":"辽宁省,...(等13个)到上海**电信网络平均延迟32.73ms,丢包8.38％","idc_isp":["电信",.....],"providlist":[32,......],"dst_city":["上海"],"loss":"8.38","provid":[32，......],"toposet":"*","idc_isplist":["电信",......],"ispid":[1,2],"ispname":"**","module_name":"上海**"}
S702、从所述外网质量告警数据中挖掘出告警元数据，其中，一条告警元数据对应业务服务器的一项业务的告警。
检测服务器从数据库中读取外网质量告警数据时，是批量地从数据库中读取的，本发明实施例可对获取的外网质量告警数据进行各项业务的告警区分，从而从获取的外网质量告警数据中区分出各项业务的告警数据，并对区分各项业务的告警数据进行整理，得到各项业务相应的告警元数据，使得一条告警元数据对应业务服务器的一项业务的告警；
本发明实施例可根据业务服务器提供的各项业务服务的业务ID(标签)，从获取的外网质量告警数据中区分出各项业务的告警数据；并对各项业务的告警数据，分别进行数据字段筛选，去除对于异常检测无用的数据字段；对于筛选数据字段后的各项业务的告警数据，分别整理每个数据字段的数据类型，确定各数据字段的数据取值范围，挖掘出各项业务相应的告警元数据。
例如，按照上述方法对读取的外网质量告警数据进行整理后得到外网质量告警元数据的形式如上述表1所示。
S703、从挖掘的告警元数据中选取待检测告警元数据，确定所述待检测告警元数据中各区域组合的业务影响权重；其中，一区域组合为所述待检测告警元数据中相同区域终端和相同业务服务器的组合。
本发明实施例可逐条的将挖掘的告警元数据中，依次作为待检测告警元数据，从而对挖掘出的逐条告警元数据进行异常检测；下文的描述以选取的一条告警元数据作为待检测告警元数据进行说明，各条告警元数据的异常检测可同理实现。
待检测告警元数据中的区域终端和业务服务器的信息一般记录于待检测告警元数据的标题中；本发明实施例可根据待检测告警元数据的标题中区域终端所在区域信息、业务服务器所在机房位置信息，确定待检测告警元数据中的相同区域终端和相同业务服务器，将待检测告警元数据的标题中相同区域终端和相同业务服务器相组合，得到待检测告警元数据的各区域组合；
在确定待检测告警元数据中的各区域组合，可统计待检测告警元数据的各区域组合的告警出现次数(如相同区域终端和相同业务服务器的各区域组合的告警出现次数)，以及各区域组合的告警出现次数中对业务有影响的次数，得到待检测告警元数据的各区域组合的业务影响权重p：
统计待检测告警元数据中用户省份到机房出现次数f，以及人工验证后有影响的出现次数effect_f确定用户省份到机房的权重(根据实际业务经验发现用户省份到机房出现的次数越多，就越是不会对业务造成影响)。
p＝(effect_f+1)/(f+1)
例如，对于“天津市到深圳-观澜”的组合的权重p的计算公式为：
p＝(a+1)/(a+b+1)
其中，a为组合在告警元数据中出现有影响的次数；b为组合在告警元数据中出现无影响的次数。
每一条待检测告警元数据标题相应的用户省份到机房权重总和等于title中的各个省份到机房组合的权重之和。
例如title中有“天津市到东莞-大朗|深圳-观澜|深圳-坪山”，则title包含的所有组合S＝(“天津市到东莞-大朗”,“天津市到深圳-观澜”,“天津市到深圳-坪山”)，此title的权重weight为：
Figure BDA0001576428040000201
上述每一条待检测告警元数据的标题相应的用户身份到机房的权重总和，作为一条待检测告警元数据的一项检测特征，参与后期的数据异常检测。
S704、根据所述待检测告警元数据中各区域组合的业务影响权重，从待检测告警元数据中选取与设定检测特征类型相应的检测特征。
其中，所述检测特征至少包括：待检测告警元数据中的各区域组合的业务影响权重，待检测告警元数据中的各区域组合的业务影响权重的总和。
可选的，本发明实施例可根据设定检测特征类型，为上述待检测告警元数据选择延迟data_delay、丢包data_loss、title(标题)用户省份到机房权重、title(标题)各用户省份到机房权重总和weight、用户运营商名称ispname、用户省份provid，用户省份个数prov_num，影响游戏业务模块个数effect_modult_num共7项特征。
S705、根据选取的检测特征，分别利用孤立森林算法、一类支持向量机、基于密度的噪声应用空间聚类方法这三种异常检测模型，确定所述待检测告警元数据在各异常检测模型的检测结果。
S706、根据各异常检测模型对待检测告警元数据的检测结果，投票确定待检测告警元数据的最终检测结果。
由于本发明实施例采用了三种异常检测模型分别对待检测告警元数据，基于选定的检测特征进行异常检测，因此会得到三种异常检测模型对待检测告警元数据的检测结果。由于算法原理及算法性能不同，各异常检测模型的检测结果会存在差异，因此本发明实施例可根据各异常检测模型的检测结果，投票确定待检测告警元数据的最终检测结果。
作为一种示例性的确认方式，本发明实施例以投票的方式，对三种异常检测模型的检测结果进行投票，确定最终检测结果。一种可选的投票方式是，对于待检测告警元数据，如果各异常检测模型的检测结果均是待检测告警元数据会影响游戏业务，则确认待检测告警元数据为存在异常，会对待检测告警元数据所属的业务造成影响；如果存在任一异常检测模型的检测结果为待检测告警元数据不会影响游戏业务，则确定待检测告警元数据不存在异常。
可选的，作为另一种实现，假设三种异常检测模型的检测准确率如表3所示：
表3
检测故障类型 算法 准确率
外网质量 Isolation Forest 92％
外网质量 One Class SVM 87％
外网质量 DBSCAN 90％
则可以将三种异常检测模型的权重分别设置为92％、87％、90％。假设iFirest算法异常检测模型检测待检测告警元数据存在异常；One Class SVM算法异常检测模型检测待检测告警元数据不存在异常；DBSCAN异常检测模型检测待检测告警元数据存在异常。那么，根据各异常检测模型的检测准确率，该待检测告警元数据存在异常的权重为：92％+90％＝182％；该待检测告警元数据不存在异常的权重为87％。由于该待检测告警元数据存在异常的权重大于不存在异常的权重，因此可以确认该告警元数据存在异常。
上述为三种算法的异常检测模型分别设置权重对异常检测结果进行投票的方式，是本发明实施例举例说明的一种示例性方式，在实际实施本发明实施例技术方案时，可以根据所采用的异常检测模型的准确率或权重大小，灵活设置投票规则。
由于本发明实施例利用经过训练的孤立森林算法、一类支持向量机、基于密度的噪声应用空间聚类方法对外网质量告警数据进行异常数据检测，因此实现了自动化地从外网质量告警数据中检测出异常数据。将上述技术方案应用到网络游戏应用的外网质量监测中，可以快速高效地通过监测的外网质量告警数据检测识别外网质量波动对游戏应用运行的影响，利于及时识别网络异常状况，实施应对措施，提升用户体验。
下面对本发明实施例提供的数据检测装置进行介绍，下文描述的数据检测装置可以认为是检测服务器为实现本发明实施例提供的数据检测方法，所需设置的程序模块。下文描述的数据检测装置的内容可与上文描述的数据检测方法的内容相互对应参照。
图8为本发明实施例提供的数据检测装置的结构示意图，该装置包括：
告警数据获取模块100，用于获取外网质量告警数据；
元数据挖掘模块110，用于从所述外网质量告警数据中挖掘出告警元数据，其中，一条告警元数据对应一项业务的告警；
业务影响权重确定模块120，用于从挖掘的告警元数据中选取待检测告警元数据，确定所述待检测告警元数据中各区域组合的业务影响权重；其中，一区域组合为所述待检测告警元数据中相同区域终端和相同业务服务器的组合；
检测特征选取模块130，用于至少根据所述待检测告警元数据中各区域组合的业务影响权重，选取所述待检测告警元数据的检测特征；
检测模型利用模块140，用于根据选取的检测特征，分别利用至少两种异常检测模型，确定所述待检测告警元数据在各异常检测模型的检测结果；
检测结果投票模块150，用于根据各异常检测模型对待检测告警元数据的检测结果，投票确定待检测告警元数据的最终检测结果。
可选的，业务影响权重确定模块，用于确定所述待检测告警元数据中各区域组合的业务影响权重，具体包括：
将待检测告警元数据的标题中相同区域终端和相同业务服务器相组合，得到待检测告警元数据的各区域组合；
分别根据待检测告警元数据中各区域组合的告警出现次数，及各区域组合的告警出现次数中对业务有影响的次数，确定待检测告警元数据中各区域组合的业务影响权重。
可选的，检测特征选取模块，用于至少根据所述待检测告警元数据中各区域组合的业务影响权重，选取所述待检测告警元数据的检测特征，具体包括：
根据所述待检测告警元数据中各区域组合的业务影响权重，从待检测告警元数据中选取与设定检测特征类型相应的检测特征，其中，所述检测特征至少包括：待检测告警元数据中的各区域组合的业务影响权重，待检测告警元数据中的各区域组合的业务影响权重的总和。
可选的，所述检测特征还可以包括：待检测告警元数据相应的延迟、丢包、区域终端的运营商名称、区域终端所在的区域、区域终端的区域个数、所影响的业务模块个数。
可选的，图9示出了本发明实施例提供的数据检测装置的另一结构示意图，结合图8和图9所示，该数据检测装置还可以包括：
设定检测特征类型确定模块160，用于确定告警元数据的各项特征，利用随机森林特征选择方法和稳定性特征选择方法，分别计算得到告警元数据的各项特征的权重；
根据计算得到的告警元数据的各项特征的权重，确定设定检测特征类型。
可选的，设定检测特征类型确定模块160，用于根据计算得到的告警元数据的各项特征的权重，确定设定检测特征类型，具体包括：
选择权重排名靠前的设定数量的特征的类型，作为设定检测特征类型，其中，权重排名靠前的特征的权重越大。
可选的，图10示出了本发明实施例提供的数据检测装置的再一结构示意图，结合图8和图10所示，该数据检测装置还可以包括：
模型参数优化模块170，用于对于任一异常检测模型，将已标记异常的告警元数据的检测特征输入该异常检测模型，确定该异常检测模型对该告警元数据的检测结果；
根据已标记的异常结果，和该异常检测模型的检测结果，计算该异常检测模型的性能评价指标；
以所述性能评价指标达到极值为目标，根据逐次输入的已标记异常的告警元数据的检测特征，迭代的对该异常检测模型的参数进行优化。
可选的，检测结果投票模块150，用于根据各异常检测模型对待检测告警元数据的检测结果，投票确定待检测告警元数据的最终检测结，具体包括：
如果各异常检测模型的检测结果均为待检测告警元数据存在异常，则确定待检测告警元数据的最终检测结果为存在异常；
如果存在任一异常检测模型的检测结果为待检测告警元数据不存在异常，则确定待检测告警元数据的最终检测结果为不存在异常。
可选的，元数据挖掘模块110，用于从所述外网质量告警数据中挖掘出告警元数据，具体包括：
根据业务ID，从外网质量告警数据中区分出各项业务的告警数据；
对各项业务的告警数据，分别进行数据字段筛选，去除无用的数据字段；
对于筛选数据字段后的各项业务的告警数据，分别整理每个数据字段的数据类型，确定各数据字段的数据取值范围，挖掘出各项业务相应的告警元数据。
本发明实施例还提供一种检测服务器，检测服务器可选的硬件结构可如图11所示，包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本发明实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
可选的，处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
其中，存储器3存储有程序，处理器1调用存储3所存储的程序，以实现本发明前述实施例中所述的数据检测方法的步骤。
本发明实施例还提供一种存储介质，所述存储介质存储有适于处理器执行的程序，以实现上文描述的数据检测方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种数据检测方法，其特征在于，包括：
获取外网质量告警数据；
从所述外网质量告警数据中挖掘出告警元数据，其中，一条告警元数据对应一项业务的告警；
从挖掘的告警元数据中选取待检测告警元数据，确定所述待检测告警元数据中各区域组合的业务影响权重；其中，一区域组合为所述待检测告警元数据中相同区域终端和相同业务服务器的组合；
至少根据所述待检测告警元数据中各区域组合的业务影响权重，选取所述待检测告警元数据的检测特征；
根据选取的检测特征，分别利用至少两种异常检测模型，确定所述待检测告警元数据在各异常检测模型的检测结果；
根据各异常检测模型对待检测告警元数据的检测结果，投票确定待检测告警元数据的最终检测结果。
2.根据权利要求1所述的数据检测方法，其特征在于，所述确定所述待检测告警元数据中各区域组合的业务影响权重包括：
将待检测告警元数据的标题中相同区域终端和相同业务服务器相组合，得到待检测告警元数据的各区域组合；
分别根据待检测告警元数据中各区域组合的告警出现次数，及各区域组合的告警出现次数中对业务有影响的次数，确定待检测告警元数据中各区域组合的业务影响权重。
3.根据权利要求2所述的数据检测方法，其特征在于，所述至少根据所述待检测告警元数据中各区域组合的业务影响权重，选取所述待检测告警元数据的检测特征包括：
根据所述待检测告警元数据中各区域组合的业务影响权重，从待检测告警元数据中选取与设定检测特征类型相应的检测特征，其中，所述检测特征至少包括：待检测告警元数据中的各区域组合的业务影响权重，待检测告警元数据中的各区域组合的业务影响权重的总和。
4.根据权利要求3所述的数据检测方法，其特征在于，所述检测特征还包括：
待检测告警元数据相应的延迟、丢包、区域终端的运营商名称、区域终端所在的区域、区域终端的区域个数、所影响的业务模块个数。
5.根据权利要求3所述的数据检测方法，其特征在于，还包括：
确定告警元数据的各项特征，利用随机森林特征选择方法和稳定性特征选择方法，分别计算得到告警元数据的各项特征的权重；
根据计算得到的告警元数据的各项特征的权重，确定设定检测特征类型。
6.根据权利要求5所述的数据检测方法，其特征在于，所述根据计算得到的告警元数据的各项特征的权重，确定设定检测特征类型包括：
选择权重排名靠前的设定数量的特征的类型，作为设定检测特征类型，其中，权重排名靠前的特征的权重越大。
7.根据权利要求1所述的数据检测方法，其特征在于，还包括：
对于任一异常检测模型，将已标记异常的告警元数据的检测特征输入该异常检测模型，确定该异常检测模型对该告警元数据的检测结果；
根据已标记的异常结果，和该异常检测模型的检测结果，计算该异常检测模型的性能评价指标；
以所述性能评价指标达到极值为目标，根据逐次输入的已标记异常的告警元数据的检测特征，迭代的对该异常检测模型的参数进行优化。
8.根据权利要求1所述的数据检测方法，其特征在于，所述根据各异常检测模型对待检测告警元数据的检测结果，投票确定待检测告警元数据的最终检测结果包括：
如果各异常检测模型的检测结果均为待检测告警元数据存在异常，则确定待检测告警元数据的最终检测结果为存在异常；
如果存在任一异常检测模型的检测结果为待检测告警元数据不存在异常，则确定待检测告警元数据的最终检测结果为不存在异常。
9.根据权利要求1所述的数据检测方法，其特征在于，所述从所述外网质量告警数据中挖掘出告警元数据包括：
根据业务ID，从外网质量告警数据中区分出各项业务的告警数据；
对各项业务的告警数据，分别进行数据字段筛选，去除无用的数据字段；
对于筛选数据字段后的各项业务的告警数据，分别整理每个数据字段的数据类型，确定各数据字段的数据取值范围，挖掘出各项业务相应的告警元数据。
10.一种数据检测装置，其特征在于，包括：
告警数据获取模块，用于获取外网质量告警数据；
元数据挖掘模块，用于从所述外网质量告警数据中挖掘出告警元数据，其中，一条告警元数据对应一项业务的告警；
业务影响权重确定模块，用于从挖掘的告警元数据中选取待检测告警元数据，确定所述待检测告警元数据中各区域组合的业务影响权重；其中，一区域组合为所述待检测告警元数据中相同区域终端和相同业务服务器的组合；
检测特征选取模块，用于至少根据所述待检测告警元数据中各区域组合的业务影响权重，选取所述待检测告警元数据的检测特征；
检测模型利用模块，用于根据选取的检测特征，分别利用至少两种异常检测模型，确定所述待检测告警元数据在各异常检测模型的检测结果；
检测结果投票模块，用于根据各异常检测模型对待检测告警元数据的检测结果，投票确定待检测告警元数据的最终检测结果。
11.根据权利要求10所述的数据检测装置，其特征在于，业务影响权重确定模块，用于确定所述待检测告警元数据中各区域组合的业务影响权重，具体包括：
将待检测告警元数据的标题中相同区域终端和相同业务服务器相组合，得到待检测告警元数据的各区域组合；
分别根据待检测告警元数据中各区域组合的告警出现次数，及各区域组合的告警出现次数中对业务有影响的次数，确定待检测告警元数据中各区域组合的业务影响权重。
12.根据权利要求11所述的数据检测装置，其特征在于，检测特征选取模块，用于至少根据所述待检测告警元数据中各区域组合的业务影响权重，选取所述待检测告警元数据的检测特征，具体包括：
根据所述待检测告警元数据中各区域组合的业务影响权重，从待检测告警元数据中选取与设定检测特征类型相应的检测特征，其中，所述检测特征至少包括：待检测告警元数据中的各区域组合的业务影响权重，待检测告警元数据中的各区域组合的业务影响权重的总和。
13.根据权利要求10所述的数据检测装置，其特征在于，还包括：
对于任一异常检测模型，将已标记异常的告警元数据的检测特征输入该异常检测模型，确定该异常检测模型对该告警元数据的检测结果；
根据已标记的异常结果，和该异常检测模型的检测结果，计算该异常检测模型的性能评价指标；
以所述性能评价指标达到极值为目标，根据逐次输入的已标记异常的告警元数据的检测特征，迭代的对该异常检测模型的参数进行优化。
14.一种检测服务器，其特征在于，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器执行所述程序，以实现权利要求1-9任一项所述的数据检测方法。
15.一种存储介质，其特征在于，所述存储介质存储有适于处理器执行的程序，以实现权利要求1-9任一项所述的数据检测方法。
CN201810136475.1A 2018-02-09 2018-02-09 数据检测方法、装置、检测服务器及存储介质 Active CN108322347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810136475.1A CN108322347B (zh) 2018-02-09 2018-02-09 数据检测方法、装置、检测服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810136475.1A CN108322347B (zh) 2018-02-09 2018-02-09 数据检测方法、装置、检测服务器及存储介质

Publications (2)

Publication Number Publication Date
CN108322347A CN108322347A (zh) 2018-07-24
CN108322347B true CN108322347B (zh) 2020-08-21

Family

ID=62903899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810136475.1A Active CN108322347B (zh) 2018-02-09 2018-02-09 数据检测方法、装置、检测服务器及存储介质

Country Status (1)

Country Link
CN (1) CN108322347B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985380B (zh) * 2018-07-25 2021-08-03 西南交通大学 一种基于聚类集成的转辙机故障识别方法
CN109241043B (zh) * 2018-08-13 2022-10-14 蜜小蜂智慧（北京）科技有限公司 一种数据质量检测方法及装置
CN109346189A (zh) * 2018-10-31 2019-02-15 平安医疗健康管理股份有限公司 基于大数据的医疗数据检测方法及相关装置
CN109753499A (zh) * 2018-12-17 2019-05-14 云南电网有限责任公司信息中心 一种运维监控数据治理方法
CN109858679A (zh) * 2018-12-30 2019-06-07 国网浙江省电力有限公司 一种结合人机物的反窃电稽查监控系统及其工作方法
CN109919186A (zh) * 2019-01-28 2019-06-21 平安科技（深圳）有限公司 异常点比例优化方法、装置、计算机设备及存储介质
CN109960753B (zh) * 2019-02-13 2023-07-25 平安科技（深圳）有限公司 上网设备用户的检测方法、装置、存储介质及服务器
CN111370061A (zh) * 2019-06-20 2020-07-03 深圳思勤医疗科技有限公司 基于蛋白标记物与人工智能的癌症筛查方法
CN112188534B (zh) * 2019-07-05 2023-11-03 中兴通讯股份有限公司 一种异常检测方法和装置
CN110705654B (zh) * 2019-10-22 2022-11-08 中国工商银行股份有限公司 用于监控资产的方法、装置、电子设备及介质
CN111209274B (zh) * 2019-12-30 2021-05-07 三盟科技股份有限公司 一种数据质量检核方法、系统、设备及可读存储介质
CN111314121A (zh) * 2020-02-03 2020-06-19 支付宝(杭州)信息技术有限公司 链路异常检测方法以及装置
CN111170108B (zh) * 2020-02-13 2021-11-23 浙江新再灵科技股份有限公司 基于多源传感器故障标签样本数据门区外停梯检测方法
CN111325463A (zh) * 2020-02-18 2020-06-23 深圳前海微众银行股份有限公司 数据质量检测方法、装置、设备及计算机可读存储介质
CN111090692A (zh) * 2020-03-23 2020-05-01 杭州有数金融信息服务有限公司 基于地图数据可视化展示热力和散点集成分配方法
CN113421176B (zh) * 2021-07-16 2022-11-01 昆明学院 一种学生成绩分数中异常数据智能筛选方法
CN113591376B (zh) * 2021-07-23 2023-07-14 广州新科佳都科技有限公司 一种基于曲线关联分割机制的站台门异常检测方法及装置
CN115442214A (zh) * 2022-09-02 2022-12-06 中国工商银行股份有限公司 业务异常排障方法、装置、设备、存储介质和程序产品
CN117288971B (zh) * 2023-11-24 2024-02-23 深圳市希莱恒医用电子有限公司 电解质分析仪智能交互控制方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458751A (zh) * 2009-01-06 2009-06-17 华中科技大学 一种基于人工免疫的存储异常检测方法
CN104299035A (zh) * 2014-09-29 2015-01-21 国家电网公司 基于聚类算法和神经网络的变压器故障诊断方法
CN105791039A (zh) * 2014-12-22 2016-07-20 北京启明星辰信息安全技术有限公司 一种基于特征片段自发现的可疑隧道检测方法与系统
CN106411617A (zh) * 2016-11-29 2017-02-15 国网山西省电力公司忻州供电公司 电力通信网络故障告警关联处理方法
CN107231258A (zh) * 2017-06-01 2017-10-03 国网电子商务有限公司 一种网络告警数据处理方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419458B2 (en) * 2016-01-21 2019-09-17 Cyiot Ltd Distributed techniques for detecting atypical or malicious wireless communications activity

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458751A (zh) * 2009-01-06 2009-06-17 华中科技大学 一种基于人工免疫的存储异常检测方法
CN104299035A (zh) * 2014-09-29 2015-01-21 国家电网公司 基于聚类算法和神经网络的变压器故障诊断方法
CN105791039A (zh) * 2014-12-22 2016-07-20 北京启明星辰信息安全技术有限公司 一种基于特征片段自发现的可疑隧道检测方法与系统
CN106411617A (zh) * 2016-11-29 2017-02-15 国网山西省电力公司忻州供电公司 电力通信网络故障告警关联处理方法
CN107231258A (zh) * 2017-06-01 2017-10-03 国网电子商务有限公司 一种网络告警数据处理方法及装置

Also Published As

Publication number Publication date
CN108322347A (zh) 2018-07-24

Similar Documents

Publication Publication Date Title
CN108322347B (zh) 数据检测方法、装置、检测服务器及存储介质
US20180260723A1 (en) Anomaly detection for context-dependent data
CN108809745A (zh) 一种用户异常行为检测方法、装置及系统
CN111614690B (zh) 一种异常行为检测方法及装置
US20080306715A1 (en) Detecting Method Over Network Intrusion
CN110430224B (zh) 一种基于随机块模型的通信网络异常行为检测方法
US11762396B2 (en) Positioning system and positioning method based on WI-FI fingerprints
CN111478904B (zh) 一种基于概念漂移的物联网设备通信异常检测方法及装置
CN111611146B (zh) 一种微服务故障预测方法和装置
CN111416790B (zh) 基于用户行为的网络异常访问智能识别方法、装置、存储介质及计算机设备
CN114201374A (zh) 基于混合机器学习的运维时序数据异常检测方法及系统
Megantara et al. Feature importance ranking for increasing performance of intrusion detection system
CN113537321A (zh) 一种基于孤立森林和x均值的网络流量异常检测方法
JP2007243459A (ja) トラヒック状態抽出装置及び方法ならびにコンピュータプログラム
CN113125903A (zh) 线损异常检测方法、装置、设备及计算机可读存储介质
CN111652284A (zh) 扫描器识别方法及装置、电子设备、存储介质
CN113645182B (zh) 一种基于二次特征筛选的拒绝服务攻击随机森林检测方法
CN109728977A (zh) Jap匿名流量检测方法及系统
CN115599830A (zh) 一种数据关联关系的确定方法、装置、设备和介质
CN113239006A (zh) 日志检测模型的生成方法和装置、日志检测方法和装置
CN112199388A (zh) 陌电识别方法、装置、电子设备及存储介质
CN111159251A (zh) 一种异常数据的确定方法及装置
CN117335998A (zh) 基于行为模式异常检测中样本平衡方法以及装置
CN116405306A (zh) 一种基于异常流量识别的信息拦截方法及系统
CN117391214A (zh) 模型训练方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant