CN108270727A - 异常数据分析方法和装置 - Google Patents
异常数据分析方法和装置 Download PDFInfo
- Publication number
- CN108270727A CN108270727A CN201611259625.5A CN201611259625A CN108270727A CN 108270727 A CN108270727 A CN 108270727A CN 201611259625 A CN201611259625 A CN 201611259625A CN 108270727 A CN108270727 A CN 108270727A
- Authority
- CN
- China
- Prior art keywords
- behavioral data
- data
- abnormal
- abnormal flow
- rule information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了一种异常数据分析方法和装置,用于快速发现产生异常流量的访问网站的行为数据。本发明实施例方法应用于异常数据分析装置,该方法包括:从预先建立的规则库获取异常流量规则信息;获取行为数据,所述行为数据由用户访问网站的行为产生;判断所述行为数据是否符合所述异常流量规则信息;若所述行为数据符合所述异常流量规则信息,则输出所述行为数据。这样,获取行为数据后,输出的行为数据为符合异常流量规则信息的行为数据,该输出的行为数据对应的网站流量为异常流量,从而实现了快速发现产生异常流量的行为数据,方便了用户快速发现异常流量。
Description
技术领域
本发明涉及数据处理领域,尤其涉及一种异常数据分析方法和装置。
背景技术
在通过GWD(Government WebDissector)等网站行为数据分析系统对网站流量进行分析时,经常会出现一些异常流量,如访问时长为0且来自于同一个访问者停留时长为0等,这类数据会极大地对系统的数据造成干扰,容易被用户当成是正常的流量处理。
目前对于这种异常流量,主要靠数据分析师对数据进行层层分析,找到异常流量的规律然后做出判断,并将结果告知用户。
这样的方法,严重依赖于数据分析师的个人经验及专业素养,且对于异常流量的发现往往是数据收集一段时间以后,发现总的流量上存在一些问题才会去对数据进行分析,导致发现异常流量的及时性不高,且容易出现遗漏。
发明内容
本发明实施例提供了一种异常数据分析方法和装置,用于快速发现产生异常流量的访问网站的行为数据。
为了解决上述技术问题,本发明实施例提供了以下技术方案:
一种异常数据分析方法,所述方法包括:
从预先建立的规则库获取异常流量规则信息;
获取行为数据,所述行为数据由用户访问网站的行为产生;
判断所述行为数据是否符合所述异常流量规则信息;
若所述行为数据符合所述异常流量规则信息,则输出所述行为数据。
为了解决上述技术问题,本发明实施例还提供了以下技术方案:
一种异常数据分析装置,所述装置包括:
发现单元,用于从预先建立的规则库获取异常流量规则信息;
所述发现单元,还用于获取行为数据,所述行为数据由用户访问网站的行为产生;
所述发现单元,还用于判断所述行为数据是否符合所述异常流量规则信息;
所述发现单元,还用于若所述行为数据符合所述异常流量规则信息,则输出所述行为数据。
从以上技术方案可以看出,本发明实施例具有以下优点:
从预先建立的规则库获取异常流量规则信息,以及获取行为数据,其中,行为数据由用户访问网站的行为产生。然后,判断所述行为数据是否符合所述异常流量规则信息。若所述行为数据符合所述异常流量规则信息,则输出所述行为数据。这样,在用户访问网站产生行为数据和对应的网站流量时,本发明实施例的异常数据分析装置获取该行为数据后,该异常数据分析装置输出的行为数据为符合异常流量规则信息的行为数据,该输出的行为数据对应的网站流量为异常流量,从而实现了快速发现产生异常流量的行为数据,方便了用户快速发现异常流量。
附图说明
图1为本发明一实施例提供的一种异常数据分析方法的方法流程图;
图2为本发明另一实施例提供的一种异常数据分析方法的方法流程图;
图3为本发明另一实施例提供的一种异常数据分析装置的结构示意图。
具体实施方式
本发明实施例提供了一种异常数据分析方法和装置,用于快速发现产生异常流量的访问网站的行为数据。
图1为本发明实施例提供的一种异常数据分析方法的方法流程图,以异常数据分析装置执行本发明实施例的方法的角度为例,参阅图1,本发明实施例的方法包括:
步骤101:从预先建立的规则库获取异常流量规则信息;
步骤102:获取行为数据,行为数据由用户访问网站的行为产生;
步骤103:判断行为数据是否符合异常流量规则信息;
步骤104:若行为数据符合异常流量规则信息,则输出行为数据。
可选地,
行为数据包括行为数据ID,行为数据ID用于对行为数据进行标识,
获取行为数据,包括:
从预先建立的行为数据库获取行为数据;
输出行为数据,包括:
向标记库发送行为数据的行为数据ID。
可选地,向标记库发送行为数据的行为数据ID之后,本发明实施例的方法还包括:
从标记库获取行为数据ID;
根据行为数据ID从行为数据库获取对应的行为数据;
对行为数据进行分析,得到目标异常流量规则信息。
可选地,
从预先建立的行为数据库获取行为数据之前,本发明实施例的方法还包括:
获取分析时间信息;
从预先建立的行为数据库获取行为数据,包括:
根据分析时间信息从预先建立的行为数据库获取行为数据。
可选地,
若行为数据符合异常流量规则信息,本发明实施例的方法还包括:
对符合异常流量规则信息的行为数据的行为数据ID打异常标记;
向标记库发送行为数据的行为数据ID,包括:
向标记库发送打异常标记的符合异常流量规则信息的行为数据的行为数据ID;
本发明实施例的方法还包括:
向标记库发送不符合异常流量规则信息的行为数据的行为数据ID。
可选地,根据行为数据ID从行为数据库获取对应的行为数据,包括:
根据打异常标记的行为数据ID从行为数据库获取符合异常流量规则信息的行为数据;
根据未打异常标记的行为数据ID从行为数据库获取不符合异常流量规则信息的行为数据;
对行为数据进行分析,得到目标异常流量规则信息,包括:
对符合异常流量规则信息的行为数据和不符合异常流量规则信息的行为数据进行聚类分析,得到目标异常流量规则信息。
可选地,
从预先建立的行为数据库获取行为数据,包括:
从预先建立的行为数据库获取当前行为数据,当前行为数据由数据分析系统处理数据后得到;
向标记库发送行为数据的行为数据ID之后,本发明实施例的方法还包括:
从标记库中读取行为数据ID;
在设备上展示读取的行为数据ID。
综上所述,从预先建立的规则库获取异常流量规则信息,以及获取行为数据,其中,行为数据由用户访问网站的行为产生。然后,判断行为数据是否符合异常流量规则信息。若行为数据符合异常流量规则信息,则输出行为数据。这样,在用户访问网站产生行为数据和对应的网站流量时,本发明实施例的异常数据分析装置获取该行为数据后,该异常数据分析装置输出的行为数据为符合异常流量规则信息的行为数据,该输出的行为数据对应的网站流量为异常流量,从而实现了快速发现产生异常流量的行为数据,方便了用户快速发现异常流量。
图2为本发明实施例提供的一种异常数据分析方法的方法流程图,参考上述内容,以异常数据分析装置执行本发明实施例的方法的角度为例,参阅图2,本发明实施例的方法包括:
步骤201:获取分析时间信息;
异常数据分析装置的发现单元获取分析用户输入的分析时间信息,该分析时间信息由分析用户选定,例如时间段:6点至18点。
其中该异常数据分析装置可集成在计算机等设备上。
步骤202:根据分析时间信息从预先建立的行为数据库获取行为数据。
异常数据分析装置获取到分析时间信息后,从行为数据库中获取符合该分析时间信息的行为数据。
其中,行为数据由用户访问网站的行为产生。例如,该行为数据包括访问网站的用户ID、访问时长、是否跳出、浏览器版本、IP地址、地理位置等。该行为数据还包括行为数据ID,该行为数据ID用于对行为数据进行标识。即一条行为数据对应一个行为数据ID。
该行为数据库即用于存储用户行为数据,发现单元直接从该行为数据库读取待分析的行为数据。该行为数据库可预先在该异常数据分析装置内建立,也可以在其它设备上建立,异常数据分析装置与该设备可通信连接。
该行为数据库的行为数据的来源包括但不限于分析用户的输入、网站行为数据分析系统的输入等等。
可以理解,在本发明有的实施例中,异常数据分析装置可以不用获取分析时间信息,发现单元可从预先建立的行为数据库直接获取行为数据。该行为数据可以是网站行为数据分析系统当前发送的行为数据,或者分析用户提前向行为数据库输入分析用户预先选定完成的行为数据集合。
可以理解,在本发明有的实施例中,该异常数据分析装置可以从其它设备获取行为数据,例如网站行为数据分析系统产生行为数据后,直接将该行为数据发送给异常数据分析装置的发现单元,以使得该发现单元进行数据的分析。
步骤203:从预先建立的规则库获取异常流量规则信息;
异常数据分析装置的发现单元还从预先建立的规则库获取异常流量规则信息,该异常流量规则信息可以是分析用户预先确定的,或者还可以是异常数据分析装置通过对行为数据进行机器学习得到。
例如,分析用户对GWD(英文名称:Government WebDissector,中文名称:政府网站行为数据分析系统)系统中的异常流量,总结出该异常流量规则信息,如通过选定维度,以及指标信息:统计访问时长、跳出率、点击的坐标等,得出相应的异常流量规则信息描述。如“选择浏览器维度,访问时长=0,跳出率=100%……”等,然后可将该异常流量规则信息输入规则库。
其中,该规则库可预先在该异常数据分析装置内建立,也可以在其它设备上建立,异常数据分析装置与该设备可通信连接。
通过步骤202和步骤203,异常数据分析装置即实现了获取异常流量规则信息和行为数据。
步骤204:判断行为数据是否符合异常流量规则信息;若行为数据符合异常流量规则信息,则执行步骤205。
获取到行为数据后,发现单元判断该行为数据是否符合异常流量规则信息。若行为数据符合异常流量规则信息,则执行步骤205,否则不输出被分析判断的行为数据的ID。
具体的判断方法例如可以是,利用统计分析等技术对行为数据进行计算,以判断行为数据是否符合异常流量规则信息。
步骤205:向标记库发送行为数据的行为数据ID。
若行为数据符合异常流量规则信息,则发现单元向标记库输出行为数据ID(中文名称:身份标识号码,或序列号、帐号),通过该行为数据ID,即可确定出哪些行为数据为异常的行为数据。行为数据ID用于对行为数据进行标识。
若是符合异常流量规则信息的行为数据,该行为数据所属的网站访问行为将会产生异常的流量,在流量分析时要将这些异常的流量进行去除,以避免异常流量对系统的数据造成干扰。
这样,分析用户根据该输出的行为数据ID即可知道那些行为数据是异常的,从而确定出对应的异常流量。通过上述方法即可方便用户对异常流量的判别。
可以理解,在本发明有的实施例中,发现单元可以直接将符合异常流量规则信息的行为数据输出,用户直接获取到异常的行为数据。即该标记库可以用于存储完整的行为数据,也可以只存储行为数据ID。
在本发明有的实施例中,该输出的行为数据ID或行为数据,可以直接输出给其它装置或设备,例如异常数据分析装置向网站行为数据分析系统发送该标记库的行为数据ID,以使该系统直接根据该行为数据ID向分析用户展示被标注的异常行为数据或异常流量。实现了自动发现网站异常流量。
为了扩展规则库中的异常流量规则信息,本发明实施例的异常数据分析装置还包括规则学习单元,该规则学习单元用于分析出新的异常流量规则信息。即本发明实施例的方法还包括下述步骤。
步骤206:从标记库获取行为数据ID;
标记库获取到的行为数据ID对应于异常的行为数据。规则学习单元可从标记库中获取行为数据ID以进行后续的分析。
步骤207:根据行为数据ID从行为数据库获取对应的行为数据;
根据获取到的行为数据ID,规则学习单元从行为数据库中加载该行为数据ID标识的行为数据,此时规则学习单元即可获取到符合异常流量规则的行为数据的详情。
在标记库中存储行为数据ID而不是完整的行为数据,可以减少异常数据分析装置的存储压力,因在行为数据库中已经存储有用户的行为数据了,通过行为数据ID即可实现对行为数据的唯一标识,故,没必要再在标记库中对该行为数据再次进行存储。并且,即可以将该行为数据ID发送给规则学习单元进行行为数据的分析,也可以将该行为数据ID发送给其它的设备进行处理,从而满足了分析用户的多种需求。
可以理解,通过上述方法,存储在标记库中的行为数据ID即为异常的行为数据的ID,在本发明有的实施例中,还可以对这些行为数据ID打上异常标记TAG,以标识这些行为数据ID属于异常的数据,这样可为其它的设备更准确地利用这些异常数据。当然,也可以在发现单元对行为数据ID打上该异常标记TAG。
步骤208:对行为数据进行分析,得到目标异常流量规则信息。
规则学习单元获取到异常的行为数据的详情后,即可对这些行为数据进行分析,以得到新的目标异常流量规则信息,这些目标异常流量规则信息是规则库中所没有的,从而对异常流量规则信息进行了扩展。
其中,具体的分析方法可以是对得到的行为数据详情进行统计分析、聚类分析等机器学习。
例如,原来的异常流量规则信息由预设的维度的指标表示,异常数据分析装置筛选出多个异常的行为数据后,对这多个异常的行为数据进行统计分析,在该预设的维度下得到其它的异常指标,根据预设维度和这些其它的异常指标,异常数据分析装置可生成新的异常流程规则信息。
上述的步骤206至步骤208为对行为数据进行分析,得到目标异常流量规则信息的具体实现方式之一。本发明实施例还有其它的方法得到目标异常流量信息,例如使用正常的行为数据和异常的行为数据同时进行分析,此时将要用到异常标记TAG。具体如下:
若行为数据符合异常流量规则信息,则本发明实施例的方法还包括:
对符合异常流量规则信息的行为数据的行为数据ID打异常标记;
从而,向标记库发送行为数据的行为数据ID,包括:向标记库发送打异常标记的符合异常流量规则信息的行为数据的行为数据ID。以及,本发明实施例的方法还包括:向标记库发送不符合异常流量规则信息的行为数据的行为数据ID。即,向标记库发送不符合异常流量规则信息的行为数据的行为数据ID,以及打异常标记的符合异常流量规则信息的行为数据的行为数据ID;
这样,规则学习单元根据行为数据ID从行为数据库获取对应的行为数据,包括:根据打异常标记的行为数据ID从行为数据库获取符合异常流量规则信息的行为数据;根据未打异常标记的行为数据ID从行为数据库获取不符合异常流量规则信息的行为数据。这样,规则学习单元根据异常标记TAG即可区分出符合异常流量规则信息的行为数据和不符合异常流量规则信息的行为数据。
然后,对行为数据进行分析,得到目标异常流量规则信息,具体可以为:对符合异常流量规则信息的行为数据和不符合异常流量规则信息的行为数据进行聚类分析,得到目标异常流量规则信息。
通过异常标记,即可在标记库中对符合异常流量规则信息的异常的行为数据和不符合异常流量规则信息的正常的行为数据进行区分,通过行为数据ID,规则学习单元获取到正常的行为数据详情和异常的行为数据详情后,即可使用这两种行为数据进行机器学习,得到目标异常流量规则信息,因新规则信息的发现使用到了两类行为数据,从而得到的目标异常流量规则信息将更加准确和数量更多。
步骤209:向规则库发送目标异常流量规则信息。
规则学习单元通过上述方法得到新的目标异常流量规则信息后,即可将该目标异常流量规则信息发给规则库,从而扩充了规则库的异常流量规则信息,使得后续异常数据分析装置能分析出更多的与异常流量对应的异常行为数据,以及提高了分析异常行为数据的准确率。
可以理解,在本发明有的实施例中,为了更方便分析用户使用本发明实施例的异常数据分析装置,提高异常的行为数据的分析效率,可以将该异常数据分析装置与其它的设备或装置连接或集成在其它的装置上。
例如,在本发明有的实施例中,该异常数据分析装置与网站行为数据分析系统相连接,该网站行为数据分析系统例如可以为政府网站行为数据分析系统。
步骤202可以为:发现单元从预先建立的行为数据库获取当前行为数据,当前行为数据由数据分析系统处理数据后得到;
即当数据分析系统在运行完数据处理程序后,得到当前用户访问网站的当前行为数据,然后数据分析系统将该当前行为数据发送到异常数据分析装置的行为数据库中,以给该异常数据分析装置的发现单元从数据库获取该当前行为数据,并进行是否符合异常流量规则信息的分析,若该当前行为数据符合异常流量规则信息,则发现单元输出该当前行为数据或者该异常数据分析装置对该当前行为数据的行为数据ID打上异常标记TAG,以标注出异常流量。其中该数据分析系统可以为网站行为数据分析系统。
这样,向标记库发送行为数据的行为数据ID之后,因标记库与数据分析系统连接,该标记库还可用于被网站行为数据分析系统读取标记库的行为数据ID,以使网站行为数据分析系统根据行为数据ID对异常的行为数据进行展示。
即数据分析系统系统可以对接该异常数据分析装置的标记库,从而可从该标记库获取分析为异常的当前行为数据,以使得网站行为数据分析系统根据该行为数据ID确定出异常流量,或可为用户实时展示异常流量判断结果。
或者,本发明实施例的方法在向标记库发送行为数据的行为数据ID之后,可以读取该标记库中的行为数据ID,并在设备上展示该从标记库读取的行为数据ID。例如在屏幕上显示该行为数据ID。该行为数据ID为符合异常流量规则信息的行为数据ID,从而分析用户可根据展示的行为数据ID进行数据的分析。或者若标记库的行为数据ID包括符合异常流量规则信息的行为数据的行为数据ID,以及不符合异常流量规则信息的行为数据的行为数据ID时,还用展示符合异常流量规则信息的行为数据的行为数据ID的异常标记,以使用户可以区分不同的行为数据ID。
可以理解,若异常数据分析装置只向标记库输出符合异常流量规则信息的行为数据,存储在标记库中的行为数据即为异常的行为数据,此时可不对该行为数据打异常标记。若异常数据分析装置向标记库输出符合异常流量规则信息的行为数据,以及不符合异常流量规则信息的行为数据,则需要对该行为数据打异常标记TAG,以使得异常数据分析装置或其它设备可以根据该异常标记TAG区分出标记库中的异常的行为数据。
其中,该异常数据分析装置在实际使用中,可以利用操作系统计划任务来调度运行,调度的时间在前期可以为一个月调度一次,通过规则学习单元可以对异常流量规则信息不断进行扩充,等能够得到足够大的标记库和规则库后,可以将调度时间间隔变小,此时因规则库的规则信息较多,分析错误率可较小,以及漏过的异常行为数据也较少。这样,可以直至将调度时间缩短和分析系统同步配合使用为止。即当网站行为数据分析系统在运行完数据处理程序后,得到当前用户访问数据,则马上运行该异常数据分析装置对该当前行为数据进行分析。
这样,利用自动化手段,实时分析网站访问数据是否为异常数据,并能够将结果第一时间展示给网站行为数据分析系统的最终分析用户,为用户提供异常流量标注的功能。
综上所述,从预先建立的规则库获取异常流量规则信息,以及获取行为数据,其中,行为数据由用户访问网站的行为产生。然后,判断行为数据是否符合异常流量规则信息。若行为数据符合异常流量规则信息,则输出行为数据。这样,在用户访问网站产生行为数据和对应的网站流量时,本发明实施例的异常数据分析装置获取该行为数据后,该异常数据分析装置输出的行为数据为符合异常流量规则信息的行为数据,该输出的行为数据对应的网站流量为异常流量,从而实现了快速发现产生异常流量的行为数据,方便了用户快速发现异常流量。
图3为本发明实施例提供的一种异常数据分析装置的结构示意图,该异常数据分析装置可用于执行上述图1或图2所示实施例的方法,本发明实施例的异常数据分析装置包括:
发现单元301,用于从预先建立的规则库获取异常流量规则信息;
发现单元301,还用于获取行为数据,行为数据由用户访问网站的行为产生;
发现单元301,还用于判断行为数据是否符合异常流量规则信息;
发现单元301,还用于若行为数据符合异常流量规则信息,则输出行为数据。
可选地,
行为数据包括行为数据ID,行为数据ID用于对行为数据进行标识,
发现单元301,还用于从预先建立的行为数据库获取行为数据;
发现单元301,还用于向标记库发送行为数据的行为数据ID;
可选地,本发明实施例的装置还包括:
规则学习单元302,用于从标记库获取行为数据ID;
规则学习单元302,还用于根据行为数据ID从行为数据库获取对应的行为数据;
规则学习单元302,还用于对行为数据进行分析,得到目标异常流量规则信息。
可选地,
发现单元301,还用于获取分析时间信息;
发现单元301,还用于根据分析时间信息从预先建立的行为数据库获取行为数据。
可选地,
发现单元301,还用于若行为数据符合异常流量规则信息,对符合异常流量规则信息的行为数据的行为数据ID打异常标记;
发现单元301,还用于向标记库发送打异常标记的符合异常流量规则信息的行为数据的行为数据ID;
发现单元301,还用于向标记库发送不符合异常流量规则信息的行为数据的行为数据ID。
可选地,
规则学习单元302,还用于根据打异常标记的行为数据ID从行为数据库获取符合异常流量规则信息的行为数据;
规则学习单元302,还用于根据未打异常标记的行为数据ID从行为数据库获取不符合异常流量规则信息的行为数据;
规则学习单元302,还用于对符合异常流量规则信息的行为数据和不符合异常流量规则信息的行为数据进行聚类分析,得到目标异常流量规则信息。
可选地,
发现单元301,还用于从预先建立的行为数据库获取当前行为数据,当前行为数据由数据分析系统处理数据后得到;
本发明实施例的装置还包括:
读取单元,用于从标记库中读取行为数据ID;
展示单元,用于在设备上展示读取的行为数据ID。
综上所述,发现单元301从预先建立的规则库获取异常流量规则信息,以及获取行为数据,其中,行为数据由用户访问网站的行为产生。然后,发现单元301判断行为数据是否符合异常流量规则信息。若行为数据符合异常流量规则信息,则发现单元301输出行为数据。这样,在用户访问网站产生行为数据和对应的网站流量时,本发明实施例的异常数据分析装置获取该行为数据后,该异常数据分析装置输出的行为数据为符合异常流量规则信息的行为数据,该输出的行为数据对应的网站流量为异常流量,从而实现了快速发现产生异常流量的行为数据,方便了用户快速发现异常流量。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种异常数据分析方法,其特征在于,所述方法包括:
从预先建立的规则库获取异常流量规则信息;
获取行为数据,所述行为数据由用户访问网站的行为产生;
判断所述行为数据是否符合所述异常流量规则信息;
若所述行为数据符合所述异常流量规则信息,则输出所述行为数据。
2.根据权利要求1所述的方法,其特征在于,
所述行为数据包括行为数据ID,所述行为数据ID用于对所述行为数据进行标识,
所述获取行为数据,包括:
从预先建立的行为数据库获取行为数据;
所述输出所述行为数据,包括:
向标记库发送所述行为数据的行为数据ID。
3.根据权利要求2所述的方法,其特征在于,
所述向标记库发送所述行为数据的行为数据ID之后,所述方法还包括:
从所述标记库获取所述行为数据ID;
根据所述行为数据ID从所述行为数据库获取对应的所述行为数据;
对所述行为数据进行分析,得到目标异常流量规则信息。
4.根据权利要求2所述的方法,其特征在于,
所述从预先建立的行为数据库获取行为数据之前,所述方法还包括:
获取分析时间信息;
所述从预先建立的行为数据库获取行为数据,包括:
根据所述分析时间信息从预先建立的行为数据库获取行为数据。
5.根据权利要求2所述的方法,其特征在于,
若所述行为数据符合所述异常流量规则信息,所述方法还包括:
对符合所述异常流量规则信息的行为数据的行为数据ID打异常标记;
所述向标记库发送所述行为数据的行为数据ID,包括:
向标记库发送打异常标记的符合所述异常流量规则信息的行为数据的行为数据ID;
所述方法还包括:
向标记库发送不符合所述异常流量规则信息的行为数据的行为数据ID。
6.根据权利要求3所述的方法,其特征在于,
所述根据所述行为数据ID从所述行为数据库获取对应的所述行为数据,包括:
根据所述打异常标记的行为数据ID从所述行为数据库获取符合所述异常流量规则信息的行为数据;
根据所述未打异常标记的行为数据ID从所述行为数据库获取不符合所述异常流量规则信息的行为数据;
所述对所述行为数据进行分析,得到目标异常流量规则信息,包括:
对所述符合所述异常流量规则信息的行为数据和所述不符合所述异常流量规则信息的行为数据进行聚类分析,得到目标异常流量规则信息。
7.根据权利要求2所述的方法,其特征在于,
所述从预先建立的行为数据库获取行为数据,包括:
从预先建立的行为数据库获取当前行为数据,所述当前行为数据由数据分析系统处理数据后得到;
所述向标记库发送所述行为数据的行为数据ID之后,所述方法还包括:
从所述标记库中读取所述行为数据ID;
在设备上展示所述读取的行为数据ID。
8.一种异常数据分析装置,其特征在于,所述装置包括:
发现单元,用于从预先建立的规则库获取异常流量规则信息;
所述发现单元,还用于获取行为数据,所述行为数据由用户访问网站的行为产生;
所述发现单元,还用于判断所述行为数据是否符合所述异常流量规则信息;
所述发现单元,还用于若所述行为数据符合所述异常流量规则信息,则输出所述行为数据。
9.根据权利要求8所述的装置,其特征在于,
所述行为数据包括行为数据ID,所述行为数据ID用于对所述行为数据进行标识,
所述发现单元,还用于从预先建立的行为数据库获取行为数据;
所述发现单元,还用于向标记库发送所述行为数据的行为数据ID;
所述装置还包括:
规则学习单元,用于从所述标记库获取所述行为数据ID;
所述规则学习单元,还用于根据所述行为数据ID从所述行为数据库获取对应的所述行为数据;
所述规则学习单元,还用于对所述行为数据进行分析,得到目标异常流量规则信息。
10.根据权利要求9所述的装置,其特征在于,
所述发现单元,还用于获取分析时间信息;
所述发现单元,还用于根据所述分析时间信息从预先建立的行为数据库获取行为数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611259625.5A CN108270727A (zh) | 2016-12-30 | 2016-12-30 | 异常数据分析方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611259625.5A CN108270727A (zh) | 2016-12-30 | 2016-12-30 | 异常数据分析方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108270727A true CN108270727A (zh) | 2018-07-10 |
Family
ID=62754864
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611259625.5A Pending CN108270727A (zh) | 2016-12-30 | 2016-12-30 | 异常数据分析方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108270727A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109684181A (zh) * | 2018-11-20 | 2019-04-26 | 华为技术有限公司 | 告警根因分析方法、装置、设备及存储介质 |
CN110505196A (zh) * | 2019-07-02 | 2019-11-26 | 中国联合网络通信集团有限公司 | 物联网卡异常检测方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009132552A1 (zh) * | 2008-04-30 | 2009-11-05 | 华为技术有限公司 | 一种入侵检测方法、系统和装置 |
CN102724059A (zh) * | 2012-03-31 | 2012-10-10 | 常熟市支塘镇新盛技术咨询服务有限公司 | 基于MapReduce的网站运行状态监控与异常检测 |
CN104915455A (zh) * | 2015-07-02 | 2015-09-16 | 焦点科技股份有限公司 | 一种基于用户行为的网站异常访问识别方法及系统 |
CN105915555A (zh) * | 2016-06-29 | 2016-08-31 | 北京奇虎科技有限公司 | 网络异常行为的检测方法及系统 |
CN106027577A (zh) * | 2016-08-04 | 2016-10-12 | 四川无声信息技术有限公司 | 一种异常访问行为检测方法及装置 |
-
2016
- 2016-12-30 CN CN201611259625.5A patent/CN108270727A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009132552A1 (zh) * | 2008-04-30 | 2009-11-05 | 华为技术有限公司 | 一种入侵检测方法、系统和装置 |
CN102724059A (zh) * | 2012-03-31 | 2012-10-10 | 常熟市支塘镇新盛技术咨询服务有限公司 | 基于MapReduce的网站运行状态监控与异常检测 |
CN104915455A (zh) * | 2015-07-02 | 2015-09-16 | 焦点科技股份有限公司 | 一种基于用户行为的网站异常访问识别方法及系统 |
CN105915555A (zh) * | 2016-06-29 | 2016-08-31 | 北京奇虎科技有限公司 | 网络异常行为的检测方法及系统 |
CN106027577A (zh) * | 2016-08-04 | 2016-10-12 | 四川无声信息技术有限公司 | 一种异常访问行为检测方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109684181A (zh) * | 2018-11-20 | 2019-04-26 | 华为技术有限公司 | 告警根因分析方法、装置、设备及存储介质 |
CN109684181B (zh) * | 2018-11-20 | 2020-08-07 | 华为技术有限公司 | 告警根因分析方法、装置、设备及存储介质 |
CN110505196A (zh) * | 2019-07-02 | 2019-11-26 | 中国联合网络通信集团有限公司 | 物联网卡异常检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110399293B (zh) | 系统测试方法、装置、计算机设备和存储介质 | |
Steichen et al. | Te, Te, Hi, Hi: Eye gaze sequence analysis for informing user-adaptive information visualizations | |
CN106874187B (zh) | 代码覆盖率收集方法和装置 | |
US8515569B2 (en) | Work support system, work support method, and storage medium | |
CN104298679A (zh) | 应用业务推荐方法及装置 | |
US20070185990A1 (en) | Computer-readable recording medium with recorded performance analyzing program, performance analyzing method, and performance analyzing apparatus | |
CN111459700A (zh) | 设备故障的诊断方法、诊断装置、诊断设备及存储介质 | |
CN110020339B (zh) | 基于无埋点的网页数据采集方法及装置 | |
JP6942617B2 (ja) | データ分析システムおよびデータ分析装置 | |
CN109934268B (zh) | 异常交易检测方法及系统 | |
CN103365928B (zh) | 一种信息推荐方法及装置 | |
CN101802731A (zh) | 用于自动显示工业控制系统中的过程信息的系统和由计算机实施的方法 | |
CN103577660B (zh) | 灰度实验系统和方法 | |
CN111130890A (zh) | 一种网络流量动态预测系统 | |
CN105868956A (zh) | 一种数据处理方法及装置 | |
CN106909492B (zh) | 业务数据的追踪方法及装置 | |
CN108270727A (zh) | 异常数据分析方法和装置 | |
CN110442852B (zh) | 目标成本的编制方法、存储介质及其智能终端 | |
CN103593429B (zh) | 一种检测商品模板失效的方法及装置 | |
CN108243046A (zh) | 一种基于数据稽核的业务质量评估方法及装置 | |
JP4308683B2 (ja) | ユーザ活動履歴可視化・分析方法、ユーザ活動履歴可視化・分析装置、および、プログラム | |
CN115801538A (zh) | 场站服务器应用资产深度识别方法、系统及设备 | |
CN109815109B (zh) | 数据模式变更检测方法、装置、设备及可读存储介质 | |
US20160178590A1 (en) | System and method for predicting harmful materials | |
CN105681097A (zh) | 获取终端设备更换周期的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100080 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing Applicant after: Beijing Guoshuang Technology Co.,Ltd. Address before: 100086 Cuigong Hotel, 76 Zhichun Road, Shuangyushu District, Haidian District, Beijing Applicant before: Beijing Guoshuang Technology Co.,Ltd. |
|
CB02 | Change of applicant information | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180710 |
|
RJ01 | Rejection of invention patent application after publication |