CN113379469A - 一种异常流量检测方法、装置、设备及存储介质 - Google Patents

一种异常流量检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113379469A
CN113379469A CN202110762579.5A CN202110762579A CN113379469A CN 113379469 A CN113379469 A CN 113379469A CN 202110762579 A CN202110762579 A CN 202110762579A CN 113379469 A CN113379469 A CN 113379469A
Authority
CN
China
Prior art keywords
flow
rule set
detected
detection rule
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110762579.5A
Other languages
English (en)
Inventor
孙泽懿
徐成国
徐凯波
杨康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Miaozhen Information Technology Co Ltd
Original Assignee
Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Minglue Artificial Intelligence Group Co Ltd filed Critical Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority to CN202110762579.5A priority Critical patent/CN113379469A/zh
Publication of CN113379469A publication Critical patent/CN113379469A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0248—Avoiding fraud
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明实施例公开了一种异常流量检测方法、装置、设备及存储介质，所述方法包括：获取待检测流量对象关联的待检测流量参数；基于预先设定的流量检测规则集和待检测流量参数对待检测流量对象进行检测，确定待检测流量对象的流量异常检测结果，其中，流量检测规则集是基于基础检测规则集和历史流量对象关联的历史流量参数无监督训练更新得到的。本发明实施例提供的方法通过基于基础检测规则集和历史流量对象关联的历史流量参数无监督训练更新得到流量检测规则集，基于流量检测规则集对待检测流量对象进行异常流量的检测，可以有效的对新类型的异常虚假流量进行识别和区分类别，有足够的泛化性，实用性更广，减少了人力识别和制定规则的成本。

Description

一种异常流量检测方法、装置、设备及存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种异常流量检测方法、装置、设备及存储介质。
背景技术
随着网络广告市场的蓬勃发展，广告欺诈、虚假流量、广告作弊黑灰产、用户数据滥用和隐私信息泄露等问题也逐步显现，全球范围内各个国家对信息安全与隐私保护相关问题也越来越重视。现阶段的广告欺诈、异常流量、数据造假等问题已经成为数字营销行业亟待解决的痛点。由此可见，对虚假流量的识别十分重要。
但是随着计算机网络技术的不断发展，虚假流量和检测虚假流量的技术相互更迭进步，传统通过规则识别的异常流量的技术手段的前提是知道某类异常虚假流量的类别，并且了解该类别的特点，这样才能指定相应规则进行过滤识别，一旦新的技术产生的新的类别的虚假流量出现，规则识别的方法就会失效，因此，如何提高异常流量检测的泛化性，实现异常流量的精准快速识别，是一个亟待解决的技术问题。
发明内容
本发明实施例提供了一种异常流量检测方法、装置、设备及存储介质，以实现提高异常流量检测的泛化性，实现异常流量的精准快速识别。
第一方面，本发明实施例提供了一种异常流量检测方法，包括：
获取待检测流量对象关联的待检测流量参数；
基于预先设定的流量检测规则集和所述待检测流量参数对所述待检测流量对象进行检测，确定所述待检测流量对象的流量异常检测结果，其中，所述流量检测规则集是基于基础检测规则集和历史流量对象关联的历史流量参数无监督训练更新得到的。
可选的，进一步的，所述流量检测规则集的获取，包括：
获取历史流量对象关联的历史流量参数；
基于所述历史流量参数，采用分类模型对所述历史流量对象进行分类，得到所述历史流量对象的分类结果；
基于所述基础检测规则集和所述分类结果，得到所述流量检测规则集。
可选的，进一步的，所述分类结果包括一个聚合数据簇，所述基于所述基础检测规则集和所述分类结果，得到所述流量检测规则集，包括：
确定所述聚合数据簇中与所述基础检测规则集之间的差异数据集；
采用规则集提取模型对所述差异数据集进行训练，得到所述更新检测规则集，并将基于所述更新检测规则集更新后的基础检测规则集作为新的基础检测规则集；
迭代执行上述步骤，直到达到停止迭代条件，将当前所述基础检测规则集作为所述流量检测规则集。
可选的，进一步的，所述确定所述聚合数据簇中与所述基础检测规则集之间的差异数据集，包括：
基于所述基础检测规则集对所述聚合数据簇进行类别判定，将不满足所述基础检测规则集的数据集作为所述差异数据集。
可选的，进一步的，所述停止迭代条件包括：
所述更新检测规则集趋向于设定阈值。
可选的，进一步的，所述分类模型基于无监督聚类模型算法构建。
可选的，进一步的，所述基于预先设定的流量检测规则集和所述待检测流量参数对所述待检测流量对象进行检测，确定所述待检测流量对象的流量异常检测结果，包括：
当所述待检测流量参数满足所述流量检测规则集中的至少一个异常流量规则时，判定所述待检测流量对象为异常流量类型。
第二方面，本发明实施例还提供了一种异常流量检测装置，包括：
待检测流量参数获取模块，用于获取待检测流量对象关联的待检测流量参数；
流量异常检测结果模块，用于基于预先设定的流量检测规则集和所述待检测流量参数对所述待检测流量对象进行检测，确定所述待检测流量对象的流量异常检测结果，其中，所述流量检测规则集是基于基础检测规则集和历史流量对象关联的历史流量参数无监督训练更新得到的。
第三方面，本发明实施例还提供了一种计算机设备，设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任意实施例所提供的异常流量检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的异常流量检测方法。
本发明实施例获取待检测流量对象关联的待检测流量参数；基于预先设定的流量检测规则集和待检测流量参数对待检测流量对象进行检测，确定待检测流量对象的流量异常检测结果，其中，流量检测规则集是基于基础检测规则集和历史流量对象关联的历史流量参数无监督训练更新得到的，通过基于基础检测规则集和历史流量对象关联的历史流量参数无监督训练更新得到流量检测规则集，基于流量检测规则集对待检测流量对象进行异常流量的检测，可以有效的对新类型的异常虚假流量进行识别和区分类别，有足够的泛化性，实用性更广，减少了人力识别和制定规则的成本。
附图说明
图1是本发明实施例一所提供的一种异常流量检测方法的流程图；
图2是本发明实施例二所提供的一种异常流量检测方法的流程示意图；
图3是本发明实施例三所提供的一种异常流量检测方法的流程示意图；
图4是本发明实施例四所提供的一种异常流量检测装置的结构示意图；
图5是本发明实施例五所提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一所提供的一种异常流量检测方法的流程图。本实施例可适用于对流量进行异常检测的情形。该方法可以由异常流量检测装置执行，该异常流量检测装置可以采用软件和/或硬件的方式实现，例如，该异常流量检测装置可配置于计算机设备中。如图1所示，该方法包括：
S110、获取待检测流量对象关联的待检测流量参数。
在本实施例中，待检测流量对象可以理解为需要检测是否为异常流量的对象，具体可以根据实际需求确定，在此不做限制，以检测某一个用户视频流量是否异常为例，待检测流量对象为该用户视频，以检测某一个用户直播间流量是否异常为例，待检测对象为该用户直播间。
可选的，待检测流量参数可以为与待检测流量对象关联的任意参数。如待检测流量对象的属性，待检测流量对象的流量统计时间，待检测流量对象的流量统计值等参数。可以理解的是，待检测流量对象不同时，待检测流量对象关联的待检测流量参数也会发生相应的变化。示例性的，当待检测流量对象为用户视频时，待检测流量对象关联的待检测流量参数可以该用户账号信息、用户视频的互动参数等。当待检测流量对象为用户直播间时，待检测流量对象关联的待检测流量参数可以为用户账号信息、用户直播间浏览量、用户直播间互动参数等。其中，用户账号信息可以包括用户账号的注册时长、账号详细信息、账号所属类别(如美妆类别、科普类别、宠物类别、、视频剪辑类别、自创作类别等)等信息。视频互动参数可以包括视频播放量、视频点赞量、视频转发量、视频评论量等。直播间互动参数可以包括直播间人数、直播间点赞量、直播间转发量、直播间评论量等、直播间物品成交数量等。
综合来说，待检测流量对象可以根据检测需求确定，待检测流量对象关联的待检测流量参数可以根据待检测流量对象确定，还可以根据待检测流量对象的类型确定。可选的，可以预先设置不同待检测流量对象关联的待检测流量参数，直接根据预先设置好的待检测流量参数获取待检测对象关联的待检测流量参数。
S120、基于预先设定的流量检测规则集和所述待检测流量参数对所述待检测流量对象进行检测，确定所述待检测流量对象的流量异常检测结果，其中，所述流量检测规则集是基于基础检测规则集和历史流量对象关联的历史流量参数无监督训练更新得到的。
在本实施例中，为了能够及时检测出新类型的异常流量，可以基于基础检测规则集和历史流量对象关联的历史流量参数，进行无监督训练，基于无监督训练结果对基础检测规则集进行更新得到流量检测规则集，使得流量检测规则集能够及时更新，进而使得基于流量检测规则集检测的异常流量能够更加准确。
在本发明的一种实施方式中，所述基于预先设定的流量检测规则集和所述待检测流量参数对所述待检测流量对象进行检测，确定所述待检测流量对象的流量异常检测结果，包括：
当所述待检测流量参数满足所述流量检测规则集中的至少一个异常流量规则时，判定所述待检测流量对象为异常流量类型。
在本实施例中，流量检测规则集中包括多个流量检测规则，流量检测规则可以理解为异常流量的流量参数满足的规则，即异常流量规则。简单举例来说，以流量检测对象为用户视频为例，流量检测规则可以为视频点赞量与视频转发量或视频评论量的比例高于设定阈值。以流量检测对象为直播间为例，流量检测规则可以为直播间观看数量与直播间物品成交数量的比例高于设定阈值等。可以理解的是，流量检测规则也可以为为相对于上述示例规则复杂的规则，在此不做限制。
在获取待检测流量参数后，可以直接判断待检测流量参数是否满足流量检测规则集中的异常流量规则。为加快待检测流量参数的判断速度，可以将待检测流量对象和异常流量规则关联存储，在获取待检测流量对象关联的待检测流量参数后，获取待检测流量对象关联的异常流量规则，判断待检测流量对象的待检测流量参数是否满足待检测流量对象关联的异常流量规则；还可以将待检测流量对象的对象类型和异常流量规则关联存储，在获取待检测流量对象关联的待检测流量参数后，获取待检测流量对象的对象类型关联的异常流量规则，判断待检测流量对象的待检测流量参数是否满足待检测流量对象的对象类型关联的异常流量规则。当待检测流量参数满足至少一个异常流量规则时，表明待检测流量参数异常，即待检测流量对象异常，判定待检测流量对象为异常流量类型。
本发明实施例获取待检测流量对象关联的待检测流量参数；基于预先设定的流量检测规则集和待检测流量参数对待检测流量对象进行检测，确定待检测流量对象的流量异常检测结果，其中，流量检测规则集是基于基础检测规则集和历史流量对象关联的历史流量参数无监督训练更新得到的，通过基于基础检测规则集和历史流量对象关联的历史流量参数无监督训练更新得到流量检测规则集，基于流量检测规则集对待检测流量对象进行异常流量的检测，可以有效的对新类型的异常虚假流量进行识别和区分类别，有足够的泛化性，实用性更广，减少了人力识别和制定规则的成本。
实施例二
图2是本发明实施例二所提供的一种异常流量检测方法的流程图。本实施例在上述实施例的基础上，对流量检测规则集的获取进行了进一步优化。与上述实施例中相同或相似的特征不再赘述。如图2所示，该方法包括：
S210、获取历史流量对象关联的历史流量参数。
在本实施例中，基于历史流量对象和基础检测规则集更新得到流量检测规则集。
为了使基于历史流量对象的历史流量参数生产的流量检测规则集能够覆盖尽量多类型的流量，在获取历史流量对象关联的历史流量参数时，可以获取尽量多种类型的历史流量对象关联的历史流量参数。不同对象类型的历史流量对象获取的历史流量参数可以根据实际需求设置获取。示例性的，当历史流量对象为用户视频时，历史流量对象关联的历史流量参数可以该用户账号信息、用户视频的互动参数等。当历史流量对象为用户直播间时，历史流量对象关联的历史流量参数可以为用户账号信息、用户直播间浏览量、用户直播间互动参数等。其中，用户账号信息可以包括用户账号的注册时长、账号详细信息、账号所属类别(如美妆类别、科普类别、宠物类别、视频剪辑类别、自创作类别等)等信息。视频互动参数可以包括视频播放量、视频点赞量、视频转发量、视频评论量等。直播间互动参数可以包括直播间人数、直播间点赞量、直播间转发量、直播间评论量等、直播间物品成交数量等。
S220、基于所述历史流量参数，采用分类模型对所述历史流量对象进行分类，得到所述历史流量对象的分类结果。
在本实施例中，所述分类模型基于无监督聚类模型算法构建。示例性的，可以基于k-means算法构建分类模型，基于历史流量对象关联的历史流量参数对历史流量对象进行分类。对历史流量进行分类的目的是将具有相似特征的流量数据进行整合，聚到同一数据簇下。基于此。历史流量对象的分类结果可以为一个聚合数据簇。可选的，基于历史流量对象关联的历史流量参数对历史流量对象进行分类可以为：将所有历史流量对象关联的历史流量参数作为聚类参数，输入至分类模型中，获得分类模型输出的分类结果。
S230、基于所述基础检测规则集和所述分类结果，得到所述流量检测规则集。
在本实施例中，得到历史流量对象的分类结果后，基于预先构建的基础检测规则集和分类结果得到流量检测规则集。其中，基础检测规则集可以为人为根据经验和历史异常虚假流量类别设定的检测规则集。
在本发明的一种实施方式中，所述分类结果包括一个聚合数据簇，所述基于所述基础检测规则集和所述分类结果，得到所述流量检测规则集，包括：
确定所述聚合数据簇中与所述基础检测规则集之间的差异数据集；
采用规则集提取模型对所述差异数据集进行训练，得到所述更新检测规则集，并将基于所述更新检测规则集更新后的基础检测规则集作为新的基础检测规则集；
迭代执行上述步骤，直到达到停止迭代条件，将当前所述基础检测规则集作为所述流量检测规则集。
具体的，根据制定的基础检测规则集R和聚合数据簇C进行类别判定，取得R与C的差集中的数据集差异数据集
Figure BDA0003150507250000101
Figure BDA0003150507250000102
然后使用规则集提取模型对差异数据集
Figure BDA0003150507250000103
进行训练，模型预测结果即为新的规则ΔR：
Figure BDA0003150507250000104
并将ΔR作为新的规则，更新规则集R：R＝R+ΔR，对上述步骤进行n次迭代计算，直到达到停止迭代条件，将R作为流量检测规则集。其中停止迭代条件可以为ΔR趋向于设定阈值，或迭代次数达到预先设定的最高迭代次数。
可选的，所述确定所述聚合数据簇中与所述基础检测规则集之间的差异数据集，包括：
基于所述基础检测规则集对所述聚合数据簇进行类别判定，将不满足所述基础检测规则集的数据集作为所述差异数据集。具体的，将聚合数据簇中不满足基础检测规则集的数据集作为差异数据集。
在本发明的一种实施方式中，所述停止迭代条件包括：所述更新检测规则集趋向于设定阈值。示例性的，设定阈值可以为0。即当ΔR趋向于0时，停止迭代，得到流量检测规则集。
S240、获取待检测流量对象关联的待检测流量参数。
S250、基于预先设定的流量检测规则集和所述待检测流量参数对所述待检测流量对象进行检测，确定所述待检测流量对象的流量异常检测结果。
本实施例在上述实施例的基础上，对流量检测规则集的获取进行了进一步优化，通过获取历史流量对象关联的历史流量参数；基于所述历史流量参数，采用分类模型对所述历史流量对象进行分类，得到所述历史流量对象的分类结果；基于所述基础检测规则集和所述分类结果，得到所述流量检测规则集，实现了流量检测规则集的实时更新，提高了异常流量检测的准确度。
实施例三
图3是本发明实施例三所提供的一种异常流量检测方法的流程示意图。本实施例在上述方案的基础上，提供了一种优选实施例。本发明实施例提供了一种基于无监督的异常流量类别识别方法，通过机器学习中无监督的迭代方式，提升识别异常流量类别泛化性，从而达到能够检测层出不穷的新的异常流量类别，通过机器学习使得识别虚假流量的方式更加精准，并达到扩大其应用场景的目的。结合图3，该方法主要包括：
(1)首先根据经验和历史异常虚假流量类别制定经验规则集R，R由r1，r2，r3....等一些规则组成；
(2)使用机器学习模型ML(即分类模型)对流量数据集D进行类别聚合，这里的机器学习模型可以是各种无监督聚类模型算法，如k-means算法；该步骤的主要目的是将具有相似特征的流量数据进行整合，聚到同一数据蔟下；具体公式如下：
C＝ML(D)
(3)根据制定的规则集R和第二步中的数据蔟C进行类别判定，取得R与C的差集中的数据集
Figure BDA0003150507250000111
(即差异数据集)，具体公式如下：
Figure BDA0003150507250000112
(4)使用机器学习模型ML2对差集数据集
Figure BDA0003150507250000113
进行训练，模型预测结果极为新的规则delta R，具体的公式如下：
Figure BDA0003150507250000114
(5)将ΔR作为新的规则，更新规则集R，具体公式如下：
R＝R+ΔR
(6)对上述2-5步骤进行n次迭代计算，直到ΔR趋向于0，则停止迭代，完成算法流程，具体算法可以设计如下：
Iterative：
Ri＝Ri-1+ΔRi-1
ML2i＝f(MLi-1,Ri-1)
Until:
ΔR->0
其中，i表示第i次算法迭代，f表示ML与R的计算过程的缩写，代指上述第3步骤和第4步骤；当R趋向于不再变化时，则完成整个方法的计算过程，也就是本发明实施例提供的的基于无监督的异常流量类别识别方法。
本实施例提供的异常流量检测方法可以有效对新类型的异常虚假流量进行识别和区分类别，并且有足够的泛化性，实用性更加广，并且减少了人力识别和制定规则的成本。
实施例四
图4是本发明实施例四所提供的一种异常流量检测装置的结构示意图。该异常流量检测装置可以采用软件和/或硬件的方式实现，例如该异常流量检测装置可以配置于计算机设备中。如图4所示，该装置包括待检测流量参数获取模块410和流量异常检测结果模块420，其中：
待检测流量参数获取模块410，用于获取待检测流量对象关联的待检测流量参数；
流量异常检测结果模块420，用于基于预先设定的流量检测规则集和所述待检测流量参数对所述待检测流量对象进行检测，确定所述待检测流量对象的流量异常检测结果，其中，所述流量检测规则集是基于基础检测规则集和历史流量对象关联的历史流量参数无监督训练更新得到的。
本发明实施例通过待检测流量参数获取模块获取待检测流量对象关联的待检测流量参数；流量异常检测结果模块基于预先设定的流量检测规则集和待检测流量参数对待检测流量对象进行检测，确定待检测流量对象的流量异常检测结果，其中，流量检测规则集是基于基础检测规则集和历史流量对象关联的历史流量参数无监督训练更新得到的，通过基于基础检测规则集和历史流量对象关联的历史流量参数无监督训练更新得到流量检测规则集，基于流量检测规则集对待检测流量对象进行异常流量的检测，可以有效的对新类型的异常虚假流量进行识别和区分类别，有足够的泛化性，实用性更广，减少了人力识别和制定规则的成本。
可选的，在上述方案的基础上，装置还包括流量检测规则集获取模块，包括：
历史流量参数获取单元，用于获取历史流量对象关联的历史流量参数；
历史流量对象分类单元，用于基于所述历史流量参数，采用分类模型对所述历史流量对象进行分类，得到所述历史流量对象的分类结果；
流量检验规则集获取单元，用于基于所述基础检测规则集和所述分类结果，得到所述流量检测规则集。
可选的，在上述方案的基础上，所述分类结果包括一个聚合数据簇，流量检验规则集获取单元，包括：
差异数据集确定子单元，用于确定所述聚合数据簇中与所述基础检测规则集之间的差异数据集；
基础检测规则集更新子单元，用于采用规则集提取模型对所述差异数据集进行训练，得到所述更新检测规则集，并将基于所述更新检测规则集更新后的基础检测规则集作为新的基础检测规则集；
流量检测规则集确定子单元，用于迭代执行上述步骤，直到达到停止迭代条件，将当前所述基础检测规则集作为所述流量检测规则集。
可选的，在上述方案的基础上，差异数据集确定子单元具体用于：
基于所述基础检测规则集对所述聚合数据簇进行类别判定，将不满足所述基础检测规则集的数据集作为所述差异数据集。
可选的，在上述方案的基础上，所述停止迭代条件包括：
所述更新检测规则集趋向于设定阈值。
可选的，在上述方案的基础上，所述分类模型基于无监督聚类模型算法构建。
可选的，在上述方案的基础上，所述流量异常检测结果模块420具体用于：
当所述待检测流量参数满足所述流量检测规则集中的至少一个异常流量规则时，判定所述待检测流量对象为异常流量类型。
本发明实施例所提供的异常流量检测装置可执行本发明任意实施例所提供的异常流量检测方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五所提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备512的框图。图5显示的计算机设备512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备512以通用计算设备的形式表现。计算机设备512的组件可以包括但不限于：一个或者多个处理器516，系统存储器528，连接不同系统组件(包括系统存储器528和处理器516)的总线518。
总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器516或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)530和/或高速缓存存储器532。计算机设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备512也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信，还可与一个或者多个使得用户能与该计算机设备512交互的设备通信，和/或与使得该计算机设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，计算机设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线518与计算机设备512的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备512使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器516通过运行存储在系统存储器528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的异常流量检测方法，该方法包括：
获取待检测流量对象关联的待检测流量参数；
基于预先设定的流量检测规则集和所述待检测流量参数对所述待检测流量对象进行检测，确定所述待检测流量对象的流量异常检测结果，其中，所述流量检测规则集是基于基础检测规则集和历史流量对象关联的历史流量参数无监督训练更新得到的。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的异常流量检测方法的技术方案。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所提供的异常流量检测方法，该方法包括：
获取待检测流量对象关联的待检测流量参数；
基于预先设定的流量检测规则集和所述待检测流量参数对所述待检测流量对象进行检测，确定所述待检测流量对象的流量异常检测结果，其中，所述流量检测规则集是基于基础检测规则集和历史流量对象关联的历史流量参数无监督训练更新得到的。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的异常流量检测方法的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种异常流量检测方法，其特征在于，包括：
获取待检测流量对象关联的待检测流量参数；
基于预先设定的流量检测规则集和所述待检测流量参数对所述待检测流量对象进行检测，确定所述待检测流量对象的流量异常检测结果，其中，所述流量检测规则集是基于基础检测规则集和历史流量对象关联的历史流量参数无监督训练更新得到的。
2.根据权利要求1所述的方法，其特征在于，所述流量检测规则集的获取，包括：
获取历史流量对象关联的历史流量参数；
基于所述历史流量参数，采用分类模型对所述历史流量对象进行分类，得到所述历史流量对象的分类结果；
基于所述基础检测规则集和所述分类结果，得到所述流量检测规则集。
3.根据权利要求2所述的方法，其特征在于，所述分类结果包括一个聚合数据簇，所述基于所述基础检测规则集和所述分类结果，得到所述流量检测规则集，包括：
确定所述聚合数据簇中与所述基础检测规则集之间的差异数据集；
采用规则集提取模型对所述差异数据集进行训练，得到所述更新检测规则集，并将基于所述更新检测规则集更新后的基础检测规则集作为新的基础检测规则集；
迭代执行上述步骤，直到达到停止迭代条件，将当前所述基础检测规则集作为所述流量检测规则集。
4.根据权利要求3所述的方法，其特征在于，所述确定所述聚合数据簇中与所述基础检测规则集之间的差异数据集，包括：
基于所述基础检测规则集对所述聚合数据簇进行类别判定，将不满足所述基础检测规则集的数据集作为所述差异数据集。
5.根据权利要求3所述的方法，其特征在于，所述停止迭代条件包括：
所述更新检测规则集趋向于设定阈值。
6.根据权利要求2所述的方法，其特征在于，所述分类模型基于无监督聚类模型算法构建。
7.根据权利要求1所述的方法，其特征在于，所述基于预先设定的流量检测规则集和所述待检测流量参数对所述待检测流量对象进行检测，确定所述待检测流量对象的流量异常检测结果，包括：
当所述待检测流量参数满足所述流量检测规则集中的至少一个异常流量规则时，判定所述待检测流量对象为异常流量类型。
8.一种异常流量检测装置，其特征在于，包括：
待检测流量参数获取模块，用于获取待检测流量对象关联的待检测流量参数；
流量异常检测结果模块，用于基于预先设定的流量检测规则集和所述待检测流量参数对所述待检测流量对象进行检测，确定所述待检测流量对象的流量异常检测结果，其中，所述流量检测规则集是基于基础检测规则集和历史流量对象关联的历史流量参数无监督训练更新得到的。
9.一种计算机设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的异常流量检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的异常流量检测方法。
CN202110762579.5A 2021-07-06 2021-07-06 一种异常流量检测方法、装置、设备及存储介质 Pending CN113379469A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110762579.5A CN113379469A (zh) 2021-07-06 2021-07-06 一种异常流量检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110762579.5A CN113379469A (zh) 2021-07-06 2021-07-06 一种异常流量检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113379469A true CN113379469A (zh) 2021-09-10

Family

ID=77581139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110762579.5A Pending CN113379469A (zh) 2021-07-06 2021-07-06 一种异常流量检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113379469A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114172728A (zh) * 2021-12-08 2022-03-11 恒安嘉新（北京）科技股份公司 一种网络流量的识别方法、装置、设备及介质
CN114257553A (zh) * 2021-12-21 2022-03-29 科大讯飞股份有限公司 流量检测方法、装置、电子设备和存储介质
CN114666162A (zh) * 2022-04-29 2022-06-24 北京火山引擎科技有限公司 一种流量检测方法、装置、设备及存储介质
CN115942050A (zh) * 2022-10-12 2023-04-07 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114172728A (zh) * 2021-12-08 2022-03-11 恒安嘉新（北京）科技股份公司 一种网络流量的识别方法、装置、设备及介质
CN114172728B (zh) * 2021-12-08 2024-04-26 恒安嘉新（北京）科技股份公司 一种网络流量的识别方法、装置、设备及介质
CN114257553A (zh) * 2021-12-21 2022-03-29 科大讯飞股份有限公司 流量检测方法、装置、电子设备和存储介质
CN114257553B (zh) * 2021-12-21 2024-06-07 科大讯飞股份有限公司 流量检测方法、装置、电子设备和存储介质
CN114666162A (zh) * 2022-04-29 2022-06-24 北京火山引擎科技有限公司 一种流量检测方法、装置、设备及存储介质
CN115942050A (zh) * 2022-10-12 2023-04-07 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
WO2022257925A1 (zh) 基于数字孪生的故障预测方法、装置、服务器及存储介质
WO2021184727A1 (zh) 数据异常检测方法、装置、电子设备及存储介质
WO2021208735A1 (zh) 行为检测方法、装置及计算机可读存储介质
CN113379469A (zh) 一种异常流量检测方法、装置、设备及存储介质
CN111612039B (zh) 异常用户识别的方法及装置、存储介质、电子设备
WO2022213465A1 (zh) 基于神经网络的图像识别方法、装置、电子设备及介质
CN108280477B (zh) 用于聚类图像的方法和装置
CN111612041B (zh) 异常用户识别方法及装置、存储介质、电子设备
CN110020592A (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
CN111612038B (zh) 异常用户检测方法及装置、存储介质、电子设备
CN111814910B (zh) 异常检测方法、装置、电子设备及存储介质
CN112990294B (zh) 行为判别模型的训练方法、装置、电子设备及存储介质
US10580272B1 (en) Techniques to provide and process video data of automatic teller machine video streams to perform suspicious activity detection
CN111785384A (zh) 基于人工智能的异常数据识别方法及相关设备
CN110245714B (zh) 图像识别方法、装置及电子设备
WO2020164272A1 (zh) 上网设备的识别方法、装置及存储介质、计算机设备
CN112131322B (zh) 时间序列分类方法及装置
CN111125658A (zh) 识别欺诈用户的方法、装置、服务器和存储介质
WO2022028131A1 (zh) 一种基于隐私保护的数据处理模型获取方法、装置、终端设备及存储介质
CN109951449A (zh) 一种异常登录检测方法、装置、电子设备及存储介质
CN110909804B (zh) 基站异常数据的检测方法、装置、服务器和存储介质
CN107729944B (zh) 一种低俗图片的识别方法、装置、服务器及存储介质
CN114078008A (zh) 异常行为检测方法、装置、设备及计算机可读存储介质
CN111738290B (zh) 图像检测方法、模型构建和训练方法、装置、设备和介质
KR102242042B1 (ko) 데이터 라벨링 방법, 시스템 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211227

Address after: A111, 1f, building 3, No. 1, zone 1, Lize Zhongyuan, Wangjing emerging industrial zone, Chaoyang District, Beijing 100020

Applicant after: MIAOZHEN INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Floor 29, 30, 31, 32, No. 701, Yunjin Road, Xuhui District, Shanghai, 200030

Applicant before: Shanghai minglue artificial intelligence (Group) Co.,Ltd.

TA01 Transfer of patent application right