CN113271322B - 异常流量的检测方法和装置、电子设备和存储介质 - Google Patents

异常流量的检测方法和装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113271322B
CN113271322B CN202110821472.3A CN202110821472A CN113271322B CN 113271322 B CN113271322 B CN 113271322B CN 202110821472 A CN202110821472 A CN 202110821472A CN 113271322 B CN113271322 B CN 113271322B
Authority
CN
China
Prior art keywords
target
access
record
sequence
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110821472.3A
Other languages
English (en)
Other versions
CN113271322A (zh
Inventor
杨康
王硕
王同乐
李霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN202110821472.3A priority Critical patent/CN113271322B/zh
Publication of CN113271322A publication Critical patent/CN113271322A/zh
Application granted granted Critical
Publication of CN113271322B publication Critical patent/CN113271322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供了一种异常流量的检测方法和装置、存储介质和电子设备，其中，该方法包括：获取终端集合中的移动终端访问网页集合中的目标网页产生的网络流量；根据移动终端的终端IP地址和目标网页的网页IP地址中的任意之一，按照访问时间对所有网络流量的访问记录进行排序，得到多个记录序列，其中，一个记录序列中按照访问时间保存有同一终端IP地址下的多条访问记录、或保存有同一网页IP地址下的多条访问记录；通过对多个记录序列的时序数据特征进行分析，确定多个记录序列中的目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量。通过本申请，解决了相关技术中存在的对异常流量检测的泛化性较差的问题。

Description

异常流量的检测方法和装置、电子设备和存储介质
技术领域
本申请涉及数据处理领域，尤其涉及一种异常流量的检测方法和装置、电子设备和存储介质。
背景技术
随着移动应用的不断发展和普及，移动广告在网络广告中扮演着至关重要的角色，在移动广告中，由曝光、点击或其他行为引起的移动广告异常已经成为营销广告的顽疾，不仅仅为广告主造成了巨大的经济损失，也严重影响了广告平台的形象与交付质量，该问题引起了广泛学者及公司的关注。
为了打击日益严重的广告异常行为，现有技术提出了一些基于机器学习的异常流量检测方法，但是这些检测方法多为有监督的方法和基于规则的方法，例如，基于传统的方法识别异常流量，往往依赖历史数据，且需要对历史数据的大量的统计和分析，通过历史数据的出现频次判断是否为异常，但是，此方法只能识别历史上出现过的流量数据，由于导致异常方式的复杂性不断提高，当出现一些新的流量数据时，现有的判断方法不能有效识别出异常流量，对异常流量检测的泛化性较差。
因此，相关技术中存在不能有效识别出异常流量，对异常流量检测的泛化性较差的问题。
发明内容
本申请提供了一种异常流量的检测方法和装置、存储介质和电子设备，以至少解决相关技术中存在不能有效识别出异常流量，对异常流量检测的泛化性较差的问题。
根据本申请实施例的一个方面，提供了一种异常流量的检测方法，该方法包括：获取终端集合中的移动终端访问网页集合中的目标网页产生的网络流量，其中，终端集合包括多个移动终端，网页集合中包括多个目标网页，目标网页用于提供目标产品的推广媒体信息，网络流量包括表示移动终端访问目标网页的访问记录和访问时间；根据移动终端的终端IP地址和目标网页的网页IP地址中的任意之一，按照访问时间对所有网络流量的访问记录进行排序，得到多个记录序列，其中，一个记录序列中按照访问时间保存有同一终端IP地址下的多条访问记录、或保存有同一网页IP地址下的多条访问记录；通过对多个记录序列的时序数据特征进行分析，确定多个记录序列中的目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量，其中，目标记录序列的时序数据特征与多个记录序列中除目标记录序列以外的记录序列的时序数据特征不同，异常流量用于表示对移动终端的访问行为或目标网页的被访问行为为异常行为。
根据本申请实施例的另一个方面，还提供了一种异常流量的检测装置，该装置包括：第一获取单元，用于获取终端集合中的移动终端访问网页集合中的目标网页产生的网络流量，其中，终端集合包括多个移动终端，网页集合中包括多个目标网页，目标网页用于提供目标产品的推广媒体信息，网络流量包括表示移动终端访问目标网页的访问记录和访问时间；第一排序单元，用于根据移动终端的终端IP地址和目标网页的网页IP地址中的任意之一，按照访问时间对所有网络流量的访问记录进行排序，得到多个记录序列，其中，一个记录序列中按照访问时间保存有同一终端IP地址下的多条访问记录、或保存有同一网页IP地址下的多条访问记录；第一确定单元，用于通过对多个记录序列的时序数据特征进行分析，确定多个记录序列中的目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量，其中，目标记录序列的时序数据特征与多个记录序列中除目标记录序列以外的记录序列的时序数据特征不同，异常流量用于表示对移动终端的访问行为或目标网页的被访问行为为异常行为。
可选地，第一排序单元包括：第一获取模块，用于获取预设的元时间段，其中，元时间段对应的访问时长是固定的；划分模块，用于按照元时间段对按照访问时间依次排序后的访问记录进行划分，得到多个记录序列。
可选地，第一确定单元的确定方式包括以下至少之一：第一设置模块，用于在存在一个记录序列内出现的访问记录均来自同一个终端IP地址的个数大于第一阈值的情况下，则将当前记录序列作为目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量；第二设置模块，用于在存在一个记录序列内出现的访问记录的个数大于第二阈值的情况下，则将当前记录序列作为目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量；第三设置模块，用于在存在一个记录序列内出现的访问记录均访问同一网页IP地址的个数大于第三阈值的情况下，则将当前记录序列作为目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量。
可选地，第一确定单元包括：输入模块，用于将多个记录序列依次输入目标文本分类模型内，进行时序数据特征的分析，得到判断结果，其中，判断结果用于确定多个记录序列中是否包含目标记录序列，目标记录序列中访问记录对应的网络流量为异常流量，异常流量用于表征移动终端的访问行为或目标网页的被访问行为为异常行为，目标文本分类模型是由初始文本分类模型训练得到的，输入初始文本分类模型的训练参数包括：多个历史访问记录和网络流量的标注信息。
可选地，该装置还包括：第二获取单元，用于在将多个记录序列依次输入目标文本分类模型内，进行时序数据特征的分析，得到判断结果之前，按照访问时间获取网络流量中多个历史访问记录，其中，每个历史访问记录设置有相应的编号信息；第二排序单元，用于将历史访问记录按照访问时间顺序进行排序，生成多个历史记录序列；第二确定单元，用于根据预设时间段中各个历史记录序列内出现的历史访问记录的总数量和/或每个编号信息的数量，确定网络流量的标注信息，其中，标注信息用于指示网络流量中是否存在异常流量；输入单元，用于将历史记录序列按照时序数据特征依次输入初始文本分类模型，得到预测结果；得到单元，用于根据预测结果与标注信息调整初始文本分类模型的模型参数，得到目标文本分类模型。
可选地，第二确定单元包括：第四设置模块，用于在历史访问记录的总数量和/或每个编号信息的数量大于预设数值的情况下，设置网络流量的标注信息为目标数值，其中，目标数值用于表征网络流量中存在异常流量。
可选地，该装置还包括：监测单元，用于在将多个记录序列依次输入目标文本分类模型内，进行时序数据特征的分析，得到判断结果之后，在网络流量中存在异常流量的情况下，监测网络的异常指数；第三确定单元，用于根据异常指数，确定异常流量的异常程度；发送单元，用于在异常程度满足异常条件的情况下，向目标终端发送告警指示。
根据本申请实施例的又一个方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；其中，存储器，用于存储计算机程序；处理器，用于通过运行存储器上所存储的计算机程序来执行上述任一实施例中的异常流量的检测方法步骤。
根据本申请实施例的又一个方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一实施例中的异常流量的检测方法步骤。
本申请可以应用于营销智能技术领域进行预测与优化，在本申请实施例中，采用异常流量的检测的方式，通过获取终端集合中的移动终端访问网页集合中的目标网页产生的网络流量，其中，终端集合包括多个移动终端，网页集合中包括多个目标网页，目标网页用于提供目标产品的推广媒体信息，网络流量包括表示移动终端访问目标网页的访问记录和访问时间；根据移动终端的终端IP地址和目标网页的网页IP地址中的任意之一，按照访问时间对所有网络流量的访问记录进行排序，得到多个记录序列，其中，一个记录序列中按照访问时间保存有同一终端IP地址下的多条访问记录、或保存有同一网页IP地址下的多条访问记录；通过对多个记录序列的时序数据特征进行分析，确定多个记录序列中的目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量，其中，目标记录序列的时序数据特征与多个记录序列中除目标记录序列以外的记录序列的时序数据特征不同，异常流量用于表示对移动终端的访问行为或目标网页的被访问行为为异常行为。由于本申请基于访问时间对所有网络流量的访问记录进行排序，按照时间序列的形式，依据某个IP访问网站的纪录情况，或者某个网站在这段时间内访问IP的序列情况进行动态的分析和判断，来检测多个记录序列中的目标记录序列，进而确定出异常流量，这种方式具有很强的泛化性和准确性，可以适用于新数据中异常流量的检测，进而解决了相关技术中存在的不能有效识别出异常流量，对异常流量检测的泛化性较差的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种可选的异常流量的检测方法的硬件环境的示意图；
图2是根据本申请实施例的一种可选的异常流量的检测方法的流程示意图；
图3是根据本申请实施例的一种可选的异常流量的检测装置的结构框图；
图4是根据本申请实施例的一种可选的电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面，提供了一种异常流量的检测方法。可选地，在本实施例中，上述异常流量的检测方法可以应用于如图1所示的硬件环境中。如图1所示，终端102中可以包含有存储器104、处理器106和显示器108（可选部件）。终端102可以通过网络110与服务器112进行通信连接，该服务器112可用于为终端或终端上安装的客户端提供服务，可在服务器112上或独立于服务器112设置数据库114，用于为服务器112提供数据存储服务。此外，服务器112中可以运行有处理引擎116，该处理引擎116可以用于执行由服务器112所执行的步骤。
可选地，终端102可以但不限于为可以计算数据的终端，如移动终端（例如手机、平板电脑）、笔记本电脑、PC（Personal Computer，个人计算机）机等终端上，上述网络可以包括但不限于无线网络或有线网络。其中，该无线网络包括：蓝牙、WIFI（Wireless Fidelity，无线保真）及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器112可以包括但不限于任何可以进行计算的硬件设备。
此外，在本实施例中，上述异常流量的检测方法还可以但不限于应用于处理能力较强大的独立的处理设备中，而无需进行数据交互。例如，该处理设备可以但不限于为处理能力较强大的终端设备，即，上述异常流量的检测方法中的各个操作可以集成在一个独立的处理设备中。上述仅是一种示例，本实施例中对此不作任何限定。
可选地，在本实施例中，上述异常流量的检测方法可以由服务器112来执行，也可以由终端102来执行，还可以是由服务器112和终端102共同执行。其中，终端102执行本申请实施例的异常流量的检测方法也可以是由安装在其上的客户端来执行。
以运行在服务器为例，图2是根据本申请实施例的一种可选的异常流量的检测方法的流程示意图，如图2所示，该方法的流程可以包括以下步骤：
步骤S201，获取终端集合中的移动终端访问网页集合中的目标网页产生的网络流量，其中，终端集合包括多个移动终端，网页集合中包括多个目标网页，目标网页用于提供目标产品的推广媒体信息，网络流量包括表示移动终端访问目标网页的访问记录和访问时间。
可选地，在终端集合中包含了多个用户的移动终端，每个移动终端具备IP地址，比如移动终端1对应IP地址为IP1，移动终端2对应IP地址为IP2等。在网页集合中包括多个目标网页，比如目标网页1，目标网页2等。然后利用服务器获取到终端集合中各移动终端访问网页集合中各个目标网页所产生的网络流量。
其中，本申请实施例可以限定目标网页的应用场景，比如，目标网页可以用户已提供一些目标产品的营销广告的推广媒体信息。每次出现移动终端访问目标网页时，都需要保留其访问记录以及访问的时间，比如，访问记录为：http://www.baidu.com等，访问时间为16:00。
步骤S202，根据移动终端的终端IP地址和目标网页的网页IP地址中的任意之一，按照访问时间对所有网络流量的访问记录进行排序，得到多个记录序列，其中，一个记录序列中按照访问时间保存有同一终端IP地址下的多条访问记录、或保存有同一网页IP地址下的多条访问记录。
可选地，得到多个移动终端的终端IP地址和多个目标网页的网页IP地址，然后可以选取上述多个移动终端的终端IP地址的存在一个，作为特定IP地址，获取其访问多个目标网页所产生的网络流量；也可以选取上述多个目标网页的网页IP地址中的存在一个，作为特定目标网页IP地址，获取其被访问时多个移动终端所产生的网络流量。
将上述访问过程中所产生的访问记录按照访问时间的先后顺序进行排序，得到多个记录序列。一个记录序列中按照访问时间保存有同一终端IP地址下的多条访问记录、或保存有同一网页IP地址下的多条访问记录。
步骤S203，通过对多个记录序列的时序数据特征进行分析，确定多个记录序列中的目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量，其中，目标记录序列的时序数据特征与多个记录序列中除目标记录序列以外的记录序列的时序数据特征不同，异常流量用于表示对移动终端的访问行为或目标网页的被访问行为为异常行为。
可选地，服务器对多个记录序列进行分析，这时，需要获取到多个记录序列所对应的时序数据特征，对时序数据特征进行分析，确定出多个记录序列中包含的目标记录序列，其中，目标记录序列的时序数据特征与多个记录序列中除目标记录序列以外的记录序列的时序数据特征不同，目标记录序列中记录对应的网络流量是异常流量，这时，只要多个记录序列中包含该目标记录序列，则表明由多个记录序列组成的整个访问记录序列都是异常的，这时，对应的移动终端的访问行为或目标网页的被访问行为判定为异常行为。
在本申请实施例中，采用异常流量的检测的方式，通过获取终端集合中的移动终端访问网页集合中的目标网页产生的网络流量，其中，终端集合包括多个移动终端，网页集合中包括多个目标网页，目标网页用于提供目标产品的推广媒体信息，网络流量包括表示移动终端访问目标网页的访问记录和访问时间；根据移动终端的终端IP地址和目标网页的网页IP地址中的任意之一，按照访问时间对所有网络流量的访问记录进行排序，得到多个记录序列，其中，一个记录序列中按照访问时间保存有同一终端IP地址下的多条访问记录、或保存有同一网页IP地址下的多条访问记录；通过对多个记录序列的时序数据特征进行分析，确定多个记录序列中的目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量，其中，目标记录序列的时序数据特征与多个记录序列中除目标记录序列以外的记录序列的时序数据特征不同，异常流量用于表示对移动终端的访问行为或目标网页的被访问行为为异常行为。由于本申请基于访问时间对所有网络流量的访问记录进行排序，按照时间序列的形式，依据某个IP访问网站的纪录情况，或者某个网站在这段时间内访问IP的序列情况进行动态的分析和判断，来检测多个记录序列中的目标记录序列，进而确定出异常流量，这种方式具有很强的泛化性和准确性，可以适用于新数据中异常流量的检测，进而解决了相关技术中存在的不能有效识别出异常流量，对异常流量检测的泛化性较差的问题。
作为一种可选实施例，按照访问时间对所有网络流量的访问记录进行排序，得到多个记录序列包括：
获取预设的元时间段，其中，元时间段对应的访问时长是固定的；
按照元时间段对按照访问时间依次排序后的访问记录进行划分，得到多个记录序列。
可选地，在本申请实施例中，可以将排序后的访问记录依据时间片长度进行划分，具体地，本申请实施例设置一预设的元时间段，其中，该元时间段对应的访问时长是固定的，比如，设置元时间段为1s或2s等，然后再依据1s或2s作为划分的长度，将排序后的访问记录分割成多个固定时间段长度的记录序列，得到多个记录序列。
以特定IP地址（IP1）举例：获取到IP1访问的目标网页包括目标网页1，目标网页2，目标网页3，为了便于介绍，按照访问时间将访问记录记为：16:00访问目标网页1，访问目标网页2，16:01访问目标网页1，16:02访问目标网页2，16:03访问目标网页3，以1s作为预设的元时间段对上述访问记录进行划分，得到多个记录序列：记录序列1：目标网页1，目标网页2；记录序列2：目标网页1；记录序列3：目标网页2；记录序列4：目标网页3。
在本申请实施例中，定义一个合适的时间片段，将抓取的所有访问记录进行时间片长度的划分，依据划分后生成的多个记录序列，更能快速获取到异常流量。
作为一种可选实施例，通过对多个记录序列的时序数据特征进行分析，确定多个记录序列中的目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量的方式包括以下至少之一：
在存在一个记录序列内出现的访问记录均来自同一个终端IP地址的个数大于第一阈值的情况下，则将当前记录序列作为目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量；
在存在一个记录序列内出现的访问记录的个数大于第二阈值的情况下，则将当前记录序列作为目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量；
在存在一个记录序列内出现的访问记录均访问同一网页IP地址的个数大于第三阈值的情况下，则将当前记录序列作为目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量。
可选地，在本申请实施例中，定义三种能够判定出异常流量的场景情况：场景一：由于每个记录序列是根据元时间段进行固定划分的，在存在一个记录序列内出现的访问记录均来自同一个终端IP地址的个数大于第一阈值的情况下，说明访问记录中来自同一终端IP地址的个数大于第一阈值的当前记录序列出现了异常流量。比如，记录序列1中包含的IP1的访问记录为100条（将100设置为第一阈值），表明IP1在一元时间段内，比如1s内，IP1的访问记录达到了100条，那么该记录序列1为异常序列，记作目标记录序列，其对应的网络流量作为异常流量；其中，IP1为访问对象。
场景二：由于每个记录序列是根据元时间段进行固定划分的，在存在一个记录序列内出现的访问记录的个数大于第二阈值的情况下，说明访问记录中个数大于第二阈值的当前记录序列出现了异常流量。比如，记录序列2中包含了1000条访问记录（将1000设置为第二阈值），表明在一元时间段内，比如1s内，当前记录序列2中所有IP地址的访问记录达到了1000条，那么当前记录序列2为异常序列，记作目标记录序列，其对应的网络流量作为异常流量。
场景三：由于每个记录序列是根据元时间段进行固定划分的，在存在一个记录序列内出现的访问记录均访问同一网页IP地址的个数大于第三阈值的情况下，说明多个IP地址在同一元时间段均访问同一网页IP地址的当前记录序列出现了异常流量。比如，记录序列3中包含了200条访问目标网页3的访问记录（将200设置为第三阈值），表明在一元时间段内，比如1s内，当前记录序列3中访问目标网页3的访问记录达到了200条，那么当前记录序列3为异常序列，记作目标记录序列，其对应的网络流量作为异常流量；其中，目标网页3为被访问对象。
需要说明的是，本申请实施例包含但不限于上述三种场景，同时，上述三种场景只要有任意一个场景发生，则认为网络流量出现了异常流量。
作为一种可选实施例，通过对多个记录序列的时序数据特征进行分析，确定多个记录序列中的目标记录序列包括：
将多个记录序列依次输入目标文本分类模型内，进行时序数据特征的分析，得到判断结果，其中，判断结果用于确定多个记录序列中是否包含目标记录序列，目标记录序列中访问记录对应的网络流量为异常流量，异常流量用于表征移动终端的访问行为或目标网页的被访问行为为异常行为，目标文本分类模型是由初始文本分类模型训练得到的，输入初始文本分类模型的训练参数包括：多个历史访问记录和网络流量的标注信息。
可选地，本申请实施例可以基于序列的目标文本分类模型（如RNN（RecurrentNeural Network，循环神经网络）、LSTM（Long Short-Term Memory，时间循环神经网络）、GRU（Gate Recurrent Unit，门控循环单元）），按照时序特征将每条访问记录逐次进行输入到模型的单元中去，通过每个单元对时序数据特征的提取和记忆信息的融合，最终得到整个元时间段中的每个IP对网站的访问序列的特征信息或每个目标网页在该元段时间内所有访问IP的序列的特征信息，并使用softmax得到相应的预测结果（即判断结果），其中，该目标文本分类模型是由初始文本分类模型训练得到的，用于网络流量的异常判断。
在本申请实施例中，基于RNN、LSTM、GRU等文本分类模型的方式对时间序列数据特征进行提取和分析，得到网络流量异常的判断结果。
作为一种可选实施例，在将多个记录序列依次输入目标文本分类模型内，进行时序数据特征的分析，得到判断结果之前，方法包括：
按照访问时间获取网络流量中多个历史访问记录，其中，每个历史访问记录设置有相应的编号信息；
将历史访问记录按照访问时间顺序进行排序，生成多个历史记录序列；
根据预设时间段中各个历史记录序列内出现的历史访问记录的总数量和/或每个编号信息的数量，确定网络流量的标注信息，其中，标注信息用于指示网络流量中是否存在异常流量；
将历史记录序列按照时序数据特征依次输入初始文本分类模型，得到预测结果；
根据预测结果与标注信息调整初始文本分类模型的模型参数，得到目标文本分类模型。
可选地，在得到目标文本分类模型之前，需要对初始文本分类模型进行模型训练，其中，输入初始文本分类模型的参数包括：多个历史访问记录和网络流量的标注信息。下面将阐述网络流量的标注信息的获取步骤：
按照访问时间获取网络流量中多个历史访问记录，其中，每个历史访问记录设置有相应的编号信息，该编号信息包括移动终端IP地址的编号信息和访问网页的网页IP地址的编号信息，比如，IP1，IP2……，网页1，网页2……。
按照访问时间对历史访问记录进行排序，依据预设时间段对排序后的历史记录序列进行划分，生成多个历史记录序列，然后人工判断多个历史记录序列的网络流量是否存在异常流量的情况，作为网络流量的标注信息。
具体地，根据预设时间段中各个历史记录序列内出现的历史访问记录的总数量和/或每个编号信息的数量，确定网络流量的标注信息，比如，在历史访问记录的总数量和/或每个编号信息的数量大于预设数值时，说明网络流量出现异常流量，设置网络流量的标注信息为目标数值，比如目标数值为1，标注信息为1时表征网络流量中存在异常流量。
举例，出现以下至少之一的情况时，将目标数值设置为1：一移动终端IP地址（如IP1）的数量大于预设数值（比如150）、网页IP地址（如网页1）的数量大于预设数值，一历史访问记录中保存的访问记录总数量大于预设数值，将目标数值设置为1。
若历史访问记录的总数量和/或每个编号信息的数量小于或者等于预设数值的情况下，设置网络流量的标注信息为参考数值，比如参考数值为0，标注信息为0时表征网络流量中不存在异常流量。
在获取到标注信息后，将历史记录序列按照时序数据特征依次输入初始文本分类模型，得到预测结果，根据预测结果与标注信息调整初始文本分类模型的模型参数，得到目标文本分类模型。
在本申请实施例中，先采用人工判断的方式对历史记录序列进行异常流量的判定，得到标注信息，然后将该标注信息与初始文本分类模型输出的预测结果进行比较，以标注信息为调整初始文本分类模型的训练参数的依据，直到初始文本分类模型输出的预测结果与标注信息相一致，才得到训练好的初始文本分类模型作为目标文本分类模型，以提高目标文本分类模型对异常流量判断的准确度。
作为一种可选实施例，在将多个记录序列依次输入目标文本分类模型内，进行时序数据特征的分析，得到判断结果之后，方法还包括：
在网络流量中存在异常流量的情况下，监测网络的异常指数；
根据异常指数，确定异常流量的异常程度；
在异常程度满足异常条件的情况下，向目标终端发送告警指示。
可选地，在确定多个记录序列中的目标记录序列后，得到网络流量中存在异常流量，此时，获取到所有输入到目标文本分类网络模型中的记录序列，可以将导致网络流量异常的记录序列输入目标概率模型确定目标概率，其中，目标概率模型包括重构误差高斯分布，目标概率包括目标重构误差在重构误差高斯分布上的累积分布概率，该目标概率用于表示网络异常指数，然后判断异常指数对应的异常程度，比如异常指数为0.1，其对应的异常程度为低，然后依据该异常程度确定是否达到异常条件，比如异常条件设置为异常程度为：高、较高、很高三种档次，只有在异常程度满足异常条件的情况下，才向目标终端发送告警指示，提醒使用目标终端的用户当前出现了流量异常，注意网络安全问题等。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM（Read-Only Memory，只读存储器）/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本申请各个实施例的方法。
根据本申请实施例的另一个方面，还提供了一种用于实施上述异常流量的检测方法的异常流量的检测装置。图3是根据本申请实施例的一种可选的异常流量的检测装置的结构框图，如图3所示，该装置可以包括：
第一获取单元301，用于获取终端集合中的移动终端访问网页集合中的目标网页产生的网络流量，其中，终端集合包括多个移动终端，网页集合中包括多个目标网页，目标网页用于提供目标产品的推广媒体信息，网络流量包括表示移动终端访问目标网页的访问记录和访问时间；
第一排序单元302，用于根据移动终端的终端IP地址和目标网页的网页IP地址中的任意之一，按照访问时间对所有网络流量的访问记录进行排序，得到多个记录序列，其中，一个记录序列中按照访问时间保存有同一终端IP地址下的多条访问记录、或保存有同一网页IP地址下的多条访问记录；
第一确定单元303，用于通过对多个记录序列的时序数据特征进行分析，确定多个记录序列中的目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量，其中，目标记录序列的时序数据特征与多个记录序列中除目标记录序列以外的记录序列的时序数据特征不同，异常流量用于表示对移动终端的访问行为或目标网页的被访问行为为异常行为。
需要说明的是，该实施例中的第一获取单元301可以用于执行上述步骤S201，该实施例中的第一排序单元302可以用于执行上述步骤S202，该实施例中的第一确定单元303可以用于执行上述步骤S203。
通过上述模块，通过获取终端集合中的移动终端访问网页集合中的目标网页产生的网络流量，其中，终端集合包括多个移动终端，网页集合中包括多个目标网页，目标网页用于提供目标产品的推广媒体信息，网络流量包括表示移动终端访问目标网页的访问记录和访问时间；根据移动终端的终端IP地址和目标网页的网页IP地址中的任意之一，按照访问时间对所有网络流量的访问记录进行排序，得到多个记录序列，其中，一个记录序列中按照访问时间保存有同一终端IP地址下的多条访问记录、或保存有同一网页IP地址下的多条访问记录；通过对多个记录序列的时序数据特征进行分析，确定多个记录序列中的目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量，其中，目标记录序列的时序数据特征与多个记录序列中除目标记录序列以外的记录序列的时序数据特征不同，异常流量用于表示对移动终端的访问行为或目标网页的被访问行为为异常行为。由于本申请基于访问时间对所有网络流量的访问记录进行排序，按照时间序列的形式，依据某个IP访问网站的纪录情况，或者某个网站在这段时间内访问IP的序列情况进行动态的分析和判断，来检测多个记录序列中的目标记录序列，进而确定出异常流量，这种方式具有很强的泛化性和准确性，可以适用于新数据中异常流量的检测，进而解决了相关技术中存在的不能有效识别出异常流量，对异常流量检测的泛化性较差的问题。
作为一种可选的实施例，第一排序单元包括：第一获取模块，用于获取预设的元时间段，其中，元时间段对应的访问时长是固定的；划分模块，用于按照元时间段对按照访问时间依次排序后的访问记录进行划分，得到多个记录序列。
作为一种可选的实施例，第一确定单元的确定方式包括以下至少之一：第一设置模块，用于在存在一个记录序列内出现的访问记录均来自同一个终端IP地址的个数大于第一阈值的情况下，则将当前记录序列作为目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量；第二设置模块，用于在存在一个记录序列内出现的访问记录的个数大于第二阈值的情况下，则将当前记录序列作为目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量；第三设置模块，用于在存在一个记录序列内出现的访问记录均访问同一网页IP地址的个数大于第三阈值的情况下，则将当前记录序列作为目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量。
作为一种可选的实施例，第一确定单元包括：输入模块，用于将多个记录序列依次输入目标文本分类模型内，进行时序数据特征的分析，得到判断结果，其中，判断结果用于确定多个记录序列中是否包含目标记录序列，目标记录序列中访问记录对应的网络流量为异常流量，异常流量用于表征移动终端的访问行为或目标网页的被访问行为为异常行为，目标文本分类模型是由初始文本分类模型训练得到的，输入初始文本分类模型的训练参数包括：多个历史访问记录和网络流量的标注信息。
作为一种可选的实施例，该装置还包括：第二获取单元，用于在将多个记录序列依次输入目标文本分类模型内，进行时序数据特征的分析，得到判断结果之前，按照访问时间获取网络流量中多个历史访问记录，其中，每个历史访问记录设置有相应的编号信息；第二排序单元，用于将历史访问记录按照访问时间顺序进行排序，生成多个历史记录序列；第二确定单元，用于根据预设时间段中各个历史记录序列内出现的历史访问记录的总数量和/或每个编号信息的数量，确定网络流量的标注信息，其中，标注信息用于指示网络流量中是否存在异常流量；输入单元，用于将历史记录序列按照时序数据特征依次输入初始文本分类模型，得到预测结果；得到单元，用于根据预测结果与标注信息调整初始文本分类模型的模型参数，得到目标文本分类模型。
作为一种可选的实施例，第二确定单元包括：第四设置模块，用于在历史访问记录的总数量和/或每个编号信息的数量大于预设数值的情况下，设置网络流量的标注信息为目标数值，其中，目标数值用于表征网络流量中存在异常流量。
作为一种可选的实施例，该装置还包括：监测单元，用于在将多个记录序列依次输入目标文本分类模型内，进行时序数据特征的分析，得到判断结果之后，在网络流量中存在异常流量的情况下，监测网络的异常指数；第三确定单元，用于根据异常指数，确定异常流量的异常程度；发送单元，用于在异常程度满足异常条件的情况下，向目标终端发送告警指示。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本申请实施例的又一个方面，还提供了一种用于实施上述异常流量的检测方法的电子设备，该电子设备可以是服务器、终端、或者其组合。
图4是根据本申请实施例的一种可选的电子设备的结构框图，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401、通信接口402和存储器403通过通信总线404完成相互间的通信，其中，
存储器403，用于存储计算机程序；
处理器401，用于执行存储器403上所存放的计算机程序时，实现如下步骤：
S1，获取终端集合中的移动终端访问网页集合中的目标网页产生的网络流量，其中，终端集合包括多个移动终端，网页集合中包括多个目标网页，目标网页用于提供目标产品的推广媒体信息，网络流量包括表示移动终端访问目标网页的访问记录和访问时间；
S2，根据移动终端的终端IP地址和目标网页的网页IP地址中的任意之一，按照访问时间对所有网络流量的访问记录进行排序，得到多个记录序列，其中，一个记录序列中按照访问时间保存有同一终端IP地址下的多条访问记录、或保存有同一网页IP地址下的多条访问记录；
S3，通过对多个记录序列的时序数据特征进行分析，确定多个记录序列中的目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量，其中，目标记录序列的时序数据特征与多个记录序列中除目标记录序列以外的记录序列的时序数据特征不同，异常流量用于表示对移动终端的访问行为或目标网页的被访问行为为异常行为。
可选地，在本实施例中，上述的通信总线可以是PCI (Peripheral ComponentInterconnect，外设部件互连标准)总线、或EISA (Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括RAM，也可以包括非易失性存储器(non-volatile memory)，例如，至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
作为一种示例，如图4所示，上述存储器403中可以但不限于包括上述异常流量的检测装置中的第一获取单元301、第一排序单元302、第一确定单元303。此外，还可以包括但不限于上述异常流量的检测装置中的其他模块单元，本示例中不再赘述。
上述处理器可以是通用处理器，可以包含但不限于：CPU (Central ProcessingUnit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP (DigitalSignal Processing，数字信号处理器)、ASIC (Application Specific IntegratedCircuit，专用集成电路)、FPGA (Field－Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
此外，上述电子设备还包括：显示器，用于显示异常流量的检测结果。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图4所示的结构仅为示意，实施上述异常流量的检测方法的设备可以是终端设备，该终端设备可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌上电脑以及移动互联网设备（Mobile Internet Devices，MID）、PAD等终端设备。图4其并不对上述电子设备的结构造成限定。例如，终端设备还可包括比图4中所示更多或者更少的组件（如网络接口、显示装置等），或者具有与图4所示的不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
根据本申请实施例的又一个方面，还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行异常流量的检测方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
S1，获取终端集合中的移动终端访问网页集合中的目标网页产生的网络流量，其中，终端集合包括多个移动终端，网页集合中包括多个目标网页，目标网页用于提供目标产品的推广媒体信息，网络流量包括表示移动终端访问目标网页的访问记录和访问时间；
S2，根据移动终端的终端IP地址和目标网页的网页IP地址中的任意之一，按照访问时间对所有网络流量的访问记录进行排序，得到多个记录序列，其中，一个记录序列中按照访问时间保存有同一终端IP地址下的多条访问记录、或保存有同一网页IP地址下的多条访问记录；
S3，通过对多个记录序列的时序数据特征进行分析，确定多个记录序列中的目标记录序列，将目标记录序列中访问记录对应的网络流量作为异常流量，其中，目标记录序列的时序数据特征与多个记录序列中除目标记录序列以外的记录序列的时序数据特征不同，异常流量用于表示对移动终端的访问行为或目标网页的被访问行为为异常行为。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例中对此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
根据本申请实施例的又一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中；计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一个实施例中的异常流量的检测方法步骤。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例异常流量的检测方法的全部或部分步骤。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (7)

1.一种异常流量的检测方法，其特征在于，所述方法包括：
获取终端集合中的移动终端访问网页集合中的目标网页产生的网络流量，其中，所述终端集合包括多个移动终端，所述网页集合中包括多个目标网页，所述目标网页用于提供目标产品的推广媒体信息，所述网络流量包括表示所述移动终端访问所述目标网页的访问记录和访问时间；
根据所述移动终端的终端IP地址和所述目标网页的网页IP地址中的任意之一，按照访问时间对所有网络流量的访问记录进行排序，得到多个记录序列，其中，一个记录序列中按照访问时间保存有同一终端IP地址下的多条访问记录、或保存有同一网页IP地址下的多条访问记录；其中，所述按照访问时间对所有网络流量的访问记录进行排序，得到多个记录序列包括：获取预设的元时间段，其中，所述元时间段对应的访问时长是固定的；按照所述元时间段对按照所述访问时间依次排序后的访问记录进行划分，得到多个所述记录序列；
通过对多个所述记录序列的时序数据特征进行分析，确定多个所述记录序列中的目标记录序列，将所述目标记录序列中访问记录对应的网络流量作为异常流量，其中，所述目标记录序列的时序数据特征与多个所述记录序列中除所述目标记录序列以外的记录序列的时序数据特征不同，所述异常流量用于表示对所述移动终端的访问行为或所述目标网页的被访问行为为异常行为；其中，通过对多个所述记录序列的时序数据特征进行分析，确定多个所述记录序列中的目标记录序列包括：将多个所述记录序列依次输入目标文本分类模型内，进行时序数据特征的分析，得到判断结果，其中，所述判断结果用于确定多个所述记录序列中是否包含所述目标记录序列，所述目标记录序列中访问记录对应的网络流量为异常流量，所述异常流量用于表征所述移动终端的访问行为或所述目标网页的被访问行为为异常行为，所述目标文本分类模型是由初始文本分类模型训练得到的，输入所述初始文本分类模型的训练参数包括：多个历史访问记录和所述网络流量的标注信息；
其中，在所述将多个所述记录序列依次输入目标文本分类模型内，进行时序数据特征的分析，得到判断结果之前，所述方法包括：按照访问时间获取网络流量中多个所述历史访问记录，其中，每个所述历史访问记录设置有相应的编号信息；将所述历史访问记录按照所述访问时间顺序进行排序，生成多个历史记录序列；根据预设时间段中各个所述历史记录序列内出现的所述历史访问记录的总数量和/或每个所述编号信息的数量，确定所述网络流量的所述标注信息，其中，所述标注信息用于指示所述网络流量中是否存在异常流量；将所述历史记录序列按照时序数据特征依次输入初始文本分类模型，得到预测结果；根据所述预测结果与所述标注信息调整所述初始文本分类模型的模型参数，得到目标文本分类模型。
2.根据权利要求1所述的方法，其特征在于，所述通过对多个所述记录序列的时序数据特征进行分析，确定多个所述记录序列中的目标记录序列，将所述目标记录序列中访问记录对应的网络流量作为异常流量的方式包括以下至少之一：
在存在一个所述记录序列内出现的访问记录均来自同一个终端IP地址的个数大于第一阈值的情况下，则将当前记录序列作为所述目标记录序列，将所述目标记录序列中访问记录对应的网络流量作为异常流量；
在存在一个所述记录序列内出现的访问记录的个数大于第二阈值的情况下，则将当前记录序列作为所述目标记录序列，将所述目标记录序列中访问记录对应的网络流量作为异常流量；
在存在一个所述记录序列内出现的访问记录均访问同一网页IP地址的个数大于第三阈值的情况下，则将当前记录序列作为所述目标记录序列，将所述目标记录序列中访问记录对应的网络流量作为异常流量。
3.根据权利要求1所述的方法，其特征在于，所述根据预设时间段中各个所述历史记录序列内出现的所述历史访问记录的总数量和/或每个所述编号信息的数量，确定所述网络流量的所述标注信息包括：
在所述历史访问记录的总数量和/或每个所述编号信息的数量大于预设数值的情况下，设置所述网络流量的标注信息为目标数值，其中，所述目标数值用于表征所述网络流量中存在异常流量。
4.根据权利要求1至3任一项所述的方法，其特征在于，在将多个所述记录序列依次输入目标文本分类模型内，进行时序数据特征的分析，得到判断结果之后，所述方法还包括：
在所述网络流量中存在异常流量的情况下，监测所述网络的异常指数；
根据所述异常指数，确定所述异常流量的异常程度；
在所述异常程度满足异常条件的情况下，向目标终端发送告警指示。
5.一种异常流量的检测装置，其特征在于，所述装置包括：
第一获取单元，用于获取终端集合中的移动终端访问网页集合中的目标网页产生的网络流量，其中，所述终端集合包括多个移动终端，所述网页集合中包括多个目标网页，所述目标网页用于提供目标产品的推广媒体信息，所述网络流量包括表示所述移动终端访问所述目标网页的访问记录和访问时间；
第一排序单元，用于根据所述移动终端的终端IP地址和所述目标网页的网页IP地址中的任意之一，按照访问时间对所有网络流量的访问记录进行排序，得到多个记录序列，其中，一个记录序列中按照访问时间保存有同一终端IP地址下的多条访问记录、或保存有同一网页IP地址下的多条访问记录；其中，所述按照访问时间对所有网络流量的访问记录进行排序，得到多个记录序列包括：获取预设的元时间段，其中，所述元时间段对应的访问时长是固定的；按照所述元时间段对按照所述访问时间依次排序后的访问记录进行划分，得到多个所述记录序列；
第一确定单元，用于通过对多个所述记录序列的时序数据特征进行分析，确定多个所述记录序列中的目标记录序列，将所述目标记录序列中访问记录对应的网络流量作为异常流量，其中，所述目标记录序列的时序数据特征与多个所述记录序列中除所述目标记录序列以外的记录序列的时序数据特征不同，所述异常流量用于表示对所述移动终端的访问行为或所述目标网页的被访问行为为异常行为；其中，所述第一确定单元包括：输入模块，用于将多个记录序列依次输入目标文本分类模型内，进行时序数据特征的分析，得到判断结果，其中，判断结果用于确定多个记录序列中是否包含目标记录序列，目标记录序列中访问记录对应的网络流量为异常流量，异常流量用于表征移动终端的访问行为或目标网页的被访问行为为异常行为，目标文本分类模型是由初始文本分类模型训练得到的，输入初始文本分类模型的训练参数包括：多个历史访问记录和网络流量的标注信息；
其中，所述装置还包括：第二获取单元，用于在所述将多个所述记录序列依次输入目标文本分类模型内，进行时序数据特征的分析，得到判断结果之前，按照访问时间获取网络流量中多个历史访问记录，其中，每个历史访问记录设置有相应的编号信息；第二排序单元，用于将历史访问记录按照访问时间顺序进行排序，生成多个历史记录序列；第二确定单元，用于根据预设时间段中各个历史记录序列内出现的历史访问记录的总数量和/或每个编号信息的数量，确定网络流量的标注信息，其中，标注信息用于指示网络流量中是否存在异常流量；输入单元，用于将历史记录序列按照时序数据特征依次输入初始文本分类模型，得到预测结果；得到单元，用于根据预测结果与标注信息调整初始文本分类模型的模型参数，得到目标文本分类模型。
6.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，其特征在于，
所述存储器，用于存储计算机程序；
所述处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行权利要求1至4中任一项所述的异常流量的检测方法步骤。
7.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至4中任一项中所述的异常流量的检测方法步骤。
CN202110821472.3A 2021-07-20 2021-07-20 异常流量的检测方法和装置、电子设备和存储介质 Active CN113271322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110821472.3A CN113271322B (zh) 2021-07-20 2021-07-20 异常流量的检测方法和装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110821472.3A CN113271322B (zh) 2021-07-20 2021-07-20 异常流量的检测方法和装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113271322A CN113271322A (zh) 2021-08-17
CN113271322B true CN113271322B (zh) 2021-11-23

Family

ID=77236935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110821472.3A Active CN113271322B (zh) 2021-07-20 2021-07-20 异常流量的检测方法和装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113271322B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114157506A (zh) * 2021-12-09 2022-03-08 中科计算技术西部研究院 基于流量和活跃度分析的网络异常扫描方法、系统及存储介质
CN114553541B (zh) * 2022-02-17 2024-02-06 苏州良医汇网络科技有限公司 一种分级校验防爬虫的方法、装置、设备及存储介质
CN114826717B (zh) * 2022-04-18 2024-02-23 深信服科技股份有限公司 一种异常访问检测方法、装置、电子设备及存储介质
CN114726758B (zh) * 2022-06-01 2022-11-04 山东云天安全技术有限公司 工业网络异常确定方法、装置、计算机设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653724A (zh) * 2016-01-20 2016-06-08 北京京东尚科信息技术有限公司 一种页面曝光量的监控方法和装置
CN105978897A (zh) * 2016-06-28 2016-09-28 南京南瑞继保电气有限公司 一种电力二次系统僵尸网络的检测方法
CN108304410A (zh) * 2017-01-13 2018-07-20 阿里巴巴集团控股有限公司 一种异常访问页面的检测方法、装置及数据分析方法
CN110113368A (zh) * 2019-06-27 2019-08-09 电子科技大学 一种基于子轨迹模式的网络行为异常检测方法
CN110149343A (zh) * 2019-05-31 2019-08-20 国家计算机网络与信息安全管理中心 一种基于流的异常通联行为检测方法和系统
CN110830450A (zh) * 2019-10-18 2020-02-21 平安科技（深圳）有限公司 基于统计的异常流量监测方法、装置、设备及存储介质
CN110933080A (zh) * 2019-11-29 2020-03-27 上海观安信息技术股份有限公司 一种用户登录异常的ip群体识别方法及装置
CN111198948A (zh) * 2020-01-08 2020-05-26 深圳前海微众银行股份有限公司 文本分类校正方法、装置、设备及计算机可读存储介质
CN111476610A (zh) * 2020-04-16 2020-07-31 腾讯科技（深圳）有限公司 一种信息检测方法、装置及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4905086B2 (ja) * 2006-11-29 2012-03-28 富士通株式会社 イベント種類推定システム、イベント種類推定方法およびイベント種類推定プログラム
US20200204571A1 (en) * 2018-12-19 2020-06-25 AVAST Software s.r.o. Malware detection in network traffic time series

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653724A (zh) * 2016-01-20 2016-06-08 北京京东尚科信息技术有限公司 一种页面曝光量的监控方法和装置
CN105978897A (zh) * 2016-06-28 2016-09-28 南京南瑞继保电气有限公司 一种电力二次系统僵尸网络的检测方法
CN108304410A (zh) * 2017-01-13 2018-07-20 阿里巴巴集团控股有限公司 一种异常访问页面的检测方法、装置及数据分析方法
CN110149343A (zh) * 2019-05-31 2019-08-20 国家计算机网络与信息安全管理中心 一种基于流的异常通联行为检测方法和系统
CN110113368A (zh) * 2019-06-27 2019-08-09 电子科技大学 一种基于子轨迹模式的网络行为异常检测方法
CN110830450A (zh) * 2019-10-18 2020-02-21 平安科技（深圳）有限公司 基于统计的异常流量监测方法、装置、设备及存储介质
CN110933080A (zh) * 2019-11-29 2020-03-27 上海观安信息技术股份有限公司 一种用户登录异常的ip群体识别方法及装置
CN111198948A (zh) * 2020-01-08 2020-05-26 深圳前海微众银行股份有限公司 文本分类校正方法、装置、设备及计算机可读存储介质
CN111476610A (zh) * 2020-04-16 2020-07-31 腾讯科技（深圳）有限公司 一种信息检测方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
时间序列相关性分析研究;陈刚;《现代信息科技》;20200710(第13期);全文 *

Also Published As

Publication number Publication date
CN113271322A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN113271322B (zh) 异常流量的检测方法和装置、电子设备和存储介质
CN106951925B (zh) 数据处理方法、装置、服务器及系统
CN110275958B (zh) 网站信息识别方法、装置和电子设备
CN110442712B (zh) 风险的确定方法、装置、服务器和文本审理系统
CN107153656B (zh) 一种信息搜索方法和装置
CN110019163A (zh) 对象特征的预测、推荐的方法、系统、设备和存储介质
CN112751711B (zh) 告警信息处理方法和装置、存储介质和电子设备
CN110222513B (zh) 一种线上活动的异常监测方法、装置及存储介质
CN111931809A (zh) 数据的处理方法、装置、存储介质及电子设备
CN114143049B (zh) 异常流量检测方法、装置、存储介质以及电子设备
WO2021081914A1 (zh) 推送对象确定方法、装置、终端设备及存储介质
McKelvey et al. Visualizing communication on social media: Making big data accessible
CN114399321A (zh) 一种业务系统稳定性分析方法、装置和设备
CN112330442A (zh) 基于超长行为序列的建模方法及装置、终端、存储介质
CN111355628A (zh) 一种模型训练方法、业务识别方法、装置和电子装置
CN112347457A (zh) 异常账户检测方法、装置、计算机设备和存储介质
CN113837836A (zh) 模型推荐方法、装置、设备及存储介质
CN117294873A (zh) 异常媒体资源的检测方法和装置、存储介质及电子设备
CN113010785A (zh) 用户推荐方法及设备
CN111127057B (zh) 一种多维用户画像恢复方法
CN115879110A (zh) 一种基于指纹穿透技术识别金融风险网站的系统
CN116776932A (zh) 用户的电商行为识别方法及装置
CN114741606A (zh) 企业推荐方法、装置、计算机可读介质及电子设备
CN113837318A (zh) 流量判定方案的确定方法和装置、电子设备和存储介质
CN113781068A (zh) 线上问题解决方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant