CN116708023B - 流量异常检测方法、装置、电子设备和可读存储介质 - Google Patents

流量异常检测方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN116708023B
CN116708023B CN202310943280.9A CN202310943280A CN116708023B CN 116708023 B CN116708023 B CN 116708023B CN 202310943280 A CN202310943280 A CN 202310943280A CN 116708023 B CN116708023 B CN 116708023B
Authority
CN
China
Prior art keywords
convolution kernel
prediction
flow
network model
flow log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310943280.9A
Other languages
English (en)
Other versions
CN116708023A (zh
Inventor
熊奕洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202310943280.9A priority Critical patent/CN116708023B/zh
Publication of CN116708023A publication Critical patent/CN116708023A/zh
Application granted granted Critical
Publication of CN116708023B publication Critical patent/CN116708023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开提供一种流量异常检测方法、装置、电子设备和计算机可读存储介质，涉及移动网络通信技术领域。流量异常检测方法包括：获取移动网络中的流量日志预测集合对应的流量日志向量矩阵；对流量日志向量矩阵进行傅里叶变换处理，获得第一频率矩阵；通过第一网络模型对第一频率矩阵进行处理，获得流量日志预测集合对应的预测卷积核；根据流量日志预测集合对应的预测卷积核设置第二网络模型的卷积核；通过流量日志预测集合对第二网络模型进行训练；通过训练完成的第二网络模型对移动网络中的流量日志进行处理，以便对移动网络中的流量是否异常进行预测。本公开实施例可以对移动网络中的流量是否异常准确的进行判断。

Description

流量异常检测方法、装置、电子设备和可读存储介质
技术领域
本公开涉及计算机与互联网技术领域，尤其涉及一种流量异常检测方法、装置、电子设备和计算机可读存储介质。
背景技术
本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
网络流量异常检测作为一种有效的防护手段，能够发现未知攻击行为，可以为网络态势感知提供重要技术支持。网络异常流量一般来源于两类，一类是网络设置不合理或者设备出故障导致的异常流量，如拥塞控制失效、网际协议地址（Internet ProtocolAddress，IP）失效等。另一种来源于网络攻击行为，如分布式拒绝服务（DistributedDenial of Service，DDS）攻击、蠕虫病毒等。能否迅速的发现异常流量影响着企业的网络运营水平，是运营企业（如运营商）等十分关注的问题。
因此，本公开要解决的技术问题是如何准确的确定移动网络中的网络流量是否发生异常。
发明内容
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
本公开实施例提供了一种流量异常检测方法，包括：获取移动网络中的流量日志预测集合对应的流量日志向量矩阵；对所述流量日志向量矩阵进行傅里叶变换处理，获得第一频率矩阵；通过第一网络模型对所述第一频率矩阵进行处理，获得所述流量日志预测集合对应的预测卷积核；根据所述流量日志预测集合对应的预测卷积核设置第二网络模型的卷积核；通过所述流量日志预测集合对所述第二网络模型进行训练；通过训练完成的第二网络模型对所述移动网络中的流量日志进行处理，以便对所述移动网络中的流量是否异常进行预测。
在一些实施例中，所述第一网络模型包括第一网络结构；其中，通过第一网络模型对所述第一频率矩阵进行处理，获得所述流量日志预测集合对应的预测卷积核，包括：确定所述第一频率矩阵的平均频率和最大频率；通过所述第一网络结构对所述平均频率和最大频率进行预测处理，获得所述预测卷积核。
在一些实施例中，所述第一网络模型包括第一网络结构和第二网络结构；其中，通过第一网络模型对所述第一频率矩阵进行处理，获得所述流量日志预测集合对应的预测卷积核，包括：确定所述第一频率矩阵的平均频率和最大频率；通过所述第一网络结构对所述平均频率和所述最大频率进行线性处理，获得线性处理结果；通过所述第二网络结构对所述线性处理结果进行非线性处理，获得所述预测卷积核。
在一些实施例中，所述第一网络模型是通过多个流量日志样本集合及所述多个流量日志样本集合对应的训练卷积核训练获得的，所述多个流量日志样本集合包括第一流量日志样本集合；其中，所述方法还包括：获取所述第一流量日志样本集合；通过所述第一流量日志样本集合对所述第二网络模型进行调参，以确定所述第一流量日志样本集合对应的训练卷积核；通过所述第一网络模型对所述第一流量日志样本集合进行预测处理，以确定所述第一流量日志样本集合对应的预测卷积核；根据所述第一流量日志样本集合对应的预测卷积核和所述第一流量日志样本集合对应的训练卷积核，确定所述第一流量日志样本集合对应的第一损失值；通过所述第一流量日志样本集合对应的第一损失值对所述第一网络模型进行训练。
在一些实施例中，所述第一网络模型是通过多个流量日志样本集合及所述多个流量日志样本集合对应的训练卷积核训练获得的，所述多个流量日志样本集合包括第二流量日志样本集合；其中，所述方法还包括：获取所述第二流量日志样本集合；通过所述第二流量日志样本集合对所述第二网络模型进行调参，以确定所述第二流量日志样本集合对应的训练卷积核；通过所述第二网络模型对所述第二流量日志样本集合进行预测处理，以确定所述第二流量日志样本集合对应的预测卷积核；通过设置有所述第二流量日志样本集合对应的所述训练卷积核的所述第二网络对所述第二流量日志样本集合进行处理，以预测所述第二流量日志样本集合对应的第一异常结果；通过设置有所述第二流量日志样本集合对应的预测卷积核的所述第二网络对所述第二流量日志样本集合进行处理，以预测所述第二流量日志样本集合对应的第二异常结果；根据所述第一异常结果和所述第二异常结果确定所述第二流量日志样本集合对应的第二损失值；通过所述第二损失值对所述第一网络模型进行训练。
在一些实施例中，所述第一网络模型包括第一网络结构；其中，通过第一网络模型对所述第一频率矩阵进行处理，获得所述流量日志预测集合对应的预测卷积核，包括：确定所述第一频率矩阵的平均频率和最大频率；通过所述第一网络结构对所述平均频率和最大频率进行处理，确定第一频率值；获取所述第二网络模型的卷积核与频率的数值拟合关系；对所述数值拟合关系进行插值处理，以确定所述第一频率值对应的卷积核；将所述第一频率值对应的卷积核作为所述流量日志预测集合对应的预测卷积核。
在一些实施例中，所述方法还包括：获取多个流量日志样本集合；对各个流量日志样本集合进行傅里叶变换处理，以确定各个流量日志样本集合对应的频率矩阵；根据各个流量日志样本集合对应的频率矩阵，确定各个流量日志样本集合对应的第二频率；通过所述多个流量日志样本集合分别对所述第二网络模型进行调参，以确定各个流量日志样本集合对应的训练卷积核；对各个网络流量样本集合对应的训练卷积核和第二频率做线性拟合处理，以确定出所述第二网络模型的卷积核与频率的数值拟合关系。
本公开实施例提供了一种流量异常检测装置，包括：向量矩阵确定模块、频率矩阵获取模块、预测卷积核确定模块、卷积核设置模块、第二网络模型训练模块和异常预测模块。
其中，所述向量矩阵确定模块用于获取移动网络中的流量日志预测集合对应的流量日志向量矩阵；所述频率矩阵获取模块可以用于对所述流量日志向量矩阵进行傅里叶变换处理，获得第一频率矩阵；所述预测卷积核确定模块可以用于通过第一网络模型对所述第一频率矩阵进行处理，获得所述流量日志预测集合对应的预测卷积核；所述卷积核设置模块可以用于根据所述流量日志预测集合对应的预测卷积核设置第二网络模型的卷积核；所述第二网络模型训练模块可以用于通过所述流量日志预测集合对所述第二网络模型进行训练；所述异常预测模块可以用于通过训练完成的第二网络模型对所述移动网络中的流量日志进行处理，以便对所述移动网络中的流量是否异常进行预测。
本公开实施例提出一种电子设备，该电子设备包括：存储器和处理器；所述存储器用于存储计算机程序指令；所述处理器调用所述存储器存储的所述计算机程序指令，用于实现上述任一项所述的流量异常检测方法。
本公开实施例提出一种计算机可读存储介质，其上存储有计算机程序指令，实现如上述任一项所述的流量异常检测方法。
本公开实施例提出一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序指令，该计算机程序指令存储在计算机可读存储介质中。从计算机可读存储介质读取该计算机程序指令，处理器执行该计算机程序指令，实现上述流量异常检测方法。
本公开实施例提供的流量异常检测方法、装置、电子设备和计算机可读存储介质，可以通过对流量日志预测集合进行频率分析以确定使用该流量日志预测集合进行训练的第二网络模型对应的训练卷积核的大小，以便根据该流量日志预测集合训练配置有该训练卷积核的第二网络，从而通过训练完成的第二网络对网络中的流量是否发生异常进行准确判断。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用于本公开实施例的流量异常检测方法或流量异常检测装置的场景示意图。
图2是根据一示例性实施例示出的一种流量异常检测方法的流程图。
图3是根据一示例性实施例示出的一种词向量矩阵的示意图。
图4是根据一示例性实施例示出的一种通过频谱图指导卷积核大小的示意图。
图5是根据一示例性实施例示出的一种通过频谱图指导卷积核大小的示意图。
图6是根据一示例性实施例示出的一种卷积核预测方法的流程图。
图7是根据一示例性实施例示出的一种卷积核预测方法的流程图。
图8是根据一示例性实施例示出的一种卷积核预测方法的流程图。
图9是根据一示例性实施例示出的一种卷积核预测方法对应的结构示意图。
图10是根据一示例性实施例示出的一种卷积核预测方法的流程图。
图11是根据一示例性实施例示出的一种卷积核预测方法的流程图。
图12是根据一示例性实施例示出的一种卷积核与频率的数值拟合关系确定方法的流程图。
图13是根据一示例性实施例示出的一种流量异常检测装置的框图。
图14示出了适于用来实现本公开实施例的电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
本领域技术人员知道，本公开的实施方式可以为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件（包括固件，驻留软件，微代码等），或者硬件和软件结合的形式。
本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和步骤，也不是必须按所描述的顺序执行。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
在本公开的描述中，除非另有说明，“/”表示“或”的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。此外，“至少一个”是指一个或多个，“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同；用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述，需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的采集、收集、更新、分析、处理、使用、传输、存储等方面，均符合相关法律法规的规定，被用于合法的用途，且不违背公序良俗。对用户个人信息采取必要措施，防止对用户个人信息数据的非法访问，维护用户个人信息安全、网络安全。
本专利提出了一种针对安全问题的网络异常流量检测方法，提供了一种深度学习架构，对基于流量的访问端口数据进行异常检测。本公开致力于在获取网络流量日志数据后快速且准确的找出异常流量信息，然后进行网络预警，对于保证网络正常运行和维护整个网络空间安全有着一定的意义。下面结合附图对本公开示例实施方式进行详细说明。
深度学习在自然语言处理领域有着非常强大的性能，而网络服务器在运行时会同步产生海量的流量日志数据，它是以文本形式存在的。因此，本公开从日志数据出发，建立深度学习到智能运维间的桥梁，以通过神经网络模型判断网络流量是否异常。
另外，海量的流量日志数据种类各不相同，所蕴含的信息量有很大差异，相应的，也需要不同复杂度的各类模型。传统上，卷积神经网的重要超参数——卷积核的选择是需要通过模型训练来手动调优的。这个参数的选择是十分重要的，过小会导致神经网络无法捕获数据的全局特征，从而难以取得相比浅层学习的优势；而过大会导致数据被大量平滑，失去许多重要的边缘信息，从而降低泛化性能。此参数的调优不仅会直接影响模型的复杂度和训练时间，还能直接决定模型性能，可是它的参数选择的空间却很大，因此甚至衍生出了许多种卷积核运算的方法。
本公开采用傅里叶变换这个数学工具来评估网络流量异常判断所需要的模型网络深度。本公开通过傅里叶变换来评估神经网络合适的超参数——卷积核大小的数值，以提高网络流量异常判断的效率和准确性。
图1示出了可以应用于本公开实施例的流量异常检测方法或流量异常检测装置的场景示意图。
请参考图1，其示出了本公开一个示例性实施例提供的实施环境的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。其中，终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、虚拟现实设备、智能家居等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器等，本公开对此不做限制。
服务器105可例如获取移动网络中的流量日志预测集合对应的流量日志向量矩阵；服务器105可例如对流量日志向量矩阵进行傅里叶变换处理，获得第一频率矩阵；服务器105可例如通过第一网络模型对第一频率矩阵进行处理，获得流量日志预测集合对应的预测卷积核；服务器105可例如根据流量日志预测集合对应的预测卷积核设置第二网络模型的卷积核；服务器105可例如通过流量日志预测集合对第二网络模型进行训练；服务器105可例如通过训练完成的第二网络模型对移动网络中的流量日志进行处理，以便对移动网络中的流量是否异常进行预测。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的，服务器105可以是一个实体的服务器，还可以为多个服务器组成，根据实际需要，可以具有任意数目的终端设备、网络和服务器。
图2是根据一示例性实施例示出的一种流量异常检测方法的流程图。本公开实施例所提供的方法可以由任意具备计算处理能力的电子设备来执行，例如该方法可以由上述图1实施例中的服务器或终端设备来执行，也可以由服务器和终端设备共同执行，在下面的实施例中，以服务器为执行主体为例进行举例说明，但本公开并不限定于此。
参照图2，本公开实施例提供的流量异常检测方法可以包括以下步骤。
步骤S202，获取移动网络中的流量日志预测集合对应的流量日志向量矩阵。
上述流量日志预测集合可以包括多个流量日志，该流量日志预测集合中的流量日志可以用来对第二网络模型进行训练，其中训练完成的第二网络模型可以用来对移动网络中的日志信息进行处理以确定移动网络中的流量是否发生异常。
在一些实施例中，网络流量数据是持续产生的文本信息，而计算机中的神经网络是无法理解字符型信息的。因此，为了让计算机理解日志数据，必须将它进行向量化，转换为词嵌入矩阵。在经过词嵌入计算后，智能运维问题便转换为了自然语言处理的问题。本公开在设定好嵌入向量大小后获取词向量，并在此基础上补充了位置编码和类别编码，这两种编码可以提供前置信息，帮助神经网络更好的学习。
词嵌入：词嵌入时深度学习中的一种技术，它会将离散符号，如字符、单词或某些类别信息，映射到低维空间中的连续密集向量。词嵌入的目的是以有意义的方式表示这些符号的含义或上下文，以便作为机器学习的模型输入使用。其中，语义上更相近的词语在词嵌入后的空间会更小。
在一些实施例中，可以对流量日志预测集合进行向量化处理，以获得流量日志向量矩阵。
如图3所示，可以将网络流量文本数据（如图3中的301）转化为流量日志向量矩阵（如图3中的302）。如图3所示，上述流量日志向量矩阵302既可以包括由日志中的词生成的词向量3021，也可以包括日志中各个词的位置对应的位置编码3022和词类型对应的类型编码3023。
步骤S204，对流量日志向量矩阵进行傅里叶变换处理，获得第一频率矩阵。
步骤S206，通过第一网络模型对第一频率矩阵进行处理，获得流量日志预测集合对应的预测卷积核。
在图像处理技术领域中，可以使用卷积对图像进行平滑处理，目的是去除非常高频的异常值，利处是可以消除噪声等异常值（该异常值可以例如是波峰），但是会使得图像变模糊。一般来说，卷积核过大的话会平滑的比较多，使得图像模糊程度也更高（即信息丢失也更多），卷积核过小的话会平滑的比较少，使得图像模糊程度也更低（即信息丢失也相对较少）。
参考图像处理技术领域，在深度学习技术领域，网络模型中的卷积核本质上也是对数据进行平滑处理，那么大的卷积核可以对噪声进行好的处理，但是会牺牲掉一些信息，小的卷积核对噪声处理效果弱一些，但是牺牲的信息也少一些。
根据傅里叶变换对图像进行处理的原理可以发现，当一组数据的傅里叶变换获得的频率中高频分量比较多的话，则可以认为该组数据存在的噪声比较大，那么需要大的卷积核进行平滑处理；当一组数据的傅里叶变换获得的频率中的低频分量比较多的话，则可以认为该组数据中存在的噪声比较小，则只需要小的卷积核做小范围内的平滑处理即可。
因此，可以对第一频率矩阵进行分析。当第一频率矩阵中的高频分量较多，则可以确定网络流量日志预测集合中的噪声较大，则可以让第二网络模型中采用大的卷积核进行训练，既能提高卷积核大小选择的效率，同时也能提高第二网络模型的预测能力；当第一频率矩阵中的高频分量较少的话，则可以确定网络流量日志预测集合中的噪声较少，则可以让第二网络模型中采用小的卷积核进行训练，既能提高卷积核大小选择的效率，同时也能提高第二网络模型的预测能力。
如图4所示，可以通过流量日志预测集合对应的词嵌入矩阵对应的第一频率矩阵401对应的频谱图402对第二网络模型的卷积核403的大小进行指导，以确定在通过上述流量日志预测集合对第二网络模型进行训练时该第二网络模型对应的训练卷积核，从而提高通过流量日志预测集合训练出来的第二网络模型的预测准确率。
步骤S208，根据流量日志预测集合对应的预测卷积核设置第二网络模型的卷积核。
步骤S210，通过流量日志预测集合对第二网络模型进行训练。
步骤S212，通过训练完成的第二网络模型对移动网络中的流量日志进行处理，以便对移动网络中的流量是否异常进行预测。
在一些实施例中，上述图2所示的实施例可以通过图5所示结构图进行解释。
如图5所示，可以对第二网络模型的训练样本（如流量日志预测集合）进行向量化，以获得流量日志向量矩阵501；可以对第二网络模型的训练样本（如流量日志预测集合）进行傅里叶变换分析，以获得流量日志预测集合对应的频谱图502；然后使用流量日志预测集合对应的频谱图502对第二网络模型504对应的卷积核503进行指导和确定。
上述实施例提供的技术方案既能通过网络流量日志对应的频谱图快速的为第二网络模型确定一训练卷积核以提高第二网络模型的训练效率；另一方面通过训练卷积核可以提高网络中流量异常情况的预测准确度。
图6是根据一示例性实施例示出的一种卷积核预测方法的流程图。
在一些实施例中，上述第一网络模型可以包括第一网络结构。
参考图6，上述卷积核预测方法可以包括以下步骤。
步骤S602，确定第一频率矩阵的平均频率和最大频率。
步骤S604，通过第一网络结构对平均频率和最大频率进行预测处理，获得预测卷积核。
在一些实施例中，第一网络结构可以通过y=AX+BY+C对平均频率X和最大频率Y进行处理，其中C是一个一个偏置项。
上述参数A、B和C可以是通过预先设定的参数，也可以是通过对网络模型进行训练获得的参数，本公开对此不做限制。
在一些实施例中，本领域技术人员可以根据最大频率和平均频率的权重设置上述参数A和B和C。
上述A、B和C的确定过程可以参考图10、图11，其中图10和图11示出的是通过训练获得A、B和C的过程。
在一些实施例中，如果上述参数A和B和C是人为设定的，那么就可以根据公式y=AX+BY+C确定第一频率矩阵对应的第一频率值y，然后获取第一频率值与卷积核大小的数值拟合关系（该数值拟合关系的确定可以参考图12），接着在数值拟合关系中进行插值以确定该第一频率值对应的卷积核，并将第一频率值对应的卷积核作为第一频率矩阵对应的预测卷积核。
在一些实施例中，如果上述参数A和B和C是通过网络训练获得的，那么通过公式y=AX+BY+C就可以直接确定第一频率矩阵对应的预测卷积核。
通过上述方法可以准确的确定出第一频率矩阵所对应的卷积核大小。
图7是根据一示例性实施例示出的一种卷积核预测方法的流程图。
在一些实施例中，第一网络模型可以包括第一网络结构。
在一些实施例中，第一网络结构可以通过y=AX+BY+C对平均频率X和最大频率Y进行处理，其中C是一个一个偏置项。
上述参数A、B和C可以是通过预先设定的参数。
参考图7，上述卷积核预测方法可以包括以下步骤。
步骤S702，确定第一频率矩阵的平均频率和最大频率。
步骤S704，通过第一网络结构对平均频率和最大频率进行处理，确定第一频率值。
在一些实施例中，可以通过公式y=AX+BY+C对平均频率和最大频率进行处理，以确定第一频率矩阵对应的第一频率值。
步骤S706，获取第二网络模型的卷积核与频率的数值拟合关系。
在一些实施例中，可以提前确定第二网络模型的卷积核与频率的数值拟合关系，具体可以参考图12，本实施例对此不做限制。
步骤S708，对数值拟合关系进行插值处理，以确定第一频率值对应的卷积核。
步骤S710，将第一频率值对应的卷积核作为流量日志预测集合对应的预测卷积核。
图8是根据一示例性实施例示出的一种卷积核预测方法的流程图。
在一些实施例中，第一网络模型可以包括第一网络结构和第二网络结构。
其中，第二网络结构的参数可以是在第一网络模型的训练过程中确定的。其中第一网络结构的参数可以是在第一网络模型的训练过程中确定的，也可以是人为根据经验确定的，本公开对此不做限制。
上述第一网络模型的训练过程可以参考图10和图11，但本公开对此不做限制。
步骤S802，确定第一频率矩阵的平均频率和最大频率。
如图9所示，可以从第一频率矩阵对应的频谱图901中确定最大频率X 902和平均频率Y 903以及偏置量b 904。
步骤S804，通过第一网络结构对平均频率和最大频率进行线性处理，获得线性处理结果。
在一些实施例中，上述第一网络结构可以是根据y=AX+BY+C确定的线性网络结构。
在一些实施例中，可以通过第一网络结构对平均频率X和最大频率Y进行线性处理，其中A、B和C是在训练过程中确定的。
步骤S806，通过第二网络结构对线性处理结果进行非线性处理，获得预测卷积核。
在一些实施例中，上述第二网络结构可以是一种非线性处理单元，例如可以是如图9所示的激活单元905（如RELU激活单元），本公开对此不做限制。
在一些实施例中，在通过第一网络结构对平均频率和最大频率进行处理后，还可以继续通过激活单元RELU对第一网络结构的处理结果进行非线性处理，获得第二网络模型906对应的预测卷积核。
在获得预测卷积核后，还可以确定通过流量日志预测集合对第二网络模型进行训练后获得的训练卷积核（即在训练过程中通过调参确定的训练卷积核）。
最后，可以通过上述预测卷积核和训练卷积核确定损失函数，以便通过该损失函数对第一网络模型进行训练。
上述实施例提供的技术方案，能同时拟合线性关系和非线性关系，可以准确的确定出通过流量日志预测集合对第二网络模型进行训练时，该第二网络模块对应的训练卷积核大小。
图10是根据一示例性实施例示出的一种卷积核预测方法的流程图。
在一些实施例中，上述第一网络模型可以是通过多个流量日志样本集合及多个流量日志样本集合对应的训练卷积核训练获得的，其中上述多个流量日志样本集合可以包括第一流量日志样本集合。
下面本公开将以第一流量日志样本集合为例解释如何对第一网络模型进行训练，但本公开对此不做限制。
参考图10，上述卷积核预测方法可以包括以下步骤。
步骤S1002，获取第一流量日志样本集合。
步骤S1004，通过第一流量日志样本集合对第二网络模型进行调参，以确定第一流量日志样本集合对应的训练卷积核。
在一些实施例中，可以通过第一流量日志样本集合对第二网络模型进行训练调参，以确定第一流量日志样本集合对应的训练卷积核。
步骤S1006，通过第一网络模型对第一流量日志样本集合进行预测处理，以确定第一流量日志样本集合对应的预测卷积核。
步骤S1008，根据第一流量日志样本集合对应的预测卷积核和第一流量日志样本集合对应的训练卷积核，确定第一流量日志样本集合对应的第一损失值。
步骤S1010，通过第一流量日志样本集合对应的第一损失值对第一网络模型进行训练。
上述实施例提供的技术方案，可以通过第一流量日志样本集合对第二网络模型进行训练时对应的训练卷积核和通过第一网络模型预测出来的预测卷积核确定第一损失值，然后通过第一损失值对第一网络模型进行训练，以使得最终训练出来的第一网络模型能够比较准确的预测出在通过第一流量日志样本集合对第二网络模型进行训练时所对应的训练卷积核大小。通过上述方法可以在为第二网络模型确定卷积核时无需进行训练，直接通过第一网络模型对第一流量日志样本集合对应的频率矩阵进行预测处理即可，提高了卷积核确定的效率，也提高了网络流量异常预测的准确性。
图11是根据一示例性实施例示出的一种卷积核预测方法的流程图。
在一些实施例中，上述第一网络模型可以是通过多个流量日志样本集合及各个流量日志样本集合对应的训练卷积核训练获得的，上述多个流量日志样本集合包括第二流量日志样本集合。下面本公开将以第二流量日志样本集合及其对应的训练卷积核为例解释如何对第一网络模型进行训练，但本公开对此不做限制。
参考图11，上述卷积核预测方法可以包括以下步骤。
步骤S1102，获取第二流量日志样本集合。
步骤S1104，通过第二流量日志样本集合对第二网络模型进行调参，以确定第二流量日志样本集合对应的训练卷积核。
步骤S1106，通过第二网络模型对第二流量日志样本集合进行预测处理，以确定第二流量日志样本集合对应的预测卷积核。
步骤S1108，通过设置有第二流量日志样本集合对应的训练卷积核的第二网络对第二流量日志样本集合进行处理，以预测第二流量日志样本集合对应的第一异常结果。
步骤S1110，通过设置有第二流量日志样本集合对应的预测卷积核的第二网络对第二流量日志样本集合进行处理，以预测第二流量日志样本集合对应的第二异常结果。
步骤S1112，根据第一异常结果和第二异常结果确定第二流量日志样本集合对应的第二损失值。
步骤S1114，通过第二损失值对第一网络模型进行训练。
上述实施例提供的技术方案，可以通过第二流量日志样本集合对第二网络模型进行训练时对应的训练卷积核和第二网络模型预测出来的与预测卷积核确定第二损失值，然后通过第二损失值对第二网络模型进行训练，以使得最终训练出来的第二网络模型能够比较准确的预测出在通过第二流量日志样本集合对第二网络模型进行训练时所对应的最有卷积核大小。通过上述方法可以在为第二网络模型的卷积核时无需进行训练，直接通过第二网络模型对第二流量日志样本集合对应的频率矩阵进行预测处理即可，提高了卷积核确定的效率，也提高了网络流量异常预测的准确性。
图12是根据一示例性实施例示出的一种卷积核与频率的数值拟合关系确定方法的流程图。
参考图12，上述卷积核与频率的数值拟合关系确定方法。
步骤S1202，获取多个流量日志样本集合。
步骤S1204，对各个流量日志样本集合进行傅里叶变换处理，以确定各个流量日志样本集合对应的频率矩阵。
步骤S1206，根据各个流量日志样本集合对应的频率矩阵，确定各个流量日志样本集合对应的第二频率。
在一些实施中，可以通过y=AX+BY+C确定上述各个流量日志样本集合对应的频率矩阵第二频率，其中，X指的是频率矩阵的平均频率，Y指的是频率矩阵的最大频率，C是偏置项。
步骤S1208，通过多个流量日志样本集合分别对第二网络模型进行调参，以确定各个流量日志样本集合对应的训练卷积核。
步骤S1210，对各个网络流量样本集合对应的训练卷积核和第二频率做线性拟合处理，以确定出第二网络模型的卷积核与频率的数值拟合关系。
本公开通过数值拟合即可确定第二网络模型的卷积核与频率的数值拟合关系，通过上述拟合关系可以确定出各个第一频率对应的卷积核大小。那么在获得流量日志预测集合时可以确定该流量日志预测集合对应的第一频率矩阵，然后通过y=AX+BY+C等对第一频率矩阵的平均频率值X和最大频率值Y进行处理，以确定该第一频率值对应的第一频率，然后通过上述拟合关系确定该第一频率对应的卷积核，以作为通过上述流量日志预测集合对第二网络模型训练时所对应的训练卷积核。
本公开提供的上述实施例具备以下有益效果。
1. 能够通过傅里叶变换提前预知信息抽取的难度，为神经网络超参数的设置提供理论依据。
2. 将原始数据的重要特征——频率特性，用于神经网络超参数的分析，能够在神经网络训练之前提前确定需要手工选择的超参数——卷积核大小。
3. 根据流量数据的种类设置了类别编码，以及数据的出现顺序设置了位置编码，增加了神经网络对词嵌入矩阵的理解。
需要特别指出的是，上述流量异常检测方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减。因此，这些合理的排列组合变换之于流量异常检测方法也应当属于本公开的保护范围，并且不应将本公开的保护范围局限在实施例之上。
基于同一发明构思，本公开实施例中还提供了一种流量异常检测装置，如下面的实施例。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。
图13是根据一示例性实施例示出的一种流量异常检测装置的框图。参照图13，本公开实施例提供的流量异常检测装置1300可以包括：向量矩阵确定模块1301、频率矩阵获取模块1302、预测卷积核确定模块1303、卷积核设置模块1304、第二网络模型训练模块1305和异常预测模块1306。
其中，向量矩阵确定模块1301可以用于获取移动网络中的流量日志预测集合对应的流量日志向量矩阵；频率矩阵获取模块1302可以用于对流量日志向量矩阵进行傅里叶变换处理，获得第一频率矩阵；预测卷积核确定模块1303可以用于通过第一网络模型对第一频率矩阵进行处理，获得流量日志预测集合对应的预测卷积核；卷积核设置模块1304可以用于根据流量日志预测集合对应的预测卷积核设置第二网络模型的卷积核；第二网络模型训练模块1305可以用于通过流量日志预测集合对第二网络模型进行训练；异常预测模块1306可以用于通过训练完成的第二网络模型对移动网络中的流量日志进行处理，以便对移动网络中的流量是否异常进行预测。
此处需要说明的是，上述向量矩阵确定模块1301、频率矩阵获取模块1302、预测卷积核确定模块1303、卷积核设置模块1304、第二网络模型训练模块1305、异常预测模块1306对应于方法实施例中的S202～S212，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在一些实施例中，第一网络模型包括第一网络结构；其中，预测卷积核确定模块1303可以包括：第一频率分析模块和第一预测模块。
其中，第一频率分析模块可以用于确定第一频率矩阵的平均频率和最大频率；第一预测模块可以用于通过第一网络结构对平均频率和最大频率进行预测处理，获得预测卷积核。
在一些实施例中，第一网络模型包括第一网络结构和第二网络结构；其中，预测卷积核确定模块1303可以包括：频率确定第二子模块、第二线性处理子模块和第二预测子模块。
其中，频率确定第二子模块可以用于确定第一频率矩阵的平均频率和最大频率；第二线性处理子模块可以用于通过第一网络结构对平均频率和最大频率进行线性处理，获得线性处理结果；第二预测子模块可以用于通过第二网络结构对线性处理结果进行非线性处理，获得预测卷积核。
在一些实施例中，第一网络模型是通过多个流量日志样本集合及多个流量日志样本集合对应的训练卷积核训练获得的，多个流量日志样本集合包括第一流量日志样本集合；其中，流量异常检测装置1300还可以包括：第一流量日志样本集合获取模块、第一调参模块、第一预测卷积核确定模块、第一损失值确定模块和第一训练模块。
其中，第一流量日志样本集合获取模块可以用于获取第一流量日志样本集合；第一调参模块可以用于通过第一流量日志样本集合对第二网络模型进行调参，以确定第一流量日志样本集合对应的训练卷积核；第一预测卷积核确定模块可以用于通过第一网络模型对第一流量日志样本集合进行预测处理，以确定第一流量日志样本集合对应的预测卷积核；第一损失值确定模块可以用于根据第一流量日志样本集合对应的预测卷积核和第一流量日志样本集合对应的训练卷积核，确定第一流量日志样本集合对应的第一损失值；第一训练模块可以用于通过第一流量日志样本集合对应的第一损失值对第一网络模型进行训练。
在一些实施例中，第一网络模型是通过多个流量日志样本集合及多个流量日志样本集合对应的训练卷积核训练获得的，多个流量日志样本集合包括第二流量日志样本集合；其中，流量异常检测装置1300还可以包括：第二流量日志样本集合获取模块、第二调参模块、第二预测卷积核确定模块、第一异常结果确定模块、第二异常结果确定模块、第二损失值确定模块和第二训练模块。
其中，第二流量日志样本集合获取模块可以用于获取第二流量日志样本集合；第二调参模块可以用于通过第二流量日志样本集合对第二网络模型进行调参，以确定第二流量日志样本集合对应的训练卷积核；第二预测卷积核确定模块可以用于通过第二网络模型对第二流量日志样本集合进行预测处理，以确定第二流量日志样本集合对应的预测卷积核；第一异常结果确定模块可以用于通过设置有第二流量日志样本集合对应的训练卷积核的第二网络对第二流量日志样本集合进行处理，以预测第二流量日志样本集合对应的第一异常结果；第二异常结果确定模块可以用于通过设置有第二流量日志样本集合对应的预测卷积核的第二网络对第二流量日志样本集合进行处理，以预测第二流量日志样本集合对应的第二异常结果；第二损失值确定模块可以用于根据第一异常结果和第二异常结果确定第二流量日志样本集合对应的第二损失值；第二训练模块可以用于通过第二损失值对第一网络模型进行训练。
在一些实施例中，第一网络模型包括第一网络结构；其中，预测卷积核确定模块1303可以包括：第三频率确定子模块、第一频率值确定子模块、数值拟合关系确定子模块、插值子模块和预测卷积核第三子模块。
其中，第三频率确定子模块可以用于确定第一频率矩阵的平均频率和最大频率；第一频率值确定子模块可以用于通过第一网络结构对平均频率和最大频率进行处理，确定第一频率值；数值拟合关系确定子模块可以用于获取第二网络模型的卷积核与频率的数值拟合关系；插值子模块可以用于对数值拟合关系进行插值处理，以确定第一频率值对应的卷积核；预测卷积核第三子模块可以用于将第一频率值对应的卷积核作为流量日志预测集合对应的预测卷积核。
在一些实施例中，流量异常检测装置1300还可以包括：多个流量日志样本集合获取模块、傅里叶变换第二处理模块、第二频率确定模块、第三调参模块以及数值拟合关系确定模块。
其中，多个流量日志样本集合获取模块可以用于获取多个流量日志样本集合；傅里叶变换第二处理模块可以用于对各个流量日志样本集合进行傅里叶变换处理，以确定各个流量日志样本集合对应的频率矩阵；第二频率确定模块可以用于根据各个流量日志样本集合对应的频率矩阵，确定各个流量日志样本集合对应的第二频率；第三调参模块可以用于通过多个流量日志样本集合分别对第二网络模型进行调参，以确定各个流量日志样本集合对应的训练卷积核；数值拟合关系确定模块可以用于对各个网络流量样本集合对应的训练卷积核和第二频率做线性拟合处理，以确定出第二网络模型的卷积核与频率的数值拟合关系。
由于装置1300的各功能已在其对应的方法实施例中予以详细说明，本公开于此不再赘述。
描述于本公开实施例中所涉及到的模块和/或子模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或子模块也可以设置在处理器中。其中，这些模块和/或子模块的名称在某种情况下并不构成对该模块和/或子模块本身的限定。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块或程序段的一部分，上述模块或程序段的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机程序指令的组合来实现。
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
图14示出了适于用来实现本公开实施例的电子设备的结构示意图。需要说明的是，图14示出的电子设备1400仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图14所示，电子设备1400包括中央处理单元（CPU）1401，其可以根据存储在只读存储器（ROM）1402中的程序或者从储存部分1408加载到随机访问存储器（RAM）1403中的程序而执行各种适当的动作和处理。在RAM 1403中，还存储有电子设备1400操作所需的各种程序和数据。CPU 1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出（I/O）接口1405也连接至总线1404。
以下部件连接至I/O接口1405：包括键盘、鼠标等的输入部分1406；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分1407；包括硬盘等的储存部分1408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至I/O接口1405。可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1410上，以便于从其上读出的计算机程序根据需要被安装入储存部分1408。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序指令。在这样的实施例中，该计算机程序可以通过通信部分1409从网络上被下载和安装，和/或从可拆卸介质1411被安装。在该计算机程序被中央处理单元（CPU）1401执行时，执行本公开的系统中限定的上述功能。
需要说明的是，本公开所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序指令。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序指令可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备可实现功能包括：获取移动网络中的流量日志预测集合对应的流量日志向量矩阵；对流量日志向量矩阵进行傅里叶变换处理，获得第一频率矩阵；通过第一网络模型对第一频率矩阵进行处理，获得流量日志预测集合对应的预测卷积核；根据流量日志预测集合对应的预测卷积核设置第二网络模型的卷积核；通过流量日志预测集合对第二网络模型进行训练；通过训练完成的第二网络模型对移动网络中的流量日志进行处理，以便对移动网络中的流量是否异常进行预测。
根据本公开的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序指令，该计算机程序指令存储在计算机可读存储介质中。从计算机可读存储介质读取该计算机程序指令，处理器执行该计算机程序指令，实现上述实施例的各种可选实现方式中提供的方法。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干计算机程序指令用以使得一台电子设备（可以是服务器或者终端设备等）执行根据本公开实施例的方法。
本领域技术人员在考虑说明书及实践在这里公开的公开后，将容易想到本公开的其他实施例。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不限于这里已经示出的详细结构、附图方式或实现方法，相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种流量异常检测方法，其特征在于，包括：
获取移动网络中的流量日志预测集合对应的流量日志向量矩阵；
对所述流量日志向量矩阵进行傅里叶变换处理，获得第一频率矩阵；
通过第一网络模型对所述第一频率矩阵进行处理，确定所述流量日志预测集合对应的预测卷积核大小；
根据所述流量日志预测集合对应的预测卷积核大小设置第二网络模型的卷积核大小；
通过所述流量日志预测集合对所述第二网络模型进行训练；
通过训练完成的所述第二网络模型对所述移动网络中的流量日志进行处理，以便对所述移动网络中的流量是否异常进行预测。
2.根据权利要求1所述方法，其特征在于，所述第一网络模型包括第一网络结构；其中，通过第一网络模型对所述第一频率矩阵进行处理，确定所述流量日志预测集合对应的预测卷积核大小，包括：
确定所述第一频率矩阵的平均频率和最大频率；
通过所述第一网络结构对所述平均频率和最大频率进行预测处理，获得所述预测卷积核大小。
3.根据权利要求1所述方法，其特征在于，所述第一网络模型包括第一网络结构和第二网络结构；其中，通过第一网络模型对所述第一频率矩阵进行处理，确定所述流量日志预测集合对应的预测卷积核大小，包括：
确定所述第一频率矩阵的平均频率和最大频率；
通过所述第一网络结构对所述平均频率和所述最大频率进行线性处理，获得线性处理结果；
通过所述第二网络结构对所述线性处理结果进行非线性处理，获得所述流量日志预测集合对应的预测卷积核大小。
4.根据权利要求1所述方法，其特征在于，所述第一网络模型是通过多个流量日志样本集合及所述多个流量日志样本集合对应的训练卷积核大小训练获得的，所述多个流量日志样本集合包括第一流量日志样本集合；其中，所述方法还包括：
获取所述第一流量日志样本集合；
通过所述第一流量日志样本集合对所述第二网络模型进行调参，以确定所述第一流量日志样本集合对应的训练卷积核大小；
通过所述第一网络模型对所述第一流量日志样本集合进行预测处理，以确定所述第一流量日志样本集合对应的预测卷积核大小；
根据所述第一流量日志样本集合对应的预测卷积核大小和所述第一流量日志样本集合对应的训练卷积核大小，确定所述第一流量日志样本集合对应的第一损失值；
通过所述第一流量日志样本集合对应的第一损失值对所述第一网络模型进行训练。
5.根据权利要求1所述方法，其特征在于，所述第一网络模型是通过多个流量日志样本集合及所述多个流量日志样本集合对应的训练卷积核大小训练获得的，所述多个流量日志样本集合包括第二流量日志样本集合；其中，所述方法还包括：
获取所述第二流量日志样本集合；
通过所述第二流量日志样本集合对所述第二网络模型进行调参，以确定所述第二流量日志样本集合对应的训练卷积核大小；
通过所述第二网络模型对所述第二流量日志样本集合进行预测处理，以确定所述第二流量日志样本集合对应的预测卷积核大小；
通过设置有所述第二流量日志样本集合对应的所述训练卷积核大小的所述第二网络对所述第二流量日志样本集合进行处理，以预测所述第二流量日志样本集合对应的第一异常结果；
通过设置有所述第二流量日志样本集合对应的预测卷积核大小的所述第二网络对所述第二流量日志样本集合进行处理，以预测所述第二流量日志样本集合对应的第二异常结果；
根据所述第一异常结果和所述第二异常结果确定所述第二流量日志样本集合对应的第二损失值；
通过所述第二损失值对所述第一网络模型进行训练。
6.根据权利要求1所述方法，其特征在于，所述第一网络模型包括第一网络结构；其中，通过第一网络模型对所述第一频率矩阵进行处理，确定所述流量日志预测集合对应的预测卷积核大小，包括：
确定所述第一频率矩阵的平均频率和最大频率；
通过所述第一网络结构对所述平均频率和最大频率进行处理，确定第一频率值；
获取所述第二网络模型的卷积核大小与频率的数值拟合关系；
对所述数值拟合关系进行插值处理，以确定所述第一频率值对应的卷积核大小；
将所述第一频率值对应的卷积核大小作为所述流量日志预测集合对应的预测卷积核大小。
7.根据权利要求6所述方法，其特征在于，所述方法还包括：
获取多个流量日志样本集合；
对各个流量日志样本集合进行傅里叶变换处理，以确定各个流量日志样本集合对应的频率矩阵；
根据各个流量日志样本集合对应的频率矩阵，确定各个流量日志样本集合对应的第二频率；
通过所述多个流量日志样本集合分别对所述第二网络模型进行调参，以确定各个流量日志样本集合对应的训练卷积核大小；
对各个网络流量样本集合对应的训练卷积核大小和第二频率做线性拟合处理，以确定出所述第二网络模型的卷积核大小与频率的数值拟合关系。
8.一种流量异常检测装置，其特征在于，包括：
向量矩阵确定模块，用于获取移动网络中的流量日志预测集合对应的流量日志向量矩阵；
频率矩阵获取模块，用于对所述流量日志向量矩阵进行傅里叶变换处理，获得第一频率矩阵；
预测卷积核确定模块，用于通过第一网络模型对所述第一频率矩阵进行处理，确定所述流量日志预测集合对应的预测卷积核大小；
卷积核设置模块，用于根据所述流量日志预测集合对应的预测卷积核大小设置第二网络模型的卷积核大小；
第二网络模型训练模块，用于通过所述流量日志预测集合对所述第二网络模型进行训练；
异常预测模块，用于通过训练完成的第二网络模型对所述移动网络中的流量日志进行处理，以便对所述移动网络中的流量是否异常进行预测。
9.一种电子设备，其特征在于，包括：
存储器和处理器；
所述存储器用于存储计算机程序指令；所述处理器调用所述存储器存储的所述计算机程序指令，用于实现如权利要求1-7任一项所述的流量异常检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现如权利要求1-7任一项所述的流量异常检测方法。
CN202310943280.9A 2023-07-28 2023-07-28 流量异常检测方法、装置、电子设备和可读存储介质 Active CN116708023B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310943280.9A CN116708023B (zh) 2023-07-28 2023-07-28 流量异常检测方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310943280.9A CN116708023B (zh) 2023-07-28 2023-07-28 流量异常检测方法、装置、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN116708023A CN116708023A (zh) 2023-09-05
CN116708023B true CN116708023B (zh) 2023-10-27

Family

ID=87837723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310943280.9A Active CN116708023B (zh) 2023-07-28 2023-07-28 流量异常检测方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN116708023B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106779064A (zh) * 2016-11-25 2017-05-31 电子科技大学 基于数据特征的深度神经网络自训练方法
CN110351291A (zh) * 2019-07-17 2019-10-18 海南大学 基于多尺度卷积神经网络的DDoS攻击检测方法及装置
WO2022041394A1 (zh) * 2020-08-28 2022-03-03 南京邮电大学 一种网络加密流量识别方法及装置
CN114330634A (zh) * 2020-09-30 2022-04-12 华为云计算技术有限公司 一种神经网络的处理方法及相关设备
CN116340777A (zh) * 2023-04-12 2023-06-27 京东科技信息技术有限公司 一种日志分类模型的训练方法、日志分类方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106779064A (zh) * 2016-11-25 2017-05-31 电子科技大学 基于数据特征的深度神经网络自训练方法
CN110351291A (zh) * 2019-07-17 2019-10-18 海南大学 基于多尺度卷积神经网络的DDoS攻击检测方法及装置
WO2022041394A1 (zh) * 2020-08-28 2022-03-03 南京邮电大学 一种网络加密流量识别方法及装置
CN114330634A (zh) * 2020-09-30 2022-04-12 华为云计算技术有限公司 一种神经网络的处理方法及相关设备
CN116340777A (zh) * 2023-04-12 2023-06-27 京东科技信息技术有限公司 一种日志分类模型的训练方法、日志分类方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于日志信息和CNN-text的软件系统异常检测方法;梅御东等;计算机学报;第43卷(第02期);第366-380页 *

Also Published As

Publication number Publication date
CN116708023A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
US10547618B2 (en) Method and apparatus for setting access privilege, server and storage medium
CN112351031B (zh) 攻击行为画像的生成方法、装置、电子设备和存储介质
US10725751B2 (en) Generating a predictive data structure
CN111435393A (zh) 对象漏洞的检测方法、装置、介质及电子设备
CN113656391A (zh) 数据检测方法及装置、存储介质及电子设备
CN116708023B (zh) 流量异常检测方法、装置、电子设备和可读存储介质
CN117176417A (zh) 网络流量异常确定方法、装置、电子设备和可读存储介质
CN110704614B (zh) 对应用中的用户群类型进行预测的信息处理方法及装置
CN117201310A (zh) 网元扩容方法、装置、电子设备及存储介质
Noskov Smart City Webgis Applications: Proof of Work Concept For High-Level Quality-Of-Service Assurance
JP6199844B2 (ja) 被疑箇所推定装置及び被疑箇所推定方法
CN109960905B (zh) 信息处理方法、系统、介质和电子设备
CN114237962B (zh) 告警根因判断方法、模型训练方法、装置、设备和介质
GB2522433A (en) Efficient decision making
CN113486749A (zh) 图像数据收集方法、装置、电子设备和计算机可读介质
CN116028317A (zh) 训练故障分析模型的方法、电子设备和计算机程序产品
CN111338318B (zh) 用于检测异常的方法和装置
CN115801447B (zh) 基于工业安全的流量解析方法、装置与电子设备
US20230179606A1 (en) Tracking a potential attacker on an external computer system
CN114237856A (zh) 运算类型识别方法、装置、电子设备及存储介质
CN117675404A (zh) 访问行为的异常检测方法、装置、电子设备及存储介质
CN117746120A (zh) 一种目标检测的方法和装置
CN116614431A (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN118861094A (zh) 一种数据处理的方法和装置
CN115600216A (zh) 检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20230905

Assignee: Tianyiyun Technology Co.,Ltd.

Assignor: CHINA TELECOM Corp.,Ltd.

Contract record no.: X2024110000020

Denomination of invention: Flow anomaly detection methods, devices, electronic devices, and readable storage media

Granted publication date: 20231027

License type: Common License

Record date: 20240315