CN117278332B - 基于网络架构搜索的网络流入侵检测方法和系统 - Google Patents

基于网络架构搜索的网络流入侵检测方法和系统 Download PDF

Info

Publication number
CN117278332B
CN117278332B CN202311555622.6A CN202311555622A CN117278332B CN 117278332 B CN117278332 B CN 117278332B CN 202311555622 A CN202311555622 A CN 202311555622A CN 117278332 B CN117278332 B CN 117278332B
Authority
CN
China
Prior art keywords
intrusion detection
network
network flow
detection model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311555622.6A
Other languages
English (en)
Other versions
CN117278332A (zh
Inventor
何明枢
王欣蕾
王小娟
李昕航
俞赛赛
路子逵
阳柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202311555622.6A priority Critical patent/CN117278332B/zh
Publication of CN117278332A publication Critical patent/CN117278332A/zh
Application granted granted Critical
Publication of CN117278332B publication Critical patent/CN117278332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0263—Rule management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0281—Proxies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于网络架构搜索的网络流入侵检测方法和系统，所述方法包括：在边缘物联网设备上预先部署有网络流入侵检测模型，基于所述网络流入侵检测模型对经过边缘物联网设备的流量进行分类以实现网络流入侵检测；其中，所述网络流入侵检测模型利用网络架构搜索模型构造得到，网络架构搜索模型中输入的训练数据为带标签的网络流数据集，在预先定义的搜索空间中进行搜索，并对搜索到的网络流入侵检测模型架构进行评估，所述搜索空间中包含全部可选的网络流入侵检测模型架构。本发明能够基于网络架构搜索技术在搜索空间查找轻量级的网络流入侵检测模型架构，从而部署模型在边缘物联网设备上，进行网络流入侵检测。

Description

基于网络架构搜索的网络流入侵检测方法和系统
技术领域
本发明涉及边缘网络流量入侵检测技术领域，尤其涉及一种基于网络架构搜索的网络流入侵检测方法和系统。
背景技术
随着每天越来越多的物联网设备连接到互联网，物联网(IoT)的广泛采用和智能设备的可访问性使得创造性智能服务得以发展。物联网设备能够实时感知动态环境并通过互联网交换信息。传统上，来自物联网设备的数据被传输到云端进行分析和管理，然后处理后的数据被发送回设备。但是，这个过程会增加延迟并消耗网络带宽。一个潜在的解决方案是边缘计算，它涉及在边缘处理轻量级物联网设备上的数据。但是，物联网设备的激增为住宅和工业网络带来了许多安全挑战。根据物联网线程报告, 98％的物联网设备流量是未加密的，这可能会直接将个人隐私暴露给互联网。该报告还强调，篡改漏洞，例如在网络层进行DDoS攻击，仍然是最普遍的物联网威胁，而恶意软件和不良用户行为紧随其后，成为主要的安全问题。因此，如何对边缘处理轻量级物联网设备上的网络流进行入侵检测，是一个亟待解决的技术问题。
在网络流入侵检测技术领域，采用卷积神经网络(Convolutional NeuralNetworks,CNN)以应对网络威胁是一个有效的手段，由于其有效进行异常检测的可行性而得到研究人员的广泛认可。但是，由于边缘物联网设备的计算能力、内存和闪存的限制，直接在物联网设备上部署卷积神经网络是不可行的。
因此，如何得到一种适用于边缘计算的边缘物联网设备的，既能够保障精度的同时，又能够保障轻量级的网络流入侵检测方法，是一个亟待解决的技术问题。
发明内容
鉴于此，本发明实施例提供了一种基于网络架构搜索的网络流入侵检测方法和系统，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种基于网络架构搜索的网络流入侵检测方法，该方法包括：在边缘物联网设备上预先部署网络流入侵检测模型，基于所述网络流入侵检测模型对经过边缘物联网设备的流量进行分类以实现网络流入侵检测；其中，所述网络流入侵检测模型利用网络架构搜索模型构造得到，网络架构搜索模型中输入的训练数据为带标签的网络流数据集，在预先定义的搜索空间中进行搜索，并对搜索到的网络流入侵检测模型架构进行评估，所述搜索空间中包含全部可选的网络流入侵检测模型架构。
在本发明的一些实施例中，所述网络架构搜索模型的搜索空间的结构为单元结构，所述单元结构的单元格类型包含正常单元和约简单元。
在本发明的一些实施例中，所述搜索空间的约简单元的结构通过由预设数量个汇聚节点和对流节点组成的内部有向无环图提供，以所述约简单元作为降采样，所述有向无环图中包含多个通道，所述汇聚节点通过连接过程得到输出通道，保持所述汇聚节点和输入通道数产生的通道数量一致。
在本发明的一些实施例中，所述内部有向无环图的网络结构通过体系结构编码进行编码，所述体系结构编码包含输入通道数、节点的操作类型和可操作节点的个数在内的三个超参数，所述节点包含汇聚节点和对流节点。
在本发明的一些实施例中，所述网络架构搜索模型基于预训练的预测器进行网络流入侵检测模型的架构评估；其中，从预先定义的搜索空间中随机选择预设数量的网络流入侵检测模型架构作为样本集，使用端对端的随机梯度下降技术训练得到带标签的样本集，使用所述带标签的样本集预训练所述预测器；其中，所述标签包含针对每个网络流入侵检测模型架构的分类错误率、每秒浮点运算次数和内存占用量中的一个或多个参数。
在本发明的一些实施例中，所述网络架构搜索模型通过预设迭代次数得到预设数量的帕累托前沿，每个帕累托前沿包含预设数量的经过非支配排序的网络流入侵检测模型架构，在迭代结束后将所有的帕累托前沿包含的网络流入侵检测模型架构集合起来，对集合起来的所有的网络流入侵检测模型架构进行非支配排序并选择靠前的预设数量个作为基于网络架构搜索技术得到的候选的网络流入侵检测模型。
在本发明的一些实施例中，该方法还包括利用网络架构搜索模型构造网络流入侵检测模型的步骤，包括：从预先定义的搜索空间中随机选择预设数量的网络流入侵检测模型架构作为训练样本集，使用端对端的随机梯度下降技术训练得到带标签的训练样本集，使用所述带标签的训练样本集对预测器进行训练；在基于网络架构搜索模型进行搜索的过程中，包含预设轮数的迭代步骤，在每一轮迭代步骤中包含预设次数的优化步骤，每一轮迭代步骤得到一个包含预设数量的网络流入侵检测模型架构的帕累托前沿，在迭代结束后将所有的帕累托前沿包含的网络流入侵检测模型架构集合起来，对集合起来的所有的网络流入侵检测模型架构进行非支配排序并选择靠前的预设数量个作为基于网络架构搜索技术得到的候选的网络流入侵检测模型架构。
在本发明的一些实施例中，在每一轮迭代步骤中，从预先定义的搜索空间中随机选择预设数量的网络流入侵检测模型架构并使用端对端的随机梯度下降技术训练得到带标签的样本集，将所述带标签的样本集作为初始化种群；其中，在每一轮迭代步骤包含的第一次优化过程中，使用预训练完成的预测器对带标签的样本集中包含的预设数量的网络流入侵检测模型架构进行运算，得到包含预测处理后的预设数量的网络流入侵检测模型架构的带标签的被预测样本集，将初始化种群与所述带标签的被预测样本集混合后的结果进行非支配排序，对非支配排序的结果选择靠前的预设数量个作为当前代种群；在每一轮迭代步骤包含的非第一次优化过程中，当前代种群经过交叉变异得到当前代种群的子代，将当前代种群的子代作为带标签的样本集输入到预训练完成的预测器得到带标签的被预测样本集，将当前代种群与所述带标签的被预测样本集混合后的结果进行非支配排序，对非支配排序的结果选择靠前的预设数量个作为当前代种群；当优化次数达到预设次数，本轮迭代结束，以结束时的当前代种群作为本轮迭代的帕累托前沿。
本发明的另一方面提供了一种基于网络架构搜索的网络流入侵检测系统，包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如上实施例中任一项所述方法的步骤。
本发明的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上实施例中任一项所述方法的步骤。
本发明的基于网络架构搜索的网络流入侵检测方法和系统，能够基于网络架构搜索技术在搜索空间查找轻量级的网络流入侵检测模型架构，从而部署模型在边缘物联网设备上，进行网络流入侵检测。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本发明一实施例中包含网络流入侵检测模型的物联网情境的示意图。
图2为本发明一实施例中网络架构搜索方法流程图。
图3为本发明一实施例中利用网络架构搜索模型构造网络流入侵检测模型的流程图。
图4为本发明一实施例中搜索空间所基于的内部有向无环图的节点结构示意。
图5为本发明一实施例中内部有向无环图的体系结构编码示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
为了解决现有技术中存在的缺乏适用于边缘物联网设备的轻量级网络流入侵检测模型的方法，本发明从计算机视觉(Computer Vision，CV)分类模型中获得灵感，可以引入新的操作来提高物联网设备的异常流量入侵检测的精度，网络流入侵检测也可以理解为异常流量分类，通过网络架构搜索技术搜索适合网络流入侵检测的网络架构，使用搜索到的网络架构建立的网络流入侵检测模型进行异常流量检测。
其中，深度学习网络类型的模型可分离卷积结合深度和点卷积（PointwiseConvolution）来提取特征图，减少计算，同时保持准确性。然而，将有效的操作块组合到边缘物联网的网络流入侵检测体系结构中会产生严重的副作用。手工制作卷积神经网络变得非常复杂，因为在无限的搜索空间中找到由适当的操作组成的最优网络拓扑是一项挑战。手工设计需要精通特定领域的资深专家和CNN网络设计专家。这是一个耗时的过程，因为每个模型性能的评估都是通过随机梯度下降技术（Stage Gradient Descent，SGD）获得的，需要很长时间才能运行。为此，本方案选择使用网络架构搜索技术在搜索空间搜索适用于网络流入侵检测的轻量级分类模型。
值得注意的是，网络架构搜索(NAS)已经成为自动搜索最优卷积神经网络的一个有前途的研究领域。该领域通常使用两种不同的优化算法:强化学习(RL)和进化算法(EA)。先前的研究表明，由基于强化学习的优化器自动设计的卷积神经网络可以在图像分类和检测等任务中超越最先进的模型。同样，使用进化算法在实现自动模型搜索方面也取得了重大进展。评估大量卷积神经网络以选择最佳架构是可行的，但上述两种优化算法在训练期间都存在计算成本很高的问题。为此，本发明在利用网络架构搜索模型构造网络流入侵检测模型的步骤中，调整了训练步骤，以降低训练成本和复杂度。
本发明一方面提供了一种基于网络架构搜索的网络流入侵检测方法，该方法包括：在边缘物联网设备上预先部署网络流入侵检测模型，基于所述网络流入侵检测模型对经过边缘物联网设备的流量进行分类以实现网络流入侵检测。其中，所述网络流入侵检测模型利用网络架构搜索模型构造得到，网络架构搜索模型中输入的训练数据为带标签的网络流数据集，在预先定义的搜索空间中进行搜索，并对搜索到的网络流入侵检测模型架构进行评估，所述搜索空间中包含全部可选的网络流入侵检测模型架构。
图1为本发明一实施例中包含网络流入侵检测模型的物联网情境的示意图，物联网包含云端、边缘和设备等多层，边缘网络是一种将计算和存储能力从云端推到网络边缘的计算架构，边缘物联网设备是位于网络边缘的物联网设备，包含传感器、执行器、智能家具和智能手机等设备中的多种，通过在边缘物联网设备上预先部署利用网络架构搜索模型构造得到的网络流入侵检测模型，可以对经过边缘物联网设备的流量进行网络流入侵检测，即将经过边缘物联网设备的流量输入到网络流入侵检测模型中，网络流入侵检测模型对流量进行分类并反馈一个网络流量分类识别结果，所述网络流量分类识别结果异常，则说明所检测的这一段网络流量存在包含入侵情况的可能。
在具体实施过程中，所述网络流数据集的标签包含对于流量的情况描述，例如，流量是正常情况还是异常，更为具体地，在网络流数据集的标签中可以包含对流量不同异常分类情况的描述，例如，流量包含分布式拒绝服务攻击（DDoS）攻击或者拒绝服务式攻击（DoS）等。
采用该基于网络架构搜索的网络流入侵检测方法，能够基于网络架构搜索技术在搜索空间查找轻量级的网络流入侵检测模型架构，从而部署模型在边缘物联网设备上，进行网络流入侵检测。
图2为本发明一实施例中网络架构搜索方法流程图。实现网络架构搜索技术主要包括定义搜索空间、确定搜索策略和候选架构评估策略在内的三个流程，按照搜索策略在搜索空间中搜索模型架构，对于搜索出的架构使用预先选定的候选架构评估策略评估所选择的架构的性能，基于评估结果继续搜索架构，可以使用排序算法始终选择靠前的预设数量个以保障所最终选择的候选架构的性能。需要说明的是，在实际操作过程中，网络架构搜索技术所搜索的是不同架构的卷积神经网络模型，网络搜索模型可以定义搜索空间、搜索策略和候选架构评估策略，以携带标签的网络流数据集作为训练数据，输入到网络搜索模型中进行迭代和优化，每轮迭代包含多次优化，最终得到性能排序靠前的预设数量个卷积神经网络类型的不同架构的网络流入侵检测模型。并且，由于本发明在搜索空间上的设计，可以保障网络流入侵检测模型的轻量化的同时，尽量少损失性能。
需要说明的是，对于网络架构搜索（Neural Architecture Search，NAS）技术属于自动化的机器学习（AutoML）中的一个分支，AutoML为构建深度学习模型中大部分的步骤提供了自动化的方法，除了网络架构搜索还包括自动化的数据清洗、自动化的特征工程。基于网络架构搜索技术可以自动构建神经网络结构模型，实现网络架构搜索技术主要包括定义搜索空间、确定搜索策略和评估候选模型在内的三个流程。其中，搜索空间为搜索的网络架构的所有可能取值的集合。搜索空间的大小和复杂度会影响网络架构搜索的难度。搜索策略指的是在搜索空间中搜索网络架构的方法，搜索策略的选择会影响网络架构搜索的效率和性能，最后，需要将搜索到的网络架构在特顶的任务上进行评估，以确定其性能。
为了降低网络流入侵检测模型的复杂性，保证其足够轻量级可以部署到边缘物联网设备上，在选定搜索空间的步骤中，本发明从两个角度进行了设计：（1）首先，可以为整个网络架构搜索模型设计一个单元结构，允许灵活控制堆叠层的数量并避免无谓的开销。（2）其次，使用几乎无损的通道修剪技术来减少卷积层的宽度或输出通道的数量，同时保持性能，从而降低卷积神经网络类型的网络流入侵检测模型的复杂性。
对于搜索空间，在本发明一些实施例中，网络架构搜索模型的搜索空间的结构为单元（cell）结构，所述单元结构的单元格类型可以选择的包含正常单元和约简单元，而不是使用堆叠的单元，最终选择约简单元。基于单元结构能够压缩搜索空间的大小，网络流入侵检测只需要一个单元，因此必须从两种单元格类型中选择模型的主要组件结构。与普通单元相比，步幅参数（Stride）通过压缩约简单元卷积操作部分的部分信息来降低模型的复杂性，步幅值越高(步幅=2)的下采样促进了特征间的相互依赖，提高了网络的学习潜力。其中，步幅参数是卷积神经网络类型的网络流入侵检测模型中的一类参数。在某些情况下，正常单元和约简单元又被称为正常细胞（cell）和约简细胞。
搜索空间定义了网络架构搜索技术可以搜索的神经网络的类型，同时也定义了如何描述神经网络结构。神经网络所实现的计算可以抽象成一个无孤立节点的有向无环图（DAG），图的节点代表神经网络的层，边代表数据的流动。理论上说，只要是无孤立节点的有向无环图，都是合法的神经网络结构。为了提高搜索效率，有时候会对搜索空间进行限定或简化。例如，可以把网络切分成基本单元（cell，或block），通过这些单元的堆叠形成更复杂的网络。基本单元由多个节点（神经网络的层）组成，它们在整个网络中重复出现多次，但具有不同的权重参数。
对于搜索空间，在本发明的又一些实施例中，所述搜索空间的约简单元的结构通过由预设数量个汇聚节点和对流节点组成的内部有向无环图（DAG）提供，约简单元指的是如图4所示的整个有向无环图结构。该方法还提供了一种减少约简单元中通道数量的步骤，以所述约简单元作为降采样，所述有向无环图中包含多个通道，所述汇聚节点通过连接过程得到输出通道，保持所述汇聚节点产生的通道数量和输入通道数（也就是前序固定节点接收到的通道数量）一致。在具体实施过程中，一方面保持汇聚节点产生的通道数量不变，因为两个对流节点中的每一个的数据流输出通过叠加操作（add操作）传输到下一个节点为了将最终输出通道号返回到其原始值，汇聚节点通过连接过程得到输出通道，从汇聚节点出来的通道数是2,2,2，那么经过连接操作（Concat）后，就得到了整体网络的输出通道数为2+2+2=6。由于汇聚节点的数量不是固定的，而是由搜索过程决定的，因此会存在信道修剪的自动速率。
图4为本发明一实施例中搜索空间所基于的内部有向无环图的节点结构示意，图4所示的内部有向无环图由预设数量个汇聚节点0-2和对流节点3-6组成，内部有向无环图提供了约简单元的结构。节点又可以被划分为前序固定节点和可调节的节点，图4中的节点0和1为前序固定节点，节点2-6为可调节的节点。通过使用连接到前面两个前序固定节点的步进操作，约简单元作为降采样可以降低特征映射的大小。图4中的节点0和1又被称为前序对流节点，候选集中在节点之间移动数据的操作由图的边表示。先前的工作已经证明，与使用相同大小的过滤器相比，多尺度特征可以提高网络性能。这是在普通操作之外的。因此，可以使用了表1中所列出的候选过程操作。在本例中，节点4、5和6是三个汇聚节点，它们的输出通道是原始输入通道的三分之一。但是，将最后一个汇聚节点（或称收敛节点）连接到输出节点后，/>将恢复到与/>一致。该方法利用较少的深通道和低维特征，减少了计算量，提高了分类效率。此外，图4中的Op指的是操作类型，/>表示输入，/>表示输出，/>表示通道数量，符号例如/>表示原始的通道数为2，通道数较少后变成了/>个，/>就是减少到了原来的1/3的数量。
图4中的结构是一个约简单元，堆叠了到7个这样的单元后，得到的模型Flops为186.9，分类错误率为4.36%；如果不用我们设计的搜索空间，即图4中的减少通道数的策略，但操作是一样的，单元个数也是一样的话，那么Flops为271.13，分类错误率为4.31%。
表1 列出的候选过程操作
其中，表1中的AvgPool表示平均池化操作，MaxPool表示最大池化操作，SkipConv表示包含跳跃连接的卷积操作，SepConv表示分离卷积操作，DilConv表示扩张卷积操作，RegConv表示可变形卷积操作。
图5为本发明一实施例中内部有向无环图的体系结构编码示意图，内部有向无环图的网络结构通过体系结构编码进行编码，所述体系结构编码包含输入通道数、节点的操作类型Op和可操作节点的个数/>在内的三个超参数，所述节点包含汇聚节点和对流节点。为了对有向无环图进行编码，必须指定两个可操作节点的选择和作用于它们的操作类型。因此，模型编码的长度为/>，其中/>作为超参数采用一位数字。在先前的工作中，描述了二进制编码架构;但是，我们采用十进制编码表示进行顺序编码。一般建议采用定长向量。图5中的/>对应于图4中的对流节点和汇聚节点，下标表示编号。
在前面的分析中，发现了和汇聚节点数/>之间的乘法相关性。虽然每个架构生成的/>在搜索过程中是随机的，但/>的最大值不会超过/>。因此，我们只需要确保的个数，其中/>表示最小公倍数。/>计算提出两种处理方法:（1）当，将/>编码为/>，网络中真实的/>为。（2）当$/>时，(1)中的方法会导致较高的计算复杂度。在本例中，需要知道/>，因此添加了获取/>的中间步骤。/>可以搜索在中但不在/>中的数值得到。/>根据具体架构的/>计算。
在本发明一些实施例中，所述网络架构搜索模型基于预训练的预测器进行网络流入侵检测模型的架构评估；其中，从预先定义的搜索空间中随机选择预设数量的网络流入侵检测模型架构作为样本集，使用端对端的随机梯度下降技术训练得到带标签的样本集，使用所述带标签的样本集预训练所述预测器；其中，所述标签包含针对每个网络流入侵检测模型架构的分类错误率、每秒浮点运算次数和内存占用量中的一个或多个参数。
进一步地，该方法还包括：所述网络架构搜索模型通过预设迭代次数得到预设数量的帕累托前沿，每个帕累托前沿包含预设数量的经过非支配排序的网络流入侵检测模型架构，在迭代结束后将所有的帕累托前沿包含的网络流入侵检测模型架构集合起来，对集合起来的所有的网络流入侵检测模型架构进行非支配排序并选择靠前的预设数量个作为基于网络架构搜索技术得到的候选的网络流入侵检测模型。
在得到候选的网络流入侵检测模型后，可以通过具体的测试来进行筛选和选择，例如，可以基于网络架构搜索选出来50个，然后对这50个网络流入侵检测模型分别进行各方面的测试，从而筛选出最适合应用场景需求的网络流入侵检测模型。使用帕累托最优来寻找最优的网络架构，能够保证网络架构搜索得到的网络流入侵检测模型的轻量化，并节省入侵检测的时间。
需要说明的是，对于普通的卷积，卷积核的采样点的排列是规则的，是一个正方形。可变形卷积会在每个规则的采样点上加一个偏移量，该偏移量通过额外的普通卷积层训练得到。可变形卷积核的大小和位置可以根据当前需要识别的图像内容进行动态调整，其直观效果就是不同位置的卷积核采样点位置会根据图像内容发生自适应的变化，从而适应不同物体的形状、大小等几何形变，采样到更多我们感兴趣的信息。在多目标优化问题上，帕累托最优集是所有非支配解的集合。其中，支配的概念是：如果一个解的值在某个目标函数上优于另一个解，但在其他目标函数上不劣于另一个解，那么第一个解就被成为第二个解的支配解。
在本发明一些实施例中，该方法还包括利用网络架构搜索模型构造网络流入侵检测模型的步骤，包括：从预先定义的搜索空间中随机选择预设数量的网络流入侵检测模型架构作为训练样本集，使用端对端的随机梯度下降技术训练得到带标签的训练样本集，使用所述带标签的训练样本集对预测器进行训练。其中，所述训练样本集使用编码向量来表示。在基于网络架构搜索模型进行搜索的过程中，包含预设轮数的迭代步骤，在每一轮迭代步骤中包含预设次数的优化步骤，每一轮迭代步骤得到一个包含预设数量的网络流入侵检测模型架构的帕累托前沿，在迭代结束后将所有的帕累托前沿包含的网络流入侵检测模型架构集合起来，对集合起来的所有的网络流入侵检测模型架构进行非支配排序并选择靠前的预设数量个作为基于网络架构搜索技术得到的候选的网络流入侵检测模型架构。
进一步地，在每一轮迭代步骤中，从预先定义的搜索空间中随机选择预设数量的网络流入侵检测模型架构并使用端对端的随机梯度下降技术训练得到带标签的样本集，将所述带标签的样本集作为初始化种群。其中，在每一轮迭代步骤包含的第一次优化过程中，使用预训练完成的预测器对带标签的样本集中包含的预设数量的网络流入侵检测模型架构进行运算，得到包含预测处理后的预设数量的网络流入侵检测模型架构的带标签的被预测样本集，将初始化种群与所述带标签的被预测样本集混合后的结果进行非支配排序，对非支配排序的结果选择靠前的预设数量个作为当前代种群；在每一轮迭代步骤包含的非第一次优化过程中，当前代种群经过交叉变异得到当前代种群的子代，将当前代种群的子代作为带标签的样本集输入到预训练完成的预测器得到带标签的被预测样本集，将当前代种群与所述带标签的被预测样本集混合后的结果进行非支配排序，对非支配排序的结果选择靠前的预设数量个作为当前代种群；当优化次数达到预设次数，本轮迭代结束，以结束时的当前代种群作为本轮迭代的帕累托前沿。
需要说明的是，本发明所使用的网络架构搜索模型仅为示例，还可以使用不同的网络架构算法，如强化学习、基于梯度下降、基于贝叶斯优化的算法来优化搜索空间。因为使用不同的搜索算法会导致算法的复杂度不同，还需要考虑搜索空间是否连续、目标函数是否可微等问题。不同的搜索算法对本发明在搜索效率上的影响存在较大的影响，但对搜索到的最优模型影响不大。
图3为本发明一实施例中利用网络架构搜索模型构造网络流入侵检测模型的流程图。本发明所提出的基于预测器的进化算法方法，旨在通过有效地降低原本的高计算成本来缩小学术模型与工业部署之间的差距。在初始阶段，该具体实施例从指定的搜索空间中随机选择100个结构，用编码向量表示，来训练预测器。所有的目标都是为了降低所述标签的值，标签包含分类错误率error、每秒浮点运算次数Flops和内存占用量MAC，特别地，本发明使用分类错误率而不是F1分数。一旦模型在训练数据集上从零开始训练并且确定了相应的适应度值，则使用分类错误率error、每秒浮点运算次数Flops和内存占用量MAC创建标签，获得带标签的样本集，带标签的样本集有两个用途：用于训练预测器和作为迭代优化的初始化种群。本发明中所选择的用于迭代优化的算法为NSGA-III算法。
在图3的具体实施例中，先前评估的网络流入侵检测模型的存档的组合决定了每次迭代的准确性预测器的训练数据集。在预设次数的进化轮之后，候选成员被选为当前代的最佳帕累托前沿。我们将使用预测器来估计候选成员的性能，而不是使用随机梯度下降技术(SGD)从头开始训练候选样本集，以节省大量的时间。当搜索完成时，本发明给出了包含最优的多个网络流入侵检测模型的帕累托最优架构集，但不一定包括最初选择的前100个模型，原因是这些结构之间可以组合，遗传之后不一定还是原来的那100之中的一个，可能出现的是上面100个结构之外的结构。
在图3中，迭代优化的步骤包括：随机生成模型后，经过端到端的SGD训练后，得到新的带标签的样本集为，/>为一个矩阵，/>表示通道数量，下标0-n表示那100个架构编号。该样本集分别用于训练预测器和种群的初始化。首先进入优化过程，/>中的样本部分（即序列化的模型）作为当前代种群，这些种群经过交叉和变异后生成新的子代。子代经过训练后的预测器进行预测，得到了当前子代的被预测后的带标签的样本集/>。这些样本集和初始化种群进行混合U（即混合取并集或拼接操作），经过非支配排序后得到固定数量的种群，被称为当前代种群，当前代种群再经过交叉变异后，得到当前代种群的子代，循环往复这个过程，经过一次这个过程被称为优化。
经过若干次优化后，经过最后一次优化后的种群被称为当前代种群，这些种群经过非支配排序，得到帕累托前沿，这些前沿模型经过SGD的端到端训练后得到了真实的分类错误率，这些前沿模型的序列作为样本，分类错误率、每秒浮点运算次数和内存占用量同时作为该序列的标签合成新的带标签的样本集，并合并到最初的/>中，作为下一次优化时训练预测器的样本。一次迭代包含了若干次优化，每次迭代后都会输出一个帕累托前沿，所有的帕累托前沿集合起来，用非支配性排序再得到一个新的帕累托前沿，我们从这个最终的帕累托前沿中挑选模型，应用到检测中。
其中，训练数据是一个网络流数据集，搜索模型是一个完整的模型架构 该架构有输入接口，将训练数据打包后由模型接口接收每个包的训练数据。
在本发明一些实施例中，选择使用预测器进行模型架构性能评估。基于遗传算法优化的NAS通过搜索所预定的搜索空间和包含标签的样本集/>之间的离散映射来搜索帕累托最优/>。搜索/>的问题一般可以表示为以下优化问题：
；（1）
其中定义了一个候选体系结构。包含标签的样本集/>包含两组期望的目标。选择这些目标的过程是从体系结构本身/>(例如MAC, FLOPs)和与体系结构相关的权重(例如分类错误率)考虑的。
一种暴力的解决方案是从搜索空间中估计所有的架构。计算并不复杂，但是求解/>需要耗费昂贵的资源，因为每个架构都需要基于完整的数据集从头开始训练。为了避免这个问题，一个简单的模型作为预测器/>代替/>，用来加速训练过程。
；（2）
；（3）
；（4）
其中是一个函数，用于评估预测器/>和/>输出分布的相似性。X是从/>中提取的样本数据，X的大小直接决定了训练过程的时间复杂度。我们的目标是最大化基于X的/>的在测试数据集/>上的结果，公式表示如上。其中，公式（3）表示通过预测器/>预测模型的分类错误率，当分类错误率达到最小后的模型，被选为最优模型。同时要满足当预测器预测分类错误率的值/>和实际的分类错误率之间的分布相似性尽可能的大，这样能够保证预测器的预测结果与真实值相近。
与上述方法相应地，本发明还提供了一种基于网络架构搜索的网络流入侵检测系统，该系统包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如前所述方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现如前所述方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本发明所提出的基于网络架构搜索的网络流入侵检测方法和系统，能够基于网络架构搜索技术在搜索空间查找轻量级的网络流入侵检测模型架构，从而部署模型在边缘物联网设备上，进行网络流入侵检测。
具体地，该方法具备如下优点：
（1）由于在计算能力、内存和闪存等方面的限制，直接在物联网设备上部署卷积神经网络的方法是不可行的。本发明基于网络架构搜索技术自动构造分类模型，以FLOPs表示模型复杂度，本发明所采用的分类模型的FLOPs为186.9MB，模型的分类错误率为4.36%，相比于FLOPs的降低，分类错误率的些许提升是可以接受的。
（2）本发明采用基于遗传算法优化的网络架构搜索技术，使用基于网络架构搜索的方式自动构造分类模型，从而避免了人工设计模型的过程，更高效的搜索精度高和复杂度低的模型。
（3）以往的基于多目标遗传算法的网络架构搜索(NAS)技术虽然可以同时平衡模型的复杂度和性能，从而自动设计出快速准确的检测模型。然而，NAS在优化过程中需要从头开始训练每个模型，以获得其检测精度作为适应度评价标准之一，因此模型的训练需要较长的时间。为了解决这一限制，本发明所提出的网络架构搜索技术，基于有效的预测辅助NSGA-III算法，使用代理模型来快速预测体系结构的准确性，消除了对完整训练的需要，从而大大缩短了进化时间，提高网络架构搜索效率。代理模型（Surrogate Model）是指通过数学手段构造的计算量小、但计算结果与数值分析或物理试验结果相近的近似数学模型，以替代原分析模型或物理试验用于优化设计。
（4）此外，本发明还设计了一个创新的搜索空间，该搜索空间可以减少模型内的内部通道和输出特征映射维度，从而创建对分类性能影响最小的轻量级模型。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于网络架构搜索的网络流入侵检测方法，其特征在于，该方法包括：在边缘物联网设备上预先部署网络流入侵检测模型，基于所述网络流入侵检测模型对经过边缘物联网设备的流量进行分类以实现网络流入侵检测；
其中，所述网络流入侵检测模型利用网络架构搜索模型构造得到，网络架构搜索模型中输入的训练数据为带标签的网络流数据集，在预先定义的搜索空间中进行搜索，并对搜索到的网络流入侵检测模型架构进行评估，所述搜索空间中包含全部可选的网络流入侵检测模型架构；所述网络架构搜索模型的搜索空间的结构为单元结构，所述单元结构的单元格类型包含正常单元和约简单元，所述搜索空间的约简单元的结构通过由预设数量个汇聚节点和对流节点组成的内部有向无环图提供，以所述约简单元作为降采样，所述有向无环图中包含多个通道，所述汇聚节点通过连接过程得到输出通道，保持所述汇聚节点和输入通道数产生的通道数量一致，所述内部有向无环图的网络结构通过体系结构编码进行编码，所述体系结构编码包含输入通道数、节点的操作类型和可操作节点的个数在内的三个超参数，所述节点包含汇聚节点和对流节点；所述网络架构搜索模型基于预训练的预测器进行网络流入侵检测模型的架构评估；所述标签包含针对每个网络流入侵检测模型架构的分类错误率、每秒浮点运算次数和内存占用量中的一个或多个参数；
所述网络流入侵检测模型利用网络架构搜索模型构造得到的步骤，包括：从预先定义的搜索空间中随机选择预设数量的网络流入侵检测模型架构作为训练样本集，使用端对端的随机梯度下降技术训练得到带标签的训练样本集，使用所述带标签的训练样本集对预测器进行训练；在基于网络架构搜索模型进行搜索的过程中，包含预设轮数的迭代步骤，在每一轮迭代步骤中包含预设次数的优化步骤，每一轮迭代步骤得到一个包含预设数量的网络流入侵检测模型架构的帕累托前沿，在迭代结束后将所有的帕累托前沿包含的网络流入侵检测模型架构集合起来，对集合起来的所有的网络流入侵检测模型架构进行非支配排序并选择靠前的预设数量个作为基于网络架构搜索技术得到的候选的网络流入侵检测模型架构；
在每一轮迭代步骤中，从预先定义的搜索空间中随机选择预设数量的网络流入侵检测模型架构并使用端对端的随机梯度下降技术训练得到带标签的样本集，将所述带标签的样本集作为初始化种群；其中，在每一轮迭代步骤包含的第一次优化过程中，使用预训练完成的预测器对带标签的样本集中包含的预设数量的网络流入侵检测模型架构进行运算，得到包含预测处理后的预设数量的网络流入侵检测模型架构的带标签的被预测样本集，将初始化种群与所述带标签的被预测样本集混合后的结果进行非支配排序，对非支配排序的结果选择靠前的预设数量个作为当前代种群；在每一轮迭代步骤包含的非第一次优化过程中，当前代种群经过交叉变异得到当前代种群的子代，将当前代种群的子代作为带标签的样本集输入到预训练完成的预测器得到带标签的被预测样本集，将当前代种群与所述带标签的被预测样本集混合后的结果进行非支配排序，对非支配排序的结果选择靠前的预设数量个作为当前代种群；当优化次数达到预设次数，本轮迭代结束，以结束时的当前代种群作为本轮迭代的帕累托前沿。
2.一种基于网络架构搜索的网络流入侵检测系统，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如权利要求1所述方法的步骤。
3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1所述方法的步骤。
CN202311555622.6A 2023-11-21 2023-11-21 基于网络架构搜索的网络流入侵检测方法和系统 Active CN117278332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311555622.6A CN117278332B (zh) 2023-11-21 2023-11-21 基于网络架构搜索的网络流入侵检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311555622.6A CN117278332B (zh) 2023-11-21 2023-11-21 基于网络架构搜索的网络流入侵检测方法和系统

Publications (2)

Publication Number Publication Date
CN117278332A CN117278332A (zh) 2023-12-22
CN117278332B true CN117278332B (zh) 2024-02-13

Family

ID=89218117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311555622.6A Active CN117278332B (zh) 2023-11-21 2023-11-21 基于网络架构搜索的网络流入侵检测方法和系统

Country Status (1)

Country Link
CN (1) CN117278332B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118041709B (zh) * 2024-04-15 2024-06-07 南京汇荣信息技术有限公司 一种基于多源数据的安全威胁研判方法、系统以及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887326A (zh) * 2021-02-23 2021-06-01 昆明理工大学 一种基于边云协同的入侵检测方法
CN114707635A (zh) * 2022-03-14 2022-07-05 北京邮电大学 基于网络架构搜索的模型构建方法、装置及存储介质
CN116015753A (zh) * 2022-12-08 2023-04-25 暨南大学 一种基于神经架构演化联邦学习的IIoT入侵检测系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887326A (zh) * 2021-02-23 2021-06-01 昆明理工大学 一种基于边云协同的入侵检测方法
CN114707635A (zh) * 2022-03-14 2022-07-05 北京邮电大学 基于网络架构搜索的模型构建方法、装置及存储介质
CN116015753A (zh) * 2022-12-08 2023-04-25 暨南大学 一种基于神经架构演化联邦学习的IIoT入侵检测系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Evolutionary Algorithm-Based and Network Architecture Search-Enabled Multiobjective Traffic Classification;XIAOJUAN WANG等;IEEE ACCESS;第9卷;全文 *
基于机器学习的网络流威胁行为认知分析与研究;何明枢;中国博士学位论文电子期刊网;第3章 *

Also Published As

Publication number Publication date
CN117278332A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN110929047B (zh) 关注邻居实体的知识图谱推理方法和装置
CN117278332B (zh) 基于网络架构搜索的网络流入侵检测方法和系统
CN112085161B (zh) 一种基于随机信息传递的图神经网络方法
CN114863368A (zh) 用于道路破损检测的多尺度目标检测模型、方法
CN111275172A (zh) 一种基于搜索空间优化的前馈神经网络结构搜索方法
CN115563610B (zh) 入侵检测模型的训练方法、识别方法和装置
CN113869521A (zh) 构建预测模型的方法、装置、计算设备和存储介质
Wang et al. Evolutionary algorithm-based and network architecture search-enabled multiobjective traffic classification
CN117156442B (zh) 基于5g网络的云数据安全保护方法及系统
CN116126130A (zh) 一种可信边缘服务器的选择与能耗优化的任务卸载方法
Kim et al. Fine-grained neural architecture search
US20200265092A1 (en) Method and apparatus for the design and optimization of 3D frequency selective surfaces using evolutonary computing techniques
CN115114484A (zh) 异常事件检测方法、装置、计算机设备和存储介质
Ponmalar et al. Machine Learning Based Network Traffic Predictive Analysis
Wang et al. Polygonal approximation using integer particle swarm optimization
CN113033709A (zh) 链路预测方法和装置
CN113344091A (zh) 基于标签相关性的多标签流特征确定最优特征子集的方法
CN113127730A (zh) 一种基于重叠社区的社区检测方法、终端设备及存储介质
Lin et al. A new density-based scheme for clustering based on genetic algorithm
KR20190105147A (ko) 반딧불 알고리즘을 이용한 데이터 클러스터링 방법 및 시스템
CN105095382A (zh) 样本分布式聚类计算方法及装置
CN115426671A (zh) 图神经网络训练、无线小区故障预测方法、系统及设备
Yin et al. Probabilistic sequential multi-objective optimization of convolutional neural networks
CN112749082B (zh) 一种基于de-th算法的测试用例生成方法及系统
CN109685101B (zh) 一种多维数据自适应采集方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant