CN116738429A - 基于生成对抗的目标检测引擎优化方法、装置及系统 - Google Patents
基于生成对抗的目标检测引擎优化方法、装置及系统 Download PDFInfo
- Publication number
- CN116738429A CN116738429A CN202311024643.5A CN202311024643A CN116738429A CN 116738429 A CN116738429 A CN 116738429A CN 202311024643 A CN202311024643 A CN 202311024643A CN 116738429 A CN116738429 A CN 116738429A
- Authority
- CN
- China
- Prior art keywords
- challenge
- detection
- samples
- target detection
- detection engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 320
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000005457 optimization Methods 0.000 title claims abstract description 66
- 238000012795 verification Methods 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
- G06F21/562—Static detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Virology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Combined Controls Of Internal Combustion Engines (AREA)
Abstract
本申请涉及一种基于生成对抗的目标检测引擎优化方法、装置及系统，所述方法包括：重复多次将多个对抗样本输入至所述目标检测引擎进行检测，得到各所述对抗样本的第一检测结果，直到满足结束条件；其中，各次输入的多个对抗样本由多个对抗组合序列对多个原始样本进行混淆变形得到，所述原始样本能够被目标检测引擎检测成功；基于各次检测得到的各第一检测结果，获得各次输入的多个对抗样本中造成目标检测引擎检测失败的多个恶意样本，对所述目标检测引擎进行优化。采用本方法解决了各类目标检测引擎的检测能力难以快速提高和加强的问题，实现了各类目标检测引擎的检测弱点的智能优化，提高了云端的网络安全，同时降低成本。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种基于生成对抗的目标检测引擎优化方法、装置及系统。
背景技术
随着近几年云服务的兴起，网络安全的基础安全能力重心从2C转向2B，过去以PC端为重点，现在以云安全为主。由于过去在PC端的安全能力积累，对于PC端上的二进制、文档类等文件类型的检测能力已经较为完善，可以直接应用于云端，但是云上安全有新类型文件出现，比如提供web服务的php、jsp、asp等，而这部分新类型文件的相关恶意代码的检测在过去不是重点，为了补齐这部分基础安全能力短板，需要针对性的开发目标检测引擎。
现有技术中已经存在利用规则或机器学习等方式，对相关恶意代码开发了不同检测方式的目标检测引擎。并且为了验证此类目标检测引擎的检测能力，常规的做法有两种，一是通过已知的恶意样本进行验证，而此方法所采用的恶意样本通常是开发目标检测引擎时被重点分析过的对象，验证效果有限。二是通过安全团队针对已有的恶意目标检测引擎去查找可能攻击成功的恶意样本，此方式不但成本高，效率低，而且可找到的恶意样本同样有限。
而随着网络安全技术的发展，各类目标检测引擎已经被广泛应用，虽然各类检测引擎通过不断的优化迭代表现出较优的检测能力，但是目标检测引擎自身并不是完全找不到检测弱点，为了避免检测弱点被恶意攻击，需要不断地对目标检测引擎进行优化。
发明内容
基于此，有必要针对上述技术问题，提供一种能够不断地对目标检测引擎进行迭代优化的基于生成对抗的目标检测引擎优化方法、装置及系统。
第一方面，本申请提供了一种基于生成对抗的目标检测引擎优化方法，所述方法包括：
重复多次将多个对抗样本输入至所述目标检测引擎进行检测，得到各所述对抗样本的第一检测结果，直到满足结束条件；其中，各次输入的所述多个对抗样本由多个对抗组合序列对多个原始样本进行混淆变形得到，所述多个对抗组合序列包括多个优化对抗组合序列及多个原始对抗组合序列，所述多个优化对抗组合序列基于上一次的各所述第一检测结果对上一次的多个对抗组合序列进行优化迭代得到；所述原始样本能够被所述目标检测引擎检测成功；
基于各次检测得到的各所述第一检测结果，获得各次输入的所述多个对抗样本中造成所述目标检测引擎检测失败的多个恶意样本；
基于所述多个恶意样本对所述目标检测引擎进行优化。
在其中一个实施例中，所述第一检测结果为所述对抗样本被所述目标检测引擎检测成功或所述对抗样本被所述目标检测引擎检测失败，所述基于上一次的各所述第一检测结果对上一次的多个对抗组合序列进行优化迭代包括：
基于各所述第一检测结果，获得所述目标检测引擎对于各所述对抗组合序列所对应的多个对抗样本的第二检测结果；
基于所述第二检测结果，获取所述多个对抗组合序列中的多个优选对抗组合序列；
对所述多个优选对抗组合序列中所包含的至少一个混淆变形方法进行迭代更新，得到所述多个优化对抗组合序列。
在其中一个实施例中，所述第二检测结果包括所述目标检测引擎对于各所述对抗组合序列所对应的对抗样本的检测失败率、检测失败数量，所述基于所述第二检测结果，获取所述多个对抗组合序列中的多个优选对抗组合序列包括：
将所述目标检测引擎对于各所述对抗组合序列所对应的对抗样本的检测失败率、检测失败数量分别输入目标函数，得到目标函数值；
基于各所述目标函数值的排序，获取所述多个对抗组合序列中的多个优选对抗组合序列。
在其中一个实施例中，所述方法还包括：
对每一次生成的多个对抗样本进行验证，得到验证结果，将验证通过的所述多个对抗样本输入至所述目标检测引擎进行检测。
在其中一个实施例中，基于上一次的各所述第一检测结果以及上一次的对所述生成的多个对抗样本进行验证的验证结果，对上一次的多个对抗组合序列进行优化迭代。
在其中一个实施例中，当优化迭代的次数达到预设次数或前后两次所述目标检测引擎对于所述多个对抗样本的检测失败率的差值达到预设差值时，则满足所述结束条件。
在其中一个实施例中，所述方法还包括：
获取最后一次输入的所述多个对抗样本所对应的所述多个对抗组合序列，对所述目标检测引擎进行优化。
第二方面，本申请还提供了一种基于生成对抗的目标检测引擎优化装置，所述装置包括：
对抗样本检测模块，用于重复多次将多个对抗样本输入至所述目标检测引擎进行检测，得到各所述对抗样本的第一检测结果，直到满足结束条件；其中，各次输入的所述多个对抗样本由多个对抗组合序列对多个原始样本进行混淆变形得到，所述多个对抗组合序列包括多个优化对抗组合序列及多个原始对抗组合序列，所述多个优化对抗组合序列基于上一次的各所述第一检测结果对上一次的多个对抗组合序列进行优化迭代得到；所述原始样本能够被所述目标检测引擎检测成功；
恶意样本获取模块，用于基于各次检测得到的各所述第一检测结果，获得各次输入的所述多个对抗样本中造成所述目标检测引擎检测失败的多个恶意样本；
目标引擎优化模块，用于基于所述多个恶意样本对所述目标检测引擎进行优化。
第三方面，本申请还提供了一种目标检测引擎优化系统，所述系统包括用于生成对抗组合序列的混淆变形武器库以及上述第二方面所述的装置。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的内容。
上述基于生成对抗的目标检测引擎优化方法、装置及系统，通过重复多次将多个对抗样本输入至所述目标检测引擎进行检测，得到各所述对抗样本的第一检测结果，直到满足结束条件；其中，各次输入的所述多个对抗样本由多个对抗组合序列对多个原始样本进行混淆变形得到，所述多个对抗组合序列包括多个优化对抗组合序列及多个原始对抗组合序列，所述多个优化对抗组合序列基于上一次的各所述第一检测结果对上一次的多个对抗组合序列进行优化迭代得到；所述原始样本能够被所述目标检测引擎检测成功；基于各次检测得到的各所述第一检测结果，获得各次输入的所述多个对抗样本中造成所述目标检测引擎检测失败的多个恶意样本，对所述目标检测引擎进行优化。解决了各类目标检测引擎的检测能力难以快速提高和加强的问题，实现了各类目标检测引擎的检测弱点的智能优化，提高了云端的网络安全，同时降低成本。
附图说明
图1为一个实施例中目标检测引擎优化系统的内部环境图；
图2为一个实施例中基于生成对抗的目标检测引擎优化方法的流程示意图；
图3为一个实施例中基于上一次的各所述第一检测结果对上一次的多个对抗组合序列进行优化迭代的流程示意图；
图4为一个实施例中对抗组合序列优化迭代过程的示意图；
图5为其中一个实施例中基于所述第二检测结果，获取所述多个对抗组合序列中的多个优选对抗组合序列的流程示意图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请实施例提供的基于生成对抗的目标检测引擎优化方法，可以应用于如图1所示的目标检测引擎优化系统中。其中，所述系统包括混淆变形武器库11和基于生成对抗的目标检测引擎优化装置12。所述基于生成对抗的目标检测引擎优化装置12包括对抗样本检测模块121、恶意样本获取模块122以及目标引擎优化模块123。
上述基于生成对抗的目标检测引擎优化装置12中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
其中，混淆变形武器库11用于收集并编号各类样本的混淆变形方法，并基于所述混淆变形方法生成对抗组合序列。所述混淆变形武器库11中包括简单的混淆变形方法，例如：增加空行、增加注释、替换变量名、随机变量名以及数组变形等，还包括复杂的混淆变形方法，例如：替换相同功能函数名、参数变换以及类封装等。对于在一个对抗组合序列中可以重复使用的混淆变形方法，设置重复使用标签。
对抗样本检测模块121用于重复多次将多个对抗样本输入至所述目标检测引擎进行检测，得到各所述对抗样本的第一检测结果，直到满足结束条件。其中，各次输入的所述多个对抗样本由多个对抗组合序列对多个原始样本进行混淆变形得到，所述多个对抗组合序列包括多个优化对抗组合序列及多个原始对抗组合序列，所述多个优化对抗组合序列基于上一次的各所述第一检测结果对上一次的多个对抗组合序列进行优化迭代得到，所述原始样本能够被所述目标检测引擎检测成功。
恶意样本获取模块122用于基于各次检测得到的各所述第一检测结果，获得各次输入的所述多个对抗样本中造成所述目标检测引擎检测失败的多个恶意样本。
目标引擎优化模块123用于基于所述多个恶意样本对所述目标检测引擎进行优化。
所述系统还包括语法验证器13和虚拟执行验证器14，所述语法验证器13用于对混淆变形后的对抗样本的语法进行验证；所述虚拟执行验证器14用于虚拟执行混淆变形后的对抗样本。
所述系统还包括对抗统一调用接口15，用于调用各类目标检测引擎所对应的对抗组合序列，在原始样本基于对抗组合序列进行混淆变形后，输出混淆变形后的对抗样本至所对应的目标检测引擎中进行检测。所述对抗统一调用接口15使本申请实施例中的基于生成对抗的目标检测引擎优化方法具有广泛适用性。
所述目标检测引擎优化系统搭载在云端服务器上。数据存储系统可以存储云端服务器需要处理的样本数据。数据存储系统可以放在云端服务器上，也可以放在其他网络服务器上。云端服务器可以用独立的云端服务器或者是多个云端服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种基于生成对抗的目标检测引擎优化方法，以该方法应用于图1中的目标检测引擎优化系统中为例进行说明，包括以下步骤：
S202，重复多次将多个对抗样本输入至所述目标检测引擎进行检测，得到各所述对抗样本的第一检测结果，直到满足结束条件。
其中，各次输入的所述多个对抗样本由多个对抗组合序列对多个原始样本进行混淆变形得到。所述原始样本能够被所述目标检测引擎检测成功。所述多个对抗组合序列包括多个优化对抗组合序列及多个原始对抗组合序列，所述多个优化对抗组合序列基于上一次的各所述第一检测结果对上一次的多个对抗组合序列进行优化迭代得到。所述原始对抗组合序列可以是混淆变形武器库11中所述目标检测引擎的检测失败率高的历史对抗组合序列，也可以是基于混淆变形武器库11随机生成的序列。
在网络安全中存在攻击方和防御方，防御方会基于现有的恶意攻击类型生成对应的目标检测引擎，而攻击方通过以攻促防的方式找出这些恶意目标检测引擎的弱点、漏洞，提升防御方的基础网络安全能力。生成对抗结构是一种机器学习模式，通常主要分为生成器和识别器（攻击目标），生成器用于输出样本，识别器用于识别生成器输出的样本，二者是零和博弈关系，即对抗结果只有一方获胜。
因此在本实施例中，将多个原始样本利用每一个对抗组合序列进行混淆变形，得到每一个对抗组合序列的多个对抗样本，并将每一次混淆变形得到的多个对抗样本输入目标检测引擎进行检测，得到每一次各对抗样本的第一检测结果，直到满足结束条件。其中，第一检测结果为所述对抗样本被所述目标检测引擎检测成功，或者所述对抗样本被所述目标检测引擎检测失败。
具体地，在其中一个实施例中，当优化迭代的次数达到预设次数或前后两次所述目标检测引擎对于所述多个对抗样本的检测失败率的差值达到预设差值时，则满足所述结束条件。
S204，基于各次检测得到的各所述第一检测结果，获得各次输入的所述多个对抗样本中造成所述目标检测引擎检测失败的多个恶意样本。
具体地，为了对所述目标检测引擎的检测弱点进行优化，对于每一次输入目标检测引擎的多个对抗样本，筛选并保存造成所述目标检测引擎检测失败的对抗样本，即为恶意样本。
S206，基于所述多个恶意样本对所述目标检测引擎进行优化。
具体地，由于目标检测引擎是一种机器学习模型，因此将恶意样本和原始样本进行比较，确认恶意样本的混淆变形方式，基于恶意样本的混淆变形方法，分析所述目标检测引擎检测失败的原因，对所述目标检测引擎进行重新训练，得到优化的目标检测引擎。
上述基于生成对抗的目标检测引擎优化方法中，通过重复多次将多个对抗样本输入至所述目标检测引擎进行检测，得到各所述对抗样本的第一检测结果，直到满足结束条件；其中，各次输入的所述多个对抗样本由多个对抗组合序列对多个原始样本进行混淆变形得到，所述多个对抗组合序列包括多个优化对抗组合序列及多个原始对抗组合序列，所述多个优化对抗组合序列基于上一次的各所述第一检测结果对上一次的多个对抗组合序列进行优化迭代得到；所述原始样本能够被所述目标检测引擎检测成功；基于各次检测得到的各所述第一检测结果，获得各次输入的所述多个对抗样本中造成所述目标检测引擎检测失败的多个恶意样本，对所述目标检测引擎进行优化。解决了各类目标检测引擎的检测能力难以快速提高和加强的问题，实现了各类目标检测引擎的检测弱点的智能优化，提高了云端的网络安全，同时降低成本。
在一个实施例中，如图3所示，S202中，基于上一次的各所述第一检测结果对上一次的多个对抗组合序列进行优化迭代，具体包括以下步骤：
S302，基于各所述第一检测结果，获得所述目标检测引擎对于各所述对抗组合序列所对应的多个对抗样本的第二检测结果。
具体地，目标检测引擎按照每一次输入的多个对抗样本所对应的各自对抗组合序列，输出各对抗样本的第一检测结果。基于每一次的各所述第一检测结果，获得每一次的各对抗组合序列所对应的多个对抗样本的第二检测结果。
其中，所述第二检测结果包括所述目标检测引擎对于各所述对抗组合序列所对应的对抗样本的检测失败率、检测失败数量。
S304，基于所述第二检测结果，获取所述多个对抗组合序列中的多个优选对抗组合序列。
具体地，基于每一次目标检测引擎对于各对抗组合序列所对应的对抗样本的检测失败率、检测失败数量，从多个对抗组合序列中，筛选出多个优选对抗组合序列。其中，对抗组合序列的检测失败率越高，所述对抗组合序列所对应的混淆变形方法越有效，用于对目标检测引擎进行优化的效果越好。
S306，对所述多个优选对抗组合序列中所包含的至少一个混淆变形方法进行迭代更新，得到所述多个优化对抗组合序列。
具体地，基于混淆变形武器库，更新所述优选对抗组合序列所对应的混淆变形方法，得到多个优化对抗组合序列。
示例性地，如图4所示，提供一种对抗组合序列优化迭代过程的示意图，其中1，2，3，...，6分别表示不同的混淆变形方法，原始对抗组合序列[1，2，3]、[3，5，1]、[6，2，3]的检测失败率分别为10%、15%、21%，经过一次序列迭代之后，对抗组合序列分别更新为[1，4，3]、[3，5，2]、[4，2，3]，其中，[3，5，2]序列相较于原始[3，5，1]序列的检测失败率降低，因此淘汰[3，5，2]序列，保留原始[3，5，1]序列，进行下一次迭代优化。而[1，4，3]序列、[4，2，3]序列相较于原始序列的检测失败率均提高，因此将这个两个对抗组合序列保留下来进行下一次迭代优化。
本实施例中，通过每一次的对抗组合序列的检测失败率，对多个对抗组合进行筛选优化，得到下一次的优化对抗组合序列，在优化过程中不需要人为干预，实现了自适应的对抗组合序列优化迭代过程，提高了对抗样本产出效率，从而进一步提高目标检测引擎的优化效率。
在其中一个实施例中，如图5所示，S304基于所述第二检测结果，获取所述多个对抗组合序列中的多个优选对抗组合序列，具体包括以下步骤：
S502，将所述目标检测引擎对于各所述对抗组合序列所对应的对抗样本的检测失败率、检测失败数量分别输入目标函数，得到目标函数值。
具体地，基于各对抗序列的检测失败率和检测失败数量，设计智能优化迭代算法的目标函数，并将每一次的各对抗组合序列的检测失败率和检测失败数量作为目标函数的输入量，得到每一次的各对抗组合序列的目标函数值。
S504，基于各所述目标函数值的排序，获取所述多个对抗组合序列中的多个优选对抗组合序列。
具体地，对每一次的各对抗组合序列的目标函数值进行排序，保留目标函数值最大的k个对抗组合序列作为优选对抗组合序列。其中，k的值可以进行人为设置。
可选地，所述第二检测结果还可以是各对抗组合序列的检测成功率以及各对抗组合序列所对应的多个对抗样本的检测成功数量。将每一次各对抗组合序列的检测成功率和检测成功数量分别输入目标函数，得到各个目标函数值。此时，对每一次的各对抗组合序列的目标函数值进行排序，保留目标函数值最小的k个对抗组合序列作为优选对抗组合序列。
在本实施例中，利用智能优化迭代算法，获取每一次的各对抗组合序列的目标函数值进行排序，保留目标函数值最大的对抗组合序列作为优选对抗组合序列，用于下一步对其进行混淆变形方法的更新，提升了选取优选对抗组合序列的精确度，从而进一步扩大目标检测引擎的检测弱点的暴露程度，提高目标检测引擎的优化效率。
在一个实施例中，所述基于生成对抗的目标检测引擎优化方法还包括：
对每一次生成的多个对抗样本进行验证，得到验证结果，将验证通过的所述多个对抗样本输入至所述目标检测引擎进行检测。
具体地，对每一次生成的多个对抗样本进行双重验证，第一重验证为语法验证，利用语法验证器13，对混淆变形后的多个对抗样本进行语法验证，得到各对抗样本的第一验证结果，基于第一验证结果，过滤未通过语法验证的对抗样本；第二重验证为虚拟执行验证，利用虚拟执行验证器14，对通过语法验证的对抗样本进行虚拟执行，得到各对抗样本的第二验证结果。基于第二验证结果，过滤未通过虚拟执行验证的对抗样本，得到通过双重验证的对抗样本。将通过双重验证的对抗样本输入至目标检测引擎中进行检测。
在本实施例中，通过对每一次生成的对抗样本进行双重验证，只有在双重验证通过的情况下，才能输入目标检测引擎中进行检测，实现对对抗样本的精准过滤，避免了混淆变形后得到的对抗样本与目标检测引擎不兼容导致的第一检测结果不准确的问题，进一步提高了目标检测引擎的优化效果。
在一个实施例中，所述基于生成对抗的目标检测引擎优化方法还包括：
获取最后一次输入的所述多个对抗样本所对应的所述多个对抗组合序列，对所述目标检测引擎进行优化。
除了利用恶意样本对目标检测引擎进行优化，在本实施例中，还可以基于最后一次输入的多个对抗样本所对应的对抗组合序列，对目标检测引擎进行优化，提高目标检测引擎的优化效率。
在一个示例实施例中，提供一种基于生成对抗的目标检测引擎优化方法，应用于如图1所示的目标检测引擎优化系统中，在进行优化之前，需要收集和研发混淆变形武器库中的混淆变形方法，并对每一个混淆变形方法进行编号，得到（1，2，3，....，n）个混淆变形方法。具体优化过程包括以下步骤：
S1，收集N个被目标检测引擎检测成功的原始样本，基于混淆变形武器库，随机生成M种对抗组合序列，此时的对抗组合序列为原始随机的对抗组合序列。例如，原始对抗组合序列为[1，2，3]、[3，5，1]、[6，2，3]等。
原始样本的类型包括webshell文件或者用户产生的文本内容。其中，webshell是以网页文件形式（php、asp、jsp等）存在的一种可执行的脚本程序，常用于网站管理、服务器管理等，因为其灵活多变，使攻击者常使用各种各样的混淆方法将其作为控制网站或服务器的后门程序，以试图欺骗目标检测引擎，因此，日常发现的Webshell文件基本都是黑客入侵的结果。
S2，利用M个原始对抗组合序列对N个原始样本进行混淆变形，得到个对抗样本。例如，利用原始对抗组合序列[3，5，1]进行混淆变形，混淆变形的方法为：依次使用编号为3、5、1的单个混淆变形方法分别对N个原始样本进行混淆变形，编号3的混淆变形方法是在原始样本上进行混淆变形，编号5的混淆变形方法是对经过编号3混淆变形后的样本进行混淆变形，编号1的混淆变形方法是对经过编号5混淆变形后的样本再进行混淆变形。
S3，将个对抗样本输入语法验证器进行语法验证，输出通过语法验证的个对抗样本；将/>个对抗样本输入虚拟执行验证器进行验证，输出虚拟执行成功的/>个对抗样本。例如，通过语法验证器验证Webshell文件所用的php语法是否存在错误；通过虚拟执行验证器利用虚拟执行验证器的vld插件解析Webshell文件，判断是否被破坏，若解析成功，则Webshell文件未被破坏。
S4，将验证成功的个对抗样本，输入至目标检测引擎进行检测，得到个对抗样本的第一检测结果。
S5，统计每个对抗组合序列所对应的N个对抗样本中，被目标检测引擎检测失败的数目和比例，得到目标检测引擎对于各对抗组合序列所对应的对抗样本的检测失败率、检测失败数量。并将所有被目标检测引擎检测失败的对抗样本进行存储。其中，造成目标检测引擎检测失败的数量越多、比例越高，说明该原始对抗组合序列越优秀。
S6，将M个对抗组合序列所对应的各自的第二检测结果，输入值目标函数F中，得到M个目标函数值。并对M个目标函数值进行排序，保留其中目标函数值最大的k个序列最为下一轮迭代的优选对抗组合序列。
S7，将k个优选对抗组合序列重新利用混淆变形武器库修改其中所包括的至少一个混淆变形方法，得到k个优化对抗组合序列。例如，将[1，2，3]、[3，5，1]、[6，2，3]等序列迭代为[1，4，3]、[3，5，2]、[4，2，3]等序列。
S8，利用混淆变形武器库，随机生成M-k个随机对抗组合序列，与k个优化对抗组合序列一起，构成M个对抗组合序列，对N个原始样本再次进行混淆变形，得到个对抗样本。
S9，重复上述S3-S8，直到优化迭代的次数达到预设次数Q，或者前后两次的目标检测引擎对个对抗样本的检测失败率的差值达到预设差值S。
S10，在迭代结束后，获取所有被目标检测引擎检测失败的对抗样本，将这些样本作为恶意样本，对目标检测引擎进行优化。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储样本数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于生成对抗的目标检测引擎优化方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
重复多次将多个对抗样本输入至所述目标检测引擎进行检测，得到各所述对抗样本的第一检测结果，直到满足结束条件；其中，各次输入的所述多个对抗样本由多个对抗组合序列对多个原始样本进行混淆变形得到，所述多个对抗组合序列包括多个优化对抗组合序列及多个原始对抗组合序列，所述多个优化对抗组合序列基于上一次的各所述第一检测结果对上一次的多个对抗组合序列进行优化迭代得到；所述原始样本能够被所述目标检测引擎检测成功；
基于各次检测得到的各所述第一检测结果，获得各次输入的所述多个对抗样本中造成所述目标检测引擎检测失败的多个恶意样本；
基于所述多个恶意样本对所述目标检测引擎进行优化。
在一个实施例中，所述第一检测结果为所述对抗样本被所述目标检测引擎检测成功或所述对抗样本被所述目标检测引擎检测失败，处理器执行计算机程序时还实现以下步骤：
基于各所述第一检测结果，获得所述目标检测引擎对于各所述对抗组合序列所对应的多个对抗样本的第二检测结果；
基于所述第二检测结果，获取所述多个对抗组合序列中的多个优选对抗组合序列；
对所述多个优选对抗组合序列中所包含的至少一个混淆变形方法进行迭代更新，得到所述多个优化对抗组合序列。
在一个实施例中，所述第二检测结果包括所述目标检测引擎对于各所述对抗组合序列所对应的对抗样本的检测失败率、检测失败数量，处理器执行计算机程序时还实现以下步骤：
将所述目标检测引擎对于各所述对抗组合序列所对应的对抗样本的检测失败率、检测失败数量分别输入目标函数，得到目标函数值；
基于各所述目标函数值的排序，获取所述多个对抗组合序列中的多个优选对抗组合序列。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对每一次生成的多个对抗样本进行验证，得到验证结果，将验证通过的所述多个对抗样本输入至所述目标检测引擎进行检测。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
基于上一次的各所述第一检测结果以及上一次的对所述生成的多个对抗样本进行验证的验证结果，对所述上一次的多个对抗组合序列进行优化迭代。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
当优化迭代的次数达到预设次数或前后两次所述目标检测引擎对于所述多个对抗样本的检测失败率的差值达到预设差值时，则满足所述结束条件。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取最后一次输入的所述多个对抗样本所对应的所述多个对抗组合序列，对所述目标检测引擎进行优化。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例的方法和步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各实施例中的方法和步骤。
需要说明的是，本申请所涉及的样本数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于生成对抗的目标检测引擎优化方法，其特征在于，所述方法包括：
重复多次将多个对抗样本输入至所述目标检测引擎进行检测，得到各所述对抗样本的第一检测结果，直到满足结束条件；其中，各次输入的所述多个对抗样本由多个对抗组合序列对多个原始样本进行混淆变形得到，所述多个对抗组合序列包括多个优化对抗组合序列及多个原始对抗组合序列，所述多个优化对抗组合序列基于上一次的各所述第一检测结果对上一次的多个对抗组合序列进行优化迭代得到；所述原始样本能够被所述目标检测引擎检测成功；
基于各次检测得到的各所述第一检测结果，获得各次输入的所述多个对抗样本中造成所述目标检测引擎检测失败的多个恶意样本；
基于所述多个恶意样本对所述目标检测引擎进行优化。
2.根据权利要求1所述的基于生成对抗的目标检测引擎优化方法，其特征在于，所述第一检测结果为所述对抗样本被所述目标检测引擎检测成功或所述对抗样本被所述目标检测引擎检测失败，所述基于上一次的各所述第一检测结果对上一次的多个对抗组合序列进行优化迭代包括：
基于各所述第一检测结果，获得所述目标检测引擎对于各所述对抗组合序列所对应的多个对抗样本的第二检测结果；
基于所述第二检测结果，获取所述多个对抗组合序列中的多个优选对抗组合序列；
对所述多个优选对抗组合序列中所包含的至少一个混淆变形方法进行迭代更新，得到所述多个优化对抗组合序列。
3.根据权利要求2所述的基于生成对抗的目标检测引擎优化方法，其特征在于，所述第二检测结果包括所述目标检测引擎对于各所述对抗组合序列所对应的对抗样本的检测失败率、检测失败数量，所述基于所述第二检测结果，获取所述多个对抗组合序列中的多个优选对抗组合序列包括：
将所述目标检测引擎对于各所述对抗组合序列所对应的对抗样本的检测失败率、检测失败数量分别输入目标函数，得到目标函数值；
基于各所述目标函数值的排序，获取所述多个对抗组合序列中的多个优选对抗组合序列。
4.根据权利要求1所述的基于生成对抗的目标检测引擎优化方法，其特征在于，所述方法还包括：
对每一次生成的多个对抗样本进行验证，得到验证结果，将验证通过的所述多个对抗样本输入至所述目标检测引擎进行检测。
5.根据权利要求4所述的基于生成对抗的目标检测引擎优化方法，其特征在于，基于上一次的各所述第一检测结果以及上一次的对所述生成的多个对抗样本进行验证的验证结果，对所述上一次的多个对抗组合序列进行优化迭代。
6.根据权利要求1所述的基于生成对抗的目标检测引擎优化方法，其特征在于，当优化迭代的次数达到预设次数或前后两次所述目标检测引擎对于所述多个对抗样本的检测失败率的差值达到预设差值时，则满足所述结束条件。
7.根据权利要求1所述的基于生成对抗的目标检测引擎优化方法，其特征在于，所述方法还包括：
获取最后一次输入的所述多个对抗样本所对应的所述多个对抗组合序列，对所述目标检测引擎进行优化。
8.一种基于生成对抗的目标检测引擎优化装置，其特征在于，所述装置包括：
对抗样本检测模块，用于重复多次将多个对抗样本输入至所述目标检测引擎进行检测，得到各所述对抗样本的第一检测结果，直到满足结束条件；其中，各次输入的所述多个对抗样本由多个对抗组合序列对多个原始样本进行混淆变形得到，所述多个对抗组合序列包括多个优化对抗组合序列及多个原始对抗组合序列，所述多个优化对抗组合序列基于上一次的各所述第一检测结果对上一次的多个对抗组合序列进行优化迭代得到；所述原始样本能够被所述目标检测引擎检测成功；
恶意样本获取模块，用于基于各次检测得到的各所述第一检测结果，获得各次输入的所述多个对抗样本中造成所述目标检测引擎检测失败的多个恶意样本；
目标引擎优化模块，用于基于所述多个恶意样本对所述目标检测引擎进行优化。
9.一种目标检测引擎优化系统，其特征在于，所述系统包括用于生成对抗组合序列的混淆变形武器库以及如权利要求8所述的装置。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311024643.5A CN116738429B (zh) | 2023-08-15 | 2023-08-15 | 基于生成对抗的目标检测引擎优化方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311024643.5A CN116738429B (zh) | 2023-08-15 | 2023-08-15 | 基于生成对抗的目标检测引擎优化方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116738429A true CN116738429A (zh) | 2023-09-12 |
| CN116738429B CN116738429B (zh) | 2023-11-14 |
Family
ID=87911925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311024643.5A Active CN116738429B (zh) | 2023-08-15 | 2023-08-15 | 基于生成对抗的目标检测引擎优化方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116738429B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461226A (zh) * | 2020-04-01 | 2020-07-28 | 深圳前海微众银行股份有限公司 | 对抗样本生成方法、装置、终端及可读存储介质 |
| CN111832019A (zh) * | 2020-06-10 | 2020-10-27 | 国家计算机网络与信息安全管理中心 | 基于生成对抗网络的恶意代码检测方法 |
| CN112231703A (zh) * | 2020-11-09 | 2021-01-15 | 北京理工大学 | 一种结合api模糊处理技术的恶意软件对抗样本生成方法 |
| CN112311733A (zh) * | 2019-07-30 | 2021-02-02 | 四川大学 | 一种基于强化学习优化xss检测模型防御对抗攻击的方法 |
| CN112613036A (zh) * | 2020-12-29 | 2021-04-06 | 北京天融信网络安全技术有限公司 | 恶意样本增强方法、恶意程序检测方法及对应装置 |
| CN112784265A (zh) * | 2021-02-05 | 2021-05-11 | 北京火绒网络科技有限公司 | 一种虚拟沙盒针对混淆代码的优化方法 |
| CN115225310A (zh) * | 2022-05-18 | 2022-10-21 | 中国科学院信息工程研究所 | 基于优化元学习的轻量恶意软件流量检测方法及装置 |
| CN115277065A (zh) * | 2022-06-15 | 2022-11-01 | 北京信息科技大学 | 一种物联网异常流量检测中的对抗攻击方法及装置 |
| CN115567239A (zh) * | 2022-08-16 | 2023-01-03 | 广州大学 | 一种基于生成对抗的加密流量特征隐藏系统以及方法 |
| CN116030312A (zh) * | 2023-03-30 | 2023-04-28 | 中国工商银行股份有限公司 | 模型评估方法、装置、计算机设备和存储介质 |
-
2023
- 2023-08-15 CN CN202311024643.5A patent/CN116738429B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112311733A (zh) * | 2019-07-30 | 2021-02-02 | 四川大学 | 一种基于强化学习优化xss检测模型防御对抗攻击的方法 |
| CN111461226A (zh) * | 2020-04-01 | 2020-07-28 | 深圳前海微众银行股份有限公司 | 对抗样本生成方法、装置、终端及可读存储介质 |
| CN111832019A (zh) * | 2020-06-10 | 2020-10-27 | 国家计算机网络与信息安全管理中心 | 基于生成对抗网络的恶意代码检测方法 |
| CN112231703A (zh) * | 2020-11-09 | 2021-01-15 | 北京理工大学 | 一种结合api模糊处理技术的恶意软件对抗样本生成方法 |
| CN112613036A (zh) * | 2020-12-29 | 2021-04-06 | 北京天融信网络安全技术有限公司 | 恶意样本增强方法、恶意程序检测方法及对应装置 |
| CN112784265A (zh) * | 2021-02-05 | 2021-05-11 | 北京火绒网络科技有限公司 | 一种虚拟沙盒针对混淆代码的优化方法 |
| CN115225310A (zh) * | 2022-05-18 | 2022-10-21 | 中国科学院信息工程研究所 | 基于优化元学习的轻量恶意软件流量检测方法及装置 |
| CN115277065A (zh) * | 2022-06-15 | 2022-11-01 | 北京信息科技大学 | 一种物联网异常流量检测中的对抗攻击方法及装置 |
| CN115567239A (zh) * | 2022-08-16 | 2023-01-03 | 广州大学 | 一种基于生成对抗的加密流量特征隐藏系统以及方法 |
| CN116030312A (zh) * | 2023-03-30 | 2023-04-28 | 中国工商银行股份有限公司 | 模型评估方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| WENJIA LI 等: "A Robust Malware Detection Approach for Android System Against Adversarial Example Attacks", 《2019 IEEE 5TH INTERNATIONAL CONFERENCE ON COLLABORATION AND INTERNET COMPUTING (CIC)》, pages 360 - 365 * |
| 刘小垒: "基于群体智能进化算法的对抗样本生成研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 4, pages 138 - 25 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116738429B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10785241B2 (en) | URL attack detection method and apparatus, and electronic device | |
| CN107070852B (zh) | 网络攻击检测方法和装置 | |
| CN111614599B (zh) | 基于人工智能的webshell检测方法和装置 | |
| CN111783442A (zh) | 入侵检测方法、设备和服务器、存储介质 | |
| Liu et al. | Security analysis and enhancement of model compressed deep learning systems under adversarial attacks | |
| CN113902926A (zh) | 一种基于自注意力机制的通用图像目标检测方法和装置 | |
| WO2013028302A1 (en) | Fast matching of image features using multi-dimensional tree data structures | |
| CN113961922A (zh) | 一种基于深度学习的恶意软件行为检测与分类系统 | |
| CN109033833B (zh) | 一种基于多特征与特征选择的恶意代码分类方法 | |
| CN111461979B (zh) | 验证码图像去噪识别方法、电子装置及存储介质 | |
| Ali et al. | RX_myKarve carving framework for reassembling complex fragmentations of JPEG images | |
| Dolhansky et al. | Adversarial collision attacks on image hashing functions | |
| CN116743493A (zh) | 网络入侵检测模型构建方法及网络入侵检测方法 | |
| CN112699375A (zh) | 基于网络嵌入相似性的区块链智能合约安全漏洞检测方法 | |
| CN116996272A (zh) | 一种基于改进的麻雀搜索算法的网络安全态势预测方法 | |
| CN113434857A (zh) | 一种应用深度学习的用户行为安全解析方法及系统 | |
| CN116738429B (zh) | 基于生成对抗的目标检测引擎优化方法、装置及系统 | |
| CN113360911A (zh) | 恶意代码同源分析方法、装置、计算机设备和存储介质 | |
| CN112632564A (zh) | 一种威胁评估方法及装置 | |
| CN112560034A (zh) | 基于反馈式深度对抗网络的恶意代码样本合成方法及装置 | |
| Sabharwal et al. | Test set generation for pairwise testing using genetic algorithms | |
| CN115189949B (zh) | 一种基于全局信息的网络安全控制关键节点识别方法 | |
| CN115758337A (zh) | 基于时序图卷积网络的后门实时监测方法、电子设备、介质 | |
| KR20220103375A (ko) | 그래디언트를 활용한 커버리지 기반의 모델 검증 방법 및 그를 위한 장치 | |
| CN108304467A (zh) | 用于文本间匹配的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |