CN114859758A - 一种针对网络模型的攻防对抗仿真测试方法及系统 - Google Patents

一种针对网络模型的攻防对抗仿真测试方法及系统 Download PDF

Info

Publication number
CN114859758A
CN114859758A CN202210711294.3A CN202210711294A CN114859758A CN 114859758 A CN114859758 A CN 114859758A CN 202210711294 A CN202210711294 A CN 202210711294A CN 114859758 A CN114859758 A CN 114859758A
Authority
CN
China
Prior art keywords
attack
platform
defense
algorithm
service request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210711294.3A
Other languages
English (en)
Inventor
李志峰
崔世文
孟昌华
王维强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202210711294.3A priority Critical patent/CN114859758A/zh
Publication of CN114859758A publication Critical patent/CN114859758A/zh
Priority to PCT/CN2023/087367 priority patent/WO2023246237A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00Systems involving the use of models or simulators of said systems
    • G05B17/02Systems involving the use of models or simulators of said systems electric

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本说明书实施例提供了一种针对网络模型的攻防对抗仿真测试方法及系统。网络模型部署在防御方平台中,网络模型向各用户公开提供针对业务数据的预测服务。在仿真测试方法中,攻击方平台伪装成用户,基于攻击算法向防御方平台发送业务请求,业务请求携带待预测的业务数据。防御方平台,接收攻击方平台发送的业务请求,并通过网络模型确定业务数据的预测结果,基于预测结果向攻击方平台发送反馈数据。攻击方平台在接收到反馈数据时,且在反馈数据满足预设条件时调整攻击算法,例如在攻击失败时调整攻击算法的运行逻辑,采用不同的方式继续攻击。同时,防御方平台也对业务请求的处理过程进行异常检测,当检测到异常时采取对应的防御措施。

Description

一种针对网络模型的攻防对抗仿真测试方法及系统
技术领域
本说明书一个或多个实施例涉及计算机技术领域,尤其涉及一种针对网络模型的攻防对抗仿真测试方法及系统。
背景技术
以深度学习为代表的人工智能(Artificial Intelligence,AI)模型,在例如面部识别、机器翻译和推荐系统等多种场景下,取得了非常好的性能表现。但是,AI模型在受到攻击时表现非常不稳定,甚至攻击者可以让模型输出他们想要的结果。
因此,希望能有改进的方案,可以更好地模拟实际中针对网络模型的对抗攻击,以便更好地找到对抗实际攻击的方法。
发明内容
本说明书一个或多个实施例描述了一种针对网络模型的攻防对抗仿真测试方法及系统,以更好地模拟实际中针对网络模型的对抗攻击,找到对抗实际攻击的更优方法。具体的技术方案如下。
第一方面,实施例提供了一种针对网络模型的攻防对抗仿真测试方法,包括攻击方平台和防御方平台,所述网络模型部署在所述防御方平台,所述方法包括:
所述攻击方平台,基于攻击算法向所述防御方平台发送业务请求,所述业务请求携带待预测的业务数据;
所述防御方平台,接收所述攻击方平台发送的业务请求,并通过所述网络模型确定所述业务数据的预测结果,基于所述预测结果向所述攻击方平台发送反馈数据,对所述业务请求的处理过程进行异常检测;
所述攻击方平台,接收所述防御方平台针对所述业务请求发送的反馈数据,并在所述反馈数据满足预设条件时调整所述攻击算法,继续执行所述基于攻击算法向所述防御方平台发送业务请求的步骤。
在一种实施方式中,在对所述业务请求的处理过程进行异常检测之后,还包括:
当检测到异常时,基于检测的异常信息执行预设的防御方案;
在执行预设的防御方案之后,当检测到异常未排除时调整所述防御方案,继续执行调整后的防御方案。
在一种实施方式中,所述对所述业务请求的处理过程进行异常检测的步骤,包括:
基于接收到的业务请求和/或对应的预测结果,进行异常检测。
在一种实施方式中,所述在所述反馈数据满足预设条件时调整所述攻击算法的步骤,包括:
当所述反馈数据满足预设的攻击失败条件时,对所述攻击算法中的运行逻辑进行调整。
在一种实施方式中,所述基于攻击算法向所述防御方平台发送业务请求的步骤,包括:
基于多个不同的攻击算法向所述防御方平台分别发送业务请求;
所述在所述反馈数据满足预设条件时调整所述攻击算法的步骤,包括:
当接收到的针对不同的攻击算法的反馈数据中,存在满足预设的攻击成功条件的第一反馈数据时,将所述第一反馈数据对应的第一攻击算法作为后续攻击使用的攻击算法,停止使用其他攻击算法。
在一种实施方式中,在停止使用其他攻击算法之后,所述方法还包括:
当后续接收到的针对所述第一攻击算法的反馈数据满足预设的攻击失败条件时,对所述第一攻击算法中的运行逻辑进行调整。
在一种实施方式中,所述基于多个不同的攻击算法向所述防御方平台分别发送业务请求的步骤,包括:
基于多个不同的攻击算法,在不同的攻击算法对应的设定流量限制下,向所述防御方平台分别发送业务请求;其中,多个攻击算法对应的设定流量的总和小于总设定流量。
在一种实施方式中,所述将所述第一反馈数据对应的第一攻击算法作为后续攻击使用的攻击算法,停止使用其他攻击算法的步骤,包括:
基于总剩余流量,增大所述第一攻击算法对应的剩余流量,并将其他攻击算法对应的剩余流量设置为0。
在一种实施方式中,该方法还包括:
所述攻击方平台,统计预设时段内攻击成功的次数,并将所述次数发送至指定设备;
所述防御方平台,统计所述预设时段内防御成功的次数,并将所述次数发送至所述指定设备;
所述指定设备,基于所述攻击方平台攻击成功的次数,以及所述防御方平台防御成功的次数,对针对所述网络模型的攻防对抗仿真测试过程进行评估。
第二方面,实施例提供了一种针对网络模型的攻防对抗仿真测试系统,包括攻击方平台和防御方平台,所述网络模型部署在所述防御方平台,所述系统包括:
所述攻击方平台,用于基于攻击算法向所述防御方平台发送业务请求,所述业务请求携带待预测的业务数据;
所述防御方平台,用于接收所述攻击方平台发送的业务请求,并通过所述网络模型确定所述业务数据的预测结果,基于所述预测结果向所述攻击方平台发送反馈数据,对所述业务请求的处理过程进行异常检测;
所述攻击方平台,用于接收所述防御方平台针对所述业务请求发送的反馈数据,并在所述反馈数据满足预设条件时调整所述攻击算法,继续基于攻击算法向所述防御方平台发送业务请求。
在一种实施方式中,所述防御方平台还用于:
在对所述业务请求的处理过程进行异常检测之后,当检测到异常时,基于检测的异常信息执行预设的防御方案;在执行预设的防御方案之后,当检测到异常未排除时调整所述防御方案,继续执行调整后的防御方案。
在一种实施方式中,所述攻击方平台,基于攻击算法向所述防御方平台发送业务请求时,包括:
基于多个不同的攻击算法向所述防御方平台分别发送业务请求;
所述攻击方平台,在所述反馈数据满足预设条件时调整所述攻击算法时,包括:
当接收到的针对不同的攻击算法的反馈数据中,存在满足预设的攻击成功条件的第一反馈数据时,将所述第一反馈数据对应的第一攻击算法作为后续攻击使用的攻击算法,停止使用其他攻击算法。
在一种实施方式中,所述攻击方平台,还用于统计预设时段内攻击成功的次数,并将所述次数发送至指定设备;
所述防御方平台,还用于统计所述预设时段内防御成功的次数,并将所述次数发送至所述指定设备,以使得所述指定设备基于所述攻击方平台攻击成功的次数,以及所述防御方平台防御成功的次数,对针对所述网络模型的攻防对抗仿真测试过程进行评估。
第三方面,实施例提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行第一方面中任一项所述的方法。
第四方面,实施例提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面中任一项所述的方法。
本说明书实施例提供的方法及装置中,攻击方平台基于攻击算法向防御方平台发送业务请求,并接收反馈数据,在反馈数据满足预设条件时调整攻击算法,然后继续对防御方平台进行攻击;而防御方平台通过网络模型确定业务请求中业务数据的预测结果,并向攻击方平台发送反馈数据,全程对业务请求的处理过程进行异常检测。这种攻防对抗的仿真测试方法,更真实地模拟了攻击方平台对网络模型进行攻击时的实际情况,即攻击方平台会基于反馈数据不断地调整攻击算法,而防御方平台也会实时地检测异常,并采取相应的应对措施。这种仿真测试方法更好地模拟了实际中针对网络模型的对抗攻击,为找到对抗实际攻击的更优方法提供了途径;同时,通过这种仿真模拟的过程,防御方平台也可以找到对抗实际攻击的更优方法。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书披露的一个实施例的实施场景示意图;
图2为实施例提供的一种针对网络模型的攻防对抗仿真测试方法的流程示意图;
图3为实施例提供的一种针对网络模型的攻防对抗仿真测试系统的示意性框图。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施场景示意图。其中,为攻击方制定攻击方案,为防御方制定防御方案。攻击方利用攻击方案向防御方发送调用AI模型进行预测的业务请求。防御方作为公开提供预测服务的一方,基于自身运行的AI模型向用户提供预测服务。防御方在接收到攻击方发送的业务请求,且没有检测到异常时,会按照正常的业务流程,将业务请求中携带的业务数据输入AI模型,得到预测结果,并基于该预测结果向攻击方发送反馈数据。攻击方会利用攻击方案多次地、以多种方式向防御方发送攻击,防御方也会实时地检测对业务请求的处理过程是否存在异常。一旦某种攻击方法攻击成功,攻击方会集中所有的流量采用该攻击方法对AI模型进行攻击;如果一段时间后没有攻击成功,则会更新攻击方案。而防御方,一旦检测到存在异常或可能的攻击,会采用相应的防御方案进行防御,如果防御成功,则这种攻防对抗的过程以及防御的方案会被记录下来,作为实际业务处理中的防御方案;如果防御失败,这种攻防对抗的过程可以为维护人员提供改进防御方案、提高网络模型稳定性的参考。
其中,AI模型也可以称为网络模型,可以是采用深度学习方法而得到的网络模型。该网络模型可以用于对输入的业务数据进行预测,得到预测结果。该预测结果包括预测分类和预测值等类型,也就是说,该网络模型可以是分类模型,也可以是输出预测值的回归模型,本申请对此不作限定。业务数据包括用户、商品、图像、文本、音频等对象的特征数据。
上述攻击方是模拟实际中的攻击方而设计。在实际中,攻击方针对网络模型所采用的攻击算法多种多样,包括后门攻击、投毒攻击和对抗样本等等。利用某个攻击算法去攻击几个固定的防御算法,或者利用某个防御算法来应对某几种经典的攻击算法,以测试防御效果,这些都属于静态的攻防对抗。在实际业务场景中,真实的对抗是攻击体系和防御体系的对抗,是动态变化的。在这个过程中,攻击方不停地寻找有效的攻击方法,防御方不断地检测防御漏洞,升级防御体系。因此,本实施例基于此,提供了一种能够仿真真实场景的网络模型攻防对抗测试方法。
在这种仿真测试方法中,在步骤S210中,攻击方平台基于攻击算法向所述防御方平台发送业务请求,业务请求携带待预测的业务数据。在步骤S220中,防御方平台接收攻击方平台发送的业务请求,并通过网络模型确定业务数据的预测结果,基于预测结果向攻击方平台发送反馈数据,对业务请求的处理过程进行异常检测。在步骤S230中,攻击方平台,接收防御方平台针对业务请求发送的反馈数据,并在反馈数据满足预设条件时调整攻击算法,继续执行基于攻击算法向防御方平台发送业务请求的步骤。这种仿真测试方法,能够模拟动态的攻击体系与防御体系之间的对抗,攻击方不断地改变攻击算法,防御方不断地检测防御漏洞,升级防御体系,从而能够模拟实际中针对网络模型的真实的对抗攻击方法,为找到对抗实际攻击的更优方法提供了途径。
下面结合图2对本实施例进行详细说明。
图2为实施例提供的一种针对网络模型的攻防对抗仿真测试方法的流程示意图。在该方法中包括攻击方对应的攻击方平台,以及防御方对应的防御方平台。网络模型部署在防御方平台中。网络模型可以是经过训练的模型,用于基于训练的模型参数确定输入的业务数据的预测结果,例如可以用于对图像进行识别,或者对用户进行高风险和低风险的分类,或者确定用户对待推荐内容的感兴趣程度等等。攻击方平台和防御方平台都可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来实现。该方法包括以下步骤。
在步骤S210中,攻击方平台A基于攻击算法向防御方平台B发送业务请求。其中,业务请求携带待预测的业务数据。攻击方平台A可以获取原始数据,基于攻击算法对原始数据进行处理,得到待预测的业务数据,并基于该业务数据生成业务请求。攻击方平台A可以利用多个原始数据,对应地生成多个业务请求,并向防御方平台B发送多个业务请求。
例如,当攻击算法是对抗样本攻击算法时,攻击方平台A可以在原始样本中添加人眼无法察觉的扰动,得到处理后的样本,将这样的样本作为业务数据。攻击方平台A基于业务数据生成业务请求,并发送至防御方平台B。该业务请求用于请求防御方平台B利用其网络模型确定针对业务数据的预测结果。
例如,攻击方平台可以对猫的图像进行一些改动,通过网络模型的识别,得到这是狗的图像识别结果。这些扰动不会影响人类的识别,但是却很容易致使网络模型做出错误的预测结果。
上述攻击算法可以是一种或多种。攻击算法可以是从已有的多种攻击算法中选择的,也可以是生成的攻击算法。攻击方平台A也可以同时基于多个(两个或两个以上)不同的攻击算法向防御方平台B分别发送业务请求。攻击方平台A可以利用不同的攻击算法对原始数据进行处理,得到不同的待预测的业务数据,并基于不同的业务数据,对应地生成多个类型的业务请求。不同类型的业务请求中所提到的类型,可以理解为携带利用不同的攻击算法得到的业务数据的业务请求对应的类型。
在步骤S220中,防御方平台B接收攻击方平台A发送的业务请求,并通过网络模型确定业务数据的预测结果,基于预测结果向攻击方平台A发送反馈数据。另外,防御平台B还可以实时地对上述业务请求的处理过程进行异常检测。
防御方平台B模拟利用网络模型公开提供预测服务的平台。当防御方平台B没有检测到异常时,会按照正常流程处理接收到的业务请求。例如,会将业务请求携带的业务数据输入网络模型,通过网络模型确定该业务数据的预测结果,并基于该预测结果向攻击平台A发送反馈数据。当防御方平台B检测到异常时,可以采用预设方式进行处理。
在确定业务数据的预测结果之后,防御方平台B可以直接将预测结果作为反馈数据发送至攻击方平台A,也可以基于预测结果生成反馈数据。例如,当没有检测到异常时,可以直接将预测结果作为反馈数据发送至攻击方平台A;当检测到异常时,可以向攻击方平台A发送用于表示目前服务不可用等内容的反馈数据。
防御方平台B在对业务请求的处理过程进行异常检测时,可以基于接收到的业务请求和/或对应的预测结果,进行异常检测。例如,可以统计在一段时间内来自某个地址的业务请求的数量,当该数量超出阈值时,认为存在异常;可以统计在一段时间内得到的某种预测结果的数量,当该数量超出正常范围时认为存在异常。例如,在信贷审批领域,网络模型用于基于输入的用户数据确定是否针对该用户通过信贷审批,如果一段时间内发现信贷审批通过率过高,则可以认为存在异常。
当防御平台B检测到异常时,可以发出异常预警,以供专业人员进行进一步处理。
在步骤S230中,攻击方平台A,接收防御方平台B针对业务请求发送的反馈数据,并在反馈数据满足预设条件时调整攻击算法,继续执行步骤S210中基于攻击算法向防御方平台B发送业务请求的步骤。
其中,预设条件可以是预设的攻击成功条件,也可以是预设的攻击失败条件。当反馈数据包含针对业务数据的预测结果时,如果该预测结果达到攻击方预设的攻击目的,则认为反馈数据满足了攻击成功条件。如果该预测结果没有达到攻击方的攻击目的,则认为反馈数据不满足攻击成功条件。例如,攻击方对猫的图像进行了微小的扰动,其攻击目的是希望该猫的图像被识别成狗的图像。如果预测结果表明网络模型将该猫的图像识别成了狗的图像,则认为预测结果达到了攻击目的,反馈数据满足攻击成功的条件。或者是,攻击方对猫的图像进行了微小的扰动,其攻击目的是希望该猫的图像被正确识别的概率降低20%。如果其预测值相比于未加入扰动的图像的正确识别概率降低了20%以上,则认为预测值达到了攻击目的,反馈数据满足攻击成功的条件。当攻击成功时,认为该攻击算法对网络模型攻击成功了。
同样的,对于攻击失败,可以认为没到达到攻击成功条件时的反馈数据,都符合攻击失败的条件。也可以结合发送的业务请求的数量确定攻击失败,例如,当发送的m个业务请求均攻击失败时,认为这种攻击算法攻击失败。
当反馈数据满足预设的攻击失败条件时,攻击方平台A可以对攻击算法中的运行逻辑进行调整,基于调整后的攻击算法,继续向防御方平台B发送业务请求,也就是继续攻击网络模型,以便模拟真实的攻击行为。
当攻击方平台A基于一种或多种攻击算法向防御方平台B发送业务请求,也就是发起攻击一段时间后,攻击都失败了,攻击方平台A可以调整攻击算法,基于调整后的攻击算法继续向防御方平台B发起攻击。
如果在攻击方平台A接收到的针对不同的攻击算法的反馈数据中,存在满足预设的攻击成功条件的第一反馈数据时,将该第一反馈数据对应的第一攻击算法作为后续攻击使用的攻击算法,停止使用其他攻击算法。也就是说,当多个不同的攻击算法中,一旦出现某个攻击算法攻击成功了,则后续仅使用该攻击算法继续对防御方平台B进行攻击,其他攻击算法不再被使用了。
例如,攻击方平台使用攻击算法1、2和3向防御方平台B分别发送业务数据,当发现攻击算法2对应的反馈数据满足攻击成功的条件,则该反馈数据称为第一反馈数据,攻击算法2称为第一攻击算法。
在停止使用其他攻击算法之后,攻击方平台A后续继续基于第一攻击算法向防御方平台B发送业务请求。当后续接收到的针对第一攻击算法的反馈数据满足预设的攻击失败条件时,攻击方平台A可以再对第一攻击算法中的运行逻辑进行调整。在这种情况中,防御方平台B可能检测到了异常,并采取了相应的防御方案,弥补了漏洞,因此后续攻击方平台A使用的第一攻击算法的攻击行为会出现失败的情况。
真实的攻击方案受到攻击方平台A的运行环境的限制,例如受到攻击方平台A的内存大小、CPU的计算能力等资源限制。为了更接近于真实的攻击行为,可以对攻击方平台A的请求流量进行限制,分配给攻击方一定比例的请求流量,攻击方平台A进行攻击时所使用的流量不能超过这个限制。
例如,可以为每个攻击算法分配设定流量,多个攻击算法对应的设定流量的总和小于总设定流量。攻击方平台A基于多个不同的攻击算法,在不同的攻击算法对应的设定流量限制下,向防御方平台B分别发送业务请求。
攻击方平台A可以通过对请求流量的限制,实现对攻击算法的使用或停止使用。例如,可以基于总剩余流量,增大第一攻击算法对应的剩余流量,并将其他攻击算法对应的剩余流量设置为0,从而达到将第一攻击算法作为后续攻击使用的攻击算法,停止使用其他攻击算法的目的。具体的,可以将总剩余流量全部分配给第一攻击算法,也可以将总剩余流量中的部分分配给第一攻击算法。其他攻击算法的剩余流量全部流入总剩余流量中。
例如,为攻击方分配总共1000次业务请求,初始时为5个攻击算法各分配100次业务请求。在基于每个攻击算法发送的100次业务请求之内,如果有某个攻击算法a攻击成功了,那么剩余的业务请求全部分配给该攻击算法a,其他的攻击算法不再发送业务请求。如果在这100次业务请求之内,没有任何一个攻击算法攻击成功,则可以对这些攻击算法进行调整,继续利用剩余的500次业务请求进行攻击。
以上内容中,重点说明了针对攻击方模拟真实的攻击场景和攻击行为,对攻击算法进行调整的过程。在图2所示实施例中,对于防御方来说,同样可以模拟真实的场景,使其执行防御方案、进行防御升级等。该方法还可以包括步骤S240和S250。
在步骤S240中,防御方平台B在对业务请求的处理过程进行异常检测之后,当检测到异常时,还可以基于检测的异常信息执行预设的防御方案。预设的防御方案可以包括:将网络模型更换成具有类似功能的网络模型,或者拦截来自某个地址的业务请求等。
在步骤S250中,防御方平台B在执行预设的防御方案之后,当检测到异常未排除时调整该防御方案,继续执行调整后的防御方案。在调整防御方案时,可以采用重新训练网络模型的方式,或者设置黑名单、白名单的方式等。
针对防御方平台B,也可以设置对应的防御成功条件和防御失败条件。例如,在检测到异常后的设定时长内,如果异常未排除,则可以认为防御失败;如果异常被排除,则认为防御成功。
真实的防御方案受到防御方平台B的运行环境的限制,例如受到防御方平台B的内存大小、CPU的计算能力等资源限制。防御方平台B可以在设定的计算资源下对业务请求的处理过程进行异常检测,以及调整防御方案等。
在攻击方平台A和防御方平台B对抗一段时间之后,可以基于攻击方案攻破的次数和防御方案防御成功的次数作为评估指标,对仿真测试过程进行评估。
攻击方平台A,可以统计预设时段内攻击成功的次数k1,并将该次数k1发送至指定设备。防御方平台B,可以统计该预设时段内防御成功的次数k2,并将该次数k2发送至指定设备。指定设备,基于次数k1以及次数k2,对针对网络模型的攻防对抗仿真测试过程进行评估。指定设备可以是攻击方平台A和防御方平台B中的任意一个,也可以是第三方设备。
在上述实施例中,整个攻防是动态的。攻击方案一旦发现自己的攻击失败,就需要更新攻击方案,去尝试攻破防御;一旦成功,所有的攻击流量都可使用该攻击方法,提高攻击次数。防御方案一旦检测到被攻破,就需要更新防御方案去堵住攻击。
在上述实施例中,攻击方平台模拟实际业务场景,其攻击算法更可能攻破真实场景的网络模型,而不只是用于实验研究。同时,本实施例对攻击方的计算资源和计算耗时也有一定限制,强调攻击算法的时效性和计算成本,这些是真实攻击时要考虑的因素。
防御方面对的是贴近真实的攻击手段,在这种场景下研究出的防御方案更可能应用于实际业务场景。同时,仿真测试方法要求防御方案能够在被攻破时快速做出反应,更新、升级防御手段,及时堵住漏洞,否则,攻击方可使用成功的攻击方法无限攻破防御。在此平台上产生的防御方案更有可能应用于实际业务场景,进而提升网络模型的安全性和稳定性。
本说明书中,第一反馈数据、第一攻击算法等词语中的“第一”,仅仅是为了区分和描述方便,而不具有任何限定意义。
上述内容对本说明书的特定实施例进行了描述,其他实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行,并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的,或者可能是有利的。
图3为实施例提供的一种针对网络模型的攻防对抗仿真测试系统的示意性框图。该系统包括攻击方平台310和防御方平台320,网络模型部署在防御方平台320。其中,攻击方平台310和防御方平台320都可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来实现。该系统实施例与图2所示方法实施例相对应。该系统300包括:
攻击方平台310,用于基于攻击算法向防御方平台320发送业务请求,所述业务请求携带待预测的业务数据;
防御方平台320,用于接收攻击方平台310发送的业务请求,并通过所述网络模型确定所述业务数据的预测结果,基于所述预测结果向攻击方平台310发送反馈数据,对所述业务请求的处理过程进行异常检测;
攻击方平台310,用于接收防御方平台320针对所述业务请求发送的反馈数据,并在所述反馈数据满足预设条件时调整所述攻击算法,继续基于攻击算法向防御方平台320发送业务请求。
在一种实施方式中,防御方平台320还用于:
在对所述业务请求的处理过程进行异常检测之后,当检测到异常时,基于检测的异常信息执行预设的防御方案;在执行预设的防御方案之后,当检测到异常未排除时调整所述防御方案,继续执行调整后的防御方案。
在一种实施方式中,防御方平台320对业务请求的处理过程进行异常检测时,包括:
基于接收到的业务请求和/或对应的预测结果,进行异常检测。
在一种实施方式中,攻击方平台310在所述反馈数据满足预设条件时调整所述攻击算法时,包括:
当所述反馈数据满足预设的攻击失败条件时,对所述攻击算法中的运行逻辑进行调整。
在一种实施方式中,攻击方平台310基于攻击算法向防御方平台320发送业务请求时,包括:
基于多个不同的攻击算法向防御方平台320分别发送业务请求;
攻击方平台310,在所述反馈数据满足预设条件时调整所述攻击算法时,包括:
当接收到的针对不同的攻击算法的反馈数据中,存在满足预设的攻击成功条件的第一反馈数据时,将所述第一反馈数据对应的第一攻击算法作为后续攻击使用的攻击算法,停止使用其他攻击算法。
在一种实施方式中,攻击方平台310还用于:
在停止使用其他攻击算法之后,当后续接收到的针对所述第一攻击算法的反馈数据满足预设的攻击失败条件时,对所述第一攻击算法中的运行逻辑进行调整。
在一种实施方式中,攻击方平台310基于多个不同的攻击算法向防御方平台320分别发送业务请求时,包括:
基于多个不同的攻击算法,在不同的攻击算法对应的设定流量限制下,向防御方平台320分别发送业务请求;其中,多个攻击算法对应的设定流量的总和小于总设定流量。
在一种实施方式中,攻击方平台310将所述第一反馈数据对应的第一攻击算法作为后续攻击使用的攻击算法,停止使用其他攻击算法时,包括:
基于总剩余流量,增大所述第一攻击算法对应的剩余流量,并将其他攻击算法对应的剩余流量设置为0。
在一种实施方式中,攻击方平台310,还用于统计预设时段内攻击成功的次数,并将所述次数发送至指定设备;
防御方平台320,还用于统计所述预设时段内防御成功的次数,并将所述次数发送至所述指定设备,以使得所述指定设备基于攻击方平台310攻击成功的次数,以及防御方平台320防御成功的次数,对针对所述网络模型的攻防对抗仿真测试过程进行评估。
上述系统实施例与方法实施例相对应,具体说明可以参见方法实施例部分的描述,此处不再赘述。系统实施例是基于对应的方法实施例得到,与对应的方法实施例具有同样的技术效果,具体说明可参见对应的方法实施例。
本说明书实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行图1和图2任一项所述的方法。
本说明书实施例还提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现图1和图2任一项所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于存储介质和计算设备实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式,对本发明实施例的目的、技术方案和有益效果进行了进一步的详细说明。所应理解的是,以上所述仅为本发明实施例的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。

Claims (15)

1.一种针对网络模型的攻防对抗仿真测试方法,包括攻击方平台和防御方平台,所述网络模型部署在所述防御方平台,所述方法包括:
所述攻击方平台,基于攻击算法向所述防御方平台发送业务请求,所述业务请求携带待预测的业务数据;
所述防御方平台,接收所述攻击方平台发送的业务请求,并通过所述网络模型确定所述业务数据的预测结果,基于所述预测结果向所述攻击方平台发送反馈数据,对所述业务请求的处理过程进行异常检测;
所述攻击方平台,接收所述防御方平台针对所述业务请求发送的反馈数据,并在所述反馈数据满足预设条件时调整所述攻击算法,继续执行所述基于攻击算法向所述防御方平台发送业务请求的步骤。
2.根据权利要求1所述的方法,在对所述业务请求的处理过程进行异常检测之后,还包括:
当检测到异常时,基于检测的异常信息执行预设的防御方案;
在执行预设的防御方案之后,当检测到异常未排除时调整所述防御方案,继续执行调整后的防御方案。
3.根据权利要求1所述的方法,所述对所述业务请求的处理过程进行异常检测的步骤,包括:
基于接收到的业务请求和/或对应的预测结果,进行异常检测。
4.根据权利要求1所述的方法,所述在所述反馈数据满足预设条件时调整所述攻击算法的步骤,包括:
当所述反馈数据满足预设的攻击失败条件时,对所述攻击算法中的运行逻辑进行调整。
5.根据权利要求1所述的方法,所述基于攻击算法向所述防御方平台发送业务请求的步骤,包括:
基于多个不同的攻击算法向所述防御方平台分别发送业务请求;
所述在所述反馈数据满足预设条件时调整所述攻击算法的步骤,包括:
当接收到的针对不同的攻击算法的反馈数据中,存在满足预设的攻击成功条件的第一反馈数据时,将所述第一反馈数据对应的第一攻击算法作为后续攻击使用的攻击算法,停止使用其他攻击算法。
6.根据权利要求5所述的方法,在停止使用其他攻击算法之后,所述方法还包括:
当后续接收到的针对所述第一攻击算法的反馈数据满足预设的攻击失败条件时,对所述第一攻击算法中的运行逻辑进行调整。
7.根据权利要求5所述的方法,所述基于多个不同的攻击算法向所述防御方平台分别发送业务请求的步骤,包括:
基于多个不同的攻击算法,在不同的攻击算法对应的设定流量限制下,向所述防御方平台分别发送业务请求;其中,多个攻击算法对应的设定流量的总和小于总设定流量。
8.根据权利要求7所述的方法,所述将所述第一反馈数据对应的第一攻击算法作为后续攻击使用的攻击算法,停止使用其他攻击算法的步骤,包括:
基于总剩余流量,增大所述第一攻击算法对应的剩余流量,并将其他攻击算法对应的剩余流量设置为0。
9.根据权利要求1所述的方法,其中还包括:
所述攻击方平台,统计预设时段内攻击成功的次数,并将所述次数发送至指定设备;
所述防御方平台,统计所述预设时段内防御成功的次数,并将所述次数发送至所述指定设备;
所述指定设备,基于所述攻击方平台攻击成功的次数,以及所述防御方平台防御成功的次数,对针对所述网络模型的攻防对抗仿真测试过程进行评估。
10.一种针对网络模型的攻防对抗仿真测试系统,包括攻击方平台和防御方平台,所述网络模型部署在所述防御方平台,所述系统包括:
所述攻击方平台,用于基于攻击算法向所述防御方平台发送业务请求,所述业务请求携带待预测的业务数据;
所述防御方平台,用于接收所述攻击方平台发送的业务请求,并通过所述网络模型确定所述业务数据的预测结果,基于所述预测结果向所述攻击方平台发送反馈数据,对所述业务请求的处理过程进行异常检测;
所述攻击方平台,用于接收所述防御方平台针对所述业务请求发送的反馈数据,并在所述反馈数据满足预设条件时调整所述攻击算法,继续基于攻击算法向所述防御方平台发送业务请求。
11.根据权利要求10所述的系统,所述防御方平台还用于:
在对所述业务请求的处理过程进行异常检测之后,当检测到异常时,基于检测的异常信息执行预设的防御方案;在执行预设的防御方案之后,当检测到异常未排除时调整所述防御方案,继续执行调整后的防御方案。
12.根据权利要求10所述的系统,所述攻击方平台,基于攻击算法向所述防御方平台发送业务请求时,包括:
基于多个不同的攻击算法向所述防御方平台分别发送业务请求;
所述攻击方平台,在所述反馈数据满足预设条件时调整所述攻击算法时,包括:
当接收到的针对不同的攻击算法的反馈数据中,存在满足预设的攻击成功条件的第一反馈数据时,将所述第一反馈数据对应的第一攻击算法作为后续攻击使用的攻击算法,停止使用其他攻击算法。
13.根据权利要求10所述的系统,其中,
所述攻击方平台,还用于统计预设时段内攻击成功的次数,并将所述次数发送至指定设备;
所述防御方平台,还用于统计所述预设时段内防御成功的次数,并将所述次数发送至所述指定设备,以使得所述指定设备基于所述攻击方平台攻击成功的次数,以及所述防御方平台防御成功的次数,对针对所述网络模型的攻防对抗仿真测试过程进行评估。
14.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-9中任一项所述的方法。
15.一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-9中任一项所述的方法。
CN202210711294.3A 2022-06-22 2022-06-22 一种针对网络模型的攻防对抗仿真测试方法及系统 Pending CN114859758A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210711294.3A CN114859758A (zh) 2022-06-22 2022-06-22 一种针对网络模型的攻防对抗仿真测试方法及系统
PCT/CN2023/087367 WO2023246237A1 (zh) 2022-06-22 2023-04-10 一种针对网络模型的攻防对抗仿真测试方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210711294.3A CN114859758A (zh) 2022-06-22 2022-06-22 一种针对网络模型的攻防对抗仿真测试方法及系统

Publications (1)

Publication Number Publication Date
CN114859758A true CN114859758A (zh) 2022-08-05

Family

ID=82626197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210711294.3A Pending CN114859758A (zh) 2022-06-22 2022-06-22 一种针对网络模型的攻防对抗仿真测试方法及系统

Country Status (2)

Country Link
CN (1) CN114859758A (zh)
WO (1) WO2023246237A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116599762A (zh) * 2023-06-25 2023-08-15 北京五一嘉峪科技有限公司 一种分布式拒绝服务攻击攻防演练系统及方法
WO2023246237A1 (zh) * 2022-06-22 2023-12-28 支付宝(杭州)信息技术有限公司 一种针对网络模型的攻防对抗仿真测试方法及系统
CN117634501A (zh) * 2024-01-23 2024-03-01 青岛理工大学 一种计算机文件保密检查方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117650948B (zh) * 2024-01-29 2024-04-12 北京丈八网络安全科技有限公司 一种基于离散事件模型的网络攻防模拟仿真方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766315B (zh) * 2020-12-31 2024-03-29 湖南大学 一种用于测试人工智能模型鲁棒性的方法和系统
CN113688383B (zh) * 2021-08-31 2022-06-07 中科磐云(北京)科技有限公司 基于人工智能的攻击防御测试方法及人工智能分析系统
CN114338172B (zh) * 2021-12-30 2022-12-23 北京西普阳光科技股份有限公司 一种移动网络靶场系统以及网络流量攻击模拟方法
CN114579962A (zh) * 2022-02-15 2022-06-03 浙江大学 一种ai安全攻防测试方法
CN114859758A (zh) * 2022-06-22 2022-08-05 支付宝(杭州)信息技术有限公司 一种针对网络模型的攻防对抗仿真测试方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023246237A1 (zh) * 2022-06-22 2023-12-28 支付宝(杭州)信息技术有限公司 一种针对网络模型的攻防对抗仿真测试方法及系统
CN116599762A (zh) * 2023-06-25 2023-08-15 北京五一嘉峪科技有限公司 一种分布式拒绝服务攻击攻防演练系统及方法
CN117634501A (zh) * 2024-01-23 2024-03-01 青岛理工大学 一种计算机文件保密检查方法及系统

Also Published As

Publication number Publication date
WO2023246237A1 (zh) 2023-12-28

Similar Documents

Publication Publication Date Title
CN114859758A (zh) 一种针对网络模型的攻防对抗仿真测试方法及系统
JP7086972B2 (ja) 侵入検出のための継続的な学習
US10728265B2 (en) Cyber warning receiver
US10366231B1 (en) Framework for classifying an object as malicious with machine learning for deploying updated predictive models
CN113965404A (zh) 一种网络安全态势自适应主动防御系统及方法
EP4235523A1 (en) Identifying and correcting vulnerabilities in machine learning models
CN109194684B (zh) 一种模拟拒绝服务攻击的方法、装置及计算设备
Chernikova et al. Fence: Feasible evasion attacks on neural networks in constrained environments
CN110135166B (zh) 一种针对业务逻辑漏洞攻击的检测方法及系统
EP3920067B1 (en) Method and system for machine learning model testing and preventive measure recommendation
Cheng et al. A novel probabilistic matching algorithm for multi-stage attack forecasts
Nugraha et al. Performance evaluation of botnet detection using deep learning techniques
Leite et al. A hybrid and learning agent architecture for network intrusion detection
CN116318818A (zh) 网络安全智能决策自动编排响应方法及系统
JP2024517124A (ja) 機械学習、人工知能、および深層学習のユニットを保護するためのデバイス、システム、および方法
EP3961520A1 (en) Method and system for secure online-learning against data poisoning attack
Khorshidpour et al. Learning a secure classifier against evasion attack
Bhingarkar et al. An effective optimization enabled deep learning based Malicious behaviour detection in cloud computing
He et al. Image-Based Zero-Day Malware Detection in IoMT Devices: A Hybrid AI-Enabled Method
US20220092176A1 (en) Apparatuses and methods for detecting malware
US20230259619A1 (en) Inference apparatus, inference method and computer-readable storage medium
CN113595986A (zh) 一种基于智能合约防火墙框架的智能合约拦截方法及装置
US20240160744A1 (en) Identifying and assessing costs associated with correcting vulnerabilities in machine learning models
KR102111136B1 (ko) 대응지시서를 생성하고, 적용 결과를 분석하는 방법, 감시장치 및 프로그램
CN115001771B (zh) 基于自动更新的验证码防御方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination