CN116501649B - 一种基于先验信息的跟踪器黑盒攻击方法及系统 - Google Patents
一种基于先验信息的跟踪器黑盒攻击方法及系统 Download PDFInfo
- Publication number
- CN116501649B CN116501649B CN202310754941.3A CN202310754941A CN116501649B CN 116501649 B CN116501649 B CN 116501649B CN 202310754941 A CN202310754941 A CN 202310754941A CN 116501649 B CN116501649 B CN 116501649B
- Authority
- CN
- China
- Prior art keywords
- attack
- tracker
- characteristic
- area
- channels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004088 simulation Methods 0.000 claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims description 5
- 235000000332 black box Nutrition 0.000 description 11
- 238000013461 design Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008260 defense mechanism Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于先验信息的跟踪器黑盒攻击方法及系统，方法包括：基于跟踪器预测的包围框坐标，确定模拟攻击区域；基于Encoder‑Decoder模型中的Encoder计算模拟攻击区域的特征通道；根据特征通道的重要性策略交换若干个特征通道，并基于Encoder‑Decoder模型中的Decoder对交换后的特征通道进行重建，生成模拟对抗攻击区域；基于模拟对抗攻击区域替换图像区域得到对抗帧，根据跟踪器在对抗帧上的预测结果评估跟踪器性能。本发明利用Encoder‑Decoder模型对帧中的区域进行编码重建，并提出特征通道替换策略，仅需交换若干特征通道，就能使攻击后得到的视频帧图像具有对抗攻击能力。
Description
技术领域
本发明涉及目标跟踪安全技术领域，尤其涉及一种基于先验信息的跟踪器黑盒攻击方法及系统。
背景技术
随着软硬件技术的不断进步，基于深度学习的跟踪器广泛应用于自动驾驶或者视频监控场景。近年来经过研究发现，在跟踪器应用过程中，攻击者对跟踪器实施对抗攻击会使得跟踪器无法正常的工作。如何模拟现实场景下攻击者的攻击行为，评估跟踪器在现实场景中的性能，是目前针对跟踪器的对抗攻击方法研究的重点。现有的利用对抗攻击评估跟踪器性能的方法可划分为白盒和黑盒攻击方法，白盒攻击方法通过利用跟踪器的参数和输出内容，设计不同的扰动，干扰视频中的不同帧图像，从而影响跟踪器的性能。现实场景下，攻击者无法获得跟踪器的参数，因此白盒攻击方法虽然有较好的攻击性能，但不能模拟攻击者在现实场景下的攻击。其次，黑盒攻击只能通过跟踪器输出的信息，设计攻击策略，通过多次查询和反馈，调整视频帧图像的像素，实现对抗攻击。目前黑盒攻击方法较少性能较差，同时多次查询跟踪器结果会导致攻击较低等问题。
因此，现有的用于评估跟踪器性能的对抗攻击方法仍然需要改进和提升。现有技术还有待改进和提高。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于先验信息的跟踪器黑盒攻击方法及系统，旨在提供解决现有技术中黑盒攻击方法较少性能较差，同时多次查询跟踪器结果会导致攻击较低等问题。
第一方面，本发明提供一种基于先验信息的跟踪器黑盒攻击方法，其中，所述方法包括：
基于跟踪器预测的包围框坐标，确定模拟攻击区域；
基于Encoder-Decoder模型中的Encoder计算所述模拟攻击区域的特征通道；
根据所述特征通道的重要性策略交换若干个特征通道，并基于Encoder-Decoder模型中的Decoder对交换后的特征通道进行重建，生成模拟对抗攻击区域；
基于模拟对抗攻击区域替换对应的图像区域得到对抗帧，根据所述跟踪器在对抗帧上的预测结果评估跟踪器性能。
在一种实现方式中，所述基于跟踪器预测的包围框坐标，确定模拟攻击区域，包括：
所述跟踪器在上一帧和当前帧分别预测得到第一包围框坐标和第二包围框坐标；
在所述当前帧中，基于所述第一包围框坐标和第二包围框坐标分别得到第一模拟攻击区域和第二模拟攻击区域。
在一种实现方式中，所述基于Encoder-Decoder模型中的Encoder计算所述模拟攻击区域的特征通道，包括：
分别将所述第一模拟攻击区域和所述第二模拟攻击区域输入至所述Encoder进行编码，得到第一特征通道和第二特征通道。
在一种实现方式中，所述根据所述特征通道的重要性策略交换若干个特征通道，包括：
分别计算所述第一特征通道与所述第二特征通道的重要性，得到所述第一特征通道的第一重要性结果和所述第二特征通道的第二重要性结果；
根据所述第一重要性结果和所述第二重要性结果，交换若干个特征通道。
在一种实现方式中，所述根据所述第一重要性结果和所述第二重要性结果，交换若干个特征通道，包括：
基于所述第一重要性结果和所述第二重要性结果，对所述第一特征通道与所述第二特征通道进行降序排序；
将降序排序后的第一特征通道与第二特征通道中的若干个对应的特征通道进行交换，得到交换后的第一特征通道与交换后的第二特征通道。
在一种实现方式中，所述基于Encoder-Decoder模型中的Decoder对交换后的特征通道进行重建，生成模拟对抗攻击区域，包括：
将交换后的第一特征通道与交换后的第二特征通道输入至所述Decoder中进行重建，生成第一模拟对抗攻击区域与第二模拟对抗攻击区域。
在一种实现方式中，所述基于模拟对抗攻击区域替换对应的图像区域得到对抗帧，包括：
将所述第一模拟对抗攻击区域与所述第二模拟对抗攻击区域替换所述当前帧中对应的图像区域，得到所述对抗帧。
第二方面，本发明实施例还提供一种基于先验信息的跟踪器黑盒攻击系统，其中，所述系统包括：
攻击区域确定模块，用于基于跟踪器预测的包围框坐标，确定模拟攻击区域；
特征通道计算模块，用于基于Encoder-Decoder模型中的Encoder计算所述模拟攻击区域的特征通道；
对抗攻击生成模块，用于根据所述特征通道的重要性策略交换若干个特征通道，并基于Encoder-Decoder模型中的Decoder对交换后的特征通道进行重建，生成模拟对抗攻击区域；
目标跟踪模块，用于基于模拟对抗攻击区域替换对应的图像区域得到对抗帧，根据所述跟踪器在对抗帧上的预测结果评估跟踪器性能。
第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行基于先验信息的跟踪器黑盒攻击程序，处理器执行基于先验信息的跟踪器黑盒攻击程序时，实现上述方案中任一项所述的基于先验信息的跟踪器黑盒攻击方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质上存储有基于先验信息的跟踪器黑盒攻击程序，所述者基于先验信息的跟踪器黑盒攻击程序被处理器执行时，实现上述方案中任一项所述的基于先验信息的跟踪器黑盒攻击方法的步骤。
有益效果：与现有技术相比，本发明提供了一种基于先验信息的跟踪器黑盒攻击方法，本发明基于跟踪器预测的包围框坐标，确定模拟攻击区域；基于Encoder-Decoder模型中的Encoder计算所述模拟攻击区域的特征通道；根据所述特征通道的重要性策略交换若干个特征通道，并基于Encoder-Decoder模型中的Decoder对交换后的特征通道进行重建，生成模拟对抗攻击区域；基于模拟对抗攻击区域替换对应的图像区域得到对抗帧，根据所述跟踪器在对抗帧上的预测结果评估跟踪器性能。本发明提出利用Encoder-Decoder模型对帧中的区域进行编码重建，并在重建生成过程，提出特征通道替换策略，仅需交换若干特征通道，就能使攻击后得到的视频帧图像具有对抗攻击能力。
附图说明
图1为本发明实施例提供的基于先验信息的跟踪器黑盒攻击方法的具体实施方式的流程图。
图2为本发明实施例提供的基于先验信息的跟踪器黑盒攻击方法的示例图。
图3为本发明实施例提供的基于先验信息的跟踪器黑盒攻击系统的功能原理图。
图4为本发明实施例提供的终端设备的原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
目前行业中已经有相关评估跟踪器性能的对抗攻击方法，可以按照攻击者拥有的知识，对抗攻击方法可划分为白盒攻击和黑盒攻击。白盒攻击：攻击者可以获得跟踪器的参数和预测结果，通过利用这些信息构建攻击策略。例如，FAN方法，根据跟踪器在视频帧搜索区域的 response map 设计Drift Loss和Embedded Feature Loss，然后利用设计的loss训练一个生成对抗网络 (GAN, Generative Adversarial Networks)用于生成对抗扰动。该方法生成的扰动能够使跟踪器预测结果发生偏移，具有较好的攻击能力。但该方法只能针对基于siamese架构的跟踪器进行攻击，其次该方法在训练GAN时，会用到跟踪器的参数信息，因此在现实场景下，该攻击具有局限性。黑盒攻击：攻击者只能通过跟踪器输出的信息构建攻击策略，例如IoU Attack方法根据跟踪器输出的预测包围框的IoU score，设计扰动生成策略，通过降低预测包围框的IoU score，使跟踪器预测包围框漂移。该方法是目前为数不多针对跟踪器的黑盒攻击，但该方法攻击性能有限，并且该方法需要多次查询跟踪器预测结果，所以效率有待提升。
本实施例能够在现实场景下，仅利用跟踪器输出的预测的包围框信息设计攻击策略，干扰视频帧的特定区域，相比于现有的黑盒攻击方法具有较好的攻击性能，较高的攻击效率以及修改帧像素较少等优点。具体应用时，本实施例基于跟踪器预测的包围框坐标，确定模拟攻击区域；基于Encoder-Decoder模型中的Encoder计算所述模拟攻击区域的特征通道；根据所述特征通道的重要性策略交换若干个特征通道，并基于Encoder-Decoder模型中的Decoder对交换后的特征通道进行重建，生成模拟对抗攻击区域；基于模拟对抗攻击区域替换对应的图像区域得到对抗帧，根据所述跟踪器在对抗帧上的预测结果评估跟踪器性能。本实施例提出利用Encoder-Decoder模型对帧中的区域进行编码重建，并在重建生成过程，提出特征通道替换策略，仅需交换若干特征通道，就能使攻击后得到的视频帧图像具有对抗攻击能力。
示例性方法
本实施例的基于先验信息的跟踪器黑盒攻击方法可应用于终端设备中，所述终端设备可为电脑、手机等智能化产品终端。如图1中所示，所述基于先验信息的跟踪器黑盒攻击方法，包括：
步骤S100、基于跟踪器预测的包围框坐标，确定模拟攻击区域。
具体地，本实施例的跟踪器在上一帧和当前帧分别预测得到第一包围框坐标和第二包围框坐标。然后，在所述当前帧中，基于所述第一包围框坐标和第二包围框坐标分别得到第一模拟攻击区域和第二模拟攻击区域。比如，跟踪器在上一帧和当前帧/>预测的第一包围框坐标/>和第二包围框坐标/>。接着，在当前帧图像区域中,利用第一包围框坐标/>和第二包围框坐标/>截取得到第一模拟攻击区域和第二模拟攻击区域/>（/>,）。
步骤S200、基于Encoder-Decoder模型中的Encoder计算所述模拟攻击区域的特征通道。
在本实施例中，如图2中所示，本实施例分别将所述第一模拟攻击区域和所述第二模拟攻击区域输入至所述Encoder进行编码，得到第一特征通道和第二特征通道。即，得到的第一模拟攻击区域和第二模拟攻击区域/>输入到Encoder中进行编码，得到对应的第一特征通道/>和第二特征通道/>。
步骤S300、根据所述特征通道的重要性策略交换若干个特征通道，并基于Encoder-Decoder模型中的Decoder对交换后的特征通道进行重建，生成模拟对抗攻击区域。
本实施例分别计算所述第一特征通道与所述第二特征通道的重要性，得到所述第一特征通道的第一重要性结果和所述第二特征通道的第二重要性结果。然后，根据所述第一重要性结果和所述第二重要性结果，交换若干个特征通道。在进行特性通道交换时，本实施例基于所述第一重要性结果和所述第二重要性结果的大小关系，对所述第一特征通道与所述第二特征通道/>进行降序排序。然后将降序排序后的第一特征通道与第二特征通道中的若干个（比如前五个）对应的特征通道进行交换，得到交换后的第一特征通道/>与交换后的第二特征通道/>。
第一重要性结果和第二重要性结果可以利用很多种方法得到，例如分别利用第一特征通道和第二特征通道的L2范式距离求解得到，或者分别利用第一特征通道和第二特征通道绝对值差值对比方法等获得重要性结果。
步骤S400、基于模拟对抗攻击区域替换对应的图像区域得到对抗帧，根据所述跟踪器在对抗帧上的预测结果评估跟踪器性能。
具体地，本实施例将交换后的第一特征通道与交换后的第二特征通道/>输入至所述Decoder中进行重建，生成第一模拟对抗攻击区域/>与第二对抗模拟攻击区域/>。然后将所述第一模拟对抗攻击区域/>与所述第二模拟对抗攻击区域/>替换所述当前帧/>中对应的图像区域，得到所述对抗帧/>。根据所述跟踪器在对抗帧/>上的预测结果评估跟踪器性能。由于本实施例修改了视频帧的图像，得到对抗帧（即视频帧特定区域加了特定的扰动），攻击后得到的对抗帧会替换原来的帧，从而跟踪器在对抗帧进行目标跟踪时，会干扰跟踪器的预测结果，根据预测结果可以评估跟踪器的性能。
将现有的跟踪器在原始数据上的结果和利用本发明方法攻击跟踪器后的结果进行比较，能够判断跟踪器性能的鲁棒性。例如，原始结果和攻击后的结果，跟踪器性能变化较少，说明跟踪器足够鲁棒，反之，说明跟踪器存在被攻击的危险，需要进一步改进。
本发明的攻击方法能够有效的模拟现实场景下黑客攻击的方法，评估跟踪器性能是否鲁棒，从而帮助开发者在后续设计跟踪器算法时，能够考虑跟踪器面对这种黑客攻击行为时，跟踪器的防御机制设计。
由此可见，本实施例能够结合跟踪任务的特性，利用跟踪器在跟踪目标位置选择上的先验偏置选择合适的图像区域进行攻击，减少了攻击的难度。区别于其他对抗攻击方式，本发明提出利用Encoder-Decoder模型对帧中的区域进行编码重建，并在重建生成过程，提出特征通道替换策略，仅需交换若干特征通道，就能使攻击后得到的视频帧图像具有对抗攻击能力。本实施例不受跟踪器类型限制，在多种类型的跟踪器具有较好的攻击性能。
示例性系统
基于上述实施例，本发明还提供一种基于先验信息的跟踪器黑盒攻击系统，如图3中所示，所述系统包括：攻击区域确定模块10、特征通道计算模块20、对抗攻击生成模块30以及目标跟踪模块40。具体地，所述攻击区域确定模块10，用于基于跟踪器预测的包围框坐标，确定模拟攻击区域。所述特征通道计算模块20，用于基于Encoder-Decoder模型中的Encoder计算所述模拟攻击区域的特征通道。所述对抗攻击生成模块30，用于根据所述特征通道的重要性策略交换若干个特征通道，并基于Encoder-Decoder模型中的Decoder对交换后的特征通道进行重建，生成模拟对抗攻击区域。所述目标跟踪模块40，用于基于模拟对抗攻击区域替换对应的图像区域得到对抗帧，根据所述跟踪器在对抗帧上的预测结果评估跟踪器性能。
在一种实现方式中，所述攻击区域确定模块10，包括：
坐标预测单元，用于所述跟踪器在上一帧和当前帧分别预测得到第一包围框坐标和第二包围框坐标；
区域确定单元，用于在所述当前帧中，基于所述第一包围框坐标和第二包围框坐标分别得到第一模拟攻击区域和第二模拟攻击区域。
在一种实现方式中，所述特征通道计算模块20，包括：
编码单元，用于分别将所述第一模拟攻击区域和所述第二模拟攻击区域输入至所述Encoder进行编码，得到第一特征通道和第二特征通道。
在一种实现方式中，所述对抗攻击生成模块30，包括：
重要性计算单元，用于分别计算所述第一特征通道与所述第二特征通道的重要性，得到所述第一特征通道的第一重要性结果和所述第二特征通道的第二重要性结果；
通道交换单元，用于根据所述第一重要性结果和所述第二重要性结果，交换若干个特征通道。
在一种实现方式中，所述通道交换单元，包括：
通道排序子单元，用于基于所述第一重要性结果和所述第二重要性结果，对所述第一特征通道与所述第二特征通道进行降序排序；
通道交换子单元，用于将降序排序后的第一特征通道与第二特征通道中的若干个对应的特征通道进行交换，得到交换后的第一特征通道与交换后的第二特征通道。
在一种实现方式中，所述对抗攻击生成模块30，包括：
模拟对抗区域确定单元，用于将交换后的第一特征通道与交换后的第二特征通道输入至所述Decoder中进行重建，生成第一模拟对抗攻击区域与第二模拟对抗攻击区域。
在一种实现方式中，所述目标跟踪模块40，包括：
对抗帧生成单元，用于将所述第一模拟对抗攻击区域与所述第二模拟对抗攻击区域替换所述当前帧中对应的图像区域，得到所述对抗帧。
本实施例的基于先验信息的跟踪器黑盒攻击系统中各个模块的工作原理与上述方法实施例中各个步骤的原理相同，此处不再赘述。
基于上述实施例，本发明还提供了一种终端设备，所述终端设备的原理框图可以如图4所示。终端设备可以包括一个或多个处理器100（图4中仅示出一个），存储器101以及存储在存储器101中并可在一个或多个处理器100上运行的计算机程序102，例如，基于先验信息的跟踪器黑盒攻击程序。一个或多个处理器100执行计算机程序102时可以实现基于先验信息的跟踪器黑盒攻击系统实施例中各模块/单元的功能，此处不作限制。
在一个实施例中，所述处理器100可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在一个实施例中，存储器101可以是电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器101也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡（smart media card，SMC），安全数字（secure digital，SD）卡，闪存卡（flash card）等。进一步地，存储器101还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器101用于存储计算机程序以及终端设备所需的其他程序和数据。存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
本领域技术人员可以理解，图4中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、运营数据库或其它介质的任何引用，均可包括非易失性和易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双运营数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (5)
1.一种基于先验信息的跟踪器黑盒攻击方法，其特征在于，所述方法包括：
基于跟踪器预测的包围框坐标，确定模拟攻击区域，包括：
所述跟踪器在上一帧和当前帧分别预测得到第一包围框坐标和第二包围框坐标；
在所述当前帧中，基于所述第一包围框坐标和第二包围框坐标分别得到第一模拟攻击区域和第二模拟攻击区域；
基于Encoder-Decoder模型中的Encoder计算所述模拟攻击区域的特征通道，包括：
分别将所述第一模拟攻击区域和所述第二模拟攻击区域输入至所述Encoder进行编码，得到第一特征通道和第二特征通道；
根据所述特征通道的重要性策略交换若干个特征通道，包括：
分别计算所述第一特征通道与所述第二特征通道的重要性，得到所述第一特征通道的第一重要性结果和所述第二特征通道的第二重要性结果；
根据所述第一重要性结果和所述第二重要性结果，交换若干个特征通道，包括：
基于所述第一重要性结果和所述第二重要性结果，对所述第一特征通道与所述第二特征通道进行降序排序；
将降序排序后的第一特征通道与第二特征通道中的若干个对应的特征通道进行交换，得到交换后的第一特征通道与交换后的第二特征通道；
基于Encoder-Decoder模型中的Decoder对交换后的特征通道进行重建，生成模拟对抗攻击区域，包括：
将交换后的第一特征通道与交换后的第二特征通道输入至所述Decoder中进行重建，生成第一模拟对抗攻击区域与第二模拟对抗攻击区域；
基于模拟对抗攻击区域替换对应的图像区域得到对抗帧，根据所述跟踪器在对抗帧上的预测结果评估跟踪器性能；
根据评估得到的跟踪器性能确定对应的黑盒攻击对抗方式。
2.根据权利要求1所述的基于先验信息的跟踪器黑盒攻击方法，其特征在于，所述基于模拟对抗攻击区域替换对应的图像区域得到对抗帧，包括：
将所述第一模拟对抗攻击区域与所述第二模拟对抗攻击区域替换所述当前帧中对应的图像区域，得到所述对抗帧。
3.一种基于先验信息的跟踪器黑盒攻击系统，其特征在于，所述系统包括：
攻击区域确定模块，用于基于跟踪器预测的包围框坐标，确定模拟攻击区域，包括：
所述跟踪器在上一帧和当前帧分别预测得到第一包围框坐标和第二包围框坐标；
在所述当前帧中，基于所述第一包围框坐标和第二包围框坐标分别得到第一模拟攻击区域和第二模拟攻击区域；
特征通道计算模块，用于基于Encoder-Decoder模型中的Encoder计算所述模拟攻击区域的特征通道，包括：
分别将所述第一模拟攻击区域和所述第二模拟攻击区域输入至所述Encoder进行编码，得到第一特征通道和第二特征通道；
对抗攻击生成模块，用于根据所述特征通道的重要性策略交换若干个特征通道，包括：
分别计算所述第一特征通道与所述第二特征通道的重要性，得到所述第一特征通道的第一重要性结果和所述第二特征通道的第二重要性结果；
根据所述第一重要性结果和所述第二重要性结果，交换若干个特征通道，包括：
基于所述第一重要性结果和所述第二重要性结果，对所述第一特征通道与所述第二特征通道进行降序排序；
将降序排序后的第一特征通道与第二特征通道中的若干个对应的特征通道进行交换，得到交换后的第一特征通道与交换后的第二特征通道；
基于Encoder-Decoder模型中的Decoder对交换后的特征通道进行重建，生成模拟对抗攻击区域，包括：
将交换后的第一特征通道与交换后的第二特征通道输入至所述Decoder中进行重建，生成第一模拟对抗攻击区域与第二模拟对抗攻击区域；
目标跟踪模块，用于基于模拟对抗攻击区域替换对应的图像区域得到对抗帧，根据所述跟踪器在对抗帧上的预测结果评估跟踪器性能。
4.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于先验信息的跟踪器黑盒攻击程序，所述处理器执行所述基于先验信息的跟踪器黑盒攻击程序时，实现如权利要求1-2任一项所述的基于先验信息的跟踪器黑盒攻击方法的步骤。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于先验信息的跟踪器黑盒攻击程序，所述基于先验信息的跟踪器黑盒攻击程序被处理器执行时，实现如权利要求1-2任一项所述的基于先验信息的跟踪器黑盒攻击方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310754941.3A CN116501649B (zh) | 2023-06-26 | 2023-06-26 | 一种基于先验信息的跟踪器黑盒攻击方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310754941.3A CN116501649B (zh) | 2023-06-26 | 2023-06-26 | 一种基于先验信息的跟踪器黑盒攻击方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116501649A CN116501649A (zh) | 2023-07-28 |
| CN116501649B true CN116501649B (zh) | 2023-10-03 |
Family
ID=87320509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310754941.3A Active CN116501649B (zh) | 2023-06-26 | 2023-06-26 | 一种基于先验信息的跟踪器黑盒攻击方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116501649B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003029922A2 (en) * | 2001-10-01 | 2003-04-10 | Kline & Walker, Llc | Pfn/trac system faa upgrades for accountable remote and robotics control |
| CN113111963A (zh) * | 2021-04-23 | 2021-07-13 | 清华大学深圳国际研究生院 | 一种黑盒攻击行人重识别系统的方法 |
| CN115292722A (zh) * | 2022-10-09 | 2022-11-04 | 浙江君同智能科技有限责任公司 | 基于不同色彩空间的模型安全检测方法和装置 |
| WO2023030513A1 (zh) * | 2021-09-05 | 2023-03-09 | 汉熵通信有限公司 | 物联网系统 |
| CN116309700A (zh) * | 2023-02-03 | 2023-06-23 | 南京信息工程大学 | 一种基于孪生网络的目标跟踪通用鲁棒对抗攻击方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4244767A1 (en) * | 2020-11-16 | 2023-09-20 | Umnai Limited | Method for an explainable autoencoder and an explainable generative adversarial network |
| US20230084333A1 (en) * | 2021-08-31 | 2023-03-16 | Naver Corporation | Adversarial generation method for training a neural model |
-
2023
- 2023-06-26 CN CN202310754941.3A patent/CN116501649B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003029922A2 (en) * | 2001-10-01 | 2003-04-10 | Kline & Walker, Llc | Pfn/trac system faa upgrades for accountable remote and robotics control |
| CN113111963A (zh) * | 2021-04-23 | 2021-07-13 | 清华大学深圳国际研究生院 | 一种黑盒攻击行人重识别系统的方法 |
| WO2023030513A1 (zh) * | 2021-09-05 | 2023-03-09 | 汉熵通信有限公司 | 物联网系统 |
| CN115292722A (zh) * | 2022-10-09 | 2022-11-04 | 浙江君同智能科技有限责任公司 | 基于不同色彩空间的模型安全检测方法和装置 |
| CN116309700A (zh) * | 2023-02-03 | 2023-06-23 | 南京信息工程大学 | 一种基于孪生网络的目标跟踪通用鲁棒对抗攻击方法 |
Non-Patent Citations (1)
| Title |
|---|
| 多媒体模型对抗攻防综述;陈凯;计算机科学;第27-39页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116501649A (zh) | 2023-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10681367B2 (en) | Intra-prediction video coding method and device | |
| CN110824587B (zh) | 图像预测方法、装置、计算机设备和存储介质 | |
| US11269522B2 (en) | Private data analytics | |
| CN113112542A (zh) | 一种视觉定位方法、装置、电子设备及存储介质 | |
| KR20210093820A (ko) | 고해상도 객체 검출장치 및 방법 | |
| CN111950419A (zh) | 图像信息预测方法、装置、计算机设备和存储介质 | |
| JP6507843B2 (ja) | 映像解析方法及び映像解析装置 | |
| CN116501649B (zh) | 一种基于先验信息的跟踪器黑盒攻击方法及系统 | |
| TWI647624B (zh) | 辨識系統、辨識方法及非暫態電腦可讀取媒體 | |
| CN111221734B (zh) | 一种图形接口的验证方法、装置及计算机存储介质 | |
| CN110992387B (zh) | 一种图像处理方法、装置及电子设备和存储介质 | |
| CN107851175B (zh) | 图像识别加速器、终端设备及图像识别方法 | |
| CN114998814B (zh) | 目标视频生成方法、装置、计算机设备和存储介质 | |
| US20140133569A1 (en) | Method for selecting a matching block | |
| CN110427816B (zh) | 物体检测方法、装置、计算机设备和存储介质 | |
| KR102080145B1 (ko) | 오토 엔코더의 잠재 변수 사전을 이용한 물체 자세 추정 방법 장치 | |
| CN110990852B (zh) | 大数据安全防护方法、装置、服务器及可读存储介质 | |
| CN111310906B (zh) | 神经形态芯片中计算核的布局的方法、装置及设备 | |
| CN116488943B (zh) | 多媒体数据泄露溯源检测方法、装置及设备 | |
| KR102177445B1 (ko) | 오토 엔코더의 잠재 변수 사전을 이용한 물체 자세 추정 방법 장치 | |
| CN117851959B (zh) | 基于fhgs的动态网络子图异常检测方法、装置和设备 | |
| CN116527908B (zh) | 运动场估计方法、装置、计算机设备和存储介质 | |
| US9866844B2 (en) | Method, system and device for image and video coding | |
| CN117853513A (zh) | 一种图像处理方法、装置、电子设备和计算机存储介质 | |
| CN116630629A (zh) | 基于域适应的语义分割方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |