CN113283545B - 一种针对视频识别场景的物理干扰方法及系统 - Google Patents

一种针对视频识别场景的物理干扰方法及系统 Download PDF

Info

Publication number
CN113283545B
CN113283545B CN202110797548.3A CN202110797548A CN113283545B CN 113283545 B CN113283545 B CN 113283545B CN 202110797548 A CN202110797548 A CN 202110797548A CN 113283545 B CN113283545 B CN 113283545B
Authority
CN
China
Prior art keywords
video
interference
sample
frame
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110797548.3A
Other languages
English (en)
Other versions
CN113283545A (zh
Inventor
刘小垒
李璐璇
胡腾
王玉龙
杨润
辛邦洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
COMPUTER APPLICATION RESEARCH INST CHINA ACADEMY OF ENGINEERING PHYSICS
Original Assignee
COMPUTER APPLICATION RESEARCH INST CHINA ACADEMY OF ENGINEERING PHYSICS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by COMPUTER APPLICATION RESEARCH INST CHINA ACADEMY OF ENGINEERING PHYSICS filed Critical COMPUTER APPLICATION RESEARCH INST CHINA ACADEMY OF ENGINEERING PHYSICS
Priority to CN202110797548.3A priority Critical patent/CN113283545B/zh
Publication of CN113283545A publication Critical patent/CN113283545A/zh
Application granted granted Critical
Publication of CN113283545B publication Critical patent/CN113283545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种针对视频识别场景的物理干扰方法及系统，属于信息安全测试技术领域，解决现有技术在网络层面对视频进行干扰，干扰效果差的问题。本发明基于获取的已授权的摄像设备的视频、白盒分类系统和对抗样本生成系统在网络层获取初始的视频对抗样本；基于初始化的视频对抗样本，利用白盒分类系统对干扰进行优化，生成网络层面最终的视频对抗样本，即视频的通用干扰值；获取视频前，基于最终的视频对抗样本调节摄像设备在RGB通道的可调节滤镜，形成物理干扰。本发明用于对视频识别场景的物理干扰。

Description

一种针对视频识别场景的物理干扰方法及系统
技术领域
本发明涉及信息安全测试技术领域，提供了一种针对视频识别场景的物理干扰方法及系统，用于对视频识别场景的物理干扰。
背景技术
随着DNN（深度神经网络）在图像、视频识别领域的快速发展，一系列实用性技术成果已经开始投入使用，便利人民生活。但是，此类技术也给不良商家恶意收集他人信息提供了途径，例如增设私人监视设备获取大众行为数据、黑入私人计算机获取个人摄像头权限以获得个人信息等一系列损害个人隐私安全的行为。因此，如何保护个人隐私安全成为了当前时代迫切和必须解决的问题。
解决此问题最有效的方法是：在视频识别时能够有效地进行对外干扰，从而使得识别系统无法获取有效数据。该方法的前提是生成视频对抗样本以形成干扰。而目前对于视频对抗样本的研究较少，且其主要干扰方式是在获取到的视频上增加干扰以形成对抗样本，即在获取到视频数据后，在网络层面形成干扰效果，例如加入黑点噪声干扰技术和随机噪声干扰技术。这种方式存在明显的滞后性问题。
综上所述，现有技术存在如下技术问题：
1. 干扰都是在网络层面形成的，每进行一次干扰都需要计算，而计算过程需要算力；
2.在网络层生成干扰存在滞后性，并且干扰是基于传输的视频流，在传输时不存有干扰效果 ；
3.无法实时的在摄像设备上形成干扰，是因为针对保护个人隐私这一场景，摄像设备一定不是随时都开着的，所以无法在未启动的设备上形成干扰。
发明内容
针对上述研究的问题，本发明的目的在于提供一种针对视频识别场景的物理干扰方法及系统，解决现有技术在网络层面对视频进行干扰，干扰效果差的问题。
为了达到上述目的，本发明采用如下技术方案：
一种针对视频识别场景的物理干扰方法，包括：
步骤1：基于获取的已授权的摄像设备的视频、白盒分类系统和对抗样本生成系统在网络层获取初始的视频对抗样本；
步骤2：基于初始化的视频对抗样本，利用白盒分类系统对干扰进行优化，优化后生成网络层面最终的视频对抗样本，即视频的通用干扰值；
步骤3：获取视频前，基于最终的视频对抗样本调节摄像设备在RGB通道的可调节滤镜，形成物理干扰。
进一步，所述步骤 1的具体步骤为：
步骤1.1：从已授权的摄像设备中获取一段视频
Figure 799801DEST_PATH_IMAGE001
，其中，
Figure 451362DEST_PATH_IMAGE002
表示视频，
Figure 27837DEST_PATH_IMAGE003
表示视频
Figure 157467DEST_PATH_IMAGE002
的帧数，
Figure 643943DEST_PATH_IMAGE004
表示视频
Figure 200827DEST_PATH_IMAGE002
的高度，
Figure 264597DEST_PATH_IMAGE005
表示视频
Figure 197918DEST_PATH_IMAGE002
的宽度，
Figure 40366DEST_PATH_IMAGE006
表示视频的颜色通道数，R表示实数域；
步骤1.2：将视频
Figure 768150DEST_PATH_IMAGE002
输入白盒分类系统，得到视频中各帧图像的分类结果的集合
Figure 53638DEST_PATH_IMAGE007
，其中，
Figure 790650DEST_PATH_IMAGE008
表示视频
Figure 986139DEST_PATH_IMAGE002
中第
Figure 947142DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 923188DEST_PATH_IMAGE010
表示视频
Figure 870416DEST_PATH_IMAGE002
中第
Figure 248307DEST_PATH_IMAGE003
帧图像的分类结果；
步骤1.3：将视频
Figure 380211DEST_PATH_IMAGE002
和集合
Figure 843554DEST_PATH_IMAGE011
输入到对抗样本生成系统，使每帧图像生成作用在RGB通道的对应像素点上的干扰，即扰动
Figure 594472DEST_PATH_IMAGE012
，将该扰动添加到视频上，得到初始化的视频对抗样本，其中，
Figure 826870DEST_PATH_IMAGE013
表示视频
Figure 395255DEST_PATH_IMAGE002
中第
Figure 80314DEST_PATH_IMAGE009
帧图像和分类结果
Figure 133459DEST_PATH_IMAGE008
输入到对抗样本生成系统得到的扰动，
Figure 220363DEST_PATH_IMAGE014
表示视频
Figure 959649DEST_PATH_IMAGE002
中第
Figure 132005DEST_PATH_IMAGE003
帧图像和分类结果
Figure 224725DEST_PATH_IMAGE010
输入到对抗样本生成系统得到的扰动。
进一步，所述步骤 2的具体步骤为：
S2.1：基于视频
Figure 431716DEST_PATH_IMAGE002
的每帧图像的分类结果
Figure 341903DEST_PATH_IMAGE008
对
Figure 1555DEST_PATH_IMAGE013
进行更新；
更新方式：
Figure 897966DEST_PATH_IMAGE015
其中，
Figure 693884DEST_PATH_IMAGE016
为损失函数，即Lossfuction，
Figure 774973DEST_PATH_IMAGE017
指损失函数沿每帧图片的颜色通道值梯度方向反向传播，
Figure 921920DEST_PATH_IMAGE018
为步长，
Figure 622023DEST_PATH_IMAGE019
，
Figure 538026DEST_PATH_IMAGE020
表示对
Figure 524437DEST_PATH_IMAGE013
的第几轮更新，
Figure 158680DEST_PATH_IMAGE003
为视频内的帧数，
Figure 898360DEST_PATH_IMAGE008
为视频内第
Figure 934449DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 91761DEST_PATH_IMAGE021
为视频内的第
Figure 213301DEST_PATH_IMAGE009
帧；
S2.2：固定循环轮数
Figure 255206DEST_PATH_IMAGE020
后得到的差值的绝对值小于给定的误差值eps，则不再更新，在所有循环结果中选出损失函数最大的一例对应的结果作为网络层面最终的视频对抗样本
Figure 880222DEST_PATH_IMAGE022
，即视频的通用干扰值
Figure 474015DEST_PATH_IMAGE023
。
进一步，所述步骤 3的具体步骤为：
获取视频前，将网络层面生成的通用干扰值
Figure 817271DEST_PATH_IMAGE023
传输给可调节滤镜,实现物理干扰。
一种针对视频识别场景的物理干扰系统，包括：
干扰模块：基于获取的已授权的摄像设备的视频、白盒分类系统和对抗样本生成系统在网络层获取初始的视频对抗样本；
优化模块：基于初始化的视频对抗样本，利用白盒分类系统对干扰进行优化，生成最终的视频对抗样本，即视频的通用干扰值；
物理干扰模块：获取视频前，基于最终的视频对抗样本调节摄像设备在RGB通道的可调节滤镜，形成物理干扰。
进一步，干扰模块从已授权的摄像设备中获取一段视频
Figure 662868DEST_PATH_IMAGE001
，其中，
Figure 407970DEST_PATH_IMAGE002
表示视频，
Figure 172663DEST_PATH_IMAGE003
表示视频
Figure 3216DEST_PATH_IMAGE002
的帧数，
Figure 386924DEST_PATH_IMAGE004
表示视频
Figure 783270DEST_PATH_IMAGE002
的高度，
Figure 656548DEST_PATH_IMAGE005
表示视频
Figure 239976DEST_PATH_IMAGE002
的宽度，
Figure 394752DEST_PATH_IMAGE006
表示视频的颜色通道数，R表示实数域；
将视频
Figure 380026DEST_PATH_IMAGE002
输入白盒分类系统，得到视频中各帧图像的分类结果的集合
Figure 486522DEST_PATH_IMAGE007
，其中，
Figure 963771DEST_PATH_IMAGE008
表示视频
Figure 17177DEST_PATH_IMAGE002
中第
Figure 388116DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 603197DEST_PATH_IMAGE010
表示视频
Figure 567741DEST_PATH_IMAGE002
中第
Figure 159260DEST_PATH_IMAGE003
帧图像的分类结果；
将视频
Figure 650284DEST_PATH_IMAGE002
和集合
Figure 36266DEST_PATH_IMAGE011
输入到对抗样本生成系统，使每帧图像生成作用在RGB通道的对应像素点上的干扰，即扰动
Figure 753686DEST_PATH_IMAGE012
，将该扰动添加到视频上，得到初始化的视频对抗样本，其中，
Figure 883316DEST_PATH_IMAGE013
表示视频
Figure 228847DEST_PATH_IMAGE002
中第
Figure 51309DEST_PATH_IMAGE009
帧图像和分类结果
Figure 491911DEST_PATH_IMAGE008
输入到对抗样本生成系统得到的扰动，
Figure 425232DEST_PATH_IMAGE014
表示视频
Figure 625270DEST_PATH_IMAGE002
中第
Figure 618633DEST_PATH_IMAGE003
帧图像和分类结果
Figure 45067DEST_PATH_IMAGE010
输入到对抗样本生成系统得到的扰动。
进一步，优化模块基于视频
Figure 516499DEST_PATH_IMAGE002
的每帧图像的分类结果
Figure 836622DEST_PATH_IMAGE008
对
Figure 887DEST_PATH_IMAGE013
进行更新；
更新方式：
Figure 649037DEST_PATH_IMAGE015
其中，
Figure 924161DEST_PATH_IMAGE016
为损失函数，即Lossfuction，
Figure 364370DEST_PATH_IMAGE017
指损失函数沿每帧图片的颜色通道值梯度方向反向传播，
Figure 433957DEST_PATH_IMAGE018
为步长，
Figure 834982DEST_PATH_IMAGE019
，
Figure 648217DEST_PATH_IMAGE020
表示对
Figure 942933DEST_PATH_IMAGE013
的第几轮更新，
Figure 183421DEST_PATH_IMAGE003
为视频内的帧数，
Figure 570278DEST_PATH_IMAGE008
为视频内第
Figure 187204DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 336425DEST_PATH_IMAGE021
为视频内的第
Figure 13394DEST_PATH_IMAGE009
帧；
固定循环轮数
Figure 123433DEST_PATH_IMAGE020
后得到的差值的绝对值小于给定的误差值eps，则不再更新，在所有循环结果中选出损失函数最大的一例对应的结果作为网络层面最终的视频对抗样本
Figure 278471DEST_PATH_IMAGE022
，即视频的通用干扰值
Figure 547778DEST_PATH_IMAGE023
。
进一步，物理干扰模块在获取视频前，将网络层面生成的通用干扰值
Figure 130069DEST_PATH_IMAGE023
传输给可调节滤镜,实现物理干扰。
本发明同现有技术相比，其有益效果表现在：
本发明用现有的对抗样本生成系统在图片上生成干扰，并将此类干扰在物理层面实现（把最终的视频对抗样本部署到可调节滤镜上，即给监控设备增加滤镜以保证行为识别失败），即在物理层对视频进行干扰，使得视频识别系统无法正确识别个人行为，从而达到防止恶意收集个人隐私和保障个人隐私安全的目的。
本发明在干扰数据传输给可调节滤镜后即形成通用模型（干扰模型）后，只需与可调节滤镜通信一次，就可以不再改变可调节滤镜与计算机进行通信，自调节滤镜可以自动运行传输的干扰模型（即不改变干扰模型），拥有低成本优势，节省了后续计算的时间和算力成本。
三、本发明提出的这种物理干扰方式不需要改变整个场景的色彩，在保障个人隐私的同时，也不会影响个人正常行为。
附图说明
图1为本发明的流程示意图，其中，图中的视频识别模型包括白盒分类系统和对抗样本生成系统，最终的对抗样本即指最终的视频对抗样本。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
本发明旨在获取视频数据前，通过物理层面的有效干扰，影响识别系统的正常功能。针对固定式摄像设备，在不影响个人正常生活的前提下，采用增加位于摄像设备前端的可调节滤镜从而改变视频RGB值的方式，使得通过监视设备获取的视频数据在识别系统中不能正确识别个人行为。
图1为本发明的流程示意图，其中，图中的视频识别模型包括白盒分类系统和对抗样本生成系统，最终的对抗样本即指最终的视频对抗样本。
一种针对视频识别场景的物理干扰方法，包括：
步骤1：如图1中所示，基于获取的已授权的摄像设备的视频、白盒分类系统和对抗样本生成系统在网络层获取初始的视频对抗样本；
具体步骤为：
步骤1.1：从已授权的摄像设备中获取到了一段视频
Figure 727404DEST_PATH_IMAGE001
，其中，
Figure 686132DEST_PATH_IMAGE002
表示视频，
Figure 809946DEST_PATH_IMAGE003
表示视频
Figure 828718DEST_PATH_IMAGE002
的帧数，
Figure 913348DEST_PATH_IMAGE004
表示视频
Figure 410189DEST_PATH_IMAGE002
的高度，
Figure 388509DEST_PATH_IMAGE005
表示视频
Figure 578182DEST_PATH_IMAGE002
的宽度，
Figure 475792DEST_PATH_IMAGE006
表示视频的颜色通道数，R表示实数域；
步骤1.2：将视频
Figure 776324DEST_PATH_IMAGE002
输入白盒分类系统，得到视频中各帧图像的分类结果的集合
Figure 609151DEST_PATH_IMAGE007
，其中，
Figure 969725DEST_PATH_IMAGE008
表示视频
Figure 28948DEST_PATH_IMAGE002
中第
Figure 867591DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 820503DEST_PATH_IMAGE010
表示视频
Figure 351979DEST_PATH_IMAGE002
中第
Figure 632918DEST_PATH_IMAGE003
帧图像的分类结果；
步骤1.3：将视频
Figure 540832DEST_PATH_IMAGE002
和集合
Figure 348251DEST_PATH_IMAGE011
输入到对抗样本生成系统，使每帧图像生成作用在RGB通道的对应像素点上的干扰，即扰动
Figure 50627DEST_PATH_IMAGE012
，将该扰动添加到视频上，得到初始化的视频对抗样本，其中，
Figure 818863DEST_PATH_IMAGE013
表示视频
Figure 999309DEST_PATH_IMAGE002
中第
Figure 926814DEST_PATH_IMAGE009
帧图像和分类结果
Figure 800092DEST_PATH_IMAGE008
输入到对抗样本生成系统得到的扰动，
Figure 554159DEST_PATH_IMAGE014
表示视频
Figure 538295DEST_PATH_IMAGE002
中第
Figure 320306DEST_PATH_IMAGE003
帧图像和分类结果
Figure 364486DEST_PATH_IMAGE010
输入到对抗样本生成系统得到的扰动。
步骤2：基于初始化的视频对抗样本，利用白盒分类系统对干扰进行优化，优化后生成最终的视频对抗样本，即视频的通用干扰值；
具体步骤为：
S2.1：基于视频
Figure 107314DEST_PATH_IMAGE002
的每帧图像的分类结果
Figure 895141DEST_PATH_IMAGE008
对
Figure 531659DEST_PATH_IMAGE013
进行更新；
更新方式：
Figure 746740DEST_PATH_IMAGE015
其中，
Figure 711285DEST_PATH_IMAGE016
为损失函数，即Lossfuction，
Figure 302803DEST_PATH_IMAGE017
指损失函数沿每帧图片的颜色通道值梯度方向反向传播，
Figure 793827DEST_PATH_IMAGE018
为步长，
Figure 179809DEST_PATH_IMAGE019
，
Figure 897229DEST_PATH_IMAGE020
表示对
Figure 26860DEST_PATH_IMAGE013
的第几轮更新，
Figure 372390DEST_PATH_IMAGE003
为视频内的帧数，
Figure 194853DEST_PATH_IMAGE008
为视频内第
Figure 635455DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 303196DEST_PATH_IMAGE021
为视频内的第
Figure 768813DEST_PATH_IMAGE009
帧；
S2.2：固定循环轮数
Figure 762177DEST_PATH_IMAGE020
后得到的差值的绝对值小于给定的误差值eps，则不再更新，在所有循环结果中选出损失函数最大的一例对应的结果作为网络层面最终的视频对抗样本
Figure 923031DEST_PATH_IMAGE022
，即视频的通用干扰值
Figure 660043DEST_PATH_IMAGE023
。
步骤3：获取视频前，基于最终的视频对抗样本调节摄像设备在RGB通道的可调节滤镜，形成物理干扰，即获取视频前，将网络层面生成的通用干扰值
Figure 980165DEST_PATH_IMAGE023
传输给可调节滤镜,实现物理干扰。
一种针对视频识别场景的物理干扰系统，包括：
干扰模块：基于获取的已授权的摄像设备的视频、白盒分类系统和对抗样本生成系统在网络层获取初始的视频对抗样本；具体为：
干扰模块从已授权的摄像设备中获取一段视频
Figure 878851DEST_PATH_IMAGE001
，其中，
Figure 792581DEST_PATH_IMAGE002
表示视频，
Figure 67704DEST_PATH_IMAGE003
表示视频
Figure 242334DEST_PATH_IMAGE002
的帧数，
Figure 577500DEST_PATH_IMAGE004
表示视频
Figure 712946DEST_PATH_IMAGE002
的高度，
Figure 791761DEST_PATH_IMAGE005
表示视频
Figure 86476DEST_PATH_IMAGE002
的宽度，
Figure 326964DEST_PATH_IMAGE006
表示视频的颜色通道数，R表示实数域；
将视频
Figure 713821DEST_PATH_IMAGE002
输入白盒分类系统，得到视频中各帧图像的分类结果的集合
Figure 330747DEST_PATH_IMAGE007
，其中，
Figure 479969DEST_PATH_IMAGE008
表示视频
Figure 891358DEST_PATH_IMAGE002
中第
Figure 1397DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 218752DEST_PATH_IMAGE010
表示视频
Figure 425742DEST_PATH_IMAGE002
中第
Figure 945716DEST_PATH_IMAGE003
帧图像的分类结果；
将视频
Figure 870947DEST_PATH_IMAGE002
和集合
Figure 829676DEST_PATH_IMAGE011
输入到对抗样本生成系统，使每帧图像生成作用在RGB通道的对应像素点上的干扰，即扰动
Figure 953489DEST_PATH_IMAGE012
，将该扰动添加到视频上，得到初始化的视频对抗样本，其中，
Figure 972261DEST_PATH_IMAGE013
表示视频
Figure 791313DEST_PATH_IMAGE002
中第
Figure 553732DEST_PATH_IMAGE009
帧图像和分类结果
Figure 532052DEST_PATH_IMAGE008
输入到对抗样本生成系统得到的扰动，
Figure 721725DEST_PATH_IMAGE014
表示视频
Figure 795117DEST_PATH_IMAGE002
中第
Figure 95648DEST_PATH_IMAGE003
帧图像和分类结果
Figure 928475DEST_PATH_IMAGE010
输入到对抗样本生成系统得到的扰动。
优化模块：基于初始化的视频对抗样本，利用白盒分类系统对干扰进行优化，生成最终的视频对抗样本，即视频的通用干扰值；具体为：
优化模块基于视频
Figure 289049DEST_PATH_IMAGE002
的每帧图像的分类结果
Figure 82693DEST_PATH_IMAGE008
对
Figure 186915DEST_PATH_IMAGE013
进行更新；
更新方式：
Figure 139828DEST_PATH_IMAGE024
其中，
Figure 671303DEST_PATH_IMAGE016
为损失函数，即Lossfuction，
Figure 952243DEST_PATH_IMAGE017
指损失函数沿每帧图片的颜色通道值梯度方向反向传播，
Figure 594577DEST_PATH_IMAGE018
为步长，
Figure 401996DEST_PATH_IMAGE019
，
Figure 104373DEST_PATH_IMAGE020
表示对
Figure 872608DEST_PATH_IMAGE013
的第几轮更新，
Figure 318633DEST_PATH_IMAGE003
为视频内的帧数，
Figure 246138DEST_PATH_IMAGE008
为视频内第
Figure 119416DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 607904DEST_PATH_IMAGE021
为视频内的第
Figure 857620DEST_PATH_IMAGE009
帧；
固定循环轮数
Figure 639631DEST_PATH_IMAGE020
后得到的差值的绝对值小于给定的误差值eps，则不再更新，在所有循环结果中选出损失函数最大的一例对应的结果作为网络层面最终的视频对抗样本
Figure 683810DEST_PATH_IMAGE022
，即视频的通用干扰值
Figure 161059DEST_PATH_IMAGE023
。
物理干扰模块：获取视频前，基于最终的视频对抗样本调节摄像设备在RGB通道的可调节滤镜，形成物理干扰。具体为：物理干扰模块在获取视频前，将网络层面生成的通用干扰值
Figure 948887DEST_PATH_IMAGE023
传输给可调节滤镜,实现物理干扰。
实施例
现从如图1中所示的已授权的摄像设备中获取到了一段个人视频
Figure 585404DEST_PATH_IMAGE001
，帧数
Figure 800485DEST_PATH_IMAGE003
取值为100。
视频通过现有行为识别系统得出的识别结果是“熨衣服”，即将视频
Figure 30609DEST_PATH_IMAGE002
输入白盒分类系统，得到视频中各帧图像的分类结果的集合
Figure 153286DEST_PATH_IMAGE025
,得到各分类结果为“熨衣服”。
将视频
Figure 847573DEST_PATH_IMAGE002
和集合
Figure 171238DEST_PATH_IMAGE011
输入到对抗样本生成系统，使每帧图像生成作用在RGB通道对应像素点上的干扰，即扰动
Figure 685396DEST_PATH_IMAGE012
，将该扰动添加到视频上，得到初始化的视频对抗样本，其中，常用的对抗样本生成系统为FGSM、DeepFool或GAN。
基于白盒分类系统，调整每一帧的扰动
Figure 877342DEST_PATH_IMAGE013
，利用框架的梯度方向进行优化（即指损失函数沿每帧图片的颜色通道值梯度方向进行优化），从而使得分类损失最大化，可得到最终的视频对抗样本，即视频的通用干扰值，使得白盒分类系统产生误分类，即在该行为分类的结果不是“熨衣服”。
根据网络层面生成的最终的视频对抗样本，将该扰动应用于摄像设备获取视频前的可调节滤镜上，完成RGB干扰部署工作，从而实现有效干扰。
如：原视频尺寸是2*2的，那么在各帧的这4个像素点上生成的干扰必是一个2*2的矩阵形式（矩阵上的元素代表在每一个像素点需要增加的RGB值），如得到获取某帧图像的通用干扰值为
Figure 426135DEST_PATH_IMAGE026
，然后将其传输到可调节滤镜上。若原调节滤镜的像素点值为
Figure 422167DEST_PATH_IMAGE027
（即原本不会增加任何RGB干扰），接收到电脑传输的数据（通用干扰值）后，可调节滤镜上的像素点值就变为
Figure 423621DEST_PATH_IMAGE026
，若物理世界中在该时刻四个像素点的值为
Figure 419259DEST_PATH_IMAGE028
，那么在通过可调节滤镜，呈现在摄像设备的RGB矩阵为
Figure 822558DEST_PATH_IMAGE029
，从而达到有效干扰的目的。
综上所述，在用于训练的视频数目为100个时，该对抗样本生成系统的视频对抗样本能够有44.37%的误导率，并且误导率会根据视频数的增大而增大，直到视频数达到10000时趋于平稳（因为训练大量的视频耗费时间，所以选取的视频集数目最大值为15000个）达到92.5%的误导率。
以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (6)

1.一种针对视频识别场景的物理干扰方法，其特征在于，包括：
步骤1：基于获取的已授权的摄像设备的视频、白盒分类系统和对抗样本生成系统在网络层获取初始的视频对抗样本；
步骤2：基于初始化的视频对抗样本，利用白盒分类系统对干扰进行优化，优化后生成网络层面最终的视频对抗样本，即视频的通用干扰值；
步骤3：获取视频前，基于最终的视频对抗样本调节摄像设备在RGB通道的可调节滤镜，形成物理干扰，其中，最终的视频对抗样本为矩阵形式，获取视频前，将网络层面生成的通用干扰值θ′i传输给可调节滤镜,实现物理干扰。
2.根据权利要求1所述的一种针对视频识别场景的物理干扰方法，其特征在于：所述步骤1的具体步骤为：
步骤1.1：从已授权的摄像设备中获取一段视频
Figure FDA0003267957850000011
其中，X表示视频，N表示视频X的帧数，H表示视频X的高度，W表示视频X的宽度，C表示视频的颜色通道数，R表示实数域；
步骤1.2：将视频X输入白盒分类系统，得到视频中各帧图像的分类结果的集合Y＝{y1,y2,..,yi,...,yN}，其中，yi表示视频X中第i帧图像的分类结果，yN表示视频X中第N帧图像的分类结果；
步骤1.3：将视频X和集合Y输入到对抗样本生成系统，使每帧图像生成作用在RGB通道的对应像素点上的干扰，即扰动θ＝{θ1,θ2,..,θi,...,θN}，将该扰动添加到视频上，得到初始化的视频对抗样本，其中，θi表示视频X中第i帧图像和分类结果yi输入到对抗样本生成系统得到的扰动，θN表示视频X中第N帧图像和分类结果yN输入到对抗样本生成系统得到的扰动。
3.根据权利要求2所述的一种针对视频识别场景的物理干扰方法，其特征在于：所述步骤2的具体步骤为：
S2.1：基于视频X的每帧图像的分类结果yi对θi进行更新；
更新方式：
Figure FDA0003267957850000012
其中，L为损失函数，即Lossfuction，
Figure FDA0003267957850000013
指损失函数沿每帧图片的颜色通道值梯度方向反向传播，λ为步长，
Figure FDA0003267957850000021
n表示对θi的第几轮更新，N为视频内的帧数，yi为视频内第i帧图像的分类结果，xi为视频内的第i帧；
S2.2：固定循环轮数n后得到的差值的绝对值小于给定的误差值eps，则不再更新，在所有循环结果中选出损失函数最大的一例对应的结果作为网络层面最终的视频对抗样本θ′i，即视频的通用干扰值θ′i。
4.一种针对视频识别场景的物理干扰系统，其特征在于，包括：
干扰模块：基于获取的已授权的摄像设备的视频、白盒分类系统和对抗样本生成系统在网络层获取初始的视频对抗样本；
优化模块：基于初始化的视频对抗样本，利用白盒分类系统对干扰进行优化，生成最终的视频对抗样本，即视频的通用干扰值；
物理干扰模块：获取视频前，基于最终的视频对抗样本调节摄像设备在RGB通道的可调节滤镜，形成物理干扰，其中，最终的视频对抗样本为矩阵形式，获取视频前，将网络层面生成的通用干扰值θ′i传输给可调节滤镜,实现物理干扰。
5.根据权利要求4所述的一种针对视频识别场景的物理干扰系统，其特征在于：
干扰模块从已授权的摄像设备中获取一段视频
Figure FDA0003267957850000022
其中，X表示视频，N表示视频X的帧数，H表示视频X的高度，W表示视频X的宽度，C表示视频的颜色通道数，R表示实数域；
将视频X输入白盒分类系统，得到视频中各帧图像的分类结果的集合Y＝{y1,y2,..,yi,...,yN}，其中，yi表示视频X中第i帧图像的分类结果，yN表示视频X中第N帧图像的分类结果；
将视频X和集合Y输入到对抗样本生成系统，使每帧图像生成作用在RGB通道的对应像素点上的干扰，即扰动θ＝{θ1,θ2,..,θi,...,θN}，将该扰动添加到视频上，得到初始化的视频对抗样本，其中，θi表示视频X中第i帧图像和分类结果yi输入到对抗样本生成系统得到的扰动，θN表示视频X中第N帧图像和分类结果yN输入到对抗样本生成系统得到的扰动。
6.根据权利要求5所述的一种针对视频识别场景的物理干扰系统，其特征在于：
优化模块基于视频X的每帧图像的分类结果yi对θi进行更新；
更新方式：
Figure FDA0003267957850000031
其中，L为损失函数，即Lossfuction，
Figure FDA0003267957850000032
指损失函数沿每帧图片的颜色通道值梯度方向反向传播，λ为步长，
Figure FDA0003267957850000033
n表示对θi的第几轮更新，N为视频内的帧数，yi为视频内第i帧图像的分类结果，xi为视频内的第i帧；
固定循环轮数n后得到的差值的绝对值小于给定的误差值eps，则不再更新，在所有循环结果中选出损失函数最大的一例对应的结果作为网络层面最终的视频对抗样本θ′i，即视频的通用干扰值θ′i。
CN202110797548.3A 2021-07-14 2021-07-14 一种针对视频识别场景的物理干扰方法及系统 Active CN113283545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110797548.3A CN113283545B (zh) 2021-07-14 2021-07-14 一种针对视频识别场景的物理干扰方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110797548.3A CN113283545B (zh) 2021-07-14 2021-07-14 一种针对视频识别场景的物理干扰方法及系统

Publications (2)

Publication Number Publication Date
CN113283545A CN113283545A (zh) 2021-08-20
CN113283545B true CN113283545B (zh) 2021-11-02

Family

ID=77286756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110797548.3A Active CN113283545B (zh) 2021-07-14 2021-07-14 一种针对视频识别场景的物理干扰方法及系统

Country Status (1)

Country Link
CN (1) CN113283545B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627044A (zh) * 2020-04-26 2020-09-04 上海交通大学 基于深度网络的目标追踪攻击与防御方法
CN112115761A (zh) * 2020-05-12 2020-12-22 吉林大学 自动驾驶汽车视觉感知系统漏洞检测的对抗样本生成方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733292B2 (en) * 2018-07-10 2020-08-04 International Business Machines Corporation Defending against model inversion attacks on neural networks
CN109543760B (zh) * 2018-11-28 2021-10-19 上海交通大学 基于图像滤镜算法的对抗样本检测方法
US20200411167A1 (en) * 2019-06-27 2020-12-31 Retrace Labs Automated Dental Patient Identification And Duplicate Content Extraction Using Adversarial Learning
US11276151B2 (en) * 2019-06-27 2022-03-15 Retrace Labs Inpainting dental images with missing anatomy
GB2584469B (en) * 2019-06-05 2023-10-18 Sony Interactive Entertainment Inc Digital model repair system and method
US10783401B1 (en) * 2020-02-23 2020-09-22 Fudan University Black-box adversarial attacks on videos
CN111539916B (zh) * 2020-04-08 2023-05-26 中山大学 一种对抗鲁棒的图像显著性检测方法及系统
CN113033747B (zh) * 2021-05-26 2021-07-27 中国工程物理研究院计算机应用研究所 一种用于人机识别的图形识别码生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627044A (zh) * 2020-04-26 2020-09-04 上海交通大学 基于深度网络的目标追踪攻击与防御方法
CN112115761A (zh) * 2020-05-12 2020-12-22 吉林大学 自动驾驶汽车视觉感知系统漏洞检测的对抗样本生成方法

Also Published As

Publication number Publication date
CN113283545A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
Jourabloo et al. Face de-spoofing: Anti-spoofing via noise modeling
Yu et al. Attributing fake images to gans: Learning and analyzing gan fingerprints
Verdoliva Extracting camera-based fingerprints for video forensics
EP4109392A1 (en) Image processing method and image processing device
Güera et al. A counter-forensic method for CNN-based camera model identification
Gragnaniello et al. Analysis of adversarial attacks against CNN-based image forgery detectors
CN112001429B (zh) 一种基于纹理特征的深度伪造视频检测方法
CN113361604A (zh) 一种面向目标检测的物理攻击对抗补丁的生成方法及系统
US20230091865A1 (en) Face image verification method and apparatus, electronic device, and storage medium
CN114842526A (zh) 一种基于对抗进攻的视频流人脸隐私保护方法
Chen et al. Improve transmission by designing filters for image dehazing
CN111523497A (zh) 一种人脸纠正方法、装置和电子设备
CN113283545B (zh) 一种针对视频识别场景的物理干扰方法及系统
Hadis et al. The impact of preprocessing on face recognition using pseudorandom pixel placement
Wang et al. Spatial-temporal frequency forgery clue for video forgery detection in VIS and NIR scenario
CN116798100A (zh) 人脸视频的检测方法和装置
CN116311439A (zh) 一种人脸验证隐私保护方法和装置
CN111126283B (zh) 一种自动过滤模糊人脸的快速活体检测方法及系统
CN114913607A (zh) 一种基于多特征融合的指静脉仿冒检测方法
CN113505722A (zh) 一种基于多尺度特征融合的活体检测方法、系统及装置
Wang et al. A counter-forensic method for CNN-based camera model identification
CN113674316A (zh) 一种视频降噪方法和装置及设备
CN111274967A (zh) 一种基于颜色分析的人脸欺骗检测方法
Liu et al. Towards robust gan-generated image detection: a multi-view completion representation
Ulucan et al. Image fusion through linear embeddings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant