CN113283545A - 一种针对视频识别场景的物理干扰方法及系统 - Google Patents

一种针对视频识别场景的物理干扰方法及系统 Download PDF

Info

Publication number
CN113283545A
CN113283545A CN202110797548.3A CN202110797548A CN113283545A CN 113283545 A CN113283545 A CN 113283545A CN 202110797548 A CN202110797548 A CN 202110797548A CN 113283545 A CN113283545 A CN 113283545A
Authority
CN
China
Prior art keywords
video
interference
representing
sample
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110797548.3A
Other languages
English (en)
Other versions
CN113283545B (zh
Inventor
刘小垒
李璐璇
胡腾
王玉龙
杨润
辛邦洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
COMPUTER APPLICATION RESEARCH INST CHINA ACADEMY OF ENGINEERING PHYSICS
Original Assignee
COMPUTER APPLICATION RESEARCH INST CHINA ACADEMY OF ENGINEERING PHYSICS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by COMPUTER APPLICATION RESEARCH INST CHINA ACADEMY OF ENGINEERING PHYSICS filed Critical COMPUTER APPLICATION RESEARCH INST CHINA ACADEMY OF ENGINEERING PHYSICS
Priority to CN202110797548.3A priority Critical patent/CN113283545B/zh
Publication of CN113283545A publication Critical patent/CN113283545A/zh
Application granted granted Critical
Publication of CN113283545B publication Critical patent/CN113283545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种针对视频识别场景的物理干扰方法及系统，属于信息安全测试技术领域，解决现有技术在网络层面对视频进行干扰，干扰效果差的问题。本发明基于获取的已授权的摄像设备的视频、白盒分类系统和对抗样本生成系统在网络层获取初始的视频对抗样本；基于初始化的视频对抗样本，利用白盒分类系统对干扰进行优化，生成网络层面最终的视频对抗样本，即视频的通用干扰值；获取视频前，基于最终的视频对抗样本调节摄像设备在RGB通道的可调节滤镜，形成物理干扰。本发明用于对视频识别场景的物理干扰。

Description

一种针对视频识别场景的物理干扰方法及系统
技术领域
本发明涉及信息安全测试技术领域，提供了一种针对视频识别场景的物理干扰方法及系统，用于对视频识别场景的物理干扰。
背景技术
随着DNN（深度神经网络）在图像、视频识别领域的快速发展，一系列实用性技术成果已经开始投入使用，便利人民生活。但是，此类技术也给不良商家恶意收集他人信息提供了途径，例如增设私人监视设备获取大众行为数据、黑入私人计算机获取个人摄像头权限以获得个人信息等一系列损害个人隐私安全的行为。因此，如何保护个人隐私安全成为了当前时代迫切和必须解决的问题。
解决此问题最有效的方法是：在视频识别时能够有效地进行对外干扰，从而使得识别系统无法获取有效数据。该方法的前提是生成视频对抗样本以形成干扰。而目前对于视频对抗样本的研究较少，且其主要干扰方式是在获取到的视频上增加干扰以形成对抗样本，即在获取到视频数据后，在网络层面形成干扰效果，例如加入黑点噪声干扰技术和随机噪声干扰技术。这种方式存在明显的滞后性问题。
综上所述，现有技术存在如下技术问题：
1. 干扰都是在网络层面形成的，每进行一次干扰都需要计算，而计算过程需要算力；
2.在网络层生成干扰存在滞后性，并且干扰是基于传输的视频流，在传输时不存有干扰效果 ；
3.无法实时的在摄像设备上形成干扰，是因为针对保护个人隐私这一场景，摄像设备一定不是随时都开着的，所以无法在未启动的设备上形成干扰。
发明内容
针对上述研究的问题，本发明的目的在于提供一种针对视频识别场景的物理干扰方法及系统，解决现有技术在网络层面对视频进行干扰，干扰效果差的问题。
为了达到上述目的，本发明采用如下技术方案：
一种针对视频识别场景的物理干扰方法，包括：
步骤1：基于获取的已授权的摄像设备的视频、白盒分类系统和对抗样本生成系统在网络层获取初始的视频对抗样本；
步骤2：基于初始化的视频对抗样本，利用白盒分类系统对干扰进行优化，优化后生成网络层面最终的视频对抗样本，即视频的通用干扰值；
步骤3：获取视频前，基于最终的视频对抗样本调节摄像设备在RGB通道的可调节滤镜，形成物理干扰。
进一步，所述步骤 1的具体步骤为：
步骤1.1：从已授权的摄像设备中获取一段视频
Figure 799801DEST_PATH_IMAGE001
，其中，
Figure 451362DEST_PATH_IMAGE002
表示视频，
Figure 27837DEST_PATH_IMAGE003
表示视频
Figure 157467DEST_PATH_IMAGE002
的帧数，
Figure 643943DEST_PATH_IMAGE004
表示视频
Figure 200827DEST_PATH_IMAGE002
的高度，
Figure 264597DEST_PATH_IMAGE005
表示视频
Figure 197918DEST_PATH_IMAGE002
的宽度，
Figure 40366DEST_PATH_IMAGE006
表示视频的颜色通道数，R表示实数域；
步骤1.2：将视频
Figure 768150DEST_PATH_IMAGE002
输入白盒分类系统，得到视频中各帧图像的分类结果的集合
Figure 53638DEST_PATH_IMAGE007
，其中，
Figure 790650DEST_PATH_IMAGE008
表示视频
Figure 986139DEST_PATH_IMAGE002
中第
Figure 947142DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 923188DEST_PATH_IMAGE010
表示视频
Figure 870416DEST_PATH_IMAGE002
中第
Figure 248307DEST_PATH_IMAGE003
帧图像的分类结果；
步骤1.3：将视频
Figure 380211DEST_PATH_IMAGE002
和集合
Figure 843554DEST_PATH_IMAGE011
输入到对抗样本生成系统，使每帧图像生成作用在RGB通道的对应像素点上的干扰，即扰动
Figure 594472DEST_PATH_IMAGE012
，将该扰动添加到视频上，得到初始化的视频对抗样本，其中，
Figure 826870DEST_PATH_IMAGE013
表示视频
Figure 395255DEST_PATH_IMAGE002
中第
Figure 80314DEST_PATH_IMAGE009
帧图像和分类结果
Figure 133459DEST_PATH_IMAGE008
输入到对抗样本生成系统得到的扰动，
Figure 220363DEST_PATH_IMAGE014
表示视频
Figure 959649DEST_PATH_IMAGE002
中第
Figure 132005DEST_PATH_IMAGE003
帧图像和分类结果
Figure 224725DEST_PATH_IMAGE010
输入到对抗样本生成系统得到的扰动。
进一步，所述步骤 2的具体步骤为：
S2.1：基于视频
Figure 431716DEST_PATH_IMAGE002
的每帧图像的分类结果
Figure 341903DEST_PATH_IMAGE008
对
Figure 1555DEST_PATH_IMAGE013
进行更新；
更新方式：
Figure 897966DEST_PATH_IMAGE015
其中，
Figure 693884DEST_PATH_IMAGE016
为损失函数，即Lossfuction，
Figure 774973DEST_PATH_IMAGE017
指损失函数沿每帧图片的颜色通道值梯度方向反向传播，
Figure 921920DEST_PATH_IMAGE018
为步长，
Figure 622023DEST_PATH_IMAGE019
，
Figure 538026DEST_PATH_IMAGE020
表示对
Figure 524437DEST_PATH_IMAGE013
的第几轮更新，
Figure 158680DEST_PATH_IMAGE003
为视频内的帧数，
Figure 898360DEST_PATH_IMAGE008
为视频内第
Figure 934449DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 91761DEST_PATH_IMAGE021
为视频内的第
Figure 213301DEST_PATH_IMAGE009
帧；
S2.2：固定循环轮数
Figure 255206DEST_PATH_IMAGE020
后得到的差值的绝对值小于给定的误差值eps，则不再更新，在所有循环结果中选出损失函数最大的一例对应的结果作为网络层面最终的视频对抗样本
Figure 880222DEST_PATH_IMAGE022
，即视频的通用干扰值
Figure 474015DEST_PATH_IMAGE023
。
进一步，所述步骤 3的具体步骤为：
获取视频前，将网络层面生成的通用干扰值
Figure 817271DEST_PATH_IMAGE023
传输给可调节滤镜,实现物理干扰。
一种针对视频识别场景的物理干扰系统，包括：
干扰模块：基于获取的已授权的摄像设备的视频、白盒分类系统和对抗样本生成系统在网络层获取初始的视频对抗样本；
优化模块：基于初始化的视频对抗样本，利用白盒分类系统对干扰进行优化，生成最终的视频对抗样本，即视频的通用干扰值；
物理干扰模块：获取视频前，基于最终的视频对抗样本调节摄像设备在RGB通道的可调节滤镜，形成物理干扰。
进一步，干扰模块从已授权的摄像设备中获取一段视频
Figure 662868DEST_PATH_IMAGE001
，其中，
Figure 407970DEST_PATH_IMAGE002
表示视频，
Figure 172663DEST_PATH_IMAGE003
表示视频
Figure 3216DEST_PATH_IMAGE002
的帧数，
Figure 386924DEST_PATH_IMAGE004
表示视频
Figure 783270DEST_PATH_IMAGE002
的高度，
Figure 656548DEST_PATH_IMAGE005
表示视频
Figure 239976DEST_PATH_IMAGE002
的宽度，
Figure 394752DEST_PATH_IMAGE006
表示视频的颜色通道数，R表示实数域；
将视频
Figure 380026DEST_PATH_IMAGE002
输入白盒分类系统，得到视频中各帧图像的分类结果的集合
Figure 486522DEST_PATH_IMAGE007
，其中，
Figure 963771DEST_PATH_IMAGE008
表示视频
Figure 17177DEST_PATH_IMAGE002
中第
Figure 388116DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 603197DEST_PATH_IMAGE010
表示视频
Figure 567741DEST_PATH_IMAGE002
中第
Figure 159260DEST_PATH_IMAGE003
帧图像的分类结果；
将视频
Figure 650284DEST_PATH_IMAGE002
和集合
Figure 36266DEST_PATH_IMAGE011
输入到对抗样本生成系统，使每帧图像生成作用在RGB通道的对应像素点上的干扰，即扰动
Figure 753686DEST_PATH_IMAGE012
，将该扰动添加到视频上，得到初始化的视频对抗样本，其中，
Figure 883316DEST_PATH_IMAGE013
表示视频
Figure 228847DEST_PATH_IMAGE002
中第
Figure 51309DEST_PATH_IMAGE009
帧图像和分类结果
Figure 491911DEST_PATH_IMAGE008
输入到对抗样本生成系统得到的扰动，
Figure 425232DEST_PATH_IMAGE014
表示视频
Figure 625270DEST_PATH_IMAGE002
中第
Figure 618633DEST_PATH_IMAGE003
帧图像和分类结果
Figure 45067DEST_PATH_IMAGE010
输入到对抗样本生成系统得到的扰动。
进一步，优化模块基于视频
Figure 516499DEST_PATH_IMAGE002
的每帧图像的分类结果
Figure 836622DEST_PATH_IMAGE008
对
Figure 887DEST_PATH_IMAGE013
进行更新；
更新方式：
Figure 649037DEST_PATH_IMAGE015
其中，
Figure 924161DEST_PATH_IMAGE016
为损失函数，即Lossfuction，
Figure 364370DEST_PATH_IMAGE017
指损失函数沿每帧图片的颜色通道值梯度方向反向传播，
Figure 433957DEST_PATH_IMAGE018
为步长，
Figure 834982DEST_PATH_IMAGE019
，
Figure 648217DEST_PATH_IMAGE020
表示对
Figure 942933DEST_PATH_IMAGE013
的第几轮更新，
Figure 183421DEST_PATH_IMAGE003
为视频内的帧数，
Figure 570278DEST_PATH_IMAGE008
为视频内第
Figure 187204DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 336425DEST_PATH_IMAGE021
为视频内的第
Figure 13394DEST_PATH_IMAGE009
帧；
固定循环轮数
Figure 123433DEST_PATH_IMAGE020
后得到的差值的绝对值小于给定的误差值eps，则不再更新，在所有循环结果中选出损失函数最大的一例对应的结果作为网络层面最终的视频对抗样本
Figure 278471DEST_PATH_IMAGE022
，即视频的通用干扰值
Figure 547778DEST_PATH_IMAGE023
。
进一步，物理干扰模块在获取视频前，将网络层面生成的通用干扰值
Figure 130069DEST_PATH_IMAGE023
传输给可调节滤镜,实现物理干扰。
本发明同现有技术相比，其有益效果表现在：
本发明用现有的对抗样本生成系统在图片上生成干扰，并将此类干扰在物理层面实现（把最终的视频对抗样本部署到可调节滤镜上，即给监控设备增加滤镜以保证行为识别失败），即在物理层对视频进行干扰，使得视频识别系统无法正确识别个人行为，从而达到防止恶意收集个人隐私和保障个人隐私安全的目的。
本发明在干扰数据传输给可调节滤镜后即形成通用模型（干扰模型）后，只需与可调节滤镜通信一次，就可以不再改变可调节滤镜与计算机进行通信，自调节滤镜可以自动运行传输的干扰模型（即不改变干扰模型），拥有低成本优势，节省了后续计算的时间和算力成本。
三、本发明提出的这种物理干扰方式不需要改变整个场景的色彩，在保障个人隐私的同时，也不会影响个人正常行为。
附图说明
图1为本发明的流程示意图，其中，图中的视频识别模型包括白盒分类系统和对抗样本生成系统，最终的对抗样本即指最终的视频对抗样本。
具体实施方式
下面将结合附图及具体实施方式对本发明作进一步的描述。
本发明旨在获取视频数据前，通过物理层面的有效干扰，影响识别系统的正常功能。针对固定式摄像设备，在不影响个人正常生活的前提下，采用增加位于摄像设备前端的可调节滤镜从而改变视频RGB值的方式，使得通过监视设备获取的视频数据在识别系统中不能正确识别个人行为。
图1为本发明的流程示意图，其中，图中的视频识别模型包括白盒分类系统和对抗样本生成系统，最终的对抗样本即指最终的视频对抗样本。
一种针对视频识别场景的物理干扰方法，包括：
步骤1：如图1中所示，基于获取的已授权的摄像设备的视频、白盒分类系统和对抗样本生成系统在网络层获取初始的视频对抗样本；
具体步骤为：
步骤1.1：从已授权的摄像设备中获取到了一段视频
Figure 727404DEST_PATH_IMAGE001
，其中，
Figure 686132DEST_PATH_IMAGE002
表示视频，
Figure 809946DEST_PATH_IMAGE003
表示视频
Figure 828718DEST_PATH_IMAGE002
的帧数，
Figure 913348DEST_PATH_IMAGE004
表示视频
Figure 410189DEST_PATH_IMAGE002
的高度，
Figure 388509DEST_PATH_IMAGE005
表示视频
Figure 578182DEST_PATH_IMAGE002
的宽度，
Figure 475792DEST_PATH_IMAGE006
表示视频的颜色通道数，R表示实数域；
步骤1.2：将视频
Figure 776324DEST_PATH_IMAGE002
输入白盒分类系统，得到视频中各帧图像的分类结果的集合
Figure 609151DEST_PATH_IMAGE007
，其中，
Figure 969725DEST_PATH_IMAGE008
表示视频
Figure 28948DEST_PATH_IMAGE002
中第
Figure 867591DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 820503DEST_PATH_IMAGE010
表示视频
Figure 351979DEST_PATH_IMAGE002
中第
Figure 632918DEST_PATH_IMAGE003
帧图像的分类结果；
步骤1.3：将视频
Figure 540832DEST_PATH_IMAGE002
和集合
Figure 348251DEST_PATH_IMAGE011
输入到对抗样本生成系统，使每帧图像生成作用在RGB通道的对应像素点上的干扰，即扰动
Figure 50627DEST_PATH_IMAGE012
，将该扰动添加到视频上，得到初始化的视频对抗样本，其中，
Figure 818863DEST_PATH_IMAGE013
表示视频
Figure 999309DEST_PATH_IMAGE002
中第
Figure 926814DEST_PATH_IMAGE009
帧图像和分类结果
Figure 800092DEST_PATH_IMAGE008
输入到对抗样本生成系统得到的扰动，
Figure 554159DEST_PATH_IMAGE014
表示视频
Figure 538295DEST_PATH_IMAGE002
中第
Figure 320306DEST_PATH_IMAGE003
帧图像和分类结果
Figure 364486DEST_PATH_IMAGE010
输入到对抗样本生成系统得到的扰动。
步骤2：基于初始化的视频对抗样本，利用白盒分类系统对干扰进行优化，优化后生成最终的视频对抗样本，即视频的通用干扰值；
具体步骤为：
S2.1：基于视频
Figure 107314DEST_PATH_IMAGE002
的每帧图像的分类结果
Figure 895141DEST_PATH_IMAGE008
对
Figure 531659DEST_PATH_IMAGE013
进行更新；
更新方式：
Figure 746740DEST_PATH_IMAGE015
其中，
Figure 711285DEST_PATH_IMAGE016
为损失函数，即Lossfuction，
Figure 302803DEST_PATH_IMAGE017
指损失函数沿每帧图片的颜色通道值梯度方向反向传播，
Figure 793827DEST_PATH_IMAGE018
为步长，
Figure 179809DEST_PATH_IMAGE019
，
Figure 897229DEST_PATH_IMAGE020
表示对
Figure 26860DEST_PATH_IMAGE013
的第几轮更新，
Figure 372390DEST_PATH_IMAGE003
为视频内的帧数，
Figure 194853DEST_PATH_IMAGE008
为视频内第
Figure 635455DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 303196DEST_PATH_IMAGE021
为视频内的第
Figure 768813DEST_PATH_IMAGE009
帧；
S2.2：固定循环轮数
Figure 762177DEST_PATH_IMAGE020
后得到的差值的绝对值小于给定的误差值eps，则不再更新，在所有循环结果中选出损失函数最大的一例对应的结果作为网络层面最终的视频对抗样本
Figure 923031DEST_PATH_IMAGE022
，即视频的通用干扰值
Figure 660043DEST_PATH_IMAGE023
。
步骤3：获取视频前，基于最终的视频对抗样本调节摄像设备在RGB通道的可调节滤镜，形成物理干扰，即获取视频前，将网络层面生成的通用干扰值
Figure 980165DEST_PATH_IMAGE023
传输给可调节滤镜,实现物理干扰。
一种针对视频识别场景的物理干扰系统，包括：
干扰模块：基于获取的已授权的摄像设备的视频、白盒分类系统和对抗样本生成系统在网络层获取初始的视频对抗样本；具体为：
干扰模块从已授权的摄像设备中获取一段视频
Figure 878851DEST_PATH_IMAGE001
，其中，
Figure 792581DEST_PATH_IMAGE002
表示视频，
Figure 67704DEST_PATH_IMAGE003
表示视频
Figure 242334DEST_PATH_IMAGE002
的帧数，
Figure 577500DEST_PATH_IMAGE004
表示视频
Figure 712946DEST_PATH_IMAGE002
的高度，
Figure 791761DEST_PATH_IMAGE005
表示视频
Figure 86476DEST_PATH_IMAGE002
的宽度，
Figure 326964DEST_PATH_IMAGE006
表示视频的颜色通道数，R表示实数域；
将视频
Figure 713821DEST_PATH_IMAGE002
输入白盒分类系统，得到视频中各帧图像的分类结果的集合
Figure 330747DEST_PATH_IMAGE007
，其中，
Figure 479969DEST_PATH_IMAGE008
表示视频
Figure 891358DEST_PATH_IMAGE002
中第
Figure 1397DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 218752DEST_PATH_IMAGE010
表示视频
Figure 425742DEST_PATH_IMAGE002
中第
Figure 945716DEST_PATH_IMAGE003
帧图像的分类结果；
将视频
Figure 870947DEST_PATH_IMAGE002
和集合
Figure 829676DEST_PATH_IMAGE011
输入到对抗样本生成系统，使每帧图像生成作用在RGB通道的对应像素点上的干扰，即扰动
Figure 953489DEST_PATH_IMAGE012
，将该扰动添加到视频上，得到初始化的视频对抗样本，其中，
Figure 972261DEST_PATH_IMAGE013
表示视频
Figure 791313DEST_PATH_IMAGE002
中第
Figure 553732DEST_PATH_IMAGE009
帧图像和分类结果
Figure 532052DEST_PATH_IMAGE008
输入到对抗样本生成系统得到的扰动，
Figure 721725DEST_PATH_IMAGE014
表示视频
Figure 795117DEST_PATH_IMAGE002
中第
Figure 95648DEST_PATH_IMAGE003
帧图像和分类结果
Figure 928475DEST_PATH_IMAGE010
输入到对抗样本生成系统得到的扰动。
优化模块：基于初始化的视频对抗样本，利用白盒分类系统对干扰进行优化，生成最终的视频对抗样本，即视频的通用干扰值；具体为：
优化模块基于视频
Figure 289049DEST_PATH_IMAGE002
的每帧图像的分类结果
Figure 82693DEST_PATH_IMAGE008
对
Figure 186915DEST_PATH_IMAGE013
进行更新；
更新方式：
Figure 139828DEST_PATH_IMAGE024
其中，
Figure 671303DEST_PATH_IMAGE016
为损失函数，即Lossfuction，
Figure 952243DEST_PATH_IMAGE017
指损失函数沿每帧图片的颜色通道值梯度方向反向传播，
Figure 594577DEST_PATH_IMAGE018
为步长，
Figure 401996DEST_PATH_IMAGE019
，
Figure 104373DEST_PATH_IMAGE020
表示对
Figure 872608DEST_PATH_IMAGE013
的第几轮更新，
Figure 318633DEST_PATH_IMAGE003
为视频内的帧数，
Figure 246138DEST_PATH_IMAGE008
为视频内第
Figure 119416DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 607904DEST_PATH_IMAGE021
为视频内的第
Figure 857620DEST_PATH_IMAGE009
帧；
固定循环轮数
Figure 639631DEST_PATH_IMAGE020
后得到的差值的绝对值小于给定的误差值eps，则不再更新，在所有循环结果中选出损失函数最大的一例对应的结果作为网络层面最终的视频对抗样本
Figure 683810DEST_PATH_IMAGE022
，即视频的通用干扰值
Figure 161059DEST_PATH_IMAGE023
。
物理干扰模块：获取视频前，基于最终的视频对抗样本调节摄像设备在RGB通道的可调节滤镜，形成物理干扰。具体为：物理干扰模块在获取视频前，将网络层面生成的通用干扰值
Figure 948887DEST_PATH_IMAGE023
传输给可调节滤镜,实现物理干扰。
实施例
现从如图1中所示的已授权的摄像设备中获取到了一段个人视频
Figure 585404DEST_PATH_IMAGE001
，帧数
Figure 800485DEST_PATH_IMAGE003
取值为100。
视频通过现有行为识别系统得出的识别结果是“熨衣服”，即将视频
Figure 30609DEST_PATH_IMAGE002
输入白盒分类系统，得到视频中各帧图像的分类结果的集合
Figure 153286DEST_PATH_IMAGE025
,得到各分类结果为“熨衣服”。
将视频
Figure 847573DEST_PATH_IMAGE002
和集合
Figure 171238DEST_PATH_IMAGE011
输入到对抗样本生成系统，使每帧图像生成作用在RGB通道对应像素点上的干扰，即扰动
Figure 685396DEST_PATH_IMAGE012
，将该扰动添加到视频上，得到初始化的视频对抗样本，其中，常用的对抗样本生成系统为FGSM、DeepFool或GAN。
基于白盒分类系统，调整每一帧的扰动
Figure 877342DEST_PATH_IMAGE013
，利用框架的梯度方向进行优化（即指损失函数沿每帧图片的颜色通道值梯度方向进行优化），从而使得分类损失最大化，可得到最终的视频对抗样本，即视频的通用干扰值，使得白盒分类系统产生误分类，即在该行为分类的结果不是“熨衣服”。
根据网络层面生成的最终的视频对抗样本，将该扰动应用于摄像设备获取视频前的可调节滤镜上，完成RGB干扰部署工作，从而实现有效干扰。
如：原视频尺寸是2*2的，那么在各帧的这4个像素点上生成的干扰必是一个2*2的矩阵形式（矩阵上的元素代表在每一个像素点需要增加的RGB值），如得到获取某帧图像的通用干扰值为
Figure 426135DEST_PATH_IMAGE026
，然后将其传输到可调节滤镜上。若原调节滤镜的像素点值为
Figure 422167DEST_PATH_IMAGE027
（即原本不会增加任何RGB干扰），接收到电脑传输的数据（通用干扰值）后，可调节滤镜上的像素点值就变为
Figure 423621DEST_PATH_IMAGE026
，若物理世界中在该时刻四个像素点的值为
Figure 419259DEST_PATH_IMAGE028
，那么在通过可调节滤镜，呈现在摄像设备的RGB矩阵为
Figure 822558DEST_PATH_IMAGE029
，从而达到有效干扰的目的。
综上所述，在用于训练的视频数目为100个时，该对抗样本生成系统的视频对抗样本能够有44.37%的误导率，并且误导率会根据视频数的增大而增大，直到视频数达到10000时趋于平稳（因为训练大量的视频耗费时间，所以选取的视频集数目最大值为15000个）达到92.5%的误导率。
以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (8)

1.一种针对视频识别场景的物理干扰方法，其特征在于，包括：
步骤1：基于获取的已授权的摄像设备的视频、白盒分类系统和对抗样本生成系统在网络层获取初始的视频对抗样本；
步骤2：基于初始化的视频对抗样本，利用白盒分类系统对干扰进行优化，优化后生成网络层面最终的视频对抗样本，即视频的通用干扰值；
步骤3：获取视频前，基于最终的视频对抗样本调节摄像设备在RGB通道的可调节滤镜，形成物理干扰。
2.根据权利要求1所述的一种针对视频识别场景的物理干扰方法，其特征在于：所述步骤 1的具体步骤为：
步骤1.1：从已授权的摄像设备中获取一段视频
Figure 505459DEST_PATH_IMAGE001
，其中，
Figure DEST_PATH_IMAGE002
表示视频，
Figure 625862DEST_PATH_IMAGE003
表示视频
Figure 389287DEST_PATH_IMAGE002
的帧数，
Figure DEST_PATH_IMAGE004
表示视频
Figure 253338DEST_PATH_IMAGE002
的高度，
Figure 802131DEST_PATH_IMAGE005
表示视频
Figure 359014DEST_PATH_IMAGE002
的宽度，
Figure DEST_PATH_IMAGE006
表示视频的颜色通道数，R表示实数域；
步骤1.2：将视频
Figure 94889DEST_PATH_IMAGE002
输入白盒分类系统，得到视频中各帧图像的分类结果的集合
Figure 3109DEST_PATH_IMAGE007
，其中，
Figure DEST_PATH_IMAGE008
表示视频
Figure 140830DEST_PATH_IMAGE002
中第
Figure 868614DEST_PATH_IMAGE009
帧图像的分类结果，
Figure DEST_PATH_IMAGE010
表示视频
Figure 91785DEST_PATH_IMAGE002
中第
Figure 297639DEST_PATH_IMAGE003
帧图像的分类结果；
步骤1.3：将视频
Figure 804712DEST_PATH_IMAGE002
和集合
Figure 968977DEST_PATH_IMAGE011
输入到对抗样本生成系统，使每帧图像生成作用在RGB通道的对应像素点上的干扰，即扰动
Figure DEST_PATH_IMAGE012
，将该扰动添加到视频上，得到初始化的视频对抗样本，其中，
Figure 679444DEST_PATH_IMAGE013
表示视频
Figure 423409DEST_PATH_IMAGE002
中第
Figure 801301DEST_PATH_IMAGE009
帧图像和分类结果
Figure 870888DEST_PATH_IMAGE008
输入到对抗样本生成系统得到的扰动，
Figure DEST_PATH_IMAGE014
表示视频
Figure 317919DEST_PATH_IMAGE002
中第
Figure 131154DEST_PATH_IMAGE003
帧图像和分类结果
Figure 363553DEST_PATH_IMAGE010
输入到对抗样本生成系统得到的扰动。
3.根据权利要求2所述的一种针对视频识别场景的物理干扰方法，其特征在于：所述步骤 2的具体步骤为：
S2.1：基于视频
Figure 604041DEST_PATH_IMAGE002
的每帧图像的分类结果
Figure 289100DEST_PATH_IMAGE008
对
Figure 906026DEST_PATH_IMAGE013
进行更新；
更新方式：
Figure DEST_PATH_IMAGE016
其中，
Figure 976619DEST_PATH_IMAGE017
为损失函数，即Lossfuction，
Figure DEST_PATH_IMAGE018
指损失函数沿每帧图片的颜色通道值梯度方向反向传播，
Figure 122430DEST_PATH_IMAGE019
为步长，
Figure DEST_PATH_IMAGE020
，
Figure 29206DEST_PATH_IMAGE021
表示对
Figure 184244DEST_PATH_IMAGE013
的第几轮更新，
Figure 643432DEST_PATH_IMAGE003
为视频内的帧数，
Figure 225723DEST_PATH_IMAGE008
为视频内第
Figure 885374DEST_PATH_IMAGE009
帧图像的分类结果，
Figure DEST_PATH_IMAGE022
为视频内的第
Figure 578524DEST_PATH_IMAGE009
帧；
S2.2：固定循环轮数
Figure 374441DEST_PATH_IMAGE021
后得到的差值的绝对值小于给定的误差值eps，则不再更新，在所有循环结果中选出损失函数最大的一例对应的结果作为网络层面最终的视频对抗样本
Figure 393213DEST_PATH_IMAGE023
，即视频的通用干扰值
Figure DEST_PATH_IMAGE024
。
4.根据权利要求3所述的一种针对视频识别场景的物理干扰方法，其特征在于：所述步骤 3的具体步骤为：
获取视频前，将网络层面生成的通用干扰值
Figure 523849DEST_PATH_IMAGE024
传输给可调节滤镜,实现物理干扰。
5.一种针对视频识别场景的物理干扰系统，其特征在于，包括：
干扰模块：基于获取的已授权的摄像设备的视频、白盒分类系统和对抗样本生成系统在网络层获取初始的视频对抗样本；
优化模块：基于初始化的视频对抗样本，利用白盒分类系统对干扰进行优化，生成最终的视频对抗样本，即视频的通用干扰值；
物理干扰模块：获取视频前，基于最终的视频对抗样本调节摄像设备在RGB通道的可调节滤镜，形成物理干扰。
6.根据权利要求5所述的一种针对视频识别场景的物理干扰系统，其特征在于：
干扰模块从已授权的摄像设备中获取一段视频
Figure 286268DEST_PATH_IMAGE001
，其中，
Figure 936693DEST_PATH_IMAGE002
表示视频，
Figure 860786DEST_PATH_IMAGE003
表示视频
Figure 495030DEST_PATH_IMAGE002
的帧数，
Figure 795561DEST_PATH_IMAGE004
表示视频
Figure 80918DEST_PATH_IMAGE002
的高度，
Figure 910334DEST_PATH_IMAGE005
表示视频
Figure 31874DEST_PATH_IMAGE002
的宽度，
Figure 136096DEST_PATH_IMAGE006
表示视频的颜色通道数，R表示实数域；
将视频
Figure 761112DEST_PATH_IMAGE002
输入白盒分类系统，得到视频中各帧图像的分类结果的集合
Figure 27008DEST_PATH_IMAGE007
，其中，
Figure 619533DEST_PATH_IMAGE008
表示视频
Figure 527446DEST_PATH_IMAGE002
中第
Figure 272548DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 974925DEST_PATH_IMAGE010
表示视频
Figure 805477DEST_PATH_IMAGE002
中第
Figure 985923DEST_PATH_IMAGE003
帧图像的分类结果；
将视频
Figure 585532DEST_PATH_IMAGE002
和集合
Figure 711007DEST_PATH_IMAGE011
输入到对抗样本生成系统，使每帧图像生成作用在RGB通道的对应像素点上的干扰，即扰动
Figure 28856DEST_PATH_IMAGE012
，将该扰动添加到视频上，得到初始化的视频对抗样本，其中，
Figure 12992DEST_PATH_IMAGE013
表示视频
Figure 467107DEST_PATH_IMAGE002
中第
Figure 511287DEST_PATH_IMAGE009
帧图像和分类结果
Figure 316432DEST_PATH_IMAGE008
输入到对抗样本生成系统得到的扰动，
Figure 104259DEST_PATH_IMAGE014
表示视频
Figure 927728DEST_PATH_IMAGE002
中第
Figure 142808DEST_PATH_IMAGE003
帧图像和分类结果
Figure 169670DEST_PATH_IMAGE010
输入到对抗样本生成系统得到的扰动。
7.根据权利要求6所述的一种针对视频识别场景的物理干扰系统，其特征在于：
优化模块基于视频
Figure 495609DEST_PATH_IMAGE002
的每帧图像的分类结果
Figure 924317DEST_PATH_IMAGE008
对
Figure 310299DEST_PATH_IMAGE013
进行更新；
更新方式：
Figure DEST_PATH_IMAGE025
其中，
Figure 73724DEST_PATH_IMAGE017
为损失函数，即Lossfuction，
Figure 203354DEST_PATH_IMAGE018
指损失函数沿每帧图片的颜色通道值梯度方向反向传播，
Figure 220989DEST_PATH_IMAGE019
为步长，
Figure 43451DEST_PATH_IMAGE020
，
Figure 44905DEST_PATH_IMAGE021
表示对
Figure 978226DEST_PATH_IMAGE013
的第几轮更新，
Figure 115946DEST_PATH_IMAGE003
为视频内的帧数，
Figure 92999DEST_PATH_IMAGE008
为视频内第
Figure 581749DEST_PATH_IMAGE009
帧图像的分类结果，
Figure 53181DEST_PATH_IMAGE022
为视频内的第
Figure 310987DEST_PATH_IMAGE009
帧；
固定循环轮数
Figure 475253DEST_PATH_IMAGE021
后得到的差值的绝对值小于给定的误差值eps，则不再更新，在所有循环结果中选出损失函数最大的一例对应的结果作为网络层面最终的视频对抗样本
Figure 185720DEST_PATH_IMAGE023
，即视频的通用干扰值
Figure 460843DEST_PATH_IMAGE024
。
8.根据权利要求7所述的一种针对视频识别场景的物理干扰系统，其特征在于：物理干扰模块在获取视频前，将网络层面生成的通用干扰值
Figure 825353DEST_PATH_IMAGE024
传输给可调节滤镜,实现物理干扰。
CN202110797548.3A 2021-07-14 2021-07-14 一种针对视频识别场景的物理干扰方法及系统 Active CN113283545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110797548.3A CN113283545B (zh) 2021-07-14 2021-07-14 一种针对视频识别场景的物理干扰方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110797548.3A CN113283545B (zh) 2021-07-14 2021-07-14 一种针对视频识别场景的物理干扰方法及系统

Publications (2)

Publication Number Publication Date
CN113283545A true CN113283545A (zh) 2021-08-20
CN113283545B CN113283545B (zh) 2021-11-02

Family

ID=77286756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110797548.3A Active CN113283545B (zh) 2021-07-14 2021-07-14 一种针对视频识别场景的物理干扰方法及系统

Country Status (1)

Country Link
CN (1) CN113283545B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543760A (zh) * 2018-11-28 2019-03-29 上海交通大学 基于图像滤镜算法的对抗样本检测方法
US10733292B2 (en) * 2018-07-10 2020-08-04 International Business Machines Corporation Defending against model inversion attacks on neural networks
CN111539916A (zh) * 2020-04-08 2020-08-14 中山大学 一种对抗鲁棒的图像显著性检测方法及系统
CN111627044A (zh) * 2020-04-26 2020-09-04 上海交通大学 基于深度网络的目标追踪攻击与防御方法
US10783401B1 (en) * 2020-02-23 2020-09-22 Fudan University Black-box adversarial attacks on videos
EP3748573A1 (en) * 2019-06-05 2020-12-09 Sony Interactive Entertainment Inc. Digital model repair system and method
CN112115761A (zh) * 2020-05-12 2020-12-22 吉林大学 自动驾驶汽车视觉感知系统漏洞检测的对抗样本生成方法
US20200411167A1 (en) * 2019-06-27 2020-12-31 Retrace Labs Automated Dental Patient Identification And Duplicate Content Extraction Using Adversarial Learning
US20200410649A1 (en) * 2019-06-27 2020-12-31 Retrace Labs Inpainting Dental Images With Missing Anatomy
CN113033747A (zh) * 2021-05-26 2021-06-25 中国工程物理研究院计算机应用研究所 一种用于人机识别的图形识别码生成方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733292B2 (en) * 2018-07-10 2020-08-04 International Business Machines Corporation Defending against model inversion attacks on neural networks
CN109543760A (zh) * 2018-11-28 2019-03-29 上海交通大学 基于图像滤镜算法的对抗样本检测方法
EP3748573A1 (en) * 2019-06-05 2020-12-09 Sony Interactive Entertainment Inc. Digital model repair system and method
US20200387739A1 (en) * 2019-06-05 2020-12-10 Sony Interactive Entertainment Inc. Digital Model Repair System and Method
US20200411167A1 (en) * 2019-06-27 2020-12-31 Retrace Labs Automated Dental Patient Identification And Duplicate Content Extraction Using Adversarial Learning
US20200410649A1 (en) * 2019-06-27 2020-12-31 Retrace Labs Inpainting Dental Images With Missing Anatomy
US10783401B1 (en) * 2020-02-23 2020-09-22 Fudan University Black-box adversarial attacks on videos
CN111539916A (zh) * 2020-04-08 2020-08-14 中山大学 一种对抗鲁棒的图像显著性检测方法及系统
CN111627044A (zh) * 2020-04-26 2020-09-04 上海交通大学 基于深度网络的目标追踪攻击与防御方法
CN112115761A (zh) * 2020-05-12 2020-12-22 吉林大学 自动驾驶汽车视觉感知系统漏洞检测的对抗样本生成方法
CN113033747A (zh) * 2021-05-26 2021-06-25 中国工程物理研究院计算机应用研究所 一种用于人机识别的图形识别码生成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHASHA LI 等: "Adversarial Perturbations Against Real-Time Video Classification Systems", 《NETWORK AND DISTRIBUTED SYSTEMS SECURITY SYMPOSIUM》 *
ZHIPENGWEI 等: "Heuristic Black-Box Adversarial Attacks on Video Recognition Models", 《THE THIRTY-FOURTH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 *
任奎: "人工智能模型数据泄露的攻击与防御研究综述", 《网络与信息安全学报》 *

Also Published As

Publication number Publication date
CN113283545B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
Yu et al. Attributing fake images to gans: Learning and analyzing gan fingerprints
Jourabloo et al. Face de-spoofing: Anti-spoofing via noise modeling
Verdoliva Extracting camera-based fingerprints for video forensics
CN112364745B (zh) 一种对抗样本的生成方法、装置及电子设备
CN112001429B (zh) 一种基于纹理特征的深度伪造视频检测方法
Gragnaniello et al. Analysis of adversarial attacks against CNN-based image forgery detectors
CN113361604A (zh) 一种面向目标检测的物理攻击对抗补丁的生成方法及系统
CN114677722A (zh) 一种融合多尺度特征的多监督人脸活体检测方法
CN114842526A (zh) 一种基于对抗进攻的视频流人脸隐私保护方法
Hwang et al. Just one moment: Structural vulnerability of deep action recognition against one frame attack
Wang et al. Adversarial analysis for source camera identification
Sari et al. The effect of error level analysis on the image forgery detection using deep learning
Ma et al. TransCAB: Transferable clean-annotation backdoor to object detection with natural trigger in real-world
CN113283545B (zh) 一种针对视频识别场景的物理干扰方法及系统
CN116798100A (zh) 人脸视频的检测方法和装置
CN113486688A (zh) 一种人脸识别方法及智能设备
Hu et al. Draw: Defending camera-shooted raw against image manipulation
CN116311439A (zh) 一种人脸验证隐私保护方法和装置
CN111126283A (zh) 一种自动过滤模糊人脸的快速活体检测方法及系统
CN111191519B (zh) 一种用于移动供电装置用户接入的活体检测方法
Leonenkova et al. Ti-Patch: Tiled Physical Adversarial Patch for no-reference video quality metrics
Liu et al. Towards robust gan-generated image detection: a multi-view completion representation
Tangari et al. On the adversarial inversion of deep biometric representations
CN113505722A (zh) 一种基于多尺度特征融合的活体检测方法、系统及装置
Zhu et al. Campro: Camera-based anti-facial recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant