CN111144274A - 一种面向yolo检测器的社交图片隐私保护方法和装置 - Google Patents

一种面向yolo检测器的社交图片隐私保护方法和装置 Download PDF

Info

Publication number
CN111144274A
CN111144274A CN201911346202.0A CN201911346202A CN111144274A CN 111144274 A CN111144274 A CN 111144274A CN 201911346202 A CN201911346202 A CN 201911346202A CN 111144274 A CN111144274 A CN 111144274A
Authority
CN
China
Prior art keywords
probability
yolo
class
sensitive
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911346202.0A
Other languages
English (en)
Other versions
CN111144274B (zh
Inventor
薛明富
袁成翔
孙仕长
吴至禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201911346202.0A priority Critical patent/CN111144274B/zh
Publication of CN111144274A publication Critical patent/CN111144274A/zh
Application granted granted Critical
Publication of CN111144274B publication Critical patent/CN111144274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G06V40/53—Measures to keep reference information secret, e.g. cancellable biometrics
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种面向YOLO检测器的社交图片隐私保护方法和装置。所述方法通过对图片生成一个精心构建的对抗扰动，使得图片中的敏感信息无法被检测器获取。方法包括：设定图片中的敏感信息类；将图片输入YOLO模型，获取敏感物体类的概率ρ；使用敏感物体类的概率ρ对模型的损失函数loss赋值，并通过迭代优化损失函数，使损失函数的值低于预设的阈值T，从而生成有效的对抗样本；将对抗样本输入YOLO模型进行检测。本方法可成功使得YOLO目标检测器无法获取社交图片中的隐私信息。

Description

一种面向YOLO检测器的社交图片隐私保护方法和装置
技术领域
本发明属于网络空间安全和人工智能安全领域，具体涉及一种社交图片隐私保护方法，可以有效防御基于深度神经网络(DNNs)的YOLO(YouOnly Look Once)目标检测器的隐私窃取攻击。
背景技术
近年来，人工智能技术已广泛应用于各个领域，包括一些安全相关领域。然而，这也带来一系列的安全问题，其中一个重要的安全威胁就是大量用户隐私信息的泄露。随着社交平台的流行，许多用户热衷于将自己的照片分享到社交网站等社交平台。据统计，每天大约有上亿张图片被上传到社交网站，并且几乎每一个用户都曾在社交网站上传过自己的生活照片。在用户毫不知情的情况下，这些被上传到社交平台的个人生活照片很可能会被非法地用于人工智能系统(尤其是深度学习模型)的训练。更为严重的是，一些不法分子甚至会从用户上传的图片中提取出重要的敏感信息，如用户的面部特征、指纹、家庭成员、兴趣爱好等，从而造成用户隐私信息的泄露。在此类攻击中，首先，他们会利用目标检测器对图片中的信息进行提取和分析，获得其中重要的敏感信息，如用户兴趣爱好、家庭成员状况等；然后，基于上述提取出的敏感信息，这些不法分子可以向目标用户进行定向的广告推送以获得商业利益或作其他用途。对于用户而言，隐私信息泄露和不胜其烦的广告推送会严重地影响用户的信息安全和日常生活。
已有一些简单的图片隐私保护方法，包括：模糊化处理、添加噪声和马赛克等。这些简单的保护方法对于基于机器学习的图像检测系统的隐私窃取攻击收效甚微。先进的目标检测器，如YOLO，依然可以成功检测出经这些方法处理后的图片中的隐私信息。此外，目前还有两种更为复杂的图片隐私信息的保护方法：用户权限控制和图像加密。用户权限控制需要用户事先进行访问权限设置，该方法试图切断陌生人员接触敏感信息的途径，从源头实现用户隐私保护。然而这种方法会对用户的社交体验造成不必要的麻烦。图像加密技术虽然简单快速，但是频繁的图像加密、解密会浪费大量网络和计算机资源。因此，使用已有的社交图片保护方法难以有效地解决智能图像检测系统窃取隐私的问题。
发明内容
发明目的：针对目标检测器非法窃取用户社交图片中的隐私信息，已有的图片隐私保护方法不能有效地防御此类攻击，而且影响了用户的社交体验的问题，本发明提出一种基于对抗样本的社交图片隐私保护方法和装置，可成功使得YOLO目标检测器无法获取社交图片中特定的隐私信息。
技术方案：根据本发明的第一方面，提供一种面向YOLO检测器的社交图片隐私保护方法，所述方法通过对图片生成一个精心构建的对抗扰动，使得图片中的敏感信息无法被检测器获取，具体包括以下步骤：
设定图片中的敏感信息类；
将图片输入YOLO模型，获取敏感物体类的概率ρ；
使用敏感物体类的概率ρ对模型的损失函数loss赋值，并通过迭代调整损失函数值，直到该值低于设定的阈值T，生成对抗样本；
将对抗样本输入YOLO模型进行检测。
根据本发明的第二方面，提供一种面向YOLO检测器的社交图片隐私保护装置，包括：
敏感信息设定模块，用于设定图片中的敏感信息类；
敏感物体类概率获取模块，用于将图片输入YOLO模型，获取敏感物体类的概率ρ；
对抗样本生成模块，用于使用敏感物体类的概率ρ对模型的损失函数loss赋值，并通过迭代调整损失函数值，直到该值低于设定的阈值T，生成对抗样本；
检测模块，用于将对抗样本输入YOLO模型进行检测。
根据本发明的第三方面，提供一种计算机设备，所述设备包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现如本发明第一方面所述方法的步骤。
有益效果：
1、针对社交图片隐私泄露问题，本发明提出了一种有效的社交图片隐私保护方法，该方法可让特定敏感物体在检测器面前消失，从而让检测器无法获取到敏感信息。在设定的检测阈值(0.5)下，本发明保护隐私成功率超过90％。
2、已有的图片隐私保护方法不能有效解决YOLO目标检测器带来的社交图片隐私泄露的问题，本发明提出一种特定的隐私保护算法，该方法不仅可以有效保护社交图片的隐私，而且人类观察者难以察觉到图片处理前后的变化。同时实验表明：本算法较为稳定，不受数据集、物体类别的影响，且可以做到实时的图片处理。
3、本发明提出一种基于对抗样本的社交图片隐私保护方法。对抗样本原本是针对人工智能系统如深度神经网络系统的一种攻击方法，例如：用对抗样本攻击人脸识别系统、无人驾驶汽车的路标识别系统。本发明将对抗样本用于用户社交图片隐私保护，将对抗样本这样一种攻击技术应用作为一种有益的保护技术。通过对输入图片添加一些精心构建的微小扰动，可以使深度神经网络输出错误的预测结果，同时不会影响人类的视觉观看效果。
附图说明
图1是根据本发明实施例的隐私保护算法流程图；
图2是根据本发明实施例的对社交图片的隐私保护方法流程图；
图3是根据本发明实施例的一张社交图片在施加隐私保护算法前后的检测结果；
图4根据本发明实施例的针对不同场景中的“人”的防御结果；
图5根据本发明实施例的在不同阈值下针对“人”的防御成功率；
图6根据本发明实施例的针对8个特定敏感信息类的隐私保护率。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。应当了解，以下提供的实施例仅是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的技术构思，本发明还可以用许多不同的形式来实施，并且不局限于此处描述的实施例。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。
本发明针对YOLO目标检测器窃取社交图片中隐私信息的现象，提出了一种特定的隐私保护算法，该算法可让图片中的特定敏感物体“消失”，从而实现对社交隐私的保护。本算法的核心思想为：生成一个精心构建的对抗扰动，该扰动使得目标敏感信息类的概率低于模型设定的检测阈值。具体来说，本算法使用目标敏感信息类的最大概率代替模型的损失函数，并通过不断优化损失函数值来降低敏感信息类的概率，从而达到使特定类消失的效果。优化过程采用的是Adam(Adaptive Moment Estimation，适应性矩估计)优化算法。本隐私保护算法主要分为以下4个步骤：1)获取敏感物体类的概率；2)计算损失函数值；3)限制损失函数值的大小；4)Adam循环优化。算法的执行流程如图1所示。在算法中，第一步对模型概率分布进行筛选、求最大值操作，从而获取敏感物体类的概率；第二步使用敏感物体类的概率对损失函数赋值；第三步是一个循环条件控制部分，当损失函数值大于给定阈值时，继续采用Adam算法对损失函数值进行优化；否则，退出循环并生成相应的对抗样本。第四步串联起前三个步骤，它是一个添加扰动的过程，通过不断优化目标的损失函数值来不断降低敏感物体的概率，直到生成一个有效的对抗样本，对抗样本是指对原始图片添加扰动后的图片。形式化的优化迭代过程可用以下公式加以描述：
Figure BDA0002333424470000041
其中，x为原始输入样本，x'为生成的对抗样本，用x初始化x'。经过x初始化后，YOLO会把输入x划分成多个网格区域，b代表一个网格区域R中所有的物体框B，p为每一个物体框B所包含的概率分布，ys是特定的敏感物体类标签，S表示敏感信息类别的总数，Pr表示在网格区域R中类标签为ys的敏感物体的概率函数。
此外，本发明提出了一个用来衡量隐私保护程度的指标：隐私保护率。这一指标由图片处理后被检测到的物体框数目与处理前被检测到的物体框数目的比值计算得到。隐私保护率可以精确衡量以物体个数为单位的隐私保护程度。
将上述算法应用在社交图片隐私保护上的技术方案主要分为以下几个部分：设定敏感信息类、图片预处理及初始化操作、获取特定敏感信息类及其概率、执行算法优化过程、生成对抗样本与YOLO检测。图2描述了本发明保护图片隐私信息的基本流程，具体的技术方案如下：
1、设定敏感信息类。在本发明中，图片中可能出现的敏感信息被分为两类：一类是包含身份特征、位置、地点等信息的敏感源物体，例如人、濒危动物、飞机、火车、红绿灯和一些典型建筑物等；另一类是与人的生活、兴趣相关的商品化物体，例如背包、手提包、电视、笔记本电脑、书、体育用品等。YOLO共可以识别80个类别，每个类别都有一个代号(类别号)，例如：人的代号是0，我们在设定敏感信息类的时候把敏感物体的类别号存入预先设定的敏感信息类标签表中。
2、图片预处理及初始化操作。在对图片进行处理时，本方法首先加载待处理的图片及敏感信息类标签表，敏感信息标签类表中包含了所有敏感信息的类别号，然后将图片预处理为YOLO模型所需的固定格式。实施例中采用YOLO V2模型，所以将图片大小均统一为416×416像素的固定格式。接着将图片输入YOLO模型中，并对YOLO进行初始化操作：优化器采用Adam算法优化，模型学习率设为0.0005。
3、获取特定敏感信息类及其概率。YOLO检测器的检测过程如下：YOLO共有80个待识别的物体类，它在接收到输入图像后，会把每张图片分割成多个网格区域。每个区域中存在5个预测物体框B以及这5个框对应的置信度与概率，物体框B标示了物体所在的位置，包括物体框中心点的坐标(x,y)及框的高h和宽w；置信度与概率分别描述B中是否存在物体、物体的概率分布两个有效信息，其中概率分布是由80个物体类的概率组成的。最终YOLO会把所有物体框的位置、物体的置信度与概率分布作为输出张量输出。在初始化步骤结束后，本方法直接获取YOLO模型产生的输出张量，其张量形式为[batch,5,85,169]，其中batch是YOLO模型训练阶段一次输入的训练数据量，本方法使用的是YOLO模型的检测阶段，一般将batch设置为1。第二个维度的“5”表示一个网格区域每次预测出5个物体框。“85”的前4个位置分别是物体框的中心点的坐标x，y及框的高h和宽w，第5个位置是物体的置信度，最后80个位置是物体的概率。第四个维度的“169”是每个网格区域的面积大小(h×w)。之后从输出张量中获取敏感信息类的概率。本方法首先从敏感信息类标签表中获取敏感信息的类别号，其次通过类别号查找输出张量中该类别的物体是否存在，若存在，则获取概率分布中该敏感信息类的概率信息，否则不做任何处理。最后，本方法选择YOLO对一个物体预测的最大概率作为敏感物体类的概率ρ。例如，设敏感信息是“人”，人在敏感信息标签表中的类别ID是0，则根据0可以获取输出张量中相应位置上最大的概率值，该最大概率值就可以作为YOLO对“人”的最终预测概率。
4、执行算法优化过程。本步骤通过N次迭代优化来降低特定敏感信息类的概率。每一次迭代均由上述提到的隐私保护算法的第二、三、四步共同完成。本方法使用已获取的特定类的最大概率ρ来计算模型损失函数值loss，即loss＝ρ，通过对损失函数值的优化达到降低敏感信息类的概率的目的。其中损失函数loss用于对模型进行优化，它可使模型调整自身参数以获得更为精确的预测结果。最终，特定敏感信息类的概率会降低。本方法设置了一个阈值T来控制损失函数值的大小，且确保它小于YOLO设定的检测阈值。本方法将检测阈值设置为0.5。每次迭代结束时，系统会比较当前损失函数值loss是否小于给定的阈值T，当其小于给定的阈值T或N次迭代完成时，进入下一步骤，否则，继续执行算法优化的过程。
5、生成对抗样本与YOLO检测。若算法优化过程结束后对抗样本中敏感信息类的概率小于YOLO的检测阈值，则在YOLO检测过程中敏感物体不会被检测到；否则，敏感物体会被检测到。当给定的阈值T＜0.5时，本方法可成功使特定敏感信息类在检测器面前消失，进而实现图像隐私保护。
本发明的验证实验是在Google提供的开发平台Colaboratory上进行的，使用PyTorch深度学习框架开发环境。在目标检测器和数据集的选择方面，目前主流的目标检测器分为两类：单阶段(one-stage)目标检测器和两阶段(two-stage)目标检测器。单阶段的目标检测器主要有：YOLO、YOLO V2、SSD(Single Shot Multibox Detector)、YOLO V3，两阶段的目标检测器主要有：RCNN(Regions with Convolutional Neural Networks)、FastRCNN、Faster RCNN、RFCN(Region-based Fully Convolutional Networks)。本发明选取YOLO v2检测器作为目标检测器，其在检测速度和检测精度方面性能优越，整个检测过程一步完成，适用于批量图片的检测。本发明在INRIA数据集和MS COCO数据集上验证了所提出的隐私保护算法的有效性。
本发明从INRIA数据集中选取500张图片，COCO数据集中选取4000张图片，共计4500张社交图片来进行相关实验。针对YOLO检测器，图3比较了一张社交图片在施加隐私保护算法前后检测结果的不同。原始图片检测结果显示：如果社交图片不经处理，YOLO检测器能够轻易检测出图片中的物体，包括一些敏感信息。经过对抗样本处理后的检测结果显示：图片经过处理后，YOLO检测器无法检测出图中的敏感信息。所以，本发明可以有效地保护用户图片隐私。为了更好地展示本发明的实验效果，图4列举了本方法在3种不同场景下的防御结果，其中第一行示例图片中的敏感信息仅仅是“人”，经过本方法处理后，检测器没有检测出任何物体。第二行的示例图片不仅含有敏感信息“人”，而且还拥有一些其他的非敏感信息类。第二行结果显示，图片中的人“消失”了，而像椅子、狗、自行车等其他物体均被检测到了。在第三行的示例图片中，不仅图片背景更为复杂，而且图片中存在多个人。第三行结果显示，图片中的所有的人都“消失”了，在复杂环境下，本保护方法同样也可以使相应的敏感物体从智能识别程序面前消失。
表1为本发明提出的方法与已有的图像处理方法的实验性能对比，对比方法包括改变亮度、模糊化、添加马赛克等图像处理方法。
表1本方法与已有图像处理方法在防御成功率与峰值信噪比方面的对比结果
Figure BDA0002333424470000071
本实验以“人”为目标敏感物体，实验验证数据集为INRIA数据集，共选取500张图片，生成对抗样本的阈值设定为0.25。实验中，YOLO检测器的检测阈值被设定为0.5，在一张被处理过的图片中，若所有的“人”都不出现检测框，则成功保护图片的隐私；若存在一个或多个“人”被检测到，则未成功保护图片的隐私。表中的防御成功率为成功保护隐私的图片数目与图片总数的比值，用于衡量不同方法的隐私保护成功率。采用另一项性能指标—峰值信噪比(Peak Signal to Noise Ratio，PSNR)，用于评估图像质量的好坏。PSNR值越大，图像质量越好。从表中可以看出，增加透明度、改变亮度、添加高斯噪声、模糊化、添加马赛克等图片处理方法的隐私保护成功率均低于2％，即不能很好地保护图片隐私。在被保护的图片质量方面，改变亮度与增加透明度的PSNR最低，图片破坏最大，其次是添加高斯噪声，再次是模糊化和添加马赛克，而本发明采用的添加对抗样本的保护方法拥有平均PSNR＝40.23的优良性能，表明采用本保护方法对图片的破坏程度最小。数据对比发现，简单的图像处理方法不仅不能保护社交图片隐私，而且对图片损害较大，影响人们的视觉体验，而本发明采用的基于对抗样本的保护方法有效避免了以上两个不足。
此外，本发明还研究了损失函数值在不同阈值设置下的变化对防御成功率的影响。迭代优化的最大迭代次数设为40，图片数量为500张。不同阈值设置下的防御成功率变化结果如图5所示，阈值直接影响损失函数值，从而间接引起防御成功率的变化。当阈值为0.2时，本方法对敏感物体的防御成功率为100％，即对于所有的测试图片，本方法均可以让特定的敏感物体类消失，图片隐私不会泄露；当阈值为0.3时，防御成功率达到98.6％；而当阈值为0.4时，防御成功率为93.8％。如图所示，随着阈值的增加，本方法的防御成功率有小幅度降低。图5结果表明，虽然随着阈值的增加，本算法的隐私保护防御成功率会有所下降，但是在阈值不超过检测阈值(0.5)的情况下，本算法的防御成功率大于或接近90％。此外，阈值不仅影响敏感信息类的防御成功率，还与图片处理速度相关。实验结论表明：阈值越小，本方法的防御成功率越高，但是生成对抗样本所需的时间也越大。如果需要更快的处理速度，可以选择较大的阈值；如果要求最大程度地保障图片的隐私，则应尽可能地使阈值低于0.2。
为了更好地衡量本方法的隐私保护程度及稳定性，本发明测量了本防御方法在8个特定敏感信息类中的隐私保护率。隐私保护率为对抗样本中被检测到的物体框的数目与原始图片中被检测到的物体框的数目的比值。验证数据集为COCO数据集，选取的敏感物体类分别为人、大象、飞机、红绿灯、书、背包、笔记本电脑、球类，每个类别有500张图片。图4显示了8个敏感物体类的隐私保护率。如图4所示，8个类的隐私保护率均在90％以上，因此本发明提出的隐私保护算法可以有效地保护图片隐私。此外，本方法的隐私保护率受数据集、敏感物体类别因素影响较小。
基于与方法实施例相同的技术构思，根据本发明的另一实施例，提供一种面向YOLO检测器的社交图片隐私保护装置，包括：
敏感信息设定模块，用于设定图片中的敏感信息类；可能出现的敏感信息被分为两类：一类是包含身份特征、位置、地点等信息的敏感源物体，例如人、濒危动物、飞机、火车、红绿灯和一些典型建筑物等；另一类是与人的生活、兴趣相关的商品化物体，例如背包、手提包、电视、笔记本电脑、书、体育用品等。
敏感物体类概率获取模块，用于将图片输入YOLO模型，并对YOLO模型初始化，获取敏感物体类的概率ρ；实施例中YOLO模型使用YOLO v2，在对图片进行处理时，首先加载待处理的图片及敏感信息类标签表，敏感信息标签类表中包含了所有敏感信息的类别号，然后进行图片预处理，使得每一张图片大小为416×416像素的固定格式。接着将图片输入YOLO模型中，并对YOLO进行初始化操作：优化器采用Adam算法优化，模型学习率设为0.0005。在初始化结束后，获取YOLO模型产生的输出张量，其张量形式为[batch,5,85,169]，这里batch＝1，之后从输出张量中获取敏感信息类的概率，在获取敏感信息类概率时，首先从敏感信息类标签表中获取敏感信息的类别号，然后通过类别号查找输出张量中该类别的物体是否存在，若存在，则获取概率分布中该敏感信息类的概率信息，否则不做任何处理。由于每个网格区域会预测出多个可能的物体类别及其对应的概率值，将选取最大的概率对应的物体类别，并以此概率作为预测物体最终的概率ρ。
对抗样本生成模块，用于使用敏感物体类的概率ρ对模型的损失函数loss赋值，并通过迭代调整损失函数值，直到该值低于设定的阈值T，生成对抗样本，其中所述设定的阈值T低于YOLO模型的检测阈值。对抗样本生成模块在使用敏感物体类的概率对损失函数赋值后，通过一个循环条件控制该损失函数值的大小。具体地，当损失函数值大于给定阈值时，采用Adam算法对损失函数值进行优化；这是一个添加扰动的过程，通过不断优化目标的损失函数值来不断降低敏感物体的概率，直到生成一个有效的对抗样本。
检测模块，用于将对抗样本输入YOLO模型进行检测。
根据本发明的另一实施例，还提供一种计算机设备，所述设备包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现方法实施例中的各步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种面向YOLO检测器的社交图片隐私保护方法，其特征在于，所述方法通过对图片生成一个精心构建的对抗扰动，使得图片中的敏感信息无法被检测器获取，具体包括以下步骤：
设定图片中的敏感信息类；
将图片输入YOLO模型，获取敏感物体类的概率ρ；
使用敏感物体类的概率ρ对模型的损失函数loss赋值，并通过迭代调整损失函数值，直到该值低于设定的阈值T，生成对抗样本；
将对抗样本输入YOLO模型进行检测。
2.根据权利要求1所述的面向YOLO检测器的社交图片隐私保护方法，其特征在于，所述获取敏感物体类的概率ρ包括：
获取YOLO模型产生的输出张量，输出张量中包含了所有可能的物体类与物体类的概率分布；
从敏感信息类标签表中获取敏感信息的类别号，通过类别号查找输出张量中该类别的物体是否存在，若存在，则获取概率分布中该敏感信息类的概率，否则不做任何处理；
选择YOLO对一个物体预测的最大概率作为敏感物体类的概率ρ。
3.根据权利要求1所述的面向YOLO检测器的社交图片隐私保护方法，其特征在于，所述迭代过程形式如下：
Figure FDA0002333424460000011
其中，x为原始输入样本，x'为生成的对抗样本，用x初始化x'，经过x初始化后，YOLO会把输入x划分成多个网格区域，b代表一个网格区域R中所有的物体框B，p为每一个物体框B所包含的概率分布，ys是特定的敏感物体类标签，S表示敏感信息类别的总数，Pr表示在网格区域R中类标签为ys的敏感物体的概率函数。
4.根据权利要求1所述的面向YOLO检测器的社交图片隐私保护方法，其特征在于，所述通过迭代调整损失函数值包括：使用敏感物体类的概率ρ对损失函数loss赋值后，判断损失函数值与设定阈值T的大小，当损失函数值大于设定阈值T时，采用Adam算法对损失函数值进行优化，直到该值小于设定阈值T。
5.根据权利要求1所述的面向YOLO检测器的社交图片隐私保护方法，其特征在于，所述设定的阈值T＜0.5。
6.一种面向YOLO检测器的社交图片隐私保护装置，其特征在于，包括：
敏感信息设定模块，用于设定图片中的敏感信息类；
敏感物体类概率获取模块，用于将图片输入YOLO模型，获取敏感物体类的概率ρ；
对抗样本生成模块，用于使用敏感物体类的概率ρ对模型的损失函数loss赋值，并通过迭代调整损失函数值，直到该值低于设定的阈值T，生成对抗样本；
检测模块，用于将对抗样本输入YOLO模型进行检测。
7.根据权利要求6所述的面向YOLO检测器的社交图片隐私保护装置，其特征在于，所述敏感物体类概率获取模块获取敏感物体类的概率ρ的实现过程包括：
获取YOLO模型产生的输出张量，输出张量中包含了所有可能的物体类与物体类的概率分布；
从敏感信息类标签表中获取敏感信息的类别号，通过类别号查找输出张量中该类别的物体是否存在，若存在，则获取概率分布中该敏感信息类的概率，否则不做任何处理；
选择YOLO对一个物体预测的最大概率作为敏感物体类的概率ρ。
8.根据权利要求6所述的面向YOLO检测器的社交图片隐私保护装置，其特征在于，所述对抗样本生成模块中迭代过程形式如下：
Figure FDA0002333424460000021
其中，x为原始输入样本，x'为生成的对抗样本，用x初始化x'，经过x初始化后，YOLO会把输入x划分成多个网格区域，b代表一个网格区域R中所有的物体框B，p为每一个物体框B所包含的概率分布，ys是特定的敏感物体类标签，S表示敏感信息类别的总数，Pr表示在网格区域R中类标签为ys的敏感物体的概率函数。
9.根据权利要求6所述的面向YOLO检测器的社交图片隐私保护装置，其特征在于，所述对抗样本生成模块通过迭代调整损失函数值包括：使用敏感物体类的概率ρ对损失函数loss赋值后，判断损失函数值与设定阈值T的大小，当损失函数值大于设定阈值T时，采用Adam算法对损失函数值进行优化，直到该值小于设定阈值T。
10.一种计算机设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现如权利要求1-5中的任一项所述方法的步骤。
CN201911346202.0A 2019-12-24 2019-12-24 一种面向yolo检测器的社交图片隐私保护方法和装置 Active CN111144274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911346202.0A CN111144274B (zh) 2019-12-24 2019-12-24 一种面向yolo检测器的社交图片隐私保护方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911346202.0A CN111144274B (zh) 2019-12-24 2019-12-24 一种面向yolo检测器的社交图片隐私保护方法和装置

Publications (2)

Publication Number Publication Date
CN111144274A true CN111144274A (zh) 2020-05-12
CN111144274B CN111144274B (zh) 2023-06-09

Family

ID=70520015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911346202.0A Active CN111144274B (zh) 2019-12-24 2019-12-24 一种面向yolo检测器的社交图片隐私保护方法和装置

Country Status (1)

Country Link
CN (1) CN111144274B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723864A (zh) * 2020-06-19 2020-09-29 天津大学 基于主动学习使用互联网图片进行对抗训练的方法及装置
CN111859454A (zh) * 2020-07-28 2020-10-30 桂林慧谷人工智能产业技术研究院 防御基于图神经网络链路预测的隐私保护方法
CN113515774A (zh) * 2021-04-23 2021-10-19 北京航空航天大学 基于投影梯度下降法生成对抗样本的隐私保护方法
CN114220097A (zh) * 2021-12-17 2022-03-22 中国人民解放军国防科技大学 一种基于对抗攻击的图像语义信息敏感像素域的筛选方法及应用方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222831A (zh) * 2019-06-13 2019-09-10 百度在线网络技术（北京）有限公司 深度学习模型的鲁棒性评估方法、装置及存储介质
US20190286932A1 (en) * 2018-03-14 2019-09-19 Adobe Inc. Detecting objects using a weakly supervised model
CN110363068A (zh) * 2019-05-28 2019-10-22 中国矿业大学 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN110363183A (zh) * 2019-07-30 2019-10-22 贵州大学 基于生成式对抗网络的服务机器人视觉图片隐私保护方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190286932A1 (en) * 2018-03-14 2019-09-19 Adobe Inc. Detecting objects using a weakly supervised model
CN110363068A (zh) * 2019-05-28 2019-10-22 中国矿业大学 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN110222831A (zh) * 2019-06-13 2019-09-10 百度在线网络技术（北京）有限公司 深度学习模型的鲁棒性评估方法、装置及存储介质
CN110363183A (zh) * 2019-07-30 2019-10-22 贵州大学 基于生成式对抗网络的服务机器人视觉图片隐私保护方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENXIANG YUAN，MINGFU XU，LINGLING ZHANG，AND HEYI WU: "Robustness Analysis on Natural Language Processing Based AI Q&A Robots" *
MINGFU XUE，CHENGXIANG YUAN, ZHE LIU, AND JIAN WANG: "A Novel Image Hashing Technique Using SIFT Keypoints with Saliency Detection and LBP Feature Extraction against Combinatorial Manipulations" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723864A (zh) * 2020-06-19 2020-09-29 天津大学 基于主动学习使用互联网图片进行对抗训练的方法及装置
CN111859454A (zh) * 2020-07-28 2020-10-30 桂林慧谷人工智能产业技术研究院 防御基于图神经网络链路预测的隐私保护方法
CN111859454B (zh) * 2020-07-28 2024-03-29 桂林慧谷人工智能产业技术研究院 防御基于图神经网络链路预测的隐私保护方法
CN113515774A (zh) * 2021-04-23 2021-10-19 北京航空航天大学 基于投影梯度下降法生成对抗样本的隐私保护方法
CN113515774B (zh) * 2021-04-23 2024-01-12 北京航空航天大学 基于投影梯度下降法生成对抗样本的隐私保护方法
CN114220097A (zh) * 2021-12-17 2022-03-22 中国人民解放军国防科技大学 一种基于对抗攻击的图像语义信息敏感像素域的筛选方法及应用方法与系统
CN114220097B (zh) * 2021-12-17 2024-04-12 中国人民解放军国防科技大学 一种基于对抗攻击的图像语义信息敏感像素域的筛选方法及应用方法与系统

Also Published As

Publication number Publication date
CN111144274B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN111144274B (zh) 一种面向yolo检测器的社交图片隐私保护方法和装置
Zhao et al. Seeing isn't believing: Towards more robust adversarial attack against real world object detectors
Wang et al. Towards a physical-world adversarial patch for blinding object detection models
CN107704877B (zh) 一种基于深度学习的图像隐私感知方法
Yuan et al. Stealthy porn: Understanding real-world adversarial images for illicit online promotion
CN111178183B (zh) 人脸检测方法及相关装置
US10657651B2 (en) Systems and methods for detection of significant and attractive components in digital images
Ma et al. A novel face presentation attack detection scheme based on multi-regional convolutional neural networks
CN103473564B (zh) 一种基于敏感区域的正面人脸检测方法
CN113515774B (zh) 基于投影梯度下降法生成对抗样本的隐私保护方法
Han et al. Efficient Eye‐Blinking Detection on Smartphones: A Hybrid Approach Based on Deep Learning
CN111046957B (zh) 一种模型盗用的检测、模型的训练方法和装置
Chen et al. Patch selection denoiser: An effective approach defending against one-pixel attacks
Adeyemo et al. Stain: Stealthy avenues of attacks on horizontally collaborated convolutional neural network inference and their mitigation
Xue et al. SocialGuard: An adversarial example based privacy-preserving technique for social images
CN117436077B (zh) 一种基于图像隐写的联邦学习后门攻击方法
CN117972691A (zh) 基于遗忘学习的可解释图推荐系统后门防御方法及系统
CN116305103A (zh) 一种基于置信度差异的神经网络模型后门检测方法
Qin et al. Adversarial attack for object detectors under complex conditions
Xu et al. Inconspicuous data augmentation based backdoor attack on deep neural networks
CN118690365A (zh) 一种攻击检测方法及装置
Liang et al. Protecting image privacy through adversarial perturbation
CN117390685B (zh) 一种基于遗忘学习的行人重识别数据隐私保护方法和系统
CN115878848B (zh) 一种对抗性视频样本生成方法、终端设备及介质
Yu et al. Improving Adversarial Robustness Against Universal Patch Attacks Through Feature Norm Suppressing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant