CN113239851A - 一种基于隐私保护的隐私图像处理方法、装置及设备 - Google Patents

一种基于隐私保护的隐私图像处理方法、装置及设备 Download PDF

Info

Publication number
CN113239851A
CN113239851A CN202110582852.6A CN202110582852A CN113239851A CN 113239851 A CN113239851 A CN 113239851A CN 202110582852 A CN202110582852 A CN 202110582852A CN 113239851 A CN113239851 A CN 113239851A
Authority
CN
China
Prior art keywords
image
information
disturbance
feature corresponding
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110582852.6A
Other languages
English (en)
Other versions
CN113239851B (zh
Inventor
翁海琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110582852.6A priority Critical patent/CN113239851B/zh
Publication of CN113239851A publication Critical patent/CN113239851A/zh
Application granted granted Critical
Publication of CN113239851B publication Critical patent/CN113239851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • G06V40/53Measures to keep reference information secret, e.g. cancellable biometrics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本说明书实施例公开了一种基于隐私保护的隐私图像处理方法、装置及设备,该方法包括:获取待处理的包含用户隐私信息的第一图像;基于第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的扰动信息嵌入到第一图像中的用户隐私信息中,得到扰动图像,其中,扰动图像对应的图像特征与第一图像对应的图像特征之间的相似度小于预设第一阈值,扰动图像对应的图像特征与第二图像对应的图像特征之间的相似度大于预设第二阈值,第二阈值不小于第一阈值,第二图像中包含的用户隐私信息与第一图像中包含的用户隐私信息不同;输出扰动图像。

Description

一种基于隐私保护的隐私图像处理方法、装置及设备
技术领域
本说明书涉及计算机技术领域,尤其涉及一种基于隐私保护的隐私图像处理方法、装置及设备。
背景技术
近年来,诸如虹膜识别、人脸识别等生物识别系统得到了广泛的应用,在支付、出行、安防等场景都可以见到生物识别系统的身影,生物识别有很多应用场景,包括FaceID解锁、人脸支付、行人再识别等。
虽然生物识别带给我们许多的便利,但随着生物识别机构搜集越来越多的用户生物信息,也给用户带来了隐私泄露和隐私滥用的风险。而很多组织或机构在未经用户允许的情况下,通过社交网络等抓取大量用户的图像,并使用人脸识别算法等对齐后进行身份追踪和商业分析,此类事件引发了社会大众对个人隐私的担忧,尤其是发布在社交网站上的图像。但有些时候发布图像又是一种强烈的社交需求,用户需要通过发布真实的个人图像等来满足自身的社交需求,因此形成了人们的需求与隐私保护之间的矛盾。为此,需要提供一种既能够满足用户日常的工作生活需求,同时又可以保护用户的个人隐私信息的技术方案。
发明内容
本说明书实施例的目的是提供一种既能够满足用户日常的工作生活需求,同时又可以保护用户的个人隐私信息的技术方案。
为了实现上述技术方案,本说明书实施例是这样实现的:
本说明书实施例提供的一种基于隐私保护的隐私图像处理方法,所述方法包括:获取待处理的包含用户隐私信息的第一图像。基于所述第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的所述扰动信息嵌入到所述第一图像中的用户隐私信息中,得到扰动图像,其中,所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度小于预设第一阈值,所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度大于预设第二阈值,所述第二阈值不小于所述第一阈值,所述第二图像中包含的用户隐私信息与所述第一图像中包含的用户隐私信息不同。输出所述扰动图像。
本说明书实施例提供的一种基于隐私保护的隐私图像处理装置,所述装置包括:图像获取模块,获取待处理的包含用户隐私信息的第一图像。隐私处理模块,基于所述第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的所述扰动信息嵌入到所述第一图像中的用户隐私信息中,得到扰动图像,其中,所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度小于预设第一阈值,所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度大于预设第二阈值,所述第二阈值不小于所述第一阈值,所述第二图像中包含的用户隐私信息与所述第一图像中包含的用户隐私信息不同。输出模块,输出所述扰动图像。
本说明书实施例提供的一种基于隐私保护的隐私图像处理设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:获取待处理的包含用户隐私信息的第一图像。基于所述第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的所述扰动信息嵌入到所述第一图像中的用户隐私信息中,得到扰动图像,其中,所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度小于预设第一阈值,所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度大于预设第二阈值,所述第二阈值不小于所述第一阈值,所述第二图像中包含的用户隐私信息与所述第一图像中包含的用户隐私信息不同。输出所述扰动图像。
本说明书实施例还提供了一种存储介质,其中,所述存储介质用于存储计算机可执行指令,所述可执行指令在被执行时实现以下流程:获取待处理的包含用户隐私信息的第一图像。基于所述第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的所述扰动信息嵌入到所述第一图像中的用户隐私信息中,得到扰动图像,其中,所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度小于预设第一阈值,所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度大于预设第二阈值,所述第二阈值不小于所述第一阈值,所述第二图像中包含的用户隐私信息与所述第一图像中包含的用户隐私信息不同。输出所述扰动图像。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1A为本说明书一种基于隐私保护的隐私图像处理方法实施例;
图1B为本说明书一种基于隐私保护的隐私图像处理过程的示意图;
图2为本说明书一种第一图像的获取过程的示意图;
图3为本说明书另一种基于隐私保护的隐私图像处理过程的示意图;
图4为本说明书又一种基于隐私保护的隐私图像处理过程的示意图;
图5为本说明书一种基于隐私保护的隐私图像处理装置实施例;
图6为本说明书一种基于隐私保护的隐私图像处理设备实施例。
具体实施方式
本说明书实施例提供一种基于隐私保护的隐私图像处理方法、装置及设备。
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
实施例一
如图1A和图1B所示,本说明书实施例提供一种基于隐私保护的隐私图像处理方法,该方法的执行主体可以为服务器或终端设备,其中,该终端设备可以如笔记本电脑或台式电脑等计算机设备,还可以如手机或平板电脑等移动终端设备。该服务器可以是为某项业务(如即时通讯业务或信息发布业务等)或需要进行生物识别处理的服务器,具体如,该服务器可以是支付业务的服务器,也可以是与金融或即时通讯等相关业务的服务器等。本实施例中的执行主体以服务器为例进行说明,对于执行主体为终端设备的情况,可以参见下述相关内容,在此不再赘述。该方法具体可以包括以下步骤:
在步骤S102中,获取待处理的包含用户隐私信息的第一图像。
其中,用户隐私信息可以包括多种,例如用户的面部信息或用户的虹膜信息等隐私信息,还可以如用户的身份信息、手机号码、银行卡号码、用户姓名等个人隐私信息等。第一图像可以是包括用户隐私数据的任意图像,例如可以是包括用户的面部信息的图像,或者,也可以是包含用户的虹膜信息的图像等,具体可以根据实际情况设定,本说明书实施例对此不做限定。第一图像可以包括一个,也可以包括多个等。
在实施中,近年来,诸如虹膜识别、人脸识别等生物识别系统得到了广泛的应用,在支付、出行、安防等场景都可以见到生物识别系统的身影,生物识别有很多应用场景,包括FaceID解锁、人脸支付、行人再识别等。虽然生物识别带给我们许多的便利,但随着生物识别机构搜集越来越多的用户生物信息,也给用户带来了隐私泄露和隐私滥用的风险。而很多组织或机构在未经用户允许的情况下,通过社交网络等抓取大量用户的图像,并使用人脸识别算法等对齐后进行身份追踪和商业分析,此类事件引发了社会大众对个人隐私的担忧,尤其是发布在社交网站上的图像。但有些时候发布图像又是一种强烈的社交需求,用户需要通过发布真实的个人图像等来满足自身的社交需求,因此形成了人们的需求与隐私保护之间的矛盾。为此,需要提供一种既能够满足用户日常的工作生活需求,同时又可以保护用户的个人隐私信息的技术方案。本说明书实施例提供一种可选的技术方案,具体可以包括以下内容:
用户的终端设备中可以安装有执行某项业务(如即时通讯业务或信息发布业务等)的应用程序,该应用程序中可以设置有请求不同业务的入口(具体可以通过如超链接或按键等实现)。此外,终端设备中也可以设置有一种或多种不同的生物识别机制(如面部识别机制或虹膜识别机制等)。当用户需要请求某项业务服务时,可以启动该应用程序,该应用程序可以向相应的服务器获取相关数据,并展示给用户。用户可以在该应用程序提供的页面中查找需要请求的业务服务的入口,可以通过该入口触发该应用程序向服务器获取该业务的相关数据,终端设备可以显示该业务的相关数据,如果该项业务需要用户上传包含用户隐私信息的图像,则用户可以基于该业务的相关数据提供相关信息,并上传满足上述要求的图像,然后,用户可以点击其中的信息提供完成的确定按键,终端设备可以获取用户提供的相关信息,以及包含用户隐私信息的图像,此时,如图2所示,终端设备可以将上述信息和图像发送给相应的服务器,服务器接收到包含用户隐私信息的图像后,可以将其作为待处理的包含用户隐私信息的第一图像。
例如,某即时通讯应用中可以设置有信息交互窗口,当用户需要跟另一个用户进行信息交互时,如果该用户需要向另一个用户提供个人的照片,则该用户可以点击另一个用户的即时通讯账号,并触发信息交互指令(如双击另一个用户的即时通讯账号以触发信息交互指令),终端设备可以调出相应的信息交互窗口,该信息交互窗口中可以设置有发送图像的按键,用户可以点击该按键,终端设备可以提供相应的信息选择窗口,用户可以通过该信息选择窗口选择需要上传的包含用户隐私信息的图像(如包含用户面部信息的图像等),选择完成后,可以点击该信息选择窗口中的上传按键,终端设备可以获取用户上传的图像,并可以将该图像发送给服务器,服务器可以获取到用户上传的图像,并可以将其作为待处理的包含用户隐私信息的第一图像,服务器可以对该第一图像执行下述步骤S104的处理后,可以将处理后的第一图像发送至另一个用户的即时通讯账号。
上述处理过程可以是由服务器完成,也可以是由终端设备完成,具体可以根据实际情况设定,本说明书实施例对此不做限定。
在步骤S104中,基于第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的扰动信息嵌入到第一图像中的用户隐私信息中,得到扰动图像,其中,扰动图像对应的图像特征与第一图像对应的图像特征之间的相似度小于预设第一阈值,扰动图像对应的图像特征与第二图像对应的图像特征之间的相似度大于预设第二阈值,第二阈值不小于第一阈值,第二图像中包含的用户隐私信息与第一图像中包含的用户隐私信息不同。
其中,第二图像可以任意预先设定的图像,在实际应用中,第二图像可以是指定的某人的图像,如某知名人士的图像或其他被用户所熟知的人物的图像等,或者,也可以是根据预设的规则生成的图像,该图像可以是与任意用户都无关的图像,例如,可以预设的规则生成的一个包含面部信息的图像,该面部信息与任意用户的面部信息不同,具体可以根据实际情况设定,本说明书实施例对此不做限定。此外,第二图像与第一图像不同(包括第二图像中包含的用户隐私信息与第一图像中包含的用户隐私信息不同),例如第一图像为用户A的面部图像,第二图像可以是用户B的面部图像。第一扰动条件可以是能够产生指定扰动图像的扰动条件,且该扰动图像满足扰动图像对应的图像特征与第一图像对应的图像特征之间的相似度小于预设第一阈值,扰动图像对应的图像特征与第二图像对应的图像特征之间的相似度大于预设第二阈值,第二阈值不小于第一阈值。对抗样本可以是指在目标数据中,通过故意添加指定的扰动所形成的输入样本,对抗样本可以导致相应的模型以高置信度输出一个错误的结果,例如用户A的面部图像中添加指定的扰动后形成用户A的扰动图像,将该用户A的扰动图像输入到面部识别模型中,通过面部识别模型的识别处理后,得到的结果为用户B,而并不是用户A,其中的上述输入到面部识别模型中的信息即为对抗样本。对抗样本的构建规则可以是基于上述对抗样本的定义(即在目标数据中添加指定的扰动)设定,对抗样本的构建规则可以包括多种,具体可以包括多种,具体可以根据实际情况设定,本说明书实施例对此不做限定。扰动信息可以包括多种,例如经过修改图像中某位置或某区域内的像素的像素值而得到的信息,或者,经过指定的算法生成的信息等,具体可以根据实际情况设定,本说明书实施例对此不做限定。信息隐藏的方式的基本特性可以包括隐蔽性、安全性和可纠错性等,其中,隐蔽性是信息隐藏的方式的基本要求,信息隐藏的方式要求嵌入对象不影响对宿主信息的理解,同时不影响宿主信息的感官效果,安全性可以表示隐藏的信息内容应是安全的,同时隐藏信息的具体位置也应是安全的,不会因数据格式的变换而遭到破坏,可纠错性可以为保证隐藏信息的完整性,使其在经过各种操作和变换后可以被恢复。第一阈值和第二阈值可以根据实际情况设定,具体如,第一阈值为50%或30%等,第二阈值为90%或95%等。
在实施中,为了保护第一图像中包含的用户隐私信息,防止用户隐私信息被未经授权的应用程序或组织等应用于生物识别的分析与辨识中,本说明书实施例提出了一种针对图像的隐私保护方案,即可以通过图像去标识化实现,具体地,可以在包含用户隐私信息的图像中加入具有针对性的去标识化扰动信息,以使得扰动处理后的图像在视觉效果上与原图像没有(或几乎没有)差别,但是无法被相应的隐私识别系统分析与识别。上述提出的去标识化扰动信息可以基于对抗样本的构建方式或构建规则确定,具体地,服务器获取到待处理的包含用户隐私信息的第一图像后,可以对第一图像进行分析,从而确定在对第一图像进行识别处理后输出的结果,可以基于该输出的结果确定第二图像,例如,通过对第一图像(例如为用户A的面部图像)进行分析后,确定在对第一图像进行识别处理后输出的结果可以为某知名人士的信息,则可以将该知名人士的面部图像作为第二图像。为了能够实现对第一图像进行识别处理后输出的结果为第二图像对应的信息,可以构建相应的扰动条件(即第一扰动条件),即通过第一扰动条件,可以实现对第一图像进行识别处理后输出的结果为第二图像对应的信息。此外,为了不影响第一图像的感官效果,可以采用对抗样本的构建规则对第一图像进行扰动处理,基于上述内容,可以基于上述第一图像、第二图像和相应的第一扰动条件,并采用对抗样本的构建方式或构建规则,生成用于对第一图像中的用户隐私信息进行扰动处理,且不影响第一图像的感官效果的扰动信息。
基于上述处理,可以采用信息隐藏的方式将上述确定的扰动信息嵌入到第一图像中的用户隐私信息中,具体地,信息隐藏的方式可以包括多种,例如,可以根据实际情况设定像素值替换表,如将某位置的像素值10替换为像素值20等,该像素值替换表中可以包括多个可替换的像素值对,例如20个可替换的像素值对,或50个可替换的像素值对等,具体可以根据实际情况设定。通过上述方式可以将确定的扰动信息嵌入嵌入到第一图像中的用户隐私信息中,最终可以得到扰动图像,而且,通过上述扰动信息得到的扰动图像可以满足扰动图像对应的图像特征与第一图像对应的图像特征之间的相似度小于预设第一阈值,扰动图像对应的图像特征与第二图像对应的图像特征之间的相似度大于预设第二阈值,第二阈值不小于第一阈值,第二图像中包含的用户隐私信息与第一图像中包含的用户隐私信息不同等条件,这样,由于第一图像的感官效果几乎不存在差异,但是,当使用隐私识别机制等对第一图像进行识别处理时,其输出的结果却是与第一图像的真实信息存在差异的另一个信息,从而达到对第一图像中的用户隐私信息进行保护的目的。
需要说明的是,在实际应用中,不同的第一图像和/或不同的第二图像,其相应的第一扰动条件可以不同,在实际应用中,可以预先指定一定数量的第二图像,针对每个第一图像,可以预先设定每个与其相搭配的第二图像对应的第一扰动条件,例如,可以预先设定两个第二图像,可以分别为图像1和图像2,针对任意一个第一图像,可以构建第一图像与图像1相对应的第一扰动条件,并可以构建第一图像与图像2相对应的第一扰动条件,通过相同的方式可以构建每个第一图像分别与图像1和图像2相对应的第一扰动条件,然后,可以将上述构建的第一图像、第二图像和第一扰动条件之间的对应关系存储于服务器中。当服务器获取到第一图像后,可以从上述对应关系中随机选取一个第一图像对应的对应关系,从而得到相应的第二图像和相应的第一扰动条件,之后可以生成相应的扰动信息。在实际应用中,除了可以通过上述实现外,还可以包括多种不同的方式,具体可以根据实际情况设定,本说明书实施例对此不做限定。
上述第一图像可以包括多个,相应的,每个第一图像均可以对应有扰动图像,而且,不同的第一图像对应的扰动信息可以不同,基于此,对于一个第一图像,可以通过上述步骤S102~步骤S104的处理,得到该第一图像对应的扰动图像,而对于多个第一图像,可以分别通过上述步骤S102~步骤S104的处理,得到每个第一图像对应的扰动图像,这样,多个不同的第一图像均对应有扰动图像,例如包括5个不同的第一图像,通过上述步骤S102~步骤S104的处理,每个第一图像均对应有扰动图像,即5个扰动图像。具体可以根据实际情况设定,本说明书实施例对此不做限定。
在步骤S106中,输出上述扰动图像。
基于上述步骤S102~步骤S106的处理,通过在图像中加入一些针对性的去标识化扰动信息,可以使得处理后的图像在视觉效果上与原图像无差别,并且,可以在满足用户社交需求的同时又可以保护用户的隐私信息,并确保图像中的用户隐私信息无法被相应的隐私识别算法准确分析识别。
本说明书实施例提供一种基于隐私保护的隐私图像处理方法,在获取到待处理的包含用户隐私信息的第一图像时,基于第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的扰动信息嵌入到第一图像中的用户隐私信息中,得到扰动图像,其中,扰动图像对应的图像特征与第一图像对应的图像特征之间的相似度小于预设第一阈值,扰动图像对应的图像特征与第二图像对应的图像特征之间的相似度大于预设第二阈值,第二阈值不小于第一阈值,第二图像中包含的用户隐私信息与第一图像中包含的用户隐私信息不同,基于此,通过在第一图像中加入一些针对性的去标识化扰动信息,可以使得处理后的扰动图像在视觉效果上与第一图像无差别,并且,可以在满足用户社交需求的同时又可以保护用户的隐私信息,并确保扰动图像中的用户隐私信息无法被相应的隐私识别算法准确分析或识别,从而保护了用户隐私信息,解决了人们的需求与隐私保护之间的矛盾。
实施例二
如图3所示,本说明书实施例提供一种基于隐私保护的隐私图像处理方法,该方法的执行主体可以为服务器或终端设备,其中,该终端设备可以如笔记本电脑或台式电脑等计算机设备,还可以如手机或平板电脑等移动终端设备。该服务器可以是为某项业务(如即时通讯业务或信息发布业务等)或需要进行生物识别处理的服务器,具体如,该服务器可以是支付业务的服务器,也可以是与金融或即时通讯等相关业务的服务器等。本实施例中的执行主体以服务器为例进行说明,对于执行主体为终端设备的情况,可以参见下述相关内容,在此不再赘述。该方法具体可以包括以下步骤:
在步骤S302中,获取多个不同的包括用户隐私信息的目标图像。
在步骤S304中,将目标图像存储于预设的用于对用户隐私信息进行识别的图像库中。
其中,图像库可以包括多个不同用户的用户隐私信息,具体如,可以是用于进行面部识别的图像库,该图像库中可以包括多个不同用户的面部图像,可以包括如后续所述的第二图像,也可以包括第一图像等,此外,该图像库也可以是只用于存储第二图像的图像库等,具体可以根据实际情况,本说明书实施例对此不做限定。
在步骤S306中,获取待处理的包含用户隐私信息的第一图像。
在步骤S308中,从上述图像库中获取第二图像,并基于第一图像、第二图像,确定相应的第一扰动条件。
在实施中,可以随机从上述图像库中选取一个图像作为第二图像,或者,可以采用预设的图像选取规则从上述图像库中选取一个图像作为第二图像,或者,可以为每个第一图像预设相应的第二图像,这样,在确定第一图像后,可以基于第一图像的标识从上述图像库中选取相应的第二图像等,具体可以根据实际情况设定,本说明书实施例对此不做限定。
可以将第一图像作为初始图像,第二图像作为对第一图像进行隐私识别处理后的到的结果,确定由初始图像到最终得到第二图像所需满足的条件,可以将确定的条件作为第一扰动条件,例如由初始图像到最终得到第二图像所需满足的条件为将初始图像中N(N为大于或等于1的正整数)个位置处的像素点的像素值设置为指定像素值等,则第一扰动条件即可以为将初始图像中N个位置处的像素点的像素值设置为指定像素值。
在实际应用中,第一扰动条件可以多种多样,以下再提供一种可选的第一扰动条件,即第一扰动条件由扰动图像对应的图像特征与第二图像对应的图像特征之间的相似度减扰动图像对应的图像特征与第一图像对应的图像特征之间的相似度而得到的差值的最小值确定。
基于上述内容,第一扰动条件可以为
min{D(f(x+p)-f(y))-D(f(x+p)-f(x))}
其中,x表示第一图像,x+p表示扰动图像,y表示第二图像,f(x+p)表示扰动图像对应的图像特征,f(x)表示第一图像对应的图像特征,f(y)表示第二图像对应的图像特征,D(f(x+p)-f(y))表示扰动图像对应的图像特征与第二图像对应的图像特征之间的相似度,D(f(x+p)-f(x))表示扰动图像对应的图像特征与第一图像对应的图像特征之间的相似度。
扰动图像对应的图像特征与第一图像对应的图像特征之间的相似度和扰动图像对应的图像特征与第二图像对应的图像特征之间的相似度可以由预设的相似度算法确定,其中的相似度算法可以包括欧式距离、余弦距离、曼哈顿距离、明可夫斯基距离等算法,具体可以根据实际情况设定,本说明书实施例对此不做限定。
需要说明的是,上面公式的D(f(x+p)-f(x))可以为无目标攻击的损失,D(f(x+p)-fy可以为有目标攻击的损失项,这样,可以使得扰动后的图像从相应的算法方面来说,不仅与原图像相似度低,而且与第二图像的相似度高,由于在隐私识别或辨识的过程中,实际上是用户隐私信息对应的特征相似度搜索的过程,在隐私识别或辨识时会在图像库中搜索一个与输入的第一图像对应的图像特征最相似的图像,进而确定其用户的身份,如果只设定输入的图像与其原图像的相似度降低,则此时并不一定会使得隐私识别或辨识算法出错,而只有将图像库中的其他用户身份的图像与输入的图像的相似度比原图像与输入的图像的相似度高,才会使得隐私识别或辨识算法出错。
在步骤S310中,基于第一图像、第二图像和第一扰动条件,通过对抗样本的构建规则,确定对第一图像中的用户隐私信息进行扰动处理的扰动信息。
在步骤S312中,采用信息隐藏的方式将确定的扰动信息嵌入到第一图像中的用户隐私信息中,得到扰动图像,其中,扰动图像对应的图像特征与第一图像对应的图像特征之间的相似度小于预设第一阈值,扰动图像对应的图像特征与第二图像对应的图像特征之间的相似度大于预设第二阈值,第二阈值不小于第一阈值,第二图像中包含的用户隐私信息与第一图像中包含的用户隐私信息不同。
此外,为了增加去标识化扰动的鲁棒性,可以引入多个开源人脸模型提取人脸特征,具体可以包括以下内容:扰动图像对应的图像特征、第一图像对应的图像特征和第二图像对应的图像特征由以下一种或多种不同的模型确定:MobileFacenet模型、Facenet模型、Arcface模型。
在步骤S314中,输出上述扰动图像。
本说明书实施例提供一种基于隐私保护的隐私图像处理方法,在获取到待处理的包含用户隐私信息的第一图像时,基于第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的扰动信息嵌入到第一图像中的用户隐私信息中,得到扰动图像,其中,扰动图像对应的图像特征与第一图像对应的图像特征之间的相似度小于预设第一阈值,扰动图像对应的图像特征与第二图像对应的图像特征之间的相似度大于预设第二阈值,第二阈值不小于第一阈值,第二图像中包含的用户隐私信息与第一图像中包含的用户隐私信息不同,基于此,通过在第一图像中加入一些针对性的去标识化扰动信息,可以使得处理后的扰动图像在视觉效果上与第一图像无差别,并且,可以在满足用户社交需求的同时又可以保护用户的隐私信息,并确保扰动图像中的用户隐私信息无法被相应的隐私识别算法准确分析或识别,从而保护了用户隐私信息,解决了人们的需求与隐私保护之间的矛盾。
实施例三
本实施例将结合具体的应用场景,对本发明实施例提供的一种基于隐私保护的隐私图像处理方法进行详细的阐述,相应的应用场景为面部识别的应用场景,其中,用户隐私信息包括用户的面部信息,用户隐私信息识别可以为面部识别,目标图像可以为面部图像,第一图像可以为第一面部图像,第二图像可以为第二面部图像。
如图4所示,本说明书实施例提供一种基于隐私保护的隐私图像处理方法,该方法的执行主体可以为服务器或终端设备,其中,该终端设备可以如笔记本电脑或台式电脑等计算机设备,还可以如手机或平板电脑等移动终端设备。该服务器可以是为某项业务(如即时通讯业务或信息发布业务等)或需要进行生物识别处理的服务器,具体如,该服务器可以是支付业务的服务器,也可以是与金融或即时通讯等相关业务的服务器等。本实施例中的执行主体以服务器为例进行说明,对于执行主体为终端设备的情况,可以参见下述相关内容,在此不再赘述。该方法具体可以包括以下步骤:
在步骤S402中,获取多个不同用户的面部图像。
在步骤S404中,将多个不同用户的面部图像存储于预设的用于进行面部识别的图像库中。
其中,图像库中可以包括下述的第一图像(即第一面部图像)和第二图像(即第二面部图像)等。第二面部图像可以是预先指定的知名人士或公众人物的面部图像等。
在步骤S406中,获取待处理的包含用户面部信息的第一面部图像。
在步骤S408中,从上述图像库中获取第二面部图像,并基于第一面部图像、第二面部图像,确定相应的第一扰动条件。
其中,第一扰动条件由扰动图像对应的图像特征与第二面部图像对应的图像特征之间的相似度减扰动图像对应的图像特征与第一面部图像对应的图像特征之间的相似度而得到的差值的最小值确定。
在步骤S410中,基于第一面部图像、第二面部图像和第一扰动条件,通过对抗样本的构建规则,确定对第一面部图像进行扰动处理的扰动信息。
在步骤S412中,采用信息隐藏的方式将确定的扰动信息嵌入到第一面部图像中,得到扰动图像,其中,扰动图像对应的图像特征与第一面部图像对应的图像特征之间的相似度小于预设第一阈值,扰动图像对应的图像特征与第二面部图像对应的图像特征之间的相似度大于预设第二阈值,第二阈值不小于第一阈值,第二面部图像与第一面部图像不同。
其中,扰动图像对应的图像特征与第一面部图像对应的图像特征之间的相似度和扰动图像对应的图像特征与第二面部图像对应的图像特征之间的相似度由欧式距离确定。扰动图像对应的图像特征、第一面部图像对应的图像特征和第二面部图像对应的图像特征由以下一种或多种不同的模型确定:MobileFacenet模型、Facenet模型、Arcface模型。
在步骤S414中,输出上述扰动图像。
本说明书实施例提供一种基于隐私保护的隐私图像处理方法,在获取到待处理的包含用户隐私信息的第一图像时,基于第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的扰动信息嵌入到第一图像中的用户隐私信息中,得到扰动图像,其中,扰动图像对应的图像特征与第一图像对应的图像特征之间的相似度小于预设第一阈值,扰动图像对应的图像特征与第二图像对应的图像特征之间的相似度大于预设第二阈值,第二阈值不小于第一阈值,第二图像中包含的用户隐私信息与第一图像中包含的用户隐私信息不同,基于此,通过在第一图像中加入一些针对性的去标识化扰动信息,可以使得处理后的扰动图像在视觉效果上与第一图像无差别,并且,可以在满足用户社交需求的同时又可以保护用户的隐私信息,并确保扰动图像中的用户隐私信息无法被相应的隐私识别算法准确分析或识别,从而保护了用户隐私信息,解决了人们的需求与隐私保护之间的矛盾。
实施例四
以上为本说明书实施例提供的基于隐私保护的隐私图像处理方法,基于同样的思路,本说明书实施例还提供一种基于隐私保护的隐私图像处理装置,如图5所示。
该基于隐私保护的隐私图像处理装置包括:图像获取模块501、隐私处理模块502和输出模块503,其中:
图像获取模块501,获取待处理的包含用户隐私信息的第一图像;
隐私处理模块502,基于所述第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的所述扰动信息嵌入到所述第一图像中的用户隐私信息中,得到扰动图像,其中,所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度小于预设第一阈值,所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度大于预设第二阈值,所述第二阈值不小于所述第一阈值,所述第二图像中包含的用户隐私信息与所述第一图像中包含的用户隐私信息不同;
输出模块503,输出所述扰动图像。
本说明书实施例中,所述第二图像中包含的用户隐私信息为指定用户的隐私信息。
本说明书实施例中,所述装置还包括:
目标图像获取模块,获取多个不同的包括用户隐私信息的目标图像;
存储模块,将所述目标图像存储于预设的用于对用户隐私信息进行识别的图像库中;
所述隐私处理模块502,包括:
条件确定单元,从所述图像库中获取所述第二图像,并基于所述第一图像、所述第二图像,确定相应的第一扰动条件;
扰动信息确定单元,基于所述第一图像、所述第二图像和所述第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息。
本说明书实施例中,所述第一扰动条件由所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度减所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度而得到的差值的最小值确定。
本说明书实施例中,所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度和所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度由欧式距离确定。
本说明书实施例中,所述扰动图像对应的图像特征、所述第一图像对应的图像特征和所述第二图像对应的图像特征由以下一种或多种不同的模型确定:MobileFacenet模型、Facenet模型、Arcface模型。
本说明书实施例中,所述用户隐私信息包括用户的面部信息。
本说明书实施例提供一种基于隐私保护的隐私图像处理装置,在获取到待处理的包含用户隐私信息的第一图像时,基于第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的扰动信息嵌入到第一图像中的用户隐私信息中,得到扰动图像,其中,扰动图像对应的图像特征与第一图像对应的图像特征之间的相似度小于预设第一阈值,扰动图像对应的图像特征与第二图像对应的图像特征之间的相似度大于预设第二阈值,第二阈值不小于第一阈值,第二图像中包含的用户隐私信息与第一图像中包含的用户隐私信息不同,基于此,通过在第一图像中加入一些针对性的去标识化扰动信息,可以使得处理后的扰动图像在视觉效果上与第一图像无差别,并且,可以在满足用户社交需求的同时又可以保护用户的隐私信息,并确保扰动图像中的用户隐私信息无法被相应的隐私识别算法准确分析或识别,从而保护了用户隐私信息,解决了人们的需求与隐私保护之间的矛盾。
实施例五
以上为本说明书实施例提供的基于隐私保护的隐私图像处理装置,基于同样的思路,本说明书实施例还提供一种基于隐私保护的隐私图像处理设备,如图6所示。
所述基于隐私保护的隐私图像处理设备可以为上述实施例提供的终端设备或服务器等。
基于隐私保护的隐私图像处理设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器601和存储器602,存储器602中可以存储有一个或一个以上存储应用程序或数据。其中,存储器602可以是短暂存储或持久存储。存储在存储器602的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对基于隐私保护的隐私图像处理设备中的一系列计算机可执行指令。更进一步地,处理器601可以设置为与存储器602通信,在基于隐私保护的隐私图像处理设备上执行存储器602中的一系列计算机可执行指令。基于隐私保护的隐私图像处理设备还可以包括一个或一个以上电源603,一个或一个以上有线或无线网络接口604,一个或一个以上输入输出接口605,一个或一个以上键盘606。
具体在本实施例中,基于隐私保护的隐私图像处理设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对基于隐私保护的隐私图像处理设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
获取待处理的包含用户隐私信息的第一图像;
基于所述第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的所述扰动信息嵌入到所述第一图像中的用户隐私信息中,得到扰动图像,其中,所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度小于预设第一阈值,所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度大于预设第二阈值,所述第二阈值不小于所述第一阈值,所述第二图像中包含的用户隐私信息与所述第一图像中包含的用户隐私信息不同;
输出所述扰动图像。
本说明书实施例中,所述第二图像中包含的用户隐私信息为指定用户的隐私信息。
本说明书实施例中,还包括:
获取多个不同的包括用户隐私信息的目标图像;
将所述目标图像存储于预设的用于对用户隐私信息进行识别的图像库中;
所述基于所述第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息,包括:
从所述图像库中获取所述第二图像,并基于所述第一图像、所述第二图像,确定相应的第一扰动条件;
基于所述第一图像、所述第二图像和所述第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息。
本说明书实施例中,所述第一扰动条件由所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度减所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度而得到的差值的最小值确定。
本说明书实施例中,所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度和所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度由欧式距离确定。
本说明书实施例中,所述扰动图像对应的图像特征、所述第一图像对应的图像特征和所述第二图像对应的图像特征由以下一种或多种不同的模型确定:MobileFacenet模型、Facenet模型、Arcface模型。
本说明书实施例中,所述用户隐私信息包括用户的面部信息。
本说明书实施例提供一种基于隐私保护的隐私图像处理设备,在获取到待处理的包含用户隐私信息的第一图像时,基于第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的扰动信息嵌入到第一图像中的用户隐私信息中,得到扰动图像,其中,扰动图像对应的图像特征与第一图像对应的图像特征之间的相似度小于预设第一阈值,扰动图像对应的图像特征与第二图像对应的图像特征之间的相似度大于预设第二阈值,第二阈值不小于第一阈值,第二图像中包含的用户隐私信息与第一图像中包含的用户隐私信息不同,基于此,通过在第一图像中加入一些针对性的去标识化扰动信息,可以使得处理后的扰动图像在视觉效果上与第一图像无差别,并且,可以在满足用户社交需求的同时又可以保护用户的隐私信息,并确保扰动图像中的用户隐私信息无法被相应的隐私识别算法准确分析或识别,从而保护了用户隐私信息,解决了人们的需求与隐私保护之间的矛盾。
实施例六
进一步地,基于上述图1A至图3所示的方法,本说明书一个或多个实施例还提供了一种存储介质,用于存储计算机可执行指令信息,一种具体的实施例中,该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令信息在被处理器执行时,能实现以下流程:
获取待处理的包含用户隐私信息的第一图像;
基于所述第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的所述扰动信息嵌入到所述第一图像中的用户隐私信息中,得到扰动图像,其中,所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度小于预设第一阈值,所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度大于预设第二阈值,所述第二阈值不小于所述第一阈值,所述第二图像中包含的用户隐私信息与所述第一图像中包含的用户隐私信息不同;
输出所述扰动图像。
本说明书实施例中,所述第二图像中包含的用户隐私信息为指定用户的隐私信息。
本说明书实施例中,还包括:
获取多个不同的包括用户隐私信息的目标图像;
将所述目标图像存储于预设的用于对用户隐私信息进行识别的图像库中;
所述基于所述第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息,包括:
从所述图像库中获取所述第二图像,并基于所述第一图像、所述第二图像,确定相应的第一扰动条件;
基于所述第一图像、所述第二图像和所述第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息。
本说明书实施例中,所述第一扰动条件由所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度减所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度而得到的差值的最小值确定。
本说明书实施例中,所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度和所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度由欧式距离确定。
本说明书实施例中,所述扰动图像对应的图像特征、所述第一图像对应的图像特征和所述第二图像对应的图像特征由以下一种或多种不同的模型确定:MobileFacenet模型、Facenet模型、Arcface模型。
本说明书实施例中,所述用户隐私信息包括用户的面部信息。
本说明书实施例提供一种存储介质,在获取到待处理的包含用户隐私信息的第一图像时,基于第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的扰动信息嵌入到第一图像中的用户隐私信息中,得到扰动图像,其中,扰动图像对应的图像特征与第一图像对应的图像特征之间的相似度小于预设第一阈值,扰动图像对应的图像特征与第二图像对应的图像特征之间的相似度大于预设第二阈值,第二阈值不小于第一阈值,第二图像中包含的用户隐私信息与第一图像中包含的用户隐私信息不同,基于此,通过在第一图像中加入一些针对性的去标识化扰动信息,可以使得处理后的扰动图像在视觉效果上与第一图像无差别,并且,可以在满足用户社交需求的同时又可以保护用户的隐私信息,并确保扰动图像中的用户隐私信息无法被相应的隐私识别算法准确分析或识别,从而保护了用户隐私信息,解决了人们的需求与隐私保护之间的矛盾。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书的实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程欺诈案例的串并设备的处理器以产生一个机器,使得通过计算机或其他可编程欺诈案例的串并设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程欺诈案例的串并设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程欺诈案例的串并设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

Claims (12)

1.一种基于隐私保护的隐私图像处理方法,所述方法包括:
获取待处理的包含用户隐私信息的第一图像;
基于所述第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的所述扰动信息嵌入到所述第一图像中的用户隐私信息中,得到扰动图像,其中,所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度小于预设第一阈值,所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度大于预设第二阈值,所述第二阈值不小于所述第一阈值,所述第二图像中包含的用户隐私信息与所述第一图像中包含的用户隐私信息不同;
输出所述扰动图像。
2.根据权利要求1所述的方法,所述第二图像中包含的用户隐私信息为指定用户的隐私信息。
3.根据权利要求2所述的方法,所述方法还包括:
获取多个不同的包括用户隐私信息的目标图像;
将所述目标图像存储于预设的用于对用户隐私信息进行识别的图像库中;
所述基于所述第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息,包括:
从所述图像库中获取所述第二图像,并基于所述第一图像、所述第二图像,确定相应的第一扰动条件;
基于所述第一图像、所述第二图像和所述第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息。
4.根据权利要求3所述的方法,所述第一扰动条件由所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度减所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度而得到的差值的最小值确定。
5.根据权利要求1所述的方法,所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度和所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度由欧式距离确定。
6.根据权利要求1所述的方法,所述扰动图像对应的图像特征、所述第一图像对应的图像特征和所述第二图像对应的图像特征由以下一种或多种不同的模型确定:MobileFacenet模型、Facenet模型、Arcface模型。
7.根据权利要求1所述的方法,所述用户隐私信息包括用户的面部信息。
8.一种基于隐私保护的隐私图像处理装置,所述装置包括:
图像获取模块,获取待处理的包含用户隐私信息的第一图像;
隐私处理模块,基于所述第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的所述扰动信息嵌入到所述第一图像中的用户隐私信息中,得到扰动图像,其中,所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度小于预设第一阈值,所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度大于预设第二阈值,所述第二阈值不小于所述第一阈值,所述第二图像中包含的用户隐私信息与所述第一图像中包含的用户隐私信息不同;
输出模块,输出所述扰动图像。
9.根据权利要求8所述的装置,所述装置还包括:
目标图像获取模块,获取多个不同的包括用户隐私信息的目标图像;
存储模块,将所述目标图像存储于预设的用于对用户隐私信息进行识别的图像库中;
所述隐私处理模块,包括:
条件确定单元,从所述图像库中获取所述第二图像,并基于所述第一图像、所述第二图像,确定相应的第一扰动条件;
扰动信息确定单元,基于所述第一图像、所述第二图像和所述第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息。
10.根据权利要求9所述的装置,所述第一扰动条件由所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度减所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度而得到的差值的最小值确定。
11.一种基于隐私保护的隐私图像处理设备,所述基于隐私保护的隐私图像处理设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
获取待处理的包含用户隐私信息的第一图像;
基于所述第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的所述扰动信息嵌入到所述第一图像中的用户隐私信息中,得到扰动图像,其中,所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度小于预设第一阈值,所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度大于预设第二阈值,所述第二阈值不小于所述第一阈值,所述第二图像中包含的用户隐私信息与所述第一图像中包含的用户隐私信息不同;
输出所述扰动图像。
12.一种存储介质,所述存储介质用于存储计算机可执行指令,所述可执行指令在被执行时实现以下流程:
获取待处理的包含用户隐私信息的第一图像;
基于所述第一图像、预设的第二图像和预设的第一扰动条件,通过对抗样本的构建规则,确定对所述第一图像中的用户隐私信息进行扰动处理的扰动信息,并采用信息隐藏的方式将确定的所述扰动信息嵌入到所述第一图像中的用户隐私信息中,得到扰动图像,其中,所述扰动图像对应的图像特征与所述第一图像对应的图像特征之间的相似度小于预设第一阈值,所述扰动图像对应的图像特征与所述第二图像对应的图像特征之间的相似度大于预设第二阈值,所述第二阈值不小于所述第一阈值,所述第二图像中包含的用户隐私信息与所述第一图像中包含的用户隐私信息不同;
输出所述扰动图像。
CN202110582852.6A 2021-05-27 2021-05-27 一种基于隐私保护的隐私图像处理方法、装置及设备 Active CN113239851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110582852.6A CN113239851B (zh) 2021-05-27 2021-05-27 一种基于隐私保护的隐私图像处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110582852.6A CN113239851B (zh) 2021-05-27 2021-05-27 一种基于隐私保护的隐私图像处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113239851A true CN113239851A (zh) 2021-08-10
CN113239851B CN113239851B (zh) 2023-06-23

Family

ID=77139412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110582852.6A Active CN113239851B (zh) 2021-05-27 2021-05-27 一种基于隐私保护的隐私图像处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113239851B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738217A (zh) * 2020-07-24 2020-10-02 支付宝(杭州)信息技术有限公司 生成人脸对抗补丁的方法和装置
WO2021033183A1 (en) * 2019-08-19 2021-02-25 De-Identification Ltd. System and method for anonymization of a face in an image
CN112418332A (zh) * 2020-11-26 2021-02-26 北京市商汤科技开发有限公司 一种图像处理的方法及装置、图像生成的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021033183A1 (en) * 2019-08-19 2021-02-25 De-Identification Ltd. System and method for anonymization of a face in an image
CN111738217A (zh) * 2020-07-24 2020-10-02 支付宝(杭州)信息技术有限公司 生成人脸对抗补丁的方法和装置
CN112418332A (zh) * 2020-11-26 2021-02-26 北京市商汤科技开发有限公司 一种图像处理的方法及装置、图像生成的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHAWN SHAN,ET.AL: "Fawkes: Protecting Privacy against Unauthorized Deep Learning Models" *
羞儿: "【读点论文】Fawkes: Protecting Privacy against Unauthorized Deep Learning Models 添加像素扰动来实现图片的对抗AI识别", 《HTTPS://BLOG.CSDN.NET/WEIXIN_43424450/ARTICLE/DETAILS/123412017》 *

Also Published As

Publication number Publication date
CN113239851B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN111400705B (zh) 一种应用程序的检测方法、装置及设备
CN111159697B (zh) 一种密钥检测方法、装置及电子设备
CN109214193B (zh) 数据加密、机器学习模型训练方法、装置以及电子设备
CN112800468B (zh) 一种基于隐私保护的数据处理方法、装置及设备
CN111930809A (zh) 数据处理方法、装置及设备
CN112035881B (zh) 一种基于隐私保护的应用程序识别方法、装置及设备
CN115238250B (zh) 一种模型的处理方法、装置及设备
CN113516480A (zh) 一种支付风险识别方法、装置及设备
CN112966113A (zh) 一种数据的风险防控方法、装置及设备
CN113221717B (zh) 一种基于隐私保护的模型构建方法、装置及设备
CN114896603A (zh) 一种业务处理方法、装置及设备
CN112837202B (zh) 基于隐私保护的水印图像的生成、攻击溯源方法及装置
CN113256300B (zh) 一种交易的处理方法及装置
CN112819156A (zh) 一种数据处理方法、装置及设备
CN113343295A (zh) 基于隐私保护的图像处理方法、装置、设备和存储介质
CN112256547A (zh) 数据录制方法及装置
CN113239852B (zh) 一种基于隐私保护的隐私图像处理方法、装置及设备
CN111242105A (zh) 一种用户识别方法、装置及设备
CN113992429B (zh) 一种事件的处理方法、装置及设备
CN113239851B (zh) 一种基于隐私保护的隐私图像处理方法、装置及设备
CN112836612B (zh) 一种用户实名认证的方法、装置及系统
CN114168995A (zh) 一种基于隐私保护的隐私数据风险防控方法、装置及设备
CN112199731A (zh) 一种数据处理方法、装置及设备
CN112231757B (zh) 一种针对内嵌应用的隐私保护方法、装置以及设备
CN115828171A (zh) 一种端云协同执行业务的方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40056872

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant