CN116502268A - 图像隐私保护的处理方法及系统 - Google Patents

图像隐私保护的处理方法及系统 Download PDF

Info

Publication number
CN116502268A
CN116502268A CN202310533394.6A CN202310533394A CN116502268A CN 116502268 A CN116502268 A CN 116502268A CN 202310533394 A CN202310533394 A CN 202310533394A CN 116502268 A CN116502268 A CN 116502268A
Authority
CN
China
Prior art keywords
desensitization
target
image
time
varying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310533394.6A
Other languages
English (en)
Inventor
曹佳炯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202310533394.6A priority Critical patent/CN116502268A/zh
Publication of CN116502268A publication Critical patent/CN116502268A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Bioethics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)

Abstract

本说明书提供一种图像隐私保护的处理方法及系统，在获取目标用户的目标图像时，还获取了目标用户当前所处环境中动态变化的目标时变信息对应的目标特征，并将目标特征作用于对目标图像的脱敏处理过程，从而在脱敏过程中增加时变因素，使得对于同一张目标图像，随着时间的变化也会产生不同的脱敏图像，提升对用户所采集的图像的隐私保护能力。

Description

图像隐私保护的处理方法及系统
技术领域
本说明书涉及图像处理技术领域，尤其涉及一种图像隐私保护的处理方法及系统。
背景技术
随着生物识别认证技术的发展，用户的生物识别信息也被频繁的采集、传输和存储。同时，用户的生物隐私泄露的风险也随之增大。如何保障生物识别快捷性和准确性的前提下，完成用户的生物识别图像脱敏成为了生物识别系统需要面对的挑战。
目前，针对生物识别图像的隐私保护方法包括基于可信执行环境(TEE，Trustedexecution environment)的图像隐私方法，即通过软件模拟出TEE，并在TEE中对生物识别图像进行处理。但是TEE对于硬件要求很高，无法得到规模化应用。另外，基于图像脱敏算法的生物识别图像隐私保护方法，通过针对图像训练脱敏模型和反脱敏模型，并在图像的传输和存储阶段对图像进行脱敏实现隐私保护，并在运算阶段进行反脱敏，保证算法精度。该种方法容易被攻击者获取原始数据和脱敏数据从而盗取用户隐私。因此，需要提供一种新的图像隐私保护的处理方法及系统，能够提升对用户的生物识别信息的隐私保护能力。
背景技术部分的内容仅仅是发明人个人所知晓的信息，并不代表上述信息在本公开申请日之前已经进入公共领域，也不代表其可以成为本公开的现有技术。
发明内容
本说明书提供一种图像隐私保护的处理方法及系统，能够提升对用户的生物识别信息的隐私保护能力。
第一方面，本说明书提供一种图像隐私保护的处理方法，包括：获取目标图像和目标特征，所述目标图像为对目标用户进行图像采集得到的，所述目标特征为所述目标用户当前所处环境中动态变化的目标时变信息对应的特征；基于所述目标特征对所述目标图像进行脱敏处理，得到脱敏图像；以及输出所述脱敏图像。
在一些实施例中，所述获取目标图像和目标特征，包括：获取N个时变信息，所述N个时变信息为所述目标用户当前所处环境中随时间变化的信息，所述N为大于1的整数；提取所述N个时变信息对应的M个时变特征，所述M个时变特征包括所述N个时变信息对应的N个时变特征，或者包括所述N个时变信息对应的N个时变特征及其融合特征，所述M为大于2的整数，且所述N小于或等于所述M；基于预设规则从所述M个时变特征中确定所述目标特征。
在一些实施例中，所述N个时变信息包括目标终端设备的设备信息、所述目标用户当前所处环境中的背景语音信息和所述目标用户当前所处环境中的背景图像中至少两项，所述目标终端设备为对所述目标用户进行图像采集得到所述目标图像的设备。
在一些实施例中，所述基于预设规则从所述M个时变特征中确定所述目标特征，包括：确定所述M个时变特征对应的特征平均值与变化幅度之间的关系；以及基于所述M个时变特征对应的特征平均值与变化幅度之间的关系，确定所述目标特征。
在一些实施例中，所述基于所述M个时变特征对应的特征平均值与变化幅度之间的关系，确定所述目标特征，包括：确定所述M个时变特征对应的特征平均值与变化幅度之间的M个比值；以及确定所述M个比值中排序次大的比值对应的时变特征，或者位于预设比值范围内的比值的对应的时变特征为所述目标特征。
在一些实施例中，所述提取所述N个时变信息对应的M个时变特征，包括：将所述N个时变信息输入预先训练好的特征提取模型中，得到所述M个时变特征；所述特征提取模型的训练数据包括多个训练样本，每个训练样本包括N个训练时变信息，训练目标包括：所述特征提取模型输出的相同状态的训练时变信息的训练样本对的预测时变特征之间的相似度大于预设第一相似度，以及不同状态的训练时变信息的训练样本对的预测时变特征之间的相似度小于预设第二相似度。
在一些实施例中，所述训练目标还包括：所述特征提取模型针对训练样本对输出的预测融合特征的相似度趋近于所述训练样本对的N个预测时变特征的相似度均值。
在一些实施例中，所述基于所述目标特征对所述目标图像进行脱敏处理，得到脱敏图像，包括：将所述目标特征输入至预先训练好的参数偏置模型中，得到脱敏模型对应的脱敏参数偏置量；以及将所述脱敏参数偏置量和所述目标图像输入至预先训练好的脱敏模型中，得到所述脱敏图像。
在一些实施例中，所述基于所述目标特征对所述目标图像进行脱敏处理，得到脱敏图像，包括：将所述目标特征输入至预先训练好的参数偏置模型中，得到脱敏模型对应的脱敏参数偏置量；基于所述脱敏参数偏置量对预先训练好的脱敏模型进行参数调整，得到目标脱敏模型；以及基于所述目标脱敏模型对所述目标图像进行脱敏处理，得到所述脱敏图像。
在一些实施例中，所述参数偏置模型与所述脱敏模型同时训练得到，训练目标包括：约束所述脱敏模型输出的预测脱敏图像与原始图像之间的差异，以及约束参数偏置模型输出的预测脱敏参数趋近于第一预设值。
在一些实施例中，所述输出所述脱敏图像之后，所述方法还包括：基于所述目标特征对所述脱敏图像进行反脱敏处理，得到反脱敏图像；以及输出所述反脱敏图像。
在一些实施例中，所述基于所述目标特征对所述脱敏图像进行反脱敏处理，得到反脱敏图像，包括：将所述目标特征输入至预先训练好的反脱敏参数偏置模型中，得到反脱敏模型对应的反脱敏参数偏置量；以及将所述反脱敏参数偏置量和所述脱敏图像输入至预先训练好的反脱敏模型中，得到所述反脱敏图像。
在一些实施例中，所述反脱敏模型和所述反脱敏参数偏置模型同时训练得到，训练目标包括：约束所述反脱敏模型输出的预测反脱敏图像与原始图像之间的差异，以及约束参数偏置模型输出的预测脱敏参数趋近于第一预设值。
第二方面，本说明书还提供一种图像隐私保护的处理系统，包括：至少一个存储介质，存储有至少一个指令集，用于进行图像隐私保护的处理；以及至少一个处理器，同所述至少一个存储介质通信连接，其中，当所述图像隐私保护的处理系统运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行第一方面任一项所述的方法。
由以上技术方案可知，本说明书提供的图像隐私保护的处理方法及系统，在获取目标用户的目标图像时，还获取了目标用户当前所处环境中随时间发生变化的目标时变信息对应的目标特征，并将目标特征作用于目标图像的脱敏处理过程，从而在脱敏过程中增加时变因素，使得对于同一张目标图像，随着时间的变化也会产生不同的脱敏图像，提升对用户所采集的图像的隐私保护能力。
本说明书提供的图像隐私保护的处理方法及系统的其他功能将在以下说明中部分列出。根据描述，以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的图像隐私保护的处理方法及系统的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。
附图说明
为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本说明书的实施例提供的一种活体检测系统的应用场景示意图；
图2示出了根据本说明书的实施例提供的一种计算设备的硬件结构图；
图3示出了根据本说明书的实施例提供的一种图像隐私保护的处理方法P100的流程图；
图4示出了根据本说明书的实施例提供的一种获取目标特征的流程图；以及
图5示出了根据本说明书的实施例提供的预设特征提取模型的网络结构示意图。
具体实施方式
以下描述提供了本说明书的特定应用场景和要求，目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说，对所公开的实施例的各种局部修改是显而易见的，并且在不脱离本说明书的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用。因此，本说明书不限于所示的实施例，而是与权利要求一致的最宽范围。
这里使用的术语仅用于描述特定示例实施例的目的，而不是限制性的。比如，除非上下文另有明确说明，这里所使用的，单数形式“一”，“一个”和“该”也可以包括复数形式。当在本说明书中使用时，术语“包括”、“包含”和/或“含有”意思是指所关联的整数，步骤、操作、元素和/或组件存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。
考虑到以下描述，本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图，所有这些形成本说明书的一部分。然而，应该清楚地理解，附图仅用于说明和描述的目的，并不旨在限制本说明书的范围。还应理解，附图未按比例绘制。
本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解，流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
为了方便描述，首先对本说明书中出现的术语进行如下解释：
生物识别图像：包括但不限于各类可以被用于身份认证的生物信息图像，比如人脸、指纹、虹膜等等。
隐私保护：在本方案中，指对生物识别图像中的身份信息进行保护。
时变隐私保护：指隐私保护的方案随着时间的改变而改变。
在对本说明书具体实施例说明之前，先对本说明书的应用场景进行如下介绍：
本说明书提供的图像隐私保护的处理方法可以应用在任意的需要进行图像隐私保护的场景中，比如，在人脸支付、人脸识别或身份验证场景等场景中，可以通过本说明书的图像隐私保护的处理方法对采集的待支付、待识别或待进行身份验证的用户的生物特征的原始图像进行脱敏处理，并将脱敏处理后的脱敏图像进行传输或存储，以及在运算阶段，对脱敏图像进行反脱敏处理，得到反脱敏图像，并应用反脱敏图像进行活体检测等等。本说明书的图像隐私保护的处理方法还可以应用在其他的活体检测场景中，在此就不再一一赘述。生物特征可以包括但不限于面部图像、虹膜、巩膜、指纹、掌纹、声纹、骨骼投影中的一种或多种。为了方便描述，本申请中将以图像隐私保护的处理方法应用在人脸识别场景中对人脸图像进行隐私保护为例进行描述。
本领域技术人员应当明白，本说明书所述的图像隐私保护的处理方法及系统应用于其他使用场景也在本说明书的保护范围内。
图1示出了根据本说明书的实施例提供的一种图像隐私保护的处理系统001的应用场景示意图。图像隐私保护的处理系统001(以下简称系统001)可以应用于任意场景的活体检测，比如，人脸支付场景下的活体检测、身份验证场景下的活体检测或其他人脸识别场景下的活体检测等等。如图1所示，系统001可以包括目标终端设备200和服务器300。系统001的应用场景可以包括目标用户100、系统001以及网络400。
目标用户100可以为需要进行生物特征识别的用户，或者正在进行生物特征识别的用户。目标用户100对应有生物特征。比如，目标用户100的面部图像、虹膜、巩膜、指纹、掌纹、声纹、骨骼投影中的一种或多种。
目标终端设备200可以为对目标用户100的生物特征进行隐私保护处理的设备。在一些实施例中，本说明书的图像隐私保护的处理方法可以在目标终端设备200上执行。此时，目标终端设备200可以存储有执行本说明书描述的图像隐私保护的处理方法的数据或指令，并可以执行或用于执行所述数据或指令。在一些实施例中，目标终端设备200可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。在一些实施例中，目标终端设备200可以包括移动设备、智能售卖机、平板电脑、笔记本电脑、机动车辆的内置设备或类似内容，或其任意组合。在一些实施例中，所述移动设备可包括智能家居设备、智能移动设备、虚拟现实设备、增强现实设备或类似设备，或其任意组合。在一些实施例中，所述智能家居装置可包括智能电视、台式电脑等，或任意组合。在一些实施例中，所述智能移动设备可包括智能手机、个人数字辅助、游戏设备、导航设备等，或其任意组合。在一些实施例中，所述虚拟现实设备或增强现实设备可能包括虚拟现实头盔、虚拟现实眼镜、虚拟现实补丁、增强现实头盔、增强现实眼镜、增强现实补丁或类似内容，或其中的任何组合。例如，所述虚拟现实设备或所述增强现实设备可能包括谷歌眼镜、头戴式显示器、VR等。在一些实施例中，所述机动车中的内置装置可包括车载计算机、车载电视等。在一些实施例中，目标终端设备200可以包括图像采集设备，用于采集目标用户100的目标图像。目标图像中可以包括目标用户100的生物特征。目标图像可以为需要进行隐私保护的图像，或者正在进行隐私保护的图像。目标图像可以是系统001的处理对象。在一些实施例中，所述图像采集设备可以是二维图像采集设备(比如RGB摄像头)，也可以是二维图像采集设备(比如RGB摄像头)和深度图像采集设备(比如3D结构光摄像头、激光探测器，等等)。在一些实施例中，目标终端设备200可以是具有定位技术的设备，用于定位目标终端设备200的位置。
在一些实施例中，目标终端设备200可以安装有一个或多个应用程序(APP)。所述APP能够为目标用户100提供通过网络400同外界交互的能力以及界面。所述APP包括但不限于：网页浏览器类APP程序、搜索类APP程序、聊天类APP程序、购物类APP程序、视频类APP程序、理财类APP程序、即时通信工具、邮箱目标终端设备、社交平台软件等等。在一些实施例中，目标终端设备200上可以安装有目标APP。所述目标APP能够为目标终端设备200采集目标用户的生物特征的目标图像。在一些实施例中，所述目标用户100还可以通过所述目标APP触发图像隐私保护的请求。所述目标APP可以响应于所图像隐私保护的处理请求，执行本说明书描述的图像隐私保护的处理方法。所述图像隐私保护的处理方法将在后面的内容中详细介绍。比如，当目标用户100触发了目标APP上的人脸支付、人脸识别或者人脸身份验证的请求，则自动会触发图像隐私保护的处理请求。
如图1所示，目标终端设备200可以与服务器300进行通信连接。在一些实施例中，服务器300可以与多个目标终端设备200进行通信连接，并接收目标终端设备200发送的数据。在一些实施例中，目标终端设备200可以通过网络400与服务器300交互，以接收或发送消息等。服务器300可以是提供各种服务的服务器，例如对多个目标终端设备200上部署的图像隐私保护的处理方法提供支持的后台服务器。在一些实施例中，所述图像隐私保护的处理方法可以在服务器300上执行。此时，服务器300可以存储有执行本说明书描述的图像隐私保护的处理方法的数据或指令，并可以执行或用于执行所述数据或指令。在一些实施例中，服务器300可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。
网络400用以在目标终端设备200和服务器300之间提供通信连接的介质。网络400可以促进信息或数据的交换。如图1所示，目标终端设备200和服务器300可以同网络400连接，并且通过网络400互相传输信息或数据。在一些实施例中，网络400可以是任何类型的有线或无线网络，也可以是其组合。比如，网络400可以包括电缆网络，有线网络、光纤网络、电信通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、大都市市区网(MAN)、广域网(WAN)、公用电话交换网(PSTN)、蓝牙网络TM、ZigBeeTM网络、近场通信(NFC)网络或类似网络。在一些实施例中，网络400可以包括一个或多个网络接入点。例如，网络400可以包括有线或无线网络接入点，如基站或互联网交换点，通过该接入点，目标终端设备200和服务器300的一个或多个组件可以连接到网络400以交换数据或信息。
应该理解，图1中的目标终端设备200、服务器300和网络400的数目仅仅是示意性的。根据实现需要，可以具有任意数目的目标终端设备200、服务器300和网络400。
需要说明的是，所述图像隐私保护的处理方法可以完全在目标终端设备200上执行，也可以完全在服务器300上执行，还可以部分在目标终端设备200上执行，部分在服务器300上执行。比如，图像隐私保护的处理方法可以包括图像脱敏和图像反脱敏的过程，图像脱敏的过程可以在目标终端设备200上执行，图像反脱敏的过程可以在服务器300上执行。
图2示出了根据本说明书的实施例提供的一种计算设备600的硬件结构图。计算设备600可以执行本说明书描述的图像隐私保护的处理方法。所述图像隐私保护的处理方法在本说明书中的其他部分介绍。当所述图像隐私保护的处理方法在目标终端设备200上执行时，计算设备600可以是目标终端设备200。当所述图像隐私保护的处理方法在服务器300上执行时，计算设备600可以是服务器300。当所述图像隐私保护的处理方法可以部分在目标终端设备200上执行，部分在服务器300上执行时，计算设备600既可以是目标终端设备200，也可以是服务器300。
如图2所示，计算设备600可以包括至少一个存储介质630和至少一个处理器620。在一些实施例中，计算设备600还可以包括通信端口650和内部通信总线610。同时，计算设备600还可以包括I/O组件660。
内部通信总线610可以连接不同的系统组件，包括存储介质630、处理器620和通信端口650。
I/O组件660支持计算设备600和其他组件之间的输入/输出。
通信端口650用于计算设备600同外界的数据通信，比如，通信端口650可以用于计算设备600同网络400之间的数据通信。通信端口650可以是有线通信端口也可以是无线通信端口。
存储介质630可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质，也可以是暂时性存储介质。比如，所述数据存储装置可以包括磁盘632、只读存储介质(ROM)634或随机存取存储介质(RAM)636中的一种或多种。存储介质630还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码，所述计算机程序代码可以包括执行本说明书提供的图像隐私保护的处理方法的程序、例程、对象、组件、数据结构、过程、模块等等。
至少一个处理器620可以同至少一个存储介质630以及通信端口650通过内部通信总线610通信连接。至少一个处理器620用以执行上述至少一个指令集。当计算设备600运行时，至少一个处理器620读取所述至少一个指令集，并且根据所述至少一个指令集的指示，执行本说明书提供的图像隐私保护的处理方法。处理器620可以执行图像隐私保护的处理方法包含的所有步骤。处理器620可以是一个或多个处理器的形式，在一些实施例中，处理器620可以包括一个或多个硬件处理器，例如微控制器，微处理器，精简指令集计算机(RISC)，专用集成电路(ASIC)，特定于应用的指令集处理器(ASIP)，中心处理单元(CPU)，图形处理单元(GPU)，物理处理单元(PPU)，微控制器单元，数字信号处理器(DSP)，现场可编程门阵列(FPGA)，高级RISC机器(ARM)，可编程逻辑器件(PLD)，能够执行一个或多个功能的任何电路或处理器等，或其任何组合。仅仅为了说明问题，在本说明书中计算设备600中仅描述了一个处理器620。然而，应当注意，本说明书中计算设备600还可以包括多个处理器，因此，本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行，也可以由多个处理器联合执行。例如，如果在本说明书中计算设备600的处理器620执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同处理器620联合或分开执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一和第二处理器共同执行步骤A和B)。
图3示出了根据本说明书的实施例提供的一种图像隐私保护的处理方法P100的流程图。如前，计算设备600可以执行本说明书的图像隐私保护的处理方法P100。具体地，计算设备600可以读取存储在其本地存储介质中的指令集，然后根据指令集的规定，执行本说明书的图像隐私保护的处理方法P100。如图3所示，方法P100可以包括：
S120：获取目标图像和目标特征。
其中，目标图像为对目标用户进行图像采集得到的图像。目标图像中包括目标用户的生物特征。生物特征为人体固有的生理特性，其可以包括人脸、虹膜、巩膜、指纹、掌纹、声纹、骨骼投影中的至少一种，也可以包括其他能够进行人脸识别的人体固有的生理特性。为了方便描述，本说明书中将以生物特征为人脸为例进行描述。本领域技术人员应当明白，生物特征为其他特征也在本说明书的保护范围内。
目标图像可以通过目标终端设备200采集得到。目标终端设备200可以是进行活体验证或人脸验证的设备。在一些实施例中，目标用户100可以通过在目标终端设备200上进行活体验证或人脸验证以完成在目标终端设备200上的验证。
目标特征为目标用户100当前所处环境中动态变化的目标时变信息对应的特征。目标时变信息可以是目标用户100当前所处环境中N个时变信息中的一种。N个时变信息是指随时间变化的信息，其可以包括目标用户100当前所处环境中目标终端设备200的设备信息、目标用户100当前所处环境中的语音信息和目标用户100在当前所处环境中对应的背景图像。
其中，目标终端设备200的设备信息为表征该目标终端设备200当前状态的信息，比如内存占用率、CPU(中央处理器)占用率、当前运行的程序数目等等。目标终端设备200的设备信息可以帮助计算设备600判断目标用户100当前是否正在遭受攻击。比如，通常情况下，目标终端设备200每分钟或者每秒钟的内存占用率、CPU占用率以及当前运行的程序数目会位于一个大致的预设范围内，若目标终端设备200每分钟或者每秒钟的内存占用率、CPU占用以及当前运行的程序数目位于预设范围之外，则目标用户100当前可能遭受攻击。
目标用户100当前所处环境中的语音信息可以包括目标用户100当前所处环境中经常性的声音，其可以是人说话的声音，也可以是其他的背景声音等等。语音信息能够反映目标用户100当前所处的环境，并帮助计算设备600判断目标用户100当前所处的环境是否发生变化。比如，当目标用户100所处的环境为办公区域，则语音信息可以是敲击键盘的声音。若语音信息发生了变化，则很可能是攻击者在一个模拟的实验环境中正在对目标用户100进行攻击。
目标用户100当前所处环境中的背景信息可以是对目标用户100采集的目标图像中所包括的背景信息。比如，当目标用户100正在零售门店进行人脸支付，背景信息可以是目标用户100在摄像头的视野范围内位于目标用户100周围的场景信息，或者也可以理解为在摄像头的视野范围内除了目标用户100之外的信息。下面结合附图对目标特征的获取过程进行详细介绍。
图4示出了根据本说明书的实施例提供的一种获取目标特征的流程图。图4对应于步骤S120。如图4所示，获取目标特征可以包括如下步骤：
S420：获取N个时变信息。
计算600可以获取预设时间段内的N个时变信息。预设时间段可以是1分钟或者2分钟等。关于N个时变信息的介绍，可以参见前述内容的介绍，此处不再赘述。
N个时变信息可以通过目标终端设备200上安装的设备信息采集器、语音采集器和图像采集模组采集得到。比如，目标终端设备200接收到人脸识别、人脸支付或者人脸身份验证的请求时，便控制设备信息采集器采集目标终端设备200的设备信息，控制语音采集器采集目标用户100当前所处环境中的语音信息，以及控制图像采集模组对目标用户100进行目标图像和背景图像的采集。
对于目标终端设备200来说，当其为移动设备时，随着用户的位置变化，背景图像和背景语音信息会随着时间的变化而发生变化。当其为位置固定的设备时，其所处的环境也会因为遮挡或者摄像头角度的调整而产生不同的背景图像，背景语音信息也会随着时间的变化而发生变化。比如，对于路边的售卖机，早高峰和凌晨的背景音会有不同，并且背景语音信息也会随着时间的变化而发生波动。这些都可以为脱敏处理过程提供时变信息，以提升图像的隐私保护能力。
S440：提取N个时变信息对应的M个时变特征。
M个时变特征可以包括N个时变信息对应的N个时变特征，也可以包括N个时变信息对应的N个时变特征及其融合特征，M为大于2的整数，且N小于或等于M。
其中，计算设备600提取N个时变信息对应的M个时变特征时，可以采用如下步骤：例如，计算设备600将N个时变信息输入预先训练好的特征提取模型中，得到M个时变特征。特征提取模型的训练数据包括多个训练样本，每个训练样本包括N个时变信息，训练目标可以包括：特征提取模型输出的相同状态的训练时变信息的训练样本对的预测时变特征之间的相似度大于预设第一相似度，以及不同状态的训练时变信息的训练样本对的预测时变特征之间的相似度小于预设第二相似度。另外，训练目标还可以包括：特征提取模型针对训练样本对输出的预测融合特征的相似度趋近于训练样本对的N个预测时变特征的相似度均值。
特征提取模型的多个训练样本可以通过至少一个终端设备采集得到，也可以通过公开数据集获得，本说明书对此不作限制。多个训练样本可以对应多个训练终端设备，多个训练样本与多个训练终端设备为一一对应的关系。为了方便描述，将多个训练样本中每个训练样本记为目标训练样本，并将多个训练终端设备中与目标训练样本对应的训练终端设备记为目标训练终端设备。也就是说，目标训练样本可以包括目标训练终端设备的设备信息、目标训练终端设备所处环境中的背景信息，背景信息可以包括语音背景信息和背景图像。
计算设备600在获得多个训练样本之后，便可以基于多个训练样本对预设特征提取模型进行训练，得到训练好的特征提取模型。下面结合附图对特征提取模型的训练过程进行详细描述。
图5示出了根据本说明书的实施例提供的预设特征提取模型的网络结构示意图。如图5所示，预设特征提取模型包括预设设备信息特征编码网络、预设语音信息特征编码网络、预设背景信息特征编码网络和特征融合网络。
其中，预设设备信息特征编码网络可以是多层感知机(Multilayer Perceptron，MLP)，其输入为目标训练终端设备的设备信息，被配置为针对目标训练终端设备的设备信息进行特征提取，并输出目标训练终端设备的预测设备特征。
预设语音信息特征编码网络也可以是多层感知机(Multilayer Perceptron，MLP)，其输入为目标训练终端设备的背景语音信息，被配置为针对目标训练终端设备的背景语音信息进行特征提取，并输出目标训练终端设备的预测语音特征。
预设背景信息特征编码网络可以是ResNet(残差网络)等用于对图像进行特征提取的网络，其输入为目标训练终端设备的背景图像，被配置为针对目标训练终端设备的背景图像进行特征提取，并输出目标训练终端设备的预测图像特征。
特征融合网络可以是全连接层，其输入为目标训练终端设备的预测设备特征、预测语音特征和预测图像特征，被配置为针对目标训练终端设备的预测设备特征、预测语音特征和预测图像特征进行特征融合，并输出对三者进行融合的融合特征。
计算设备600在获得目标训练终端设备的预测设备特征、预测语音特征、预测图像特征和融合特征之后，便可以基于目标训练终端设备的预测设备特征、预测语音特征、预测图像特征和融合特征确定第一综合损失，并基于第一综合损失对预设特征提取模型进行收敛，得到训练好的特征提取模型。其中，计算设备600基于目标训练终端设备的预测设备特征、预测语音特征、预测背景图像特征和融合特征确定第一综合损失，可以包括如下步骤：
例如，计算设备600基于真实活体分类结果相同的训练终端设备对应的预测设备特征之间的差异，确定第一子设备特征对比损失，并基于真实活体分类结果不同的训练终端设备对应的预测设备特征之间的差异，确定第二子设备特征对比损失；以及基于第一子设备特征对比损失和第二子设备特征对比损失的加权和，确定设备特征对比损失。其中，多个训练终端设备中至少部分训练终端设备对应有真实活体分类结果，其表征该至少部分训练终端设备在预设时间段内是否被攻击。针对多个训练终端设备，计算设备600是确定多个训练终端设备中被攻击的训练终端设备两两之间的预测设备特征的相似度，并将两两之间的相似度的加权和确定为第一子设备特征对比损失。同样地，计算设备600是确定多个训练终端设备中未被攻击的训练终端设备两两之间的预测设备特征的相似度，并将两两之间的相似度的加权和确定为第一子设备特征对比损失。需要注意的是，第一子设备特征对比损失旨在约束被攻击的训练终端设备两两之间的预测设备特征的相似度尽量一致，第二子设备特征对比损失旨在约束未被攻击的训练终端设备两两之间的预测设备特征的相似度尽量不一致，二者的约束目标相反，而第一综合损失的约束目标通常为最小化。因此，计算设备600可以对第一子设备特征对比损失进行处理，将第一子设备特征对比损失的约束目标调整为与第二子设备特征对比损失的约束目标一致，比如，第二子设备特征对比损失的约束目标是使得未被攻击的训练终端设备两两之间的预测设备特征的相似度趋近于0，则可以通过对第一子设备特征对比损失进行加减乘除等运算使得第一子设备特征对比损失的约束目标也为趋近于0。这样，就可以通过约束第一综合损失最小化，比如趋近于0实现对预设特征提取模型的收敛。
基于相同内容的背景语音信息对应的预测语音特征之间的差异，确定第一子语音特征对比损失，并基于不同内容的背景语音信息对应的预测语音特征之间的差异，确定第二子语音特征对比损失，以及基于第一子语音特征对比损失和第二子语音特征对比损失的加权和，确定语音特征对比损失。这里，计算设备600同样需要对第一子语音特征对比损失进行处理，以使得第一子语音特征对比损失、第二子语音特征对比损失与第一综合损失的约束目标一致。具体的处理过程可以参见对第一子设备特征损失的处理过程，此处不再赘述。
基于相同背景的背景图像对应的预测背景特征之间的差异，确定第一子图像特征对比损失，并基于不同背景的背景图像对应的预测背景特征之间的差异，确定第二子图像特征对比损失，以及基于第一子图像特征对比损失和第二子图像特征对比损失的加权和，确定图像特征对比损失。这里，计算设备600同样需要对第一子图像特征对比损失进行处理，以使得第一子图像特征对比损失、第二子图像特征对比损失与第一综合损失的约束目标一致。具体的处理过程可以参见对第一子设备特征损失的处理过程，此处不再赘述。
上述特征之间的差异可以基于余弦相似度、欧氏距离等方式来确定。计算设备600在获得设备特征对比损失、语音特征对比损失和图像特征对比损失之后，可以基于三者中至少两项的加权和确定第一综合损失。也可以基于训练终端设备对的预测融合特征之间的相似度，与训练终端设备对的综合相似度之间的差异，确定融合一致性约束损失。其中，综合相似度可以基于训练终端设备对的预测设备特征之间的相似度、预测语音特征之间的相似度和预测背景图像特征之间的相似度的加权和确定。融合一致性约束损失旨在约束预测融合特征的相似度与综合相似度之间的差异小于预设第三相似度，从而提高融合特征的预测准确度。
计算设备600在确定第一综合损失之后，便可以基于第一综合损失对预设特征提取模型进行反向传播，以更新预设特征提取模型的参数，直至训练结束，得到训练好的特征提取模型。训练结束的条件可以是第一综合损失小于第一损失值，或者训练次数达到预设训练次数，或者预设特征提取模型的训练精度达到预设精度。这里，计算设备600可以采用Adam优化器对预设特征提取模型进行优化训练，直至收敛。
计算设备600在训练得到特征提取模型之后，便可以基于训练好的特征提取模型对N个时变信息进行特征提取，从而得到M个时变特征。其中，M个时变特征可以包括N个时变信息对应的N个时变特征，也可以包括N个时变特征及其对应的融合特征。也就是说，特征提取模型可以针对N个时变信息分别进行特征提取，从而得到N个时变特征，也可以在得到N个时变特征之后，针对N个时变特征再进行特征融合，从而得到N个时变特征及其对应的融合特征。
继续参阅图4，在步骤S440之后，获取目标特征的方法还可以包括如下步骤S460。
S460：基于预设规则从M个时变特征中确定目标特征。
在一些实施例中，计算设备600可以从M个时变特征中随机选取一个时变特征作为目标特征，也可以基于M个时变特征的变化幅度和在单位时间内的变化速率，从M个时变特征选取满足要求的时变特征作为目标特征。满足要求可以包括：变化幅度位于预设变化幅度范围内，且变化速率位于预设变化速率范围内。
在一些实施例中，计算设备600还可以基于M个时变特征对应的特征平均值与变化幅度之间的关系来确定目标特征。例如，计算设备600确定M个时变特征对应的特征平均值与变化幅度之间的关系，以及基于M个时变特征对应的特征平均值与变化幅度之间的关系，确定目标特征。
其中，M个时变特征对应的特征平均值与变化幅度可以基于高斯分布来确定。比如，计算设备600将M个时变特征中每个时变特征记为时变特征X，并对时变特征X进行高斯分布拟合，可以得到时变特征X对应的高斯分布函数Y。之后，计算设备600可以基于高斯分布函数Y的均值确定时变特征X的特征平均值，并基于高斯分布函数Y的方差确定时变特征X的变化幅度。
计算设备600在获得M个时变特征对应的特征平均值和变化幅度之后，便可以确定M个时变特征对应的M个特征平均值和M个变化幅度之间的M个比值，并将M个比值中排序次大的比值对应的时变特征确定为目标特征，或者将位于预设比值范围内的比值对应的时变特征确定为目标特征。
高斯分布函数Y的均值代表了时变特征X在一段时间内的特征的平均分布情况，变化幅度代表了时变特征X距离特征平均值的变化范围，特征平均值和变化幅度的比值可以表征时变特征X的变化趋势。当比值最大时，代表时变特征X的变化趋势较为剧烈，而排序第三和第四的时变特征X的变化趋势不太明显，而排序第二的比值对应的时变特征通常变化趋势较为柔和，没有剧烈的变化。这样，在后续基于目标特征对目标图像进行脱敏处理时，能够使得脱敏过程较为稳定。
训练好的特征提取模型为多元的时变特征提取模型，能够对多元的时变信息进行特征提取，从而得到多元的M个时变特征。计算设备600通过对M个时变特征的特征分布情况进行分析，从而找到目标最适合的时变特征作为目标特征，以进一步提升图像隐私能力。
继续参阅图3，在步骤S120之后，所述方法P100还可以包括步骤S140。
S140：基于目标特征对目标图像进行脱敏处理，得到脱敏图像。
计算设备600可以采用脱敏模型对目标图像进行脱敏处理，从而得到脱敏图像。脱敏图像为对目标图像进行隐私保护后的图像，使得用户在肉眼上无法辨别出来目标图像中的内容，防止目标用户100的隐私被泄露。目标特征为随时间变化的特征，通过在图像脱敏过程中增加目标特征，能够使得针对同一张目标图像，随着时间的变化而产生不同的脱敏图像，从而达到提高图像隐私保护性能的目的。
其中，计算设备600基于目标特征对目标图像进行脱敏处理，得到脱敏图像的实现方式有多种，具体可以如下：
在一些实施例中，计算设备600可以将目标特征输入至预先训练好的参数偏置模型中，得到脱敏模型对应的脱敏参数偏置量，并将脱敏参数偏置量和目标图像输入至预先训练好的脱敏模型中，得到脱敏图像。在一些实施例中，计算设备600还可以在基于参数偏置模型确定脱敏参数偏置量之后，基于脱敏参数偏置量对预先训练好的脱敏模型进行参数调整，得到目标脱敏模型之后，再基于目标脱敏模型对目标图像进行脱敏处理，从而得到脱敏图像。
上述实施例中的脱敏参数偏置模型可以和脱敏模型同时训练得到，其训练目标可以包括约束脱敏模型输出的预测脱敏图像与原始图像之间的差异，以及约束参数偏置模型输出的预测脱敏参数趋近于第一预设值。
其中，计算设备600可以获取多个训练图像，多个训练图像中包括训练用户的生物特征。关于生物特征的介绍可以参见前述内容的介绍，此处不再赘述。计算设备600可以通过至少一个终端设备所采集的关于用户的生物特征的图像来获得多个训练图像，也可以从公开数据集获得多个训练图像，本说明书对此不作限制。
计算设备600在获得多个训练图像之后，便可以基于多个训练图像和训练目标对预设脱敏参数偏置网络和预设脱敏网络进行训练，得到训练好的脱敏参数偏置模型和训练好的脱敏模型。
预设脱敏参数偏置网络可以是transform网络，其输入为训练时变特征，被配置为基于训练时变特征确定预设脱敏网络的预测脱敏参数偏置量，并输出该预测脱敏参数偏置量。这里的训练时变特征可以是基于预设规则从多个训练样本对应的预测时变特征中挑选出来的，也可以是重新采集的训练时变信息，并将重新采集的训练时变信息输入至训练好的特征提取模型中，得到重新采集的训练时变信息对应的预测时变特征，并基于预设规则从重新采集的训练时变信息对应的预测时变特征中挑选出训练时变特征。
计算设备600在获得预测脱敏参数偏置量之后，可以将预测脱敏参数偏置量和多个训练图像输入至预设脱敏网络，以对预设脱敏网络进行训练。其中，预设脱敏网络可以是Unet网络，其输入为预测脱敏参数偏置量和多个训练图像，被配置为基于预测脱敏参数偏置量和多个训练图像确定多个训练图像对应的多个预测脱敏图像，并输出多个预测脱敏图像。
计算设备600在获得预测脱敏参数偏置量之后，还可以采用预测脱敏参数偏置量对预设脱敏网络的参数进行调整，得到调整后的预设脱敏网络，并将多个训练图像输入至调整后的预设脱敏网络，以使调整后的预设脱敏网络基于多个训练图像生成多个预测脱敏图像，并输出该多个预测脱敏图像。
计算设备600在获得预测脱敏参数偏置量和多个预测脱敏图像之后，便可以基于预测脱敏参数偏置量和多个预测脱敏图像确定第二综合损失，并基于第二综合损失对预设脱敏参数偏置网络和预设脱敏网络进行收敛。或者计算设备600还可以基于第二综合损失对预设脱敏参数偏置网络和调整后的预设脱敏网络进行收敛，得到训练好的脱敏参数偏置模型和训练好的脱敏模型。其中，计算设备600基于预测脱敏参数偏置量和多个预测脱敏图像确定第二综合损失，可以包括如下步骤：基于多个预测脱敏图像及其对应的训练图像之间的差异，确定脱敏损失，并基于预测脱敏参数偏置量和第一预设值之间的差异，确定脱敏偏置约束损失，以及基于脱敏损失和脱敏偏置约束损失的加权和，确定第二综合损失。
计算设备600在确定第二综合损失之后，便可以基于第二综合损失对预设脱敏参数偏置网络和预设脱敏网络进行反向传播，以更新预设脱敏参数偏置网络和预设脱敏网络的参数，直至训练结束，得到训练好的脱敏参数偏置模型和脱敏模型。训练结束的条件可以是第二综合损失小于第二损失值，或者训练次数达到预设训练次数，或者预设脱敏参数偏置网络和预设脱敏网络的训练精度达到预设精度。这里，计算设备600可以采用Adam优化器对预设脱敏参数偏置网络和预设脱敏网络进行优化训练，直至收敛。
其中，脱敏损失旨在约束预测脱敏图像及其对应的训练图像之间的相似度尽量低，比如，使得预测脱敏图像及其对应的训练图像之间的相似度接近于0。而脱敏偏置约束损失的约束目标为使得预测脱敏参数偏置量尽量小，比如接近于0。因此，第二损失值可以为0。也就是说，第二综合损失接近于0时，便可以视为训练结束。接近于0可以理解为是位于0附近的一个很小的数值范围内不再发生变化。比如，当第二综合损失在多次训练时都位于0至0.001的范围内，则可以视为训练结束。
脱敏偏置约束损失的约束目标能够使得对于脱敏模型的参数调整量较小，不会对脱敏模型产生较大的改动，以尽量减小对脱敏模型的脱敏性能的影响，从而实现在保证脱敏性能的基础上，提升对图像的隐私保护能力。
训练好的脱敏参数偏置模型和脱敏模型可以应用于基于目标特征对目标图像进行脱敏处理，从而得到目标图像对应的脱敏图像。目标特征为随着时间发生变化的目标时变信息所提取的特征，在应用目标特征对脱敏模型生成脱敏参数偏置量，并应用于调整脱敏模型的网络参数之后，能够使得脱敏模型在每次的图像隐私保护处理过程中获得不同的网络参数，从而对于相同的目标图像，也能够输出不同的脱敏图像(取决于当前输入的目标特征是什么)，进而达到提升图像隐私保护的能力。
继续参阅图3，在步骤S140之后，所述方法P100还可以包括步骤S160。
S160：输出脱敏图像。
计算设备600输出脱敏图像的方式可以有多种，比如，计算设备600在获得脱敏图像之后，可以将脱敏图像和目标特征进行传输或者存储，并在运算阶段基于目标特征对脱敏图像进行反脱敏处理，从而得到反脱敏图像，并输出反脱敏图像，以将反脱敏图像应用于活体检测等场景。
其中，计算设备600在基于目标特征对脱敏图像进行反脱敏处理，得到反脱敏图像的过程可以包括如下步骤：例如，计算设备600将目标特征输入至预先训练好的反脱敏参数偏置模型中，得到反脱敏模型对应的反脱敏参数偏置量，以及将反脱敏参数偏置量和脱敏图像输入至预先训练好的反脱敏模型中，得到反脱敏图像。
这里，反脱敏模型和反脱敏参数偏置模型也可以同时训练得到，其训练目标可以包括：约束所述反脱敏模型输出的预测反脱敏图像与原始图像之间的差异，以及约束参数偏置模型输出的预测脱敏参数趋近于第一预设值。
其中，计算设备600可以获取多个训练脱敏图像，多个训练脱敏图像可以是训练好的脱敏模型针对多个训练图像输出的多个预测脱敏图像。也可以是计算设备600在获取多个原始图像之后，将多个原始图像输入至训练好的脱敏模型中，并将得到的多个原始图像对应的多个原始脱敏图像作为多个训练脱敏图像，本说明书对此不作限制。
计算设备600在获得多个训练脱敏图像之后，便可以基于多个训练脱敏图像和训练目标对预设反脱敏参数偏置网络和预设反脱敏网络进行训练，得到训练好的反脱敏参数偏置模型和训练好的反脱敏模型。
预设反脱敏参数偏置网络可以是transform网络，其输入为训练时变特征，被配置为基于训练时变特征确定预设反脱敏网络的预测反脱敏参数偏置量，并输出该预测反脱敏参数偏置量。这里的训练时变特征可以是基于预设规则从多个训练样本对应的预测时变特征中挑选出来的，也可以是重新采集的训练时变信息，并将重新采集的训练时变信息输入至训练好的特征提取模型中，得到重新采集的训练时变信息对应的预测时变特征，并基于预设规则从重新采集的训练时变信息对应的预测时变特征中挑选出训练时变特征。
计算设备600在获得预测反脱敏参数偏置量之后，可以将预测反脱敏参数偏置量和多个训练脱敏图像输入至预设反脱敏网络，以对预设反脱敏网络进行训练。其中，预设反脱敏网络可以是Unet网络，其输入为预测反脱敏参数偏置量和多个训练脱敏图像，被配置为基于预测反脱敏参数偏置量和多个训练脱敏图像确定多个训练脱敏图像对应的多个预测反脱敏图像，并输出多个预测反脱敏图像。
计算设备600在获得预测反脱敏参数偏置量之后，还可以采用预测反脱敏参数偏置量对预设反脱敏网络的参数进行调整，得到调整后的预设反脱敏网络，并将多个训练脱敏图像输入至调整后的预设反脱敏网络，以使调整后的预设反脱敏网络基于多个训练脱敏图像生成多个预测反脱敏图像，并输出该多个预测反脱敏图像。
计算设备600在获得预测反脱敏参数偏置量和多个预测反脱敏图像之后，便可以基于预测反脱敏参数偏置量和多个预测反脱敏图像确定第三综合损失，并基于第三综合损失对预设反脱敏参数偏置网络和预设反脱敏网络进行收敛。或者计算设备600还可以基于第三综合损失对预设反脱敏参数偏置网络和调整后的预设反脱敏网络进行收敛，得到训练好的反脱敏参数偏置模型和训练好的反脱敏模型。其中，计算设备600基于预测反脱敏参数偏置量和多个预测反脱敏图像确定第三综合损失，可以包括如下步骤：基于多个预测反脱敏图像及其对应的训练脱敏图像之间的差异，确定反脱敏损失，并基于预测反脱敏参数偏置量和第一预设值之间的差异，确定反脱敏偏置约束损失，以及基于反脱敏损失和反脱敏偏置约束损失的加权和，确定第三综合损失。
计算设备600在确定第三综合损失之后，便可以基于第三综合损失对预设反脱敏参数偏置网络和预设反脱敏网络进行反向传播，以更新预设反脱敏参数偏置网络和预设反脱敏网络的参数，直至训练结束，得到训练好的反脱敏参数偏置模型和反脱敏模型。训练结束的条件可以是第三综合损失小于第三损失值，或者训练次数达到预设训练次数，或者预设反脱敏参数偏置网络和预设反脱敏网络的训练精度达到预设精度。这里，计算设备600可以采用Adam优化器对预设反脱敏参数偏置网络和预设反脱敏网络进行优化训练，直至收敛。
其中，反脱敏损失旨在约束预测反脱敏图像及其对应的训练脱敏图像之间的相似度尽量一致，比如，使得预测反脱敏图像及其对应的训练脱敏图像之间的相似度接近于1。而反脱敏偏置约束损失的约束目标为使得预测脱敏参数偏置量尽量小，比如接近于0。当第三综合损失的约束目标是最小化时，可以通过对反脱敏损失进行加减乘除等运算，以使得运算后的反脱敏损失也趋近于0，从而使得基于运算后的反脱敏损失和反脱敏偏置约束损失的加权和确定的第三综合损失最小化。因此，第三损失值可以为0。也就是说，第三综合损失接近于0时，便可以视为训练结束。接近于0可以理解为是位于0附近的一个很小的数值范围内不再发生变化。比如，当第三综合损失在多次训练时都位于0至0.001的范围内，则可以视为训练结束。
训练好的反脱敏参数偏置模型和反脱敏模型可以应用于基于目标特征对脱敏图像进行反脱敏处理，从而得到目标图像对应的反脱敏图像。反脱敏图像为与目标图像相同或接近于目标图像的图像。计算设备600在获得反脱敏图像之后，可以将反脱敏图像应用于活体检测等场景。
上述实施例中介绍了脱敏模型和反脱敏模型单独训练的过程，而在一些实施例中，脱敏参数偏置模型、反脱敏参数偏置模型、脱敏模型和反脱敏模型可以同时训练得到。此时，训练目标包括：脱敏损失、反脱敏损失和综合偏置约束损失。其中，脱敏损失和反脱敏损失的确定过程可以参考上述实施例中的介绍，而综合偏置约束损失可以为脱敏偏置约束损失和反脱敏偏置约束损失的加权和。另外，计算设备600还可以将预设脱敏参数偏置网络和预设反脱敏参数偏置网络通过一个预设参数偏置网络来实现。比如，在训练过程中，计算设备600可以将预设参数偏置网络配置为基于训练时变特征确定预测脱敏参数偏置量和预测反脱敏参数偏置量。同样地，预设参数偏置网络也可以为transform网络。
计算设备600在获得训练好的脱敏参数偏置模型、脱敏模型、反脱敏参数偏置模型和反脱敏模型之后，可以将脱敏参数偏置模型、脱敏模型部署在目标终端设备200上，也可以将脱敏参数偏置模型、脱敏模型部署在服务器300上，还可以将脱敏参数偏置模型、脱敏模型、反脱敏参数偏置模型和反脱敏模型均部署在目标终端设备200或者服务器300上。
综上所述，本说明书提供的图像隐私保护的处理方法P100和系统001，在获取目标用户的目标图像时，还获取了目标用户当前所处环境中随时间发生变化的目标时变信息对应的目标特征，并将目标特征作用于目标图像的脱敏处理过程，从而在脱敏过程中增加时变因素，使得对于同一张目标图像，随着时间的变化也会产生不同的脱敏图像，提升对用户所采集的图像的隐私保护能力。
本说明书另一方面提供一种非暂时性存储介质，存储有至少一组用来进行活体检测的可执行指令。当所述可执行指令被处理器执行时，所述可执行指令指导所述处理器实施本说明书所述的活体检测方法P100的步骤。在一些可能的实施方式中，本说明书的各个方面还可以实现为一种程序产品的形式，其包括程序代码。当所述程序产品在计算设备600上运行时，所述程序代码用于使计算设备600执行本说明书描述的活体检测方法P100的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)包括程序代码，并可以在计算设备600上运行。然而，本说明书的程序产品不限于此，在本说明书中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在计算设备600上执行、部分地在计算设备600上执行、作为一个独立的软件包执行、部分在计算设备600上部分在远程计算设备上执行、或者完全在远程计算设备上执行。
上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者是可能有利的。
综上所述，在阅读本详细公开内容之后，本领域技术人员可以明白，前述详细公开内容可以仅以示例的方式呈现，并且可以不是限制性的。尽管这里没有明确说明，本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变，改进和修改。这些改变，改进和修改旨在由本说明书提出，并且在本说明书的示例性实施例的精神和范围内。
此外，本说明书中的某些术语已被用于描述本说明书的实施例。例如，“一个实施例”，“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征，结构或特性可以包括在本说明书的至少一个实施例中。因此，可以强调并且应当理解，在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外，特定特征，结构或特性可以在本说明书的一个或多个实施例中适当地组合。
应当理解，在本说明书的实施例的前述描述中，为了帮助理解一个特征，出于简化本说明书的目的，本说明书将各种特征组合在单个实施例、附图或其描述中。然而，这并不是说这些特征的组合是必须的，本领域技术人员在阅读本说明书的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说，本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
本文引用的每个专利，专利申请，专利申请的出版物和其他材料，例如文章，书籍，说明书，出版物，文件，物品等，可以通过引用结合于此。用于所有目的全部内容，除了与其相关的任何起诉文件历史，可能与本文件不一致或相冲突的任何相同的，或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说，如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时，使用本文件中的术语为准。
最后，应理解，本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此，本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此，本说明书的实施例不限于申请中被精确地描述过的实施例。

Claims (14)

1.一种图像隐私保护的处理方法，包括：
获取目标图像和目标特征，所述目标图像为对目标用户进行图像采集得到的，所述目标特征为所述目标用户当前所处环境中动态变化的目标时变信息对应的特征；
基于所述目标特征对所述目标图像进行脱敏处理，得到脱敏图像；以及
输出所述脱敏图像。
2.根据权利要求1所述的方法，其中，所述获取目标图像和目标特征，包括：
获取N个时变信息，所述N个时变信息为所述目标用户当前所处环境中随时间变化的信息，所述N为大于1的整数；
提取所述N个时变信息对应的M个时变特征，所述M个时变特征包括所述N个时变信息对应的N个时变特征，或者包括所述N个时变信息对应的N个时变特征及其融合特征，所述M为大于2的整数，且所述N小于或等于所述M；
基于预设规则从所述M个时变特征中确定所述目标特征。
3.根据权利要求2所述的方法，其中，所述N个时变信息包括目标终端设备的设备信息、所述目标用户当前所处环境中的背景语音信息和所述目标用户当前所处环境中的背景图像中至少两项，所述目标终端设备为对所述目标用户进行图像采集得到所述目标图像的设备。
4.根据权利要求2所述的方法，其中，所述基于预设规则从所述M个时变特征中确定所述目标特征，包括：
确定所述M个时变特征对应的特征平均值与变化幅度之间的关系；以及
基于所述M个时变特征对应的特征平均值与变化幅度之间的关系，确定所述目标特征。
5.根据权利要求4所述的方法，其中，所述基于所述M个时变特征对应的特征平均值与变化幅度之间的关系，确定所述目标特征，包括：
确定所述M个时变特征对应的特征平均值与变化幅度之间的M个比值；以及
确定所述M个比值中排序次大的比值对应的时变特征，或者位于预设比值范围内的比值的对应的时变特征为所述目标特征。
6.根据权利要求2所述的方法，其中，所述提取所述N个时变信息对应的M个时变特征，包括：
将所述N个时变信息输入预先训练好的特征提取模型中，得到所述M个时变特征；
所述特征提取模型的训练数据包括多个训练样本，每个训练样本包括N个训练时变信息，训练目标包括：所述特征提取模型输出的相同状态的训练时变信息的训练样本对的预测时变特征之间的相似度大于预设第一相似度，以及不同状态的训练时变信息的训练样本对的预测时变特征之间的相似度小于预设第二相似度。
7.根据权利要求6所述的方法，其中，所述训练目标还包括：
所述特征提取模型针对训练样本对输出的预测融合特征的相似度趋近于所述训练样本对的N个预测时变特征的相似度均值。
8.根据权利要求1所述的方法，其中，所述基于所述目标特征对所述目标图像进行脱敏处理，得到脱敏图像，包括：
将所述目标特征输入至预先训练好的参数偏置模型中，得到脱敏模型对应的脱敏参数偏置量；以及
将所述脱敏参数偏置量和所述目标图像输入至预先训练好的脱敏模型中，得到所述脱敏图像。
9.根据权利要求1所述的方法，其中，所述基于所述目标特征对所述目标图像进行脱敏处理，得到脱敏图像，包括：
将所述目标特征输入至预先训练好的参数偏置模型中，得到脱敏模型对应的脱敏参数偏置量；
基于所述脱敏参数偏置量对预先训练好的脱敏模型进行参数调整，得到目标脱敏模型；以及
基于所述目标脱敏模型对所述目标图像进行脱敏处理，得到所述脱敏图像。
10.根据权利要求8或9所述的方法，其中，所述参数偏置模型与所述脱敏模型同时训练得到，训练目标包括：约束所述脱敏模型输出的预测脱敏图像与原始图像之间的差异，以及约束参数偏置模型输出的预测脱敏参数趋近于第一预设值。
11.根据权利要求1所述的方法，其中，所述输出所述脱敏图像之后，所述方法还包括：
基于所述目标特征对所述脱敏图像进行反脱敏处理，得到反脱敏图像；以及
输出所述反脱敏图像。
12.根据权利要求11所述的方法，其中，所述基于所述目标特征对所述脱敏图像进行反脱敏处理，得到反脱敏图像，包括：
将所述目标特征输入至预先训练好的反脱敏参数偏置模型中，得到反脱敏模型对应的反脱敏参数偏置量；以及
将所述反脱敏参数偏置量和所述脱敏图像输入至预先训练好的反脱敏模型中，得到所述反脱敏图像。
13.根据权利要求12所述的方法，其中，所述反脱敏模型和所述反脱敏参数偏置模型同时训练得到，训练目标包括：约束所述反脱敏模型输出的预测反脱敏图像与原始图像之间的差异，以及约束参数偏置模型输出的预测脱敏参数趋近于第一预设值。
14.一种图像隐私保护的处理系统，包括：
至少一个存储介质，存储有至少一个指令集，用于进行活体检测；以及
至少一个处理器，同所述至少一个存储介质通信连接，
其中，当所述活体检测系统运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行权利要求1-13任一项所述的方法。
CN202310533394.6A 2023-05-09 2023-05-09 图像隐私保护的处理方法及系统 Pending CN116502268A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310533394.6A CN116502268A (zh) 2023-05-09 2023-05-09 图像隐私保护的处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310533394.6A CN116502268A (zh) 2023-05-09 2023-05-09 图像隐私保护的处理方法及系统

Publications (1)

Publication Number Publication Date
CN116502268A true CN116502268A (zh) 2023-07-28

Family

ID=87324634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310533394.6A Pending CN116502268A (zh) 2023-05-09 2023-05-09 图像隐私保护的处理方法及系统

Country Status (1)

Country Link
CN (1) CN116502268A (zh)

Similar Documents

Publication Publication Date Title
Chan et al. Face liveness detection using a flash against 2D spoofing attack
CN108197586B (zh) 脸部识别方法和装置
KR20190072563A (ko) 얼굴 라이브니스 검출 방법 및 장치, 그리고 전자 디바이스
US20150302252A1 (en) Authentication method using multi-factor eye gaze
CN113614731A (zh) 使用软生物特征的认证验证
CN109416734B (zh) 用于虹膜图像编码的自适应量化方法
WO2020065851A1 (ja) 虹彩認証装置、虹彩認証方法および記憶媒体
CN111160251B (zh) 一种活体识别方法及装置
CN117576763A (zh) 云环境下基于声纹信息和人脸信息的身份识别方法及系统
WO2024169261A1 (zh) 图像处理方法、装置、电子设备、计算机可读存储介质以及计算机程序产品
CN112183167A (zh) 考勤方法、认证方法、活体检测方法、装置及设备
CN113705366A (zh) 人员管理系统身份识别方法、装置及终端设备
CN111931148A (zh) 图像处理方法、装置和电子设备
CN115953849A (zh) 活体检测模型的训练方法、活体检测方法及系统
CN116502268A (zh) 图像隐私保护的处理方法及系统
CN112769872B (zh) 一种基于音频及视频特征融合的会议系统接入方法及系统
CN110956098B (zh) 图像处理方法及相关设备
Ashiba Proposed framework for cancelable face recognition system.
Ashiba et al. RETRACTED ARTICLE: Suggested wavelet transform for cancelable face recognition system
CN116597500B (zh) 虹膜识别方法、装置、设备及存储介质
CN116611106A (zh) 图像隐私保护的处理方法及系统
CN117079336B (zh) 样本分类模型的训练方法、装置、设备及存储介质
CN114463859B (zh) 活体检测的对抗样本生成方法、装置、电子设备及存储介质
JP7302680B2 (ja) 情報処理装置、方法およびプログラム
CN116451195A (zh) 一种活体识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination