CN116580208A - 图像处理方法、图像模型训练方法、装置、介质及设备 - Google Patents

图像处理方法、图像模型训练方法、装置、介质及设备 Download PDF

Info

Publication number
CN116580208A
CN116580208A CN202310521709.5A CN202310521709A CN116580208A CN 116580208 A CN116580208 A CN 116580208A CN 202310521709 A CN202310521709 A CN 202310521709A CN 116580208 A CN116580208 A CN 116580208A
Authority
CN
China
Prior art keywords
image
user
desensitization
model
users
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310521709.5A
Other languages
English (en)
Inventor
曹佳炯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202310521709.5A priority Critical patent/CN116580208A/zh
Publication of CN116580208A publication Critical patent/CN116580208A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本说明书实施例公开了一种图像处理方法、图像模型训练方法、装置、存储介质及设备。该方法包括：获取多个用户中各个用户的生物识别图像，提取生物识别图像的图像特征；对各个用户的生物识别图像的图像特征进行特征融合处理，生成各个用户的生物识别图像对应的融合图像特征，融合图像特征包含多个用户的生物识别图像的图像特征之间的关联特征；基于融合图像特征，生成各个用户的生物识别图像对应的脱敏图像。

Description

图像处理方法、图像模型训练方法、装置、介质及设备
技术领域
本说明书涉及机器学习技术领域，尤其涉及一种图像处理方法、图像模型训练方法、装置、存储介质及设备。
背景技术
生物识别技术在近年来已经在诸多场景得到了应用，例如刷脸支付、指纹考勤、虹膜保险箱等场景。如何保护用户的生物识别图像的图像隐私成为了关注的焦点。
在相关技术方案中，基于数据加密技术对用户的生物识别图像的图像隐私进行保护，例如，在图像传输或存储阶段对用户的生物识别图像进行数据加密，在计算阶段对经加密的生物识别图像进行解密。然而，这种技术方案的安全性较低，容易被攻击者破解，在大部分场景下，难以保障用户的隐私信息安全。
因此，如何提升攻击者的攻击成本，提高生物识别图像的隐私保护的安全性，成为了亟待解决的技术难题。
发明内容
本说明书提供一种图像处理方法、图像模型训练方法、装置、存储介质及设备，能够提升攻击者的攻击成本，提高生物识别图像的隐私保护的安全性。
第一方面，本说明书实施例提供一种图像处理方法，包括：
获取多个用户中各个用户的生物识别图像，提取所述生物识别图像的图像特征；
对各个用户的所述生物识别图像的图像特征进行特征融合处理，生成各个用户的所述生物识别图像对应的融合图像特征，所述融合图像特征包含所述多个用户的生物识别图像的图像特征之间的关联特征；
基于各个用户的所述生物识别图像对应的所述融合图像特征，生成各个用户的所述生物识别图像对应的脱敏图像。
第二方面，本说明书实施例提供一种图像模型训练方法，其中，所述图像模型包括图像脱敏子模型，所述方法包括：
获取多个用户中各个用户的生物识别图像，提取各个用户的生物识别图像的图像特征；
对各个用户的生物识别图像的图像特征进行特征融合处理，生成各个用户的所述生物识别图像对应的融合图像特征，所述融合图像特征包含所述多个用户的生物识别图像的图像特征之间的关联特征，
将各个用户对应的所述融合图像特征输入到所述图像脱敏子模型，得到各个用户的生物识别图像对应的脱敏图像；
基于所述脱敏图像以及所述生物识别图像，确定所述图像模型的模型损失，所述模型损失包括脱敏损失；
基于所述模型损失对所述图像模型进行训练。
第三方面，本说明书实施例提供一种图像处理装置，包括：
特征提取模块，用于获取多个用户中各个用户的生物识别图像，提取所述生物识别图像的图像特征；
特征融合模块，用于对各个用户的所述生物识别图像的图像特征进行特征融合处理，生成各个用户的所述生物识别图像对应的融合图像特征，所述融合图像特征包含所述多个用户的生物识别图像的图像特征之间的关联特征；
脱敏处理模块，用于基于各个用户的所述生物识别图像对应的所述融合图像特征，生成各个用户的所述生物识别图像对应的脱敏图像。
第四方面，本说明书实施例提供一种图像模型训练装置，其中，所述图像模型包括图像脱敏子模型，所述装置包括：
特征提取模块，用于获取多个用户中各个用户的生物识别图像，提取各个用户的生物识别图像的图像特征；
特征融合模块，用于对各个用户的生物识别图像的图像特征进行特征融合处理，生成各个用户的所述生物识别图像对应的融合图像特征，所述融合图像特征包含所述多个用户的生物识别图像的图像特征之间的关联特征，
图像脱敏模块，用于将各个用户对应的所述融合图像特征输入到所述图像脱敏子模型，得到各个用户的生物识别图像对应的脱敏图像；
损失确定模块，用于基于所述脱敏图像以及所述生物识别图像，确定所述图像模型的模型损失，所述模型损失包括脱敏损失；
模型训练模块，用于基于所述模型损失对所述图像模型进行训练。
第五方面，本说明书实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法的步骤。
第六方面，本说明书实施例提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或处理器执行上述的方法的步骤。
第七方面，本说明书实施例提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法的步骤。
根据本说明书实施例的技术方案，利用多个用户的多张生物识别图像进行联合脱敏，使得脱敏阶段各个用户的生物识别图像互相关联和依赖，因此，在反脱敏阶段也需要使用这多个用户的脱敏图像来进行反脱敏，从而提升了攻击者的攻击成本(从单张图像样本获取变成多张图像样本获取，样本获取难度增加)，提高了生物识别图像的隐私保护的安全性。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本说明书实施例提供的一种图像处理方法的实施环境的示意图；
图2为根据本说明书实施例提供的一种图像处理方法的流程示意图；
图3为根据本说明书实施例提供的进行特征融合处理的流程示意图；
图4为根据本说明书实施例提供的一种图像模型训练方法的流程示意图；
图5为根据本说明书实施例提供的确定用户风险系数的流程示意图；
图6为根据本说明书实施例提供的另一种图像模型训练方法的流程示意图；
图7为根据本说明书实施例提供的图像处理装置的结构示意图；
图8为根据本说明书实施例提供的图像模型训练装置的结构示意图；
图9为根据本说明书实施例提供的一种电子设备的结构示意图。
具体实施方式
为使得本说明书的特征和优点能够更加的明显和易懂，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而非全部实施例。基于本说明书中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
生物识别图像：包括但不限于各类可以被用于身份认证的生物信息图像，例如人脸、指纹、虹膜等。
隐私风险评估：指对每个用户的生物识别图像泄漏的风险进行预测。
多用户联合脱敏：不同于相关技术方案中对于单个用户的单张图像进行脱敏，多用户联合脱敏方法联合考虑多个用户的多张图像，结合多张图像之间的关系进行联合脱敏。
在相关技术方案中，基于图像脱敏算法对生物识别图像进行隐私保护，例如，通过针对用户的生物识别图像训练脱敏模型和反脱敏模型，在图像传输或存储阶段通过脱敏模型对用户的生物识别图像进行加密脱敏保护隐私，而在运算阶段通过反脱敏模型进行反脱敏。然而，这种技术方案中，一旦攻击者获取了大量的原始数据和脱敏数据，就可以训练得到反脱敏模型，从而进行大规模的用户隐私盗取。
基于上述内容，本说明书实施例提供了一种图像处理方法以及图像模型训练方法，根据本说明书实施例的技术方案，利用多个用户的多张生物识别图像进行联合脱敏，使得脱敏阶段各个用户的生物识别图像互相关联和依赖，因此，在反脱敏阶段也需要使用这些用户的脱敏图像来进行反脱敏，从而提升了攻击者的攻击成本(从单张图像样本获取变成多张图像样本获取，样本获取难度增加)，提高了生物识别图像的隐私保护的安全性。
下面，将结合附图对本说明书实施例的技术方案进行详细的说明。
图1为本说明书实施例提供的一种图像处理方法的实施环境的示意图。
参见图1，该实施环境可以包括终端110和服务器140。
终端110通过无线网络或有线网络与服务器140相连。可选的，终端110是智能手机、平板电脑、笔记本电脑、台式计算机、智能手表等，但并不局限于此。终端110安装和运行有支持图像处理方法的应用程序。
服务器140是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、分发网络(Content Delivery Network，CDN)，以及大数据和人工智能平台等基础云计算服务的云服务器等。服务器140为终端110上运行的应用程序提供后台服务。
本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端仅为一个，或者上述终端为几十个或几百个，或者更多数量，此时上述实施环境中还包括其他终端。本说明书实施例对终端的数量和设备类型不加以限定。
在介绍完本说明书实施例的实施环境之后，下面将结合上述实施环境对本说明书实施例的应用场景进行介绍，在下述说明过程中，终端也即是上述实施环境中的终端110，服务器也即是上述实施环境中的服务器140。本说明书实施例提供的技术方案能够应用在图像脱敏处理中，例如，人脸识别图像脱敏、指纹识别图像脱敏以及虹膜识别图像脱敏等场景。
以本说明书实施例提供的技术方案应用在人脸识别的场景中为例，在获得用户授权的情况下，获取预定时间段的多个用户中各个用户的人脸识别图像，提取各个用户的人脸识别图像的图像特征；对各个用户的人脸识别图像的图像特征进行特征融合处理，生成各个用户的人脸识别图像对应的融合图像特征，融合图像特征包含多个用户的人脸识别图像的图像特征之间的关联特征；基于各个用户的人脸识别图像对应的融合图像特征，生成各个用户的人脸识别图像对应的脱敏图像。
需要说明的是，上述是以本说明书实施例提供的技术方案应用在人脸识别的场景中为例进行说明的，在本说明书实施例提供的技术方案还可以应用在其他适当的图像脱敏处理的场景下，实现过程与上述描述属于同一发明构思，在此不再赘述。
需要说明的是，本说明书的示例实施例中的图像处理方法中的步骤可以部分由客户端执行，部分由服务器执行，也可以全部由服务器或者全部由客户端执行，本说明书对此不进行特殊限定。
基于图1所示的实施环境，下面将结合图2-图4，对本说明书实施例提供的图像处理方法进行详细介绍。需要注意的是，上述实施环境仅是为了便于理解本说明书的精神和原理而示出，本说明书的实施例在此方面不受任何限制。相反，本说明书的实施例可以应用于适用的任何场景。
图2为本说明书实施例提供的一种图像处理方法的流程示意图。该图像处理方法可以通过具有计算能力的设备执行，例如终端设备或服务器。如图2所示，本说明书实施例的图像处理方法可以包括以下步骤S210至步骤S230。
在步骤S210中，获取多个用户中各个用户的生物识别图像，提取生物识别图像的图像特征。
在示例实施例中，生物识别图像可以为人脸识别图像或指纹识别图像等生物识别图像。在获得用户授权的情况下，获取预定时间段的多个用户中各个用户的生物识别图像，提取获取的各个用户的生物识别图像的图像特征。以人脸识别场景为例，在5分钟内有10个经授权用户进行了人脸识别，获取5分钟内的10个经授权用户的人脸识别图像，提取获取的各个用户的人脸识别图像的图像特征。
需要说明的是，虽然以人脸识别图像或指纹识别图像进行了说明，但是本领域技术人员应该理解的是，生物识别图像还可以为其他适当的图像例如虹膜识别图像或视网膜识别图像等，这同样在本说明书实施例的范围内。
进一步地，在示例实施例中，通过特征提取模型来提取生物识别图像的图像特征。特征提取模型可以为卷积神经网络模型，也可以为其他适当的特征提取模型例如SIFT(Scale Invariant Feature Transform，尺度不变特征转换)特征提取模型或HOG(Histogram of Oriented Gradients，梯度方向直方图)特征提取模型等，这同样在本说明书实施例的范围内。
在步骤S220中，对各个用户的生物识别图像的图像特征进行特征融合处理，生成各个用户的生物识别图像对应的融合图像特征，融合图像特征包含多个用户的生物识别图像的图像特征之间的关联特征。
在示例实施例中，特征融合处理是指对不同用户的生物识别图像的图像特征之间进行融合处理，特征融合处理可以包括加权融合处理、特征相加处理、特征相乘处理中的一种或多种方式。对上述多个用户中不同用户的生物识别图像的图像特征之间进行特征融合处理，生成各个用户的生物识别图像对应的融合图像特征，融合图像特征包含多个用户的生物识别图像的图像特征之间的关联特征。
举例而言，可以通过将多个用户中每个用户的生物识别图像的图像特征与其他用户的生物识别图像的图像特征进行加权融合处理，生成每个用户的生物识别图像对应的融合图像特征，每个用户的生物识别图像对应的融合图像特征包含该用户与其他用户的生物识别图像的图像特征之间的关联特征。
设存在A、B、C三个用户，对A、B、C三个用户的生物识别图像的图像特征进行特征融合处理，生成A、B、C三个用户的生物识别图像对应的融合图像特征，其中，A用户的生物识别图像的融合图像特征包括A用户的图像特征、A用户与B用户的图像特征之间的关联特征、A用户与C用户的图像特征之间的关联特征。
需要说明的是，虽然以上述特征融合处理方式为例进行了说明，但是本领域技术人员应该理解的是，特征融合处理还可以为其他适当的融合处理例如特征拼接处理等，这同样在本说明书实施例的范围内。
进一步地，在一些示例实施例中，通过特征融合处理模型对各个用户的生物识别图像的图像特征进行特征融合处理。举例而言，确定各个用户的生物识别图像的图像特征的特征权重，通过卷积神经网络对各个用户的生物识别图像的图像特征进行加权融合处理，生成各个用户的生物识别图像对应的融合图像特征，特征权重可以根据用户的生物识别图像的隐私泄露风险来确定，生物识别图像的隐私泄露风险越高，则特征权重越大。
需要说明的是，虽然以特征融合模型为卷积神经网络为例进行了说明，但是本领域技术人员应该理解的是，特征融合处理模型还可以为其他适当的模型例如Transformer变换器模型等，本说明书实施例对此不进行特殊限定。
在步骤S230中，基于各个用户的生物识别图像对应的融合图像特征，生成各个用户的生物识别图像对应的脱敏图像。
在示例实施例中，图像脱敏是指对图像中的敏感部分例如人脸部分进行加密、转换或者修改的一种技术手段。对各个用户的生物识别图像对应的融合图像特征进行图像脱敏处理，生成各个用户的生物识别图像对应的脱敏图像。
举例而言，将各个用户的生物识别图像对应的融合图像特征输入到图像脱敏模型；通过图像脱敏模型，生成各个用户的生物识别图像对应的脱敏图像，图像脱敏模型可以为神经网络模型例如卷积神经网络模型。
需要说明的是，虽然以图像脱敏模型为卷积神经网络为例进行了说明，但是本领域技术人员应该理解的是，图像脱敏模型还可以为其他适当的机器学习模型例如Transformer模型等，本说明书实施例对此不进行特殊限定。
根据图2的示例实施例中的技术方案，利用多个用户的多张生物识别图像进行联合脱敏，使得脱敏阶段各个用户的生物识别图像互相关联和依赖，因此，在反脱敏阶段也需要使用这些用户的脱敏图像来进行反脱敏，从而提升了攻击者的攻击成本(从单张图像样本获取变成多张图像样本获取，样本获取难度增加)，提高了生物识别图像的隐私保护的安全性。
此外，在一些示例实施例中，该图像处理方法还包括：获取目标用户的目标脱敏图像对应的多个关联脱敏图像；基于多个关联脱敏图像，通过反脱敏模型对目标脱敏图像进行反脱敏处理，得到与目标脱敏图像对应的生物识别图像。反脱敏模型可以为神经网络模型例如卷积神经网络模型。举例而言，设目标用户的目标脱敏图像对应10个用户的关联脱敏图像，获取目标脱敏图像对应的10个用户的10个关联脱敏图像，基于10个关联脱敏图像，通过反脱敏模型对目标脱敏图像进行反脱敏处理，得到与目标脱敏图像对应的目标用户的生物识别图像。
需要说明的是，虽然以反脱敏模型为卷积神经网络为例进行了说明，但是本领域技术人员应该理解的是，反脱敏模型还可以为其他适当的机器学习模型例如Transformer模型等，本说明书实施例对此不进行特殊限定。
根据上述示例实施例中的技术方案，由于在脱敏阶段利用多个用户的多张例如N张生物识别图像进行联合脱敏，使得脱敏阶段各个用户的生物识别图像互相关联和依赖，因此，在反脱敏阶段，需要找到每个脱敏图像对应的N张关联的脱敏图像，进行对应的反脱敏处理，增加了攻击者的攻击成本(不仅仅需要获取单个脱敏样本，还需要获取对应的关联脱敏样本)，提高了生物识别图像的隐私保护的安全性。
图3为根据本说明书实施例提供的进行特征融合处理的流程示意图。
参照图3所示，在步骤S310中，确定各个用户对应的用户风险系数，用户风险系数表示各个用户的生物识别图像的图像特征的特征权重。
在示例实施例中，用户风险系数表示用户的生物识别图像的隐私泄露风险的大小，进而可以表示各个用户的生物识别图像的图像特征的特征权重。例如，若用户风险系数较大，则表示该用户的生物识别图像的隐私泄露风险较大，需要对该用户的生物识别图像的图像特征进行较大程度的融合处理，因此，该用户的生物识别图像的图像特征的特征权重较大；若用户风险系数较小，则表示该用户的生物识别图像的隐私泄露风险较小，仅需要对该用户的生物识别图像的图像特征进行较小程度的融合处理，因此，该用户的生物识别图像的图像特征的特征权重较小。
进一步地，确定预定周期的各个用户的生物识别特征，生物识别特征包括生物识别频次特征以及各个生物识别场景的场景频次特征；基于生物识别特征，确定各个用户对应的用户风险系数。
举例而言，设生物识别场景包括高危场景、中危场景以及低危场景，若预定周期的该用户的生物识别频次为c1，高危场景、中危场景和低危场景的生物识别频次为c2、c3和c4；则对该用户的生物识别频次以及各个生物识别场景的生物识别频次进行加权运算，得到该用户对应的用户风险系数。
在步骤S320中，基于各个用户对应的用户风险系数，对各个用户对应的生物识别图像的图像特征进行加权融合处理。
在示例实施例中，以各个用户对应的用户风险系数作为权重，对各个用户对应的生物识别图像的图像特征进行加权融合处理，生成各个用户的生物识别图像对应的融合图像特征，例如，通过神经网络模型的全连接层对各个用户的生物识别图像的图像特征进行加权融合处理，生成各个用户的生物识别图像对应的融合图像特征。
举例而言，以各个用户对应的用户风险系数作为权重，将多个用户中每个用户的生物识别图像的图像特征与其他用户的生物识别图像的图像特征进行加权融合处理，生成每个用户的生物识别图像对应的融合图像特征，每个用户的生物识别图像对应的融合图像特征包含该用户与其他用户的生物识别图像的图像特征之间的关联特征。
根据图3的示例实施例中的技术方案，一方面，考虑到多张图像往往来自多个用户，而多个用户的隐私泄漏风险又是不一致的(一般生物识别越频繁，生物识别所处的场景越开放，隐私泄漏风险越高)，因此，需要感知不同用户的隐私泄漏风险即用户风险系数，给后续自适应的多图像脱敏提供先验知识；另一方面，根据用户风险系数对各个用户对应的生物识别图像的图像特征进行加权融合处理，能够对用户风险系数较大的生物识别图像的图像特征进行特征增强，对用户风险系数较小的生物识别图像的图像特征进行特征减弱，从而能够对隐私泄露风险较大的用户的生物识别图像进行更深度的融合处理；再一方面，由于能够对隐私泄露风险较大的用户的生物识别图像进行更深度的融合处理，从而能够进一步提高生物识别图像的隐私保护的安全性。
此外，由于隐私泄露的用户风险系数会随着时间发生变化，在一些示例实施例中，周期性地获取各个用户的生物识别特征；确定用户的当前周期的生物识别特征与上一周期的生物识别特征之间的特征相似度；若特征相似度小于预定阈值，则基于当前周期的生物识别特征，调整用户对应的用户风险系数。
根据上述示例实施例中的技术方案，一方面，在当前周期的生物识别特征与上一周期的生物识别特征之间的特征相似度小于预定阈值时，基于当前周期的生物识别特征，调整用户对应的用户风险系数，能够在用户风险系数发生较明显变化时，及时地更新用户风险系数；另一方面，根据更新后的用户风险系数对用户的生物识别图像的图像特征进行加权融合处理，从而能够进一步提高生物识别图像的隐私保护的安全性。
图4为根据本说明书实施例提供的图像模型训练方法的流程示意图。该图像模型训练方法可以通过具有计算能力的设备执行，例如服务器或终端设备。如图4所示，本说明书实施例的图像模型训练方法可以包括以下步骤S410至步骤S450。
参照图4所示，在步骤S410中，获取多个用户中各个用户的生物识别图像，提取各个用户的生物识别图像的图像特征。
在示例实施例中，生物识别图像可以为人脸识别图像或指纹识别图像等图像，在获得用户授权的情况下，获取预定时间段的多个用户中各个用户的生物识别图像。通过特征提取模型来提取生物识别图像的图像特征。特征提取模型可以为卷积神经网络模型，也可以为其他适当的特征提取模型例如SIFT(Scale Invariant Feature Transform，尺度不变特征转换)特征提取模型或HOG(Histogram of Oriented Gradients，梯度方向直方图)特征提取模型等，这同样在本说明书实施例的范围内。
在步骤S420中，对各个用户的生物识别图像的图像特征进行特征融合处理，生成各个用户的生物识别图像对应的融合图像特征，融合图像特征包含多个用户的生物识别图像的图像特征之间的关联特征。
在示例实施例中，特征融合处理是指对不同用户的生物识别图像的图像特征之间进行融合处理，特征融合处理可以包括加权融合处理、特征相加处理、特征相乘处理中的一种或多种方式。举例而言，图像模型包括特征融合子模型，通过特征融合子模型对各个用户的生物识别图像的图像特征进行特征融合处理。例如，通过卷积神经网络对各个用户的生物识别图像的图像特征进行加权融合处理，生成各个用户的生物识别图像对应的融合图像特征。
需要说明的是，虽然以特征融合子模型为卷积神经网络为例进行了说明，但是本领域技术人员应该理解的是，特征融合子模型还可以为其他适当的模型例如Transformer变换器模型等，本说明书实施例对此不进行特殊限定。
在步骤S430中，将各个用户对应的融合图像特征输入到图像模型的图像脱敏子模型，得到各个用户的生物识别图像对应的脱敏图像。
在示例实施例中，图像模型包括图像脱敏子模型，图像脱敏子模型可以为神经网络模型例如卷积神经网络模型，图像脱敏子模型的输入是特征融合处理后的多个融合图像特征，输出是多张对应的脱敏图像。举例而言，设图像脱敏子模型为卷积神经网络模型，将各个用户对应的融合图像特征输入到图像模型的图像脱敏子模型，得到各个用户的生物识别图像对应的脱敏图像。
需要说明的是，虽然以图像脱敏模型为卷积神经网络为例进行了说明，但是本领域技术人员应该理解的是，图像脱敏模型还可以为其他适当的机器学习模型例如Transformer模型等，本说明书实施例对此不进行特殊限定。
在步骤S440中，基于脱敏图像以及生物识别图像，确定图像模型的模型损失，模型损失包括脱敏损失。
在示例实施例中，脱敏损失用于使用户的脱敏图像与原始的生物识别图像不一致，通过用户的脱敏图像与原始的生物识别图像之间的差异确定脱敏损失。举例而言，确定用户对应的脱敏图像的图像特征以及生物识别图像的图像特征之间的特征差异，基于该特征差异确定图像模型的脱敏损失。
在步骤S450中，基于模型损失对图像模型进行训练。
在示例实施例中，模型损失包括脱敏损失，基于模型损失通过梯度下降的方式对图像模型进行训练，调整图像模型的模型参数。
举例而言，通过ADAM(Adaptive Moment Estimation，自适应距估计)优化器对图像模型进行优化训练，直至图像模型收敛。ADAM优化器对梯度的一阶矩估计(First MomentEstimation，即梯度的均值)和二阶矩估计(Second Moment Estimation，即梯度的未中心化的方差)进行综合考虑，计算出模型训练的更新步长，基于更新步长对图像模型进行训练。通过ADAM优化器对图像模型进行训练，能够从梯度均值及梯度平方两个角度进行自适应地调节，而不是直接由当前梯度决定，从而能够提高模型训练效率。
根据图4的示例实施例中的技术方案，利用多个用户的多张生物识别图像进行联合脱敏，使得脱敏阶段各个用户的生物识别图像互相关联和依赖，因此，在反脱敏阶段也必须使用这些用户的脱敏图像来进行反脱敏，从而提升了攻击者的攻击成本(从单张图像样本获取变成多张图像样本获取，样本获取难度增加)，提高了生物识别图像的隐私保护的安全性。
进一步地，在示例实施例中，所述模型损失还包括脱敏损失排序损失，脱敏损失排序损失用于使得脱敏损失的大小的正排序与用户风险系数的大小的倒排序一致，基于模型损失对图像模型进行训练，包括：基于用户风险系数的大小确定多个用户的用户风险系数的风险系数排序；根据脱敏损失的大小确定脱敏损失的脱敏损失排序，基于脱敏损失排序以及风险系数排序确定脱敏损失排序损失；基于脱敏损失和脱敏损失排序损失对图像模型进行训练。
举例而言，设存在A、B、C三个用户，设用户风险系数的大小排序为A用户>B用户>C用户，则对应的脱敏损失的大小排序为A用户<B用户<C用户，根据A、B、C三个用户的脱敏损失的大小以及用户风险系数的大小，确定这三个用户对应的脱敏损失排序损失，例如，A用户的脱敏损失大于B用户的脱敏损失，则脱敏排序损失较大，基于脱敏损失和脱敏损失排序损失对图像模型进行训练。
根据上述示例实施例中的技术方案，通过设置脱敏排序损失，能够使得脱敏损失的大小的正排序与用户风险系数的大小的倒排序一致，也就是说，使得用户风险系数较大的用户对应的生物识别图像的脱敏损失较小，从而使得用户风险系数较大的用户对应的生物识别图像的脱敏效果更好。
此外，在示例实施例中，图像模型还包括图像反脱敏子模型，图像模型的模型损失包括反脱敏损失，该图像模型训练方法包括：将多个用户的脱敏图像输入到图像反脱敏子模型，得到各个用户对应的反脱敏图像；基于用户的反脱敏图像与生物识别图像的差异，确定反脱敏损失；基于脱敏损失和反脱敏损失对图像模型进行训练。
根据上述示例实施例中的技术方案，由于在脱敏阶段利用多个用户的多张生物识别图像进行联合脱敏，使得脱敏阶段各个用户的生物识别图像互相关联和依赖，因此，在反脱敏阶段，需要找到每个脱敏图像对应的N张关联的脱敏图像，进行对应的反脱敏处理，增加了攻击者的攻击成本(不仅仅需要获取单个脱敏样本，还需要获取对应的关联脱敏样本)，提高了生物识别图像的隐私保护的安全性。
进一步地，在进行反脱敏处理时，若将多张脱敏图像中替换其中一部分图像，反脱敏效果显著变差，提升攻击者攻击成本。因此，在示例实施例中，模型损失还包括多图依赖损失，多图依赖损失用于表示若替换或缺少多个用户的脱敏图像中的至少一张图像时的模型损失，例如，替换或缺少的图像越多，则多图依赖损失越大，上述基于模型损失对图像模型进行训练，包括：在替换或缺少多个用户的脱敏图像中的至少一张图像的情况下，确定对应的多图依赖损失，基于脱敏损失、反脱敏损失以及多图依赖损失对图像模型进行训练。举例而言，设存在10个用户，替换或缺少至少一个用户的脱敏图像，根据替换或缺少的脱敏图像数量确定多图依赖损失，基于脱敏损失、反脱敏损失以及多图依赖损失对图像模型进行训练。
根据上述示例实施例中的技术方案，通过设置多图依赖损失，使得在反脱敏处理时若缺少或替换多张图像中的一部分图像，反脱敏效果会显著变差，从而能够进一步提升攻击者的攻击成本。
进一步地，考虑到多张生物识别图像往往来自多个用户，而多个用户的隐私泄漏风险又是不一致的(一般生物识别越频繁，生物识别所处的场景越开放，隐私泄漏风险越高)，需要感知不同用户的隐私泄漏风险即用户风险系数，给后续自适应的多图像脱敏提供先验知识。图5为根据本说明书实施例提供的确定用户风险系数的流程示意图。
参照图5所示，在步骤S510中，确定预定时间段的多个用户中各个用户的生物识别特征。
在示例实施例中，生物识别特征包括生物识别频次特征以及各个生物识别场景的场景频次特征。例如，生物识别特征包括用户在当前时间段例如一周的生物识别图像、生物识别次数以及各个生物识别场景的场景次数，生物识别场景包括高危场景、中危场景以及低危场景。
在步骤S520中，基于生物识别特征，通过风险系数确定子模型确定各个用户对应的用户风险系数。
在示例实施例中，用户风险系数表示各个用户的生物识别图像的图像特征的特征权重。图像模型还包括风险系数确定子模型，风险系数确定子模型包括特征编码器以及生物识别特征预测模块。举例而言，特征编码器的输入是用户在当前时间段例如一周的生物识别图像、生物识别次数以及各个生物识别场景的场景次数，特征编码器的输出是生物识别特征；生物识别特征预测模型的输入是当前时间段的用户的生物识别特征，输出是下一时间段的用户风险系数。
进一步地，确定生物识别特征预测模型的损失函数，损失函数包括生物识别次数预测损失和生物识别场景的次数预测损失，基于该损失函数通过ADAM优化器对风险系数确定子模型进行优化训练，直至风险系数子确定子模型收敛。
根据上述示例实施例中的技术方案，基于生物识别特征，通过风险系数确定子模型确定各个用户对应的用户风险系数，能够结合生物识别次数以及生物识别场景的次数对用户的生物识别图像的隐私泄露风险进行预测，从而能够准确地预测用户的生物识别图像的隐私泄露风险。
此外，在示例实施例中，将各个用户对应的生物识别图像的图像特征以及用户风险系数输入到上述特征融合子模型，基于各个用户对应的用户风险系数，通过特征融合子模型对各个用户的生物识别图像的图像特征进行加权融合处理。
根据上述示例实施例中的技术方案，一方面，根据用户风险系数对各个用户对应的生物识别图像的图像特征进行加权融合处理，能够对用户风险系数较大的生物识别图像的图像特征进行特征增强，对用户风险系数较小的生物识别图像的图像特征进行特征减弱，从而能够对隐私泄露风险较大的用户的生物识别图像进行更深度的融合处理；另一方面，由于能够对隐私泄露风险较大的用户的生物识别图像进行更深度的融合处理，从而能够进一步提高生物识别图像的隐私保护的安全性。
进一步地，在示例实施例中，图像模型还包括风险系数调整子模型，该图像模型训练方法还包括：确定用户的当前周期的第一生物识别特征与上一周期的第二生物识别特征；将第一生物识别特征以及第二生物识别特征输入到风险系数调整子模型，得到第一生物识别特征与第二生物识别特征之间的特征相似度；若特征相似度小于预定阈值，则基于当前周期的生物识别特征，调整用户对应的用户风险系数。
根据上述示例实施例中的技术方案，在当前周期的生物识别特征与上一周期的生物识别特征之间的特征相似度小于预定阈值时，基于当前周期的生物识别特征，调整用户对应的用户风险系数，能够在用户风险系数发生较明显变化时，及时地更新用户风险系数，根据更新后的用户风险系数对用户的生物识别图像的图像特征进行加权融合处理，从而能够进一步提高生物识别图像的隐私保护的安全性。
图6为根据本说明书实施例提供的另一种图像模型训练方法的流程示意图。
为了能够提升攻击者的攻击成本，从而抬升隐私保护的安全水位，本说明书实施例提出了基于多用户联合感知脱敏的生物识别图像隐私保护方法。该方法的核心思想是，利用多个用户的多张生物识别图像进行联合脱敏，使得脱敏阶段各个用户的生物识别图像互相关联和依赖。同样地，在反脱敏阶段也需要使用这些用户的脱敏图像来进行反脱敏，从而提升了攻击者的成本(从单张图像样本获取变成多张图像样本获取，攻击难度增加)。下面，结合图6对该生物识别图像隐私保护方法进行详细的说明。
参照图6所示，在步骤S610中，根据用户的历史生物识别行为预测用户的生物识别图像的隐私泄漏的用户风险系数。
在示例实施例中，采用多张生物识别图像同时脱敏的方法，来提升攻击者的成本；考虑到多张生物识别图像往往来自多个用户，而多个用户的隐私泄漏风险又是不一致的(一般生物识别越频繁，生物识别所处的场景越开放，隐私泄漏风险越高)，需要感知不同用户的隐私泄漏风险即用户风险系数，给后续自适应的多图像脱敏提供先验知识。
进一步地，基于生物识别频率和生物识别场景的用户隐私风险感知模型即风险系数确定子模型的训练包括以下几个部分：
(1)模型结构：模型结构包括三个部分，第一个部分是基础特征编码器，第二个部分是生物识别频次预测模块，第三个部分是生物识别场景统计模块；
(2)输入输出：基础特征编码器的输入是用户当前周期例如当前一周的生物识别的图像和当前周期的生物识别次数以及生物识别各种场景的次数(划分为高危场景、中危场景和低危场景)，输出是生物识别特征，生物识别特征包括生物识别频次特征以及各个生物识别场景的场景频次特征；生物识别频次预测模块的输入是当前周期的生物识别频次特征，输出是下一周期的生物识别频次例如下一周的生物识别次数；生物识别场景统计模块的输入是当前周期的场景频次特征，输出是下一周期的场景频次特征例如下一周的生物识别各种场景的次数；
(3)损失函数：损失函数包括两个部分，第一个部分是生物识别次数预测损失，第二个部分是生物识别各种场景的次数预测损失；
(4)训练方法：基于上述的模型结构和损失函数，利用ADAM优化器对模型进行优化训练，直至模型收敛；
(5)用户风险系数计算：将用户当前周期例如当前一周的数据输入到上述训练得到的用户隐私风险感知模型中，得到下一周期例如下一周的生物识别次数c1，高危场景、中危场景和低危场景的生物识别次数c2、c3和c4；通过下式(1)确定用户风险系数s。
用户风险系数s＝5*c4+2*c3+0.5c2+0.1*c1(1)
其中，系数5、2、0.5、0.1为各个生物识别次数的权重，可以根据经验值确定。
在步骤S620中，训练多图像联合脱敏/反脱敏模型；
在示例实施例中，基于上一步产出的用户风险系数在进行多用户多图像联合脱敏/反脱敏模型训练，多用户多图像联合脱敏/反脱敏模型用于后续的部署。自适应的多用户多图像联合脱敏/反脱敏模型的训练包括以下几个部分：
(1)模型结构：模型结构包括四个模块，第一个模块是多图像特征提取模块，第二个部分是特征自适应融合模块，第三个部分是图像脱敏模块，第四个部分是图像反脱敏模型。
(2)输入输出：多图像特征提取模块的输入是多用户的多张生物识别图像(例如N张图像)，输出是对应的多张生物识别图像的图像特征；特征自适应融合模块的输入是多张生物识别图像的图像特征以及对应的用户风险系数，输出是调制后的多个融合图像特征，融合图像特征包含多个用户的生物识别图像的图像特征之间的关联特征或依赖特征；图像脱敏模块的输入是调制后的多个融合图像特征，输出是多张对应的脱敏图像；图像反脱敏模型的输入是多张脱敏图像，输出是对应的反脱敏图像。
(3)损失函数：损失函数包括四个部分，第一个部分是脱敏损失，脱敏损失用于使得脱敏后图像与原始图像尽量不一致；第二个部分是重建损失，重建损失即反脱敏损失，用于使得反脱敏后图像与原始图像尽量一致；第三个部分是脱敏损失排序损失，脱敏损失排序损失用于使得脱敏损失的大小的正排序和用户风险系数大小的倒排序尽量一致，也就是说，使得用户风险系数较大的用户对应的生物识别图像的脱敏损失较小，从而使得用户风险系数较大的用户对应的生物识别图像的脱敏效果更好；第四个部分是多图依赖损失，多图依赖损失用于使得在多张脱敏图像中替换其中一部分的情况下，反脱敏效果显著变差，提升攻击者攻击成本。
(4)训练方法：基于上述的模型结构和损失函数，利用ADAM优化器对模型进行优化训练，直至模型收敛。
在步骤S630中，周期性调整用户风险系数。
在示例实施例中，由于用户的生物识别行为会随时间发生变化，其泄漏风险也要定期重新评估；在用户风险系数发生明显变化时，需要进行及时的用户风险系数更新。
进一步地，通过用户行为变化检测模型即风险系数调整子模型判断是否需要进行风险系数更新，用户行为变化检测模型训练包括以下几个部分：
(1)模型结构：模型结构为3层MLP；
(2)输入输出：模型输入为当前周期和上一周期的生物识别特征，例如用于计算用户风险系数的用户的生物识别次数、地点以及场景等级等，输出为当前周期的生物识别特征与上一周期的生物识别特之间的相似度；
(3)损失函数：损失函数为相似度损失；
(4)训练方法：基于上述的模型结构和损失函数，利用ADAM优化器对模型进行优化训练，直至模型收敛；
(5)对于上述多个用户进行每天的用户行为变化检测，对于判断为行为变化明显的用户例如相似度小于预定阈值的用户，利用上述风险系数确定子模型进行风险系数的计算和更新。
在步骤S640中，利用上述步骤中训练得到的模型和方法进行模型部署与应用。
在示例实施例中，将训练得到的模型部署到云端服务器；在生物识别图像脱敏时，随机选取N张生物识别图像(来自N个用户)，将生物识别图像和对应的用户风险系数输入到图像脱敏模型中，得到脱敏图像，进行存储。
在反脱敏时，需要找到每张脱敏图像对应的N张脱敏图像，进行对应的反脱敏，增加了攻击者的攻击成本(不仅仅需要获取单个脱敏样本，还需要获取对应的关联脱敏样本)。
根据图6的示例实施例中的技术方案，利用多个用户的多张生物识别图像进行联合脱敏，使得脱敏阶段各个用户的生物识别图像互相关联和依赖，因此，在反脱敏阶段也需要使用这些用户的脱敏图像来进行反脱敏，从而提升了攻击者的攻击成本(从单张图像样本获取变成多张图像样本获取，样本获取难度增加)，提高了生物识别图像的隐私保护的安全性。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。”
下面，将结合图7以及图1所示系统架构，对本说明书实施例提供的图像处理装置进行详细介绍。需要说明的是，图7中的图像处理装置，用于执行本说明书图2-图6所示实施例的方法，为了便于说明，仅示出了与本说明书实施例相关的部分，具体技术细节未揭示的，请参照本说明书图2-图6所示的实施例。
请参见图7，为本说明书实施例提供了一种图像处理装置的结构示意图。如图7所示，本说明书实施例的图像处理装置700可以包括：特征提取模块710、特征融合模块720以及脱敏处理模块730。其中：
特征提取模块710，用于获取多个用户中各个用户的生物识别图像，提取所述生物识别图像的图像特征；
特征融合模块720，用于对各个用户的所述生物识别图像的图像特征进行特征融合处理，生成各个用户的所述生物识别图像对应的融合图像特征，所述融合图像特征包含所述多个用户的生物识别图像的图像特征之间的关联特征；
脱敏处理模块730，用于基于各个用户的所述生物识别图像对应的所述融合图像特征，生成各个用户的所述生物识别图像对应的脱敏图像。
在一些示例实施例中，基于上述方案，所述特征融合模块720，包括：
加权处理单元，用于对所述多个用户中各个用户的所述生物识别图像的图像特征进行加权融合处理；
融合特征生成单元，用于基于加权融合处理的结果，生成各个用户的所述生物识别图像对应的融合图像特征。
在一些示例实施例中，基于上述方案，所述加权处理单元包括：：
风险系数确定单元，用于确定各个用户对应的用户风险系数，所述用户风险系数表示各个用户的所述生物识别图像的图像特征的特征权重；
加权融合单元，用于基于各个用户对应的所述用户风险系数，对各个用户对应的所述生物识别图像的图像特征进行加权融合处理。
在一些示例实施例中，基于上述方案，所述风险系数确定单元包括：
生物识别特征确定单元，用于确定预定时间段的所述多个用户中各个用户的生物识别特征，所述生物识别特征包括生物识别频次特征以及各个生物识别场景的场景频次特征；
风险系数确定单元，用于基于所述生物识别特征，确定各个用户对应的用户风险系数。
在一些示例实施例中，所述风险系数确定单元被配置为：
对所述多个用户中各个用户的所述生物识别频次特征与各个所述生物识别场景的场景频次特征进行加权运算；
基于加权运算的结果确定各个用户对应的用户风险系数。
在一些示例实施例中，基于上述方案，所述风险系数确定单元还被配置为：
周期性地获取所述多个用户中各个用户的生物识别特征；
确定所述用户的当前周期的生物识别特征与上一周期的生物识别特征之间的特征相似度；
若所述特征相似度小于预定阈值，则基于所述当前周期的生物识别特征，调整所述用户对应的用户风险系数。
在一些示例实施例中，基于上述方案，所述脱敏处理模块730还被配置为：
将各个用户的所述生物识别图像对应的所述融合图像特征输入到图像脱敏模型；
通过所述图像脱敏模型，生成各个用户的所述生物识别图像对应的脱敏图像。
在一些示例实施例中，所述装置700还包括：
关联图像获取模块，用于获取目标用户的所述目标脱敏图像对应的多个关联脱敏图像；
反脱敏处理模块，用于基于所述多个关联脱敏图像，通过反脱敏模型对所述目标脱敏图像进行反脱敏处理。
上述为本说明书实施例的一种图像处理装置的示意性方案。需要说明的是，该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思，图像处理装置的技术方案未详细描述的细节内容，均可以参见上述图像处理方法的技术方案的描述。
图8为根据本说明书实施例提供的图像模型训练装置的结构示意图。如图8所示，图像模型包括图像脱敏子模型，本说明书实施例的图像模型训练装置800可以包括：特征提取模块810、特征融合模块820、图像脱敏模块830、损失确定模块840以及模型训练模块850。其中：
特征提取模块810，用于获取多个用户中各个用户的生物识别图像，提取各个用户的生物识别图像的图像特征；
特征融合模块820，用于对各个用户的生物识别图像的图像特征进行特征融合处理，生成各个用户的所述生物识别图像对应的融合图像特征，所述融合图像特征包含所述多个用户的生物识别图像的图像特征之间的关联特征，
图像脱敏模块830，用于将各个用户对应的所述融合图像特征输入到所述图像脱敏子模型，得到各个用户的生物识别图像对应的脱敏图像；
损失确定模块840，用于基于所述脱敏图像以及所述生物识别图像，确定所述图像模型的模型损失，所述模型损失包括脱敏损失；
模型训练模块850，用于基于所述模型损失对所述图像模型进行训练。
在一些示例实施例中，基于上述方案，所述图像模型还包括特征融合子模型，所述特征融合模块，包括：
特征输入单元，用于将各个用户的生物识别图像的图像特征输入到所述特征融合子模型；
加权处理单元，用于通过所述特征融合子模型对各个用户的所述生物识别图像的图像特征进行加权融合处理。
在一些示例实施例中，基于上述方案，所述特征输入单元，包括：
风险系数确定单元，用于确定各个用户对应的用户风险系数，所述用户风险系数表示各个用户的所述生物识别图像的图像特征的特征权重；
融合输入单元，用于将各个用户对应的生物识别图像的图像特征以及用户风险系数输入到所述特征融合子模型，
所述加权处理单元，包括：
加权融合单元，用于基于各个用户对应的所述用户风险系数，通过所述特征融合子模型对各个用户的所述生物识别图像的图像特征进行加权融合处理。
在一些示例实施例中，基于上述方案，所述图像模型还包括风险系数确定子模型，所述风险系数确定单元包括：：
生物特征确定单元，被配置为确定预定时间段的所述多个用户中各个用户的生物识别特征，所述生物识别特征包括生物识别频次特征以及各个生物识别场景的场景频次特征；
系数确定单元，被配置为基于所述生物识别特征，通过所述风险系数确定子模型确定各个用户对应的用户风险系数。
在一些示例实施例中，基于上述方案，所述图像模型还包括风险系数调整子模型，所述装置800还包括：
生物特征确定模块，被配置为确定所述用户的当前周期的第一生物识别特征与上一周期的第二生物识别特征；
特征相似度确定模块，被配置为将所述第一生物识别特征以及所述第二生物识别特征输入到所述风险系数调整子模型，得到所述第一生物识别特征与所述第二生物识别特征之间的特征相似度；
系数调整模块，被配置为若所述特征相似度小于预定阈值，则基于所述当前周期的生物识别特征，调整所述用户对应的用户风险系数。
在一些示例实施例中，基于上述方案，所述模型损失还包括脱敏损失排序损失，所述脱敏损失排序损失用于使得所述脱敏损失的大小的正排序与所述用户风险系数的大小的倒排序一致，所述装置800包括：
系数排序确定模块，被配置为基于所述用户风险系数的大小确定所述多个用户的用户风险系数的风险系数排序；
损失排序确定模块，被配置为根据所述脱敏损失的大小确定所述脱敏损失的脱敏损失排序；
排序损失确定模块，被配置为基于所述脱敏损失排序以及所述风险系数排序确定所述脱敏损失排序损失；
所述模型训练模块850被配置为：
基于所述脱敏损失和所述脱敏损失排序损失对所述图像模型进行训练。
在一些示例实施例中，基于上述方案，所述图像模型还包括图像反脱敏子模型，所述图像模型的模型损失包括反脱敏损失，所述装置还包括：
反脱敏模块，被配置为将所述多个用户的脱敏图像输入到所述图像反脱敏子模型，得到各个用户对应的反脱敏图像；
反脱敏损失确定模块，被配置为基于所述用户的反脱敏图像与所述生物识别图像的差异，确定所述反脱敏损失；
所述模型训练模块850还被配置为：
基于所述脱敏损失和所述反脱敏损失对所述图像模型进行训练。
在一些示例实施例中，基于上述方案，所述模型损失还包括多图依赖损失，所述多图依赖损失用于表示在替换或缺少所述多个用户的脱敏图像中的至少一张图像的情况下产生的模型损失，所述模型训练模块850还被配置为：
在替换或缺少所述多个用户的脱敏图像中的至少一张图像的情况下，确定对应的多图依赖损失；
基于所述脱敏损失、所述反脱敏损失以及所述多图依赖损失对所述图像模型进行训练。
上述为本说明书实施例的一种图像模型训练装置的示意性方案。需要说明的是，该图像模型训练装置的技术方案与上述的图像模型训练方法的技术方案属于同一构思，图像模型训练装置的技术方案未详细描述的细节内容，均可以参见上述图像模型训练方法的技术方案的描述。
本说明书实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条程序指令，所述程序指令适于由处理器加载并执行如上述图2～图6所示实施例的方法步骤，具体执行过程可以参见图2～图6所示实施例的具体说明，在此不进行赘述。
本说明书实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由处理器加载并执行如上述图2～图6所示实施例的所述图像处理方法，具体执行过程可以参见图2～图6所示实施例的具体说明，在此不进行赘述。
请参考图9，其示出了本说明书一个示例性实施例提供的电子设备的结构示意图。本说明书中的电子设备可以包括一个或多个如下部件：处理器910、存储器920、输入装置930、输出装置940和总线950。处理器910、存储器920、输入装置930和输出装置940之间可以通过总线950连接。
处理器910可以包括一个或者多个处理核心。处理器910利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器920内的指令、程序、代码集或指令集，以及调用存储在存储器920内的数据，执行电子设备900的各种功能和处理数据。可选地，处理器910可以采用数字信号处理(digital signal processing，DSP)、现场可编程门阵列(field－programmable gate array，FPGA)、可编程逻辑阵列中的至少一种硬件形式来实现。处理器910可集成中心处理器(central processing unit，CPU)、图像处理器(graphics processing unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器910中，单独通过一块通信芯片进行实现。
存储器920可以包括随机存储器(random Access Memory，RAM)，也可以包括只读存储器(read-only memory，ROM)。可选地，该存储器920包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器920可用于存储指令、程序、代码、代码集或指令集。存储器920可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(例如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等，该操作系统可以是安卓(Android)系统，包括基于Android系统深度开发的系统、IOS系统，包括基于IOS系统深度开发的系统或其它系统。
为了使操作系统能够区分第三方应用程序的具体应用场景，需要打通第三方应用程序与操作系统之间的数据通信，使得操作系统能够随时获取第三方应用程序当前的场景信息，进而基于当前场景进行针对性的系统资源适配。
其中，输入装置930用于接收输入的指令或数据，输入装置930包括但不限于键盘、鼠标、摄像头、麦克风或触控设备。输出装置940用于输出指令或数据，输出装置940包括但不限于显示设备和扬声器等。在一个示例中，输入装置930和输出装置940为触摸显示屏。
除此之外，本领域技术人员可以理解，上述附图所示出的电子设备的结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，电子设备中还包括射频电路、输入单元、传感器、音频电路、无线保真(Wireless Fidelity，WiFi)模块、电源、蓝牙模块等部件，在此不再赘述。
在图9所示的电子设备中，处理器910可以用于调用存储器920中存储的图像处理应用程序或图像模型训练应用程序，例如，处理910可以执行以下操作：
获取多个用户中各个用户的生物识别图像，提取所述生物识别图像的图像特征；
对各个用户的所述生物识别图像的图像特征进行特征融合处理，生成各个用户的所述生物识别图像对应的融合图像特征，所述融合图像特征包含所述多个用户的生物识别图像的图像特征之间的关联特征；
基于各个用户的所述生物识别图像对应的所述融合图像特征，生成各个用户的所述生物识别图像对应的脱敏图像。
上述为本说明书实施例的一种电子设备的示意性方案。需要说明的是，该电子设备的技术方案与上述的图像处理方法或图像模型训练方法的技术方案属于同一构思，电子设备的技术方案未详细描述的细节内容，均可以参见上述图像处理方法或图像模型训练方法的技术方案的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，计算机程序的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本说明书较佳实施例而已，当然不能以此来限定本说明书之权利范围，因此依本说明书权利要求所作的等同变化，仍属本说明书所涵盖的范围。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

Claims (21)

1.一种图像处理方法，包括：
获取多个用户中各个用户的生物识别图像，提取所述生物识别图像的图像特征；
对各个用户的所述生物识别图像的图像特征进行特征融合处理，生成各个用户的所述生物识别图像对应的融合图像特征，所述融合图像特征包含所述多个用户的生物识别图像的图像特征之间的关联特征；
基于各个用户的所述生物识别图像对应的所述融合图像特征，生成各个用户的所述生物识别图像对应的脱敏图像。
2.根据权利要求1所述的方法，其中，所述对各个用户的所述生物识别图像的图像特征进行特征融合处理，生成各个用户的所述生物识别图像对应的融合图像特征，包括：
对所述多个用户中各个用户的所述生物识别图像的图像特征进行加权融合处理；
基于加权融合处理的结果，生成各个用户的所述生物识别图像对应的融合图像特征。
3.根据权利要求2所述的方法，其中，所述对各个用户的所述生物识别图像的图像特征进行加权融合处理，包括：
确定各个用户对应的用户风险系数，所述用户风险系数表示各个用户的所述生物识别图像的图像特征的特征权重；
基于各个用户对应的所述用户风险系数，对各个用户对应的所述生物识别图像的图像特征进行加权融合处理。
4.根据权利要求3所述的方法，其中，所述确定各个用户对应的用户风险系数，包括：
确定预定时间段的所述多个用户中各个用户的生物识别特征，所述生物识别特征包括生物识别频次特征以及各个生物识别场景的场景频次特征；
基于所述生物识别特征，确定各个用户对应的用户风险系数。
5.根据权利要求4所述的方法，其中，所述基于所述生物识别特征，确定各个用户对应的用户风险系数，包括：
对所述多个用户中各个用户的所述生物识别频次特征与各个所述生物识别场景的场景频次特征进行加权运算；
基于加权运算的结果确定各个用户对应的用户风险系数。
6.根据权利要求3所述的方法，其中，所述确定各个用户对应的用户风险系数，包括：
周期性地获取所述多个用户中各个用户的生物识别特征；
确定所述用户的当前周期的生物识别特征与上一周期的生物识别特征之间的特征相似度；
若所述特征相似度小于预定阈值，则基于所述当前周期的生物识别特征，调整所述用户对应的用户风险系数。
7.根据权利要求1至6中任一项所述的方法，其中，所述基于各个用户的所述生物识别图像对应的所述融合图像特征，生成各个用户的所述生物识别图像对应的脱敏图像，包括：
将各个用户的所述生物识别图像对应的所述融合图像特征输入到图像脱敏模型；
通过所述图像脱敏模型，生成各个用户的所述生物识别图像对应的脱敏图像。
8.根据权利要求7所述的方法，其中，所述方法还包括：
获取目标用户的所述目标脱敏图像对应的多个关联脱敏图像；
基于所述多个关联脱敏图像，通过反脱敏模型对所述目标脱敏图像进行反脱敏处理。
9.一种图像模型训练方法，其中，所述图像模型包括图像脱敏子模型，所述方法包括：
获取多个用户中各个用户的生物识别图像，提取各个用户的生物识别图像的图像特征；
对各个用户的生物识别图像的图像特征进行特征融合处理，生成各个用户的所述生物识别图像对应的融合图像特征，所述融合图像特征包含所述多个用户的生物识别图像的图像特征之间的关联特征；
将各个用户对应的所述融合图像特征输入到所述图像脱敏子模型，得到各个用户的生物识别图像对应的脱敏图像；
基于所述脱敏图像以及所述生物识别图像，确定所述图像模型的模型损失，所述模型损失包括脱敏损失；
基于所述模型损失对所述图像模型进行训练。
10.根据权利要求9所述的方法，其中，所述图像模型还包括特征融合子模型，所述对各个用户的生物识别图像的图像特征进行特征融合处理，包括：
将各个用户的生物识别图像的图像特征输入到所述特征融合子模型；
通过所述特征融合子模型对各个用户的所述生物识别图像的图像特征进行加权融合处理。
11.根据权利要求10所述的方法，其中，所述将各个用户的生物识别图像的图像特征输入到所述特征融合子模型，包括：
确定各个用户对应的用户风险系数，所述用户风险系数表示各个用户的所述生物识别图像的图像特征的特征权重；
将各个用户对应的生物识别图像的图像特征以及用户风险系数输入到所述特征融合子模型，
所述通过所述特征融合子模型对各个用户的所述生物识别图像的图像特征进行加权融合处理，包括：
基于各个用户对应的所述用户风险系数，通过所述特征融合子模型对各个用户的所述生物识别图像的图像特征进行加权融合处理。
12.根据权利要求11所述的方法，其中，所述图像模型还包括风险系数确定子模型，所述确定各个用户对应的用户风险系数，包括：
确定预定时间段的所述多个用户中各个用户的生物识别特征，所述生物识别特征包括生物识别频次特征以及各个生物识别场景的场景频次特征；
基于所述生物识别特征，通过所述风险系数确定子模型确定各个用户对应的用户风险系数。
13.根据权利要求12所述的方法，其中，所述图像模型还包括风险系数调整子模型，所述方法还包括：
确定所述用户的当前周期的第一生物识别特征与上一周期的第二生物识别特征；
将所述第一生物识别特征以及所述第二生物识别特征输入到所述风险系数调整子模型，得到所述第一生物识别特征与所述第二生物识别特征之间的特征相似度；
若所述特征相似度小于预定阈值，则基于所述当前周期的生物识别特征，调整所述用户对应的用户风险系数。
14.根据权利要求11所述的方法，其中，所述模型损失还包括脱敏损失排序损失，所述脱敏损失排序损失用于使得所述脱敏损失的大小的正排序与所述用户风险系数的大小的倒排序一致，所述方法还包括：
基于所述用户风险系数的大小确定所述多个用户的用户风险系数的风险系数排序；
根据所述脱敏损失的大小确定所述脱敏损失的脱敏损失排序；
基于所述脱敏损失排序以及所述风险系数排序确定所述脱敏损失排序损失，
所述基于所述模型损失对所述图像模型进行训练，包括：
基于所述脱敏损失和所述脱敏损失排序损失对所述图像模型进行训练。
15.根据权利要求9所述的方法，其中，所述图像模型还包括图像反脱敏子模型，所述图像模型的模型损失包括反脱敏损失，所述方法还包括：
将所述多个用户的脱敏图像输入到所述图像反脱敏子模型，得到各个用户对应的反脱敏图像；
基于所述用户的反脱敏图像与所述生物识别图像的差异，确定所述反脱敏损失；
所述基于所述模型损失对所述图像模型进行训练，包括：
基于所述脱敏损失和所述反脱敏损失对所述图像模型进行训练。
16.根据权利要求15所述的方法，其中，所述模型损失还包括多图依赖损失，所述多图依赖损失用于表示在替换或缺少所述多个用户的脱敏图像中的至少一张图像的情况下产生的模型损失，所述基于所述模型损失对所述图像模型进行训练，包括：
在替换或缺少所述多个用户的脱敏图像中的至少一张图像的情况下，确定对应的多图依赖损失；
基于所述脱敏损失、所述反脱敏损失以及所述多图依赖损失对所述图像模型进行训练。
17.一种图像处理装置，包括：
特征提取模块，用于获取多个用户中各个用户的生物识别图像，提取所述生物识别图像的图像特征；
特征融合模块，用于对各个用户的所述生物识别图像的图像特征进行特征融合处理，生成各个用户的所述生物识别图像对应的融合图像特征，所述融合图像特征包含所述多个用户的生物识别图像的图像特征之间的关联特征；
脱敏处理模块，用于基于各个用户的所述生物识别图像对应的所述融合图像特征，生成各个用户的所述生物识别图像对应的脱敏图像。
18.一种图像模型训练装置，其中，所述图像模型包括图像脱敏子模型，所述装置包括：
特征提取模块，用于获取多个用户中各个用户的生物识别图像，提取各个用户的生物识别图像的图像特征；
特征融合模块，用于对各个用户的生物识别图像的图像特征进行特征融合处理，生成各个用户的所述生物识别图像对应的融合图像特征，所述融合图像特征包含所述多个用户的生物识别图像的图像特征之间的关联特征，
图像脱敏模块，用于将各个用户对应的所述融合图像特征输入到所述图像脱敏子模型，得到各个用户的生物识别图像对应的脱敏图像；
损失确定模块，用于基于所述脱敏图像以及所述生物识别图像，确定所述图像模型的模型损失，所述模型损失包括脱敏损失；
模型训练模块，用于基于所述模型损失对所述图像模型进行训练。
19.一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～16中任一项所述方法的步骤。
20.一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～16中任一项所述方法的步骤。
21.一种包含指令的计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1-16中任一项所述的方法的步骤。
CN202310521709.5A 2023-05-09 2023-05-09 图像处理方法、图像模型训练方法、装置、介质及设备 Pending CN116580208A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310521709.5A CN116580208A (zh) 2023-05-09 2023-05-09 图像处理方法、图像模型训练方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310521709.5A CN116580208A (zh) 2023-05-09 2023-05-09 图像处理方法、图像模型训练方法、装置、介质及设备

Publications (1)

Publication Number Publication Date
CN116580208A true CN116580208A (zh) 2023-08-11

Family

ID=87533423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310521709.5A Pending CN116580208A (zh) 2023-05-09 2023-05-09 图像处理方法、图像模型训练方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN116580208A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808694A (zh) * 2023-12-28 2024-04-02 中国人民解放军总医院第六医学中心 一种深度神经网络下的无痛胃镜图像增强方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808694A (zh) * 2023-12-28 2024-04-02 中国人民解放军总医院第六医学中心 一种深度神经网络下的无痛胃镜图像增强方法及系统
CN117808694B (zh) * 2023-12-28 2024-05-24 中国人民解放军总医院第六医学中心 一种深度神经网络下的无痛胃镜图像增强方法及系统

Similar Documents

Publication Publication Date Title
US20230081645A1 (en) Detecting forged facial images using frequency domain information and local correlation
CN111476306A (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
CN111475797A (zh) 一种对抗图像生成方法、装置、设备以及可读存储介质
CN111667275B (zh) 用户身份识别方法、装置、设备及其介质
CN110929836B (zh) 神经网络训练及图像处理方法和装置、电子设备、介质
CN110874571A (zh) 人脸识别模型的训练方法及装置
CN112084959B (zh) 一种人群图像处理方法及装置
CN116580208A (zh) 图像处理方法、图像模型训练方法、装置、介质及设备
CN110765843B (zh) 人脸验证方法、装置、计算机设备及存储介质
CN109346102B (zh) 音频开头爆音的检测方法、装置及存储介质
CN112509154A (zh) 图像生成模型的训练方法、图像生成方法及装置
CN116246127A (zh) 图像模型训练方法、图像处理方法、装置、介质及设备
CN116704581A (zh) 人脸识别方法、装置、设备及存储介质
CN116798129A (zh) 一种活体检测方法、装置、存储介质及电子设备
CN114841340B (zh) 深度伪造算法的识别方法、装置、电子设备及存储介质
CN116633804A (zh) 网络流量检测模型的建模方法、防护方法及相关设备
CN115731620A (zh) 检测对抗攻击的方法和训练对抗攻击检测模型的方法
CN113990347A (zh) 一种信号处理方法、计算机设备及存储介质
CN115221537A (zh) 一种模型处理方法、装置、存储介质及电子设备
CN116579380A (zh) 一种数据处理方法以及相关设备
CN115841437A (zh) 一种图像增强的方法、装置及设备
CN111784787B (zh) 图像生成方法和装置
CN116843911A (zh) 图像处理方法、图像模型训练方法、装置、介质及设备
Bharadwaj et al. Reliable human authentication using AI-based multibiometric image sensor fusion: Assessment of performance in information security
CN114463859B (zh) 活体检测的对抗样本生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination