CN113297624B - 图像的预处理方法及装置 - Google Patents

图像的预处理方法及装置 Download PDF

Info

Publication number
CN113297624B
CN113297624B CN202110700595.1A CN202110700595A CN113297624B CN 113297624 B CN113297624 B CN 113297624B CN 202110700595 A CN202110700595 A CN 202110700595A CN 113297624 B CN113297624 B CN 113297624B
Authority
CN
China
Prior art keywords
image
feature map
reference image
model
desensitization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110700595.1A
Other languages
English (en)
Other versions
CN113297624A (zh
Inventor
邱伟峰
张君涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110700595.1A priority Critical patent/CN113297624B/zh
Publication of CN113297624A publication Critical patent/CN113297624A/zh
Application granted granted Critical
Publication of CN113297624B publication Critical patent/CN113297624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本说明书实施例提供一种通过本说明书实施例提供的方法和装置，针对待处理的目标图像通过编码网络进行特征提取，然后和基准图像对应的基准特征图进行融合处理，从而可以生成将目标图像的图像特征作为噪声加入基准图像的脱敏图像。由于在图像脱敏模型训练过程中，加入基准图像的基准特征图，并将得到的脱敏图像与基准图像对比，使得脱敏图像外观与基准图像相似，而图像脱敏模型训练过程中还融合有目标图像的图像特征，从而使得脱敏图像隐藏有可提取目标图像特征的其他信息。该技术构思可以有效保护目标图像的数据隐私，并可以将脱敏图像有效地用于针对目标图像的图像识别。

Description

图像的预处理方法及装置
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及图像脱敏的预处理的方法及装置。
背景技术
随着互联网技术和智能终端技术的发展，越来越多的终端应用便利着人们的生活。图像识别通常利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。随着智能终端的图像采集技术及终端应用的发展，图像识别的应用越来越广泛。例如，智能终端的指纹/面部解锁功能、刷脸支付、指纹支付等等身份认证场景下，通常会用到用户的隐私信息。这些隐私信息还有可能被上传至服务端或云端，进行识别。如此，如何保护这些用户图像中包含的隐私数据，避免用户隐私泄露造成的各种损失，成为一个重要的问题。
发明内容
本说明书一个或多个实施例描述了一种训练图像脱敏模型及使用训练好的图像脱敏模型进行图像脱敏的方法及装置，用以解决背景技术提到的一个或多个问题。
根据第一方面，提供一种图像的预处理方法，所述方法包括：获取待处理的第一图像；利用预先训练的编码模块对所述第一图像进行特征提取，得到所述第一图像对应的编码特征图；获取与预定的基准图像集中的第二基准图像对应的基准特征图；通过预先训练的融合模块将第二基准图像对应的基准特征图与所述编码特征图融合处理，得到第二脱敏图像，其中，所述第二脱敏图像为在所述第二基准图像上添加可提取出所述第一图像的图像特征的图像。
根据一个实施例，所述第二基准图像对应的基准特征图通过以下方式确定：按照所述第二基准图像各个像素的像素值，确定所述第二基准图像的初始特征图；通过预先确定的卷积神经网络处理所述初始特征图，得到所述第二基准图像的基准特征图。
根据一个实施例，基准图像集中的各个基准图像分别通过各个标识向量表示，所述第二基准图像对应第二标识向量，所述第二基准图像对应的基准特征图通过以下方式确定：通过全连接神经网络对所述第二标识向量进行处理，得到N维的参考向量；将所述N维的参考向量转换成所述第二基准图像的基准特征图。
根据一个进一步的实施例，所述从预定的基准图像集中获取与第二基准图像对应的基准特征图包括：随机确定各个标识向量中的第二标识向量；通过所述第二标识向量获取所述第二基准图像对应的基准特征图。
根据一个实施例，所述通过预先训练的融合模块将第二基准图像对应的基准特征图与所述编码特征图融合处理，得到第二脱敏图像包括：将第二基准图像对应的基准特征图与所述编码特征图进行拼接或者按元素叠加，得到融合特征图；通过所述融合模块处理融合特征图，得到所述第二脱敏图像。
根据一个实施例，所述第二基准图像对应多个基准特征图，各个基准特征图分别与所述融合模块中的多层神经网络一一对应，所述通过预先训练的融合模块将第二基准图像对应的基准特征图与所述编码特征图融合处理，得到第二脱敏图像包括：利用所述多层神经网络中的单层神经网络，处理相应基准特征图与利用前一层神经网络得到的中间特征图进行融合得到的融合特征图，其中，在所述单层神经网络是所述融合模块中的第一层神经网络的情况下，利用前一层神经网络得到的中间特征图为所述编码特征图。
根据一个实施例，所述第二脱敏图像的像素与所述第二基准图像的像素一致，所述编码模块通过多层卷积神经网络实现，所述融合模块基于多层转置卷积神经网络实现。
根据第二方面，提供一种图像脱敏模型的训练方法，所述图像脱敏模型包括编码模块和融合模块，所述图像脱敏模型用于将待处理图像处理成在基准图像上添加噪声的噪声图像，以将噪声图像应用于待处理图像的图像识别，所述方法包括：利用所述编码模块对第一样本图像进行特征提取，得到所述第一样本图像的第一特征图，所述第一样本图像是用于图像识别的样本集中的图像；获取与第一基准图像对应的基准特征图，其中，所述第一基准图像是预定的基准图像集中的图像；通过所述融合模块将所述第一基准图像对应的基准特征图与所述第一特征图融合处理，得到第一脱敏图像；基于所述第一脱敏图像与所述第一基准图像、所述第一样本图像的对比，确定图像脱敏模型的模型损失；以最小化所述模型损失为目标，调整所述编码模块和所述融合模块的模型参数，以训练所述图像脱敏模型。
根据一个实施例，所述模型损失包括通过以下方式对比所述第一脱敏图像与所述第一基准图像确定的第一损失：将所述第一脱敏图像与所述第一基准图像按像素逐个对比各个像素值，得到各个像素值分别对应的各个差值，在单个像素的像素值包括多个颜色通道上的像素值的情况下，所述第一脱敏图像与所述第一基准图像在单个像素的像素值的差值为各个颜色通道上的像素值差值的和或均值；根据各个差值确定所述第一损失。
根据一个实施例，所述模型损失包括通过以下方式对比所述第一脱敏图像与所述第一样本图像确定的第二损失：通过预先训练好的第一卷积神经网络从所述第一样本图像提取第一特征向量；通过第二卷积神经网络从所述第一脱敏图像提取第二特征向量；以所述第一特征向量和所述第二特征向量相一致为目标确定所述第二损失。
根据一个实施例，以最小化所述模型损失为目标，调整所述编码模块和所述融合模块的模型参数的同时，所述方法还包括：以最小化所述模型损失为目标，调整所述第二卷积神经网络的模型参数。
根据第三方面，提供一种图像识别模型的训练方法，所述方法包括：利用按照第二方面描述的方式训练的图像脱敏模型，处理样本集中的各个样本图像，得到各个脱敏图像；将各个脱敏图像依次输入预先确定的图像识别模型，以得到所述图像识别模型对各个脱敏图像分别对应的各个图像识别结果；基于各个图像识别结果分别与各个样本图像的目标标签进行对比，确定模型损失，并向模型损失减小的方向调整所述图像识别模型的模型参数，从而训练所述图像识别模型。
根据第四方面，提供一种图像的预处理装置，所述装置包括：
第一获取单元，配置为获取待处理的第一图像；
编码单元，配置为利用预先训练的编码模块对所述第一图像进行特征提取，得到所述第一图像对应的编码特征图；
第二获取单元，配置为获取与预定的基准图像集中的第二基准图像对应的基准特征图；
融合单元，配置为通过预先训练的融合模块将第二基准图像对应的基准特征图与所述编码特征图融合处理，得到第二脱敏图像，其中，所述第二脱敏图像为在所述第二基准图像上添加可提取出所述第一图像的图像特征的图像。
根据第五方面，提供一种图像脱敏模型的训练装置，所述图像脱敏模型包括编码模块和融合模块，所述图像脱敏模型用于将待处理图像处理成在基准图像上添加噪声的噪声图像，以将噪声图像应用于待处理图像的图像识别，所述装置包括：
提取单元，配置为利用所述编码模块对第一样本图像进行特征提取，得到所述第一样本图像的第一特征图，所述第一样本图像是用于图像识别的样本集中的图像；
获取单元，配置为获取与第一基准图像对应的基准特征图，其中，所述第一基准图像是预定的基准图像集中的图像；
融合单元，配置为通过所述融合模块将所述第一基准图像对应的基准特征图与所述第一特征图融合处理，得到第一脱敏图像；
确定单元，配置为基于所述第一脱敏图像与所述第一基准图像、所述第一样本图像的对比，确定图像脱敏模型的模型损失；
调整单元，配置为以最小化所述模型损失为目标，调整所述编码模块和所述融合模块的模型参数，以训练所述图像脱敏模型。
根据第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面至第三方面中任一项的所述的方法。
根据第七方面，提供一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面至第三方面中任一项所述的方法。
通过本说明书实施例提供的装置和方法，针对待处理的目标图像通过编码网络进行特征提取，然后和基准图像对应的基准特征图进行融合处理，从而可以生成将目标图像的图像特征作为噪声加入基准图像的脱敏图像。由于在图像脱敏模型训练过程中，加入基准图像的基准特征图，并将得到的脱敏图像与基准图像对比，使得脱敏图像外观与基准图像相似，而图像脱敏模型训练过程中还融合有目标图像的图像特征，从而使得脱敏图像隐藏有可提取目标图像特征的其他信息。该技术构思可以有效保护目标图像的数据隐私，并兼顾目标图像的图像识别结果准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是在本说明书技术构思下的一个图像处理过程的实施架构示意图；
图2示出根据一个实施例的图像脱敏模型的训练流程示意图；
图3a和图3b分别是一个具体例子的图像脱敏模型架构示意图；
图4示出一个具体例子的图像脱敏模型损失确定示意图；
图5示出本说明书一个实施例的图像的预处理流程示意图；
图6示出本说明书一个实施例的图像的预处理装置示意框图；
图7示出本说明书根据一个实施例的图像脱敏模型的训练装置示意框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
图1描述了本说明书图像处理过程的一个具体实施架构示意图。参考图1所示，该实施架构通过计算平台1和计算平台2实现。图1示出的实施架构以人脸图像为例，描述了一个通过计算平台1对图像进行脱敏的预处理，以及计算平台2使用脱敏图像进行图像识别的实施架构。
如图1所示，计算平台1接收隐私图像(图1中的人脸图像)，并通过编码模块和融合模块的处理，得到脱敏图像。脱敏图像和隐私图像之间在视觉上可以完全不同，而和基准图像相似。也就是说，从脱敏图像，无法获知隐私图像的内容，如图1中的脱敏图像完全看不到人脸，而是伪装成了一个小马图像。而为了使得脱敏图像用于隐私图像的图像识别，脱敏图像可以保留隐私图像的特征，换句话说，隐私图像的数据被隐藏在基准图像中形成脱敏图像，从脱敏图像可以提取到隐私图像的特征，因此可以认为脱敏图像是加了噪声的基准图像。这里，基准图像用于隐藏隐私图像，其可以是预先确定的各种图像，例如卡通图像、漫画图像等。本说明书中可以将多张基准图像称为基准图像集。通常，多张隐私图像可以使用同一张基准图像进行隐藏，一个隐私图像可以隐藏于任一个基准图像中。因此，基准图像的数量可以不是很多，例如100张、500张等。
根据本说明书的技术构思，隐私图像可以先经过编码模块的处理，得到隐私图像的编码特征图。其中，编码模块例如可以经过多层卷积神经网络实现。然后，可以指定或随机确定一个基准图像，并获取其对应的基准特征图。可以理解，隐私图像的特征图通常是包含一个或多个通道的特征阵列(类似图片的像素阵列)，例如256个通道的7×7特征阵列，也可以记为隐私图像的7×7×256维特征。因此，为了将基准图像和隐私图像融合，可以将基准图像的基准特征图处理成与隐私图像的特征图类似的形式。例如为7×7×100的基准特征图。然后，通过融合模块将基准特征图与基准特征图融合进行处理，得到相应的脱敏图像。融合模块可以通过多层神经网络实现。例如多层转置卷积神经网络。这是因为，隐私图像的特征图中，为了提取高阶特征，通常特征阵列的维度降低，通道数增多。而为了保证生成与基准图像具有相同像素的图像，需要增加特征阵列的维度减少通道数。
在一个实施例中，基准特征图为1个，其可以与隐私图像的特征图融合后得到融合特征图由融合模块进行处理。在另一个实施例中，基准特征图也可以有多个，如t个，这样，可以在融合模块的t层神经网络上都添加一个与基准图像相关的基准特征图。其中，融合模块神经网络层数可以大于或等于t。在大于t的情况下，可以只在前t层神经网络上融合基准特征图，或者以随机挑选等方式确定出t层神经网络融合基准特征图。根据融合模块的处理结果可以得到脱敏图像。
如图1所示，脱敏图像可以进行一步由计算平台2用于图像识别。计算平台2获取脱敏图像之后，可以利用图像识别模型，例如为卷积神经网络，提取其中包含的隐私图像的特征，从而进行图像识别。图像识别模型可以根据具体业务设定，例如为智能终端的开锁认证模型、支付终端的用户识别模型、人物分类模型(如对人种进行分类)、失信人员追踪模型等等任意可能的图像识别模型。如图1所示，为智能终端的开锁认证模型、支付终端的用户识别模型，通过对人脸图像脱敏预处理后的脱敏图像进行图像识别。图像识别模型的输出结果可以是认证是否成功的认证结果。
可以理解，图1仅为一个具体例子，其中的计算平台1例如可以是客户端，计算平台2例如可以是服务端，由客户端将脱敏图像上传至服务端，从而避免了隐私图像在图像传输过程中或者通过服务端的隐私泄露。实践中，计算平台1和计算平台2还可以是同一个计算平台，人脸图像也可以换成其他任意的隐私图像。其中，隐私图像可以是用户不愿提供给服务端或其他业务方的各种图像数据，例如人脸图像、指纹图像、病例图像、虹膜图像等等。
这种图像脱敏的处理方式由于将隐私图像的特征作为基准图像的噪声，隐私图像表现出来是与基准图像类似的外观，从而可以有效保护数据隐私。另外，由于脱敏图像包含了隐私图像的特征，使得脱敏后的隐私图像可以有效用于图像识别。
下面结合具体实施例描述本说明书设计构思中的技术细节。
请参考图2所示，图2给出了根据一个实施例的图像脱敏模型的训练流程示意图。该流程的执行主体可以是任意具有一定计算能力的计算机、设备或服务器，例如图1中的计算平台。其中，图像脱敏模型可以包括图1示出的编码模块和融合模块。图像脱敏模型可以用于将原始图像(例如是隐私图像，如人脸图像等)处理成在基准图像上添加噪声的噪声图像，并且保留原始图像的特征，从而使得噪声图像应用于对原始图像的图像识别。
可以理解，在图像脱敏模型的训练过程中，通常可以通过多个轮次调整模型参数。单个轮次可以通过一个样本图像或者多个样本图像确定当前的模型损失，从而调整模型参数。为了描述方便，图2示出的流程通过在单个轮次，针对当前选中的任一个样本图像(以下称为第一样本图像)的处理过程为例进行说明。
如图2所示，图像脱敏模型的训练流程可以包括：步骤201，利用编码模块对第一样本图像进行特征提取，得到第一样本图像的第一特征图，第一样本图像是用于图像识别的样本集中的图像；步骤202，获取与第一基准图像对应的基准特征图，其中，第一基准图像是预定的基准图像集中的图像；步骤203，通过融合模块将第一基准图像对应的基准特征图与第一特征图融合处理，得到第一脱敏图像；步骤204，基于第一脱敏图像与第一基准图像、第一样本图像的对比，确定图像脱敏模型的模型损失；步骤205，以最小化模型损失为目标，调整编码模块和融合模块的模型参数，以训练图像脱敏模型。
值得说明的是，这里的样本图像可以是任何用于图像识别的样本图像。针对终端用户而言，通常可以是人脸图像、指纹图像等与用户隐私密切相关的类型的图像，即隐私图像。这里说的隐私是指图像本身包含的内容在某些场景下可能涉及隐私，并不一定所有同类型的图像都是隐私，隐私图像是针对图像包含的内容性质而言的。比如各种网站上公开的公众人物、历史人物等的人脸图像，人脸本身属于隐私，而这些公开的图像可以不是隐私，在人脸图像用于图像识别场景下时，图像中的人脸可以作为隐私。为了描述方便，在本说明书中，可以统一将其称为隐私图像。
首先，在步骤201中，利用编码模块处理对第一样本图像进行特征提取，得到第一样本图像的第一特征图。可以理解，训练图像脱敏模型的目的是可以从脱敏图像中提取到原始图像的特征，以用于图像识别，因此，训练图像脱敏模型使用的样本集可以是用于训练图像识别模型的样本集。样本集中例如可以包括预先收集的多张与图像识别业务场景相关的图像(如人脸图像)作为训练样本。样本集中的图像可以是业务方私有数据库中已存储的图像。也可以是从各种网站抓取来的公开图像，或者其他业务方提供的业务图像。
图像数据通常可以通过卷积神经网络(CNN)、对抗神经网络(GAN)等进行处理，从而从中提取图像特征，生成特征图。本说明书中的举例以卷积神经网络为主，但不排除使用对抗神经网络的可能性。例如，编码网络可以是卷积神经网络，或者对抗神经网络，本申请在此不做限定。以卷积神经网络为例，其对图像的处理也可以认为是对图像进行了一种编码处理。因此本说明书中，用于从隐私图像中提取特征的神经网络可以称为编码模块，编码模块对第一样本图像的处理可以称为编码特征图。在这里，为了与第一样本图像对应，其编码特征图可以称为第一特征图。
初始的图像通常可以看作多个通道上的特征阵列。例如初始的图像包括256×256像素，则在R、G、B色彩模式(也可以是CMKY、灰度等色彩模式)下初始的特征图可以为R、G、B三个通道上的三个256×256的特征阵列，也可以记为256×256×3的初始特征图。卷积神经网络可以改变特征图的通道数，以及特征图的大小。编码模块为卷积神经网络的情况下，通常通道数增多，特征点减少。例如，第一样本图像的初始特征图经过三层卷积神经网络处理后，得到7×7×128共128个通道上的特征阵列，则该7×7×128的特征阵列可以称为第一样本图像的第一特征图。
另一方面，通过步骤202，获取与第一基准图像对应的基准特征图。可以理解，为了将图像识别中的目标图像(即原始的图像，如隐私图像)隐藏于其他图像，还可以预先准备有基准图像。基准图像可以有一个或多个，其是目标图像所要伪装成的图像。基准图像例如可以是卡通图像、漫画图像、动物图像、风景图像等各种可用的图像，本说明书对此不做限定。一个或多个基准图像构成基准图像集。为了更好地使得原始图像用于图像识别，基准图像集通常是预先确定的，且固定不变。
针对每个基准图像，可以从中提取基准特征图。
在一个实施例中，单个基准图像对应的基准特征图为其初始的特征图，例如为在R、G、B三个通道上的三个512×256的特征阵列，也可以记为512×256×3的特征图。
在另一个实施例中，单个基准图像对应的基准特征图为其初始的特征图经由卷积神经网络处理后的特征图。例如初始的512×256×3的特征图经由卷积神经网络处理得到的7×7×512的特征图等。基准特征图的提取过程也可以通过前文提到的CNN、GAN等实现，在此不再赘述。值得说明的是，用于针对基准图像提取特征图的神经网络可以是预先训练好的，也可以是待和图像脱敏模型一起训练的，本说明书对此不做限定。
根据一种可能的设计，在基准图像有多个的情况下，可以为各个基准图像设定标识，以唯一标志相应基准图像。当然，一个标识可以唯一对应到一个基准图像，一个基准图像却可以通过一个或多个标识进行标志，在此不做限定。实践中，为了不影响模型效果，通常可以是会用一个标识来标记单个基准图像。基准图像的图像标识可以是字符、向量等。以向量为例，可以通过一个确定的多维向量标识一个基准图像。可选地，可以参考词汇的独热表示(one-hot representation)，通过一个仅一个维度为1(或者其他非零值)的向量来表示单个基准图像。例如，具有100个基准图像的基准图像集，各个基准图像均用一个100维的向量进行表示，每个维度对应一个基准图像，在表示相应基准图像时，相应维度为第一预定值，其他维度为第二预定值。可选地，第一预定值通常为非零值，如1，第二预定值为0值。在一个实施例中，各个基准图像还可以具有一致的像素，例如均为512×512像素。
在这种情况下，根据一个实施例，单个基准图像对应的基准特征图为该基准图像的图像标识经扩展后规范化成预定大小的特征图。在可选的实现方式中，图像标识对应的向量可以经过包含全连接层或激活层等的神经网络进行处理，从而映射为预定维度(如N维)的向量。该预定维度的向量可以被转换成多个通道(如s个通道)的特征阵列(如m×n维的特征阵列，其中，N＝m×n×s)，从而形成相应基准特征图。例如，一个one-hot方式表示的100维的图像标识向量(0，0，0……1，0，0……0，0)经过一个全连接层的神经网络处理，得到一个4900维的向量，从而可以转换成7×7×100的基准特征图。在基准图像的图像标识由其他向量表示的情况下，也可以通过类似的方式进行处理，得到基准特征图。在基准图像的图像标识为字符的情况下，还可以先将字符转化成对应的向量(例如字符的二进制表示向量、将字符对应的数字作为相应维度的值代替独热表示中的1得到的向量，等等)，通过类似的方式进行处理，从而得到基准图像。其中，这里的预定维数N并非随意取值，而是和编码模块对图像进行编码后的编码特征图(如第一特征图)有关，在后续详细描述。
在更多实施例中，基准图像的基准特征图可以由更多合理的方式确定，在此不再赘述。可以理解，根据实际业务设置，基准特征图可以在本步骤202中实时确定，也可以预先确定并和基准图像对应存储，并在本步骤202中直接获取。各个基准图像可以具有一致的像素，也可以具有不一致的像素，在此不做限定。通常，为了处理便利，通常可以将处理为具有一致的像素(如512×512像素)的图像作为基准图像。
本实施例中的第一基准图像可以基准图像集中的任意一个，名称不对其在基准图像集中的位置进行限定。实践，其可以是随机指定的一个，或者按照某种规则指定的一个。例如，在100个基准图像通过独热表示的向量进行标识的情况下，可以随机指定100维向量的某个维度为非零值，从而对应到第一基准图像。
进一步地，在步骤203中，通过融合模块将第一基准图像对应的基准特征图与第一特征图融合处理，得到第一脱敏图像。顾名思义，融合模块的作用是将目标图像的特征与相应基准图像进行融合。在本说明书的技术构思下，将目标图像的特征作为噪声，增加到基准图像里，从而将目标图像的特征隐藏在基准图像中。也就是说，可以理解为在基准图像上增加噪声。
根据一个可能的设计，可以对第一基准图像对应的基准特征图和第一样本图像对应的第一特征图进行融合(合在一起)，然后再通过融合模块进行处理。其网络架构如图3a所示。其中，对第一基准图像对应的基准特征图和第一特征图的融合层可以包含在融合模块中，也可以是编码模块与融合模块之间的若干层神经网络，在此不再限定。
根据另一个可能的设计，融合模块在融合第一特征图和基准特征图的过程中，还可以在多个卷积层上各自增加一个第一基准图像对应的特征图。其网络架构如图3b所示。如图3b所示，基准图像或与基准图像对应的标识向量通过卷积神经网络的卷积层，或者全连接神经网络的全连接层等的处理，在每层神经网络上输出一个基准特征向量。各个基准特征向量一一对应在融合模块的多个卷积层之前与前一层的处理结果相融合。这种情况下的设置方式种类较多，图3b仅为一个示例。除了图3b示出的在融合模块的各个卷积层之前都融合一个基准特征图外，还可以选择性地在前多个卷积层、后多个卷积层、均匀分布(如均匀间隔2个)的多个卷积层、随机的多个卷积层上融合相应基准特征图，等等。也就是说，基准特征图的数量和融合模块的卷积层数量一致，或者少于融合模块的卷积层，在此不再赘述。
在第一基准图像对应的单个基准特征图和第一样本图像对应的第一特征图或者经过融合模块的卷积层处理后的某个特征图的融合过程中，可以采用拼接、加和、求平均等方式进行。以下进行详细描述。在描述中，假设单个基准特征图为m×n×s维，其中，s为通道数，m×n表示单个通道上的特征点阵列。
在一个实施例中，可以将基准特征图和第一特征图拼接起来。此时，可以分两种情况。第一种情况，基准特征图和第一特征图在单个通道上的特征阵列维度一致(即第一特征图的特征阵列也是m×n维)，则可以将两者“叠”在一起。这里，“叠”区别于进行加法运算的“加”，即，不进行特征点的数学运算，特征阵列大小不变，仅通道数变为两者之和。例如，第一特征图大小为7×7×256，基准特征图大小为7×7×100，两者单通道特征阵列的维度都是7×7，通道相叠，则两者融合后得到大小是7×7×356的特征图作为融合结果。在基准特征图和第一特征图单通道特征阵列的维度不一致的情况下，还可以进一步通过卷积神经网络处理其中一个，使得两者一致。第二种情况下，基准特征图和第一特征图通道数一致，例如都是s，但单通道对应的特征阵列中行或列之一不同，则可以按通道将两者拼接。例如，第一特征图大小为m×t×s，则与基准特征图拼接后可以形成m×(n+t)×s大小的融合特征图，即按行对齐拼接。再例如，第一特征图大小为k×n×s，则与基准特征图拼接后可以形成(m+k)×n×s大小的融合特征图，即按列对齐拼接。当然，即使基准特征图和第一特征图的维度完全一致，也可以按照以上任一种拼接方式进行拼接，本说明书对此并不限定。
在另一个实施例中，在基准特征图和第一特征图单通道特征图的维度一致，且通道数一致的情况下，即第一特征图大小也是m×n×s，则两者还可以一一对应叠加、取平均或加权平均。以叠加为例，各通道特征阵列上按元素对应相加，得到的融合结果仍为大小m×n×s的特征图。在这种融合处理方式下，基准特征图和第一特征图通道数或单通道特征阵列的维度不一致的情况下，也可以进一步通过卷积神经网络处理其中一个，使得两者保持一致。
根据以上描述可知，前文提到的N＝m×n×s中的N不是随意的值，是因为该值基于m×n×s确定，且m、n、s中的至少2个需与第一特征图中的相应参数一致。
由于融合模块本质上仍然是对图像数据的处理，因此通常也可以通过CNN、GAN等神经网络实现。以卷积神经网络为例，通常，第一特征图是对第一样本图像提取高阶图像得到的特征图，其通道数较多，因此，为了得到正常图像，融合模块最终可以将以上的融合结果处理成与常规图像通道数一致的特征图，例如为R、G、B三通道上的特征图。这样，融合模块可以通过转置卷积神经网络实现。转置卷积就像卷积操作的反操作。卷积操作通常是一个将多个值映射为一个值的多对一的映射，通常用于特征提取，而转置卷积通常是一个将一个值映射为多个值的一对多(one-to-many)的映射，例如将一个值映射到输出矩阵的9个值，这将是一个一对多的映射关系。通过转置卷积操作，可以将通道数较多，单个通道特征数较少的特征图，还原到通道数与基准图像一致，单个通道特征数与基准图像像素一致的特征图。这种特征图通过将各个特征点按照各个通道特征图取值后，可以还原成一张正常的图像，也就是说其等同于一张正常的图像，如图1中示出脱敏图像。
接着，在步骤204中，基于第一脱敏图像与第一基准图像、第一样本图像的对比，确定图像脱敏模型的模型损失。可以理解，第一脱敏图像的处理目标是，在第一基准图像中添加融入第一样本图像的特征的噪声，使得得到的第一脱敏图像具有和第一基准图像一致的外观，并可以提取出第一样本图像的特征，因此，这里的模型损失可以由第一脱敏图像分别与第一基准图像、第一样本图像的对比确定。下面结合图4的示意进行描述。
一方面，模型损失可以包括基于第一脱敏图像与第一基准图像对比确定的第一损失，如图4所示的L1。第一脱敏图像与第一基准图像要求外观相似，因此，它们的对比可以逐个像素进行。例如，单个像素(如第1行第1列的像素等)相对应比较其中的像素值的差，并根据各个像素的差值确定第一损失。第一损失可以为各个像素的差值之和、各个像素的差值的平方和、各个像素的差值的均方根等等。这里说的像素值是图像被数字化时由计算机赋予的值，其可以是彩色图像上如前文说的R、G、B各个通道上的0-255之间的值，也可以是灰度图像中的0-255之间的灰度值，还可以是其他方式表示的数值，在此不做限定。在上述差值通过多个通道上的取值确定时，单个像素(如第i行第j列的像素)对应的差值为可以为各个通道上的差值之和。
另一方面，模型损失还可以包括基于第一脱敏图像与第一样本图像对比确定的第二损失。由于第一脱敏图像要隐藏第一样本图像的特征，而不是外观相似，因此，第一脱敏图像与第一样本图像的对比不是直接按像素对比，而是通过两者提取的特征的对比实现。如为图4所示的L2。其中，对于第一样本图像，可以通过一个针对图像进行特征提取的第一神经网络(图像特征提取网络)提取其图像特征，得到相应的第一特征。对于第一脱敏图像，可以通过第二神经网络提取其特征，得到相应的第二特征。通常，第一神经网络可以是预先训练好的神经网络，其可很好地提取图像特征，例如是预先训练好的大型卷积神经网络(如LResNet50E等)，从而使得从第一样本图像中提取的特征可以用于作为第一脱敏图像中的特征的参考。而第一脱敏图像后续要用于图像识别，因此，希望通过任意合理的神经网络都可以提取到隐藏在第一脱敏图像中的第一样本图像的特征，于是，第二神经网络通常是较简单的卷积神经网络，例如2-3层简易卷积神经网络。第一特征、第二特征可以是特征图或特征向量等形式，在此不作限定。图4的示例中以特征向量为例进行示意，分别对应第一特征向量、第二特征向量。这样，将第一特征和第二特征进行对比，可以确定第二损失。第一特征和第二特征的对比根据其形式确定。在第一特征和第二特征是特征图的情况下，可以采用第一损失类似的方式确定第二损失，在第一特征和第二特征为向量的情况下，可以通过KL距离、余弦距离、欧氏距离等方式确定第二损失。在其他可能的情况下，还可以有其他确定第二损失的方式，如为特征图的情况下，可以采用类似L1的方式确定第二损失L2，在此不再一一赘述。
整体的模型损失可以利用第一损失和第二损失的和来确定。在一个可选的实施方式中，当前批次的训练样本仅包括第一样本图像，整体的模型损失可以基于第一样本图像对应的第一损失和第二损失确定。在另一个可能的实施方式中，当前批次的训练样本为包括第一样本图像在内的多个样本图像，整体的模型损失还可以通过这多个样本图像的第一损失和第二损失综合确定。此时，模型损失可以是多个样本图像确定的第一损失和第二损失的加和或平均等形式，在此不再赘述。
接着，在步骤205，以最小化模型损失为目标，调整编码模块和融合模块的模型参数，以训练图像脱敏模型。最小化模型损失的方式例如是梯度下降法、牛顿法等。以梯度下降法为例，先利用模型损失确定各个模型参数的梯度，然后按照梯度和预先设定的步长更新当前模型参数。
其中，需要更新的模型参数至少可以包括编码模块和融合模块。在一个可选的实施例中，用于提取第二特征的第二神经网络中的模型参数也可以作为待调整的模型参数，按照模型损失进行调整。在另一个可选的实施例中，用于确定第一基准图像对应的基准特征图的神经网络中的模型参数也可以作为待调整的模型参数，按照模型损失进行调整。在其他可选的实施例中，还可以按照模型损失调整其他需要调整的模型参数，在此不再一一赘述。
在满足结束条件的情况下，结束图像脱敏的模型训练。模型训练的阶数条件例如可以是：模型参数收敛、梯度趋近于0、损失函数不变、准确度满足预定阈值，等等。
利用训练好的图像脱敏模型处理各个样本图像，可以得到各个脱敏图像。由于脱敏图像中包含有相应样本图像的图像特征，各个脱敏图像可以作为脱敏图像样本，进一步用于训练脱敏图像的图像识别模型。图像识别模型可以是任意常规已知的或未来可能出现的图像识别模型。例如可以是分类模型、认证模型等等。如图1中，将看起来像小马的脱敏图像，用于对最左侧的人脸图像进行认证的认证模型等。
在一个实施例中，图像识别模型的训练和图像脱敏模型的训练过程可以相互独立。例如，可以利用按照图2示出的流程训练好的图像脱敏模型，处理样本集中的各个样本图像，得到各个脱敏图像，然后将各个脱敏图像依次输入预先确定的图像识别模型，以得到图像识别模型对各个脱敏图像分别对应的各个图像识别结果，接着基于各个图像识别结果分别与各个样本图像的目标标签进行对比，确定模型损失，并向模型损失减小的方向调整图像识别模型的模型参数，从而训练图像识别模型。
在可能的设计中，图像识别模型的训练和图像脱敏模型也可以联合在一起进行训练，在此不再赘述。
其中，利用训练好的图像脱敏模型进行图像的脱敏处理，可以看作对图像进行预处理。该预处理过程可以适用于图像识别模型的训练过程，也可以适用于图像识别模型训练完成后的图像识别过程。图5示出了一个图像的预处理流程。通过基于图2流程训练的图像脱敏模型用于目标图像的预处理。此时，其实施架构为，将目标图像(如人脸图像等隐私图像)经过编码模块编码得到编码特征图，编码特征图和基准图像的特征图经由融合模块融合，得到针对目标图像的脱敏图像。
为了描述方便，以当前业务场景为待处理图像是第一图像为例进行说明。如图5所示，隐私图像的预处理流程如图5所示：步骤501，获取待处理的第一图像；步骤502，利用预先训练的编码模块对第一图像进行特征提取，得到第一图像对应的编码特征图；步骤503，获取与预定的基准图像集中的第二基准图像对应的基准特征图；步骤504，通过预先训练的融合模块将第二基准图像对应的基准特征图与编码特征图融合处理，得到第二脱敏图像，其中，第二脱敏图像为在第二基准图像上添加可提取出第一图像的图像特征的图像。
首先，在步骤501，获取待处理的第一图像。其中，第一图像可以是用于分类或认证等图像识别的图像。例如为包含不便公开的个性化信息的隐私图像，如为用于刷脸支付的人脸图像、银行APP登录的指纹图像等等。第一图像通常可以是实时采集的图像，在一些可能的例子中也可以是预先存储的图像。第一图像可以从本地获取，例如客户端经由本地的摄像设备获取，也可以远程获取，例如服务端从客户端获取。在当前流程中，第一图像就是待处理的目标图像。
在可选的实施例中，第一图像还可以被处理成预定大小，例如与基准图像集中的基准图像一样大小。
接着，通过步骤502，利用预先训练的编码模块对第一图像进行特征提取，得到第一图像对应的编码特征图。编码模块可以从第一图像提取特征。编码模块可以通过图2示出的流程进行训练。训练好的编码模块可以通过对第一图像进行处理，得到中间结果。在本说明书中，将对第一图像提取特征的神经网络模块称为编码模块，并将相应中间结果称为编码特征图。实践中，编码模块和编码特征图还可以用其他词汇命名，其表达的实质含义不变。编码模块例如可以通过多层卷积神经网络实现，在此不再赘述。
然后，在步骤503，获取与预定的基准图像集中的第二基准图像对应的基准特征图。可以理解，第二基准图像可以是基准图像集中的任意一个基准图像。这里的“第二”和图2中第一基准图像中的“第一”形成名称上的区别，两者相互独立，并可以对应到相同的基准图像。在一个实施例中，第二基准图像可以是随机指定的一个基准图像。
第二基准图像对应的基准特征图可以是预先存储的，也可以是在确定好第二基准图像之后，通过预定的神经网络处理确定的。根据图2示出的模型训练的描述，第二基准图像对应的基准特征图可以有一个(单个基准特征图对应一层神经网络，并可以包括多个通道)，也可以有多个，在此不再赘述。
通常，图像预处理过程中的基准图像集，与训练相应图像脱敏模型时使用的基准图像集一致，可以有效保证生成的脱敏图像与基准图像的外观一致性，以及后续图像识别的准确性。值得说明的是，在该步骤503中，根据业务实际，在数据处理过程中并不一定需要获取第二基准图像本身，例如可以仅指定第二基准图像对应的one-hot标识向量。
进一步地，利用步骤504，通过预先训练的融合模块将第二基准图像对应的基准特征图与上述编码特征图融合处理，得到第二脱敏图像。其中，第二脱敏图像可以是像素与第二基准图像一致，例如都是512×512，且外观与第二基准图像一致，例如都是老鼠的卡通图像，但隐藏有第一隐私图像的特征(可以看作添加的噪声)的图像。
与编码模块类似地，融合模块也可以通过卷积神经网络实现。其中，在上述的第一隐私图像的编码特征图中单个特征阵列的特征点少于第二基准图像的像素的情况下，融合模块可以采用上采样、转置卷积等方式实现。
在第二基准图像对应的基准特征图有一个的情况下，如图3a所示，可以将其与以上编码特征图融合后，得到融合特征图并经由融合模块进行处理。在第二基准图像对应的基准特征图有多个的情况下，如图3b所示，可以将多个基准特征图分别与融合模块的各层神经网络相对应，并与前一层的处理结果融合后输入当前层进行处理。初始时，前一层的处理结果为编码模块输出的编码特征图。例如，第一个基准特征图与编码特征图融合经由融合模块的第一层神经网络处理，得到第一中间结果，第二个基准特征图和第一中间结果融合经由融合模块的第二层神经网络处理，得到第二中间结果……以此类推。在可选的实施例中，在第二基准图像对应的基准特征图有一个的情况下，其可以经由一个与融合模块结构类似的神经网络处理，得到与融合模块的各层神经网络相对应的特征图，从而融合到融合模块的各层中。
值得说明的是，对隐私图像进行预处理的过程通常可以在客户端完成。在一些业务场景下，其也可以在服务端完成，还可以一部分在客户端完成，一部分在服务端完成，例如步骤501、步骤502在客户端完成，步骤503、步骤504在服务端完成，本说明书在此不做限定。
可以理解，图5示出的图像的预处理流程，使用了图2示出的图像脱敏模型训练流程训练的编码模块和融合模块，因此，在图5的描述中没有明确说明的情况下，关于图2中描述的与图像的预处理对应的相关图像数据处理方法，也同样适应于图5示出的图像的预处理流程，在此不再赘述。
回顾以上过程，由于针对待处理的目标图像通过编码网络进行特征提取，然后和基准图像对应的基准特征图进行融合处理，从而可以生成将目标图像的图像特征作为噪声加入基准图像的脱敏图像。由于在图像脱敏模型训练过程中，加入基准图像的基准特征图，并将得到的脱敏图像与基准图像对比，使得脱敏图像外观与基准图像相似，而图像脱敏模型训练过程中还融合有目标图像的图像特征，从而使得脱敏图像隐藏有可提取目标图像特征的其他信息。该技术构思可以有效保护目标图像的数据隐私，并兼顾目标图像的图像识别结果准确度。
根据另一方面，本说明书的实施例还提供一种图像的预处理装置。该装置可以利用预先训练的编码模块和融合模块，对目标图像进行处理，生成脱敏图像。使得生成的脱敏图像外观与基准图像相似，但隐藏有目标图像的特征信息，以代替目标图像用于针对目标图像的图像识别。
作为一个实施例，如图6所示，图像的预处理装置600包括：第一获取单元61，配置为获取待处理的第一图像；编码单元62，配置为利用预先训练的编码模块对第一图像进行特征提取，得到第一图像对应的编码特征图；第二获取单元63，配置为获取与预定的基准图像集中的第二基准图像对应的基准特征图；融合单元64，配置为通过预先训练的融合模块将第二基准图像对应的基准特征图与编码特征图融合处理，得到第二脱敏图像，其中，第二脱敏图像为在第二基准图像上添加可提取出第一图像的图像特征的图像。
根据一个实施例，装置600还包括提取单元(未示出)，配置为通过以下方式确定第二基准图像对应的基准特征图：
按照第二基准图像各个像素的像素值，确定第二基准图像的初始特征图；
通过预先确定的卷积神经网络处理初始特征图，得到s个通道上的m×n维的基准特征图。
在一个可选的实现方式中，基准图像集中的各个基准图像分别通过各个标识向量表示，第二基准图像对应第二标识向量，装置600还可以包括提取单元(未示出)，配置为通过以下方式确定第二基准图像对应的基准特征图：
通过全连接神经网络对第二标识向量进行处理，得到N维的参考向量；
将参考向量转换成s个通道上的m×n维的基准特征图，其中，N＝m×n×s。
在一个实施例中，融合单元64进一步配置为：
将第二基准图像对应的基准特征图与编码特征图进行拼接或者按元素叠加，得到融合特征图；
通过融合模块处理融合特征图，得到第二脱敏图像。
根据一个可能的设计，第二基准图像对应多个基准特征图，各个基准特征图分别与融合模块中的多层神经网络一一对应，融合单元64进一步配置为：
利用多层神经网络中的单层神经网络，处理相应基准特征图与前一层神经网络输出的中间特征图进行融合得到的融合特征图，其中，在单层神经网络是融合模块中的第一层神经网络的情况下，前一层神经网络输出的中间特征图为编码特征图。
根据再一方面的实施例，本说明书还提供一种图像脱敏模型的训练装置。其中的图像脱敏模型包括编码模块和融合模块，图像脱敏模型用于将待处理图像处理成在基准图像上添加噪声的噪声图像，以将噪声图像应用于待处理图像的图像识别。
作为一个具体实施例，如图7所示，图像脱敏模型的训练装置700包括：提取单元71，配置为利用编码模块对第一样本图像进行特征提取，得到第一样本图像的第一特征图，第一样本图像是用于图像识别的样本集中的图像；获取单元72，配置为获取与第一基准图像对应的基准特征图，其中，第一基准图像是预定的基准图像集中的图像；融合单元73，配置为通过融合模块将第一基准图像对应的基准特征图与第一特征图融合处理，得到第一脱敏图像；确定单元74，配置为基于第一脱敏图像与第一基准图像、第一样本图像的对比，确定图像脱敏模型的模型损失；调整单元75，配置为以最小化模型损失为目标，调整编码模块和融合模块的模型参数，以训练图像脱敏模型。
在一个实施例中，模型损失包括确定单元74通过以下方式对比第一脱敏图像与第一基准图像确定的第一损失：
将第一脱敏图像与第一基准图像按像素逐个对比各个像素值，得到各个像素值分别对应的各个差值，在单个像素的像素值包括多个颜色通道上的像素值的情况下，第一脱敏图像与第一基准图像在单个像素的像素值的差值为各个颜色通道上的像素值差值的和或均值；
根据各个差值确定第一损失。
在一个实施例中，模型损失包括确定单元74通过以下方式对比第一脱敏图像与第一样本图像确定的第二损失：
通过预先训练好的第一卷积神经网络从第一样本图像提取第一特征向量；
通过第二卷积神经网络从第一脱敏图像提取第二特征向量；
以第一特征向量和第二特征向量相一致为目标确定第二损失。
值得说明的是，图6、图7示出的装置实施例分别与图5、图2示出的方法实施例相对应，因此，针对图5、图2的相应描述也适应于图6、图7示出的实施例，在此不再赘述。
根据又一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当计算机程序在计算机中执行时，令计算机执行图2或图5任一项描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，存储器中存储有可执行代码，处理器执行可执行代码时，实现结合前文描述的图2或图5任一项描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上的具体实施方式，对本说明书的技术构思的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本说明书的技术构思的具体实施方式而已，并不用于限定本说明书的技术构思的保护范围，凡在本说明书实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的技术构思的保护范围之内。

Claims (22)

1.一种图像的预处理方法，所述方法包括：
获取待处理的第一图像；
利用预先训练的编码模块对所述第一图像进行特征提取，得到所述第一图像对应的编码特征图；
获取与预定的基准图像集中的第二基准图像对应的基准特征图，所述基准图像集用于存储通用的基准图像；
通过预先训练的融合模块将第二基准图像对应的基准特征图与所述编码特征图融合处理，得到第二脱敏图像，其中，所述第二脱敏图像在视觉上为所述第二基准图像，并可提取出所述第一图像的图像特征的图像，从而用于所述第一图像的图像识别。
2.根据权利要求1所述的方法，其中，所述第二基准图像对应的基准特征图通过以下方式确定：
按照所述第二基准图像各个像素的像素值，确定所述第二基准图像的初始特征图；
通过预先确定的卷积神经网络处理所述初始特征图，得到所述第二基准图像的基准特征图。
3.根据权利要求1所述的方法，其中，基准图像集中的各个基准图像分别通过各个标识向量表示，所述第二基准图像对应第二标识向量，所述第二基准图像对应的基准特征图通过以下方式确定：
通过全连接神经网络对所述第二标识向量进行处理，得到N维的参考向量；
将所述N维的参考向量转换成所述第二基准图像的基准特征图。
4.根据权利要求3所述的方法，其中，所述从预定的基准图像集中获取与第二基准图像对应的基准特征图包括：
随机确定各个标识向量中的第二标识向量；
通过所述第二标识向量获取所述第二基准图像对应的基准特征图。
5.根据权利要求1所述的方法，其中，所述通过预先训练的融合模块将第二基准图像对应的基准特征图与所述编码特征图融合处理，得到第二脱敏图像包括：
将第二基准图像对应的基准特征图与所述编码特征图进行拼接或者按元素叠加，得到融合特征图；
通过所述融合模块处理融合特征图，得到所述第二脱敏图像。
6.根据权利要求1所述的方法，其中，所述第二基准图像对应多个基准特征图，各个基准特征图分别与所述融合模块中的多层神经网络一一对应，所述通过预先训练的融合模块将第二基准图像对应的基准特征图与所述编码特征图融合处理，得到第二脱敏图像包括：
利用所述多层神经网络中的单层神经网络，处理相应基准特征图与利用前一层神经网络得到的中间特征图进行融合得到的融合特征图，其中，在所述单层神经网络是所述融合模块中的第一层神经网络的情况下，利用前一层神经网络得到的中间特征图为所述编码特征图。
7.根据权利要求1所述的方法，其中，所述第二脱敏图像的像素与所述第二基准图像的像素一致，所述编码模块通过多层卷积神经网络实现，所述融合模块基于多层转置卷积神经网络实现。
8.一种图像脱敏模型的训练方法，所述图像脱敏模型包括编码模块和融合模块，所述图像脱敏模型用于将待处理图像处理成在基准图像上添加噪声的噪声图像，以将噪声图像应用于待处理图像的图像识别，所述方法包括：
利用所述编码模块对第一样本图像进行特征提取，得到所述第一样本图像的第一特征图，所述第一样本图像是用于图像识别的样本集中的图像；
获取与第一基准图像对应的基准特征图，其中，所述第一基准图像是预定的基准图像集中的图像，所述基准图像集用于存储通用的基准图像；
通过所述融合模块将所述第一基准图像对应的基准特征图与所述第一特征图融合处理，得到第一脱敏图像，所述第一脱敏图像在视觉上为所述第一基准图像；
基于所述第一脱敏图像与所述第一基准图像、所述第一样本图像的对比，确定图像脱敏模型的模型损失；
以最小化所述模型损失为目标，调整所述编码模块和所述融合模块的模型参数，以训练所述图像脱敏模型。
9.根据权利要求8所述的方法，其中，所述模型损失包括通过以下方式对比所述第一脱敏图像与所述第一基准图像确定的第一损失：
将所述第一脱敏图像与所述第一基准图像按像素逐个对比各个像素值，得到各个像素值分别对应的各个差值，在单个像素的像素值包括多个颜色通道上的像素值的情况下，所述第一脱敏图像与所述第一基准图像在单个像素的像素值的差值为各个颜色通道上的像素值差值的和或均值；
根据各个差值确定所述第一损失。
10.根据权利要求8所述的方法，其中，所述模型损失包括通过以下方式对比所述第一脱敏图像与所述第一样本图像确定的第二损失：
通过预先训练好的第一卷积神经网络从所述第一样本图像提取第一特征向量；
通过第二卷积神经网络从所述第一脱敏图像提取第二特征向量；
以所述第一特征向量和所述第二特征向量相一致为目标确定所述第二损失。
11.根据权利要求10所述的方法，其中，以最小化所述模型损失为目标，调整所述编码模块和所述融合模块的模型参数的同时，所述方法还包括：
以最小化所述模型损失为目标，调整所述第二卷积神经网络的模型参数。
12.一种图像识别模型的训练方法，所述方法包括：
利用按照权利要求8的方式训练的图像脱敏模型，处理样本集中的各个样本图像，得到各个脱敏图像；
将各个脱敏图像依次输入预先确定的图像识别模型，以得到所述图像识别模型对各个脱敏图像分别对应的各个图像识别结果；
基于各个图像识别结果分别与各个样本图像的目标标签进行对比，确定模型损失，并向模型损失减小的方向调整所述图像识别模型的模型参数，从而训练所述图像识别模型。
13.一种图像的预处理装置，所述装置包括：
第一获取单元，配置为获取待处理的第一图像；
编码单元，配置为利用预先训练的编码模块对所述第一图像进行特征提取，得到所述第一图像对应的编码特征图；
第二获取单元，配置为获取与预定的基准图像集中的第二基准图像对应的基准特征图，所述基准图像集用于存储通用的基准图像；
融合单元，配置为通过预先训练的融合模块将第二基准图像对应的基准特征图与所述编码特征图融合处理，得到第二脱敏图像，其中，所述第二脱敏图像在视觉上为所述第二基准图像，并可提取出所述第一图像的图像特征的图像，从而用于所述第一图像的图像识别。
14.根据权利要求13所述的装置，其中，所述装置还包括提取单元，配置为通过以下方式确定所述第二基准图像对应的基准特征图：
按照所述第二基准图像各个像素的像素值，确定所述第二基准图像的初始特征图；
通过预先确定的卷积神经网络处理所述初始特征图，得到所述第二基准图像的基准特征图。
15.根据权利要求13所述的装置，其中，基准图像集中的各个基准图像分别通过各个标识向量表示，所述第二基准图像对应第二标识向量，所述装置还包括提取单元，配置为通过以下方式确定所述第二基准图像对应的基准特征图：
通过全连接神经网络对所述第二标识向量进行处理，得到N维的参考向量；
将所述N维的参考向量转换成所述第二基准图像的基准特征图。
16.根据权利要求13所述的装置，其中，所述融合单元进一步配置为：
将第二基准图像对应的基准特征图与所述编码特征图进行拼接或者按元素叠加，得到融合特征图；
通过所述融合模块处理融合特征图，得到所述第二脱敏图像。
17.根据权利要求13所述的装置，其中，所述第二基准图像对应多个基准特征图，各个基准特征图分别与所述融合模块中的多层神经网络一一对应，所述通过预先训练的融合模块将第二基准图像对应的基准特征图与所述编码特征图融合处理，得到第二脱敏图像包括：
利用所述多层神经网络中的单层神经网络，处理相应基准特征图与利用前一层神经网络得到的中间特征图进行融合得到的融合特征图，其中，在所述单层神经网络是所述融合模块中的第一层神经网络的情况下，利用前一层神经网络得到的中间特征图为所述编码特征图。
18.一种图像脱敏模型的训练装置，所述图像脱敏模型包括编码模块和融合模块，所述图像脱敏模型用于将待处理图像处理成在基准图像上添加噪声的噪声图像，以将噪声图像应用于待处理图像的图像识别，所述装置包括：
提取单元，配置为利用所述编码模块对第一样本图像进行特征提取，得到所述第一样本图像的第一特征图，所述第一样本图像是用于图像识别的样本集中的图像；
获取单元，配置为获取与第一基准图像对应的基准特征图，其中，所述第一基准图像是预定的基准图像集中的图像，所述基准图像集用于存储通用的基准图像；
融合单元，配置为通过所述融合模块将所述第一基准图像对应的基准特征图与所述第一特征图融合处理，得到第一脱敏图像，所述第一脱敏图像在视觉上为所述第一基准图像；
确定单元，配置为基于所述第一脱敏图像与所述第一基准图像、所述第一样本图像的对比，确定图像脱敏模型的模型损失；
调整单元，配置为以最小化所述模型损失为目标，调整所述编码模块和所述融合模块的模型参数，以训练所述图像脱敏模型。
19.根据权利要求18所述的装置，其中，所述模型损失包括所述确定单元通过以下方式对比所述第一脱敏图像与所述第一基准图像确定的第一损失：
将所述第一脱敏图像与所述第一基准图像按像素逐个对比各个像素值，得到各个像素值分别对应的各个差值，在单个像素的像素值包括多个颜色通道上的像素值的情况下，所述第一脱敏图像与所述第一基准图像在单个像素的像素值的差值为各个颜色通道上的像素值差值的和或均值；
根据各个差值确定所述第一损失。
20.根据权利要求18所述的装置，其中，所述模型损失包括所述确定单元通过以下方式对比所述第一脱敏图像与所述第一样本图像确定的第二损失：
通过预先训练好的第一卷积神经网络从所述第一样本图像提取第一特征向量；
通过第二卷积神经网络从所述第一脱敏图像提取第二特征向量；
以所述第一特征向量和所述第二特征向量相一致为目标确定所述第二损失。
21.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-12中任一项的所述的方法。
22.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-12中任一项所述的方法。
CN202110700595.1A 2021-06-23 2021-06-23 图像的预处理方法及装置 Active CN113297624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110700595.1A CN113297624B (zh) 2021-06-23 2021-06-23 图像的预处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110700595.1A CN113297624B (zh) 2021-06-23 2021-06-23 图像的预处理方法及装置

Publications (2)

Publication Number Publication Date
CN113297624A CN113297624A (zh) 2021-08-24
CN113297624B true CN113297624B (zh) 2023-04-18

Family

ID=77329344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110700595.1A Active CN113297624B (zh) 2021-06-23 2021-06-23 图像的预处理方法及装置

Country Status (1)

Country Link
CN (1) CN113297624B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792723B (zh) * 2021-09-08 2024-01-16 浙江力石科技股份有限公司 一种石刻文字识别的优化方法及系统
CN114419067A (zh) * 2022-01-19 2022-04-29 支付宝(杭州)信息技术有限公司 基于隐私保护的图像处理方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633748A (zh) * 2019-09-16 2019-12-31 电子科技大学 一种鲁棒的自动人脸融合方法
CN111783803A (zh) * 2020-08-14 2020-10-16 支付宝(杭州)信息技术有限公司 实现隐私保护的图像处理方法及装置
CN112101294A (zh) * 2020-09-29 2020-12-18 支付宝(杭州)信息技术有限公司 针对图像识别模型的增强训练方法及装置
CN112214773A (zh) * 2020-09-22 2021-01-12 支付宝(杭州)信息技术有限公司 基于隐私保护的图像处理方法、装置和电子设备
JP6830707B1 (ja) * 2020-01-23 2021-02-17 同▲済▼大学 ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法
CN112734436A (zh) * 2021-01-08 2021-04-30 支付宝(杭州)信息技术有限公司 一种支持人脸识别的终端以及方法
WO2021103698A1 (zh) * 2019-11-29 2021-06-03 广州华多网络科技有限公司 换脸方法、装置、电子设备及存储介质
CN112966737A (zh) * 2021-03-04 2021-06-15 支付宝(杭州)信息技术有限公司 图像处理、图像识别模型的训练、图像识别的方法和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110633748A (zh) * 2019-09-16 2019-12-31 电子科技大学 一种鲁棒的自动人脸融合方法
WO2021103698A1 (zh) * 2019-11-29 2021-06-03 广州华多网络科技有限公司 换脸方法、装置、电子设备及存储介质
JP6830707B1 (ja) * 2020-01-23 2021-02-17 同▲済▼大学 ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法
CN111783803A (zh) * 2020-08-14 2020-10-16 支付宝(杭州)信息技术有限公司 实现隐私保护的图像处理方法及装置
CN112214773A (zh) * 2020-09-22 2021-01-12 支付宝(杭州)信息技术有限公司 基于隐私保护的图像处理方法、装置和电子设备
CN112101294A (zh) * 2020-09-29 2020-12-18 支付宝(杭州)信息技术有限公司 针对图像识别模型的增强训练方法及装置
CN112734436A (zh) * 2021-01-08 2021-04-30 支付宝(杭州)信息技术有限公司 一种支持人脸识别的终端以及方法
CN112966737A (zh) * 2021-03-04 2021-06-15 支付宝(杭州)信息技术有限公司 图像处理、图像识别模型的训练、图像识别的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
自然场景文本检测关键技术及应用;易尧华等;《数字印刷》;20200810(第04期);全文 *

Also Published As

Publication number Publication date
CN113297624A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN107944379B (zh) 基于深度学习的眼白图像超分辨率重建与图像增强方法
CN113297624B (zh) 图像的预处理方法及装置
CN111476200A (zh) 基于生成对抗网络的人脸去识别化生成方法
WO2019152983A2 (en) System and apparatus for face anti-spoofing via auxiliary supervision
CN111680672B (zh) 人脸活体检测方法、系统、装置、计算机设备和存储介质
CN112801054B (zh) 人脸识别模型的处理方法、人脸识别方法及装置
Arora et al. A robust framework for spoofing detection in faces using deep learning
US20210397822A1 (en) Living body detection method, apparatus, electronic device, storage medium and program product
KR102126197B1 (ko) 비식별화된 이미지를 이용한 신경망 학습 방법 및 이를 제공하는 서버
CN111553235B (zh) 保护隐私的网络训练方法、身份识别方法及装置
CN111583399A (zh) 图像处理方法、装置、设备、介质和电子设备
WO2023071812A1 (zh) 用于多方安全计算系统的生物特征提取方法及设备
CN111339897A (zh) 活体识别方法、装置、计算机设备和存储介质
Barni et al. Iris deidentification with high visual realism for privacy protection on websites and social networks
CN110222568B (zh) 一种基于时空图的跨视角步态识别方法
CN114036553A (zh) 一种结合k匿名的行人身份隐私保护方法
KR102215535B1 (ko) 신경망을 이용한 안면 부분 이미지 기반 신분 인증 방법 및 이를 수행하는 시스템
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
CN116229528A (zh) 一种活体掌静脉检测方法、装置、设备及存储介质
Kumar et al. Face recognition with frame size reduction and DCT compression using PCA algorithm
CN113723310B (zh) 基于神经网络的图像识别方法及相关装置
US11610081B2 (en) Method for augmenting a training image base representing a print on a background by means of a generative adversarial network
KR101752659B1 (ko) 영상 키 인증 방법 및 시스템
CN114299105A (zh) 图像处理方法、装置、计算机设备及存储介质
Hachim et al. Iris-based authentication model in cloud environment (iamce)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40056989

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant