CN112214773A - 基于隐私保护的图像处理方法、装置和电子设备 - Google Patents

基于隐私保护的图像处理方法、装置和电子设备 Download PDF

Info

Publication number
CN112214773A
CN112214773A CN202010999511.4A CN202010999511A CN112214773A CN 112214773 A CN112214773 A CN 112214773A CN 202010999511 A CN202010999511 A CN 202010999511A CN 112214773 A CN112214773 A CN 112214773A
Authority
CN
China
Prior art keywords
image
frequency information
depth image
depth
color image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010999511.4A
Other languages
English (en)
Other versions
CN112214773B (zh
Inventor
胡永恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010999511.4A priority Critical patent/CN112214773B/zh
Publication of CN112214773A publication Critical patent/CN112214773A/zh
Application granted granted Critical
Publication of CN112214773B publication Critical patent/CN112214773B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例公开了一种基于隐私保护的图像处理方法、装置和电子设备。所述方法包括：获取深度图像和彩色图像，所述深度图像和所述彩色图像包含同一对象的隐私信息；对所述深度图像进行分解，得到所述深度图像的低频信息；对所述彩色图像进行分解，得到所述彩色图像的高频信息；根据所述低频信息和所述高频信息，生成对所述隐私信息进行保护后的脱敏图像。本说明书实施例的图像处理方法、装置和电子设备，可以实现隐私保护。

Description

基于隐私保护的图像处理方法、装置和电子设备
技术领域
本说明书实施例涉及计算机技术领域，特别涉及一种基于隐私保护的图像处理方法、装置和电子设备。
背景技术
目前，生物识别技术广泛地应用于各种领域，是认证用户身份的主要手段之一。在相关技术中，终端设备可以采集生物特征图像，可以向服务器发送所述生物特征图像。服务器可以接收所述生物特征图像；可以利用生物特征图像认证用户身份。
在上述处理过程中，有可能会造成生物特征图像中隐私信息的泄漏。
发明内容
本说明书实施例提供一种基于隐私保护的图像处理方法、装置和电子设备，以对生物特征图像中的隐私信息进行保护。本说明书实施例的技术方案如下。
本说明书实施例的第一方面，提供了一种基于隐私保护的图像处理方法，包括：获取深度图像和彩色图像，所述深度图像和所述彩色图像包含同一对象的隐私信息；对所述深度图像进行分解，得到深度图像的低频信息；对所述彩色图像进行分解，得到彩色图像的高频信息；根据所述低频信息和所述高频信息，生成对所述隐私信息进行保护后的脱敏图像。
本说明书实施例的第二方面，提供了一种基于隐私保护的图像处理装置，包括：获取单元，用于获取深度图像和彩色图像，所述深度图像和所述彩色图像包含同一对象的隐私信息；第一分解单元，用于对所述深度图像进行分解，得到所述深度图像的低频信息；第二分解单元，用于对所述彩色图像进行分解，得到所述彩色图像的高频信息；生成单元，用于根据所述低频信息和所述高频信息，生成对所述隐私信息进行保护后的脱敏图像。
本说明书实施例的第三方面，提供了一种电子设备，包括：至少一个处理器；存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如第一方面所述方法的指令。
本说明书实施例提供的技术方案，将深度图像的低频信息和彩色图像的高频信息进行融合，得到脱敏图像。所述脱敏图像中可以包含所述深度图像的低频信息和所述彩色图像的高频信息，但不包含所述深度图像的高频信息和所述彩色图像的低频信息(或者仅包含少量的所述深度图像的高频信息和所述彩色图像的低频信息)。这样一方面，所述脱敏图像中的隐私信息变得肉眼不可视，实现了对隐私信息的保护。另一方面，所述脱敏图像中的隐私信息可以被机器学习模型识别，能够满足身份识别的需求。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例中图像处理方法的流程示意图；
图2为本说明书实施例中图像处理方法的流程示意图；
图3为本说明书实施例中图像处理装置的结构示意图；
图4为本说明书实施例中电子设备的结构示意图；
图5为本说明书实施例中图像处理过程的示意图；
图6为本说明书实施例中深度图像分解与重构的过程的示意图；
图7为本说明书实施例中彩色图像分解与重构的过程的示意图；
图8a为本说明书实施例转正前原始深度图像的示意图；
图8b为本说明书实施例转正后原始深度图像的示意图。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
本说明书提供一种基于隐私保护的图像处理系统。所述图像处理系统可以包括终端设备和服务器。所述终端设备包括但不限于智能手机、平板电子设备、便携式计算机、个人计算机(PC机)、人脸识别设备(例如刷脸设备)、指纹识别设备(例如指纹机)等。所述服务器可以为单个服务器、由多个服务器构成的服务器集群、或者部署在云端的服务器。
在一些实施例中，所述终端设备可以包括传感器。所述传感器可以包括图像采集设备、指纹传感器等。其中，所述图像采集设备能够测量摄像场景中的点与图像采集设备之间的距离。所述图像采集设备可以包括深度相机。所述深度相机例如可以包括：结构光深度相机、双目深度相机、TOF(Time of Flight，飞行时间)深度相机等。所述终端设备可以控制所述传感器采集深度图像和彩色图像。所述深度图像和所述彩色图像均包含所述对象的隐私信息。所述终端设备可以对所述深度图像进行分解，得到所述深度图像的低频信息；可以对所述彩色图像进行分解，得到所述彩色图像的高频信息；可以根据所述低频信息和所述高频信息，生成对所述隐私信息进行保护后的脱敏图像。所述脱敏图像能够用于身份识别。
在一些实施例中，所述终端设备可以向所述服务器发送所述脱敏图像。所述服务器可以接收所述脱敏图像。所述服务器可以利用所述脱敏图像训练身份识别模型。或者，所述服务器还可以根据所述脱敏图像识别用户身份。
本说明书实施例的图像处理系统，将深度图像的低频信息和彩色图像的高频信息进行融合，得到脱敏图像。所述脱敏图像中可以包含所述深度图像的低频信息和所述彩色图像的高频信息，但不包含所述深度图像的高频信息和所述彩色图像的低频信息(或者仅包含少量的所述深度图像的高频信息和所述彩色图像的低频信息)。所述脱敏图像中包含隐私信息。一方面，所述脱敏图像中的隐私信息变得肉眼不可视，实现了对隐私信息的保护。另一方面，所述脱敏图像中的隐私信息可以被机器学习模型识别，能够满足身份识别的需求。另外，所述脱敏图像具有不可逆性，根据所述脱敏图像无法恢复得到所述深度图像或所述彩色图像。
请参阅图1和图5。本说明书实施例提供一种基于隐私保护的图像处理方法。所述图像处理方法可以应用于所述终端设备，具体可以包括以下步骤。
步骤S12：获取深度图像和彩色图像。
在一些实施例中，所述深度图像和所述彩色图像均可以视为生物特征图像。所述深度图像和所述彩色图像具有对应关系。所述深度图像和所述彩色图像可以包含同一对象的隐私信息。所述对象可以包括人体、人脸、虹膜、巩膜、指纹、掌纹等。所述隐私信息可以包括人脸信息、虹膜信息、巩膜信息、指纹信息、掌纹信息、心跳信息、脉搏信息、染色体信息、牙齿咬痕等。例如，所述深度图像可以为人脸深度图像，所述彩色图像可以为人脸彩色图像。另举一例，所述深度图像可以为虹膜深度图像，所述彩色图像可以为虹膜彩色图像。
其中，所述深度图像，又称为距离影像，能够表示所述对象与图像采集设备之间的距离。在所述深度图像中，像素点的像素值用于表示摄像场景中的点到图像采集设备之间的距离。值得说明的是，在所述深度图像中，像素点的像素值又称为像素点的深度。
其中，所述彩色图像可以包括至少一种颜色通道。例如，所述彩色图像的色彩空间可以包括YUV色彩空间、YCbCr色彩空间、RGB色彩空间、HSL色彩空间等。所述YUV色彩空间可以包括Y、U和V等3种颜色通道，颜色通道Y代表亮度，颜色通道U和颜色通道V代表色度。所述YCbCr色彩空间可以包括Y、Cb和Cr等3种颜色通道，颜色通道Y代表亮度，颜色通道Cb代表蓝色色度，颜色通道Cr代表红色色度。所述RGB色彩空间可以包括R、G和B等3种颜色通道，颜色通道R代表红色，颜色通道G代表绿色，颜色通道B代表蓝色。所述HSL色彩空间可以包括H、S和L等3种颜色通道来，颜色通道H代表色相，颜色通道S代表饱和度，颜色通道L代表亮度。在所述彩色图像中，像素点的像素值包括至少一个通道值，每个通道值对应一种颜色通道。例如，所述彩色图像可以包括R、G和B等3种颜色通道。在所述彩色图像中，像素点的像素值可以包括R颜色通道的通道值、G颜色通道的通道值、以及B颜色通道的通道值。所述彩色图像可以包括至少一个通道图像，每个通道图像可以对应一种颜色通道。在所述通道图像中，每个像素点可以包括一个通道值。例如，所述彩色图像的色彩空间可以为RGB色彩空间，所述彩色图像可以包括R、G和B等3种颜色通道。所述彩色图像可以包括R颜色通道的通道图像、G颜色通道的通道图像、以及B颜色通道的通道图像。在R颜色通道的通道图像中，每个像素点可以包括R颜色通道的通道值。在G颜色通道的通道图像中，每个像素点可以包括G颜色通道的通道值。在B颜色通道的通道图像中，每个像素点可以包括B颜色通道的通道值。
在一些实施例中，所述终端设备可以包括传感器。所述传感器包括图像采集设备、指纹传感器等。所述终端设备可以控制所述传感器采集深度图像和彩色图像。例如，所述图像采集设备包括深度相机。所述终端设备可以控制所述深度相机采集深度图像和彩色图像。
步骤S14：对所述深度图像进行分解，得到所述深度图像的低频信息。
在一些实施例中，所述终端设备可以对所述深度图像进行分解，得到所述深度图像的低频信息和所述深度图像的高频信息。在所述深度图像中，图像强度(例如亮度、灰度等)变化平缓的部分包含较多的低频信息，图像强度变化剧烈的部分包含较多的高频信息。因而所述深度图像的低频信息可以用于表示所述深度图像的背景信息，所述深度图像的高频信息可以用于表示所述深度图像的边缘以及纹理等细节信息。
在一些实施例中，所述终端设备可以对所述深度图像进行一次分解，得到所述深度图像的低频信息和高频信息。或者，所述终端设备还可以对所述深度图像进行多次分解，得到所述深度图像的低频信息和高频信息。在对深度图像进行多次分解的过程中，可以对上一次分解得到的低频信息继续进行分解。例如，所述终端设备可以对所述深度图像进行一次分解，得到低频信息L1和高频信息H1；可以对所述低频信息L1进行二次分解，得到低频信息L2和高频信息H2；可以对所述低频信息L2进行三次分解，得到低频信息L3和高频信息H3。这样通过对所述深度图像进行三次分解，得到低频信息L3、以及高频信息H1、H2和H3。
在一些实施例中，所述终端设备可以利用小波变换(Wavelet Transform)对所述深度图像进行分解。当然，所述终端设备还可以利用其它方法对所述深度图像进行分解。例如，所述终端设备还可以利用傅立叶变换(Fourier Transform)对所述深度图像进行分解。
请参阅图6。以下以小波变换为例，详细介绍对所述深度图像进行分解的过程。
所述终端设备可以利用小波基函数构建低通滤波器和高通滤波器。所述终端设备可以利用低通滤波器和高通滤波器，对所述深度图像中像素点的像素值进行行分解；可以利用低通滤波器和高通滤波器，对行分解结果进行列分解，得到所述深度图像的低频信息LL1、以及高频信息HL1、LH1、HH1。当然，所述终端设备可以利用低通滤波器和高通滤波器，继续对所述深度图像的低频信息LL1进行行分解；可以利用低通滤波器和高通滤波器，对行分解结果进行列分解，得到所述深度图像的低频信息LL2、以及高频信息HL2、LH2、HH2。这样通过对所述深度图像进行两次分解，可以得到所述深度图像的低频信息LL2、以及高频信息HL1、LH1、HH1、HL2、LH2、HH2。
例如，所述小波基函数可以为哈尔基函数(Haar Basis Function)。所述低通滤波器可以为[1，1]，所述高通滤波器可以为[1，-1]。所述深度图像中像素点的像素值可以构成矩阵
Figure BDA0002693786190000051
所述终端设备可以利用低通滤波器[1，1]和高通滤波器[1，-1]，对矩阵M1进行行分解，得到矩阵
Figure BDA0002693786190000052
所述终端设备可以利用低通滤波器[1，1]和高通滤波器[1，-1]，对矩阵M2进行列分解，得到矩阵
Figure BDA0002693786190000053
这样通过对所述深度图像进行一次分解，可以得到所述深度图像的小波分解结果M3。所述矩阵M3包括深度图像的低频信息LL1、以及高频信息HL1、LH1、HH1。所述深度图像的低频信息LL1可以包括矩阵M3的子矩阵
Figure BDA0002693786190000054
所述深度图像的高频信息HL1可以包括矩阵M3的子矩阵
Figure BDA0002693786190000055
所述深度图像的高频信息LH1可以包括矩阵M3的子矩阵
Figure BDA0002693786190000056
所述深度图像的高频信息HH1可以包括矩阵M3的子矩阵
Figure BDA0002693786190000057
步骤S16：对所述彩色图像进行分解，得到所述彩色图像的高频信息。
在一些实施例中，所述终端设备可以对所述彩色图像进行分解，得到所述彩色图像的低频信息和所述彩色图像的高频信息。所述彩色图像的低频信息可以用于表示所述彩色图像的背景信息，所述彩色图像的高频信息可以用于表示所述彩色图像的边缘以及纹理等细节信息。
请参阅图7。所述终端设备可以根据所述彩色图像获取相应的灰度图像；可以对灰度图像进行分解，得到所述灰度图像的低频信息作为所述彩色图像的低频信息、以及得到所述灰度图像的高频信息作为所述彩色图像的高频信息。具体的分解过程可以参考前面的步骤S14。
或者，所述彩色图像可以包括至少一个通道图像。所述终端设备可以分别对各个通道图像进行分解，得到通道图像的低频信息作为所述彩色图像的低频信息、以及得到所述通道图像的高频信息作为所述彩色图像的高频信息。具体的分解过程可以参考前面的步骤S14。
步骤S18：根据所述低频信息和所述高频信息，生成对所述隐私信息进行保护后的脱敏图像。
在一些实施例中，所述终端设备可以忽略所述深度图像的高频信息和所述彩色图像的低频信息；可以根据所述深度图像的低频信息和所述彩色图像的高频信息，生成对隐私信息进行保护后的脱敏图像。所述脱敏图像中可以包含所述深度图像的低频信息和所述彩色图像的高频信息，但不包含所述深度图像的高频信息和所述彩色图像的低频信息(或者仅包含少量的所述深度图像的高频信息和所述彩色图像的低频信息)。
所述脱敏图像中可以包含隐私信息。一方面，所述脱敏图像中的隐私信息变得肉眼不可视，实现了对隐私信息的保护。另一方面，所述脱敏图像中的隐私信息可以被机器学习模型识别，能够满足身份识别的需求。另外，所述脱敏图像具有不可逆性，根据所述脱敏图像无法恢复得到所述深度图像或者所述彩色图像。
在一些实施例中，请参阅图6和图7。所述终端设备可以对深度图像进行分解，得到所述深度图像的低频信息和所述深度图像的高频信息。所述终端设备可以根据彩色图像获取相应的灰度图像；可以对灰度图像进行分解，得到所述灰度图像的低频信息作为所述彩色图像的低频信息、以及得到所述灰度图像的高频信息作为所述彩色图像的高频信息。这样在步骤S18中，所述终端设备可以忽略所述深度图像的高频信息，可以根据所述深度图像的低频信息重构深度图像；可以忽略所述灰度图像的低频信息，可以根据所述灰度图像的高频信息重构灰度图像；可以将重构后的深度图像和重构后的灰度图像进行融合，得到所述脱敏图像。
所述忽略所述深度图像的高频信息，例如可以是：将高频信息置为0。当然，还可以将高频信息置为其它的数值，例如置为1。所述忽略所述深度图像的高频信息，例如还可以是：在重构过程中直接放弃所述深度图像的高频信息。
所述终端设备可以通过一次重构，得到重构后的深度图像。或者，所述终端设备还可以通过多次重构，得到重构后的深度图像。具体的重构次数可以与深度图像的分解次数相等。所述终端设备可以利用小波逆变换重构深度图像。当然，所述终端设备还可以利用其它方法重构深度图像。例如，所述终端设备还可以利用傅立叶逆变换重构深度图像。
例如，所述深度图像的小波分解结果可以为
Figure BDA0002693786190000071
所述分解结果包括深度图像的低频信息LL1、以及高频信息HL1、LH1、HH1。所述终端设备可以将所述分解结果中的高频信息置为0，得到矩阵
Figure BDA0002693786190000072
所述终端设备可以利用小波逆变换，根据矩阵
Figure BDA0002693786190000073
重构深度图像。所述小波分解结果是经过一次分解得到的。因而所述终端设备可以对矩阵
Figure BDA0002693786190000074
进行一次重构，得到重构后的深度图像。
具体地，例如，所述终端设备可以对所述矩阵
Figure BDA0002693786190000075
进行列重构，得到矩阵
Figure BDA0002693786190000076
所述终端设备可以对所述矩阵
Figure BDA0002693786190000077
进行行重构，得到重构后的深度图像
Figure BDA0002693786190000078
所述忽略所述灰度图像的低频信息，例如可以是：将低频信息置为0。当然，还可以将低频信息置为其它的数值，例如置为1。所述忽略所述灰度图像的低频信息，例如还可以是：在重构过程中直接放弃所述灰度图像的低频信息。
所述终端设备可以通过一次重构，得到重构后的灰度图像。或者，所述终端设备还可以通过多次重构，得到重构后的灰度图像。具体的重构次数可以与灰度图像的分解次数相等。所述终端设备可以利用小波逆变换重构灰度图像。当然，所述终端设备还可以利用其它方法重构灰度图像。例如，所述终端设备还可以利用傅立叶逆变换重构灰度图像。
所述终端设备可以采用加权平均的方法将重构后的深度图像和重构后的灰度图像进行融合。例如，所述加权平均的方法可以包括公式F(i，j)＝ω1A(i，j)+ω2B(i，j)。F(i，j)表示融合后的脱敏图像中像素点(i，j)的像素值。A(i，j)表示重构后的深度图像中像素点(i，j)的像素值。B(i，j)表示重构后的灰度图像中像素点(i，j)的像素值。ω1和ω2为权重系数。权重系数ω1和ω2的取值可以为经验值，或者，还可以通过机器学习的方式得到。当然，所述终端设备还可以采用其它的图像融合方法将重构后的深度图像和重构后的灰度图像进行融合。例如，所述终端设备还可以采用取最大值的方法将重构后的深度图像和重构后的灰度图像进行融合。具体地，例如，所述取最大值的方法可以包括公式F(i，j)＝MAX{A(i，j)，B(i，j)}。F(i，j)表示融合后的脱敏图像中像素点(i，j)的像素值。A(i，j)表示重构后的深度图像中像素点(i，j)的像素值。B(i，j)表示重构后的灰度图像中像素点(i，j)的像素值。
在一些实施例中，所述终端设备可以对所述深度图像进行分解，得到所述深度图像的低频信息和所述深度图像的高频信息。所述彩色图像可以包括至少一个通道图像。所述终端设备可以分别对各个通道图像进行分解，得到通道图像的低频信息作为所述彩色图像的低频信息、以及得到所述通道图像的高频信息作为所述彩色图像的高频信息。这样在步骤S18中，所述终端设备可以忽略所述深度图像的高频信息，可以根据所述深度图像的低频信息重构深度图像；可以忽略各个通道图像的低频信息，可以根据各个通道的高频信息重构各个通道图像，可以将重构后的各个通道图像进行通道融合，得到重构后的彩色图像；可以将重构后的深度图像和重构后的彩色图像进行融合，得到所述脱敏图像。
所述终端设备重构深度图像的过程不再赘述。所述终端设备重构通道图像的过程与重构深度图像的过程相类似，在此不再赘述。
所述终端设备可以根据重构后的彩色图像获取相应的灰度图像；可以将重构后的深度图像和灰度图像进行融合，得到所述脱敏图像。具体的融合过程不再赘述。
在一些实施例中，所述终端设备可以向服务器发送所述脱敏图像。所述服务器可以接收所述脱敏图像。在一些实施例中，所述服务器可以利用所述脱敏图像训练身份识别模型。所述身份识别模型可以包括人脸识别模型、指纹识别模型等。所述身份识别模型可以由神经网络模型、MTCNN(Multi-task Convolutional Neural Network)等实现。在另一些实施例中，所述服务器还可以利用所述脱敏图像识别用户身份。具体地，所述服务器可以将所述脱敏图像输入至身份识别模型，得到所述脱敏图像的特征数据；可以利用所述特征数据识别用户身份。例如，所述服务器可以将所述特征数据与特定用户的特征数据进行匹配，以判断所述脱敏图像对应的用户是否为所述特定用户。又例如，所述服务器还可以将所述特征数据在特征数据集合中进行匹配，以识别用户身份。所述特征数据集合包括多个用户的特征数据。
在一些实施例中，请参阅图2，所述步骤S12具体还可以包括以下子步骤。
子步骤S122：采集原始深度图像和原始彩色图像。
在一些实施例中，所述终端设备可以控制传感器采集原始深度图像、以及原始彩色图像。例如，所述终端设备包括传感器，所述传感器可以包括图像采集设备，所述图像采集设备包括深度相机。所述终端设备可以控制所述深度相机采集原始深度图像、以及原始彩色图像。
子步骤S124：获取原始彩色图像中的关键点。
在一些实施例中，依据所述原始彩色图像类型的不同，所述关键点也可以不同。例如，所述原始彩色图像可以为人脸彩色图像，所述关键点可以包括眼睛、鼻尖、嘴角、眉毛、人脸轮廓点等。又例如，所述原始彩色图像可以为指纹彩色图像，所述关键点可以包括中心点、断点、分叉点、转折点等。所述终端设备可以利用级联回归算法(Cascaded Regression)(例如级联姿势回归算法、级联形状回归算法等)、卷积神经网络、主动形状模型(ActiveAppearance Model，AAM)、主动外观模型(Active Shape Model，ASM)、MTCNN(Multi-taskConvolutional Neural Network)等，获取原始彩色图像中的一个或多个关键点。
在一些实施例中，考虑到采集的原始深度图像和原始彩色图像是默认配准的，因而可以将原始彩色图像中关键点的位置信息，作为原始深度图像中关键点的位置信息。这样便获得了原始深度图像中的关键点。
子步骤S126：利用关键点对原始彩色图像进行对齐，将对齐后的原始彩色图像作为待分解的彩色图像。
在一些实施例中，在待分解的彩色图像中，关键点对齐到特定位置。所述特定位置可以是预先设定的。所述特定位置的数量可以为一个或多个。所述特定位置的数量可以与关键点的数量相同。所述终端设备可以对原始彩色图像进行仿射变换，得到待分解的彩色图像。
所述仿射变换(Affine Transformation，又称仿射映射)，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。仿射变换能够保持平直性(例如，直线经仿射变换后仍是直线、弧线经仿射变换后仍是弧线)和平行性(例如，直线之间的相对位置关系保持不变、直线上点的位置顺序不会发生变化)。所述仿射变换可以基于仿射变换参数实现。例如，所述仿射变换参数可以为矩阵
Figure BDA0002693786190000091
具体地，例如，二维坐标(x,y)到二维坐标(u,v)之间的仿射变换可以表示为
Figure BDA0002693786190000092
所述特定位置的位置信息(例如二维坐标)可以作为仿射变换后关键点的位置信息。所述终端设备可以根据关键点的位置信息和特定位置的位置信息，计算第一仿射变换参数；可以利用第一仿射变换参数对原始彩色图像进行仿射变换。具体地，所述终端设备可以利用关键点的位置信息和特定位置的位置信息构建方程组；可以对所述方程组进行求解，得到第一仿射变换参数。所述终端设备可以利用最小二乘法对所述方程组进行求解。利用所述第一仿射变换参数，所述终端设备可以对原始彩色图像进行缩放、旋转、平移等变换。具体地，针对原始彩色图像中的像素点，所述终端设备可以根据该像素点的位置信息，利用所述第一仿射变换参数，计算该像素点的变换后的位置信息。
在一些实施例中，所述终端设备可以利用关键点对原始彩色图像进行裁剪；可以利用关键点对裁剪后的原始彩色图像进行对齐，可以将对齐后的原始彩色图像作为待分解的彩色图像。具体的裁剪方式本实施例不做具体限定。例如，所述终端设备可以利用关键点确定出裁剪框；可以对原始彩色图像在裁剪框中的区域进行裁剪。裁剪后的原始彩色图像中可以包含隐私信息。通过对原始彩色图像进行裁剪，可以减小图像尺寸。
子步骤S128：利用关键点对原始深度图像进行转正，将转正后的原始深度图像与待分解的彩色图像进行对齐，将对齐后的原始深度图像作为待分解的深度图像。
在一些实施例中，所述原始深度图像中的隐私信息在原始深度图像中有可能不是正面朝向的，所述终端设备可以对所述原始深度图像进行转正，使得所述隐私信息转为正面朝向。例如，请参阅图8a和图8b。所述原始深度图像可以为人脸深度图像，所述人脸深度图像中的人脸信息在人脸深度图像中有可能不是正面朝向的，所述终端设备可以对所述人脸深度图像进行转正，使得所述人脸信息转为正面朝向。
所述终端设备可以利用原始深度图像中的关键点对原始深度图像进行转正。具体的转正方式本实施例不做具体限定。例如，所述终端设备可以调整关键点在原始深度图像中的位置，从而实现在整体上调整原始深度图像中隐私信息的朝向。
在一些实施例中，所述终端设备可以利用仿射变换将转正后的原始深度图像与待分解的彩色图像进行对齐。具体地，如前面所述，采集的原始深度图像和原始彩色图像是默认配准的，因而可以将原始彩色图像中关键点的位置信息，作为原始深度图像中关键点的位置信息。这样便获得了转正前原始深度图像中的关键点。根据转正前原始深度图像中关键点的位置信息，所述终端设备可以获得转正后原始深度图像中关键点的位置信息。转正后原始深度图像中关键点的位置信息可以作为仿射变换前关键点的位置信息，转正前原始深度图像中关键点的位置信息可以作为仿射变换后关键点的位置信息。所述终端设备可以根据转正后原始深度图像中关键点的位置信息和转正前原始深度图像中关键点的位置信息，计算第二仿射变换参数；可以利用第二仿射变换参数对转正后的原始深度图像进行仿射变换。具体地，所述终端设备可以利用转正后原始深度图像中关键点的位置信息和转正前原始深度图像中关键点的位置信息构建方程组；可以对所述方程组进行求解，得到第二仿射变换参数。利用所述第二仿射变换参数，所述终端设备可以对转正后的原始深度图像进行缩放、旋转、平移等变换。具体地，针对转正后原始深度图像中的像素点，所述终端设备可以根据该像素点的位置信息，利用所述第二仿射变换参数，计算该像素点的变换后的位置信息。
在一些实施例中，所述终端设备可以利用关键点对原始深度图像进行裁剪；可以利用关键点对裁剪后的原始深度图像进行转正；可以将转正后的原始深度图像与待分解的彩色图像进行对齐，可以将对齐后的原始深度图像作为待分解的深度图像。具体的裁剪方式本实施例不做具体限定。例如，所述终端设备可以利用关键点确定出裁剪框；可以对原始深度图像在裁剪框中的区域进行裁剪。裁剪后的原始深度图像中可以包含隐私信息。通过对原始深度图像进行裁剪，可以减小图像尺寸。
进一步地，所述终端设备可以检测原始深度图像的质量；在原始深度图像的质量满足预设条件时，可以利用关键点对原始深度图像进行裁剪；在原始深度图像的质量不满足预设条件时，可以忽略原始深度图像。例如，所述终端设备可以将原始深度图像输入至质量检测模型中，得到原始深度图像的质量评分；在所述质量评分大于或等于阈值时，可以利用关键点对原始深度图像进行裁剪；在所述质量评分小于阈值时，可以忽略原始深度图像。所述质量检测模型例如可以包括卷积神经网络模型、支持向量机模型等。
进一步地，所述终端设备可以对裁剪后的原始深度图像进行双边滤波(BilateralFilter)；可以对滤波后的原始深度图像进行转正。双边滤波可以去除干扰并保持边缘。所述终端设备可以根据公式
Figure BDA0002693786190000111
对裁剪后的原始深度图像进行双边滤波。g(i，j)表示滤波后的原始深度图像中像素点(i，j)的像素值。f(k，l)表示裁剪后的原始深度图像中像素点(k，l)的像素值。w(i，j，k，l)表示权重系数。所述权重系数由裁剪后的原始深度图像和裁剪后的原始彩色图像确定得到。具体地，
Figure BDA0002693786190000112
fc(i，j)表示裁剪后的原始彩色图像中像素点(i，j)的像素值。fc(k，l)表示裁剪后的原始彩色图像中像素点(k，l)的像素值。σd为原始深度图像的滤波参数。σr为原始彩色图像的滤波参数。
进一步地，所述终端设备可以对转正后的原始深度图像进行归一化；可以将归一化后的原始深度图像与待分解的彩色图像进行对齐。具体地，所述终端设备可以根据转正后的原始深度图像获取点云数据；可以对点云数据进行归一化，得到归一化后的原始深度图像。
所述终端设备可以对转正后的原始深度图像进行坐标变换，得到点云数据。所述终端设备可以根据转正后的原始深度图像中的关键点，获得点云数据中的关键点；可以根据点云数据中的关键点，确定隐私区域的平均深度；可以对隐私区域进行分割，删除点云数据中的前景和背景；可以将删除前景和背景后的点云数据归一化到以平均深度为基准的前后预设数值范围内。所述隐私区域可以为隐私信息所在的区域。例如，所述原始深度图像可以包括人脸深度图像，所述隐私区域可以包括人脸区域，所述关键点可以包括眼睛、鼻尖、嘴角、眉毛、人脸轮廓点等。所述终端设备可以根据点云数据中的关键点，确定人脸区域的平均深度；可以对人脸区域进行分割，得到人脸的前景和背景；可以删除点云数据中除人脸以外的前景的点云数据和背景的点云数据，以排除前景和背景的干扰。所述终端设备可以将排除前景和背景干扰后的人脸区域的深度，归一化到以平均深度为基准的前后预设数值范围内。以平均深度为基准的前后预设数值范围，是指在所述平均深度至前方预设数值之间的深度范围以及在所述平均深度至后方预设数值之间的深度范围。所述前方指人脸面向深度相机的一侧，所述后方指人脸背向深度相机的一侧。例如，人脸区域的平均深度可以为D1，预设数值可以为D2。归一化后人脸区域的深度范围可以为[D1-D2，D1+D2]。应当理解的是，考虑到人脸轮廓的厚度有限，而且大致处于一定的范围内。因此，所述预设数值可以设置为30mm-50mm之间的任意数值，优选取40mm。
本说明书实施例的图像处理方法，将深度图像的低频信息和彩色图像的高频信息进行融合，得到脱敏图像。所述脱敏图像中可以包含所述深度图像的低频信息和所述彩色图像的高频信息，但不包含所述深度图像的高频信息和所述彩色图像的低频信息(或者仅包含少量的所述深度图像的高频信息和所述彩色图像的低频信息)。这样一方面，所述脱敏图像中的隐私信息变得肉眼不可视，实现了对隐私信息的保护。另一方面，所述脱敏图像中的隐私信息可以被机器学习模型识别，能够满足身份识别的需求。
以下介绍本说明书实施例的一个刷脸支付场景示例。
在本场景示例中，所述终端设备可以为刷脸支付设备。所述刷脸支付设备包括深度相机。所述刷脸支付设备可以控制所述深度相机采集原始人脸深度图像、以及原始人脸彩色图像。
在本场景示例中，所述刷脸支付设备可以获取原始人脸彩色图像中的关键点；可以利用关键点对原始人脸彩色图像进行裁剪；可以利用关键点对裁剪后的原始人脸彩色图像进行对齐，可以将对齐后的原始人脸彩色图像作为待分解的人脸彩色图像。
考虑到采集的原始人脸深度图像和原始人脸彩色图像是默认配准的，因而可以将原始人脸彩色图像中关键点的位置信息，作为原始人脸深度图像中关键点的位置信息。这样便获得了原始人脸深度图像中的关键点。所述刷脸支付设备可以利用关键点对原始人脸深度图像进行裁剪；可以对裁剪后的原始人脸深度图像进行双边滤波；可以对滤波后的原始人脸深度图像进行转正；可以对转正后的原始人脸深度图像进行归一化；可以将归一化后的原始人脸深度图像与待分解的人脸彩色图像进行对齐。所述刷脸支付设备可以将对齐后的原始人脸深度图像作为待分解的人脸深度图像。
所述刷脸支付设备可以对待分解的人脸深度图像进行分解，得到人脸深度图像的低频信息和高频信息；可以忽略人脸深度图像的高频信息，根据人脸深度图像的低频信息重构人脸深度图像；可以对待分解的人脸彩色图像进行分解，得到人脸彩色图像的低频信息和高频信息；可以忽略人脸彩色图像的低频信息，根据人脸彩色图像的高频信息重构人脸彩色图像；可以将重构后的人脸深度图像和重构后的人脸彩色图像进行融合，得到脱敏图像。
在本场景示例中，所述刷脸支付设备可以向支付服务器发送所述脱敏图像。所述支付服务器可以接收所述脱敏图像；可以根据所述脱敏图像识别用户身份；可以根据用户身份，向所述刷脸支付设备发送付款方的付款账户。所述刷脸支付设备可以接收所述付款账户；可以根据所述付款账户生成付款界面。在接收到用户在所述付款界面输入的付款信息(例如付款金额、付款密码等)以后，所述刷脸支付设备可以向所述支付服务器发送付款请求。所述支付服务器可以接收所述付款请求；可以执行付款操作。
在本场景示例中，将人脸深度图像的低频信息和人脸彩色图像的高频信息进行融合，得到脱敏图像。所述脱敏图像中可以包含人脸深度图像的低频信息和人脸彩色图像的高频信息，但不包含人脸深度图像的高频信息和人脸彩色图像的低频信息。这样一方面，所述脱敏图像中的隐私信息变得肉眼不可视，实现了对隐私信息的保护。另一方面，所述脱敏图像中的隐私信息可以被机器学习模型识别，能够满足身份识别的需求。
本说明书实施例还提供一种基于隐私保护的图像处理装置。
请参阅图3，所述基于隐私保护的图像处理装置可以包括以下单元。
获取单元32，用于获取深度图像和彩色图像，所述深度图像和所述彩色图像包含同一对象的隐私信息；
第一分解单元34，用于对所述深度图像进行分解，得到所述深度图像的低频信息；
第二分解单元36，用于对所述彩色图像进行分解，得到所述彩色图像的高频信息；
生成单元38，用于根据所述低频信息和所述高频信息，生成对所述隐私信息进行保护后的脱敏图像。
下面介绍本说明书电子设备的一个实施例。图4是该实施例中电子设备的硬件结构示意图。如图4所示，该电子设备可以包括一个或多个(图中仅示出一个)处理器、存储器和传输模块。当然，本领域普通技术人员可以理解，图4所示的硬件结构仅为示意，其并不对上述电子设备的硬件结构造成限定。在实际中该电子设备还可以包括比图4所示更多或者更少的组件单元；或者，具有与图4所示不同的配置。
所述存储器可以包括高速随机存储器；或者，还可以包括非易失性存储器，例如一个或者多个磁性存储装置、闪存或者其他非易失性固态存储器。当然，所述存储器还可以包括远程设置的网络存储器。所述存储器可以用于存储应用软件的程序指令或模块，所述应用软件例如可以基于图1所对应的实施例来实现。
所述处理器可以按任何适当的方式实现。例如，所述处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述处理器可以读取并执行所述存储器中的程序指令或模块。
所述传输模块可以用于经由网络进行数据传输，例如经由诸如互联网、企业内部网、局域网、移动通信网等网络进行数据传输。
本说明书还提供计算机存储介质的一个实施例。所述计算机存储介质包括但不限于随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard Disk Drive,HDD)、存储卡(Memory Card)等等。所述计算机存储介质存储有计算机程序指令。在所述计算机程序指令被执行时实现：本说明书图1所对应的实施例。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于装置实施例、电子设备实施例、以及计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。另外，可以理解的是，本领域技术人员在阅读本说明书文件之后，可以无需创造性劳动想到将本说明书列举的部分或全部实施例进行任意组合，这些组合也在本说明书公开和保护的范围内。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。
本说明书可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。

Claims (16)

1.一种基于隐私保护的图像处理方法，包括：
获取深度图像和彩色图像，所述深度图像和所述彩色图像包含同一对象的隐私信息；
对所述深度图像进行分解，得到所述深度图像的低频信息；
对所述彩色图像进行分解，得到所述彩色图像的高频信息；
根据所述低频信息和所述高频信息，生成对所述隐私信息进行保护后的脱敏图像。
2.如权利要求1所述的方法，所述获取深度图像和彩色图像，包括：
采集原始深度图像和原始彩色图像；
获取原始彩色图像中的关键点；
利用关键点对原始彩色图像进行对齐，将对齐后的原始彩色图像作为待分解的彩色图像；
利用关键点对原始深度图像进行转正，将转正后的原始深度图像与待分解的彩色图像进行对齐，将对齐后的原始深度图像作为待分解的深度图像。
3.如权利要求2所述的方法，还包括：
利用关键点分别对原始深度图像和原始彩色图像进行裁剪；
所述利用关键点对原始彩色图像进行对齐，包括：
利用关键点对裁剪后的原始彩色图像进行对齐；
所述利用关键点对原始深度图像进行转正，包括：
利用关键点对裁剪后的原始深度图像进行转正。
4.如权利要求3所述的方法，所述对裁剪后的原始深度图像进行转正，包括：
对裁剪后的原始深度图像进行双边滤波处理；
利用关键点对滤波后的原始深度图像进行转正。
5.如权利要求2所述的方法，所述将转正后的原始深度图像与待分解的彩色图像进行对齐，包括：
根据转正后的原始深度图像获取点云数据；
对点云数据进行归一化，得到归一化后的原始深度图像；
将归一化后的原始深度图像与待分解的彩色图像进行对齐。
6.如权利要求5所述的方法，所述对点云数据进行归一化，包括：
利用关键点确定隐私区域的平均深度；
对隐私区域进行分割，删除点云数据中的前景和背景；
将删除前景和背景后的点云数据归一化到以平均深度为基准的前后预设数值范围内。
7.如权利要求1所述的方法，所述对所述深度图像进行分解，包括：
对所述深度图像进行分解，得到所述深度图像的低频信息和高频信息；
所述对所述彩色图像进行分解，包括：
对所述彩色图像进行分解，得到所述彩色图像的低频信息和高频信息；
所述生成对隐私信息进行保护后的脱敏图像，包括：
忽略所述深度图像的高频信息和所述彩色图像的低频信息，根据所述深度图像的低频信息和所述彩色图像的高频信息，生成对隐私信息进行保护后的脱敏图像。
8.如权利要求7所述的方法，所述生成对隐私信息进行保护后的脱敏图像，包括：
忽略所述深度图像的高频信息，根据所述深度图像的低频信息重构深度图像；
忽略所述彩色图像的低频信息，根据所述彩色图像的高频信息重构彩色图像；
将重构后的深度图像和重构后的彩色图像进行融合，得到脱敏图像。
9.如权利要求8所述的方法，所述将重构后的深度图像和重构后的彩色图像进行融合，包括：
根据重构后的彩色图像获取灰度图像；
将重构后的深度图像和灰度图像进行融合，得到脱敏图像。
10.如权利要求9所述的方法，所述将重构后的深度图像和灰度图像进行融合，包括：
根据公式F(i，j)＝ω1A(i，j)+ω2B(i，j)，将重构后的深度图像和灰度图像进行融合；
F(i，j)表示脱敏图像中像素点(i，j)的像素值；
A(i，j)表示重构后的深度图像中像素点(i，j)的像素值；
B(i，j)表示灰度图像中像素点(i，j)的像素值；
ω1和ω2为权重系数。
11.如权利要求8所述的方法，所述对所述彩色图像进行分解，包括：
根据所述彩色图像获取灰度图像；
对所述灰度图像进行分解，得到所述灰度图像的低频信息和高频信息；
所述根据所述彩色图像的高频信息重构彩色图像，包括：
忽略所述灰度图像的低频信息，根据所述灰度图像的高频信息重构灰度图像；
所述将重构后的深度图像和重构后的彩色图像进行融合，包括：
将重构后的深度图像和重构后的灰度图像进行融合，得到脱敏图像。
12.如权利要求11所述的方法，所述将重构后的深度图像和重构后的灰度图像进行融合，包括：
根据公式F(i，j)＝ω1A(i，j)+ω2B(i，j)，将重构后的深度图像和重构后的灰度图像进行融合；
F(i，j)表示脱敏图像中像素点(i，j)的像素值；
A(i，j)表示重构后的深度图像中像素点(i，j)的像素值；
B(i，j)表示重构后的灰度图像中像素点(i，j)的像素值；
ω1和ω2为权重系数。
13.如权利要求1所述的方法，所述脱敏图像能够用于身份识别。
14.如权利要求1所述的方法，还包括：
向服务器发送所述脱敏图像，以便服务器利用所述脱敏图像训练身份识别模型；或者，
向服务器发送所述脱敏图像，以便服务器根据所述脱敏图像识别用户身份。
15.一种基于隐私保护的图像处理装置，包括：
获取单元，用于获取深度图像和彩色图像，所述深度图像和所述彩色图像包含同一对象的隐私信息；
第一分解单元，用于对所述深度图像进行分解，得到所述深度图像的低频信息；
第二分解单元，用于对所述彩色图像进行分解，得到所述彩色图像的高频信息；
生成单元，用于根据所述低频信息和所述高频信息，生成对所述隐私信息进行保护后的脱敏图像。
16.一种电子设备，包括：
至少一个处理器；
存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-14中任一项所述方法的指令。
CN202010999511.4A 2020-09-22 2020-09-22 基于隐私保护的图像处理方法、装置和电子设备 Active CN112214773B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010999511.4A CN112214773B (zh) 2020-09-22 2020-09-22 基于隐私保护的图像处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010999511.4A CN112214773B (zh) 2020-09-22 2020-09-22 基于隐私保护的图像处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN112214773A true CN112214773A (zh) 2021-01-12
CN112214773B CN112214773B (zh) 2022-07-05

Family

ID=74050148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010999511.4A Active CN112214773B (zh) 2020-09-22 2020-09-22 基于隐私保护的图像处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112214773B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766197A (zh) * 2021-01-26 2021-05-07 支付宝(杭州)信息技术有限公司 基于隐私保护的人脸识别方法及装置
CN112966737A (zh) * 2021-03-04 2021-06-15 支付宝(杭州)信息技术有限公司 图像处理、图像识别模型的训练、图像识别的方法和系统
CN113297624A (zh) * 2021-06-23 2021-08-24 支付宝(杭州)信息技术有限公司 图像的预处理方法及装置
WO2023178662A1 (en) * 2022-03-25 2023-09-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image and video coding using multi-sensor collaboration and frequency adaptive processing

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101990081A (zh) * 2010-11-11 2011-03-23 宁波大学 一种虚拟视点图像的版权保护方法
EP2309449A1 (en) * 2009-10-09 2011-04-13 EPFL Ecole Polytechnique Fédérale de Lausanne Method to produce a full-color smoothed image
US20110244919A1 (en) * 2010-03-19 2011-10-06 Aller Joshua V Methods and Systems for Determining Image Processing Operations Relevant to Particular Imagery
US20150055775A1 (en) * 2013-08-20 2015-02-26 Electronics And Telecommunications Research Institute Image processing apparatus and operation method thereof
US20170200044A1 (en) * 2016-01-08 2017-07-13 Electronics And Telecommunications Research Institute Apparatus and method for providing surveillance image based on depth image
CN107392852A (zh) * 2017-07-10 2017-11-24 深圳大学 深度图像的超分辨率重建方法、装置、设备及存储介质
CN108024027A (zh) * 2016-11-02 2018-05-11 佳能株式会社 图像处理设备、图像处理方法和存储介质
CN109086691A (zh) * 2018-07-16 2018-12-25 阿里巴巴集团控股有限公司 一种三维脸部活体检测方法、脸部认证识别方法及装置
CN109146814A (zh) * 2018-08-20 2019-01-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111144169A (zh) * 2018-11-02 2020-05-12 深圳比亚迪微电子有限公司 人脸识别方法、装置和电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2309449A1 (en) * 2009-10-09 2011-04-13 EPFL Ecole Polytechnique Fédérale de Lausanne Method to produce a full-color smoothed image
US20110244919A1 (en) * 2010-03-19 2011-10-06 Aller Joshua V Methods and Systems for Determining Image Processing Operations Relevant to Particular Imagery
CN101990081A (zh) * 2010-11-11 2011-03-23 宁波大学 一种虚拟视点图像的版权保护方法
US20150055775A1 (en) * 2013-08-20 2015-02-26 Electronics And Telecommunications Research Institute Image processing apparatus and operation method thereof
US20170200044A1 (en) * 2016-01-08 2017-07-13 Electronics And Telecommunications Research Institute Apparatus and method for providing surveillance image based on depth image
CN108024027A (zh) * 2016-11-02 2018-05-11 佳能株式会社 图像处理设备、图像处理方法和存储介质
CN107392852A (zh) * 2017-07-10 2017-11-24 深圳大学 深度图像的超分辨率重建方法、装置、设备及存储介质
CN109086691A (zh) * 2018-07-16 2018-12-25 阿里巴巴集团控股有限公司 一种三维脸部活体检测方法、脸部认证识别方法及装置
CN109146814A (zh) * 2018-08-20 2019-01-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111144169A (zh) * 2018-11-02 2020-05-12 深圳比亚迪微电子有限公司 人脸识别方法、装置和电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘文兆等: "保留色彩细节的多义图像混合系统研究", 《计算机工程与应用》 *
王紫薇等: "基于CNN的彩色图像引导的深度图像超分辨率重建", 《图学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766197A (zh) * 2021-01-26 2021-05-07 支付宝(杭州)信息技术有限公司 基于隐私保护的人脸识别方法及装置
CN112966737A (zh) * 2021-03-04 2021-06-15 支付宝(杭州)信息技术有限公司 图像处理、图像识别模型的训练、图像识别的方法和系统
CN113297624A (zh) * 2021-06-23 2021-08-24 支付宝(杭州)信息技术有限公司 图像的预处理方法及装置
CN113297624B (zh) * 2021-06-23 2023-04-18 支付宝(杭州)信息技术有限公司 图像的预处理方法及装置
WO2023178662A1 (en) * 2022-03-25 2023-09-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image and video coding using multi-sensor collaboration and frequency adaptive processing

Also Published As

Publication number Publication date
CN112214773B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN112214773B (zh) 基于隐私保护的图像处理方法、装置和电子设备
CN111814194B (zh) 基于隐私保护的图像处理方法、装置和电子设备
US10769435B2 (en) Method of avoiding biometrically identifying a subject within an image
JP6961797B2 (ja) プレビュー写真をぼかすための方法および装置ならびにストレージ媒体
CN111783146B (zh) 基于隐私保护的图像处理方法、装置和电子设备
EP3644599B1 (en) Video processing method and apparatus, electronic device, and storage medium
CN107818305A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110852310B (zh) 三维人脸识别方法、装置、终端设备及计算机可读介质
US10108793B2 (en) Systems and methods for secure biometric processing
CN107862274A (zh) 美颜方法、装置、电子设备和计算机可读存储介质
CN109492642B (zh) 车牌识别方法、装置、计算机设备及存储介质
KR102095443B1 (ko) 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치
CN111127303A (zh) 背景虚化方法、装置、终端设备及计算机可读存储介质
CN112651380A (zh) 人脸识别方法、人脸识别装置、终端设备及存储介质
CN111369478B (zh) 人脸图像增强方法、装置、计算机设备和存储介质
CN112115811A (zh) 基于隐私保护的图像处理方法、装置和电子设备
CN109726613B (zh) 一种用于检测的方法和装置
CN112597911A (zh) 一种磨皮处理方法、装置、移动终端和存储介质
CN111222446A (zh) 人脸识别方法、人脸识别装置及移动终端
CN113642428B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN114049670A (zh) 图像处理方法、装置、电子设备及存储介质
KR20220062595A (ko) 사용자의 생체 특성을 갖는 사용자의 객체 이미지로부터 데이터를 획득하는 방법(A method for obtaining data from an image of an object of a user that has a biometric characteristic of the user)
KR20210050649A (ko) 모바일 기기의 페이스 인증 방법
CN111414864A (zh) 一种人脸活体检测方法和相关装置
CN113421197B (zh) 一种美颜图像的处理方法及其处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40044729

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant