CN111028170A - 图像处理方法、图像处理装置、电子设备和可读存储介质 - Google Patents
图像处理方法、图像处理装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN111028170A CN111028170A CN201911253781.4A CN201911253781A CN111028170A CN 111028170 A CN111028170 A CN 111028170A CN 201911253781 A CN201911253781 A CN 201911253781A CN 111028170 A CN111028170 A CN 111028170A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- processed
- definition
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 161
- 238000003672 processing method Methods 0.000 title claims abstract description 59
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000005520 cutting process Methods 0.000 claims abstract description 13
- 230000000875 corresponding effect Effects 0.000 claims description 58
- 238000013507 mapping Methods 0.000 claims description 52
- 238000005070 sampling Methods 0.000 claims description 46
- 230000001815 facial effect Effects 0.000 claims description 25
- 230000007704 transition Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 9
- 230000002596 correlated effect Effects 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 7
- 230000008439 repair process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 230000006399 behavior Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
- G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。图像处理方法包括：获取参考图像，参考图像的清晰度大于预设清晰度；根据待处理图像中的人脸的清晰度选择修复模型，修复模型的处理量与人脸的清晰度呈负相关；裁切出人脸以得到人脸图像；采用修复模型并根据参考图像对人脸图像进行处理，以得到修复图像。本申请的图像处理方法、图像处理装置、电子设备和计算机可读存储介质根据人脸的清晰度选择修复模型，其中，修复模型的处理量与人脸的清晰度呈负相关，由于清晰度比较高的人脸需要的纹理细节比较少，因此，可以采用处理量小的修复模型处理人脸图像以缩短图像处理时间。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。
背景技术
在拍摄图像时，由于相机运动、被摄物体运动等影响因素的存在，导致拍摄的人脸图像可能比较模糊。对模糊的人脸图像进行处理，会带来图像处理时间长等问题。
发明内容
本申请的实施例提供了一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。
本申请实施方式的图像处理方法包括：获取参考图像，所述参考图像的清晰度大于预设清晰度；根据待处理图像中的人脸的清晰度选择修复模型，所述修复模型的处理量与所述人脸的清晰度呈负相关；裁切出所述人脸以得到人脸图像；采用所述修复模型并根据所述参考图像对所述人脸图像进行处理，以得到修复图像。
本申请实施方式的图像处理装置包括第一获取模块、选择模块、第一处理模块和第二处理模块。所述第一获取模块用于获取参考图像，所述参考图像的清晰度大于预设清晰度。所述选择模块用于根据待处理图像中的人脸的清晰度选择修复模型，所述修复模型的处理量与所述人脸的清晰度呈负相关。所述第一处理模块用于裁切出所述人脸以得到人脸图像。所述第二处理模块用于采用所述修复模型并根据所述参考图像对所述人脸图像进行处理，以得到修复图像。
本申请实施方式的电子设备包括壳体和处理器，所述处理器安装在所述壳体上。所述处理器用于：获取参考图像，所述参考图像的清晰度大于预设清晰度；根据待处理图像中的人脸的清晰度选择修复模型，所述修复模型的处理量与所述人脸的清晰度呈负相关；裁切出所述人脸以得到人脸图像；采用所述修复模型并根据所述参考图像对所述人脸图像进行处理，以得到修复图像。
本申请实施方式的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现：获取参考图像，所述参考图像的清晰度大于预设清晰度；根据待处理图像中的人脸的清晰度选择修复模型，所述修复模型的处理量与所述人脸的清晰度呈负相关；裁切出所述人脸以得到人脸图像；采用所述修复模型并根据所述参考图像对所述人脸图像进行处理，以得到修复图像。
本申请实施方式的图像处理方法、图像处理装置、电子设备和计算机可读存储介质根据人脸的清晰度选择修复模型，其中，修复模型的处理量与人脸的清晰度呈负相关，由于清晰度比较低的人脸需要的纹理细节比较多，因此，可以采用处理量大的修复模型处理人脸图像以提高处理后的人脸图像的清晰度；由于清晰度比较高的人脸需要的纹理细节比较少，因此，可以采用处理量小的修复模型处理人脸图像以缩短图像处理时间。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的图像处理方法的流程示意图。
图2是本申请某些实施方式的图像处理装置的示意图。
图3是本申请某些实施方式的电子设备的示意图。
图4是本申请某些实施方式的图像处理方法的流程示意图。
图5是本申请某些实施方式的图像处理装置的示意图。
图6是本申请某些实施方式的图像处理方法的流程示意图。
图7是本申请某些实施方式的图像处理装置的第二处理模块的示意图。
图8是本申请某些实施方式的图像处理方法的场景示意图。
图9和图10是本申请某些实施方式的图像处理方法的流程示意图。
图11是本申请某些实施方式的图像处理装置的示意图。
图12是本申请某些实施方式的人脸检测模型的示意图。
图13是本申请某些实施方式的图像处理方法的流程示意图。
图14是本申请某些实施方式的图像处理装置的示意图。
图15是本申请某些实施方式的图像处理方法的流程示意图。
图16是本申请某些实施方式的图像处理装置的示意图。
图17是本申请某些实施方式的图像处理方法的流程示意图。
图18是本申请某些实施方式的图像处理装置的示意图。
图19是本申请某些实施方式的图像处理方法的流程示意图。
图20是本申请某些实施方式的图像处理装置的示意图。
图21是本申请某些实施方式的图像处理方法的流程示意图。
图22是本申请某些实施方式的图像处理装置的示意图。
图23是本申请某些实施方式的图像处理方法的流程示意图。
图24是本申请某些实施方式的图像处理装置的示意图。
图25是本申请某些实施方式的图像处理方法的场景示意图。
图26是本申请某些实施方式的计算机可读存储介质与电子设备的连接示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
请参阅图1，本申请实施方式的图像处理方法包括：
012：获取参考图像，参考图像的清晰度大于预设清晰度；
014：根据待处理图像中的人脸的清晰度选择修复模型，修复模型的处理量与人脸的清晰度呈负相关；
016：裁切出人脸以得到人脸图像，本申请的人脸图像可以是指人脸的最小包围盒(Bounding-Box)，即人脸所在的最小矩形框；
018：采用修复模型并根据参考图像对人脸图像进行处理，以得到修复图像。
请参阅图2，本申请实施方式的图像处理装置100包括第一获取模块12、选择模块14、第一处理模块 16和第二处理模块18。本申请实施方式的图像处理方法可以由本申请实施方式的图像处理装置100实现，其中，步骤012可以由第一获取模块12实现，步骤014可以由选择模块14实现，步骤016可以由第一处理模块16实现，步骤018可以由第二处理模块18实现。也即是说，第一获取模块12可用于获取参考图像，参考图像的清晰度大于预设清晰度。选择模块14可用于根据待处理图像中的人脸的清晰度选择修复模型，修复模型的处理量与人脸的清晰度呈负相关。第一处理模块16可用于裁切出人脸以得到人脸图像。第二处理模块18可用于采用修复模型并根据参考图像对人脸图像进行处理，以得到修复图像。
请参阅图3，本申请实施方式的电子设备1000包括壳体200和处理器400，处理器400安装在壳体200 上，本申请实施方式的图像处理方法可以由本申请实施方式的电子设备1000实现。其中，步骤012、步骤 014、步骤016和步骤018均可以由处理器400实现，也即是说，处理器400可用于：获取参考图像，参考图像的清晰度大于预设清晰度；根据待处理图像中的人脸的清晰度选择修复模型，修复模型的处理量与人脸的清晰度呈负相关；裁切出人脸以得到人脸图像；采用修复模型并根据参考图像对人脸图像进行处理，以得到修复图像。
本申请实施方式的图像处理方法、图像处理装置100和电子设备1000根据人脸的清晰度选择修复模型，其中，修复模型的处理量与人脸的清晰度呈负相关，由于清晰度比较低的人脸需要的纹理细节比较多，因此，可以采用处理量大的修复模型处理人脸图像以提高处理后的人脸图像的清晰度；由于清晰度比较高的人脸需要的纹理细节比较少，因此，可以采用处理量小的修复模型处理人脸图像以缩短图像处理时间。
步骤012、步骤014、步骤016三者的执行顺序可以是任意的。例如，可以先执行步骤012，然后执行步骤014，再执行步骤016；也可以先执行步骤014，然后执行步骤012，再执行步骤016；还可以是先执行步骤016，然后执行步骤014，再执行步骤012；还可以是步骤012、步骤014和步骤016同时执行等，在此不做具体限定。
本申请实施方式的待处理图像可以是电子装置1000的相册中的图像，相册中的图像可以是利用电子装置1000的成像装置300拍摄获得，也可以是电子装置1000利用通信方式获得的，例如利用电子装置1000的通讯软件(QQ、微信等)、蓝牙、WLAN、USB接口等获得。在待处理图像由成像装置300拍摄获得时，可以先由成像装置300的图像传感器拍摄获得RAW格式的待处理图像，然后输入ISP中进行处理以得到YUV/RGB格式的待处理图像，然后再对YUV/RGB格式的待处理图像进行处理。本申请实施方式的参考图像也可以是电子装置1000的相册中的图像。
本申请实施方式的成像装置300可以是指摄像头，例如可以是前置摄像头、或后置摄像头、或前置摄像头和后置摄像头，摄像头的数量可以是一个或多个，在此不做具体限定。电子设备1000可以包括手机、电脑、相机等。
请参阅图4，在某些实施方式中，图像处理方法还包括：
022：在人脸的清晰度小于预定清晰度时，确定对待处理图像进行处理。
请参阅图6，在某些实施方式中，图像处理装置100还包括第三处理模块22。步骤022可以由第三处理模块22实现，也即是说，第三处理模块22可用于：在人脸的清晰度小于预定清晰度时，确定对待处理图像进行处理。
请再次参阅图3，在某些实施方式中，步骤022可以由处理器400实现。也即是说，处理器400可用于：在人脸的清晰度小于预定清晰度时，确定对待处理图像进行处理。
具体地，在人脸的清晰度小于预定清晰度时，即此时人脸会比较模糊，因此，可以确定对待处理图像进行处理，即，采用本申请实施方式的图像处理方法对待处理图像进行处理以得到修复图像。例如，在步骤012、步骤014和步骤016的执行顺序为：先执行步骤012，然后执行步骤014，再执行步骤016时，可以在人脸的清晰度小于预定清晰度时，进入步骤012以开始执行本申请实施方式的图像处理方法。
在人脸的清晰度大于预定清晰度时，由于此时的人脸比较清晰，因此，可以不对待处理图像进行处理。
在某些实施方式中，修复模型包括多个，多个修复模型例如根据处理量从小到大依次为第一修复模型、第二修复模型、第三修复模型和第四修复模型。根据人脸的清晰度与设定清晰度的比较结果可以选择对应的修复模型对人脸图像进行处理，例如在人脸的清晰度小于第一设定清晰度且大于第二设定清晰度时，选择第一修复模型；在人脸的清晰度小于第二设定清晰度且大于第三设定清晰度时，选择第二修复模型；在人脸的清晰度小于第三设定清晰度且大于第四设定清晰度时，选择第三修复模型；在人脸的清晰度小于第四设定清晰度时，选择第四修复模型。其中，各个设定清晰度根据清晰度大小从小到大依次为：第四设定清晰度、第三设定清晰度、第二设定清晰度和第一设定清晰度。其中，第一设定清晰度与预定清晰度可以是相同的。
请参阅图6，在某些实施方式中，步骤018包括：
0181：尺寸调整步骤，处理人脸图像和参考图像以得到待处理人脸图像和待处理参考图像，待处理人脸图像的尺寸和待处理参考图像的尺寸相同；本申请中的尺寸可以是指图像的分辨率。
0182：匹配步骤，提取待处理人脸图像的特征以得到人脸图像特征图，提取待处理参考图像的特征以得到参考图像特征图，获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的特征的匹配度大于预设匹配度；
0183：以预设采样次数循环执行尺寸调整步骤和匹配步骤以分别得到多个尺寸的待处理参考图像对应的匹配特征，其中，多个尺寸包括第一尺寸和第二尺寸，第一尺寸小于第二尺寸，任意两次循环执行尺寸调整步骤和匹配步骤时对应的待处理参考图像的尺寸不相同，预设采样次数与修复模型的处理量正相关；
0184：映射步骤，将待处理参考图像对应的匹配特征映射到对应尺寸的待处理人脸图像中以得到中间图像，对中间图像进行上采样以得到过渡图像；
0185：将过渡图像作为待处理人脸图像并以预设映射次数循环执行映射步骤，直至待处理人脸图像的尺寸由第一尺寸变成第二尺寸，预设映射次数与预设采样次数相等，具有第二尺寸的中间图像作为修复图像。
请参阅图7，在某些实施方式中，第二处理模块18包括尺寸调整单元181、匹配单元182、第一循环单元183、映射单元184和第二循环单元185。步骤0181可以由尺寸调整单元181实现，步骤0182可以由匹配单元182实现，步骤0183可以由第一循环单元183实现，步骤0184可以由映射单元184实现，步骤0185可以由第二循环单元185实现。也即是说，尺寸调整单元181可用于尺寸调整步骤：处理人脸图像和参考图像以得到待处理人脸图像和待处理参考图像，待处理人脸图像的尺寸和待处理参考图像的尺寸相同。匹配单元182可用于匹配步骤：提取待处理人脸图像的特征以得到人脸图像特征图，提取待处理参考图像的特征以得到参考图像特征图，获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的特征的匹配度大于预设匹配度。第一循环单元183可用于：以预设采样次数循环执行尺寸调整步骤和匹配步骤以分别得到多个尺寸的待处理参考图像对应的匹配特征，其中，多个尺寸包括第一尺寸和第二尺寸，第一尺寸小于第二尺寸，任意两次循环执行尺寸调整步骤和匹配步骤时对应的待处理参考图像的尺寸不相同，预设采样次数与修复模型的处理量正相关。映射单元184可用于映射步骤：将待处理参考图像对应的匹配特征映射到对应尺寸的待处理人脸图像中以得到中间图像，对中间图像进行上采样以得到过渡图像。第二循环单元186可用于：将过渡图像作为待处理人脸图像并以预设映射次数循环执行映射步骤，直至待处理人脸图像的尺寸由第一尺寸变成第二尺寸，预设映射次数与预设采样次数相等，具有第二尺寸的中间图像作为修复图像。
请再次参阅图3，在某些实施方式中，步骤0181、步骤0182、步骤0183、步骤0184和步骤0185均可以由处理器400实现。也即是说，处理器400可用于：尺寸调整步骤，处理人脸图像和参考图像以得到待处理人脸图像和待处理参考图像，待处理人脸图像的尺寸和待处理参考图像的尺寸相同；匹配步骤，提取待处理人脸图像的特征以得到人脸图像特征图，提取待处理参考图像的特征以得到参考图像特征图，获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的特征的匹配度大于预设匹配度；以预设采样次数循环执行尺寸调整步骤和匹配步骤以分别得到多个尺寸的待处理参考图像对应的匹配特征，其中，多个尺寸包括第一尺寸和第二尺寸，第一尺寸小于第二尺寸，任意两次循环执行尺寸调整步骤和匹配步骤时对应的待处理参考图像的尺寸不相同，预设采样次数与修复模型的处理量正相关；映射步骤，将待处理参考图像对应的匹配特征映射到对应尺寸的待处理人脸图像中以得到中间图像，对中间图像进行上采样以得到过渡图像；将过渡图像作为待处理人脸图像并以预设映射次数循环执行映射步骤，直至待处理人脸图像的尺寸由第一尺寸变成第二尺寸，预设映射次数与预设采样次数相等，具有第二尺寸的中间图像作为修复图像。
具体地，预设采样次数与修复模型的处理量正相关，也即是说，修复模型的处理量越大，预设采样次数也越多；修复模型的处理量越小，预设采样次数也越少。预设采样次数可以是一次或多次。在一个实施例中，预设采样次数为2-6中的任意整数，即预设采样次数可以为2、3、4、5或6。在预设采样次数为6 时，已经能够较为全面地提取待处理人脸图像和待处理参考图像的特征，因此，预设采样次数大于6时，提取的特征的信息量基本不变，但是会增大特征提取的工作量。
请结合图8，在第一次执行尺寸调整步骤和匹配步骤时，参考图像可以为第二尺寸，尺寸调整步骤具体可以为：处理人脸图像以使人脸图像的尺寸与参考图像的尺寸相同，即，将人脸图像的尺寸调整为第二尺寸以形成待处理人脸图像，将参考图像作为待处理参考图像。然后通过匹配步骤分别提取待处理人脸图像的人脸图像特征图和待处理参考图像的参考图像特征图，并获取参考图像特征图的匹配特征，即获得第二尺寸的待处理参考图像的匹配特征。可以将待处理人脸图像输入到卷积神经网络进行特征提取以得到人脸图像特征图，将待处理参考图像输入到卷积神经网络进行特征提取以得到参考图像特征图。处理人脸图像以使人脸图像的尺寸与参考图像的尺寸相同，具体可以为：在人脸图像的尺寸大于参考图像的尺寸时，对人脸图像进行下采样处理以使得人脸图像的尺寸与参考图像的尺寸相同；在人脸图像的尺寸小于参考图像的尺寸时，对人脸图像进行上采样处理以使得人脸图像的尺寸与参考图像的尺寸相同。上采样可理解为对图像进行放大处理，下采样可理解为对图像进行缩小处理。待处理人脸图像和待处理参考图像的尺寸相同，有利于人脸图像特征图和参考图像特征图的特征进行匹配。
在后续(第二次或第二次之后)执行尺寸调整步骤和匹配步骤时，尺寸调整步骤具体可以为：将上一次执行尺寸调整步骤和匹配步骤时获得的上一待处理人脸图像作为当前人脸图像，上一待处理参考图像作为当前参考图像，对当前人脸图像和当前参考图像分别进行下采样处理，以得到当前待处理人脸图像和当前待处理参考图像。然后通过匹配步骤分别提取当前待处理人脸图像的人脸图像特征图和当前待处理参考图像的参考图像特征图，并获取参考图像特征图的匹配特征，即获得当前尺寸的当前待处理参考图像的匹配特征，其中，当前尺寸小于第二尺寸。在其他实施方式中，(第二次或第二次之后)执行尺寸调整步骤和匹配步骤时，尺寸调整步骤也可以为：直接对原参考图像(未经过任意一次尺寸调整步骤)进行下采样处理以获得当前尺寸的当前待处理人脸图像，直接处理原人脸图像(未经过任意一次尺寸调整步骤)以使人脸图像的尺寸与参考图像的尺寸相同。
以预设采样次数循环执行尺寸调整步骤和匹配步骤，每一次循环执行尺寸调整步骤和匹配步骤均可以获得对应尺寸的待处理参考图像对应的匹配特征，从而得到多个尺寸的待处理参考图像对应的匹配特征。最后一次循环执行尺寸调整步骤和匹配步骤时，尺寸调整后的待处理人脸图像和尺寸调整后的待处理参考图像可以均为第一尺寸。
任意两次循环执行尺寸调整步骤和匹配步骤时对应的待处理参考图像的尺寸不同，任意两次循环执行尺寸调整步骤和匹配步骤时对应的待处理人脸图像的尺寸不同，每一次循环执行尺寸调整步骤和匹配步骤时对应的待处理参考图像和待处理人脸图像的尺寸相同。例如，以预设采样次数为四次为例，第一次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸(即第二尺寸)，待处理人脸图像的尺寸可以调整为参考图像的原尺寸；第二次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的二分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的二分之一；第三次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的四分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的四分之一；第四次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的八分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的八分之一。又例如，以预设采样次数为四次为例，第一次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸(即第二尺寸)，待处理人脸图像的尺寸可以调整为参考图像的原尺寸；第二次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的三分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的三分之一；第三次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的六分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的六分之一；第四次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的十分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的十分之一。其中，最后一次循环执行尺寸调整步骤得到的待处理参考图像的尺寸及待处理人脸图像的尺寸均为第一尺寸。
在获得各个尺寸的待处理参考图像对应的匹配特征后，可以将各个尺寸的待处理参考图像对应的匹配特征映射到对应尺寸的待处理人脸图像中，其中，映射过程中不对图像的尺寸造成影响。具体地，在第一次执行映射步骤时，待处理人脸图像为第一尺寸(具有第一尺寸的待处理人脸图像即为最后一次循环执行尺寸调整步骤得到的待处理人脸图像)，映射步骤具体可以为：将第一尺寸的待处理参考图像对应的匹配特征映射到第一尺寸的待处理人脸图像中以得到第一尺寸的中间图像，对第一尺寸的中间图像进行上采样以得到过渡图像。在后续(第二次或第二次之后)执行映射步骤时，映射步骤具体可以为：将过渡图像作为当前尺寸的当前待处理人脸图像，当前尺寸大于上一次执行映射步骤时的待处理人脸图像的尺寸，将当前尺寸的待处理参考图像对应的匹配特征映射到当前尺寸的当前待处理人脸图像以得到当前尺寸的当前中间图像，对当前尺寸的当前中间图像进行上采样以得到过渡图像。
以预设映射次数循环执行映射步骤，每一次循环执行映射步骤均可以将待处理参考图像对应的匹配特征映射到对应尺寸的待处理人脸图像中，从而得到对应的中间图像。最后一次循环执行映射步骤时，待处理人脸图像、待处理参考图像、中间图像均为第二尺寸，具有第二尺寸的中间图像即可作为修复图像，此时可以不需要再对第二尺寸的中间图像进行上采样，即不需要得到过渡图像。
预设映射次数与预设采样次数相等，映射步骤中的各个尺寸分别与尺寸调整步骤中的各个尺寸相对应。例如，预设映射次数与预设采样次数均为三次，尺寸调整步骤中各个待处理参考图像的尺寸为：参考图像的原尺寸、参考图像的原尺寸的二分之一、参考图像的原尺寸的四分之一，则在匹配步骤中，可以获得尺寸为原尺寸的待处理参考图像对应的匹配特征、尺寸为原尺寸的二分之一的待处理参考图像对应的匹配特征、尺寸为原尺寸的四分之一的待处理参考图像对应的匹配特征。在映射步骤中，可以将尺寸为原尺寸的四分之一的待处理参考图像对应的匹配特征映射到尺寸为原尺寸的四分之一的待处理人脸图像中，以得到尺寸为原尺寸的四分之一的中间图像，对该中间图像进行上采样以得到尺寸为原尺寸的二分之一的过渡图像；将尺寸为原尺寸的二分之一的过渡图像作为尺寸为原尺寸的二分之一的待处理人脸图像，将尺寸为原尺寸的二分之一的待处理参考图像对应的匹配特征映射到尺寸为原尺寸的二分之一的待处理人脸图像中，以得到尺寸为原尺寸的二分之一的中间图像，对该中间图像进行上采样以得到尺寸为原尺寸的过渡图像；将尺寸为原尺寸的过渡图像作为尺寸为原尺寸的待处理人脸图像，将尺寸为原尺寸的待处理参考图像对应的匹配特征映射到尺寸为原尺寸的待处理人脸图像中，以得到尺寸为原尺寸的中间图像，该中间图像即为修复图像。
每个映射步骤可以由一个映射网络实现，映射网络可以采用卷积层和激活层实现。预设映射次数越多，就需要越多的映射网络，也需要越多的卷积层和激活层，从而能够利用较多的卷积层和激活层将匹配特征映射到待处理人脸图像中。
修复模型的处理量与预设采样次数正相关，而预设采样次数与预设映射次数相等，因此，修复模型的处理量与预设映射次数也是正相关的。在修复模型的处理量比较大时，预设采样次数更多，从而可以获得更多的匹配特征，而预设映射次数更多则可以将获得的匹配特征映射到人脸图像中，从而使得人脸图像的纹理信息更加清晰。在修复模型的处理量比较小时，预设采样次数和预设映射次数的减少能够降低修复模型的工作量，从而缩短图像处理的时间，减少功耗。
修复模型具体可以为深度学习模型。不同处理量的修复模型可以预先设置好对应的预设采样次数和预设映射次数的网络后，然后采用不同清晰度的人脸训练获得，训练修复模型的训练图像的人脸清晰度与修复模型的处理量是负相关的。具体地，例如处理量较小的修复模型，可以预先设置好较少的预设采样次数和预设映射次数，然后利用人脸较清晰的人脸图像和参考图像进行训练。处理量较大的修复模型，可以预先设置好较多的预设采样次数和预设映射次数，然后利用人脸较模糊的人脸图像和参考图像进行训练。例如，多个修复模型例如根据处理量从小到大依次为第一修复模型、第二修复模型、第三修复模型和第四修复模型。可以利用人脸的清晰度小于第一设定清晰度且大于第二设定清晰度的人脸图像和参考图像训练第一修复模型；可以利用人脸的清晰度小于第二设定清晰度且大于第三设定清晰度的人脸图像和参考图像训练第二修复模型；可以利用人脸的清晰度小于第三设定清晰度且大于第四设定清晰度的人脸图像和参考图像训练第三修复模型；可以利用人脸的清晰度小于第四设定清晰度的人脸图像和参考图像训练第四修复模型。其中，各个设定清晰度根据清晰度大小从小到大依次为：第四设定清晰度、第三设定清晰度、第二设定清晰度和第一设定清晰度。
请参阅图9，在某些实施方式中，0182包括：
01822：提取待处理人脸图像的特征以得到人脸图像特征图，提取待处理参考图像的特征以得到参考图像特征图，根据人脸的五官分布位置对人脸图像特征图和参考图像特征图进行匹配以建立人脸五官特征对应关系，根据人脸五官特征对应关系获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的对应五官的特征的匹配度大于预设匹配度。
请再次参阅图7，在某些实施方式中，步骤01822可以由匹配单元182实现。也即是说，匹配单元182 可用于：提取待处理人脸图像的特征以得到人脸图像特征图，提取待处理参考图像的特征以得到参考图像特征图，根据人脸的五官分布位置对人脸图像特征图和参考图像特征图进行匹配以建立人脸五官特征对应关系，根据人脸五官特征对应关系获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的对应五官的特征的匹配度大于预设匹配度。
请再次参阅图3，在某些实施方式中，步骤01822可以由处理器400实现。也即是说，处理器400可用于：提取待处理人脸图像的特征以得到人脸图像特征图，提取待处理参考图像的特征以得到参考图像特征图，根据人脸的五官分布位置对人脸图像特征图和参考图像特征图进行匹配以建立人脸五官特征对应关系，根据人脸五官特征对应关系获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的对应五官的特征的匹配度大于预设匹配度。
由于通过人脸的五官分布位置建立了人脸五官特征对应关系，因此，在参考图像特征图和人脸图像特征图进行匹配时，可以采用人脸五官特征对应关系分别对人脸的五官进行特征匹配，避免由于人脸纹理的相似性而带来的特征匹配出现错位的情况(例如将参考图像特征图的与鼻子对应的特征和人脸图像特征图的与嘴唇对应的特征相匹配)，因此，可以准确地进行特征匹配，从而便于后续映射步骤中将准确的特征映射到准确的位置，从而使得修复图像更加真实和准确。
具体地，在获得人脸图像特征图和参考图像特征图后，可以获得人脸的五官分布位置，从而建立人脸五官特征对应关系，即，人脸图像特征图中鼻子的特征与参考图像特征图中鼻子的特征相对应，人脸图像特征图中眼睛的特征与参考图像特征图中眼睛的特征相对应等。在进行特征匹配时，查找参考图像特征图中的鼻子的特征与人脸图像特征图中鼻子的特征的匹配度高于预设匹配度的匹配特征，查找参考图像特征图中的眼睛的特征与人脸图像特征图中眼睛的特征的匹配度高于预设匹配度的匹配特征。
在某些实施方式中，参考图像可以由处理器400自动选取，也可以由用户手动选取。其中，若参考图像由用户手动选取，选取后的参考图像需要通过清晰度检测的方式判断清晰度是否大于预设清晰度，在用户手动选取的参考图像的清晰度大于预设清晰度时，根据用户选取的参考图像对人脸图像进行处理，以得到修复图像。在用户手动选取的参考图像的清晰度小于预设清晰度时，可以不对人脸图像进行处理，并提示用户“参考图像选择错误”。
若参考图像由处理器400自动选取，在不存在“人脸与人脸图像的相似度大于预定相似度”的参考图像时，可以不对人脸图像进行处理，并提示用户“未找到合适的参考图像”。
在某些实施方式中，可以获取人脸与待处理图像的人脸的相似度大于预定相似度的参考图像。在待处理图像的人脸与参考图像的人脸之间的相似度大于预定相似度时，待处理图像的人脸与参考图像的人脸可以认为是同一个人，此时利用清晰度大于预设清晰度的参考图像对人脸图像进行处理，能够更大程度地提高处理后的修复图像的清晰度和真实性。
请参阅图10，在某些实施方式中，图像处理方法还包括：
024：对待处理图像进行下采样处理，处理下采样后的待处理图像以确定人脸。
请参阅图11，在某些实施方式中，图像处理装置100还包括第四处理模块24。步骤024可以由第四处理模块24实现，也即是说，第四处理模块24可用于：对待处理图像进行下采样处理，处理下采样后的待处理图像以确定人脸。
请再次参阅图3，在某些实施方式中，步骤024可以由处理器400实现。也即是说，处理器400可用于：对待处理图像进行下采样处理，处理下采样后的待处理图像以确定人脸。
具体地，可以先对待处理图像进行下采样处理以减小待处理图像的尺寸。其中，下采样可以减少待处理图像所需要处理的数据量，从而可以减少人脸检测所需的时间，且能够降低电子设备1000的功耗。在获得下采样后的待处理图像后，可以检测出下采样后的待处理图像中的人脸。示例地，可以根据图12所示的人脸检测模型检测出待处理图像中的人脸。图12所示的人脸检测模型的具体检测过程为：卷积层及池化层(Convolution andPooling)对待处理图像做特征提取以得到多张特征图像；最后一层卷积层(Final ConvFeature Map)对卷积层和池化层输出的特征图像执行最后一次卷积，并将最后一次卷积得到的特征图像输出至全连接层(Fully-connected Layers)中。全连接层对最后一层卷积层输出的特征图像进行分类，并将分类结果输出至坐标输出支路(Coordinate)。坐标输出支路输出人脸在待处理图像中的位置坐标。至此，即完成待处理图像中的人脸的检测。
请参阅图13，在某些实施方式中，图像处理方法还包括：
026：根据人脸的轮廓裁切出人脸以得到人脸区域；
028：将人脸区域转换为人脸区域灰度图。
请参阅图14，在某些实施方式中，图像处理装置100还包括第五处理模块26和第六处理模块28。步骤026可以由第五处理模块26实现，步骤028可以由第六处理模块28实现，也即是说，第五处理模块26 可用于根据人脸的轮廓裁切出人脸以得到人脸区域。第六处理模块28可用于将人脸区域转换为人脸区域灰度图。
请再次参阅图3，在某些实施方式中，步骤026和步骤028均可以由处理器400实现。也即是说，处理器400可用于：根据人脸的轮廓裁切出人脸以得到人脸区域；将人脸区域转换为人脸区域灰度图。
具体地，根据轮廓裁切出的人脸区域更加准确，在转换为人脸区域灰度图后，计算获得的清晰度也更加准确。根据人脸的轮廓裁切出人脸以得到人脸区域，具体可以为：将待处理图像输入AI抠像的模型中，AI抠像的模型即可根据人脸的轮廓精确地获取待处理图像的人脸区域。将人脸区域转换为人脸区域灰度图，具体可以为：取人脸区域的每个像素的红色通道像素值、绿色通道像素值和蓝色通道像素值的平均值作为人脸区域灰度图对应像素的灰度值。
在某些实施方式中，在根据人脸的轮廓裁切出人脸以得到人脸区域后，还可以将人脸区域的尺寸缩放至预设尺寸，如此，可以避免由于尺寸的不同而对导致清晰度的计算结果不同，避免由于尺寸的不同而需要设置不同的比较阈值。因此，在将人脸区域的尺寸缩放至预设尺寸后，在进行清晰度比较时，每个不同待处理图像的人脸的清晰度的比较阈值可以相同。
请参阅图15，在某些实施方式中，图像处理方法还包括：
032：采用拉普拉斯算子对人脸区域灰度图做卷积处理以得到拉普拉斯卷积图；
034：根据拉普拉斯卷积图计算获得人脸的清晰度。
请参阅图16，在某些实施方式中，图像处理装置100还包括第七处理模块32和第一计算模块34。步骤032可以由第七处理模块32实现，步骤034可以由第一计算模块34实现，也即是说，第七处理模块32 可用于采用拉普拉斯算子对人脸区域灰度图做卷积处理以得到拉普拉斯卷积图。第一计算模块34可用于根据拉普拉斯卷积图计算获得人脸的清晰度。
请再次参阅图3，在某些实施方式中，步骤032和步骤034均可以由处理器400实现。也即是说，处理器400可用于：采用拉普拉斯算子对人脸区域灰度图做卷积处理以得到拉普拉斯卷积图；根据拉普拉斯卷积图计算获得人脸的清晰度。
具体地，拉普拉斯算子是用来测量图像的二阶导数，经过拉普拉斯算子对图像做卷积处理后，可以突出图像中强度快速变化的区域，从而用来进行边缘检测，例如可以用来检测人脸的五官边缘。在一个实施例中，可以采用3*3大小的二阶拉普拉斯算子来对人脸区域灰度图做卷积处理。3*3的拉普拉斯算子例如可以采用第一行为1、1、1，第二行为1、-8、1，第三行为1、1、1的卷积核。当然，3*3的拉普拉斯算子还可以采用第一行为0、1、0，第二行为1、-4、1，第三行为0、1、0的卷积核，在此不做具体限定。在处理获得拉普拉斯卷积图后，可以根据拉普拉斯卷积图计算获得人脸的清晰度，具体可以为：计算拉普拉斯卷积图的所有像素值的方差或标准差，该方差或标准差即可表征人脸的清晰度。该方差或标准差越大，代表拉普拉斯卷积图具有较广的频响范围，说明人脸的清晰度比较高；该方差或标准差越小，代表拉普拉斯卷积图具有较窄的频响范围，说明人脸的清晰度比较低。如此，可以通过拉普拉斯算子快速且准确地获得人脸的清晰度。
请参阅图17，在某些实施方式中，图像处理方法还包括：
036：采用索贝尔算子对人脸区域灰度图做卷积处理以得到索贝尔卷积图；
038：根据索贝尔卷积图计算获得人脸的清晰度。
请参阅图18，在某些实施方式中，图像处理装置100还包括第八处理模块36和第二计算模块38。步骤036可以由第八处理模块36实现，步骤038可以由第二计算模块38实现，也即是说，第八处理模块36 可用于采用索贝尔算子对人脸区域灰度图做卷积处理以得到索贝尔卷积图。第二计算模块38可用于根据索贝尔卷积图计算获得人脸的清晰度。
请再次参阅图3，在某些实施方式中，步骤036和步骤038均可以由处理器400实现。也即是说，处理器400可用于：采用索贝尔算子对人脸区域灰度图做卷积处理以得到索贝尔卷积图；根据索贝尔卷积图计算获得人脸的清晰度。
具体地，索贝尔算子可以分别计算水平和垂直方向的梯度，梯度值越高，图像越清晰，梯度值越低，图像越模糊。在一个实施例中，可以采用3*3大小的水平方向索贝尔算子和3*3大小的垂直方向索贝尔算子来分别计算图像在水平和垂直方向的梯度。3*3大小的水平方向索贝尔算子可以采用第一行为-1、0、1，第二行为-2、0、2，第三行为-1、0、1的卷积核；3*3大小的垂直方向索贝尔算子可以采用第一行为1、2、 1，第二行为0、0、0，第三行为-1、-2、-1的卷积核。当然索贝尔算子也可以采用其他的卷积核，在此不做具体限定。其中，根据水平方向索贝尔算子可以获得水平方向索贝尔卷积图，根据垂直方向索贝尔算子可以获得垂直方向索贝尔卷积图。可以单独根据水平方向索贝尔卷积图或垂直方向索贝尔卷积图计算获得人脸的清晰度，例如计算水平方向索贝尔卷积图的所有像素值的方差或标准差，该方差或标准差即可表征人脸的清晰度。该方差或标准差越大，说明人脸的清晰度比较高；该方差或标准差越小，说明人脸的清晰度比较低。也可以根据水平方向索贝尔卷积图和垂直方向索贝尔卷积图获得整体方向索贝尔卷积图，例如取水平方向索贝尔卷积图中的每一个像素点的像素值和垂直方向索贝尔卷积图对应像素点的像素值的平均值作为整体方向索贝尔卷积图对应像素点的像素值。计算整体方向索贝尔卷积图的所有像素值的方差或标准差，该方差或标准差即可表征人脸的清晰度。如此，可以通过索贝尔算子快速且准确地获得人脸的清晰度。
请参阅图19，在某些实施方式中，图像处理方法还包括：
042：对人脸区域灰度图进行快速傅里叶变换处理以得到快速傅里叶变换图；
044：计算快速傅里叶变换图的高频成分；
046：根据高频部分确定人脸的清晰度。
请参阅图20，在某些实施方式中，图像处理装置100还包括第九处理模块42、第三计算模块44和确定模块46。步骤042可以由第九处理模块42实现，步骤044可以由第三计算模块44实现，步骤046可以由确定模块46实现，也即是说，第九处理模块42可用于对人脸区域灰度图进行快速傅里叶变换处理以得到快速傅里叶变换图。第三计算模块44可用于计算快速傅里叶变换图的高频成分。确定模块46可用于根据高频部分确定人脸的清晰度。
请再次参阅图3，在某些实施方式中，步骤042、步骤044和步骤046均可以由处理器400实现。也即是说，处理器400可用于：对人脸区域灰度图进行快速傅里叶变换处理以得到快速傅里叶变换图；计算快速傅里叶变换图的高频成分；根据高频部分确定人脸的清晰度。
具体地，人脸区域灰度图进行快速傅里叶变换处理后，得到的快速傅里叶变换图可以体现人脸区域灰度图的高低频分布。人脸越清晰，人脸区域灰度图的细节信息(例如边缘)越多，快速傅里叶变换图中的高频成分也就越多；人脸越模糊，人脸区域灰度图的细节信息越少，快速傅里叶变换图中的高频成分也就越少。因此，可以通过高频成分的量来确定人脸的清晰度。高频成分越多，人脸的清晰度越高；高频成分越少，人脸的清晰度越低。如此，可以通过快速傅里叶变换快速且准确地获得人脸的清晰度。
请参阅图21，在某些实施方式中，图像处理方法还包括：
048：利用深度学习网络对人脸区域灰度图进行分类以确定人脸的清晰度。
请参阅图22，在某些实施方式中，图像处理装置100还包括第十处理模块48。步骤048可以由第十处理模块48实现，也即是说，第十处理模块48可用于利用深度学习网络对人脸区域灰度图进行分类以确定人脸的清晰度。
请再次参阅图3，在某些实施方式中，步骤048可以由处理器400实现。也即是说，处理器400可用于：利用深度学习网络对人脸区域灰度图进行分类以确定人脸的清晰度。
具体地，可以利用大量的已标定的、清晰度处于各种清晰度范围的训练图像来生成深度学习网络。深度学习网络可以通过多个卷积层提取出训练图像的高阶特征，然后将这些高阶特征与已标定的清晰度范围关联起来，从而能够学习到：各个清晰度范围的图像具备什么特征。因此，人脸区域灰度图输入深度学习网络后，深度学习网络能够根据人脸区域灰度图的特征信息对人脸区域灰度图进行分类，以确定人脸区域灰度图的清晰度范围。其中，清晰度范围包括清晰度大于预定清晰度、清晰度小于第一设定清晰度(即预定清晰度)且大于第二设定清晰度、清晰度小于第二设定清晰度且大于第三设定清晰度、清晰度小于第三设定清晰度且大于第四设定清晰度、清晰度小于第四设定清晰度等。
参考图像的清晰度也可以通过上述实施方式的拉普拉斯算子、索贝尔算子、快速傅里叶变换和深度学习网络中的至少一种方式进行确定，在此不再赘述。
请参阅图23，在某些实施方式中，图像处理方法还包括：
052：获取待处理图像中除人脸外的背景图像；
054：融合背景图像与修复图像以得到目标图像。
请参阅图24，在某些实施方式中，图像处理装置100还包括第二获取模块52和第十一处理模块54。步骤052可以由第二获取模块52实现，步骤054可以由第十一处理模块54实现。也即是说，第二获取模块52可用于获取待处理图像中除人脸外的背景图像。第十一处理模块54可用于融合背景图像与修复图像以得到目标图像。
请再次参阅图3，在某些实施方式中，步骤052和步骤054均可以由处理器400实现。也即是说，处理器400可用于：获取待处理图像中除人脸外的背景图像；融合背景图像与修复图像以得到目标图像。
具体地，待处理图像被切割为人脸图像和背景图像，人脸图像经过处理后获得修复图像，然后再将修复图像与背景图像融合在一起重新形成完整的图像以作为目标图像。其中，修复图像与背景图像融合可以是直接将修复图像和背景图像拼接在一起。为了避免处理后的修复图像与背景图像之间的过渡不自然，还可以对修复图像的边界部分做羽化处理。
请参阅图25，在一个实施例中，裁剪出待处理图像I1的人脸以得到人脸图像I2并得到背景图像I3。对人脸图像I2进行处理以增加人脸图像I2的纹理细节并获得修复图像I4，从而使得修复图像I4的清晰度较高。将背景图像I3和修复图像I4融合在一起，即可得到清晰度较高的目标图像I5。
请参阅图26，本申请实施方式的计算机可读存储介质500，其上存储有计算机程序510，计算机程序510被处理器400执行时实现上述任意一种实施方式的图像处理方法。
例如，计算机程序510被处理器400执行的情况下，实现以下图像处理方法的步骤：
012：获取参考图像，参考图像的清晰度大于预设清晰度；
014：根据待处理图像中的人脸的清晰度选择修复模型，修复模型的处理量与人脸的清晰度呈负相关；
016：裁切出人脸以得到人脸图像；
018：采用修复模型并根据参考图像对人脸图像进行处理，以得到修复图像。
计算机可读存储介质500可设置在图像处理装置100或者电子设备1000内，也可设置在云端服务器内，此时，图像处理装置100或者电子设备1000能够与云端服务器进行通讯来获取到相应的计算机程序 510。
可以理解，计算机程序510包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质500可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。
处理器400可以是指驱动板。驱动板可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (14)
1.一种图像处理方法，其特征在于，所述图像处理方法包括：
获取参考图像，所述参考图像的清晰度大于预设清晰度；
根据待处理图像中的人脸的清晰度选择修复模型，所述修复模型的处理量与所述人脸的清晰度呈负相关；
裁切出所述人脸以得到人脸图像；
采用所述修复模型并根据所述参考图像对所述人脸图像进行处理，以得到修复图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述采用所述修复模型并根据所述参考图像对所述人脸图像进行处理，以得到修复图像，包括：
尺寸调整步骤，处理所述人脸图像和所述参考图像以得到待处理人脸图像和待处理参考图像，所述待处理人脸图像的尺寸和所述待处理参考图像的尺寸相同；
匹配步骤，提取所述待处理人脸图像的特征以得到人脸图像特征图，提取所述待处理参考图像的特征以得到参考图像特征图，获取所述参考图像特征图的匹配特征，所述匹配特征与所述人脸图像特征图的特征的匹配度大于预设匹配度；
以预设采样次数循环执行所述尺寸调整步骤和所述匹配步骤以分别得到多个尺寸的所述待处理参考图像对应的所述匹配特征，其中，多个尺寸包括第一尺寸和第二尺寸，所述第一尺寸小于所述第二尺寸，任意两次循环执行所述尺寸调整步骤和所述匹配步骤时对应的所述待处理参考图像的尺寸不相同，所述预设采样次数与所述修复模型的处理量正相关；
映射步骤，将所述待处理参考图像对应的所述匹配特征映射到对应尺寸的所述待处理人脸图像中以得到中间图像，对所述中间图像进行上采样以得到过渡图像；
将所述过渡图像作为所述待处理人脸图像并以预设映射次数循环执行所述映射步骤，直至所述待处理人脸图像的尺寸由所述第一尺寸变成所述第二尺寸，所述预设映射次数与所述预设采样次数相等，具有所述第二尺寸的所述中间图像作为所述修复图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述匹配步骤包括：
提取所述待处理人脸图像的特征以得到所述人脸图像特征图，提取所述待处理参考图像的特征以得到所述参考图像特征图，根据人脸的五官分布位置对所述人脸图像特征图和所述参考图像特征图进行匹配以建立人脸五官特征对应关系，根据所述人脸五官特征对应关系获取所述参考图像特征图的所述匹配特征，所述匹配特征与所述人脸图像特征图的对应五官的特征的匹配度大于预设匹配度。
4.根据权利要求1至3中任意一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：
在所述人脸的清晰度小于预定清晰度时，确定对所述待处理图像进行处理。
5.根据权利要求1至3中任意一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：
对所述待处理图像进行下采样处理，处理下采样后的待处理图像以确定所述人脸。
6.根据权利要求1至3中任意一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：
根据所述人脸的轮廓裁切出所述人脸以得到人脸区域；
将所述人脸区域转换为人脸区域灰度图。
7.根据权利要求6所述的图像处理方法，其特征在于，所述图像处理方法还包括：
采用拉普拉斯算子对所述人脸区域灰度图做卷积处理以得到拉普拉斯卷积图；
根据所述拉普拉斯卷积图计算获得所述人脸的清晰度。
8.根据权利要求6所述的图像处理方法，其特征在于，所述图像处理方法还包括：
采用索贝尔算子对所述人脸区域灰度图做卷积处理以得到索贝尔卷积图；
根据所述索贝尔卷积图计算获得所述人脸的清晰度。
9.根据权利要求6所述的图像处理方法，其特征在于，所述图像处理方法还包括：
对所述人脸区域灰度图进行快速傅里叶变换处理以得到快速傅里叶变换图；
计算所述快速傅里叶变换图的高频成分；
根据所述高频部分确定所述人脸的清晰度。
10.根据权利要求6所述的图像处理方法，其特征在于，所述图像处理方法还包括：
利用深度学习网络对所述人脸区域灰度图进行分类以确定所述人脸的清晰度。
11.根据权利要求1至3中任意一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：
获取所述待处理图像中除所述人脸外的背景图像；
融合所述背景图像与所述修复图像以得到目标图像。
12.一种图像处理装置，其特征在于，所述图像处理装置包括：
第一获取模块，所述第一获取模块用于获取参考图像，所述参考图像的清晰度大于预设清晰度；
选择模块，所述选择模块用于根据待处理图像中的人脸的清晰度选择修复模型，所述修复模型的处理量与所述人脸的清晰度呈负相关；
第一处理模块，所述第一处理模块用于裁切出所述人脸以得到人脸图像；
第二处理模块，所述第二处理模块用于采用所述修复模型并根据所述参考图像对所述人脸图像进行处理，以得到修复图像。
13.一种电子设备，其特征在于，所述电子设备包括壳体和处理器，所述处理器安装在所述壳体上，所述处理器用于实现权利要求1-11中任一项所述的图像处理方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-11中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911253781.4A CN111028170B (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911253781.4A CN111028170B (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111028170A true CN111028170A (zh) | 2020-04-17 |
| CN111028170B CN111028170B (zh) | 2023-11-24 |
Family
ID=70205867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911253781.4A Active CN111028170B (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111028170B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553864A (zh) * | 2020-04-30 | 2020-08-18 | 深圳市商汤科技有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN111553865A (zh) * | 2020-04-30 | 2020-08-18 | 深圳市商汤科技有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN111696051A (zh) * | 2020-05-14 | 2020-09-22 | 维沃移动通信有限公司 | 人像修复方法及电子设备 |
| CN112001940A (zh) * | 2020-08-21 | 2020-11-27 | Oppo（重庆）智能科技有限公司 | 图像处理方法及装置、终端及可读存储介质 |
| CN113011271A (zh) * | 2021-02-23 | 2021-06-22 | 北京嘀嘀无限科技发展有限公司 | 生成和处理图像的方法、装置、设备、介质和程序产品 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080317378A1 (en) * | 2006-02-14 | 2008-12-25 | Fotonation Ireland Limited | Digital image enhancement with reference images |
| CN106231200A (zh) * | 2016-08-29 | 2016-12-14 | 广东欧珀移动通信有限公司 | 一种拍照方法及装置 |
| CN110310247A (zh) * | 2019-07-05 | 2019-10-08 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及计算机可读存储介质 |
| CN110335199A (zh) * | 2019-07-17 | 2019-10-15 | 上海骏聿数码科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN110378312A (zh) * | 2019-07-26 | 2019-10-25 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110503606A (zh) * | 2019-08-29 | 2019-11-26 | 广州大学 | 一种提高人脸清晰度的方法 |
-
2019
- 2019-12-09 CN CN201911253781.4A patent/CN111028170B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080317378A1 (en) * | 2006-02-14 | 2008-12-25 | Fotonation Ireland Limited | Digital image enhancement with reference images |
| CN106231200A (zh) * | 2016-08-29 | 2016-12-14 | 广东欧珀移动通信有限公司 | 一种拍照方法及装置 |
| CN110310247A (zh) * | 2019-07-05 | 2019-10-08 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及计算机可读存储介质 |
| CN110335199A (zh) * | 2019-07-17 | 2019-10-15 | 上海骏聿数码科技有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN110378312A (zh) * | 2019-07-26 | 2019-10-25 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110503606A (zh) * | 2019-08-29 | 2019-11-26 | 广州大学 | 一种提高人脸清晰度的方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553864A (zh) * | 2020-04-30 | 2020-08-18 | 深圳市商汤科技有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN111553865A (zh) * | 2020-04-30 | 2020-08-18 | 深圳市商汤科技有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN111553865B (zh) * | 2020-04-30 | 2023-08-22 | 深圳市商汤科技有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN111553864B (zh) * | 2020-04-30 | 2023-11-28 | 深圳市商汤科技有限公司 | 图像修复方法及装置、电子设备和存储介质 |
| CN111696051A (zh) * | 2020-05-14 | 2020-09-22 | 维沃移动通信有限公司 | 人像修复方法及电子设备 |
| CN112001940A (zh) * | 2020-08-21 | 2020-11-27 | Oppo（重庆）智能科技有限公司 | 图像处理方法及装置、终端及可读存储介质 |
| CN113011271A (zh) * | 2021-02-23 | 2021-06-22 | 北京嘀嘀无限科技发展有限公司 | 生成和处理图像的方法、装置、设备、介质和程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111028170B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028170A (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| Hu et al. | Deblurring low-light images with light streaks | |
| US20180241929A1 (en) | Exposure-Related Intensity Transformation | |
| US9299004B2 (en) | Image foreground detection | |
| JP5458905B2 (ja) | 画像におけるシャドーの検知装置および検知方法 | |
| US10019823B2 (en) | Combined composition and change-based models for image cropping | |
| US10165248B2 (en) | Optimization method of image depth information and image processing apparatus | |
| CN111986129B (zh) | 基于多摄图像融合的hdr图像生成方法、设备及存储介质 | |
| CN110910330B (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| US20150117783A1 (en) | Iterative saliency map estimation | |
| JP2016505186A (ja) | エッジ保存・ノイズ抑制機能を有するイメージプロセッサ | |
| CN111031241B (zh) | 图像处理方法及其装置、终端和计算机可读存储介质 | |
| CN112699885A (zh) | 一种基于对抗生成网络gan的语义分割训练数据增广方法和系统 | |
| CN116012432A (zh) | 立体全景图像的生成方法、装置和计算机设备 | |
| CN111105370B (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| KR101921608B1 (ko) | 깊이 정보 생성 장치 및 방법 | |
| CN113744142A (zh) | 图像修复方法、电子设备及存储介质 | |
| CN116580028B (zh) | 一种物体表面缺陷检测方法、装置、设备及存储介质 | |
| CN111083359B (zh) | 图像处理方法及其装置、电子设备和计算机可读存储介质 | |
| KR101825218B1 (ko) | 깊이 정보 생성 장치 및 방법 | |
| CN114782507B (zh) | 一种基于无监督学习的非对称双目立体匹配方法及系统 | |
| CN110992283A (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| CN111080543B (zh) | 图像处理方法及装置、电子设备及计算机可读存储介质 | |
| CN111275045B (zh) | 图像的主体识别方法、装置、电子设备和介质 | |
| Dang et al. | Inpainted image quality assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |