CN111062904B - 图像处理方法、图像处理装置、电子设备和可读存储介质 - Google Patents
图像处理方法、图像处理装置、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN111062904B CN111062904B CN201911253851.6A CN201911253851A CN111062904B CN 111062904 B CN111062904 B CN 111062904B CN 201911253851 A CN201911253851 A CN 201911253851A CN 111062904 B CN111062904 B CN 111062904B
- Authority
- CN
- China
- Prior art keywords
- image
- reference image
- repaired
- similarity
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 161
- 238000003672 processing method Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 claims description 46
- 239000013598 vector Substances 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000008439 repair process Effects 0.000 abstract description 14
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 24
- 210000001508 eye Anatomy 0.000 description 12
- 230000001815 facial effect Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 210000001331 nose Anatomy 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 210000000887 face Anatomy 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 210000004209 hair Anatomy 0.000 description 4
- 210000000697 sensory organ Anatomy 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000036578 sleeping time Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、图像处理装置、电子设备及计算机可读存储介质。图像处理方法包括从相册中获取参考图像；当参考图像为一幅时，检测待修复图像中的人脸与参考图像中的人脸之间的相似度；在相似度大于预设值时，根据参考图像对待修复图像进行第一处理以得到第一目标图像；及在相似度小于预设值时，根据参考图像对待修复图像进行第二处理以得到第二目标图像。本申请实施方式的图像处理方法、图像处理装置、电子设备和计算机可读存储介质通过与用户交互的模式，选择清晰的参考人脸图像对模糊图像进行修复，在提高待修复图像清晰度的同时提高用户体验。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。
背景技术
在拍摄过程中，可以通过拍摄时缓存的多帧预览图像进行合成，最终输出一帧清晰度高的图像。然而，在实际的应用场景中，用户的手机抖动、拍摄的人像在运动、环境光线不足或者过强等问题，都会导致缓存的多帧预览图像本身就是模糊的，由这多帧预览图像合成的图像无疑也是模糊的，从而导致呈现给用户的图像的品质不高，用户体验差。
发明内容
本申请实施方式提供了一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。
图像处理方法包括：从相册中获取参考图像，所述参考图像中包括人脸，所述参考图像的清晰度大于预设清晰度；当所述参考图像为一幅时，检测待修复图像中的人脸与所述参考图像中的人脸之间的相似度；在所述相似度大于预设值时，根据所述参考图像对所述待修复图像进行第一处理以得到第一目标图像；及在所述相似度小于所述预设值时，根据所述参考图像对所述待修复图像进行第二处理以得到第二目标图像，所述第一处理与所述第二处理不同。
图像处理装置包括第一获取模块、检测模块、第一处理模块及第二处理模块。所述第一获取模块用于从相册中获取参考图像，所述参考图像中包括人脸，所述参考图像的清晰度大于预设清晰度。所述检测模块用于当所述参考图像为一幅时，检测待修复图像中的人脸与所述参考图像中的人脸之间的相似度。所述第一处理模块用于在所述相似度大于预设值时，根据所述参考图像对所述待修复图像进行第一处理以得到第一目标图像。所述第二处理模块用于在所述相似度小于所述预设值时，根据所述参考图像对所述待修复图像进行第二处理以得到第二目标图像，所述第一处理与所述第二处理不同。
电子设备包括壳体和处理器，所述处理器安装在所述壳体上，所述处理器用于实现：从相册中获取参考图像，所述参考图像中包括人脸，所述参考图像的清晰度大于预设清晰度；当所述参考图像为一幅时，检测待修复图像中的人脸与所述参考图像中的人脸之间的相似度；在所述相似度大于预设值时，根据所述参考图像对所述待修复图像进行第一处理以得到第一目标图像；及在所述相似度小于所述预设值时，根据所述参考图像对所述待修复图像进行第二处理以得到第二目标图像，所述第一处理与所述第二处理不同。
本申请提供一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行实现：从相册中获取参考图像，所述参考图像中包括人脸，所述参考图像的清晰度大于预设清晰度；当所述参考图像为一幅时，检测待修复图像中的人脸与所述参考图像中的人脸之间的相似度；在所述相似度大于预设值时，根据所述参考图像对所述待修复图像进行第一处理以得到第一目标图像；及在所述相似度小于所述预设值时，根据所述参考图像对所述待修复图像进行第二处理以得到第二目标图像，所述第一处理与所述第二处理不同。
本申请实施方式的图像处理方法、图像处理装置、电子设备和计算机可读存储介质在参考图像中人与待修复图像中人脸的相似度大于预设值时，利用参考图像的纹理特征修复待修复图像；在参考图像中人与待修复图像中人脸的相似度小于预设值时，融合参考图像及待修复图像的内容特征后，再利用参考图像的纹理特征修复待修复图像。一方面，相较于使用本身就模糊的预览帧来进行合成输出图像而言，利用用户认可的清晰的参考图像修复待修复图像得到的修复图像的清晰度更高，即图像品质更高，并且修复效果能达到用户期望，提高用户体验；另一方面，当参考图像和待修复图像中的人脸相似(相似度大于预设值)时，利用相似的参考图像对待修复图像进行第一处理，使得处理后得到的第一目标图像中的人脸特征更为真实，修复效果更好；再一方面，当参考图像和待修复图像中的人脸不相似(相似度小于预设值)时，利用参考图像对待修复图像进行第二处理，使得处理后得到的第二目标图像同时保留参考图像中清晰人像的五官轮廓特征，达到合成与修复的双重效果。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的图像处理方法的流程示意图；
图2是本申请某些实施方式的图像处理装置的示意图；
图3是本申请某些实施方式的电子设备的结构示意图；
图4是本申请某些实施方式的图像处理方法的流程示意图；
图5是本申请某些实施方式的图像处理装置中检测模块的示意图；
图6是本申请某些实施方式的提取人脸特征向量模型的示意图；
图7是本申请某些实施方式的图像处理方法的流程示意图；
图8是本申请某些实施方式的图像处理装置中第一处理模块的示意图；
图9是本申请某些实施方式的生成内容特征的原理示意图；
图10是本申请某些实施方式的生成纹理特征的原理示意图；
图11是本申请某些实施方式的根据参考图像与待修复图像进行第一处理的原理示意图；
图12是本申请某些实施方式的图像处理方法的流程示意图；
图13是本申请某些实施方式的图像处理装置中第二处理模块的示意图；
图14是本申请某些实施方式的根据参考图像与待修复图像进行第二处理的原理示意图；
图15是本申请某些实施方式的图像处理方法的流程示意图；
图16是本申请某些实施方式的图像处理装置的示意图；
图17是本申请某些实施方式的电子设备示意图；
图18是本申请某些实施方式的图像处理方法的流程示意图；
图19是本申请某些实施方式的图像处理装置的示意图；
图20是本申请某些实施方式的图像处理方法的流程示意图；
图21是本申请某些实施方式的图像处理装置的示意图；
图22是本申请某些实施方式的图像处理方法的流程示意图；
图23是本申请某些实施方式的图像处理装置中第四获取模块的示意图；
图24是本申请某些实施方式的拉普拉斯图像生成示意图；
图25是本申请某些实施方式的图像处理方法的流程示意图；
图26是本申请某些实施方式的图像处理装置的示意图；
图27是本申请某些实施方式的图像处理方法的流程示意图；
图28是本申请某些实施方式的图像处理装置的示意图；
图29是本申请某些实施方式的图像处理方法的流程示意图；
图30是本申请某些实施方式的图像处理装置的示意图；
图31是本申请某些实施方式的图像处理方法的流程示意图；
图32是本申请某些实施方式的图像处理装置中第六获取模块的示意图；
图33是本申请某些实施方式的图像处理方法的流程示意图；
图34是本申请某些实施方式的图像处理装置中第六获取模块的示意图；
图35是本申请某些实施方式的图像处理方法的流程示意图；
图36是本申请某些实施方式的图像处理装置中第六获取模块的示意图；
图37是本申请某些实施方式的图像处理方法的流程示意图；
图38是本申请某些实施方式的图像处理装置中第二获取单元的示意图；
图39是本申请某些实施方式的计算机可读存储介质与处理器的交互示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
请参阅图1，本申请提供一种图像处理方法，包括：
01：从相册中获取参考图像，参考图像中包括人脸，参考图像的清晰度大于预设清晰度；
02：当参考图像为一幅时，检测待修复图像中的人脸与参考图像中的人脸之间的相似度；
03：判断待修复图像中的人脸与参考图像中的人脸之间的相似度是否大于预设值；
04：在相似度大于预设值时，根据参考图像对待修复图像进行第一处理以得到第一目标图像；及
05：在相似度小于预设值时，根据参考图像对待修复图像进行第二处理以得到第二目标图像，第一处理与第二处理不同。
请结合图1及图2，本申请还提供一种图像处理装置100，图像处理装置100包括第一获取模块11、检测模块12、判断模块13、第一处理模块14及第二处理模块15。图像处理装置100可用于实现本申请提供的图像处理方法，步骤01可由第一获取模块11执行，步骤02可由检测模块12执行，步骤03可由判断模块13执行，步骤04可由第一处理模块14执行，步骤05可由第二处理模块15执行。也即是说，第一获取模块11可用于从相册中获取参考图像，参考图像中包括人脸，参考图像的清晰度大于预设清晰度。检测模块12可用于当参考图像为一幅时，检测待修复图像中的人脸与参考图像中的人脸之间的相似度。判断模块13可用于判断待修复图像中的人脸与参考图像中的人脸之间的相似度是否大于预设值。第一处理模块14可用于在相似度大于预设值时，根据参考图像对待修复图像进行第一处理以得到第一目标图像。第二处理模块15可用于在相似度小于预设值时，根据参考图像对待修复图像进行第二处理以得到第二目标图像，第一处理与第二处理不同。
请结合图1及图3，本申请还提供一种电子设备200，电子设备200包括壳体210、成像装置220及处理器230。成像装置220和处理器230均安装在壳体210上，成像装置220用于拍摄图像，处理器230也可实现本申请提供的图像处理方法，步骤01、步骤02、步骤03及步骤04均可由处理器230实现。也即是说，处理器230可用于：从相册中获取参考图像，参考图像中包括人脸，参考图像的清晰度大于预设清晰度；当参考图像为一幅时，检测待修复图像中的人脸与参考图像中的人脸之间的相似度；判断待修复图像中的人脸与参考图像中的人脸之间的相似度是否大于预设值；在相似度大于预设值时，根据参考图像对待修复图像进行第一处理以得到第一目标图像；及在相似度小于预设值时，根据参考图像对待修复图像进行第二处理以得到第二目标图像，第一处理与第二处理不同。
本申请实施方式的图像处理方法、图像处理装置100、电子设备200和计算机可读存储介质在参考图像中人与待修复图像中人脸的相似度大于预设值时，利用参考图像的纹理特征修复待修复图像；在参考图像中人与待修复图像中人脸的相似度小于预设值时，融合参考图像及待修复图像的内容特征后，再利用参考图像的纹理特征修复待修复图像。一方面，相较于使用本身就模糊的预览帧来进行合成输出图像而言，利用用户认可的清晰的参考图像修复待修复图像得到的修复图像的清晰度更高，即图像品质更高，并且修复效果能达到用户期望，提高用户体验；另一方面，当参考图像和待修复图像中的人脸相似(相似度大于预设值)时，利用相似的参考图像对待修复图像进行第一处理，使得处理后得到的第一目标图像中的人脸特征更为真实，修复效果更好；再一方面，当参考图像和待修复图像中的人脸不相似(相似度小于预设值)时，利用参考图像对待修复图像进行第二处理，使得处理后得到的第二目标图像同时保留参考图像中清晰人像的五官轮廓特征，达到合成与修复的双重效果。
其中，待修复图像是一幅包含人脸的模糊图像，相册是电子设备200中用于存储图像的区域，相册中存储有多张照片(图像)，例如风景照、包括人脸的照片、动物照片等等，本文中的相册中包括至少一张包括人脸且清晰度大于待修复图像清晰度的图像。
需要说明的是，参考图像是指含有人脸并且清晰度大于待修复图像清晰度的图像。参考图像可由用户在相册中指定，利用用户指定的参考图像修复待修复图像，获得的目标图像的恢复效果更符合用户期望，提升了用户体验。参考图像也可以无需用户参与而自动获取的。
参考图像可以为一幅或多幅，当参考图像为一幅时，请一并参阅图1、图4及图5，步骤02包括：
0201：对参考图像与待修复图像分别进行图像预处理；
0202：利用卷积层及池化层分别对预处理后的参考图像与待修复图像做人脸特征提取，以得到与参考图像对应的第一特征图像及与待修复图像对应的第二特征图像；
0203：利用全连接层分别对第一特征图像中的各个特征与第二特征图像中的各个特征进行分类，并分别进行向量化表示；
0204：计算第一特征图像中的每个类别的特征向量与第二特征图像中对应类别的特征向量之间的差距，以得到与多个类别对应的多个差距；及
0205：根据多个类别对应的多个差距计算出参考图像与待修复图像之间的综合差距，并用综合差距来表征相似度。
某些实施例中，检测模块12可包括第一处理单元1201、第二处理单元1202、分类单元1203、第一计算单元1204及第二计算单元1205。步骤0201可以由第一处理子单元1201执行，步骤0202可以由第二处理子单元1202执行，步骤0203可以由分类单元1203执行，步骤0234可以由第三计算单元1204执行，步骤0205可以由第二计算单元1205执行。也即是说，第一处理子单元1201可以用于对参考图像与待修复图像分别进行图像预处理。第二处理子单元1202可以用于利用卷积层及池化层分别对预处理后的参考图像与待修复图像做人脸特征提取，以得到与参考图像对应的第一特征图像及与待修复图像对应的第二特征图像。分类单元1203可以用于利用全连接层分别对第一特征图像中的各个特征与第二特征图像中的各个特征进行分类，并分别进行向量化表示。第三计算单元1204可以用于计算第一特征图像中的每个类别的特征向量与第二特征图像中对应类别的特征向量之间的差距，以得到与多个类别对应的多个差距。第二计算单元1205可以用于根据多个类别对应的多个差距计算出参考图像与参考图像之间的综合差距，并将具有最小综合差距的参考图像作为参考图像。
请结合图3，在某些实施例中，步骤0201、步骤0202、步骤0202、步骤0203、步骤0204及步骤0205均可由处理器230执行，也即是说，处理器230还可以用于：对参考图像与待修复图像分别进行图像预处理；利用卷积层及池化层分别对预处理后的参考图像与待修复图像做人脸特征提取，以得到与参考图像对应的第一特征图像及与待修复图像对应的第二特征图像；利用全连接层分别对第一特征图像中的各个特征与第二特征图像中的各个特征进行分类，并分别进行向量化表示；计算第一特征图像中的每个类别的特征向量与第二特征图像中对应类别的特征向量之间的差距，以得到与多个类别对应的多个差距；及根据多个类别对应的多个差距计算出参考图像与待修复图像之间的综合差距，并用综合差距来表征相似度。
具体地，将获得的参考图像及待修复图像分别进行预处理，即将得到的参考图像及待修复图像通过高斯滤波器滤出高斯噪声，使图像更加平滑，防止图像上有爆点及毛刺干扰后续图像处理。对预处理后得到的参考图像及待修复图像进行人脸特征提取，以获得与参考图像对应的第一特征图像及与待修复图像对应的第二特征图像；对一特征图像中的各个特征与第二特征图像中的各个特征进行分类，并分别进行向量化表示。具体地，如图6所示，对预处理后得到的参考图像进行多次卷积及池化以获得多个卷积层及多个池化层，利用卷积层及池化层提取参考图像人脸特征，并获得与参考图像对应的第一特征图像；最后一层卷积层对卷积层和池化层输出的特征图像执行最后一次卷积，并将最后一次卷积得到的第一特征图像输出至全连接层中。全连接层对最后一层卷积层输出的第一特征图像中各个特征进行分类，并用向量化表示。同样地，对待修复图像的特征向量的提取过程与对参考图像提取过程相同，在此不作赘述。
获得与参考图像对应的第一特征图像中的特征向量及与待修复图像对应的第二特征图像的特征向量后，计算每一张第一特征图像中的每个类别的特征向量与第二特征图像中对应类别的特征向量之间的差距。例如，选取第一特征图像中表示眼睛宽度的特征向量与第二特征图像中表示眼睛宽度的特征向量，计算这两个向量之间的差距；或选取第一特征图像中表示鼻梁高度的特征向量与第二特征图像中表示鼻梁高度的特征向量，计算这两个向量之间的差距。
根据多个类别对应的多个差距计算出参考图像与待修复图像之间的综合差距，并用综合差距来表示相似度。在一些实施例中，可利用欧氏距离计算综合差距并且用欧氏距离值表示相似度，例如，特征向量的类别包括眼睛、鼻子、嘴巴、耳朵，并且第一特征图像中表示眼睛的特征向量为A、第二特征图像中表示眼睛的特征向量为A0；第一特征图像中表示鼻子的特征向量为B、第二特征图像中表示鼻子的特征向量为B0；第一特征图像中表示嘴巴的特征向量为C、第二特征图像中表示嘴巴的特征向量为C0；第一特征图像表示耳朵的特征向量为D、第二特征图像中表示耳朵的特征向量为D0，则根据欧氏距离计算综合差距L为第一特征图像与第二特征图像上相同类别特征向量之间差值的平方和的算术平方根，即用数学公式表达为：用计算获得的L值表示参考图像中人脸与待修复图像中人脸的相似度，计算的欧氏距离值越小表示综合差距越小，即该参考图像上人脸与待修复图像上人脸越相似，即相似度越高。
需要说明的是，在一些实施例中可以不进行图像预处理，直接对参考图像及待修复图像进行人脸特征提取获得与参考图像对应的第一特征图像及与待修复图像对应的第二特征图像，之后处理步骤与上述实施例相同，在此不作赘述。如此，能够加快图像处理的整体速度，提升用户体验。当然还可以利用余弦距离、马氏距离或皮尔逊相关系数计算综合差距并用计算结果表示相似度，在此不作限制。
请一并参阅图1及图2，在某些实施例中利用判断模块13来判断参考图像的相似度是否大于预设值，具体地，当相似度大于预设值时表示参考图像中的人脸与待修复图像中的人脸相似，此时，根据参考图像对待修复图像进行第一处理以得到第一目标图像；相似度小于预设值时表示参考图像中的人脸与待修复图像中的人脸不相似，此时，根据参考图像对待修复图像进行与第一处理不相同的第二处理以得到第二目标图像；相似度等于预设值时，可以根据参考图像对待修复图像进行第一处理以得到第一目标图像，也可以根据参考图像对待修复图像进行与第二处理以得到第二目标图像。
需要说明的是，请参阅图3，在一些实施例中利用处理器230来判断参考图像的相似度是否大于预设值，具体判断方式与利用判断模块13来判断参考图像的相似度是否大于预设值的判断方式相同，在此不作赘述。
当参考图像中人脸与待修复图像中人脸相似度大于预设值，即参考图像中人脸与待修复图像中人脸相似时，根据参考图像对待修复图像进行第一处理以得到第一目标图像。具体地，请一并参阅图1、图7及图8，第一处理具体包括：
0401：将待修复图像输入至内容生成网络，以得到第一主体内容特征；
0402：将参考图像输入至纹理生成网络，以得到第一纹理特征；及
0403：对第一纹理特征与第一主体内容特征进行融合，以得到目标图像。
在某些实施例中，第一处理模块14还包括第一生成单元1401、第二生成单元1402及第一融合单元1403。步骤0401可由第一生成单元1401执行，步骤0402可由第二生成单元1402执行，步骤0403可由第一融合单元1403执行。也即是说，第一生成单元1401可用于将待修复图像输入至内容生成网络，以得到第一主体内容特征；第二生成单元1402可用于将参考图像输入至纹理生成网络，以得到第一纹理特征；第一融合单元1403可用于对第一纹理特征与第一主体内容特征进行融合，以得到目标图像，此时所获的目标图像为第一目标图像。
请结合图3，在某些实施例中，步骤0401、步骤0402及步骤0403均由处理器230实现，也即是说，处理器230还可用于将待修复图像输入至内容生成网络，以得到第一主体内容特征；将参考图像输入至纹理生成网络，以得到第一纹理特征；及对第一纹理特征与第一主体内容特征进行融合，以得到目标图像，此时所获的目标图像为第一目标图像。。
具体地，通过内容生成网络对待修复图像进行内容生成处理，以保留待修复图像中的内容特征。例如，图9为待修复图像通过内容生成网络获取第一主体内容特征的示意图，对待修复图像进行四次卷积处理获取待修复图像的多张第一特征图像，第四层卷积层(即最后一层卷积层)对第三卷积层输出的第一特征图像执行最后一次卷积，并将最后一次卷积得到的特征图像输出至全连接层中，通过全连接层可获得待修复图像的特征向量，再将获得的特征向量进行四次反卷积处理以获得一张具有待修复图像内容特征的内容图像。第一主体内容特征包含待修复图像中所有内容特征，例如眼睛所在位置，眉毛所在位置等等。但在内容图像上人脸五官的轮廓特征比较模糊，例如眼眶的形状，眉毛的粗细等等。需要说明的是卷积次数及反卷积次数可以为大于等于1的任何自然数，例如，卷积次数及反卷积次数可以是3次、5次、7次、8次等等在此不作限制。
通过纹理生成网络对参考图像进行纹理生成处理，以获得参考图像的纹理特征信息。例如，图10为参考图像通过纹理生成网络获取纹理特征的示意图，对参考图像进行六次卷积处理获取待修复图像的多张第二特征图像，第六层卷积层(即最后一层卷积层)对第五卷积层输出的第二特征图像执行最后一次卷积，并将最后一次卷积得到的特征图像输出至全连接层中，通过全连接层可获得待修复图像的特征向量，根据特征向量获得参考图像的纹理特征。纹理特征包括参考图像人脸五官的轮廓信息，例如，眼眶的轮廓，眉毛的轮廓等等。需要说明的是卷积次数及反卷积次数可以为大于等于1的任何自然数，例如，卷积次数及反卷积次数可以是3次、5次、7次、8次等等在此不作限制。
请参阅图11，将第一纹理特征与第一主体内容特征进行融合，得到(第一)目标图像。该融合可指将第一纹理特征中的各个特征信息贴到第一主体内容特征对应的位置。例如，将第一纹理特征中的眼眶贴到第一主体内容中的眼睛中；将第一纹理特征中的鼻子的鼻型贴到第一主体内容中的鼻子中；将第一纹理特征中的嘴巴的嘴型贴到第一主体内容中的嘴唇中；将第一纹理特征中的头发的发型贴到第一主体内容中的发色中等等，得到目标图像。当然，第一主体内容和第一纹理特征还可包括其他特征信息，在此不一一列举。需要说明的是，由于参考图像中人脸与待修复图像中人脸相似度高，因此，在第一纹理特征上的纹理特征直接贴到第一主体内容上时，不会对第一主体内容的特征造成影响，且得到的目标图像更符合用户的预期。
当参考图像中人脸与待修复图像中人脸相似度小于预设值，即参考图像中人脸与待修复图像中人脸不相似时，根据参考图像对待修复图像进行第二处理以得到第二目标图像。具体地，请一并参阅图1、图12及图13，步骤05包括：
0502：将待修复图像输入至内容生成网络，以得到第二主体内容特征；
0503：将参考图像输入至内容生成网络，以得到第三主体内容特征；
0504：对第二主体内容特征与第三主体内容特征进行融合，以得到融合图像；
0505：将参考图像输入至纹理生成网络，以得到第二纹理特征；
0506：对第二纹理特征与融合图像进行融合，以得到目标图像。
在某些实施方式中，第二处理模块15可包括第三生成单元1502、第四生成单元1503、第二融合单元1504、第五生成单元1505及第三融合单元1506。其中，步骤0502可由第三生成单元1502执行；步骤0503可由第四生成单元1503执行；步骤0504可由第二融合单元1504执行；步骤0505可由第五生成单元1505执行；步骤0506可由第三融合单元1506执行。也即是说，第三生成单元1502可用于将待修复图像输入至内容生成网络，以得到第二主体内容特征。第四生成单元1503可用于将参考图像输入至内容生成网络，以得到第三主体内容特征。第二融合单元1504可用于对第二主体内容特征与第三主体内容特征进行融合，以得到融合图像。第五生成单元1505可用于将参考图像输入至纹理生成网络，以得到第二纹理特征。第三融合单元1506可用于对第二纹理特征与融合图像进行融合，以得到目标图像。此时获得的是第二目标图像。
请参阅图3，在某些实施方式中，步骤0502、步骤0503、步骤0504、步骤0505及步骤0506均可由处理器230实现。也即是说，处理器230可用于：将待修复图像输入至内容生成网络，以得到第二主体内容特征；将参考图像输入至内容生成网络，以得到第三主体内容特征；对第二主体内容特征与第三主体内容特征进行融合，以得到融合图像；将参考图像输入至纹理生成网络，以得到第二纹理特征；及对第二纹理特征与融合图像进行融合，以得到目标图像，此时获得的是第二目标图像。
具体地，请参阅图14，分别将待修复图像和参考图像输入至内容生成网络中生成第二主体内容特征和第三主体内容特征。其中第二主体内容特征和第三主体内容特征的生成方式与生成的内容与上述的第一主体内容特征的生成方式与生成的内容相同，在此不再赘述。由于该参考图像与待修复图像不为同一人，因此，需要对第二主体内容特征和第三主体内容特征进行融合，以得到融合图像，该融合可指对第二主体内容特征中的内部特征信息与第三主体内容特征中对应的内容特征信息进行加权融合。以眼睛的内部特征信息为例进行说明，对第二主体内容特征中的眼睛的内部特征信息加权20％，对第三主体内容特征中的眼睛的内部特征信息加权80％，以得到融合图像中的眼睛的内部特征信息。由于参考图像的清晰度较高，因此，由参考图像生成的第三主体内容特征中的特征信息的清晰度也更好，使用更大权重的第三主体内容特征的特征信息，能提高融合图像中的特征信息的质量，进而提高目标图像的质量。
再将参考图像输入至纹理生成网络中生成第二纹理特征。第二纹理特征的生成方式与上述的第一纹理特征的生成方式相同，在此不再赘述。对第二纹理特征和融合图像进行融合，以得到目标图像。该融合可与上述的第一纹理特征和第一主体内容特征的融合方式相同，在此不再赘述。在相册中不存在与待修复图像为同一人的存储图像时，使用清晰度最高的他人的存储图像作为参考图像对待修复图像进行处理得到目标图像，提高了目标图像的图像质量。且保留了清晰参考图像的纹理特征(鼻子轮廓特征等，即鼻型等)，达到合成和修复的双重效果。
在某些实施方式中，当参考图像中人脸与待修复图像中人脸相似度小于预设值，即参考图像中人脸与待修复图像中人脸不相似时，请参考图15及图16，图像处理方法还包括：
06：发出提示信息，该提示信息用于表明相似度小于预设值；
此时，根据参考图像对待修复图像进行第二处理以得到第二目标图像则包括：
051：根据用户的输入执行根据参考图像对待修复图像进行第二处理以得到第二目标图像。
在某些实施例中，图像处理装置100还包括提示模块16，步骤06可由提示模块16执行，步骤051由第二处理模块15执行，也即是说提示模块16可用于发出提示信息，该提示信息用于表明相似度小于预设值；第二处理模块15还可用于根据用户的输入执行根据参考图像对待修复图像进行第二处理以得到第二目标图像。
请参阅图3，在某些实施例中，电子设备200还可包括提示器240，步骤06可由提示器240执行、步骤051均可由处理器230执行，也即是说，提示器240可用于实现发出提示信息，该提示信息用于表明相似度小于预设值；处理器230还可用于根据用户的输入执行根据参考图像对待修复图像进行第二处理以得到第二目标图像。
具体地，当参考图像的相似度小于预设值时，提示模块16或提示器240给用户发出提示消息，提示用户获得的参考图像中人脸与待修复图像中人脸相似度小于预设值，即提示用户获得的参考图像中人脸与待修复图像中人脸不相似。以电子设备200是手机为例，提示模块16或提示器240为显示屏，如图17所示，当检测到参考图像中人脸与待修复图像中人脸相似度小于预设值时，会在手机上弹出确认框，告知用户未检测到相似人脸，由用户确认是否同意继续修复图像，若用户输入“否”，则停止修复图像；若用户输入“是”，则根据用户的输入执行根据参考图像对待修复图像进行第二处理以得到第二目标图像，获得第二目标图像的具体方法与图12及图14所述实施例中获取目标图像方法相同，在此不作赘述。
由于用户在不同环境及不同状态下，拍摄的人脸图像中特征向量会不同。例如，同一用户在化妆与素颜的情况下拍摄的图像，两张图像中人脸特征会有不同使得图像处理装置100检测到两张图像人脸相似度小于预设值。发送提示消息提示用户，可由用户自行确认是否继续执行修复，增加用户体验。即使获得的参考图像中人脸相似度与待修复图像人脸相似度很小，即参考图像中人脸与待修复图像中人脸不来自同一用户，在用户确认执行继续修复的情况下，也可将参考图像中人脸与待修复图像中人脸进行融合，获得的第二目标图像中人脸既有参考图像中人脸特征，又有待修复图像中人脸信息，增加趣味性。
需要说明的是，在某些实施例中在手机上弹出确认框，告知用户未检测到相似人脸，由用户确认是否同意继续修复图像，若用户输入“否”，可由用户在相册中再次选择参考图像，利用用户再次选择的参考图像对待修复的图像进行修复。利用用户选择的参考图像对待修复图像进行修复，修复效果更符合用户期望。
在某些实施例中，提示模块16发送提示信息后在预定时间范围内，用户未确认是否同意继续修复图像，则根据参考图像对待修复图像进行第二处理以得到第二目标图像。提高图像修复速度。
当参考图像为多幅时，请一并参阅图18及图19，图像处理方法还包括：
02：检测待修复图像中的人脸与每幅参考图像中的人脸之间的相似度；
08：在存在相似度大于预设值的参考图像时，从相似度大于预设值的参考图像中获取清晰度最大的参考图像；及
010：根据清晰度最大的参考图像对待修复图像进行第一处理以得到第三目标图像。
在某些实施方式中，图像处理装置100还可包括第二获取模块18及第三处理模块110，其中步骤02可由检测模块12执行，步骤08可由第二获取模块18执行，步骤010可由第三处理模块110执行。也即是说，检测模块12还可用于检测待修复图像中的人脸与每幅参考图像中的人脸之间的相似度；第二获取模块18可用于在存在相似度大于预设值的参考图像时，从相似度大于预设值的参考图像中获取清晰度最大的参考图像；第三处理模块110可用于根据清晰度最大的参考图像对待修复图像进行第一处理以得到第三目标图像。
请参阅图3，在某些实施方式中步骤02、步骤08及步骤010均可由处理器230实现，也即是说，处理器230可用于检测待修复图像中的人脸与每幅参考图像中的人脸之间的相似度；在存在相似度大于预设值的参考图像时，从相似度大于预设值的参考图像中获取清晰度最大的参考图像；及根据清晰度最大的参考图像对待修复图像进行第一处理以得到第三目标图像。
具体地，由于参考图像为多幅，例如，参考图像可以为两幅、五幅、十幅等。检测模块12需要检测每幅参考图像中的人脸与待修复图像中人脸的相似度，筛选出相似度大于预设值的参考图像。检测每幅参考图像中的人脸与待修复图像中人脸的相似度及判断相似度是否大于预设值的具体方法与上述检测一幅参考图像中的人脸与待修复图像中人脸的相似度及判断相似度是否大于预设值的方法相同，在此不作赘述。
若有且仅有一幅参考图像的相似度大于预设值，则直接根据该参考图像对待修复图像进行第一处理以得到第三目标图像。若存在不止一幅参考图像的相似度大于预设值时，获取每幅相似度大于预设值的参考图像的清晰度，选取其中清晰度最高的参考图像对待修复图像进行第一处理以得到第三目标图像。具体地，请参阅图20及图21，图像处理方法还包括：
011：获取相似度大于预设值的参考图像的清晰度。
在某些实施方式中，图像处理装置100还可包括第四获取模块111，步骤011可由第四获取模块111执行，也即是说，第四获取模块111还可用于获取相似度大于预设值的参考图像的清晰度。
请参阅图3，在某些实施方式中步骤011可由处理器230执行，也即是说，处理器230还可用于获取相似度大于预设值的参考图像的清晰度。
请参阅图20、图22及图23，步骤011包括：
01101：对参考图像中的像素值采用拉普拉斯模板做卷积运算，以得到拉普拉斯图像；及
01102：计算拉普拉斯图像的像素值的方差，并将方差作为参考图像的清晰度。
在某些实施方式中，第四获取单元111还可包括第三计算单元11101及第四计算单元11102，其中步骤01101可由第三计算单元11101执行，步骤01102可由第四计算单元11102执行。也即是说，第三计算单元11101对参考图像中的像素值采用拉普拉斯模板做卷积运算，以得到拉普拉斯图像；第四计算单元11102计算拉普拉斯图像的像素值的方差，并将方差作为参考图像的清晰度。
请参阅图3，在某些实施方式中步骤01101及步骤01102均可由处理器230执行，也即是说，处理器230还可用于对参考图像中的像素值采用拉普拉斯模板做卷积运算，以得到拉普拉斯图像；及计算拉普拉斯图像的像素值的方差，并将方差作为参考图像的清晰度。
具体地，拉普拉斯模板可指拉普拉斯算子，拉普拉斯算子是用于测量图片的一个二阶导数，用于突出图像中的像素值高速变化的区域，例如图像的边缘检测。若存储图像为清晰的图像，则说明该幅图像中存在较大的像素值高速变化区域，即较多的边缘信息，也就是存储图像中的五官特征、头发特征、脸部轮廓特征等特征与其周围像素值存在较大差异。若存储图像为模糊的，则说明存储图像中的五官特征、头发特征、脸部轮廓特征等特征与其周围的像素值相差不大，即，较小的像素值高速变化区域。拉普拉斯算子为一个3*3的矩形阵列，通过该矩形阵列对存储图像的每个像素点的像素值进行卷积运算，将卷积运算后的像素值作为该像素点的像素值，则最终得到该幅存储图像的拉普拉斯图像。例如图24所示，具有高清晰人像的参考图像经过拉普拉斯算计卷积后，可得到具有高清晰人像的参考图像的第一拉普拉斯图像；具有低清晰人像的参考图像经过拉普拉斯算计卷积后，可得到具有低清晰人像的第二拉普拉斯图像。其中，第一拉普拉斯图像线条较清晰，第二拉普拉斯图像的线条较模糊，对拉普拉斯图像中的像素值进行方差计算得到该幅图像的方差，根据方差值判断获得的参考图像的清晰度。
具体地，拉普拉斯图像的方差计算可先获取拉普拉斯图像各个像素点的平均像素值，计算每个像素点的像素值与平均像素值的差值的平方的平均数得到方差，将该方差值表征该存储图像的清晰度。其中，方差值越大，则说明该幅存储图像越清晰；方差值越小，则说明该幅存储图像越模糊。图24中的第一拉普拉斯图像的方差要大于第二拉普拉斯图像的方差。
根据清晰度最大的参考图像对待修复图像进行第一处理以得到第三目标图像，第一处理的具体处理方法与上述实施例中根据一幅参考图像对待修复图像进行第一处理以得到第一目标图像的处理方法相同，在此不作赘述。由于从多幅相似度大于预设值的参考图像中选择了最清晰的参考图像修复待修复图像，在保留待修复图像中人脸特征的同时提升了人脸图像清晰度。
若不存在参考图像的相似度大于预设值时，请参阅图18及图19，图像处理方法还包括：
07：当不存在相似度大于预设值的参考图像时，从所有参考图像中获取清晰度最大的参考图像；及
09：根据清晰度最大的所参考图像对待修复图像进行第二处理以得到第四目标图像。
在某些实施方式中，图像处理装置100还可包括第三获取模块17及第四处理模块19，步骤07可由第三获取模块17执行，步骤09可由第四处理模块19执行。也即是说，第三获取模块17可用于当不存在相似度大于预设值的参考图像时，从所有参考图像中获取清晰度最大的参考图像；第四处理模块19可用于根据清晰度最大的所参考图像对待修复图像进行第二处理以得到第四目标图像。
请参阅图3，在某些实施方式中步骤07及步骤09均可由处理器230实现，也即是说，处理器230可用于当不存在相似度大于预设值的参考图像时，从所有参考图像中获取清晰度最大的参考图像；及根据清晰度最大的所参考图像对待修复图像进行第二处理以得到第四目标图像。
由于不存在相似度大于预设值的参考图像，所以获取所有的参考图像的清晰度，利用在所有参考图像中清晰度最大的参考图像来修复待修复图像，具体地，请参阅图25及图26，图像处理方法还包括：
012：获取所有参考图像的清晰度。
在某些实施方式中，图像处理装置100还可包括第五获取单元112，步骤012可由第五获取单元112执行，也即是说，第五获取单元112还可用于获取相似度大于预设值的参考图像的清晰度。
请参阅图3，在某些实施方式中步骤012可由处理器230执行，也即是说，处理器230还可用于获取相似度大于预设值的参考图像的清晰度。
获取所有参考图像的清晰度的具体方法与上述实施例中获取相似度大于预设值参考图像的清晰度的方法相同，在此不作赘述。由于不存在相似度大于预设值的参考图像，即所有参考图像中的人脸与待修复图像中人脸均不相似，利用多幅参考图像中清晰度最高的参考图像修复待修复图像，最大程度的提高了待修复图像的清晰度。
需要说明的是，根据清晰度最大的所参考图像对待修复图像进行第二处理以得到第四目标图像的具体方法与上述实施例中根据一幅参考图像对待修复图像进行第二处理以得到第二目标图像的处理方法相同，在此不作赘述。
在某些实施方式中，当参考图像中人脸与待修复图像中人脸相似度小于预设值，即参考图像中人脸与待修复图像中人脸不相似时，请参考图27及图28，图像处理方法还包括：
06：发出提示信息，该提示信息用于表明相似度小于预设值；及
091：根据用户的输入执行根据清晰度最大的参考图像对待修复图像进行第二处理以得到第四目标图像。
在某些实施例中，步骤06可由提示模块10提示模块16执行，步骤091由第四处理模块19执行，也即是说提示模块16可用于发出提示信息，该提示信息用于表明相似度小于预设值；第四处理模块19还可用于根据用户的输入执行根据清晰度最大的参考图像对待修复图像进行第二处理以得到第四目标图像。
请参阅图3，在某些实施例中步骤06、步骤051均可由处理器230执行，也即是说，处理器230还可用于实现发出提示信息，该提示信息用于表明相似度小于预设值；及根据用户的输入执行根据清晰度最大的参考图像对待修复图像进行第二处理以得到第四目标图像。
具体地，当不存在相似度大于预设值的参考图像时，图像处理装置100给用户发出提示消息，提示用户获得的参考图像中人脸与待修复图像中人脸相似度小于预设值，即提示用户获得的参考图像中人脸与待修复图像中人脸不相似，由用户选择是否继续修复图像。具体地实施方式与如图15及图16的实施例的实施方式相同，在此不作赘述。
本申请提供的图像处理方法、图像处理器100及电子设备200通过与用户交互的模式，选择清晰的参考人脸图像对模糊图像进行修复。一方面，基于参考图像的修复方法相比于传统的图像增强方法可以很好的重建人脸被模糊的五官轮廓特征，可以有效地提升人脸图像的清晰度，同时增强人像的五官轮廓特征清晰度。另一方面，当参考人像和待修复的参考人像不是同一个人时，将两个人像进行内容融合，同时保留参考清晰人像的五官轮廓特征，达到合成与修复的双重效果。
请一并参阅图29及图30，在某些实施例中，图像处理方法还包括：
013：获取待修复图像
在某些实施方式中，图像处理装置100还包括第六获取模块113，步骤013可由第六获取模块113执行，也即是说第六获取模块113可用于获取待修复图像。
请参阅图3，步骤013也可由处理器230执行，也即是说处理器230还可用于获取待修复图像。
具体地，请一并参阅图29、图31和图32，步骤013包括：
01301：获取具有人像的原始图像；
01302：获取原始图像的清晰度；及
01303：将清晰度小于第一阈值的原始图像确定为待修复图像。
在某些实施方式中，第六获取模块113还可包括第一获取单元11301、第二获取单元11302和确定单元11303，其中，步骤01301可由第一获取单元11301执行；步骤01302可由第二获取单元执行；步骤01303可由确定单元执行。也即是说，第一获取单元11301可用于获取具有人像的原始图像；第二获取单元11302可用于获取原始图像的清晰度；确定单元1103可用于将清晰度小于第一阈值的原始图像确定为待修复图像。
请结合图3，在某些实施方式中步骤01301、步骤01302及步骤01303均可由处理器230实现，也即是说，处理器230可用于获取具有人像的原始图像；获取原始图像的清晰度；及将清晰度小于第一阈值的原始图像确定为待修复图像。
具体地，原始图像可指相册中保存的图像或者摄像头221直接拍摄得到的图像，原始图像可为一幅或者多幅，多幅是指两幅或者两幅以上。可先通过获取每幅原始图像的清晰度，通过对每幅原始图像的清晰度与第一阈值进行对比，在清晰度小于第一阈值时，说明该幅原始图像的清晰度比较低，比较模糊，则该幅原始图像需要进行修复处理，因此，将该幅原始图像确定为待修复图像；在清晰度大于第一阈值时，说明该幅原始图像的清晰度较高，该幅原始图像无需进行修复处理；在原始图像的清晰度等于第一阈值时，既可将该幅原始图像确定为待修复图像，也可将该幅原始图像确定为非待修复图像。通过对每幅原始图像的清晰度与第一阈值进行对比，只对清晰度较低(低于第一阈值)的原始图像进行修复处理，减少了图像修复的工作量，从而加快了图像处理的整体速度。
请一并参阅图31、图33和图34，步骤01301包括：
013011：在预定时间和/或预设场景下，从相册中获取具有人像的原始图像。
在某些实施方式中，第一获取单元11301可包括第一获取子单元113011，其中，步骤013011可由第一获取子单元113011执行；也即是说，第一获取子单元113011可用于在预定时间和/或预设场景下，从相册中获取具有人像的原始图像。
请结合图3，在某些实施方式中，步骤013011可由处理器230实现，也即是说，处理器230可用于在预定时间和/或预设场景下，从相册中获取具有人像的原始图像。
对于在预定时间，从相册中获取具有人像的原始图像而言，其中的预定时间可指用户不使用手机的时候，具体地，预定时间可包括进入睡眠的休息时间，例如为夜晚睡觉时间(比如但不局限于22：00～5：00时间段)，再例如为午休时间(比如但不局限于12：30～2：00时间段)；预定时间还可包括上班时间(比如但不局限于8：00～12：00及14：00～18：00)，此时用户一般不使用手机；预定时间还可包括上课时间(比如但不局限于8：00～8：40、9：00～9：45、10：00～10：45、11：00～11：45中的至少一个时间段等)等等。由于图像处理装置100或者电子设备200在获取相册中具有人像的原始图像的过程需要占用一定的运行内存，在进入睡眠的休息时间、上班时间或上课时间，用户一般都不使用手机，图像处理装置100或者电子设备200也是处于非工作状态，在此时获取相册中的具有人像的原始图像，相较于图像处理装置100或者电子设备200处于工作状态时获取而言，不会造成内存抢占的问题。预定时间可为系统预先设定好的一个或多个时间段，当然，预定时间还可由用户根据自身的需求自行设置。
对于在预设场景内，从相册中获取具有人像的原始图像而言，其中的预设场景可包括充电状态、待机状态、低功耗运行状态等。由于图像处理装置100或者电子设备200在获取相册中具有人像的原始图像的时间会比较长，且占用一定的运行内存，因此在预设场景下才执行获取的步骤，能尽可能的避免抢占内存的问题。低功耗运行状态可指电子设备200在仅运行阅读、看新闻等对运行内存需求较小的软件。
需要说明的是，从相册中获取具有人像的原始图像可以仅仅是在预定时间即可执行，也可以仅仅是在预定场景下即可执行，还可以是既要在预定时间，又要在预定场景下才执行。如此，能最大程度地避免在相册中获取原始图像对用户的正常使用造成影响，提升了用户体验。
请一并参阅图31、图35及图36，步骤01301还包括：
013012：在摄像头221拍摄过程中，获取摄像头221拍摄的具有人像的原始图像。
在某些实施方式中，图像处理装置100可应用于成像装置220，成像装置220可通过摄像头221拍摄原始图像。第一获取单元11301可包括第二获取子单元113012，其中，步骤013012可由第二获取子单元113012执行；也即是说，第二获取子单元113012可用于在摄像头221拍摄过程中，获取摄像头221拍摄的具有人像的原始图像。
请结合图3，在某些实施方式中，电子设备200可包括成像装置220，成像装置220包括摄像头221。步骤013012可由处理器230实现，也即是说，处理器230可用于：在摄像头221拍摄过程中，获取摄像头221拍摄的具有人像的原始图像。
具体地，在成像装置220的摄像头221工作时，能实时获取拍摄的具有人像的原始图像，可对符合条件的原始图像进行后续的修复处理，以得到目标图像，使得用户在使用成像装置220或者电子设备200拍摄时，得到的图像(可直接呈现给用户)质量更高，提升了用户体验。
请一并参阅图29、图37及图38，步骤01302还包括：
013021：对原始图像执行整形低通滤波以获取第一滤波图像；
013022：根据原始图像与第一滤波图像获取原始图像中的第一高频信息，其中，第一高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述原始图像的细节信息；及
013023：根据第一高频信息的像素数量与原始图像的所有像素数量获取原始图像的清晰度。
在某些实施方式中，第二获取单元11302可以包括第三获取子单元113021、第四获取子单元113022及第五获取子单元113023，步骤013021可由第三获取子单元113021执行，步骤013022可由第四获取子单元113022执行，步骤013023可由第五获取子单元113023执行。也即是说，第三获取子单元113021可用于对原始图像执行整形低通滤波以获取第一滤波图像；第四获取子单元113022可用于根据原始图像与第一滤波图像获取原始图像中的第一高频信息，其中，第一高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述原始图像的细节信息；第五获取子单元113023可用于根据第一高频信息的像素数量与原始图像的所有像素数量获取原始图像的清晰度。
请结合图3，在某些实施方式中，步骤013021、步骤013022和步骤013023均可由处理器230实现，也即是说，处理器230可用于：对原始图像执行整形低通滤波以获取第一滤波图像；根据原始图像与第一滤波图像获取原始图像中的高频信息，其中，第一高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述原始图像的细节信息；及根据第一高频信息的像素数量与原始图像的所有像素数量获取原始图像的清晰度。
具体地，原始图像可为在预定时间和/或预设场景下，从相册中获取具有人像的原始图像；或者在在摄像头221拍摄过程中，获取摄像头221拍摄的具有人像的原始图像。在获取到原始图像后，对原始图像进行整形低通滤波处理，得到第一滤波图像，再由原始图像减去第一滤波图像，就能得到原始图像中的第一高频信息，第一高频信息是指离散余弦变换系数中远离零频的部分，该部分用于描述原始图像的细节信息；在得到第一高频信息后，可以统计第一高频信息的像素数量，第一高频信息的像素数量越多，则原始图像越清晰。
图像的清晰度可用图像中的高频信息的像素数量在该幅图像中的所有像素中的占比来表征，占比越高，图像清晰度越高。例如，一幅原始图像中的第一高频信息的像素数量占该幅原始图像的所有像素数量的20％，则用占比20％来表征该幅原始图像的清晰度。由此可见，每一个清晰度对应一个第一高频信息的像素数量。
第一阈值是指一幅原始图像中的第一高频信息的像素数量为第一预设数量，且该第一预设数量与该幅原始图像的所有像素数量的比值，第一阈值是用来衡量原始图像是否需要修复的临界值。例如，在一幅原始图像中，若第一高频信息的像素数量小于第一预设数量时，则说明该幅原始图像的清晰度小于第一阈值，该幅原始图像需要被修复，即可作为待修复图像。
第一预设数量可与第一阈值相互对应，第一预设数量与第一阈值为已知值，均可以根据多次实验获得，然后存储在图像处理装置100或电子设备200的存储元件中。当然，也可以在图像处理装置100或电子设备200中预先设定多个不同的第一预设数量，自动关联上与第一预设数量对应的第一阈值，然后由用户根据不同需求选择不同的第一阈值。
以第一阈值为15％，一幅原始图像的所有像素数量为1600万，第一预设数量为240万为例进行说明，在获取到第一高频信息的像素数量小于240万时，则确定该幅原始图像的清晰度小于15％，并将该幅原始图像作为待修复图像。
请一并参阅图1及图39，本申请还提供一种计算机可读存储介质300，其上存储有计算机程序310，程序被处理器230执行的情况下，实现上述任意一种实施方式的图像处理方法的步骤。
例如，程序被处理器执行的情况下，实现以下图像处理方法的步骤：
01：从相册中获取参考图像，参考图像中包括人脸，参考图像的清晰度大于预设清晰度；
02：当参考图像为一幅时，检测待修复图像中的人脸与参考图像中的人脸之间的相似度；
03：判断待修复图像中的人脸与参考图像中的人脸之间的相似度是否大于预设值；
04：在相似度大于预设值时，根据参考图像对待修复图像进行第一处理以得到第一目标图像；及
05：在相似度小于预设值时，根据参考图像对待修复图像进行第二处理以得到第二目标图像，第一处理与第二处理不同。
计算机可读存储介质300可设置在图像处理装置100或者电子设备200内，也可设置在云端服务器内，此时，图像处理装置100或者电子设备200能够与云端服务器进行通讯来获取到相应的计算机程序310。
可以理解，计算机程序310包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。
处理器230可以是指驱动板。驱动板可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器230、数字信号处理器230(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (13)
1.一种图像处理方法，其特征在于，包括：
从相册中获取参考图像，所述参考图像中包括人脸，所述参考图像的清晰度大于预设清晰度；
当所述参考图像为一幅时，检测待修复图像中的人脸与所述参考图像中的人脸之间的相似度；
在所述相似度大于预设值时，根据所述参考图像对所述待修复图像进行第一处理以得到第一目标图像；及
在所述相似度小于所述预设值时，根据所述参考图像对所述待修复图像进行第二处理以得到第二目标图像，所述第一处理与所述第二处理不同；
所述第二处理包括：
将所述待修复图像输入至内容生成网络，以得到第二主体内容特征；
将所述参考图像输入至内容生成网络，以得到第三主体内容特征；
对所述第二主体内容特征与所述第三主体内容特征进行融合，以得到融合图像；
将所述参考图像输入至纹理生成网络，以得到第二纹理特征；及
对所述第二纹理特征与所述融合图像进行融合，以得到目标图像。
2.根据权利要求1所述的图像处理方法，其特征在于，在所述相似度小于所述预设值时，所述图像处理方法还包括：
发出提示信息，该提示信息用于表明所述相似度小于所述预设值；
所述根据所述参考图像对所述待修复图像进行第二处理以得到第二目标图像，包括：
根据用户的输入执行根据所述参考图像对所述待修复图像进行第二处理以得到第二目标图像。
3.根据权利要求1所述的图像处理方法，其特征在于，当所述参考图像为多幅时，所述图像处理方法还包括：
检测待修复图像中的人脸与每幅所述参考图像中的人脸之间的相似度；
在存在相似度大于所述预设值的参考图像时，从相似度大于所述预设值的参考图像中获取清晰度最大的参考图像；及
根据清晰度最大的所述参考图像对所述待修复图像进行所述第一处理以得到第三目标图像。
4.根据权利要求3所述的图像处理方法，其特征在于，当所述参考图像为多幅时，所述图像处理方法还包括：
在不存在相似度大于所述预设值的参考图像时，从所有所述参考图像中获取清晰度最大的参考图像；及
根据清晰度最大的所述参考图像对所述待修复图像进行所述第二处理以得到第四目标图像。
5.根据权利要求4所述的图像处理方法，其特征在于，在不存在相似度大于所述预设值的参考图像时，所述图像处理方法还包括：
发出提示信息，该提示信息用于表明所述相似度小于所述预设值；
所述根据清晰度最大的所述参考图像对所述待修复图像进行所述第二处理以得到第四目标图像，包括：
根据用户的输入执行根据清晰度最大的所述参考图像对所述待修复图像进行所述第二处理以得到第四目标图像。
6.根据权利要求3所述的图像处理方法，其特征在于，在存在相似度大于所述预设值的参考图像时，所述图像处理方法，还包括：
获取相似度大于所述预设值的参考图像的清晰度。
7.根据权利要求4所述的图像处理方法，其特征在于，在不存在相似度大于所述预设值的参考图像时，所述图像处理方法，还包括：
获取所有所述参考图像的清晰度。
8.根据权利要求6或7所述的图像处理方法，其特征在于，获取参考图像的清晰度，包括：
对所述参考图像中的像素值采用拉普拉斯模板做卷积运算，以得到拉普拉斯图像；和
计算所述拉普拉斯图像的像素值的方差，并将所述方差作为所述参考图像的清晰度。
9.根据权利要求1-7任意一项所述的图像处理方法，其特征在于，所述检测待修复图像中的人脸与所述参考图像中的人脸之间的相似度，包括：
对所述参考图像与所述待修复图像分别进行图像预处理；
利用卷积层及池化层分别对预处理后的所述参考图像与所述待修复图像做人脸特征提取，以得到与所述参考图像对应的第一特征图像及与所述待修复图像对应的第二特征图像；
利用全连接层分别对所述第一特征图像中的各个特征与所述第二特征图像中的各个特征进行分类，并分别进行向量化表示；
计算所述第一特征图像中的每个类别的特征向量与所述第二特征图像中对应类别的特征向量之间的差距，以得到与多个类别对应的多个差距；及
根据多个类别对应的多个差距计算出所述参考图像与所述待修复图像之间的综合差距，并用所述综合差距来表征所述相似度。
10.根据权利要求1-7任意一项所述的图像处理方法，其特征在于，所述第一处理包括：
将所述待修复图像输入至内容生成网络，以得到第一主体内容特征；
将所述参考图像输入至纹理生成网络，以得到第一纹理特征；及
对所述第一纹理特征与所述第一主体内容特征进行融合，以得到目标图像。
11.一种图像处理装置，其特征在于，包括：
第一获取模块，所述第一获取模块用于从相册中获取参考图像，所述参考图像中包括人脸，所述参考图像的清晰度大于预设清晰度；
检测模块，所述检测模块用于当所述参考图像为一幅时，检测待修复图像中的人脸与所述参考图像中的人脸之间的相似度；
第一处理模块，所述第一处理模块用于在所述相似度大于预设值时，根据所述参考图像对所述待修复图像进行第一处理以得到第一目标图像；及
第二处理模块，所述第二处理模块用于在所述相似度小于所述预设值时，根据所述参考图像对所述待修复图像进行第二处理以得到第二目标图像，所述第一处理与所述第二处理不同；
所述第二处理模块包括第三生成单元、第四生成单元、第二融合单元、第五生成单元及第三融合单元，
所述第三生成单元用于将所述待修复图像输入至内容生成网络，以得到第二主体内容特征；
所述第四生成单元用于将所述参考图像输入至内容生成网络，以得到第三主体内容特征；
所述第二融合单元用于对所述第二主体内容特征与所述第三主体内容特征进行融合，以得到融合图像；
所述第五生成单元用于将所述参考图像输入至纹理生成网络，以得到第二纹理特征；及
所述第三融合单元用于对所述第二纹理特征与所述融合图像进行融合，以得到目标图像。
12.一种电子设备，其特征在于，所述电子设备包括壳体和处理器，所述处理器安装在所述壳体上，所述处理器用于实现权利要求1-10中任一项所述的图像处理方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-10中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911253851.6A CN111062904B (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911253851.6A CN111062904B (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111062904A CN111062904A (zh) | 2020-04-24 |
| CN111062904B true CN111062904B (zh) | 2023-08-11 |
Family
ID=70300228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911253851.6A Active CN111062904B (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111062904B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113225451B (zh) * | 2021-04-28 | 2023-06-27 | 维沃移动通信（杭州）有限公司 | 图像处理方法、装置和电子设备 |
| CN118015677B (zh) * | 2024-01-09 | 2024-07-16 | 深圳市中研安创科技发展有限公司 | 一种用于手持式人脸识别终端的抖动修复系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016183743A1 (en) * | 2015-05-15 | 2016-11-24 | SZ DJI Technology Co., Ltd. | System and method for supporting image denoising based on neighborhood block dimensionality reduction |
| CN107944399A (zh) * | 2017-11-28 | 2018-04-20 | 广州大学 | 一种基于卷积神经网络目标中心模型的行人重识别方法 |
| CN108022207A (zh) * | 2017-11-30 | 2018-05-11 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| CN109360170A (zh) * | 2018-10-24 | 2019-02-19 | 北京工商大学 | 基于高级特征的人脸修复方法 |
| CN110163806A (zh) * | 2018-08-06 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置以及存储介质 |
| CN110399849A (zh) * | 2019-07-30 | 2019-11-01 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101828411B1 (ko) * | 2011-09-21 | 2018-02-13 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
| US9058656B2 (en) * | 2012-01-23 | 2015-06-16 | Eiffel Medtech Inc. | Image restoration system and method |
| TWI682359B (zh) * | 2018-01-29 | 2020-01-11 | 國立清華大學 | 影像補全方法 |
-
2019
- 2019-12-09 CN CN201911253851.6A patent/CN111062904B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016183743A1 (en) * | 2015-05-15 | 2016-11-24 | SZ DJI Technology Co., Ltd. | System and method for supporting image denoising based on neighborhood block dimensionality reduction |
| CN107944399A (zh) * | 2017-11-28 | 2018-04-20 | 广州大学 | 一种基于卷积神经网络目标中心模型的行人重识别方法 |
| CN108022207A (zh) * | 2017-11-30 | 2018-05-11 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质和电子设备 |
| CN110163806A (zh) * | 2018-08-06 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置以及存储介质 |
| CN109360170A (zh) * | 2018-10-24 | 2019-02-19 | 北京工商大学 | 基于高级特征的人脸修复方法 |
| CN110399849A (zh) * | 2019-07-30 | 2019-11-01 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111062904A (zh) | 2020-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10621415B2 (en) | Facial image processing apparatus, facial image processing method, and non-transitory computer-readable storage medium | |
| CN109952594B (zh) | 图像处理方法、装置、终端及存储介质 | |
| EP1223551A2 (en) | Doubleprint photofinishing service with the second print having subject content-based modifications | |
| CN111031239B (zh) | 图像处理方法及其装置、电子设备和计算机可读存储介质 | |
| CN110910330B (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| JP2012530994A (ja) | 半顔面検出のための方法および装置 | |
| CN111105368B (zh) | 图像处理方法及其装置、电子设备和计算机可读存储介质 | |
| CN110910331B (zh) | 图像处理方法、图像处理装置、电子设备和计算机可读存储介质 | |
| KR102262671B1 (ko) | 비디오 영상에 보케 효과를 적용하는 방법 및 기록매체 | |
| CN111062904B (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| Kinoshita et al. | Automatic exposure compensation using an image segmentation method for single-image-based multi-exposure fusion | |
| CN114821404B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
| CN114782864B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
| US20220398704A1 (en) | Intelligent Portrait Photography Enhancement System | |
| CN111031241B (zh) | 图像处理方法及其装置、终端和计算机可读存储介质 | |
| CN112036209A (zh) | 一种人像照片处理方法及终端 | |
| CN111105369B (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| Florea et al. | Directed color transfer for low-light image enhancement | |
| Raipurkar et al. | HDR-cGAN: single LDR to HDR image translation using conditional GAN | |
| CN111105370A (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| JP2004240622A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
| JP5272775B2 (ja) | 電子スチルカメラ | |
| CN111083359B (zh) | 图像处理方法及其装置、电子设备和计算机可读存储介质 | |
| Liu et al. | Guided image deblurring by deep multi-modal image fusion | |
| CN112184586A (zh) | 基于深度感知的单目视觉图像背景快速虚化的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |