CN111105368A - 图像处理方法及其装置、电子设备和计算机可读存储介质 - Google Patents
图像处理方法及其装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111105368A CN111105368A CN201911253049.7A CN201911253049A CN111105368A CN 111105368 A CN111105368 A CN 111105368A CN 201911253049 A CN201911253049 A CN 201911253049A CN 111105368 A CN111105368 A CN 111105368A
- Authority
- CN
- China
- Prior art keywords
- image
- similarity
- album
- stored
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 88
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 20
- 210000001508 eye Anatomy 0.000 description 18
- 238000000034 method Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 8
- 210000004209 hair Anatomy 0.000 description 8
- 230000004927 fusion Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 210000004279 orbit Anatomy 0.000 description 6
- 210000005252 bulbus oculi Anatomy 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 210000001331 nose Anatomy 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000004622 sleep time Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请公开一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。图像处理方法包括：检测待修复图像与相册中的存储图像中的人脸之间的相似度；在相册中存在相似度大于预设相似度的存储图像时，从相似度大于预设相似度的存储图像中获取清晰度最大的存储图像作为参考图像；在相册中不存在相似度大于预设相似度的存储图像时，从相册中获取清晰度最大的存储图像作为参考图像；及根据参考图像对待修复图像进行处理以得到目标图像。本申请的图像处理方法、图像处理装置、电子设备和计算机可读存储介质通过对待修复图像与相册中的每幅存储图像进行检测，根据检测的结果自动选择参考图像对待修复图像进行处理得到目标图像，提升图像品质。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。
背景技术
提升图像清晰度的方法多通过在拍摄时，获取多帧图像进行合成以得到清晰度较高的图像，但在实际拍摄过程中，由于手机抖动或者环境光线不足等因素，导致拍摄得到的多帧图像比较模糊，因此，由这多帧模糊图像合成得到的图像的清晰度也比较低，导致得到的图像的质量较差，降低用户体验。
发明内容
本申请的实施例提供了一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。
本申请实施方式的图像处理方法包括：检测待修复图像中的人脸与相册中的存储图像中的人脸之间的相似度；在相册中存在相似度大于预设相似度的存储图像时，从相似度大于预设相似度的存储图像中获取清晰度最大的存储图像作为参考图像；在相册中不存在相似度大于预设相似度的存储图像时，从所述相册中获取清晰度最大且相似度小于所述预设相似度的存储图像作为参考图像；及根据所述参考图像对所述待修复图像进行处理以得到目标图像。
本申请实施方式的图像处理装置包括：检测模块、第一获取模块、第二获取模块及处理模块。所述检测模块用于检测待修复图像中的人脸与相册中的存储图像中的人脸之间的相似度。所述第一获取模块用于在相册中存在相似度大于预设相似度的存储图像时，从相似度大于预设相似度的存储图像中获取清晰度最大的存储图像作为参考图像。所述第二获取模块用于在相册中不存在相似度大于预设相似度的存储图像时，从所述相册中获取清晰度最大且相似度小于所述预设相似度的存储图像作为参考图像。所述处理模块用于根据所述参考图像对所述待修复图像进行处理以得到目标图像。
本申请实施方式的电子设备包括壳体和处理器，所述处理器安装在所述壳体上。所述处理器用于：检测待修复图像中的人脸与相册中的存储图像中的人脸之间的相似度；在相册中存在相似度大于预设相似度的存储图像时，从相似度大于预设相似度的存储图像中获取清晰度最大的存储图像作为参考图像；在相册中不存在相似度大于预设相似度的存储图像时，从所述相册中获取清晰度最大且相似度小于所述预设相似度的存储图像作为参考图像；及根据所述参考图像对所述待修复图像进行处理以得到目标图像。
本申请实施方式的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现：检测待修复图像中的人脸与相册中的存储图像中的人脸之间的相似度；在相册中存在相似度大于预设相似度的存储图像时，从相似度大于预设相似度的存储图像中获取清晰度最大的存储图像作为参考图像；在相册中不存在相似度大于预设相似度的存储图像时，从所述相册中获取清晰度最大且相似度小于所述预设相似度的存储图像作为参考图像；及根据所述参考图像对所述待修复图像进行处理以得到目标图像。
本申请实施方式的图像处理方法、图像处理装置、电子设备和计算机可读存储介质通过对待修复图像与相册中的每幅存储图像进行检测，根据检测的结果，自动选择相应的清晰度最大的存储图像作为参考图像对待修复图像进行处理，相较于使用本身就模糊的多帧模糊图像来进行合成输出图像而言，利用参考图像对待修复图像进行处理得到清晰度更高的目标图像，即图像品质更高。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的图像处理方法的流程示意图。
图2是本申请某些实施方式的图像处理装置的示意图。
图3是本申请某些实施方式的电子设备的结构示意图。
图4是本申请某些实施方式的图像处理方法的流程示意图。
图5是本申请某些实施方式的图像处理装置的示意图。
图6是本申请某些实施方式的图像处理方法的流程示意图。
图7是本申请某些实施方式的图像处理装置中第三获取模块的示意图。
图8是本申请某些实施方式的图像处理方法的流程示意图。
图9是本申请某些实施方式的图像处理装置中第三获取模块的示意图。
图10是本申请某些实施方式的图像处理方法的流程示意图。
图11是本申请某些实施方式的图像处理装置中第三获取模块的示意图。
图12是本申请某些实施方式的图像处理方法的流程示意图。
图13是本申请某些实施方式的图像处理装置中检测模块的示意图。
图14是本申请某些实施方式的图像处理方法的流程示意图。
图15是本申请某些实施方式的图像处理装置的示意图。
图16是本申请某些实施方式的图像处理方法的流程示意图。
图17是本申请某些实施方式的图像处理装置中第四获取模块的示意图。
图18是本申请某些实施方式的一幅存储图像的场景示意图。
图19是本申请某些实施方式的拉普拉斯模板的场景示意图。
图20是图18经拉普拉斯模板卷积运算后得到的拉普拉斯图像的场景示意图。
图21是本申请某些实施方式的图像处理方法的流程示意图。
图22是本申请某些实施方式的图像处理装置中处理模块的示意图。
图23是本申请某些实施方式的内容生成网络的示意图。
图24是本申请某些实施方式的纹理生成网络的示意图。
图25是本申请某些实施方式的根据参考图像对待修复图像进行处理的原理示意图。
图26是本申请某些实施方式的图像处理方法的流程示意图。
图27是本申请某些实施方式的图像处理装置中处理模块的示意图。
图28是本申请某些实施方式的根据参考图像对待修复图像进行处理的原理示意图。
图29是本申请某些实施方式的计算机可读存储介质与电子设备的连接示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
请参阅图1，本申请实施方式的一种图像处理方法包括：
01，检测待修复图像中的人脸与相册中的存储图像中的人脸之间的相似度；
02，判断相册中是否存在相似度大于或等于预设相似度的存储图像；
03，在相册中存在相似度大于或等于预设相似度的存储图像时，从相似度大于预设相似度的存储图像中获取清晰度最大的存储图像作为参考图像；
04，在相册中不存在相似度大于或等于预设相似度的存储图像时，从相册中获取清晰度最大且相似度小于预设相似度的存储图像作为参考图像；及
05，根据参考图像对待修复图像进行处理以得到目标图像。
请结合图1和图2，本申请实施方式的一种图像处理装置100包括检测模块11、判断模块12、第一获取模块13、第二获取模块14及处理模块15。图像处理装置100可用于实现本申请实施方式的图像处理方法。其中，步骤01可由检测模块11执行；步骤02可由判断模块12执行；步骤03可由第一获取模块13执行；步骤04可由第二获取模块14执行；步骤05可由处理模块15执行。也即是说，检测模块11可用于检测待修复图像中的人脸与相册中的存储图像中的人脸之间的相似度。判断模块12可用于判断相册中是否存在相似度大于或等于预设相似度的存储图像。第一获取模块13可用于在相册中存在相似度大于或等于预设相似度的存储图像时，从相似度大于预设相似度的存储图像中获取清晰度最大的存储图像作为参考图像。第二获取模块14可用于在相册中不存在相似度大于或等于预设相似度的存储图像时，从相册中获取清晰度最大且相似度小于预设相似度的存储图像作为参考图像。处理模块15可用于根据参考图像对待修复图像进行处理以得到目标图像。
请结合图1和图3，本申请实施方式的电子设备200包括壳体210和处理器230，处理器230安装在壳体210上，壳体210起到保护处理器230的作用。处理器230可用于实现本申请实施方式的图像处理方法，步骤01、步骤02、步骤03、步骤04及步骤05均可由处理器230实现。也即是说，处理器230可用于实现：检测待修复图像中的人脸与相册中的存储图像中的人脸之间的相似度；判断相册中是否存在相似度大于或等于预设相似度的存储图像；在相册中存在相似度大于或等于预设相似度的存储图像时，从相似度大于预设相似度的存储图像中获取清晰度最大的存储图像作为参考图像；在相册中不存在相似度大于或等于预设相似度的存储图像时，从相册中获取清晰度最大且相似度小于预设相似度的存储图像作为参考图像；及根据参考图像对待修复图像进行处理以得到目标图像。
本申请实施方式的图像处理方法、图像处理装置100和电子设备200通过对待修复图像与相册中的每幅存储图像进行检测，根据检测的结果，自动选择相应的清晰度最大的存储图像作为参考图像对待修复图像进行处理，相较于使用本身就模糊的多帧模糊图像来进行合成输出图像而言，利用参考图像对待修复图像进行处理得到清晰度更高的目标图像，即图像品质更高。
具体地，存储图像的清晰度可指存储图像中的人脸区域的清晰度，通过获取人脸区域清晰度最大的一幅存储图像作为参考图像，根据参考图像对待修复图像进行处理，提升待修复图像中的人脸区域的清晰度。存储图像的清晰度也可指整幅存储图像中的清晰度，通过获取清晰度最高的存储图像作为参考图像，根据参考图像对待修复图像进行处理，提升待修复图像整体的清晰度。
再具体地，步骤04可包括：
根据用户确认执行从相册中获取清晰度最大且相似度小于预设相似度的存储图像作为参考图像。
在确定相册中不存在与待修复图像为同一人的图像时，需要用户确认是否执行使用与待修复图像不为同一人的存储图像作为参考图像，以对待修复图像进行处理得到目标图像。在用户确认同意执行后，才执行步骤04。若用户未确认执行(即不同意执行)，则不对待修复图像进行处理。当然，也可不需要经过用户确认直接进入步骤04。
更具体地，请参阅图4，在某些实施方式中，图像处理方法还包括：
06，获取待修复图像。
请一并参阅图4和图5，在某些实施方式中，图像处理装置100还可包括第三获取模块16，其中，步骤06可由第三获取模块16执行。也即是说，第三获取模块16可用于获取待修复图像。
请一并参阅图3和图4，在某些实施方式中，步骤06可由处理器230实现，也即是说，处理器230可用于获取待修复图像。
具体地，待修复图像可为相册中存储的图像，通过获取相册中存储的图像作为待修复图像，再对待修复图像进行后续处理，提高了相册中存储的图像质量。待修复图像还可为摄像头220直接拍摄得到的图像。将摄像头220拍摄得到的图像作为待修复图像，再对待修复图像进行后续处理，使得用户能在拍摄的过程中，得到质量更高的图像，提升用户体验。
请参阅图6，在某些实施方式中，步骤06包括：
061，获取具有人像的原始图像；
062，获取原始图像的清晰度；及
063，将清晰度小于预设清晰度阈值的原始图像确定为待修复图像。
请一并参阅图6和图7，在某些实施方式中，第三获取模块16可包括第一获取单元161、第二获取单元162及确定单元163。其中，步骤061可由第一获取单元161执行；步骤062可由第二获取单元162执行；步骤063可由确定单元163执行。也即是说，第一获取单元161可用于获取具有人像的原始图像。第二获取单元162可用于获取原始图像的清晰度。确定单元163可用于将清晰度小于预设清晰度阈值的原始图像确定为待修复图像。
请一并参阅图3和图6，在某些实施方式中，步骤061、步骤062及步骤063均可由处理器230实现。也即是说，处理器230可用于：获取具有人像的原始图像；获取原始图像的清晰度；及将清晰度小于预设清晰度阈值的原始图像确定为待修复图像。
具体地，原始图像可指相册中保存的图像或者摄像头220直接拍摄得到的图像，原始图像可为一幅或者多幅，多幅是指两幅或者两幅以上。可先通过获取每幅原始图像的清晰度，通过对每幅原始图像的清晰度与预设清晰度阈值进行对比，在清晰度小于预设清晰度阈值时，说明该幅原始图像的清晰度比较低，比较模糊，则该幅原始图像需要进行修复处理，因此，将该幅原始图像确定为待修复图像；在清晰度大于预设清晰度阈值时，说明该幅原始图像的清晰度较高，该幅原始图像无需进行修复处理；在原始图像的清晰度等于预设清晰度阈值时，既可将该幅原始图像确定为待修复图像，也可将该幅原始图像确定为非待修复图像。通过对每幅原始图像的清晰度进行对比，只对清晰度较低的原始图像进行后续处理，减少了图像修复的工作量，从而加快了图像处理的整体速度。
请参阅图8，在某些实施方式中，步骤061包括：
0611，在预定时间和/或预设场景下，从相册中获取具有人像的原始图像。
请一并参阅图8和图9，在某些实施方式中，第一获取单元161可包括第一获取子单元1611，其中，步骤0611可由第一获取子单元1611执行。也即是说，第一获取子单元1611可用于在预定时间和/或预设场景下，从相册中获取具有人像的原始图像。
请一并参阅图3和图8，在某些实施方式中，步骤0611可由处理器230实现，也即是说，处理器230可用于：在预定时间和/或预设场景下，从相册中获取具有人像的原始图像。
具体地，对于在预定时间，从相册中获取具有人像的原始图像而言，其中的预定时间可指用户不使用手机的时候，具体地，预定时间可包括进入睡眠的休息时间，例如为夜晚睡觉时间(比如但不局限于22：00～5：00时间段)，再例如为午休时间(比如但不局限于12：30～2：00时间段)；预定时间还可包括上班时间(比如但不局限于8：00～12：00及14：00～18：00)，此时用户一般不使用手机；预定时间还可包括上课时间(比如但不局限于8：00～8：40、9：00～9：45、10：00～10：45、11：00～11：45中的至少一个时间段等)等等。由于图像处理装置100或者电子设备200在获取相册中具有人像的原始图像的过程需要占用一定的运行内存，在进入睡眠的休息时间、上班时间或上课时间，用户一般都不使用手机，图像处理装置100或者电子设备200也是处于非工作状态，在此时获取相册中的具有人像的原始图像，相较于图像处理装置100或者电子设备200处于工作状态时获取而言，不会造成内存抢占的问题。预定时间可为系统预先设定好的一个或多个时间段，当然，预定时间还可由用户根据自身的需求自行设置。
对于在预设场景内，从相册中获取具有人像的原始图像而言，其中的预设场景可包括充电状态、待机状态、低功耗运行状态等。由于图像处理装置100或者电子设备200在获取相册中具有人像的原始图像的时间会比较长，且占用一定的运行内存，因此在预设场景下才执行获取的步骤，能尽可能的避免抢占内存的问题。低功耗运行状态可指电子设备200在仅运行阅读、看新闻等对运行内存需求较小的软件。
需要说明的是，从相册中获取具有人像的原始图像可以仅仅是在预定时间即可执行，也可以仅仅是在预定场景下即可执行，还可以是既要在预定时间，又要在预定场景下才执行。如此，能最大程度地避免在相册中获取原始图像对用户的正常使用造成影响，提升了用户体验。
请参阅图10，在某些实施方式中，步骤061包括：
0612，在摄像头220拍摄过程中，获取摄像头200拍摄的具有人像的原始图像。
请一并参阅图10和图11，在某些实施方式中，第一获取单元161可包括第二获取子单元1612，其中步骤0612可由第二获取子单元1612执行。也即是说，第二获取子单元1612可用于在摄像头220拍摄过程中，获取摄像头220拍摄的具有人像的原始图像。
请一并参阅图3和图10，在某些实施方式中，电子设备200上包括摄像头220，其中，摄像头220可为前置摄像头，也可为后置摄像头，或者屏下摄像头等等。步骤0612可由处理器230实现，也即是说，处理器230可用于：在摄像头220拍摄过程中，获取摄像头200拍摄的具有人像的原始图像。
具体地，在摄像头220工作时，能实时获取拍摄的具有人像的原始图像，可对符合条件的原始图像进行后续的修复处理，以得到目标图像，使得用户在使用摄像头220拍摄时，得到的图像质量更高，提升了用户体验。
请参阅图12，在某些实施方式中，步骤01包括：
011，对存储图像与待修复图像分别进行图像预处理；
012，利用卷积层及池化层分别对预处理后的存储图像与待修复图像做人脸特征提取，以得到与存储图像对应的第一特征图像及与待修复图像对应的第二特征图像；
013，利用全连接层分别对第一特征图像中的各个特征与第二特征图像中的各个特征进行分类，并分别进行向量化表示；
014，计算第一特征图像中的每个类别的特征向量与第二特征图像中对应类别的特征向量之间的差距，以得到与多个类别对应的多个差距；
015，根据多个类别对应的多个差距计算出存储图像与待修复图像之间的综合差距，并用综合差距来表征相似度。
请一并参阅图12和图13，在某些实施方式中，检测模块11可包括第一处理单元111、第二处理单元112、分类单元113、第一计算单元114及第二计算单元115。其中，步骤011可由第一处理单元111执行；步骤012可由第二处理单元112执行；步骤013可由分类单元113执行；步骤014可由第一计算单元114执行；步骤015可由第二计算单元115执行。也即是说，第一处理单元111可用于对存储图像与待修复图像分别进行图像预处理。第二处理单元112可用于利用卷积层及池化层分别对预处理后的存储图像与待修复图像做人脸特征提取，以得到与存储图像对应的第一特征图像及与待修复图像对应的第二特征图像。分类单元113可用于利用全连接层分别对第一特征图像中的各个特征与第二特征图像中的各个特征进行分类，并分别进行向量化表示。第一计算单元114可用于计算第一特征图像中的每个类别的特征向量与第二特征图像中对应类别的特征向量之间的差距，以得到与多个类别对应的多个差距。第二计算单元115可用于根据多个类别对应的多个差距计算出存储图像与待修复图像之间的综合差距，并用综合差距来表征相似度。
请一并参阅图3和图12，在某些实施方式中，步骤011、步骤012、步骤013、步骤014及步骤015均可由处理器230实现。也即是说，处理器230可用于：对存储图像与待修复图像分别进行图像预处理；利用卷积层及池化层分别对预处理后的存储图像与待修复图像做人脸特征提取，以得到与存储图像对应的第一特征图像及与待修复图像对应的第二特征图像；利用全连接层分别对第一特征图像中的各个特征与第二特征图像中的各个特征进行分类，并分别进行向量化表示；计算第一特征图像中的每个类别的特征向量与第二特征图像中对应类别的特征向量之间的差距，以得到与多个类别对应的多个差距；根据多个类别对应的多个差距计算出存储图像与待修复图像之间的综合差距，并用综合差距来表征相似度。
具体地，存储图像可包括一幅或者多幅，多幅是指两幅或者两幅以上。对存储图像进行预处理可指对每幅存储图像分别进行预处理。以一幅存储图像为例，通过高斯低通滤波器对存储图像进行滤波处理，以将存储图像中的高斯噪声过滤，使得存储图像更加平滑。高斯噪声是指存储图像在拍摄时，由于不良照明或者高温引起传感器噪声(例如图像传感器)。多幅存储图像的预处理方式与一幅存储图像的预处理方式相同，在此不再赘述。
将预处理后的存储图像输入到一个卷积神经网络中，该卷积神经网络包括多个卷积层和多个池化层。每个卷积层内均包含一个卷积核，利用卷积层内的卷积核在存储图像上进行卷积处理，将存储图像中的人脸特征进行放大，该人脸特征可包括五官特征、皮肤特征、头发特征中的至少一种。然后再对卷积后的特征进行池化，池化的作用就是减少卷积层卷积得到的特征的数量。在经过多个卷积层卷积和多个池化层池化后，得到一张第一特征图像。得到的第一特征图像中包含有该幅存储图像上的人脸的特征信息，例如眼睛、鼻子、耳朵等等。
对待修复图像进行预处理可指通过高斯低通滤波器对待修复图像进行滤波处理，以得到更加平滑的待修复图像。再将预处理后的待修复图像输入至卷积神经网络中，该卷积神经网络与上述的存储图像输入的卷积神经网络相同，因此，预处理后的待修复图像将得到一个第二特征图像。第二特征图像上包含眼睛、鼻子、耳朵等的特征信息。卷积神经网络中还包括一个全连接层，全连接层能对第一特征图像和第二特征图像中的各个特征进行分类，并对每个类别的特征进行向量表示。例如，第一特征图像中包含眼睛的外部轮廓(眼眶)、鼻子的外部轮廓(鼻型)、嘴巴的外部轮廓(嘴型)、眼睛的内部信息(眼珠)、鼻子的内部信息(鼻孔)、嘴巴的内部信息(嘴唇)等，则将有关眼眶和眼珠的特征信息归为一类为眼睛，再对眼睛这个类别的特征进行向量化表示，例如用A表示第一特征图像中的眼睛特征向量。将有关鼻型和鼻孔的特征信息归为一类为鼻子，再对鼻子这个类别的特征进行向量化表示，例如用B表示第一特征图像中的鼻子特征向量。将有关嘴型和嘴唇的特征信息归为一类为嘴巴，再对嘴巴这个类别的特征进行向量化表示，例如用C表示第一特征图像中的嘴巴特征向量。同理，对第二特征图像中包含眼眶、鼻型、嘴型、眼珠、鼻孔、嘴唇等，将有关眼眶和眼珠的特征信息归为一类为眼睛，再对眼睛这个类别的特征进行向量化表示，例如用A0表示第二特征图像中的眼睛特征向量。将有关鼻型和鼻孔的特征信息归为一类为鼻子，再对鼻子这个类别的特征进行向量化表示，例如用B0表示第二特征图像中的鼻子特征向量。将有关嘴型和嘴唇的特征信息归为一类为嘴巴，再对嘴巴这个类别的特征进行向量化表示，例如用C0表示第二特征图像中的嘴巴特征向量。
在得到第一特征图像和第二特征图像的每个类别的特征向量之后，计算第一特征图像和第二特征图像各个对应类别的特征向量之间的差距。例如，计算第一特征图像和第二特征图像中眼睛类别的特征向量之间的差距可为(A-A0)；鼻子类别的特征向量之间的差距为(B-B0)；嘴巴类别的特征向量之间的差距为(C-C0)。当然，还可以有其他类别的特征向量，例如眉毛、耳朵等等，在此不一一列举。
再根据得到的多个差距计算出综合差距，具体的计算可通过欧式距离、余弦距离(余弦相似度)、马氏距离等中的任何一个来计算。以欧式距离为例，若综合距离用L表示，则
将上述得到的各个类别的特征向量之间的差距代入这个欧式距离内，得到一个综合距离，则将这个欧式距离L表征存储图像与待修复图像之间的相似度。欧式距离L越小，存储图像与待修复图像之间的相似度越大，则该幅存储图像与待修复图像中的人的差异就越小，越说明该幅存储图像中的人越有可能与待修复图像中的人是同一人。欧式距离L越大，存储图像与待修复图像之间的相似度越小，则该幅存储图像与待修复图像中的人的差异就越大，则说明该幅存储图像中的人越有可能与待修复图像中的人不是同一人。利用余弦距离和马氏距离来计算综合差距与利用欧式距离来计算综合差距类似，在此不做举例说明，在得到存储图像与待修复图像的综合距离后，通过该综合距离表征这两幅图像之间的相似度。
更具体地，在得到存储图像和待修复图像之间的相似度时，对比该相似度与预设相似度，若相似度大于或等于预设相似度，则确定该幅存储图像中的人与待修复图像中的人为同一人；若相似度小于预设相似度，则确定该幅存储图像中的人与待修复图像中的人不是同一人。预设相似度为一个已知的值，可根据多次实验获得，然后存储在图像处理装置100或电子设备200的存储元件中。当然，也可以在图像处理装置100或电子设备200中预先设定多个不同的预设相似度，以供用户根据自己喜好进行选择。
通过检测相册中的每一幅存储图像与待修复图像的相似度，再根据相似度与预设相似度之间的大小关系，确定相册中的存储图像是否存在与待修复图像是同一人的图像。若相册中存在一幅或者一幅以上的存储图像与待修复图像的相似度大于或等于预设相似度，则说明相册中存在与待修复图像为同一人的图像，进入步骤03，以选择清晰度最高的且与待修复图像为同一人的图像作为参考图像，对待修复图像进行处理得到目标图像。若相册中没有一幅存储图像与待修复图像的相似度大于或等于预设相似度，则说明相册中的所有存储图像都与待修复图像不为同一人，进入步骤04，以选择清晰度最高的且与待修复图像不为同一人的图像作为参考图像，对待修复图像进行处理得到目标图像。
请一并参阅图14，在某些实施方式中，在相册中存在相似度大于或等于预设相似度的存储图像时，图像处理方法还包括：
07，获取相似度大于或等于预设相似度的存储图像的清晰度。
请一并参阅图14和图15，在某些实施方式中，图像处理装置100还包括第四获取模块17，其中，步骤07可由第四获取模块17执行。也即是说，第四获取模块17可用于获取相似度大于或等于预设相似度的存储图像的清晰度。
请一并参阅图3和图14，在某些实施方式中，步骤07可由处理器230实现，也即是说，处理器230可用于：获取相似度大于或等于预设相似度的存储图像的清晰度。
在一个例子中，可先获取每幅存储图像中高频信息的像素数量在整幅存储图像的所有像素中的占比，并用该占比来表征该幅存储图像的清晰度，占比越高，图像清晰度越高。具体地，先通过整形低通滤波对该幅存储图像进行处理，以得到滤波图像。再根据该幅存储图像与滤波图像得到高频信息，具体为用该幅存储图像减去滤波图像即可得到高频信息。其中，高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述拍摄图像的细节信息。最后，统计高频信息的像素数量在该幅存储图像的所有像素中的占比。例如，该幅存储图像中的高频信息的像素数量占该幅存储图像的所有像素数量的20％，则用占比20％来表征该幅存储图像的清晰度。
需要说明的是，在确定相册中存在相似度大于或等于预设相似度的存储图像时，获取存储图像的清晰度是只获取相册中相似度大于或等于预设相似度的存储图像的相似度。也就是说，在确定相册中存在与待修复图像中的人为同一人的存储图像时，仅获取相册中与待修复图像中的人为同一人的存储图像，其他与待修复图像不为同一人的存储图像的清晰度不进行获取。该存储图像的数量可为一幅或者多幅。只获取相册中与待修复图像为同一人的存储图像的清晰度，相较于获取相册中的所有存储图像的清晰度而言，减少了获取清晰度的工作量，提升了整体的图像处理速度。
当然，清晰度还可通过其他方式获取。例如，请参阅图16，在另一个例子中，步骤07包括：
071，对存储图像中的像素值采用拉普拉斯模板做卷积运算，以得到拉普拉斯图像；
072，计算拉普拉斯图像的像素值的方差，并将方差作为存储图像的清晰度。
请一并参阅图16和图17，在某些实施方式中，第四获取模块17可包括第三计算单元171和第四计算单元172。其中，步骤071可由第三计算单元171执行；步骤072可由第四计算单元172执行。也即是说，第三计算单元171可用于对存储图像中的像素值采用拉普拉斯模板做卷积运算，以得到拉普拉斯图像。第四计算单元172可用于计算拉普拉斯图像的像素值的方差，并将方差作为存储图像的清晰度。
请一并参阅图3和图16，在某些实施方式中，步骤071及步骤072均可由处理器230实现。也即是说，处理器230可用于：对存储图像中的像素值采用拉普拉斯模板做卷积运算，以得到拉普拉斯图像；及计算拉普拉斯图像的像素值的方差，并将方差作为存储图像的清晰度。
更具体地，拉普拉斯模板可指拉普拉斯算子，拉普拉斯算子是用于测量图片的一个二阶导数，用于突出图像中的像素值高速变化的区域，例如图像的边缘检测。请参阅图XX，若存储图像为清晰的图像，则说明该幅图像中存在较大的像素值高速变化区域，即较多的边缘信息，也就是存储图像中的五官特征、头发特征、脸部轮廓特征等特征与其周围像素值存在较大差异。若存储图像为模糊的，则说明存储图像中的五官特征、头发特征、脸部轮廓特征等特征与其周围的像素值相差不大，即，较小的像素值高速变化区域。拉普拉斯算子可为一个3*3的矩形阵列，通过该矩形阵列对存储图像的每个像素点的像素值进行卷积运算，将卷积运算后的像素值作为该像素点的像素值，则最终得到该幅存储图像的拉普拉斯图像。对拉普拉斯图像中的像素值进行方差计算得到该幅存储图像的方差。拉普拉斯图像的方差计算可先获取拉普拉斯图像各个像素点的平均像素值，计算每个像素点的像素值与平均像素值的差值的平方的平均数得到方差，到此即可用该方差值表征该存储图像的清晰度。其中，方差值越大，则说明该幅存储图像越清晰；方差值越小，则说明该幅存储图像越模糊。
请一并参阅图18至图20，图18为一幅存储图像，图19为一个拉普拉斯算子的矩形阵列，图20为经过拉普拉斯算子卷积运算后的拉普拉斯图像。存储图像经过拉普拉斯算子进行卷积运算之后，得到图24所示的拉普拉斯图像。计算得到拉普拉斯图像的方差为41.0300，则将该方差值作为该幅存储图像的清晰度。
在对相册中的相似度大于或等于预设相似度的每幅存储图像进行清晰度的获取后，将清晰度最大的存储图像作为参考图像。例如，在得到相册中有8幅存储图像上的人与待修复上的人是同一人，则对这8幅存储图像的清晰度进行获取，得到8幅存储图像的拉普拉斯图像的方差值，再从8幅存储图像中选取方差值(清晰度)最大的一幅存储图像作为参考图像。
请一并参阅图21，在某些实施方式中，在相册中存在相似度大于或等于预设相似度的存储图像时，步骤05包括：
051，将待修复图像输入至内容生成网络，以得到第一主体内容；
052，将参考图像输入至纹理生成网络，以得到第一纹理特征；及
053，对第一纹理特征与第一主体内容进行融合，以得到目标图像。
请一并参阅图21和图22，在某些实施方式中，处理模块15可包括第三处理单元151、第四处理单元152及第一融合单元153。其中，步骤051可由第三处理单元151执行；步骤052可由第四处理单元152执行；步骤053可由第一融合单元153执行。也即是说，第三处理单元151可用于将待修复图像输入至内容生成网络，以得到第一主体内容。第四处理单元152可用于将参考图像输入至纹理生成网络，以得到第一纹理特征。第一融合单元153可用于对第一纹理特征与第一主体内容进行融合，以得到目标图像。
请一并参阅图3和图21，在某些实施方式中，步骤051、步骤052及步骤053均可由处理器230实现。也即是说，处理器230可用于将待修复图像输入至内容生成网络，以得到第一主体内容；将参考图像输入至纹理生成网络，以得到第一纹理特征；及对第一纹理特征与第一主体内容进行融合，以得到目标图像。
具体地，请参阅图23，内容生成网络可为一个卷积神经网络，该网络中包含有多个卷积层、一个全连接层及多个反卷积层，其中卷积层的数量与反卷积层的数量相同，且全连接层位于卷积层与反卷积层之间。每个卷积层用于提取待修复图像中的某个特征信息，例如，第一卷积层提取待修复图像中的眼睛的内部特征信息(眼珠、睫毛等)，第二卷积层提取待修复图像中的鼻子的内部特征信息(鼻孔、鼻翼等)，第三卷积层提取待修复图像中的嘴巴的内部特征信息(嘴唇、牙齿等)，第四卷积层提取待修复图像中的头发的内部特征信息(疏密程度、发色等)等。全连接层将多个卷积层提取得到的特征信息转化为特征向量。再由多个反卷积层对每个特征向量分别进行反卷积，以得到与输入图像相同尺寸的第一主体内容。
请参阅图24，将参考图像输入至纹理生成网络中，得到第一纹理特征。纹理生成网络包括多个卷积层和全连接层，多个卷积层提取参考图像中的特征信息，例如，纹理生成网络中的第一卷积层获取参考图像中的眼睛轮廓特征(眼眶)，纹理生成网络中的第二卷积层获取参考图像中的鼻子轮廓特征(鼻型)，纹理生成网络中的第三卷积层获取参考图像中的嘴巴轮廓特征(嘴型)，纹理生成网络中的第四卷积层获取参考图像中的头发轮廓特征(发型)等等。再由全连接层对卷积层中卷积得到的特征信息进行特征向量化，得到第一纹理特征。
请参阅图25，图25为参考图像与待修复图像是同一人时，根据参考图像对待修复图像进行处理的原理示意图。将第一纹理特征与第一主体内容进行融合，得到目标图像。该融合可指将第一纹理特征中的各个特征信息贴到第一主体内容对应的位置。例如，将第一纹理特征中的眼眶贴到第一主体内容中的眼睛的中；将第一纹理特征中的鼻子的鼻型贴到第一主体内容中的鼻子中；将第一纹理特征中的嘴巴的嘴型贴到第一主体内容中的嘴巴中；将第一纹理特征中的头发的发型贴到第一主体内容中的头发中等等，得到目标图像。当然，第一主体内容和第一纹理特征还可包括其他特征信息，在此不一一列举。需要说明的是，由于参考图像与待修复图像为同一人，因此，在第一纹理特征上的纹理特征直接贴到第一主体内容上时，不会对第一主体内容的特征造成影响，且得到的目标图像更符合用户的预期。
请一并参阅图14，在某些实施方式中，在相册中不存在相似度大于或等于预设相似度的存储图像时，图像处理方法还包括：
08，获取相似度小于预设相似度的存储图像的清晰度。
请一并参阅图14和图15，在某些实施方式中，图像处理装置100包括第五获取模块18，其中，步骤08可由第五获取模块18执行。也即是说，第五获取模块可用于获取相似度小于预设相似度的存储图像的清晰度。
请一并参阅图3和图14，在某些实施方式中，步骤08可由处理器230实现。也即是说，处理器230可用于：获取相似度小于预设相似度的存储图像的清晰度。
具体地，在对相册中所有的存储图像进行相似度的检测后，确定相册中每幅存储图像与待修复图像的相似度都小于预设相似度，则说明相册中没有与待修复图像为同一人的图像。此时，获取相册中相似度小于预设相似度的存储图像的清晰度，即，获取相册中所有存储图像的清晰度，并将其中清晰度最高的存储图像作为参考图像。在相册中没有与待修复图像为同一人的图像时，在相册中获取清晰度最高的他人的存储图像作为参考图像对待修复图像进行处理，得到目标图像，提高了目标图像的清晰度。
更具体地，获取相似度小于预设相似度的存储图像的清晰度的方法可与上述中获取清晰度的方法相同，获取每幅存储图像的拉普拉斯图像，再计算每幅拉普拉斯图像的方差值，将得到的方差值作为对应存储图像的清晰度。具体实施步骤如上文所述，在此不再赘述。
请参阅图26，在某些实施方式中，在相册中不存在大于或等于预设相似度的存储图像时，步骤05包括：
054，将待修复图像输入至内容生成网络，以得到第二主体内容；
055，将参考图像输入至内容生成网络，以得到第三主体内容；
056，对第二主体内容与第三主体内容进行融合，以得到融合图像；
057，将参考图像输入至纹理生成网络，以得到第二纹理特征；及
058，对第二纹理特征与融合图像进行融合，以得到目标图像。
请一并参阅图26和图27，在某些实施方式中，处理模块15可包括第五处理单元154、第六处理单元155、第二融合单元156、第七处理单元157及第三融合单元158。其中，步骤054可由第五处理单元154执行；步骤055可由第六处理单元155执行；步骤056可由第二融合单元156执行；步骤057可由第七处理单元157执行；步骤058可由第三融合单元158执行。也即是说，第五处理单元154可用于将待修复图像输入至内容生成网络，以得到第二主体内容。第六处理单元155可用于将参考图像输入至内容生成网络，以得到第三主体内容。第二融合单元156可用于对第二主体内容与第三主体内容进行融合，以得到融合图像。第七处理单元157可用于将参考图像输入至纹理生成网络，以得到第二纹理特征。第三融合单元158可用于对第二纹理特征与融合图像进行融合，以得到目标图像。
请一并参阅图3和图26，在某些实施方式中，步骤054、步骤055、步骤056、步骤057及步骤058均可由处理器230实现。也即是说，处理器230可用于：将待修复图像输入至内容生成网络，以得到第二主体内容；将参考图像输入至内容生成网络，以得到第三主体内容；对第二主体内容与第三主体内容进行融合，以得到融合图像；将参考图像输入至纹理生成网络，以得到第二纹理特征；及对第二纹理特征与融合图像进行融合，以得到目标图像。
具体地，请参阅图28，分别将待修复图像和参考图像输入至内容生成网络中生成第二主体内容和第三主体内容。其中第二主体内容和第三主体内容的生成方式与生成的内容与上述的第一主体内容的生成方式与生成的内容相同，在此不再赘述。由于该参考图像与待修复图像不为同一人，因此，需要对第二主体内容和第三主体内容进行融合，以得到融合图像，该融合可指对第二主体内容中的内部特征信息与第三主体内容中对应的内容特征信息进行加权融合。以眼睛的内部特征信息为例进行说明，对第二主体内容中的眼睛的内部特征信息加权20％，对第三主体内容中的眼睛的内部特征信息加权80％，以得到融合图像中的眼睛的内部特征信息。由于参考图像的清晰度较高，因此，由参考图像生成的第三主体内容中的特征信息的清晰度也更好，在不失真的前提下使用更大权重的第三主体内容的特征信息，能提高融合图像中的特征信息的质量，进而提高目标图像的质量。
再将参考图像输入至纹理生成网络中生成第二纹理特征。第二纹理特征的生成方式与上述的第一纹理特征的生成方式相同，在此不再赘述。对第二纹理特征和融合图像进行融合，以得到目标图像。该融合可与上述的第一纹理特征和第一主体内容的融合方式相同，在此不再赘述。在相册中不存在与待修复图像为同一人的存储图像时，使用清晰度最高的他人的存储图像作为参考图像对待修复图像进行处理得到目标图像，提高了目标图像的图像质量。且保留了清晰参考图像的纹理特征(鼻子轮廓特征等，即鼻型等)，达到合成和修复的双重效果。
请一并参阅图1、图2、图3和图29，本申请实施方式还提供一种计算机可读存储介质300，其上存储有计算机程序310，程序被处理器230执行的情况下，实现上述任意一种实施方式的图像处理方法的步骤。
例如，程序被处理器230执行的情况下，实现以下图像处理方法的步骤：
01，检测待修复图像中的人脸与相册中的存储图像中的人脸之间的相似度；
02，判断相册中是否存在相似度大于或等于预设相似度的存储图像；
03，在相册中存在相似度大于或等于预设相似度的存储图像时，从相似度大于预设相似度的存储图像中获取清晰度最大的存储图像作为参考图像；
04，在相册中不存在相似度大于或等于预设相似度的存储图像时，从相册中获取清晰度最大且相似度小于预设相似度的存储图像作为参考图像；及
05，根据参考图像对待修复图像进行处理以得到目标图像。
计算机可读存储介质300可设置在图像处理装置100或者电子设备200内，也可设置在云端服务器内，此时，图像处理装置100或者电子设备200能够与云端服务器进行通讯来获取到相应的计算机程序310。
可以理解，计算机程序310包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。
处理器230可以是指驱动板。驱动板可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器230、数字信号处理器230(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (11)
1.一种图像处理方法，其特征在于，包括：
检测待修复图像中的人脸与相册中的存储图像中的人脸之间的相似度；
在相册中存在相似度大于预设相似度的存储图像时，从相似度大于预设相似度的存储图像中获取清晰度最大的存储图像作为参考图像；
在相册中不存在相似度大于预设相似度的存储图像时，从所述相册中获取清晰度最大且相似度小于所述预设相似度的存储图像作为参考图像；及
根据所述参考图像对所述待修复图像进行处理以得到目标图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述检测待修复图像中的人脸与相册中的存储图像中的人脸之间的相似度，包括：
对所述存储图像与所述待修复图像分别进行图像预处理；
利用卷积层及池化层分别对预处理后的所述存储图像与所述待修复图像做人脸特征提取，以得到与所述存储图像对应的第一特征图像及与所述待修复图像对应的第二特征图像；
利用全连接层分别对第一特征图像中的各个特征与所述第二特征图像中的各个特征进行分类，并分别进行向量化表示；
计算所述第一特征图像中的每个类别的特征向量与所述第二特征图像中对应类别的特征向量之间的差距，以得到与多个类别对应的多个差距；
根据多个类别对应的多个差距计算出所述存储图像与所述待修复图像之间的综合差距，并用所述综合差距来表征所述相似度。
3.根据权利要求1所述的图像处理方法，其特征在于，在相册中存在相似度大于预设相似度的存储图像时，所述图像处理方法，还包括：
获取相似度大于预设相似度的存储图像的清晰度。
4.根据权利要求1所述的图像处理方法，其特征在于，在相册中不存在相似度大于预设相似度的存储图像时，所述图像处理方法，还包括：
获取相似度小于预设相似度的存储图像的清晰度。
5.根据权利要求3或4所述的图像处理方法，其特征在于，获取存储图像的清晰度，包括：
对所述存储图像中的像素值采用拉普拉斯模板做卷积运算，以得到拉普拉斯图像；和
计算所述拉普拉斯图像的像素值的方差，并将所述方差作为所述存储图像的清晰度。
6.根据权利要求1所述的图像处理方法，其特征在于，所述从所述相册中获取清晰度最大且相似度小于所述预设相似度的存储图像作为参考图像，包括：
根据用户确认执行从所述相册中获取清晰度最大且相似度小于所述预设相似度的存储图像作为参考图像。
7.根据权利要求1所述的图像处理方法，其特征在于，在相册中存在相似度大于预设相似度的存储图像时，所述根据所述参考图像对所述待修复图像进行处理以得到目标图像，包括：
将所述待修复图像输入至内容生成网络，以得到第一主体内容；
将所述参考图像输入至纹理生成网络，以得到第一纹理特征；
对所述第一纹理特征与所述第一主体内容进行融合，以得到目标图像。
8.根据权利要求1所述的图像处理方法，其特征在于，在相册中不存在相似度大于预设相似度的存储图像时，所述根据所述参考图像对所述待修复图像进行处理以得到目标图像，包括：
将所述待修复图像输入至内容生成网络，以得到第二主体内容；
将所述参考图像输入至内容生成网络，以得到第三主体内容；
对所述第二主体内容与所述第三主体内容进行融合，以得到融合图像；
将所述参考图像输入至纹理生成网络，以得到第二纹理特征；
对所述第二纹理特征与所述融合图像进行融合，以得到目标图像。
9.一种图像处理装置，其特征在于，包括：
检测模块，所述检测模块用于检测待修复图像中的人脸与相册中的存储图像中的人脸之间的相似度；
第一获取模块，所述第一获取模块用于在相册中存在相似度大于预设相似度的存储图像时，从相似度大于预设相似度的存储图像中获取清晰度最大的存储图像作为参考图像；
第二获取模块，所述第二获取模块用于在相册中不存在相似度大于预设相似度的存储图像时，从所述相册中获取清晰度最大且相似度小于所述预设相似度的存储图像作为参考图像；及
处理模块，所述处理模块用于根据所述参考图像对所述待修复图像进行处理以得到目标图像。
10.一种电子设备，其特征在于，所述电子设备包括壳体和处理器，所述处理器安装在所述壳体上，所述处理器用于实现权利要求1-8中任一项所述的图像处理方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-8中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911253049.7A CN111105368B (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法及其装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911253049.7A CN111105368B (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法及其装置、电子设备和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111105368A true CN111105368A (zh) | 2020-05-05 |
| CN111105368B CN111105368B (zh) | 2023-08-11 |
Family
ID=70423149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911253049.7A Active CN111105368B (zh) | 2019-12-09 | 2019-12-09 | 图像处理方法及其装置、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111105368B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113225451A (zh) * | 2021-04-28 | 2021-08-06 | 维沃移动通信（杭州）有限公司 | 图像处理方法、装置和电子设备 |
| CN113642555A (zh) * | 2021-07-29 | 2021-11-12 | 深圳市芯成像科技有限公司 | 一种图像处理方法、计算机可读介质和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100165122A1 (en) * | 2008-12-31 | 2010-07-01 | Stmicroelectronics S.R.L. | Method of merging images and relative method of generating an output image of enhanced quality |
| CN108257100A (zh) * | 2018-01-12 | 2018-07-06 | 北京奇安信科技有限公司 | 一种图像修复方法及服务器 |
| CN109919830A (zh) * | 2019-01-23 | 2019-06-21 | 复旦大学 | 一种基于美学评价的带参考人眼图像修复方法 |
-
2019
- 2019-12-09 CN CN201911253049.7A patent/CN111105368B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100165122A1 (en) * | 2008-12-31 | 2010-07-01 | Stmicroelectronics S.R.L. | Method of merging images and relative method of generating an output image of enhanced quality |
| CN108257100A (zh) * | 2018-01-12 | 2018-07-06 | 北京奇安信科技有限公司 | 一种图像修复方法及服务器 |
| CN109919830A (zh) * | 2019-01-23 | 2019-06-21 | 复旦大学 | 一种基于美学评价的带参考人眼图像修复方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113225451A (zh) * | 2021-04-28 | 2021-08-06 | 维沃移动通信（杭州）有限公司 | 图像处理方法、装置和电子设备 |
| CN113225451B (zh) * | 2021-04-28 | 2023-06-27 | 维沃移动通信（杭州）有限公司 | 图像处理方法、装置和电子设备 |
| CN113642555A (zh) * | 2021-07-29 | 2021-11-12 | 深圳市芯成像科技有限公司 | 一种图像处理方法、计算机可读介质和系统 |
| CN113642555B (zh) * | 2021-07-29 | 2022-08-05 | 深圳市芯成像科技有限公司 | 一种图像处理方法、计算机可读介质和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111105368B (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109952594B (zh) | 图像处理方法、装置、终端及存储介质 | |
| US11030481B2 (en) | Method and apparatus for occlusion detection on target object, electronic device, and storage medium | |
| US8411932B2 (en) | Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system | |
| US8213690B2 (en) | Image processing apparatus including similarity calculating unit, image pickup apparatus, and processing method for the apparatuses | |
| US8891819B2 (en) | Line-of-sight detection apparatus and method thereof | |
| JP4893862B1 (ja) | 画像処理装置、および画像処理方法 | |
| JP4893863B1 (ja) | 画像処理装置、および画像処理方法 | |
| US8983202B2 (en) | Smile detection systems and methods | |
| EP1255225A2 (en) | Method for detecting eye and mouth positions in a digital image | |
| JP2012530994A (ja) | 半顔面検出のための方法および装置 | |
| CN109937434B (zh) | 图像处理方法、装置、终端和存储介质 | |
| CN111914748B (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
| Arandjelović | Making the most of the self-quotient image in face recognition | |
| CN110910330A (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| CN111105368B (zh) | 图像处理方法及其装置、电子设备和计算机可读存储介质 | |
| CN111031241B (zh) | 图像处理方法及其装置、终端和计算机可读存储介质 | |
| Whitelam et al. | Accurate eye localization in the short waved infrared spectrum through summation range filters | |
| CN110910331B (zh) | 图像处理方法、图像处理装置、电子设备和计算机可读存储介质 | |
| CN112597911A (zh) | 一种磨皮处理方法、装置、移动终端和存储介质 | |
| CN111738930A (zh) | 人脸图像的合成方法、装置、电子设备及存储介质 | |
| CN111062904B (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| Ambika et al. | Periocular authentication based on FEM using Laplace–Beltrami eigenvalues | |
| CN110930338B (zh) | 图像处理方法、图像处理装置、电子设备和计算机可读存储介质 | |
| CN111105369A (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| JP3962517B2 (ja) | 顔面検出方法及びその装置、コンピュータ可読媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |