CN112598580B - 提升人像照片清晰度的方法及装置 - Google Patents

提升人像照片清晰度的方法及装置 Download PDF

Info

Publication number
CN112598580B
CN112598580B CN202011593889.0A CN202011593889A CN112598580B CN 112598580 B CN112598580 B CN 112598580B CN 202011593889 A CN202011593889 A CN 202011593889A CN 112598580 B CN112598580 B CN 112598580B
Authority
CN
China
Prior art keywords
image
face
original
portrait
face frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011593889.0A
Other languages
English (en)
Other versions
CN112598580A (zh
Inventor
林青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Guangzhuiyuan Information Technology Co ltd
Original Assignee
Guangzhou Guangzhuiyuan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Guangzhuiyuan Information Technology Co ltd filed Critical Guangzhou Guangzhuiyuan Information Technology Co ltd
Priority to CN202011593889.0A priority Critical patent/CN112598580B/zh
Publication of CN112598580A publication Critical patent/CN112598580A/zh
Application granted granted Critical
Publication of CN112598580B publication Critical patent/CN112598580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种提升人像照片清晰度的方法及装置，包括将原始图像切片输入至清晰度模型中得第一图像；将待处理图像输入到人脸识别模型中获取原始人脸框矩形，处理后得到内扩展人脸框矩形、外扩展人脸框矩形；外扩展人脸框矩形对原始图像进行裁剪为人脸图像；输入到人脸清晰度模型中对第二图像中的人脸进行清晰度处理，输出第三图像；根据人像掩膜图像和黑色掩膜图像，得到羽化人像掩膜图像；以其像素值为权重计算最终图像的像素值，将所述羽化人像掩膜图像与第一图像相融合，输出最终图像。本发明对照片进行人脸识别与分割，对照片使用常规清晰度提升与人脸清晰度提升相结合的方法，以达到照片背景与人脸都能达到满意的清晰度提升效果。

Description

提升人像照片清晰度的方法及装置
技术领域
本发明属于图像处理技术领域，具体涉及一种提升人像照片清晰度的方法及装置。
背景技术
随着移动终端应用的普及以及移动终端摄像头的拍摄质量提升，越来越多的用户把移动终端拍摄的照片存储到移动设备中，同时也会将老旧照片存储在移动设备中，于是推动了用户对于老旧照片清晰度提升的需求日益高涨。
相关技术中，在现有的提升照片清晰度的图片编辑类应用中，一方面只能通过联网的方式，把照片上传到服务器上进行清晰度提升，这种方法要求用户联网，同时可能由于网络慢或服务器处理压力过大等，导致整体流程慢、用户等待过久等问题；另一方面，只能对照片进行通用性的清晰度提升，这种提升方法在人脸上的效果并不明显。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种提升人像照片清晰度的方法及装置，以解决现有技术中在无法联网时对人像照片提升清晰度在人脸上的效果不明显的问题。
为实现以上目的，本发明采用如下技术方案：一种提升人像照片清晰度的方法，包括：
获取原始图像，并根据所述原始图像，获取多个原始图像切片；
将所述原始图像切片输入至清晰度模型中，所述清晰度模型对所述原始图像切片进行清晰度处理，得到多个图像切片，将得到的多个图像切片进行拼接，得到第一图像；
根据所述原始图像，获取待处理图像，将所述待处理图像输入到人脸识别模型中，所述人脸识别模型对所述待处理图像进行人脸识别，并在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形以不同比例进行放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形；根据所述外扩展人脸框矩形对所述原始图像进行裁剪，输出第二图像；其中，所述第二图像为人脸图像；
将所述第二图像输入到人脸清晰度模型中，所述人脸清晰度模型对所述第二图像中的人脸进行清晰度处理，输出第三图像；
将所述第二图像输入到人像分割模型中，所述人像分割模型对所述第二图像进行人像分割处理，输出人像掩膜图像；
创建与所述外扩展人脸框矩形大小一致且像素为0的黑色掩膜图像，根据所述人像掩膜图像和黑色掩膜图像，得到扩展人像掩膜图像；
对所述扩展人像掩膜图像进行膨胀操作，得到羽化人像掩膜图像；
以所述羽化人像掩膜图像的像素值为权重计算最终图像的像素值，根据所述像素值和原始人脸框矩形的位置将所述羽化人像掩膜图像与第一图像相融合，输出最终图像。
进一步的，还包括：
在所述原始图像输入到人脸识别模型中时，如果无法识别到人脸，则将所述第一图像确定为最终图像。
进一步的，所述根据所述原始图像，获取多个原始图像切片，包括：
对所述原始图像以128x128的像素大小进行裁剪，得到多个128x128的原始图像切片；
其中，对于所述原始图像边缘不满128长度的地方，采用拉伸的方式进行填补。
进一步的，所述根据所述原始图像，获取待处理图像，包括：
将所述原始图像保持宽高比例进行尺寸缩放至预设像素大小并记录缩放因子；将所述缩放至预设像素大小的图像确定为待处理图像。
进一步的，所述在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形进行缩小和放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形，包括：
在识别到人脸时，记录所述人脸识别模型返回的所有的人脸在所述待处理图像的缩放人脸框矩形；
对所有的所述缩放人脸框矩形进行缩放还原操作，即将矩形的坐标乘以所述缩放因子，得到所有的原始人脸框矩形；
对所有的所述原始人脸框矩形扩大1.25倍，得到外扩展人脸框矩形；对所有的所述原始人脸框矩形扩大1.125倍，得到内扩展人脸框矩形。
进一步的，所述计算最终图像的像素值，包括：
获取所述羽化人像掩膜图像中的像素值、以及羽化人像掩膜图像中的像素值在所述第三图像中对应的像素值以及第一图像的像素值；
根据所述羽化人像掩膜图像中的像素值、以及羽化人像掩膜图像中的像素值在所述第三图像中对应的像素值计算所述羽化人像掩膜图像中的像素值的权重；
根据所述权重、第一图像的像素值以及羽化人像掩膜图像的像素值计算最终图像的像素值。
进一步的，所述最终图像的像素值的计算公式为：
R＝F·a+N(1-a)
其中，R表示最终图像的像素值，F表示第三图像的像素值，N表示第一图像的像素值，a表示羽化人像掩膜图像的像素值。
进一步的，所述清晰度模型接收像素大小为128x128的输入图像，输出像素大小为256x256的清晰度的输出图像。
本申请实施例提供一种提升人像照片清晰度的装置，包括：
获取模块，用于获取原始图像，并根据所述原始图像，获取多个原始图像切片；
第一处理模块，用于将所述原始图像切片输入至清晰度模型中，所述清晰度模型对所述原始图像切片进行清晰度处理，得到多个图像切片，将得到的多个图像切片进行拼接，得到第一图像；
识别模块，用于根据所述原始图像，获取待处理图像，将所述待处理图像输入到人脸识别模型中，所述人脸识别模型对所述待处理图像进行人脸识别，并在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形以不同比例进行放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形；根据所述外扩展人脸框矩形对所述原始图像进行裁剪，输出第二图像；其中，所述第二图像为人脸图像；
第二处理模块，用于将所述第二图像输入到人脸清晰度模型中，所述人脸清晰度模型对所述第二图像中的人脸进行清晰度处理，输出第三图像；
第三处理模块，用于将所述第二图像输入到人像分割模型中，所述人像分割模型对所述第二图像进行人像分割处理，输出人像掩膜图像；
创建模块，用于创建与所述外扩展人脸框矩形大小一致且像素为0的黑色掩膜图像，根据所述人像掩膜图像和黑色掩膜图像，得到扩展人像掩膜图像；
膨胀模块，用于对所述扩展人像掩膜图像进行膨胀操作，得到羽化人像掩膜图像；
输出模块，用于以所述羽化人像掩膜图像的像素值为权重计算最终图像的像素值，根据所述像素值和原始人脸框矩形的位置将所述羽化人像掩膜图像与第一图像相融合，输出最终图像。
进一步的，还包括：
确定模块，用于在所述原始图像输入到人脸识别模型中时，如果无法识别到人脸，则将所述第一图像确定为最终图像。
本发明采用以上技术方案，能够达到的有益效果包括：
本发明提供一种提升人像照片清晰度的方法及装置，所述方法包括获取原始图像，并根据所述原始图像，获取多个原始图像切片；将所述原始图像切片输入至清晰度模型中，所述清晰度模型对所述原始图像切片进行清晰度处理，得到多个图像切片，将得到的多个图像切片进行拼接，得到第一图像；根据所述原始图像，获取待处理图像，将所述待处理图像输入到人脸识别模型中，所述人脸识别模型对所述待处理图像进行人脸识别，并在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形以不同比例进行放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形；根据所述外扩展人脸框矩形对所述原始图像进行裁剪，输出第二图像；其中，所述第二图像为人脸图像；将所述第二图像输入到人脸清晰度模型中，所述人脸清晰度模型对所述第二图像中的人脸进行清晰度处理，输出第三图像；将所述第二图像输入到人像分割模型中，所述人像分割模型对所述第二图像进行人像分割处理，输出人像掩膜图像；创建与所述外扩展人脸框矩形大小一致且像素为0的黑色掩膜图像，根据所述人像掩膜图像和黑色掩膜图像，得到扩展人像掩膜图像；对所述扩展人像掩膜图像进行膨胀操作，得到羽化人像掩膜图像；以所述羽化人像掩膜图像的像素值为权重计算最终图像的像素值，根据所述像素值和原始人脸框矩形的位置将所述羽化人像掩膜图像与第一图像相融合，输出最终图像，本发明能够对照片进行人脸识别与分割，对照片使用常规清晰度提升与人脸清晰度提升相结合的方法，以达到照片背景与人脸都能达到满意的清晰度提升效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提升人像照片清晰度的方法的步骤示意图；
图2为本发明提升人像照片清晰度的方法的流程示意图；
图3为本发明提供的原始图像切片为预设尺寸示意图；
图4为本发明提升人像照片清晰度的装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图介绍本申请实施例中提供的一个具体的提升人像照片清晰度的方法。
如图1所示，本申请实施例中提供的提升人像照片清晰度的方法包括：
S101，获取原始图像，并根据所述原始图像，获取多个原始图像切片；
S102，将所述原始图像切片输入至清晰度模型中，所述清晰度模型对所述原始图像切片进行清晰度处理，得到多个图像切片，将得到的多个图像切片进行拼接，得到第一图像；
S103，根据所述原始图像，获取待处理图像，将所述待处理图像输入到人脸识别模型中，所述人脸识别模型对所述待处理图像进行人脸识别，并在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形以不同比例进行放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形；根据所述外扩展人脸框矩形对所述原始图像进行裁剪，输出第二图像；其中，所述第二图像为人脸图像；
S104，将所述第二图像输入到人脸清晰度模型中，所述人脸清晰度模型对所述第二图像中的人脸进行清晰度处理，输出第三图像；
S105，将所述第二图像输入到人像分割模型中，所述人像分割模型对所述第二图像进行人像分割处理，输出人像掩膜图像；
S106，创建与所述外扩展人脸框矩形大小一致且像素为0的黑色掩膜图像，根据所述人像掩膜图像和黑色掩膜图像，得到扩展人像掩膜图像；
S107，对所述扩展人像掩膜图像进行膨胀操作，得到羽化人像掩膜图像；
S108，以所述羽化人像掩膜图像的像素值为权重计算最终图像的像素值，根据所述像素值和原始人脸框矩形的位置将所述羽化人像掩膜图像与第一图像相融合，输出最终图像。
可以理解的是，本申请可以将多个模型载入到移动客户端中实现，也就是说将清晰度模型、人脸识别模型、人脸清晰度模型以及人像分割模型均载入到移动客户端中，本申请中的原始图像也是经过移动客户端拍摄或在移动客户端的相册中获取的。
提升人像照片清晰度的方法的工作原理为：参见图2，获取原始图像，并根据原始图像，获取多个原始图像切片；将原始图像切片输入至清晰度模型中，清晰度模型对原始图像切片进行清晰度处理，得到多个图像切片，将得到的多个图像切片进行拼接，得到第一图像；根据原始图像，获取待处理图像，将待处理图像输入到人脸识别模型中，人脸识别模型对待处理图像进行人脸识别，并在识别到人脸时获取原始人脸框矩形，对原始人脸框矩形以不同比例进行放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形；根据外扩展人脸框矩形对原始图像进行裁剪，输出第二图像；其中，第二图像为人脸图像；将第二图像输入到人脸清晰度模型中，人脸清晰度模型对第二图像中的人脸进行清晰度处理，输出第三图像；将第二图像输入到人像分割模型中，人像分割模型对第二图像进行人像分割处理，输出人像掩膜图像；创建与外扩展人脸框矩形大小一致且像素为0的黑色掩膜图像，根据人像掩膜图像和黑色掩膜图像，得到扩展人像掩膜图像；对扩展人像掩膜图像进行膨胀操作，得到羽化人像掩膜图像；以羽化人像掩膜图像的像素值为权重计算最终图像的像素值，根据像素值和原始人脸框矩形的位置将羽化人像掩膜图像与第一图像相融合，输出最终图像。
优选的，所述清晰度模型接收像素大小为128x128的输入图像，输出像素大小为256x256的清晰度的输出图像。
一些实施例中，所述根据所述原始图像，获取多个原始图像切片，包括：
对所述原始图像以128x128的像素大小进行裁剪，得到多个128x128的原始图像切片；
其中，对于所述原始图像边缘不满128长度的地方，采用拉伸的方式进行填补。
具体的，本申请载入常规的清晰度模型到移动客户端，所述清晰度模型接收像素大小为128x128的输入图像，输出为像素大小为256x256的清晰度提升的输出图像。所述清晰度模型为移动化的模型，可以存储在移动设备上，并支持在普遍的移动终端的性能下运行。所述清晰度模型通过在pc端进行训练并转化为移动深度神经网络推算框架支持的格式得到，可以在移动深度神经网络推算框架中进行推算。所述清晰度模型的结构及训练方式和所述移动深度神经网络推算框架可根据需要采用合适的实现方案。
本申请中利用移动客户端获取原始图像，如图3所示，对所述原始图像以128x128的像素大小进行裁剪，对于图像边缘处不满128长度的地方，使用拉伸的方法进行填补，得到一组128x128的原始图像切片。对所有的原始图像切片输入到所述清晰度模型，得到一组常规照片清晰度提升的图像切片。然后对所有的常规照片清晰度提升的图像切片进行重新拼接，得到常规照片清晰度提升的图像，也就是第一图像。
可以理解的是，本申请中的采用的清晰度模型采用现有技术中采用的常规模型，本申请在此不再赘述。
一些实施例中，所述根据所述原始图像，获取待处理图像，包括：
将所述原始图像保持宽高比例进行尺寸缩放至预设像素大小并记录缩放因子；将所述缩放至预设像素大小的图像确定为待处理图像。
优选的，还包括：
在所述原始图像输入到人脸识别模型中时，如果无法识别到人脸，则将所述第一图像确定为最终图像。
具体的，载入人脸识别模型到移动客户端，所述人脸识别模型可接收输入图像，输出输入图像中的人脸的位置，以矩形人脸框表示。所述人脸识别模型为移动化的模型，可以存储在移动设备上，并支持在普遍的移动终端的性能下运行。所述人脸识别模型通过在pc端进行训练并转化为移动深度神经网络推算框架支持的格式得到，可以在移动深度神经网络推算框架中进行推算。所述人脸识别模型的结构及训练方式和所述移动深度神经网络推算框架可根据需要采用合适的实现方案。
本申请将所述原始图像保持宽高等比例进行尺寸缩放至1000000像素大小，得到缩放图像也就是待处理图像，同时记录缩放因子。然后将待处理图像输入到所述人脸识别模型，进行识别操作，若识别不到人脸，则将第一图像识别为最终结果。
一些实施例中，所述在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形进行缩小和放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形，包括：
在识别到人脸时，记录所述人脸识别模型返回的所有的人脸在所述待处理图像的缩放人脸框矩形；
对所有的所述缩放人脸框矩形进行缩放还原操作，即将矩形的坐标乘以所述缩放因子，得到所有的原始人脸框矩形；
对所有的所述原始人脸框矩形扩大1.25倍，得到外扩展人脸框矩形；对所有的所述原始人脸框矩形扩大1.125倍，得到内扩展人脸框矩形。
具体的，如果人脸识别模型识别到人脸，则记录所述人脸识别模型返回的所有的人脸在所述待处理图像的缩放人脸框矩形。对所有的所述缩放人脸框矩形进行缩放还原操作，即将矩形的坐标乘以所述缩放因子，得到所有的原始人脸框矩形。对所有的原始人脸框矩形进行扩大1.25倍的操作，得到外扩展人脸框矩形；对所有的所述原始人脸框矩形进行扩大1.125倍的操作，得到内扩展人脸框矩形，使用所有的外扩展人脸框矩形对所述原始图像进行裁剪，得到所有的原始人脸图像也就是第二图像。
然后载入人脸清晰度模型到移动客户端，所述人脸清晰度模型可接收人脸图像，输出为清晰度提升的人脸图像。所述人脸清晰度模型为移动化的模型，可以存储在移动设备上，并支持在普遍的移动终端的性能下运行。所述人脸清晰度模型通过在pc端进行训练并转化为移动深度神经网络推算框架支持的格式得到，可以在移动深度神经网络推算框架中进行推算。所述人脸清晰度模型的结构及训练方式和所述移动深度神经网络推算框架可根据需要采用合适的实现方案。将所有的第二图像输入到所述人脸清晰度模型，得到所有的人脸清晰度提升的图像即第三图像。
一些实施例中，所述计算最终图像的像素值，包括：
获取所述羽化人像掩膜图像中的像素值、以及羽化人像掩膜图像中的像素值在所述第三图像中对应的像素值以及第一图像的像素值
根据所述羽化人像掩膜图像中的像素值、以及羽化人像掩膜图像中的像素值在所述第三图像中对应的像素值计算所述羽化人像掩膜图像中的像素值的权重；
根据所述权重、第一图像的像素值以及羽化人像掩膜图像的像素值计算最终图像的像素值。
优选的，所述最终图像的像素值的计算公式为：
R＝F·a+N(1-a)
其中，R表示最终图像的像素值，F表示第三图像的像素值，N表示第一图像的像素值，a表示羽化人像掩膜图像的像素值。F与a的乘积即是羽化人像掩膜图像中的像素值的权重。
下面具体说明融合处理过程，首先，载入人像分割模型到移动客户端，所述人像分割模型可接收输入图像，输出人像掩膜图像，所述人像掩膜图像的像素值范围为0～1，其中像素值表示该像素属于人像的置信度。所述人像分割模型为移动化的模型，可以存储在移动设备上，并支持在普遍的移动终端的性能下运行。所述人像分割模型通过在pc端进行训练并转化为移动深度神经网络推算框架支持的格式得到，可以在移动深度神经网络推算框架中进行推算。所述人像分割模型的结构及训练方式和所述移动深度神经网络推算框架可根据需要采用合适的实现方案。
具体的，将所有的所述原始人脸图像输入到所述人像分割模型，得到所有的人像掩膜图像。对所有的所述外扩展人脸框矩形，分别创建一个与之大小一致的像素值为0的黑色掩膜图像。对所有的所述人像掩膜图像，分别使用对应的所述内扩展人脸框矩形进行裁剪，并置于所述黑色掩膜图像中，得到扩展人像掩膜图像。对所有的所述扩展人像掩膜图像进行图像形态学中的膨胀操作，得到所有的羽化人像掩膜图像。以所有的所述羽化人像掩膜图像中的像素值为权重，根据对应所述原始人脸框矩形的位置，将所有的所述人脸清晰度提升的图像融合到所述常规照片清晰度提升的图像中，得到最终清晰度提升图像，即为最终图像。记所述羽化人像掩膜图像中的像素值为a，记所述人脸清晰度提升的图像像素值为F，记所述常规照片清晰度提升的图像N，记所述最终清晰度提升图像的像素值为R，则R可以通过公式R＝F·a+N(1-a)计算得到。
一些实施例中，如图4所示，本申请实施例提供一种提升人像照片清晰度的装置，包括：
获取模块401，用于获取原始图像，并根据所述原始图像，获取多个原始图像切片；
第一处理模块402，用于将所述原始图像切片输入至清晰度模型中，所述清晰度模型对所述原始图像切片进行清晰度处理，得到多个图像切片，将得到的多个图像切片进行拼接，得到第一图像；
识别模块403，用于根据所述原始图像，获取待处理图像，将所述待处理图像输入到人脸识别模型中，所述人脸识别模型对所述待处理图像进行人脸识别，并在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形以不同比例进行放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形；根据所述外扩展人脸框矩形对所述原始图像进行裁剪，输出第二图像；其中，所述第二图像为人脸图像；
第二处理模块404，用于将所述第二图像输入到人脸清晰度模型中，所述人脸清晰度模型对所述第二图像中的人脸进行清晰度处理，输出第三图像；
第三处理模块405，用于将所述第二图像输入到人像分割模型中，所述人像分割模型对所述第二图像进行人像分割处理，输出人像掩膜图像；
创建模块406，用于创建与所述外扩展人脸框矩形大小一致且像素为0的黑色掩膜图像，根据所述人像掩膜图像和黑色掩膜图像，得到扩展人像掩膜图像；
膨胀模块407，用于对所述扩展人像掩膜图像进行膨胀操作，得到羽化人像掩膜图像；
输出模块408，用于以所述羽化人像掩膜图像的像素值为权重计算最终图像的像素值，根据所述像素值和原始人脸框矩形的位置将所述羽化人像掩膜图像与第一图像相融合，输出最终图像。
本申请实施例提供一种计算机设备，包括处理器，以及与处理器连接的存储器；
存储器用于存储计算机程序，计算机程序用于执行上述任一实施例提供的提升人像照片清晰度的方法；
处理器用于调用并执行存储器中的计算机程序。
综上所述，本发明提供一种提升人像照片清晰度的方法及装置，所述方法包括获取原始图像，并根据所述原始图像，获取多个原始图像切片；将所述原始图像切片输入至清晰度模型中，所述清晰度模型对所述原始图像切片进行清晰度处理，得到多个图像切片，将得到的多个图像切片进行拼接，得到第一图像；根据所述原始图像，获取待处理图像，将所述待处理图像输入到人脸识别模型中，所述人脸识别模型对所述待处理图像进行人脸识别，并在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形以不同比例进行放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形；根据所述外扩展人脸框矩形对所述原始图像进行裁剪，输出第二图像；其中，所述第二图像为人脸图像；将所述第二图像输入到人脸清晰度模型中，所述人脸清晰度模型对所述第二图像中的人脸进行清晰度处理，输出第三图像；将所述第二图像输入到人像分割模型中，所述人像分割模型对所述第二图像进行人像分割处理，输出人像掩膜图像；创建与所述外扩展人脸框矩形大小一致且像素为0的黑色掩膜图像，根据所述人像掩膜图像和黑色掩膜图像，得到扩展人像掩膜图像；对所述扩展人像掩膜图像进行膨胀操作，得到羽化人像掩膜图像；以所述羽化人像掩膜图像的像素值为权重计算最终图像的像素值，根据所述像素值和原始人脸框矩形的位置将所述羽化人像掩膜图像与第一图像相融合，输出最终图像，本发明能够对照片进行人脸识别与分割，对照片使用常规清晰度提升与人脸清晰度提升相结合的方法，以达到照片背景与人脸都能达到满意的清晰度提升效果。
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种提升人像照片清晰度的方法，其特征在于，包括：
获取原始图像，并根据所述原始图像，获取多个原始图像切片；
将所述原始图像切片输入至清晰度模型中，所述清晰度模型对所述原始图像切片进行清晰度处理，得到多个图像切片，将得到的多个图像切片进行拼接，得到第一图像；
根据所述原始图像，获取待处理图像，将所述待处理图像输入到人脸识别模型中，所述人脸识别模型对所述待处理图像进行人脸识别，并在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形以不同比例进行放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形；根据所述外扩展人脸框矩形对所述原始图像进行裁剪，输出第二图像；其中，所述第二图像为人脸图像；
将所述第二图像输入到人脸清晰度模型中，所述人脸清晰度模型对所述第二图像中的人脸进行清晰度处理，输出第三图像；
将所述第二图像输入到人像分割模型中，所述人像分割模型对所述第二图像进行人像分割处理，输出人像掩膜图像；
创建与所述外扩展人脸框矩形大小一致且像素为0的黑色掩膜图像，根据所述人像掩膜图像和黑色掩膜图像，得到扩展人像掩膜图像；
对所述扩展人像掩膜图像进行膨胀操作，得到羽化人像掩膜图像；
以所述羽化人像掩膜图像的像素值为权重计算最终图像的像素值，根据所述像素值和原始人脸框矩形的位置将所述羽化人像掩膜图像与第一图像相融合，输出最终图像。
2.根据权利要求1所述的方法，其特征在于，还包括：
在所述原始图像输入到人脸识别模型中时，如果无法识别到人脸，则将所述第一图像确定为最终图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像，获取多个原始图像切片，包括：
对所述原始图像以128x128的像素大小进行裁剪，得到多个128x128的原始图像切片；
其中，对于所述原始图像边缘不满128长度的地方，采用拉伸的方式进行填补。
4.根据权利要求1所述的方法，其特征在于，所述根据所述原始图像，获取待处理图像，包括：
将所述原始图像保持宽高比例进行尺寸缩放至预设像素大小并记录缩放因子；将所述缩放至预设像素大小的图像确定为待处理图像。
5.根据权利要求4所述的方法，其特征在于，所述在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形进行缩小和放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形，包括：
在识别到人脸时，记录所述人脸识别模型返回的所有的人脸在所述待处理图像的缩放人脸框矩形；
对所有的所述缩放人脸框矩形进行缩放还原操作，即将矩形的坐标乘以所述缩放因子，得到所有的原始人脸框矩形；
对所有的所述原始人脸框矩形扩大1.25倍，得到外扩展人脸框矩形；对所有的所述原始人脸框矩形扩大1.125倍，得到内扩展人脸框矩形。
6.根据权利要求1所述的方法，其特征在于，所述计算最终图像的像素值，包括：
获取所述羽化人像掩膜图像中的像素值、以及羽化人像掩膜图像中的像素值在所述第三图像中对应的像素值以及第一图像的像素值
根据所述羽化人像掩膜图像中的像素值、以及羽化人像掩膜图像中的像素值在所述第三图像中对应的像素值计算所述羽化人像掩膜图像中的像素值的权重；
根据所述权重、第一图像的像素值以及羽化人像掩膜图像的像素值计算最终图像的像素值。
7.根据权利要求6所述的方法，其特征在于，所述最终图像的像素值的计算公式为：
R＝F·a+N(1-a)
其中，R表示最终图像的像素值，F表示第三图像的像素值，N表示第一图像的像素值，a表示羽化人像掩膜图像的像素值。
8.根据权利要求1所述的方法，其特征在于，
所述清晰度模型接收像素大小为128x128的输入图像，输出像素大小为256x256的清晰度的输出图像。
9.一种提升人像照片清晰度的装置，其特征在于，包括：
获取模块，用于获取原始图像，并根据所述原始图像，获取多个原始图像切片；
第一处理模块，用于将所述原始图像切片输入至清晰度模型中，所述清晰度模型对所述原始图像切片进行清晰度处理，得到多个图像切片，将得到的多个图像切片进行拼接，得到第一图像；
识别模块，用于根据所述原始图像，获取待处理图像，将所述待处理图像输入到人脸识别模型中，所述人脸识别模型对所述待处理图像进行人脸识别，并在识别到人脸时获取原始人脸框矩形，对所述原始人脸框矩形以不同比例进行放大，分别得到内扩展人脸框矩形、外扩展人脸框矩形；根据所述外扩展人脸框矩形对所述原始图像进行裁剪，输出第二图像；其中，所述第二图像为人脸图像；
第二处理模块，用于将所述第二图像输入到人脸清晰度模型中，所述人脸清晰度模型对所述第二图像中的人脸进行清晰度处理，输出第三图像；
第三处理模块，用于将所述第二图像输入到人像分割模型中，所述人像分割模型对所述第二图像进行人像分割处理，输出人像掩膜图像；
创建模块，用于创建与所述外扩展人脸框矩形大小一致且像素为0的黑色掩膜图像，根据所述人像掩膜图像和黑色掩膜图像，得到扩展人像掩膜图像；
膨胀模块，用于对所述扩展人像掩膜图像进行膨胀操作，得到羽化人像掩膜图像；
输出模块，用于以所述羽化人像掩膜图像的像素值为权重计算最终图像的像素值，根据所述像素值和原始人脸框矩形的位置将所述羽化人像掩膜图像与第一图像相融合，输出最终图像。
10.根据权利要求9所述的装置，其特征在于，还包括：
确定模块，用于在所述原始图像输入到人脸识别模型中时，如果无法识别到人脸，则将所述第一图像确定为最终图像。
CN202011593889.0A 2020-12-29 2020-12-29 提升人像照片清晰度的方法及装置 Active CN112598580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011593889.0A CN112598580B (zh) 2020-12-29 2020-12-29 提升人像照片清晰度的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011593889.0A CN112598580B (zh) 2020-12-29 2020-12-29 提升人像照片清晰度的方法及装置

Publications (2)

Publication Number Publication Date
CN112598580A CN112598580A (zh) 2021-04-02
CN112598580B true CN112598580B (zh) 2023-07-25

Family

ID=75203433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011593889.0A Active CN112598580B (zh) 2020-12-29 2020-12-29 提升人像照片清晰度的方法及装置

Country Status (1)

Country Link
CN (1) CN112598580B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177881B (zh) * 2021-04-28 2023-10-27 广州光锥元信息科技有限公司 提升图片清晰度的处理方法及装置
CN113409207B (zh) * 2021-06-15 2023-12-08 广州光锥元信息科技有限公司 一种人脸图像清晰度提升方法及装置
CN113628229B (zh) * 2021-08-04 2022-12-09 展讯通信（上海）有限公司 图像裁剪方法及相关产品
CN114092364B (zh) * 2021-08-12 2023-10-03 荣耀终端有限公司 图像处理方法及其相关设备
CN114143526A (zh) * 2021-11-19 2022-03-04 昆山丘钛光电科技有限公司 图像处理方法、装置、终端设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363116A (zh) * 2019-06-28 2019-10-22 上海交通大学 基于gld-gan的不规则人脸矫正方法、系统及介质
CN110675420A (zh) * 2019-08-22 2020-01-10 华为技术有限公司 一种图像处理方法和电子设备
CN110992283A (zh) * 2019-11-29 2020-04-10 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111709878A (zh) * 2020-06-17 2020-09-25 北京百度网讯科技有限公司 人脸超分辨率实现方法、装置、电子设备及存储介质
CN111754396A (zh) * 2020-07-27 2020-10-09 腾讯科技（深圳）有限公司 脸部图像处理方法、装置、计算机设备和存储介质
CN111861869A (zh) * 2020-07-15 2020-10-30 广州光锥元信息科技有限公司 用于人像美化及防止背景扭曲的图像处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363116A (zh) * 2019-06-28 2019-10-22 上海交通大学 基于gld-gan的不规则人脸矫正方法、系统及介质
CN110675420A (zh) * 2019-08-22 2020-01-10 华为技术有限公司 一种图像处理方法和电子设备
CN110992283A (zh) * 2019-11-29 2020-04-10 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111709878A (zh) * 2020-06-17 2020-09-25 北京百度网讯科技有限公司 人脸超分辨率实现方法、装置、电子设备及存储介质
CN111861869A (zh) * 2020-07-15 2020-10-30 广州光锥元信息科技有限公司 用于人像美化及防止背景扭曲的图像处理方法及装置
CN111754396A (zh) * 2020-07-27 2020-10-09 腾讯科技（深圳）有限公司 脸部图像处理方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于组合学习的人脸超分辨率算法;许若波;卢涛;王宇;张彦铎;;《计算机应用》;第40卷(第3期);710-716 *

Also Published As

Publication number Publication date
CN112598580A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN112598580B (zh) 提升人像照片清晰度的方法及装置
CN109493350B (zh) 人像分割方法及装置
US7847823B2 (en) Motion vector calculation method and hand-movement correction device, imaging device and moving picture generation device
JP6154075B2 (ja) オブジェクト検出及び分割の方法，装置，コンピュータプログラム製品
US20130222645A1 (en) Multi frame image processing apparatus
KR101620933B1 (ko) 제스쳐 인식 메커니즘을 제공하는 방법 및 장치
CN110765799B (zh) 客户端扫码识别方法、装置、设备及存储介质
CN111612878B (zh) 将静态照片制作成三维效果视频的方法及装置
CN101339650A (zh) 在终端上进行照片处理的方法和采用该方法的终端
CN112258404A (zh) 图像处理方法、装置、电子设备和存储介质
CN104506775A (zh) 基于立体视觉匹配的图像采集抖动消除方法及装置
CN110913138B (zh) 连拍方法、装置、终端及计算机可读存储介质
CN105447846B (zh) 一种图像处理方法及电子设备
CN107564084B (zh) 一种动图合成方法、装置及存储设备
CN104580913A (zh) 图像连拍方法和装置
WO2023221636A1 (zh) 视频处理方法、装置、设备、存储介质和程序产品
CN116485944A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN113177881B (zh) 提升图片清晰度的处理方法及装置
EP2800349B1 (en) Method and electronic device for generating thumbnail image
US20220138906A1 (en) Image Processing Method, Apparatus, and Device
US20140193083A1 (en) Method and apparatus for determining the relationship of an image to a set of images
WO2017101570A1 (zh) 照片的处理方法及处理系统
CN113379768A (zh) 一种图像处理方法、装置、存储介质和计算机设备
EP2352110A1 (en) Object image cropping method, object image cropping system and digital image device
CN109614848B (zh) 人体识别方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant