CN110555815B - 一种图像处理方法和电子设备 - Google Patents

一种图像处理方法和电子设备 Download PDF

Info

Publication number
CN110555815B
CN110555815B CN201910818129.6A CN201910818129A CN110555815B CN 110555815 B CN110555815 B CN 110555815B CN 201910818129 A CN201910818129 A CN 201910818129A CN 110555815 B CN110555815 B CN 110555815B
Authority
CN
China
Prior art keywords
target
projection positions
dimensional
target projection
positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910818129.6A
Other languages
English (en)
Other versions
CN110555815A (zh
Inventor
毛卫柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN201910818129.6A priority Critical patent/CN110555815B/zh
Publication of CN110555815A publication Critical patent/CN110555815A/zh
Application granted granted Critical
Publication of CN110555815B publication Critical patent/CN110555815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像处理方法和电子设备，该方法包括：获取摄像头的初始内参矩阵；基于待处理的目标人脸图像，确定目标人脸三维模型；基于初始内参矩阵，确定N个第一目标投影位置，N个第一目标投影位置为目标人脸三维模型中的N个第一三维特征点投影到二维空间中的N个第一二维特征点的位置；基于目标焦距，确定N个第二目标投影位置，N个第二目标投影位置为N个第一三维特征点投影到二维空间中的N个第二二维特征点的位置，N个第二、第一目标投影位置相匹配；基于N个第一目标投影位置与N个第二目标投影位置的位置差异信息，对目标人脸图像进行变形处理，输出变形处理后的图像。通过本发明，能够提升电子设备的成片率和图片的美感。

Description

一种图像处理方法和电子设备
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法及电子设备。
背景技术
随着智能手机的发展以及用户审美意识的提升，人们对于手机的拍照效果有了更高的要求。但是由于手机本身的限制，使得手机相对于单反在成像质量上依然有很大差别。比如，手机镜头一般为广角镜头，焦距一般在22mm至30mm之前，而35mm单反相机的标准镜头焦距是28mm至70mm。另外，当用单反相机和手机对人物进行拍照时，假如镜头和被拍摄者之间的距离是固定的，手机相机并不会比单反产生更加严重的透视畸变效果，但是镜头焦距相对较小的手机拍摄出来的人像会比单反拍摄出来的小很多。为了使得人脸在照片上的大小一致，手机相机相比单反相机需要在距离人脸更近的位置进行拍摄，如果进入了广角镜头的失真距离范围，这个时候透视畸变的影响就会显得非常明显，常常会拍出“大鼻子”的照片。
这种由于透视畸变造成的失真现象会使得人脸变得浮肿，大大影响了用户的拍照体验。以至于许多用户需要额外购买自拍杆等设备，因为当镜头离被拍摄物距离越大，透视效果越不明显。
发明内容
本发明实施例提供一种图像处理方法和电子设备，以解决近距离拍照因透视畸变产生的人脸变形的问题。
为了解决上述技术问题，本发明是这样实现的：
第一方面，提供了一种图像处理方法，该方法包括：
获取摄像头的初始内参矩阵；
基于待处理的目标人脸图像，确定目标人脸三维模型；
基于所述初始内参矩阵，确定N个第一目标投影位置，所述N个第一目标投影位置为所述目标人脸三维模型中的N个第一三维特征点投影到二维空间中的N个第一二维特征点的位置；
基于目标焦距，确定N个第二目标投影位置，所述N个第二目标投影位置为所述N个第一三维特征点投影到二维空间中的N个第二二维特征点的位置，所述N个第二目标投影位置与所述N个第一目标投影位置相匹配；
基于所述N个第一目标投影位置与所述N个第二目标投影位置的位置差异信息，对所述目标人脸图像进行变形处理，输出变形处理后的图像；
其中，N为正整数。
第二方面，提供了一种电子设备，该电子设备包括：
获取模块，用于获取摄像头的初始内参矩阵；
第一确定模块，用于基于待处理的目标人脸图像，确定目标人脸三维模型；
第二确定模块，用于基于所述初始内参矩阵，确定N个第一目标投影位置，所述N个第一目标投影位置为所述目标人脸三维模型中的N个第一三维特征点投影到二维空间中的N个第一二维特征点的位置；
第三确定模块，用于基于目标焦距，确定N个第二目标投影位置，所述N个第二目标投影位置为所述N个第一三维特征点投影到二维空间中的N个第二二维特征点的位置，所述N个第二目标投影位置与所述N个第一目标投影位置相匹配；
输出模块，用于基于所述N个第一目标投影位置与所述N个第二目标投影位置的位置差异信息，对所述目标人脸图像进行变形处理，输出变形处理后的图像；
其中，N为正整数。
第三方面，提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤。
在本发明实施例中，基于待处理的目标人脸图像，确定目标人脸三维模型，基于初始内参矩阵，确定N个第一目标投影位置，基于目标焦距，确定N个第二目标投影位置，最后，基于N个第一目标投影位置与N个第二目标投影位置的位置差异信息，对目标人脸图像进行变形处理，输出变形处理后的图像，其中，N个第二二维特征点的位置与N个第一二维特征点的位置相匹配，N个第一目标投影位置为所述目标人脸三维模型中的N个第一三维特征点投影到二维空间中的N个第一二维特征点的位置，N个第二目标投影位置为N个第一三维特征点投影到二维空间中的N个第二二维特征点的位置，通过基于目标焦距重新确定的第二目标投影位置与第一目标投影位置的位置差异信息，对目标人脸图像进行变形处理，输出变形处理后的图像，增加了目标人脸图像中目标人脸对应的焦距，在不改变目标人脸在目标人脸图像中的位置的基础上，有效解决了近距离拍照因透视畸变产生的人脸变形问题，提升电子设备的成片率和图片的美感。
附图说明
图1是本发明的一个实施例提供的图像处理方法的流程示意图；
图2是本发明的另一个实施例提供的图像处理方法的流程示意图；
图3是本发明的一个实施例提供的三角变形算法的示意图；
图4是本发明的一个实施例提供的电子设备的结构示意图；
图5是实现本发明各个实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明的一个实施例提供的图像处理方法的流程示意图。如图1所示，图像处理方法可以包括以下步骤：
步骤102、获取摄像头的初始内参矩阵。
本领域技术人员知晓的是，摄像头设置于电子设备上，摄像头可用于拍摄目标物以供获取目标人脸图像。
具体的，对摄像头进行标定，得到摄像头的初始内参矩阵。
其中，初始内参矩阵表示为C，以基本针孔模型为例，初始内参矩阵C如下所示：
Figure BDA0002186834880000041
其中，Fx表示成像平面上X方向上的焦距，Fy表示成像平面上Y方向上的焦距，Cx表示成像平面上X方向上的平移，Cy表示成像平面上Y方向上的平移。
步骤104、基于待处理的目标人脸图像，确定目标人脸三维模型。
在本发明的一实施方式中，可以在接收到用户触发的特定指令时，获取待处理的目标人脸图像；在本发明的另一实施方式中，可以通过拍摄目标人脸获取待处理的目标人脸图像；当然，也可以是其它实施方式，本发明实施例对此不作具体限定。
步骤106、基于初始内参矩阵，确定N个第一目标投影位置。
其中，N个第一目标投影位置为目标人脸三维模型中的N个第一三维特征点投影到二维空间中的N个第一二维特征点的位置。
其中，特征点可以是体现人脸的姿态或者表情的关键点，例如，眉毛、眼角、鼻尖、唇线、脸部轮廓线等上的点。
具体的，N个第一目标投影位置为N个第一二维特征点的坐标。
步骤108、基于目标焦距，确定N个第二目标投影位置。
其中，N个第二目标投影位置为N个第一三维特征点投影到二维空间中的N个第二二维特征点的位置。
其中，N个第二目标投影位置与N个第一目标投影位置相匹配。
具体的，目标焦距是上述初始内参矩阵C中的焦距的s倍。
在本发明的一实施方式中，上述目标焦距是基于用户的操作获取的。具体的，目标焦距是基于用户想要处理后的目标人脸图像达到几倍焦距效果的操作获取的，示例性的，用户想要使得处理后的目标人脸图像达到待处理的目标人脸图像对应的焦距的3倍焦距的效果，则，目标焦距是待处理的目标人脸图像对应的焦距的3倍。
步骤110、基于N个第一目标投影位置与N个第二目标投影位置的位置差异信息，对目标人脸图像进行变形处理，输出变形处理后的图像。
具体的，位置差异信息为坐标差异信息，即基于N个第一目标投影位置与N个第二目标投影位置的坐标差异信息，对目标人脸图像进行变形处理，输出变形处理后的图像。
上述N为正整数。
本发明实施例，基于待处理的目标人脸图像，确定目标人脸三维模型，基于初始内参矩阵，确定N个第一目标投影位置，基于目标焦距，确定N个第二目标投影位置，最后，基于N个第一目标投影位置与N个第二目标投影位置的位置差异信息，对目标人脸图像进行变形处理，输出变形处理后的图像，其中，N个第二二维特征点的位置与N个第一二维特征点的位置相匹配，N个第一目标投影位置为所述目标人脸三维模型中的N个第一三维特征点投影到二维空间中的N个第一二维特征点的位置，N个第二目标投影位置为N个第一三维特征点投影到二维空间中的N个第二二维特征点的位置，通过基于目标焦距重新确定的第二目标投影位置与第一目标投影位置的位置差异信息，对目标人脸图像进行变形处理，输出变形处理后的图像，增加了目标人脸图像中目标人脸对应的焦距，在不改变目标人脸在目标人脸图像中的位置的基础上，有效解决了近距离拍照因透视畸变产生的人脸变形问题，提升电子设备的成片率和图片的美感。
图2是本发明的另一个实施例提供的图像处理方法的流程示意图。在本发明的一实施方式中，上述步骤106可以包括：基于目标人脸图像的旋转矩阵、平移矩阵和初始内参矩阵，确定N个第一目标投影位置；上述步骤108可以包括：基于目标焦距，调整初始内参矩阵中除焦距之外的其余内参和平移矩阵，得到调整后的内参矩阵和调整后的平移矩阵；以及，基于调整后的内参矩阵、旋转矩阵和调整后的平移矩阵，确定N个第二目标投影位置。以下结合图2进行说明，如图2所示，图像处理方法可以包括以下步骤：
步骤202、获取摄像头的初始内参矩阵。
具体实施方式与上述步骤102相同，本发明实施例在此不再赘述。
步骤204、基于待处理的目标人脸图像，确定目标人脸三维模型。
具体实施方式与上述步骤104相同，本发明实施例在此不再赘述。
步骤206、基于目标人脸图像的旋转矩阵、平移矩阵和初始内参矩阵，确定N个第一目标投影位置。
其中，N个第一目标投影位置为目标人脸三维模型中的N个第一三维特征点投影到二维空间中的N个第一二维特征点的位置。
其中，特征点可以是体现人脸的姿态或者表情的关键点，例如，眉毛、眼角、鼻尖、唇线、脸部轮廓线等上的点。
具体的，N个第一目标投影位置为N个第一二维特征点的坐标。
具体的，对电子设备包含的摄像头进行标定，还可以得到旋转矩阵以及平移矩阵。
具体的，旋转矩阵表示为R，平移矩阵表示为T，旋转矩阵R表示空间姿态关系，平移矩阵T表示空间位置关系。
需要说明的是，第一三维特征点的三维坐标，利用旋转矩阵R、平移矩阵T和内参矩阵C进行转换，得到N个第一三维特征点投影至二维空间中的N个第一二维特征点的二维坐标，即N个第一目标投影位置。具体的，第一三维特征点投影到二维空间中的第一二维特征点的位置，即N个第一目标投影位置为：第一三维特征点的坐标与内参矩阵C、旋转矩阵R以及平移矩阵T的乘积。以P2D表示第一二维特征点的位置，以P3D表示第一三维特征点的位置，则，P2D＝P3D*R*T*C。
步骤207、基于目标焦距，调整初始内参矩阵中除焦距之外的其余内参和平移矩阵，得到调整后的内参矩阵和调整后的平移矩阵。
示例性的，以针孔模型为例，其余内参包括：Cx和Cy。
步骤208、基于调整后的内参矩阵、旋转矩阵和调整后的平移矩阵，确定N个第二目标投影位置。
其中，N个第二目标投影位置为N个第一三维特征点投影到二维空间中的N个第二二维特征点的位置。
其中，N个第二目标投影位置与N个第一目标投影位置相匹配，换言之，基于调整后的内参矩阵、调整后的平移矩阵以及上述旋转矩阵确定的N个第一三维特征点投影到二维空间中的N个第二二维特征点的位置，与N个第一二维特征点的位置相匹配。
具体的，目标焦距是上述内参矩阵C中的焦距的s倍，调整后的平移矩阵T′是上述平移矩阵T的u倍，调整后的内参矩阵表示为C′。以上述基本针孔模型为例，其余内参包括：Cx、Cy，调整后的内参矩阵C′中包括的参数表示为Fx′、Fy′、Cx′、Cy′，其中，Fx′＝s*Fx、Fy′＝s*Fy。
具体的，N个第二目标投影位置与N个第一目标投影位置相匹配即N个第二二维特征点的位置与N个第一二维特征点的位置相匹配，N个第二目标投影位置与N个第一目标投影位置相匹配指N个第二二维特征点与N个第一二维特征点的几何距离相差最小，例如，N个第二二维特征点与N个第一二维特征点的最小欧式距离相差最小。
在具体实施时，调整内参Cx、Cy以及平移矩阵T,直到调整后的内参矩阵、调整后的平移矩阵确定的N个第一三维特征点投影到二维空间中的N个第二二维特征点的位置，与N个第一二维特征点的位置相匹配，获得调整后的内参矩阵以及调整后的平移矩阵。
具体的，第一三维特征点投影到二维空间中的第二二维特征点的位置为：第一三维特征点的坐标与调整后的内参矩阵C′、旋转矩阵R以及调整后的平移矩阵T′的乘积。以Pafter表示第二二维特征点的位置，以P3D表示第一三维特征点的位置，则，Pafter＝P3D*R*T'*C'。
步骤210、基于N个第一目标投影位置与N个第二目标投影位置的位置差异信息，对目标人脸图像进行变形处理，输出变形处理后的图像。
具体实施方式与上述步骤110相同，本发明实施例在此不再赘述。
本发明实施例，能够基于目标焦距，调整初始内参矩阵中除焦距之外的其余内参和平移矩阵，得到调整后的内参矩阵和调整后的平移矩阵，基于调整后的内参矩阵、旋转矩阵和调整后的平移矩阵，确定N个第二目标投影位置，且N个第二目标投影位置与N个第一目标投影位置相匹配，能够基于目标焦距确定第二目标投影位置，基于第二目标投影位置对第一目标投影位置进行调整，增加了目标人脸图像中目标人脸对应的焦距，在不改变目标人脸在目标人脸图像中的位置的基础上，有效解决了近距离拍照因透视畸变产生的人脸变形问题，提升电子设备的成片率和图片的美感。
在本发明的一实施方式中，步骤104、204可以包括：对目标人脸图像进行三维人脸建模，得到目标人脸三维模型。本实施例，能够实时构建目标人脸图像对应的目标人脸三维模型，不需要存储多个人脸三维模型，节省存储空间。
在本发明的一实施方式中，步骤104、204可以包括：在预存储有目标人脸三维模型的情况下，获取已存储的目标人脸三维模型；在未预存储有目标人脸三维模型的情况下，对目标人脸图像进行三维人脸建模，得到目标人脸三维模型。本实施例，在预存储有目标人脸三维模型的情况下，直接获取目标人脸三维模型，能够避免每次构建目标人脸对应的目标人脸三维模型对处理器资源的占用。
在本发明的一实施方式中，上述对目标人脸图像进行三维人脸建模，得到目标人脸三维模型的步骤，可以包括：利用3DMM人脸重建算法，对目标人脸图像进行三维人脸重建，得到目标人脸三维模型。本实施例，利用现有的3DMM人脸重建算法重建目标人脸图像对应的目标人脸三维模型，能够方便地重建目标人脸图像对应的目标人脸三维模型。
需要说明的是，3DMM人脸重建算法中，任意一张人脸的三维模型Smodel都可以表示为：
Figure BDA0002186834880000091
其中，Savg表示平均三维人脸模型，vi表示特征脸，ai表示每个特征脸的成分系数，m表示特征脸的个数。
不同的成分系数ai组合，产生了不同的三维人脸模型，故，本领域技术人员可以理解的是，这样，构建一个三维人脸模型的过程变成了求解最佳成分系数组合的过程。
具体的，利用3DMM人脸重建算法，对目标人脸图像进行三维人脸重建，得到目标人脸三维模型，可以包括：
从待处理的目标人脸图像中提取出目标人脸的N个第三二维特征点；
获取平均人脸三维模型；
从平均人脸三维模型中提取出N个第二三维特征点；
确定N个第二三维特征点投影到二维空间中的N个第四二维特征点的位置；
将N个第四二维特征点的位置与N个第三二维特征点的位置进行匹配，获得目标人脸的三维模型参数；
依据三维模型参数，对目标人脸图像进行三维人脸重建，得到目标人脸三维模型。
上述步骤中，N个第二三维特征点投影到二维空间中的N个第四二维特征点的位置与上述步骤206中N个第一三维特征点投影到二维空间中的N个第一二维特征点的位置的方式相同，本发明实施例在此不再赘述。
上述步骤中，将N个第四二维特征点的位置与N个第三二维特征点的位置进行匹配，获得目标人脸的三维模型参数，即，获得N个第四二维特征点的坐标与N个第三二维特征点的坐标的几何距离相差最小时，对应的三维模型参数。
在本发明的一实施方式中，上述步骤110、210可以包括：
对所述N个第一目标投影位置进行三角剖分，得到M个第一三角形；
基于M个第一三角形，以及N个第一目标投影位置与N个第二目标投影位置的对应关系，得到M个第二三角形；
基于三角变形算法，对于所述M个第二三角形中的每个第二像素点，在所述M个第一三角形中确定对应的第一像素点，并将确定的所述第一像素点的像素值填充至对应的所述第二像素点，以对所述目标人脸图像进行变形处理，并输出所述变形处理后的图像；
其中，M为正整数。
需要说明的是，进行三角剖分是指：根据二维空间的一系列点生成多个三角形，进而形成三角形网格，本发明中，对N个第一目标投影位置进行三角剖分后，会形成第一套三角形网格，此第一套三角形网格中包括M个第一三角形，之后沿用第一套三角形网格中的M个第一三角形的三角形关系、以及N个第一目标投影位置与N个第二目标投影位置的一一对应关系，对N个第二目标投影位置进行三角剖分后，会形成第二套三角形网格，此第二套三角形网格中包括M个第二三角形。
以下结合图3说明如何利用三角变形算法，将第一三角形包含的像素点变换至第二三角形。图3是本发明的一个实施例提供的三角变形算法的示意图。三角变形算法是将一个三角形区域内的像素点变换到另一个三角形区域内，如图3所示，实现三角形A1A2A3组成的区域内的像素点变形处理到三角形A1′A2′A3′组成的区域内时，首先由两个三角形的6个顶点的坐标点得到一个变换矩阵，然后，利用该变换矩阵，将三角形A1A2A3内的坐标点逐一变换到三角形A1′A2′A3′。
本实施例，结合三角剖分和三角变形算法，对待处理图像中的像素点进行移动，达到对待处理图像的变形处理，基于对像素点的位置改变对待处理图像进行变形处理，能够快速地输出变形处理后的图像。
图4是本发明的一个实施例提供的电子设备的结构示意图。如图4所示，电子设备包括：
获取模块31，用于获取摄像头的初始内参矩阵；
第一确定模块32，用于基于待处理的目标人脸图像，确定目标人脸三维模型；
第二确定模块33，用于基于所述初始内参矩阵，确定N个第一目标投影位置，所述N个第一目标投影位置为所述目标人脸三维模型中的N个第一三维特征点投影到二维空间中的N个第一二维特征点的位置；
第三确定模块35，用于基于目标焦距，确定N个第二目标投影位置，所述N个第二目标投影位置为所述N个第一三维特征点投影到二维空间中的N个第二二维特征点的位置，所述N个第二目标投影位置与所述N个第一目标投影位置相匹配；
输出模块36，用于基于所述N个第一目标投影位置与所述N个第二目标投影位置的位置差异信息，对所述目标人脸图像进行变形处理，输出变形处理后的图像；
其中，N为正整数。
在本发明的一实施方式中，所述第二确定模块33，具体用于：
基于所述目标人脸图像的旋转矩阵、平移矩阵和所述初始内参矩阵，确定所述N个第一目标投影位置；
所述第三确定模块，具体用于：
基于所述目标焦距，调整所述初始内参矩阵中除焦距之外的其余内参和所述平移矩阵，得到调整后的内参矩阵和调整后的平移矩阵；
基于所述调整后的内参矩阵、所述旋转矩阵和所述调整后的平移矩阵，确定所述N个第二目标投影位置。
在本发明的一实施方式中，所述输出模块36，具体用于：
对所述N个第一目标投影位置进行三角剖分，得到M个第一三角形；
基于所述M个第一三角形，以及所述N个第一目标投影位置与所述N个第二目标投影位置的对应关系，得到M个第二三角形；
基于三角变形算法，对于所述M个第二三角形中的每个第二像素点，在所述M个第一三角形中确定对应的第一像素点，并将确定的所述第一像素点的像素值填充至对应的所述第二像素点，以对所述目标人脸图像进行变形处理，并输出所述变形处理后的图像；
其中，M为正整数。
在本发明的一实施方式中，所述第一确定模块32，具体用于：
在已存储有所述目标人脸三维模型的情况下，获取已存储的所述目标人脸三维模型；
在未预存储有所述目标人脸三维模型的情况下，对所述目标人脸图像进行三维人脸建模，得到所述目标人脸三维模型。
在本发明的一实施方式中，所述第一确定模块32，具体用于：
利用3DMM人脸重建算法，对所述目标人脸图像进行三维人脸重建，得到所述目标人脸三维模型。
本发明实施例提供的电子设备能够实现图1方法实施例中电子设备实现的各个过程，为避免重复，这里不再赘述。在本发明实施例中，基于待处理的目标人脸图像，确定目标人脸三维模型，基于初始内参矩阵，确定N个第一目标投影位置，基于目标焦距，确定N个第二目标投影位置，最后，基于N个第一目标投影位置与N个第二目标投影位置的位置差异信息，对目标人脸图像进行变形处理，输出变形处理后的图像，其中，N个第二二维特征点的位置与N个第一二维特征点的位置相匹配，N个第一目标投影位置为所述目标人脸三维模型中的N个第一三维特征点投影到二维空间中的N个第一二维特征点的位置，N个第二目标投影位置为N个第一三维特征点投影到二维空间中的N个第二二维特征点的位置，通过基于目标焦距重新确定的第二目标投影位置与第一目标投影位置的位置差异信息，对目标人脸图像进行变形处理，输出变形处理后的图像，增加了目标人脸图像中目标人脸对应的焦距，在不改变目标人脸在目标人脸图像中的位置的基础上，有效解决了近距离拍照因透视畸变产生的人脸变形问题，提升电子设备的成片率和图片的美感。
图5是实现本发明各个实施例的一种电子设备的硬件结构示意图，该电子设备600包括但不限于：射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、处理器610、以及电源611等部件。本领域技术人员可以理解，图5中示出的终端结构并不构成对终端的限定，终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中，处理器610，用于：
获取摄像头的初始内参矩阵；
基于待处理的目标人脸图像，确定目标人脸三维模型；
基于所述初始内参矩阵，确定N个第一目标投影位置，所述N个第一目标投影位置为所述目标人脸三维模型中的N个第一三维特征点投影到二维空间中的N个第一二维特征点的位置；
基于目标焦距，确定N个第二目标投影位置，所述N个第二目标投影位置为所述N个第一三维特征点投影到二维空间中的N个第二二维特征点的位置，所述N个第二目标投影位置与所述N个第一目标投影位置相匹配；
基于所述N个第一目标投影位置与所述N个第二目标投影位置的位置差异信息，对所述目标人脸图像进行变形处理，输出变形处理后的图像；
其中，N为正整数。
在本发明实施例中，基于待处理的目标人脸图像，确定目标人脸三维模型，基于初始内参矩阵，确定N个第一目标投影位置，基于目标焦距，确定N个第二目标投影位置，最后，基于N个第一目标投影位置与N个第二目标投影位置的位置差异信息，对目标人脸图像进行变形处理，输出变形处理后的图像，其中，N个第二二维特征点的位置与N个第一二维特征点的位置相匹配，N个第一目标投影位置为所述目标人脸三维模型中的N个第一三维特征点投影到二维空间中的N个第一二维特征点的位置，N个第二目标投影位置为N个第一三维特征点投影到二维空间中的N个第二二维特征点的位置，通过基于目标焦距重新确定的第二目标投影位置与第一目标投影位置的位置差异信息，对目标人脸图像进行变形处理，输出变形处理后的图像，增加了目标人脸图像中目标人脸对应的焦距，在不改变目标人脸在目标人脸图像中的位置的基础上，有效解决了近距离拍照因透视畸变产生的人脸变形问题，提升电子设备的成片率和图片的美感。
应理解的是，本发明实施例中，射频单元601可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器610处理；另外，将上行的数据发送给基站。通常，射频单元601包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元601还可以通过无线通信系统与网络和其他设备通信。
终端通过网络模块602为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元603可以将射频单元601或网络模块602接收的或者在存储器609中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元603还可以提供与电子设备600执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元603包括扬声器、蜂鸣器以及受话器等。
输入单元604用于接收音频或视频信号。输入单元604可以包括图形处理器(Graphics Processing Unit，GPU)6041和麦克风6042，图形处理器6041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元606上。经图形处理器6041处理后的图像帧可以存储在存储器609(或其它存储介质)中或者经由射频单元601或网络模块602进行发送。麦克风6042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元601发送到移动通信基站的格式输出。
电子设备600还包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板6061的亮度，接近传感器可在电子设备600移动到耳边时，关闭显示面板6061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器605还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
显示单元606用于显示由用户输入的信息或提供给用户的信息。显示单元606可包括显示面板6061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitt ing Diode,OLED)等形式来配置显示面板6061。
用户输入单元607可用于接收输入的数字或字符信息，以及产生与终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元607包括触控面板6071以及其他输入设备6072。触控面板6071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板6071上或在触控面板6071附近的操作)。触控面板6071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器610，接收处理器610发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板6071。除了触控面板6071，用户输入单元607还可以包括其他输入设备6072。具体地，其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板6071可覆盖在显示面板6061上，当触控面板6071检测到在其上或附近的触摸操作后，传送给处理器610以确定触摸事件的类型，随后处理器610根据触摸事件的类型在显示面板6061上提供相应的视觉输出。虽然在图5中，触控面板6071与显示面板6061是作为两个独立的部件来实现终端的输入和输出功能，但是在某些实施例中，可以将触控面板6071与显示面板6061集成而实现终端的输入和输出功能，具体此处不做限定。
接口单元608为外部装置与电子设备600连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元608可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备600内的一个或多个元件或者可以用于在电子设备600和外部装置之间传输数据。
存储器609可用于存储软件程序以及各种数据。存储器609可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器609可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器610是终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器609内的软件程序和/或模块，以及调用存储在存储器609内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。处理器610可包括一个或多个处理单元；优选的，处理器610可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器610中。
电子设备600还可以包括给各个部件供电的电源611(比如电池)，优选的，电源611可以通过电源管理系统与处理器610逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外，电子设备600包括一些未示出的功能模块，在此不再赘述。
优选的，本发明实施例还提供一种电子设备，包括处理器610，存储器609，存储在存储器609上并可在所述处理器610上运行的计算机程序，该计算机程序被处理器610执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (9)

1.一种图像处理方法，其特征在于，包括：
获取摄像头的初始内参矩阵；
基于待处理的目标人脸图像，确定目标人脸三维模型；
基于所述初始内参矩阵，确定N个第一目标投影位置，所述N个第一目标投影位置为所述目标人脸三维模型中的N个第一三维特征点投影到二维空间中的N个第一二维特征点的位置；
基于目标焦距，确定N个第二目标投影位置，所述N个第二目标投影位置为所述N个第一三维特征点投影到二维空间中的N个第二二维特征点的位置，所述N个第二目标投影位置与所述N个第一目标投影位置相匹配；
基于所述N个第一目标投影位置与所述N个第二目标投影位置的位置差异信息，对所述目标人脸图像进行变形处理，输出变形处理后的图像；
其中，N为正整数；
所述基于所述初始内参矩阵，确定N个第一目标投影位置，包括：
基于所述目标人脸图像的旋转矩阵、平移矩阵和所述初始内参矩阵，确定所述N个第一目标投影位置；
所述基于目标焦距，确定N个第二目标投影位置，包括：
基于所述目标焦距，调整所述初始内参矩阵中除焦距之外的其余内参和所述平移矩阵，得到调整后的内参矩阵和调整后的平移矩阵；
基于所述调整后的内参矩阵、所述旋转矩阵和所述调整后的平移矩阵，确定所述N个第二目标投影位置。
2.根据权利要求1所述的方法，其特征在于，所述基于所述N个第一目标投影位置与所述N个第二目标投影位置的位置差异信息，对所述目标人脸图像进行变形处理，输出变形处理后的图像，包括：
对所述N个第一目标投影位置进行三角剖分，得到M个第一三角形；
基于所述M个第一三角形，以及所述N个第一目标投影位置与所述N个第二目标投影位置的对应关系，得到M个第二三角形；
基于三角变形算法，对于所述M个第二三角形中的每个第二像素点，在所述M个第一三角形中确定对应的第一像素点，并将确定的所述第一像素点的像素值填充至对应的所述第二像素点，以对所述目标人脸图像进行变形处理，并输出所述变形处理后的图像；
其中，M为正整数。
3.根据权利要求1所述的方法，其特征在于，所述基于待处理的目标人脸图像，确定目标人脸三维模型，包括：
在已存储有所述目标人脸三维模型的情况下，获取已存储的所述目标人脸三维模型；
在未预存储有所述目标人脸三维模型的情况下，对所述目标人脸图像进行三维人脸建模，得到所述目标人脸三维模型。
4.根据权利要求3所述的方法，其特征在于，所述对所述目标人脸图像进行三维人脸建模，得到所述目标人脸三维模型，包括：
基于3DMM人脸重建算法，对所述目标人脸图像进行三维人脸重建，得到所述目标人脸三维模型。
5.一种电子设备，其特征在于，包括：
获取模块，用于获取摄像头的初始内参矩阵；
第一确定模块，用于基于待处理的目标人脸图像，确定目标人脸三维模型；
第二确定模块，用于基于所述初始内参矩阵，确定N个第一目标投影位置，所述N个第一目标投影位置为所述目标人脸三维模型中的N个第一三维特征点投影到二维空间中的N个第一二维特征点的位置；
第三确定模块，用于基于目标焦距，确定N个第二目标投影位置，所述N个第二目标投影位置为所述N个第一三维特征点投影到二维空间中的N个第二二维特征点的位置，所述N个第二目标投影位置与所述N个第一目标投影位置相匹配；
输出模块，用于基于所述N个第一目标投影位置与所述N个第二目标投影位置的位置差异信息，对所述目标人脸图像进行变形处理，输出变形处理后的图像；
其中，N为正整数；
所述第二确定模块，具体用于：
基于所述目标人脸图像的旋转矩阵、平移矩阵和所述初始内参矩阵，确定所述N个第一目标投影位置；
所述第三确定模块，具体用于：
基于所述目标焦距，调整所述初始内参矩阵中除焦距之外的其余内参和所述平移矩阵，得到调整后的内参矩阵和调整后的平移矩阵；
基于所述调整后的内参矩阵、所述旋转矩阵和所述调整后的平移矩阵，确定所述N个第二目标投影位置。
6.根据权利要求5所述的电子设备，其特征在于，所述输出模块，具体用于：
对所述N个第一目标投影位置进行三角剖分，得到M个第一三角形；
基于所述M个第一三角形，以及所述N个第一目标投影位置与所述N个第二目标投影位置的对应关系，得到M个第二三角形；
基于三角变形算法，对于所述M个第二三角形中的每个第二像素点，在所述M个第一三角形中确定对应的第一像素点，并将确定的所述第一像素点的像素值填充至对应的所述第二像素点，以对所述目标人脸图像进行变形处理，并输出所述变形处理后的图像；
其中，M为正整数。
7.根据权利要求5所述的电子设备，其特征在于，所述第一确定模块，具体用于：
在已存储有所述目标人脸三维模型的情况下，获取已存储的所述目标人脸三维模型；
在未预存储有所述目标人脸三维模型的情况下，对所述目标人脸图像进行三维人脸建模，得到所述目标人脸三维模型。
8.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的方法的步骤。
CN201910818129.6A 2019-08-30 2019-08-30 一种图像处理方法和电子设备 Active CN110555815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910818129.6A CN110555815B (zh) 2019-08-30 2019-08-30 一种图像处理方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910818129.6A CN110555815B (zh) 2019-08-30 2019-08-30 一种图像处理方法和电子设备

Publications (2)

Publication Number Publication Date
CN110555815A CN110555815A (zh) 2019-12-10
CN110555815B true CN110555815B (zh) 2022-05-20

Family

ID=68738609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910818129.6A Active CN110555815B (zh) 2019-08-30 2019-08-30 一种图像处理方法和电子设备

Country Status (1)

Country Link
CN (1) CN110555815B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340943B (zh) * 2020-02-26 2023-01-03 北京市商汤科技开发有限公司 图像处理方法、装置、设备及存储介质
CN111832648B (zh) * 2020-07-10 2024-02-09 北京百度网讯科技有限公司 关键点标注方法、装置、电子设备及存储介质
CN114125273B (zh) * 2021-11-05 2023-04-07 维沃移动通信有限公司 人脸对焦方法、装置及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503684A (zh) * 2016-10-28 2017-03-15 厦门中控生物识别信息技术有限公司 一种人脸图像处理方法和装置
CN107146199A (zh) * 2017-05-02 2017-09-08 厦门美图之家科技有限公司 一种人脸图像的融合方法、装置及计算设备
CN107392984A (zh) * 2017-07-26 2017-11-24 厦门美图之家科技有限公司 一种基于人脸图像生成动画的方法及计算设备
CN108062791A (zh) * 2018-01-12 2018-05-22 北京奇虎科技有限公司 一种重建人脸三维模型的方法和装置
CN108510583A (zh) * 2018-04-03 2018-09-07 北京华捷艾米科技有限公司 人脸图像的生成方法和人脸图像的生成装置
CN108876708A (zh) * 2018-05-31 2018-11-23 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质
CN109146769A (zh) * 2018-07-24 2019-01-04 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
CN109685915A (zh) * 2018-12-11 2019-04-26 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
CN109767487A (zh) * 2019-01-04 2019-05-17 北京达佳互联信息技术有限公司 人脸三维重建方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503684A (zh) * 2016-10-28 2017-03-15 厦门中控生物识别信息技术有限公司 一种人脸图像处理方法和装置
CN107146199A (zh) * 2017-05-02 2017-09-08 厦门美图之家科技有限公司 一种人脸图像的融合方法、装置及计算设备
CN107392984A (zh) * 2017-07-26 2017-11-24 厦门美图之家科技有限公司 一种基于人脸图像生成动画的方法及计算设备
CN108062791A (zh) * 2018-01-12 2018-05-22 北京奇虎科技有限公司 一种重建人脸三维模型的方法和装置
CN108510583A (zh) * 2018-04-03 2018-09-07 北京华捷艾米科技有限公司 人脸图像的生成方法和人脸图像的生成装置
CN108876708A (zh) * 2018-05-31 2018-11-23 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质
CN109146769A (zh) * 2018-07-24 2019-01-04 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
CN109685915A (zh) * 2018-12-11 2019-04-26 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
CN109767487A (zh) * 2019-01-04 2019-05-17 北京达佳互联信息技术有限公司 人脸三维重建方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110555815A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
US11436779B2 (en) Image processing method, electronic device, and storage medium
CN107592466B (zh) 一种拍照方法及移动终端
CN108989678B (zh) 一种图像处理方法、移动终端
CN109685915B (zh) 一种图像处理方法、装置及移动终端
CN110505400B (zh) 一种预览图像显示调整方法及终端
CN109241832B (zh) 一种人脸活体检测的方法及终端设备
CN110555815B (zh) 一种图像处理方法和电子设备
CN107730460B (zh) 一种图像处理方法及移动终端
CN111031234B (zh) 一种图像处理方法及电子设备
US20230014409A1 (en) Detection result output method, electronic device and medium
CN109819166B (zh) 一种图像处理方法和电子设备
CN108174110B (zh) 一种拍照方法及柔性屏终端
CN110602390B (zh) 一种图像处理方法及电子设备
CN108833791B (zh) 一种拍摄方法和装置
CN109104573B (zh) 一种确定对焦点的方法及终端设备
CN111031246A (zh) 拍摄方法及电子设备
CN110944112A (zh) 一种图像处理方法及电子设备
CN111432122B (zh) 一种图像处理方法及电子设备
CN111405361B (zh) 一种视频获取方法、电子设备及计算机可读存储介质
CN111182206B (zh) 图像处理方法和装置
CN111028161B (zh) 图像校正方法及电子设备
CN109842722B (zh) 一种图像处理方法及终端设备
CN111416948A (zh) 一种图像处理方法及电子设备
CN111145119B (zh) 一种图像处理方法及电子设备
CN110012229B (zh) 一种图像处理方法和终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant