CN116579956B - 基于姿态校验的图像修复方法 - Google Patents

基于姿态校验的图像修复方法 Download PDF

Info

Publication number
CN116579956B
CN116579956B CN202310855355.8A CN202310855355A CN116579956B CN 116579956 B CN116579956 B CN 116579956B CN 202310855355 A CN202310855355 A CN 202310855355A CN 116579956 B CN116579956 B CN 116579956B
Authority
CN
China
Prior art keywords
face
image
pose
repaired
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310855355.8A
Other languages
English (en)
Other versions
CN116579956A (zh
Inventor
陈刚
薛云兰
张丽英
喻强
姚剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Institute
Original Assignee
Guangdong Polytechnic Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Institute filed Critical Guangdong Polytechnic Institute
Priority to CN202310855355.8A priority Critical patent/CN116579956B/zh
Publication of CN116579956A publication Critical patent/CN116579956A/zh
Application granted granted Critical
Publication of CN116579956B publication Critical patent/CN116579956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于姿态校验的图像修复方法，通过提取修复前人脸图像的人脸轮廓特征、修复后的人脸图像的五官特征，然后基于人脸轮廓特征来确定原图像的第一人脸姿态，以后修复部分人脸的第二人脸姿态。如果出现修复前后人脸姿态不一致的情况时，对修复部分的人脸进行调整，从而使得修复前后的人脸姿态一致，最终呈现的人脸效果更加自然。

Description

基于姿态校验的图像修复方法
技术领域
本发明涉及图像修复技术领域，具体是基于姿态校验的图像修复方法。
背景技术
现有的人脸图像修复算法，如AI换脸，主要是基于人脸库中的训练数据对人工神经网络进行训练。然后通过训练好的AI模型对人脸部位进行替换。
但是由于现有的AI模型的训练数据大多是脸部的正面图像，对于倾斜姿态的人脸训练较少。因此对于带有非正面姿态的脸部图像，在修复和替换时，容易出现修复区域与原有区域的姿态不匹配的情况。
发明内容
有鉴于此，本发明的目的是提供基于姿态校验的图像修复方法，以解决现有的AI模型对于带有非正面姿态的脸部图像，在修复或者替换时容易出现修复区域与原有区域的姿态不匹配的问题。
为了实现上述目的，本发明采用了如下技术方案：
本发明的基于姿态校验的图像修复方法，包括步骤：
获取待修复的人脸图像、以及修复后的人脸图像，其中，所述修复后的人脸图像通过对所述待修复的人脸图像进行五官替换后得到；
提取所述待修复的人脸图像中的人脸轮廓特征、以及所述修复后的人脸图像中的五官特征；
基于所述人脸轮廓特征、以及预先建立的特征数据库确定所述待修复的人脸图像的第一人脸姿态，并基于所述五官特征、以及预先建立的特征数据库确定修复后的人脸图像的第二人脸姿态，其中，所述特征数据库包括人脸轮廓特征与第一人脸姿态的对应关系、以及五官特征与第二人脸姿态的对应关系；
将所述第一人脸姿态与所述第二人脸姿态进行对比，并在所述第二人脸姿态与所述第一人脸姿态不一致时，对所述修复后的人脸图像的修复区域进行姿态调整，以使得调整后的修复区域的姿态与所述第一人脸姿态一致。
在本申请一实施例中，还包括如下过程建立特征数据库：
获取多种人脸类型的正前方视角的样本图像、以及每种人脸类型对应的多个人脸点位的深度值，其中，所述多个人脸点位的深度值预先扫描人脸获取；
将所述深度值与对应的样本图像的像素点融合，得到多个三维人脸模型；
转动每一个三维人脸模型，并记录每一个三维人脸模型在多种人脸姿态下的人脸轮廓特征和五官特征，得到与多种人脸类型对应的特征数据库。
在本申请一实施例中，所述样本图像照射光源与图像中的人脸相对，其中，将所述深度值与对应的样本图像的像素点融合，得到多个三维人脸模型，包括：
将所述样本图像转换为灰度图像；
确定与所述多个人脸点位对应的基准像素点，并将每个人脸点位的深度值赋予至对应的基准像素点；
确定符合目标条件两个相邻的基准像素点的连线上的像素点的深度值/>，得到人脸网格，所述深度值/>的数学表达式为：
式中，和/>分别为所述两个相邻的基准像素点的深度值，分别为所述两个相邻的基准像素点的灰度值，/>为像素点/>的灰度值，/>为比例因子；
将所述人脸网格转换为三维人脸模型。
在本申请一实施例中，所述人脸轮廓特征包括左下颚线的长度与右下颚线的长度的第一比值、左下颚线与左脸侧线的第一夹角，或者左下颚线的长度与右下颚线的长度的第一比值、右下颚线与右脸侧线的第二夹角；其中，提取所述待修复的人脸图像中的人脸轮廓特征，包括：
提取所述待修复的人脸图像的轮廓特征；
将所述待修复的人脸图像的轮廓特征输入至预先建立的轮廓识别模型中，得到左下颚线、右下颚线、左脸侧线和右脸侧线，其中，还包括如下方案建立轮廓识别模型：获取多个人脸图像，提取所述多个人脸图像的轮廓特征，并对所述多个人脸图像的轮廓特征进行标注，以所述多个人脸图像的轮廓特征以及轮廓特征的标注构建训练数据集，基于所述训练数据集对人工神经网络进行训练，得到轮廓识别模型；
基于所述左下颚线、所述右下颚线、所述左脸侧线和所述右脸侧线确定第一比值、第一夹角和第二夹角，得到人脸轮廓特征。
在本申请一实施例中，基于所述人脸轮廓特征确定所述待修复的人脸图像的第一人脸姿态，包括：
对所述待修复的人脸图像进行识别，得到第一目标人脸类型；
确定与所述第一目标人脸类型对应的第一目标特征数据库，并基于所述人脸轮廓特征从所述第一目标特征数据库中确定所述待修复的人脸图像的第一人脸姿态，其中，所述第一人脸姿态包括人脸水平转向角度和人脸俯仰角度。
在本申请一实施例中，提取所述修复后的人脸图像中的五官特征，包括：
提取所述修复后的人脸图像中的左眼中心点A、右眼中心点B、左嘴角点C、右嘴角点D和鼻尖中点E；
确定第三夹角的值、以及第四夹角的值，得到五官特征，其中，所述第三夹角为角AEB或者角CED，所述第四夹角为角AEC或者角BED。
在本申请一实施例中，基于所述五官特征确定修复后的人脸图像的第二人脸姿态，包括：
对所述修复后的人脸图像进行识别，得到第二目标人脸类型；
确定与所述第二目标人脸类型对应的第二目标特征数据库，并基于所述五官特征从所述第二目标特征数据库中确定所述修复后的人脸图像的第二人脸姿态，其中，所述第二人脸姿态包括人脸水平转向角度和人脸俯仰角度。
在本申请一实施例中，对所述修复后的人脸图像的修复区域进行姿态调整，包括：
提取修复区域的部分人脸的多个关键点，其中，所述多个关键点与所述人脸点位对应；
确定所述修复区域的部分人脸的朝向与样本图像的人脸方向的夹角；
基于所述夹角确定多个关键点的深度值/>，/>，其中，/>为与关键点对应的人脸点位的深度值；
基于多个关键点的深度值建立部分人脸的三维模型；
截取处于所述第一人脸姿态的部分人脸的平面图像，并对所述修复区域的图像进行替换，完成姿态调整。
在本申请一实施例中，还包括：
在所述夹角大于预设的角度阈值，或者，所述关键点数量少于预设的数量阈值时，基于所述多个关键点建立半张脸的三维模型，并通过镜像复制所述半张脸的三维模型得到所述部分人脸的三维模型。
在本申请一实施例中，所述目标条件为:两个相邻的基准像素点的距离不超过预设阈值。
本发明的有益效果是：本发明的基于姿态校验的图像修复方法，通过提取修复前人脸图像的人脸轮廓特征、修复后的人脸图像的五官特征，然后基于人脸轮廓特征来确定原图像的第一人脸姿态，以后修复部分人脸的第二人脸姿态。如果出现修复前后人脸姿态不一致的情况时，对修复部分的人脸进行调整，从而使得修复前后的人脸姿态一致，最终呈现的人脸效果更加自然。
附图说明
下面结合附图和实施例对本发明作进一步描述：
图1是本申请一实施例中示出的基于姿态校验的图像修复方法的流程图；
图2为本申请一实施例示出的人脸轮廓特征示意图；
图3为本申请一实施例中示出的五官特征的示意图；
图4示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的层而非按照实际实施时的层数目、形状及尺寸绘制，其实际实施时各层的型态、数量及比例可为一种随意的改变，且其层布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的。
图1是本申请一实施例中示出的基于姿态校验的图像修复方法的流程图，如图1所示：本实施例的基于姿态校验的图像修复方法，可以包括步骤S110至步骤S140：
S110，获取待修复的人脸图像、以及修复后的人脸图像，其中，所述修复后的人脸图像通过对所述待修复的人脸图像进行五官替换后得到；
其中，通过现有的技术手段对待修复的人脸图像进行替换后，得到修复后的人脸图像。现有的AI换脸模型主要是对图像中的五官进行替换，而脸部轮廓则使用原有图像的脸部轮廓。
S120，提取所述待修复的人脸图像中的人脸轮廓特征、以及所述修复后的人脸图像中的五官特征；
其中，由于待修复的人脸图像中的五官因为损毁、涂抹等导致信息丢失，因此会被其他五官替换，为了获取原有人脸图像的面部姿态，因此需要提取待修复的人脸图像中可以体现原有人脸的面部姿态的人脸轮廓特征。在本申请中，由于在人脸替换后脸部轮廓依然保留，因此人脸轮廓特征是脸部轮廓中的特征。
五官特征用于体现修复后人脸的姿态，因此，五官特征为修复区域的人脸五官特征。
在本申请一实施例中，所述人脸轮廓特征包括左下颚线的长度与右下颚线的长度的第一比值、左下颚线与左脸侧线的第一夹角，或者左下颚线的长度与右下颚线的长度的第一比值、右下颚线与右脸侧线的第二夹角；
图2为本申请一实施例示出的人脸轮廓特征示意图，如图2所示，从正面视角观看人脸在不同水平转动角度下的左下颚线的长度与右下颚线的长度比值不同，人脸在不同俯仰角度下的下颚线和脸侧线的夹角不同。
依据上述原理，提取所述待修复的人脸图像中的人脸轮廓特征，包括：
提取所述待修复的人脸图像的轮廓特征；
将所述待修复的人脸图像的轮廓特征输入至预先建立的轮廓识别模型中，得到左下颚线、右下颚线、左脸侧线和右脸侧线，其中，还包括如下方案建立轮廓识别模型：获取多个人脸图像，提取所述多个人脸图像的轮廓特征，并对所述多个人脸图像的轮廓特征进行标注，以所述多个人脸图像的轮廓特征以及轮廓特征的标注构建训练数据集，基于所述训练数据集对人工神经网络进行训练，得到轮廓识别模型；
基于所述左下颚线、所述右下颚线、所述左脸侧线和所述右脸侧线确定第一比值、第一夹角和第二夹角，得到人脸轮廓特征。
本申请通过训练识别模型来提取人脸图像中的左下颚线、右下颚线、左脸侧线和右脸侧线，然后计算第一比值、第一夹角和第二夹角，便可以提取出人脸轮廓特征。
在一些情况下，人脸转动较大的角度，无法提取出两侧的下颚线，或者两侧的脸侧线，此时，无法提取的线条的长度计零即可。
在本申请一实施例中，提取所述修复后的人脸图像中的五官特征，包括：
提取所述修复后的人脸图像中的左眼中心点A、右眼中心点B、左嘴角点C、右嘴角点D和鼻尖中点E；
确定第三夹角的值、以及第四夹角的值，得到五官特征，其中，所述第三夹角为角AEB或者角CED，所述第四夹角为角AEC或者角BED。
在本实施例中，可以通过现有的人脸关键点提取器来提取人脸关键点，然后选取其中的左眼中心点A、右眼中心点B、左嘴角点C、右嘴角点D和鼻尖中点E。
图3为本申请一实施例中示出的五官特征的示意图，如图2所示，其中，AE、BE、CE和DE四条线组成一个类似于外凸的立体“X”的图像，从正面视角观察不同的人脸姿态，第三夹角和第四夹角会产生变化。依据此原理，本申请通过上述原理来构建五官特征。
S130，基于所述人脸轮廓特征、以及预先建立的特征数据库确定所述待修复的人脸图像的第一人脸姿态，并基于所述五官特征、以及预先建立的特征数据库确定修复后的人脸图像的第二人脸姿态，其中，所述特征数据库包括人脸轮廓特征与第一人脸姿态的对应关系、以及五官特征与第二人脸姿态的对应关系；
在本申请中，通过预先采集人脸在各种姿态下对应的人脸轮廓特征和五官特征建立特征数据库。然后基于特征数据库来确定人脸轮廓特征对应的第一人脸姿态、以及五官特征对应的第二人脸姿态。其中，人脸姿态为人脸的朝向，即相比于正视前方，人脸的水平转动和人脸的俯仰角度。
在本申请一实施例中，通过如下过程建立特征数据库：
获取多种人脸类型的正前方视角的样本图像、以及每种人脸类型对应的多个人脸点位的深度值，其中，所述多个人脸点位的深度值预先扫描人脸获取；
将所述深度值与对应的样本图像的像素点融合，得到多个三维人脸模型；
转动每一个三维人脸模型，并记录每一个三维人脸模型在多种人脸姿态下的人脸轮廓特征和五官特征，得到与多种人脸类型对应的特征数据库。
其中，由于人脸脸型多种多样，不同的脸型，即使在相同的人脸姿态下，其对应的面部特征也是不同，不同的如国字脸、圆脸、长脸等。因此，本申请在建立特征数据库时，需要分脸型来构建多种人脸姿态和面部特征的对应关系。
在本实施例中，预先扫描各种类型人脸的多个人脸点位，从而得到多个人脸点位的深度值。其中，人脸点位可以包括68个人脸关键点，也可以包括150个人脸关键点。得到人脸点位的深度值后，便可以将多个人脸点位的深度值融合至对应的样本图像中。生成每一种脸型的三维模型。
在本申请一实施例中，所述样本图像照射光源与图像中的人脸相对，从而保证样本图像的局部大致上满足越亮的位置深度值越低，越暗的位置深度值越高。
其中，将所述深度值与对应的样本图像的像素点融合，得到多个三维人脸模型，包括：
将所述样本图像转换为灰度图像；
确定与所述多个人脸点位对应的基准像素点，并将每个人脸点位的深度值赋予至对应的基准像素点；人脸点位可以采用现有的关键点提取器采集，从而保证样本图像中的基准像素点与人脸点位位置对应；
确定符合目标条件两个相邻的基准像素点的连线上的像素点的深度值/>，得到人脸网格，所述深度值/>的数学表达式为：
式中，和/>分别为所述两个相邻的基准像素点的深度值，分别为所述两个相邻的基准像素点的灰度值，/>为像素点/>的灰度值，/>为比例因子；
将所述人脸网格转换为三维人脸模型。
在本实施例中，上述公式基于灰度值确定任意两个相邻基准像素点连线上的像素点的深度值，以其中一个相邻基准像素点的深度值/>为参考值，然后计算两个相邻的基准像素点/>和/>之间的灰度差对应的高度差，从而确定单位灰度差值引起的深度值变化。接着计算像素点/>与基准像素点/>之间的灰度差值，得到这个灰度差值对应的高度差值，然后累加至基准像素点/>的深度值/>中，便可以得到基于亮度（亮度体现在灰度值）变化对应的像素点/>的深度值/>。基于亮度生成的网格线，更加符合图样的特征，同时更加平滑。
此外，值得注意的是，考虑到人脸亮度变化的复杂性，对于距离太大的相邻的基准像素点，本实施例中，不进行生成网格线。例如，左眼中心与左嘴角之间的连线过长，容易造成网格线失真。因此，所述目标条件为:两个相邻的基准像素点的距离不超过预设阈值。
本实施例得到的人脸网格仅构建了样本图像中人脸的五官特征，为了生成最后的三维人脸模型，将人脸网格融合至预先建立的无五官的人头模型上，并拟合出曲面即可。通过人脸曲线建立三维人脸模型也可以采用其他现有的技术手段，在此不再赘述。
得到三维人脸模型后，通过转动三维人脸模型，以使得三维人脸模型多种人脸姿态。从固定视角获取多种人脸姿态下的人脸轮廓特征和五官特征，便可以建立一种脸型的人脸姿态与人脸轮廓特征、五官特征的对应关系。建立多种脸型的人脸姿态与人脸轮廓特征、五官特征的对应关系，便可以得到完整的特征数据库。
在本申请一实施例中，基于所述人脸轮廓特征确定所述待修复的人脸图像的第一人脸姿态，包括：
对所述待修复的人脸图像进行识别，得到第一目标人脸类型；
确定与所述第一目标人脸类型对应的第一目标特征数据库，并基于所述人脸轮廓特征从所述第一目标特征数据库中确定所述待修复的人脸图像的第一人脸姿态，其中，所述第一人脸姿态包括人脸水平转向角度和人脸俯仰角度。
在本申请一实施例中，基于所述五官特征确定修复后的人脸图像的第二人脸姿态，包括：
对所述修复后的人脸图像进行识别，得到第二目标人脸类型；
确定与所述第二目标人脸类型对应的第二目标特征数据库，并基于所述五官特征从所述第二目标特征数据库中确定所述修复后的人脸图像的第二人脸姿态，其中，所述第二人脸姿态包括人脸水平转向角度和人脸俯仰角度。
在本实施例中，由于前述过程确定了人脸轮廓特征和五官特征，通过查询特征数据库便可以直接得到人脸轮廓对应的第一人脸姿态和五官对应的第二人脸姿态。
S140，将所述第一人脸姿态与所述第二人脸姿态进行对比，并在所述第二人脸姿态与所述第一人脸姿态不一致时，对所述修复后的人脸图像的修复区域进行姿态调整，以使得调整后的修复区域的姿态与所述第一人脸姿态一致。
其中，同归对比第一人脸姿态和第二人脸姿态后，便可以得到修复的五官是否与原图中的人脸轮廓匹配，完成检验。在不匹配时，本申请还可以利用三维建模的方式来对五官部分的人脸姿态进行调整，从而使得五官的姿态与原有的人脸轮廓姿态匹配，修复后的图像更加自然。
在本申请一实施例中，对所述修复后的人脸图像的修复区域进行姿态调整，包括：
提取修复区域的部分人脸的多个关键点，其中，所述多个关键点与所述人脸点位对应；
确定所述修复区域的部分人脸的朝向与样本图像的人脸方向的夹角；
基于所述夹角确定多个关键点的深度值/>，/>，其中，/>为与关键点对应的人脸点位的深度值；其中，修复区域的部分人脸同样通过现有的关键点提取器提取其中的关键点，因此关键点的深度值与人脸点位的深度值对应，但是样本图像中的人脸方向是朝向正前方的，因此，通过一个三角函数来将深度值投影至部分人脸的对应位置，得到倾斜状态下的部分人脸的深度值。
基于多个关键点的深度值建立部分人脸的三维模型；其中，由于修复区域的部分人脸可能是倾斜的，存在提取的关键点不完整的情况。这种情况下，只有一半的人脸是完整的。因此，在所述夹角大于预设的角度阈值，或者，所述关键点数量少于预设的数量阈值时，基于所述多个关键点建立半张脸的三维模型，并通过镜像复制所述半张脸的三维模型得到所述部分人脸的三维模型。
截取处于所述第一人脸姿态的部分人脸的平面图像，并对所述修复区域的图像进行替换，完成姿态调整。
最后，通过调整部分人脸的三维模型的角度，以使得从正前方视角下，部分人脸的平面图像的姿态与第一人脸姿态一致。截取此时的图像，并对原修复区域进行替换，可以完成调整。从而使得调整后的图像人脸更加自然。
本发明的基于姿态校验的图像修复方法，通过提取修复前人脸图像的人脸轮廓特征、修复后的人脸图像的五官特征，然后基于人脸轮廓特征来确定原图像的第一人脸姿态，以后修复部分人脸的第二人脸姿态。如果出现修复前后人脸姿态不一致的情况时，对修复部分的人脸进行调整，从而使得修复前后的人脸姿态一致，最终呈现的人脸效果更加自然。
本申请还提供基于姿态校验的图像修复系统，包括：
获取模块，用于获取待修复的人脸图像、以及修复后的人脸图像，其中，所述修复后的人脸图像通过对所述待修复的人脸图像进行五官替换后得到；
提取模块，用于提取所述待修复的人脸图像中的人脸轮廓特征、以及所述修复后的人脸图像中的五官特征；
姿态确定模块，用于基于所述人脸轮廓特征、以及预先建立的特征数据库确定所述待修复的人脸图像的第一人脸姿态，并基于所述五官特征、以及预先建立的特征数据库确定修复后的人脸图像的第二人脸姿态，其中，所述特征数据库包括人脸轮廓特征与第一人脸姿态的对应关系、以及五官特征与第二人脸姿态的对应关系；
对比和调整模块，用于将所述第一人脸姿态与所述第二人脸姿态进行对比，并在所述第二人脸姿态与所述第一人脸姿态不一致时，对所述修复后的人脸图像的修复区域进行姿态调整，以使得调整后的修复区域的姿态与所述第一人脸姿态一致。
本发明的基于姿态校验的图像修复系统，通过提取修复前人脸图像的人脸轮廓特征、修复后的人脸图像的五官特征，然后基于人脸轮廓特征来确定原图像的第一人脸姿态，以后修复部分人脸的第二人脸姿态。如果出现修复前后人脸姿态不一致的情况时，对修复部分的人脸进行调整，从而使得修复前后的人脸姿态一致，最终呈现的人脸效果更加自然。
图4示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图4示出的电子设备的计算机系统400仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统400包括中央处理单元（Central Processing Unit，CPU）401，其可以根据存储在只读存储器（Read-Only Memory，ROM）402中的程序或者从储存部分408加载到随机访问存储器（Random Access Memory，RAM）404中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 403中，还存储有系统操作所需的各种程序和数据。CPU 401、ROM402以及RAM 403通过总线404彼此相连。输入/输出（Input /Output，I/O）接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管（Cathode Ray Tube，CRT）、液晶显示器（Liquid Crystal Display，LCD）等以及扬声器等的输出部分407；包括硬盘等的储存部分408；以及包括诸如LAN（Local Area Network，局域网）卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入储存部分408。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元（CPU）401执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、闪存、光纤、便携式紧凑磁盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前的方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的方法。
以上实施例仅是为充分说明本申请而所举的较佳的实施例，本申请的保护范围不限于此。本技术领域的技术人员在本申请基础上所作的等同替代或变换，均在本申请的保护范围之内。

Claims (10)

1.基于姿态校验的图像修复方法，其特征在于，包括步骤：
获取待修复的人脸图像、以及修复后的人脸图像，其中，所述修复后的人脸图像通过对所述待修复的人脸图像进行五官替换后得到；
提取所述待修复的人脸图像中的人脸轮廓特征、以及所述修复后的人脸图像中的五官特征；
基于所述人脸轮廓特征、以及预先建立的特征数据库确定所述待修复的人脸图像的第一人脸姿态，并基于所述五官特征、以及预先建立的特征数据库确定修复后的人脸图像的第二人脸姿态，其中，所述特征数据库包括人脸轮廓特征与第一人脸姿态的对应关系、以及五官特征与第二人脸姿态的对应关系；
将所述第一人脸姿态与所述第二人脸姿态进行对比，并在所述第二人脸姿态与所述第一人脸姿态不一致时，对所述修复后的人脸图像的修复区域进行姿态调整，以使得调整后的修复区域的姿态与所述第一人脸姿态一致。
2.根据权利要求 1 所述的基于姿态校验的图像修复方法，其特征在于，还包括如下过程建立特征数据库：
获取多种人脸类型的正前方视角的样本图像、以及每种人脸类型对应的多个人脸点位的深度值，其中，所述多个人脸点位的深度值预先扫描人脸获取；
将所述深度值与对应的样本图像的像素点融合，得到多个三维人脸模型；
转动每一个三维人脸模型，并记录每一个三维人脸模型在多种人脸姿态下的人脸轮廓特征和五官特征，得到与多种人脸类型对应的特征数据库。
3.根据权利要求 2 所述的基于姿态校验的图像修复方法，其特征在于，所述样本图像照射光源与图像中的人脸相对，其中，将所述深度值与对应的样本图像的像素点融合，得到多个三维人脸模型，包括：
将所述样本图像转换为灰度图像；
确定与所述多个人脸点位对应的基准像素点，并将每个人脸点位的深度值赋予至对应的基准像素点；
确定符合目标条件两个相邻的基准像素点的连线上的像素点的深度值/>，得到人脸网格，所述深度值/>的数学表达式为：
式中，和/>分别为所述两个相邻的基准像素点的深度值，分别为所述两个相邻的基准像素点的灰度值，/>为像素点/>的灰度值，/>为比例因子；
将所述人脸网格转换为三维人脸模型。
4.根据权利要求 3 所述的基于姿态校验的图像修复方法，其特征在于，所述人脸轮廓特征包括左下颚线的长度与右下颚线的长度的第一比值、左下颚线与左脸侧线的第一夹角，或者左下颚线的长度与右下颚线的长度的第一比值、右下颚线与右脸侧线的第二夹角；其中，提取所述待修复的人脸图像中的人脸轮廓特征，包括：
提取所述待修复的人脸图像的轮廓特征；
将所述待修复的人脸图像的轮廓特征输入至预先建立的轮廓识别模型中，得到左下颚线、右下颚线、左脸侧线和右脸侧线，其中，还包括如下方案建立轮廓识别模型：获取多个人脸图像，提取所述多个人脸图像的轮廓特征，并对所述多个人脸图像的轮廓特征进行标注，以所述多个人脸图像的轮廓特征以及轮廓特征的标注构建训练数据集，基于所述训练数据集对人工神经网络进行训练，得到轮廓识别模型；
基于所述左下颚线、所述右下颚线、所述左脸侧线和所述右脸侧线确定第一比值、第一夹角和第二夹角，得到人脸轮廓特征。
5.根据权利要求 4 所述的基于姿态校验的图像修复方法，其特征在于，基于所述人脸轮廓特征确定所述待修复的人脸图像的第一人脸姿态，包括：
对所述待修复的人脸图像进行识别，得到第一目标人脸类型；
确定与所述第一目标人脸类型对应的第一目标特征数据库，并基于所述人脸轮廓特征从所述第一目标特征数据库中确定所述待修复的人脸图像的第一人脸姿态，其中，所述第一人脸姿态包括人脸水平转向角度和人脸俯仰角度。
6.根据权利要求 5 所述的基于姿态校验的图像修复方法，其特征在于，提取所述修复后的人脸图像中的五官特征，包括：
提取所述修复后的人脸图像中的左眼中心点A、右眼中心点B、左嘴角点C、右嘴角点D和鼻尖中点E；
确定第三夹角的值、以及第四夹角的值，得到五官特征，其中，所述第三夹角为角AEB或者角CED，所述第四夹角为角AEC或者角BED。
7.根据权利要求 6 所述的基于姿态校验的图像修复方法，其特征在于，基于所述五官特征确定修复后的人脸图像的第二人脸姿态，包括：
对所述修复后的人脸图像进行识别，得到第二目标人脸类型；
确定与所述第二目标人脸类型对应的第二目标特征数据库，并基于所述五官特征从所述第二目标特征数据库中确定所述修复后的人脸图像的第二人脸姿态，其中，所述第二人脸姿态包括人脸水平转向角度和人脸俯仰角度。
8.根据权利要求 7 所述的基于姿态校验的图像修复方法，其特征在于，对所述修复后的人脸图像的修复区域进行姿态调整，包括：
提取修复区域的部分人脸的多个关键点，其中，所述多个关键点与所述人脸点位对应；
确定所述修复区域的部分人脸的朝向与样本图像的人脸方向的夹角；
基于所述夹角确定多个关键点的深度值/>，/>，其中，/>为与关键点对应的人脸点位的深度值；
基于多个关键点的深度值建立部分人脸的三维模型；
截取处于所述第一人脸姿态的部分人脸的平面图像，并对所述修复区域的图像进行替换，完成姿态调整。
9.根据权利要求 8 所述的基于姿态校验的图像修复方法，其特征在于，还包括：
在所述夹角大于预设的角度阈值，或者，所述关键点数量少于预设的数量阈值时，基于所述多个关键点建立半张脸的三维模型，并通过镜像复制所述半张脸的三维模型得到所述部分人脸的三维模型。
10.根据权利要求 3 所述的基于姿态校验的图像修复方法，其特征在于，所述目标条件为:两个相邻的基准像素点的距离不超过预设阈值。
CN202310855355.8A 2023-07-13 2023-07-13 基于姿态校验的图像修复方法 Active CN116579956B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310855355.8A CN116579956B (zh) 2023-07-13 2023-07-13 基于姿态校验的图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310855355.8A CN116579956B (zh) 2023-07-13 2023-07-13 基于姿态校验的图像修复方法

Publications (2)

Publication Number Publication Date
CN116579956A CN116579956A (zh) 2023-08-11
CN116579956B true CN116579956B (zh) 2023-09-12

Family

ID=87540029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310855355.8A Active CN116579956B (zh) 2023-07-13 2023-07-13 基于姿态校验的图像修复方法

Country Status (1)

Country Link
CN (1) CN116579956B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635745A (zh) * 2018-12-13 2019-04-16 广东工业大学 一种基于生成对抗网络模型生成多角度人脸图像的方法
CN110458081A (zh) * 2019-08-05 2019-11-15 上海天诚比集科技有限公司 基于多姿矫正和局部特征替换的人脸识别预处理方法
WO2021244172A1 (zh) * 2020-06-01 2021-12-09 腾讯科技（深圳）有限公司 图像处理和图像合成方法、装置和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635745A (zh) * 2018-12-13 2019-04-16 广东工业大学 一种基于生成对抗网络模型生成多角度人脸图像的方法
CN110458081A (zh) * 2019-08-05 2019-11-15 上海天诚比集科技有限公司 基于多姿矫正和局部特征替换的人脸识别预处理方法
WO2021244172A1 (zh) * 2020-06-01 2021-12-09 腾讯科技（深圳）有限公司 图像处理和图像合成方法、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于三维人脸建模的多姿态人脸识别;胡异丁;朱斌;甘俊英;;计算机工程与设计(07);全文 *

Also Published As

Publication number Publication date
CN116579956A (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN110599605B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN110807836B (zh) 三维人脸模型的生成方法、装置、设备及介质
JP4723834B2 (ja) 映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置
CN109359526B (zh) 一种人脸姿态估计方法、装置和设备
CN111488865B (zh) 图像优化方法、装置、计算机存储介质以及电子设备
CN111028343B (zh) 三维人脸模型的生成方法、装置、设备及介质
US20150310672A1 (en) Augmented reality method applied to the integration of a pair of spectacles into an image of a face
CN111243050B (zh) 肖像简笔画生成方法、系统及绘画机器人
CN105518708A (zh) 用于验证活体人脸的方法、设备和计算机程序产品
JP7294788B2 (ja) ３ｄ配置のタイプに応じた２ｄ画像の分類
CN113269862A (zh) 场景自适应的精细三维人脸重建方法、系统、电子设备
WO2021140510A2 (en) Large-scale generation of photorealistic 3d models
US20210390667A1 (en) Model generation
CN114092615A (zh) 使用人工智能在3d物体上进行uv映射
CN108573192B (zh) 匹配人脸的眼镜试戴方法和装置
CN116416376A (zh) 一种三维头发的重建方法、系统、电子设备及存储介质
Zeng et al. Joint 3D facial shape reconstruction and texture completion from a single image
Fan et al. Convex hull aided registration method (CHARM)
Castelán et al. Acquiring height data from a single image of a face using local shape indicators
Widanagamaachchi et al. 3D face reconstruction from 2D images
CN116579956B (zh) 基于姿态校验的图像修复方法
CN117132711A (zh) 一种数字人像定制方法、装置、设备及存储介质
CN116681579A (zh) 一种实时视频人脸替换方法、介质及系统
CN115841546A (zh) 一种场景结构关联的地铁站多视矢量仿真渲染方法及系统
KR20220052789A (ko) 감정 기반의 얼굴 영상 생성 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant