CN110060287A - 人脸图像鼻部整形方法及装置 - Google Patents

人脸图像鼻部整形方法及装置 Download PDF

Info

Publication number
CN110060287A
CN110060287A CN201910344543.8A CN201910344543A CN110060287A CN 110060287 A CN110060287 A CN 110060287A CN 201910344543 A CN201910344543 A CN 201910344543A CN 110060287 A CN110060287 A CN 110060287A
Authority
CN
China
Prior art keywords
nose
point
key point
line
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910344543.8A
Other languages
English (en)
Other versions
CN110060287B (zh
Inventor
白雪
黄海斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Maigewei Technology Co Ltd filed Critical Beijing Maigewei Technology Co Ltd
Priority to CN201910344543.8A priority Critical patent/CN110060287B/zh
Publication of CN110060287A publication Critical patent/CN110060287A/zh
Application granted granted Critical
Publication of CN110060287B publication Critical patent/CN110060287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例的方面涉及人脸图像鼻部整形方法及装置。人脸图像鼻部整形方法包括：获取人脸图像；基于人脸图像，获取人脸的人脸关键点，其中人脸关键点包括脸中线关键点、鼻子轮廓关键点、左侧眉尖关键点、右侧眉尖关键点、鼻梁上侧点、鼻尖下侧点；基于人脸关键点，生成第一鼻部三角化网格；基于第一鼻部三角化网格，获取第一鼻尖关键点；获取第一鼻尖关键点的移动矢量，基于鼻梁上侧点、鼻尖下侧点、第一鼻尖关键点及移动矢量，得到变化后的第二鼻部三角化网格；根据第一鼻部三角化网格和第二鼻部三角化网格，对人脸图像进行渲染，得到整形图像。通过本发明实施例，可针对任意人脸角度下的鼻部进行隆鼻。

Description

人脸图像鼻部整形方法及装置
技术领域
本发明一般地涉及图像处理领域，更具体地，涉及人脸图像鼻部整形方法及装置。
背景技术
数字人脸整形是目前拍照或者修图软件中的一个核心功能，传统的整形算法通常可实现大眼、瘦脸、瘦鼻、缩下巴等。相比于传统的大眼瘦脸，隆鼻相对困难，因为需要获得较为准确的人脸三维信息。目前，对鼻部隆鼻算法的局限是不能对任意角度人脸朝向的鼻部进行隆鼻整形。
发明内容
为了解决现有技术中存在的上述问题，本发明实施例提供了人脸图像鼻部整形方法及装置。
第一方面，本发明实施例提供一种人脸图像鼻部整形方法，其中，该方法包括：获取图像步骤，获取人脸图像；获取关键点步骤，基于人脸图像，获取人脸的人脸关键点，其中人脸关键点包括脸中线关键点、鼻子轮廓关键点、左侧眉尖关键点、右侧眉尖关键点、鼻梁上侧点、鼻尖下侧点；三角化网格生成步骤，基于人脸关键点，生成第一鼻部三角化网格；获取第一鼻尖关键点步骤，基于第一鼻部三角化网格，获取第一鼻尖关键点；移动步骤，获取第一鼻尖关键点的移动矢量，基于鼻梁上侧点、鼻尖下侧点、第一鼻尖关键点及移动矢量，得到变化后的第二鼻部三角化网格；图像变形步骤，根据第一鼻部三角化网格和第二鼻部三角化网格，对人脸图像进行渲染，得到整形图像。
在一例中，人脸关键点还包括：鼻子轮廓起始点、鼻子轮廓最末点、鼻翼左下侧点、鼻翼右下侧点。
在一例中，获取关键点步骤包括：检测步骤，通过检测人脸图像，获取脸中线关键点、鼻子轮廓关键点、左侧眉尖关键点、右侧眉尖关键点，其中脸中线关键点和鼻子轮廓关键点为稠密关键点；关键点确定步骤，包括：基于脸中线关键点，确定鼻梁上侧点、鼻尖下侧点；基于鼻子轮廓关键点，确定鼻子轮廓起始点、鼻子轮廓最末点、鼻翼左下侧点、鼻翼右下侧点。
在一例中，三角化网格生成步骤包括：连线步骤，基于左侧眉尖关键点、鼻子轮廓起始点、鼻翼左下侧点、以及鼻子轮廓关键点，得到左侧线；基于右侧眉尖关键点、鼻子轮廓最末点、鼻翼右下侧点以及鼻子轮廓关键点，得到右侧线；基于鼻梁上侧点、鼻尖下侧点以及脸中线关键点，得到中心线；等分步骤，将左侧线、右侧线和中心线分别等分成相同份数；四角网格生成步骤，对应连接左侧线的分割点和中心线的分割点，对应连接右侧线的分割点和中心线的分割点，得到四角网格；剖分步骤，基于四角网格，将每一个四边形剖分成两个三角形，得到三角化网格。
在一例中，人脸关键点还包括：鼻梁中间点；获取关键点步骤中，关键点计算步骤还包括：基于脸中线关键点，计算得到鼻梁中间点；三角化网格生成步骤包括：连线步骤，基于左侧眉尖关键点和鼻子轮廓起始点，得到左上侧线；基于鼻子轮廓起始点、鼻翼左下侧点、以及鼻子轮廓关键点，得到左下侧线；基于右侧眉尖关键点和鼻子轮廓最末点，得到右上侧线；基于鼻子轮廓最末点、鼻翼右下侧点以及鼻子轮廓关键点，得到右下侧线；基于鼻梁上侧点、鼻梁中间点以及脸中线关键点，得到上中心线；基于鼻梁中间点、鼻尖下侧点以及脸中线关键点，得到下中心线；等分步骤，将左上侧线、上中心线以及右上侧线分别等分成第一预设份数；将左下侧线、下中心线以及右下侧线分别等分成第二预设份数；四角网格生成步骤，对应连接左上侧线的分割点和上中心线的分割点，对应连接右上侧线的分割点和上中心线的分割点，对应连接左下侧线的分割点和下中心线的分割点，对应连接右下侧线的分割点和下中心线的分割点，得到四角网格；剖分步骤，基于四角网格，将每一个四边形剖分成两个三角形，得到三角化网格。
在一例中，第一预设份数为六份，第二预设份数为十二份。
在一例中，图像变形步骤包括，基于人脸图像中的人脸角度，先渲染人脸远端侧图像，后渲染人脸近端侧图像。
在一例中，获取第一鼻尖关键点步骤中，基于中心线的分割点和脸中线关键点，确定第一鼻尖关键点。
在一例中，移动步骤中，基于人脸图像中的人脸角度或接收用户指令，确定移动矢量。
在一例中，移动步骤包括：根据移动矢量，确定第一鼻尖关键点移动后得到的第二鼻尖关键点；连接鼻梁上侧点与第二鼻尖关键点，得到鼻梁上侧点与第二鼻尖关键点之间的线段；将鼻梁上侧点与第一鼻尖关键点之间的分割点投影到线段上，得到线段的分割点；根据线段的分割点，得到变化后的第二鼻部三角化网格。
第二方面，本发明实施例提供一种人脸图像鼻部整形装置，其中，装置包括：获取图像单元，用于获取人脸图像；获取关键点单元，用于基于人脸图像，获取人脸的人脸关键点，其中人脸关键点包括脸中线关键点、鼻子轮廓关键点、左侧眉尖关键点、右侧眉尖关键点、鼻梁上侧点、鼻尖下侧点；三角化网格生成单元，用于基于人脸关键点，生成第一鼻部三角化网格；获取第一鼻尖关键点单元，用于基于第一鼻部三角化网格，获取第一鼻尖关键点；移动单元，用于获取第一鼻尖关键点的移动矢量，基于鼻梁上侧点、鼻尖下侧点、第一鼻尖关键点及移动矢量，得到变化后的第二鼻部三角化网格；图像变形单元，用于根据第一鼻部三角化网格和第二鼻部三角化网格，对人脸图像进行渲染，得到整形图像。
第三方面，本发明实施例提供一种电子设备，电子设备包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行上述任何方法。
第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在计算机上运行时，执行上述任何方法。
本发明实施例提供的人脸图像鼻部整形方法及装置，通过获取人脸关键点，其中人脸关键点包括的脸中线关键点、鼻子轮廓关键点、左侧眉尖关键点、右侧眉尖关键点、鼻梁上侧点、鼻尖下侧点，并基于获取的人脸关键点，生成鼻部三角化网格，根据第一鼻尖关键点以及第一鼻尖关键点的移动矢量，得到变化后的鼻部三角化网格，根据变化前后的鼻部三角化网格对人脸图像进行渲染，得到整形图像。通过本发明实施例，可针对任意人脸角度下的鼻部进行隆鼻。
附图说明
通过参考附图阅读下文的详细描述，本发明实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1是本发明实施例提供的人脸图像鼻部整形方法实施流程图；
图2示出了获取的人脸关键点的示意图；
图3示出了获取的人脸关键点以及变化过程的示意图；
图4示出了获取的人脸关键点以及变化过程的示意图；
图5是本发明实施例提供的另一人脸图像鼻部整形方法实施流程图；
图6是本发明实施例提供的人脸图像鼻部整形装置示意图；
图7是本发明实施例提供的一种电子设备示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。
需要注意，虽然本文中使用“第一”、“第二”等表述来描述本发明的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。
本发明的一个实施方式提出了一种人脸图像鼻部整形方法100，该方法可以应用于针对人脸鼻部进行隆鼻的应用场景。图1示出了本发明实施例提供的一种人脸图像鼻部整形方法100的实施流程图。图2-图4示出了获取的人脸关键点以及变化过程的示意图。
参阅图1-图4所示，该方法100包括：
S101：获取图像步骤，获取人脸图像。
在本实施例中，获取的人脸图像可以是手机或者具有拍摄功能的任意设备实时拍摄而获取的人脸图像，也可以是已经拍摄完成的被上传的人脸图像，其中，该图像可以是彩色图片也可以是黑白图片，该人脸图像可以是从正面拍照的、也可以是从侧面拍照的人脸图像。
S102：获取关键点步骤，基于人脸图像，获取人脸的人脸关键点，其中人脸关键点包括脸中线关键点、鼻子轮廓关键点、左侧眉尖关键点A1、右侧眉尖关键点A2、鼻梁上侧点M、鼻尖下侧点P。
本发明实施例中涉及的人脸关键点可以是脸部的一些表征能力强的关键点，包括但不限于眼角、眉梢、颧骨最高点、鼻子、嘴巴、下巴以及人脸外轮廓等一系列关键点。
其中，人脸的关键点可以用已有的人脸检测和人脸关键点定位算法来实现。如预先搜集大量人脸图像，如N＝10000，人工在每张图像中标注出人脸的眼角，嘴角，鼻翼，颧骨最高点，外轮廓点等一系列关键点。使用机器学习算法，如深度学习或者基于局部特征的回归算法，进行训练，从而得到人脸检测和关键点定位的算法模块。该模块的输入是包含人脸的图片，输出为该人脸图片的关键点，取决于不同的模型，常见的人脸关键点通常有81点，103点或者其他数量。
本发明实施例获取的人脸关键点由于包括了脸中线关键点，鼻子轮廓关键点、左侧眉尖关键点A1、右侧眉尖关键点A2、鼻梁上侧点M、鼻尖下侧点P，使得可以对任意角度人脸的鼻部进行隆鼻整形，对90度大侧脸下的鼻部也有很好的隆鼻效果。
S103：三角化网格生成步骤，基于人脸关键点，生成第一鼻部三角化网格。
在本实施例中，基于获取的人脸关键点，可生成鼻部四角网格，将生成的鼻部四角网格中的每个四角网格剖分成两个三角形，得到鼻部三角化网格。
S104：获取第一鼻尖关键点步骤，基于第一鼻部三角化网格，获取第一鼻尖关键点S。
在本实施例中，第一鼻尖关键点S可基于鼻部三角化网格获取，或者基于用户指令，将用户指定的点作为第一鼻尖关键点S。
S105：移动步骤，获取第一鼻尖关键点S的移动矢量，基于鼻梁上侧点M、鼻尖下侧点P、第一鼻尖关键点S及移动矢量，得到变化后的第二鼻部三角化网格。
在一实施例中，基于人脸图像中的人脸角度或接收用户指令，确定移动矢量。
其中，第一鼻尖关键点S的移动矢量可采用如下方式获取：通过头部姿态空间角度计算获取，或者基于用户指令获取。其中，基于头部姿态空间角度计算时，第一鼻尖关键点S的移动矢量会根据头部姿态空间角度的不同而变化。基于用户指令获取时，可将用户指定的移动矢量，作为鼻尖移动矢量。
本实施例中，根据移动矢量，确定第一鼻尖关键点S移动后得到的第二鼻尖关键点T；连接鼻梁上侧点M与第二鼻尖关键点T，得到鼻梁上侧点M与第二鼻尖关键点T之间的线段；将鼻梁上侧点M与第一鼻尖关键点S之间的分割点投影到鼻梁上侧点M与第二鼻尖关键点T之间的线段上，得到鼻梁上侧点M与第二鼻尖关键点T之间的线段的分割点；根据鼻梁上侧点M与第二鼻尖关键点T之间的线段的分割点，得到变化后的第二鼻部三角化网格。在另一实施例中，根据第一鼻尖关键点S的移动矢量，以及衰减函数，将鼻梁上侧点M与第一鼻尖关键点S之间的分割点投影到鼻梁上侧点M与第二鼻尖关键点T之间，形成鼻梁上侧点M与第二鼻尖关键点T之间的曲线，根据鼻梁上侧点M与第二鼻尖关键点T之间的曲线，得到变化后的第二鼻部三角化网格。
在本实施例中，由第一鼻尖关键点S到第一鼻尖关键点移动后得到的第二鼻尖关键点T的矢量，即为鼻尖移动矢量，第一鼻尖关键点S和第二鼻尖关键点T也可以是同一个关键点，即第一鼻尖关键点S到第一鼻尖关键点移动后得到的点T的距离为零。
其中，如果第一鼻尖关键点S和第二鼻尖关键点T为不同的点时，将鼻梁上侧点M、第二鼻尖关键点T和鼻尖下侧点P相连，将鼻梁上侧点M到第一鼻尖关键点S之间所有的分割点都投影到鼻梁上侧点M到第二鼻尖关键点T之间的线段上，将第一鼻尖关键点S到鼻尖下侧点P之间所有的分割点都投影到第二鼻尖关键点T到鼻尖下侧点P上，得到变化后的第二鼻部三角化网格。
如果第一鼻尖关键点S和第一鼻尖关键点移动后得到的点T是同一个关键点，可将鼻梁上侧点M与第一鼻尖关键点S线段相连，将脸中线中鼻梁上侧点M到第一鼻尖关键点S之间所有的分割点都投影到鼻梁上侧点M到第一鼻尖关键点S的线段上，得到变化后的第二鼻部三角化网格。
S106：图像变形步骤，根据第一鼻部三角化网格和第二鼻部三角化网格，对人脸图像进行渲染，得到整形图像。
在本实施例中，根据第二鼻部三角化网格对第一鼻部三角化网格的变化，对人脸图像进行渲染，得到的整形图像，可采用本领域内的常规操作实现，在此不再赘述。通常图像变形步骤S106可以通过中央从处理单元(CPU)、图像处理器(GPU)、现场可编程门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元实现。本发明实施例中，为了提高图像变形效率，可通过在GPU上并行计算的方式实现图像形变。
通过上述实施例，获取包括脸中线关键点、鼻子轮廓关键点、左侧眉尖关键点A1、右侧眉尖关键点A2、鼻梁上侧点M、鼻尖下侧点P的人脸关键点，可生成鼻部三角化网格，基于生成的鼻部三角化网格，对第一鼻尖关键点S进行移动，得到变化后的鼻部三角化网格，通过变化前后的鼻部三角化网格，可针对任意人脸角度下的鼻部进行隆鼻。
图5示出了人脸图像鼻部整形方法100的另一实施流程图。参阅图5所示。
作为本发明的一个实施方式，获取关键点步骤S102中，获取的人脸关键点还包括：鼻子轮廓起始点B1、鼻子轮廓最末点B2、鼻翼左下侧点C1、鼻翼右下侧点C2。
作为本发明的一个实施方式，获取关键点步骤S102包括：
S1021：检测步骤，通过检测人脸图像，获取脸中线关键点、鼻子轮廓关键点、左侧眉尖关键点A1、右侧眉尖关键点A2，其中脸中线关键点和鼻子轮廓关键点为稠密关键点。
在本实施例中，本发明实施例中涉及的人脸稠密关键点是包含1000多个人脸关键点，通过眼睛、眉毛、鼻子、脸轮廓、脸中线等多个子模型，识别出各部分的稠密关键点，识别出的每个部分又分别包含128个关键点的人脸稠密关键点。例如脸中线包含128个稠密关键点，鼻子也包含128个稠密关键点。本发明实施例中，获取的脸中线关键点和鼻子轮廓关键点均为稠密关键点。脸中线关键点例如可采用如下方式描述：预设脸中线中{Ik}代表脸中线关键点，k＝0,1,…,127。
S1022：关键点确定步骤，包括：基于脸中线关键点，确定鼻梁上侧点M、鼻尖下侧点P；基于鼻子轮廓关键点，确定鼻子轮廓起始点B1、鼻子轮廓最末点B2、鼻翼左下侧点C1、鼻翼右下侧点C2。在一实施例中，可以在脸中线关键点中预设鼻梁上侧点M和鼻尖下侧点P，例如可预设脸中线关键点中第42个点为鼻梁上侧点M，即M＝I42，第87个点为鼻尖下侧点P，即P＝I87。
同理，基于鼻子轮廓关键点，可确定鼻子轮廓起始点B1、鼻子轮廓最末点B2、鼻翼左下侧点C1、鼻翼右下侧点C2的位置。其中，鼻翼左下侧点C1、鼻翼右下侧点C2为两个对称的关键点。
通过本实施例，由于脸中线关键点和鼻子轮廓关键点为稠密关键点，便于确认关键位置的关键点，同时使得可针对任意人脸角度下的鼻部进行隆鼻，并可达到很好的隆鼻效果。
作为本发明的一个实施方式，三角化网格生成步骤S103包括：
S1031：连线步骤，基于左侧眉尖关键点A1、鼻子轮廓起始点B1、鼻翼左下侧点C1、以及鼻子轮廓关键点，得到左侧线；基于右侧眉尖关键点A2、鼻子轮廓最末点B2、鼻翼右下侧点C2以及鼻子轮廓关键点，得到右侧线；基于鼻梁上侧点M、鼻尖下侧点P以及脸中线关键点，得到中心线。
在本实施例中，将左侧眉尖关键点A1、鼻子轮廓起始点B1、鼻子轮廓关键点和鼻翼左下侧点C1顺序连线，可得到左侧线。将右侧眉尖关键点A2、鼻子轮廓最末点B2、鼻子轮廓关键点和鼻翼右下侧点C2顺序连线，可得到右侧线。将鼻梁上侧点M、脸中线关键点和鼻尖下侧点P顺序连线，可得到中心线。
S1032：等分步骤，将左侧线、右侧线和中心线分别等分成相同份数。例如可将左侧线、右侧线和中心线分别等分成18份，或者20份，具体等分的份数可根据实际情况确定。
S1033：四角网格生成步骤，对应连接左侧线的分割点和中心线的分割点，对应连接右侧线的分割点和中心线的分割点，得到四角网格。
在本实施例中，将左侧线的分割点和中心线的分割点对应连接，得到左边四角网格，将右侧线的分割点和中心线的分割点对应连接，得到右边四角网格。
S1034：剖分步骤，基于四角网格，将每一个四边形剖分成两个三角形，得到三角化网格。
通过本实施例，将鼻子区域生成三角化网格，后续可基于三角化网格的形变，利于隆鼻后图像的渲染。
作为本发明的一个实施方式，其中，获取关键点步骤S102中，人脸关键点还可以包括：鼻梁中间点N；获取关键点步骤S102中，关键点确定步骤S1022还包括：基于脸中线关键点，确定鼻梁中间点N，例如可预设脸中线关键点中第55个点为鼻梁中间点N，即N＝I55。
三角化网格生成步骤S103包括：
连线步骤S1031，基于左侧眉尖关键点和鼻子轮廓起始点B1，得到左上侧线；基于鼻子轮廓起始点B1、鼻翼左下侧点C1、以及鼻子轮廓关键点，得到左下侧线；基于右侧眉尖关键点A2和鼻子轮廓最末点B2，得到右上侧线；基于鼻子轮廓最末点B2、鼻翼右下侧点C2以及鼻子轮廓关键点，得到右下侧线；基于鼻梁上侧点M、鼻梁中间点N以及脸中线关键点，得到上中心线；基于鼻梁中间点N、鼻尖下侧点P以及脸中线关键点，得到下中心线。
在本实施例中，将左侧眉尖关键点A1和鼻子轮廓起始点B1连线，得到左上侧线；将鼻子轮廓起始点B1、鼻子轮廓关键点和鼻翼左下侧点C1连线，得到左下侧线；将右侧眉尖关键点A2和鼻子轮廓最末点B2连线，得到右上侧线；将鼻子轮廓最末点B2、鼻子轮廓关键点和鼻翼右下侧点C2连线，得到右下侧线；将鼻梁上侧点M、脸中线关键点和鼻梁中间点N连线，得到上中心线；将鼻梁中间点N、脸中线关键点和鼻尖下侧点P连线，得到下中心线。
等分步骤S1032，将左上侧线、上中心线以及右上侧线分别等分成第一预设份数；将左下侧线、下中心线以及右下侧线分别等分成第二预设份数。例如可将第一预设份数为六份，将第二预设份数为十二份。
四角网格生成步骤S1033，对应连接左上侧线的分割点和上中心线的分割点，对应连接右上侧线的分割点和上中心线的分割点，对应连接左下侧线的分割点和下中心线的分割点，对应连接右下侧线的分割点和下中心线的分割点，得到四角网格。
剖分步骤S1034，基于四角网格，将每一个四边形剖分成两个三角形，得到三角化网格。将鼻子区域生成三角化网格，后续可基于三角化网格的形变，利于隆鼻后图像的渲染。
本实施例通过鼻梁中间点N，能够将鼻子区域更好划分网格，使得图像变换更加自然、真实。
作为本发明的一个实施方式，图像变形步骤S106包括，基于人脸图像中的人脸角度，先渲染人脸远端侧图像，后渲染人脸近端侧图像。其中，针对人脸图像为侧脸图像时，可将面向用户一侧的人脸图像称为近端侧图像，将人脸另一侧的图像称为远端侧图像。人脸图像中的远端图像在一些情况下会被近端图像所遮挡，为了保证经渲染后的人脸图像的完整性，可先渲染远端侧图像，即被遮挡侧的图像，再渲染近端侧图像。通过本实施例，对侧脸的鼻部进行隆鼻时，可实现人脸图像中近端侧图像对远端侧图像的遮挡，对鼻部的隆鼻更真实，自然。
作为本发明的一个实施方式，获取第一鼻尖关键点步骤S104中，基于中心线的分割点和脸中线关键点，确定第一鼻尖关键点S。在另一实施例中，还可以通过接收用户指令，确定第一鼻尖关键点S。
在本实施例中，可以在脸中线关键点中预设一个理论第一鼻尖关键点，并以预设的理论第一鼻尖关键点为基准，获取与预设的理论第一鼻尖关键点最近的中心线的分割点，例如可预设脸中线关键点中第80个点I80预设为理论第一鼻尖关键点，并以I80为基准，获取鼻部三角化网格中与I80最近的中心线的分割点，将该分割点作为第一鼻尖关键点S。
通过本实施例，获取的第一鼻尖关键点S更合理，从而使变化后的鼻部更平滑，自然。
本发明实施例提供的人脸图像鼻部整形方法，通过获取人脸稠密关键点包括脸中线关键点和鼻子轮廓关键点，以及获取左侧眉尖关键点A1、右侧眉尖关键点A2、鼻梁上侧点M、鼻尖下侧点P的人脸关键点，可生成鼻部三角化网格，基于生成的鼻部三角化网格，对第一鼻尖关键点S进行移动，得到变化后的鼻部三角化网格，通过变化前后的鼻部三角化网格，可针对任意人脸角度下的鼻部进行隆鼻，并针对大侧脸包括90度的大侧脸也有很好的隆鼻效果。
基于相同的发明构思，本发明实施例还提供了人脸图像整形装置。
图6示出了人脸图像鼻部整形装置200的示例性结构示意图。如图6所示，该人脸图像鼻部整形装置包括：获取图像单元201，用于获取人脸图像；获取关键点单元202，用于基于人脸图像，获取人脸的人脸关键点，其中人脸关键点包括脸中线关键点、鼻子轮廓关键点、左侧眉尖关键点A1、右侧眉尖关键点A2、鼻梁上侧点M、鼻尖下侧点P；三角化网格生成单元203，用于基于人脸关键点，生成第一鼻部三角化网格；获取第一鼻尖关键点单元204，用于基于第一鼻部三角化网格，获取第一鼻尖关键点S；移动单元205，用于获取第一鼻尖关键点S的移动矢量，基于鼻梁上侧点M、鼻尖下侧点P、第一鼻尖关键点S及移动矢量，得到变化后的第二鼻部三角化网格；图像变形单元206，用于根据第一鼻部三角化网格和第二鼻部三角化网格，对人脸图像进行渲染，得到整形图像。
装置中的各个单元所实现的功能与上文描述的方法中的步骤相对应，其具体实现和技术效果请参见上文对于方法步骤的描述，在此不再赘述。
如图7所示，本发明的一个实施方式提供了一种电子设备300。其中，该电子设备300包括存储器301、处理器302、输入/输出(Input/Output，I/O)接口303。其中，存储器301，用于存储指令。处理器302，用于调用存储器301存储的指令执行本发明实施例的人脸图像鼻部整形方法。其中，处理器302分别与存储器301、I/O接口303连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器301可用于存储程序和数据，包括本发明实施例中涉及的人脸图像鼻部整形方法的程序，处理器302通过运行存储在存储器301的程序从而执行电子设备300的各种功能应用以及数据处理。
本发明实施例中处理器302可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器302可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。
本发明实施例中的存储器301可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。
本发明实施例中，I/O接口303可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备300的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本发明实施例中I/O接口303可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。
可以理解的是，本发明实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本发明实施例涉及的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。
此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。
出于示例和描述的目的，已经给出了本发明实施的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本发明的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本发明。

Claims (13)

1.一种人脸图像鼻部整形方法，其中，所述方法包括：
获取图像步骤，获取人脸图像；
获取关键点步骤，基于所述人脸图像，获取人脸的人脸关键点，其中所述人脸关键点包括脸中线关键点、鼻子轮廓关键点、左侧眉尖关键点、右侧眉尖关键点、鼻梁上侧点、鼻尖下侧点；
三角化网格生成步骤，基于所述人脸关键点，生成第一鼻部三角化网格；
获取第一鼻尖关键点步骤，基于所述第一鼻部三角化网格，获取第一鼻尖关键点；
移动步骤，获取所述第一鼻尖关键点的移动矢量，基于所述鼻梁上侧点、所述鼻尖下侧点、所述第一鼻尖关键点及所述移动矢量，得到变化后的第二鼻部三角化网格；
图像变形步骤，根据所述第一鼻部三角化网格和所述第二鼻部三角化网格，对所述人脸图像进行渲染，得到整形图像。
2.根据权利要求1所述的方法，其中，所述人脸关键点还包括：鼻子轮廓起始点、鼻子轮廓最末点、鼻翼左下侧点、鼻翼右下侧点。
3.根据权利要求2所述的方法，其中，所述获取关键点步骤包括：
检测步骤，通过检测所述人脸图像，获取所述脸中线关键点、所述鼻子轮廓关键点、所述左侧眉尖关键点、所述右侧眉尖关键点，其中所述脸中线关键点和所述鼻子轮廓关键点为稠密关键点；
关键点确定步骤，包括：基于所述脸中线关键点，确定所述鼻梁上侧点、所述鼻尖下侧点；基于所述鼻子轮廓关键点，确定所述鼻子轮廓起始点、所述鼻子轮廓最末点、所述鼻翼左下侧点、所述鼻翼右下侧点。
4.根据权利要求3所述的方法，其中，所述三角化网格生成步骤包括：
连线步骤，基于所述左侧眉尖关键点、所述鼻子轮廓起始点、所述鼻翼左下侧点、以及所述鼻子轮廓关键点，得到左侧线；基于所述右侧眉尖关键点、所述鼻子轮廓最末点、所述鼻翼右下侧点以及所述鼻子轮廓关键点，得到右侧线；基于所述鼻梁上侧点、所述鼻尖下侧点以及所述脸中线关键点，得到中心线；
等分步骤，将所述左侧线、所述右侧线和所述中心线分别等分成相同份数；
四角网格生成步骤，对应连接所述左侧线的分割点和所述中心线的分割点，对应连接所述右侧线的分割点和所述中心线的分割点，得到四角网格；
剖分步骤，基于所述四角网格，将每一个四边形剖分成两个三角形，得到所述三角化网格。
5.根据权利要求3所述的方法，其中，
所述人脸关键点还包括：鼻梁中间点；
所述获取关键点步骤中，所述关键点计算步骤还包括：基于所述脸中线关键点，计算得到所述鼻梁中间点；
所述三角化网格生成步骤包括：
连线步骤，基于所述左侧眉尖关键点和所述鼻子轮廓起始点，得到左上侧线；基于所述鼻子轮廓起始点、所述鼻翼左下侧点、以及所述鼻子轮廓关键点，得到左下侧线；基于所述右侧眉尖关键点和所述鼻子轮廓最末点，得到右上侧线；基于所述鼻子轮廓最末点、所述鼻翼右下侧点以及所述鼻子轮廓关键点，得到右下侧线；基于所述鼻梁上侧点、所述鼻梁中间点以及所述脸中线关键点，得到上中心线；基于所述鼻梁中间点、所述鼻尖下侧点以及所述脸中线关键点，得到下中心线；
等分步骤，将所述左上侧线、所述上中心线以及所述右上侧线分别等分成第一预设份数；将所述左下侧线、所述下中心线以及所述右下侧线分别等分成第二预设份数；
四角网格生成步骤，对应连接所述左上侧线的分割点和所述上中心线的分割点，对应连接所述右上侧线的分割点和所述上中心线的分割点，对应连接所述左下侧线的分割点和所述下中心线的分割点，对应连接所述右下侧线的分割点和所述下中心线的分割点，得到四角网格；
剖分步骤，基于所述四角网格，将每一个四边形剖分成两个三角形，得到所述三角化网格。
6.根据权利要求5所述的方法，其中，所述第一预设份数为六份，所述第二预设份数为十二份。
7.根据权利要求4至6任一项所述的方法，其中，所述图像变形步骤包括：基于所述人脸图像中的人脸角度，先渲染人脸远端侧图像，后渲染人脸近端侧图像。
8.根据权利要求4至6任一项所述的方法，其中，所述获取第一鼻尖关键点步骤中，基于所述中心线的分割点和所述脸中线关键点，确定所述第一鼻尖关键点。
9.根据权利要求4至6任一项所述的方法，其中，所述移动步骤中，基于所述人脸图像中的人脸角度或接收用户指令，确定所述移动矢量。
10.根据权利要求9所述的方法，其中，所述移动步骤包括：
根据所述移动矢量，确定所述第一鼻尖关键点移动后得到的第二鼻尖关键点；
连接所述鼻梁上侧点与所述第二鼻尖关键点，得到所述鼻梁上侧点与所述第二鼻尖关键点之间的线段；
将所述鼻梁上侧点与所述第一鼻尖关键点之间的分割点投影到所述线段上，得到所述线段的分割点；
根据所述线段的分割点，得到变化后的第二鼻部三角化网格。
11.一种人脸图像鼻部整形装置，其中，所述装置包括：
获取图像单元，用于获取人脸图像；
获取关键点单元，用于基于所述人脸图像，获取人脸的人脸关键点，其中所述人脸关键点包括脸中线关键点、鼻子轮廓关键点、左侧眉尖关键点、右侧眉尖关键点、鼻梁上侧点、鼻尖下侧点；
三角化网格生成单元，用于基于所述人脸关键点，生成第一鼻部三角化网格；
获取第一鼻尖关键点单元，用于基于所述第一鼻部三角化网格，获取第一鼻尖关键点；
移动单元，用于获取所述第一鼻尖关键点的移动矢量，基于所述鼻梁上侧点、所述鼻尖下侧点、所述第一鼻尖关键点及所述移动矢量，得到变化后的第二鼻部三角化网格；
图像变形单元，用于根据所述第一鼻部三角化网格和所述第二鼻部三角化网格，对所述人脸图像进行渲染，得到整形图像。
12.一种电子设备，其中，所述电子设备包括：
存储器，用于存储指令；以及
处理器，用于调用所述存储器存储的指令执行权利要求1至10中任一项所述的人脸图像鼻部整形方法。
13.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在计算机上运行时，执行权利要求1至10中任一项所述的人脸图像鼻部整形方法。
CN201910344543.8A 2019-04-26 2019-04-26 人脸图像鼻部整形方法及装置 Active CN110060287B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910344543.8A CN110060287B (zh) 2019-04-26 2019-04-26 人脸图像鼻部整形方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910344543.8A CN110060287B (zh) 2019-04-26 2019-04-26 人脸图像鼻部整形方法及装置

Publications (2)

Publication Number Publication Date
CN110060287A true CN110060287A (zh) 2019-07-26
CN110060287B CN110060287B (zh) 2021-06-15

Family

ID=67321088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910344543.8A Active CN110060287B (zh) 2019-04-26 2019-04-26 人脸图像鼻部整形方法及装置

Country Status (1)

Country Link
CN (1) CN110060287B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837797A (zh) * 2019-11-05 2020-02-25 中国医学科学院北京协和医院 基于人脸表面三维网格的鼻部调节方法及其应用
WO2021128731A1 (zh) * 2019-12-25 2021-07-01 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1027681A4 (en) * 1998-05-13 2001-09-19 Acuscape International Inc METHOD AND DEVICE FOR GENERATING 3D MODELS OF MEDICAL IMAGES
WO2002030171A2 (en) * 2000-10-12 2002-04-18 Erdem Tanju A Facial animation of a personalized 3-d face model using a control mesh
CN101299267A (zh) * 2008-07-02 2008-11-05 北京中星微电子有限公司 一种人脸图像处理方法及装置
CN106296571A (zh) * 2016-07-29 2017-01-04 厦门美图之家科技有限公司 一种基于人脸网格的缩小鼻翼方法、装置和计算设备
CN107273840A (zh) * 2017-06-08 2017-10-20 天津大学 一种基于现实世界图像的面部识别方法
CN108447017A (zh) * 2018-05-31 2018-08-24 Oppo广东移动通信有限公司 人脸虚拟整容方法和装置
CN108765351A (zh) * 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质
CN108876732A (zh) * 2018-05-25 2018-11-23 北京小米移动软件有限公司 人脸美颜方法及装置
CN109242789A (zh) * 2018-08-21 2019-01-18 成都旷视金智科技有限公司 图像处理方法、图像处理装置及存储介质
CN109584168A (zh) * 2018-10-25 2019-04-05 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备和计算机存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1027681A4 (en) * 1998-05-13 2001-09-19 Acuscape International Inc METHOD AND DEVICE FOR GENERATING 3D MODELS OF MEDICAL IMAGES
WO2002030171A2 (en) * 2000-10-12 2002-04-18 Erdem Tanju A Facial animation of a personalized 3-d face model using a control mesh
CN101299267A (zh) * 2008-07-02 2008-11-05 北京中星微电子有限公司 一种人脸图像处理方法及装置
CN106296571A (zh) * 2016-07-29 2017-01-04 厦门美图之家科技有限公司 一种基于人脸网格的缩小鼻翼方法、装置和计算设备
CN107273840A (zh) * 2017-06-08 2017-10-20 天津大学 一种基于现实世界图像的面部识别方法
CN108876732A (zh) * 2018-05-25 2018-11-23 北京小米移动软件有限公司 人脸美颜方法及装置
CN108447017A (zh) * 2018-05-31 2018-08-24 Oppo广东移动通信有限公司 人脸虚拟整容方法和装置
CN108765351A (zh) * 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质
CN109242789A (zh) * 2018-08-21 2019-01-18 成都旷视金智科技有限公司 图像处理方法、图像处理装置及存储介质
CN109584168A (zh) * 2018-10-25 2019-04-05 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备和计算机存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837797A (zh) * 2019-11-05 2020-02-25 中国医学科学院北京协和医院 基于人脸表面三维网格的鼻部调节方法及其应用
WO2021128731A1 (zh) * 2019-12-25 2021-07-01 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质

Also Published As

Publication number Publication date
CN110060287B (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
Levine et al. Quantum entanglement in deep learning architectures
CN110060348A (zh) 人脸图像整形方法及装置
CN107392984A (zh) 一种基于人脸图像生成动画的方法及计算设备
KR20200139240A (ko) 가상 객체 변형 처리 방법, 장치, 기기 및 저장 매체
KR102304124B1 (ko) 학습기반 3d 모델 생성 장치 및 방법
US20140218371A1 (en) Facial movement based avatar animation
US9734637B2 (en) Semantic rigging of avatars
JP4463948B2 (ja) グラフィック・データを処理するためのプログラム可能な視覚化装置
KR20200135491A (ko) 3 차원 국부 인체 모델의 생성 방법, 장치 및 기기
Shen et al. Deepsketchhair: Deep sketch-based 3d hair modeling
US11436017B2 (en) Data temporary storage apparatus, data temporary storage method and operation method
US10360720B1 (en) Hybrid raytracing approach for modeling light reflection
CN107392085B (zh) 可视化卷积神经网络的方法
CN110060287A (zh) 人脸图像鼻部整形方法及装置
CN107909114A (zh) 训练有监督机器学习的模型的方法和装置
KR20220083830A (ko) 이미지 처리 방법 및 이미지 합성 방법, 이미지 처리 장치 및 이미지 합성 장치, 그리고 저장 매체
CN109074335A (zh) 数据处理方法、设备、dma控制器及计算机可读存储介质
CN107976804A (zh) 一种镜头光学系统的设计方法、装置、设备及存储介质
CN110213479A (zh) 一种视频拍摄防抖方法和装置
CN107862387A (zh) 训练有监督机器学习的模型的方法和装置
CN114904268A (zh) 一种虚拟形象的调整方法、装置、电子设备及存储介质
CN111047675A (zh) 一种头发仿真的方法及装置
WO2023169002A1 (zh) 软光栅化的方法、装置、设备、介质及程序产品
CN107945258A (zh) 一种三维图形自动简化生成方法
CN110176058B (zh) 一种基于草图和卷积曲面的沉浸式快速建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant