CN110837797A - 基于人脸表面三维网格的鼻部调节方法及其应用 - Google Patents

基于人脸表面三维网格的鼻部调节方法及其应用 Download PDF

Info

Publication number
CN110837797A
CN110837797A CN201911070293.XA CN201911070293A CN110837797A CN 110837797 A CN110837797 A CN 110837797A CN 201911070293 A CN201911070293 A CN 201911070293A CN 110837797 A CN110837797 A CN 110837797A
Authority
CN
China
Prior art keywords
point
nose
line
nasal
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911070293.XA
Other languages
English (en)
Inventor
龙笑
崇煜明
张强
刘俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Meixuan 3d Technology Co ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Beijing Meixuan 3d Technology Co ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Meixuan 3d Technology Co ltd, Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Beijing Meixuan 3d Technology Co ltd
Priority to CN201911070293.XA priority Critical patent/CN110837797A/zh
Publication of CN110837797A publication Critical patent/CN110837797A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于人脸表面三维网格的鼻部调节方法及其应用。其目的在于通过对人脸表面三维网格中鼻部的几何控制点参数进行连续调节，实现人脸表面的整体形状变化，并保证变化后的人脸表面的连续性。实施例的方面涉及基于人脸表面三维网格的鼻部调节方法及装置。该方法包括先定位鼻部的控制点，依次确定鼻高线、鼻廓线、鼻侧线和鼻底线的控制点，其次可以对鼻高、鼻翼及鼻底分别进行调节。通过本发明实施例，可针对任意人脸角度下的鼻部进行调整。

Description

基于人脸表面三维网格的鼻部调节方法及其应用
技术领域
本发明涉及计算机三维图像处理领域，更具体地，涉及人脸表面三维网格的鼻部调节方法、装置、设备及计算机可读介质。
背景技术
数字人脸调节是目前拍照或修图软件中的一个核心功能，传统的调节算法通常可实现大眼、瘦脸、瘦鼻、缩下巴等。相比于传统的大眼瘦脸，隆鼻相对困难，因为需要获得较为准确的人脸三维信息。对三维网格图像的调节变形是进行表面数据设计的重要方法，应用于人体三维数据上时，可对医学整形过程起到参考及指导作用，同时也可方便医生与患者进行期望治疗效果的沟通，但是传统的三维网格调节变形方法还没有专门针对鼻部位的调节变形方法。
发明内容
为了解决现有技术中存在的问题，本发明提出一种基于人脸表面三维网格的鼻部的可调节变形方法，通过选择适当的人脸鼻部位关键控制点位置进行量化计算和拟合计算，实现对鼻部的几何控制点参数进行连续调节，实现了简易便捷的整体变形调节过程，并保证变化后的鼻部表面连续性。
本发明实施例提供了一种基于人脸表面三维网格的鼻部调节方法、装置、设备及计算机可读介质。
第一方面，本发明实施例提供一种基于人脸表面三维网格的鼻部调节方法，其中，该方法包括：获取坐标系步骤，在所述人脸表面三维网格图像上标记坐标原点，并建立坐标系；获取人脸前侧轮廓线取样步骤，根据所述建立的坐标系，获取人脸前侧轮廓线；控制点自动定位步骤，根据所述人脸表面三维网格图像、所述坐标系及所述人脸前侧轮廓线，自动定位鼻高线及鼻高线控制点、鼻廓线及鼻廓线控制点、鼻侧线及鼻侧线控制点及鼻底线及鼻底线控制点；鼻部形状变形调整步骤，根据所述鼻高线及鼻高线控制点、所述鼻廓线及鼻廓线控制点、所述鼻侧线及鼻侧线控制点、所述鼻底线及鼻底线控制点，对鼻部形状变形调整。
在一例中，其中，所述获取坐标系步骤中，具体包括：首先将所述人脸表面三维网格图像进行光顺化；其次将所述人脸表面三维网格图像的包围盒的中心点设为坐标原点，以头顶方向为朝上的Y+方向，以鼻尖方向为朝前的Z+方向。
在一例中，其中，所述获取人脸前侧轮廓线取样步骤，具体包括：首先采用人脸对称平面所在平面为切割面，所述切割面与所述人脸表面三维网格图像相交，计算出脸部中心轮廓线；其次，将上下方向垂直的固定间隔的一系列平行平面与所述脸部中心轮廓线相交，计算出一系列轮廓点，将得到的所述一系列轮廓点按自上而下的顺序排序相连，形成人脸前侧轮廓线。
在一例中，其中，所述控制点自动定位步骤中的所述自动定位鼻高线及鼻高线控制点，具体包括：首先，设置所述人脸前侧轮廓线上的所述轮廓点到上下方向坐标轴距离
Figure BDA0002260735750000021
为评价函数；其次，将低于但最接近所述坐标原点高度的，且处于所述评价函数极大值点设置为鼻尖点；第三，在所述人脸前侧轮廓线上，以所述鼻尖点为起始点，向下方搜索得到的第一个所述评价函数极小值点，设置为鼻小叶点；第四，在所述人脸前侧轮廓线上，以所述鼻尖点为起始点，在所述鼻小叶点的下方继续搜索，得到的第一个所述评价函数极大值点为上唇点；第五，在所述人脸前侧轮廓线上，以所述鼻尖点为起始点，向上方搜索得到的第一个所述评价函数极小值点，设置为鼻额点；第六，在所述人脸前侧轮廓线上，以所述鼻尖点为起始点，在所述鼻额点的上方继续搜索，得到的第一个所述评价函数极大值点，设置为眉心点；第七，在所述人脸前侧轮廓线中，从所述上唇点至所述鼻小叶点至所述鼻尖点至所述鼻额点至所述眉心点的一段进行截取，并以所述上唇点、所述鼻小叶点、所述鼻尖点、所述鼻额点、所述眉心点为控制点，将五个所述控制点拟合为样条曲线，所述拟合的样条曲线设为鼻高线，所述鼻高线上的控制点集称为所述鼻高线控制点。
在一例中，其中，所述控制点自动定位步骤中的所述自动定位鼻廓线及鼻廓线控制点，具体包括：首先，设置所述人脸前侧轮廓线上的所述轮廓点到上下方向坐标轴距离
Figure BDA0002260735750000031
为评价函数；其次，在所述鼻高线上，从所述鼻小叶点到所述鼻额点之间，按一定间隔均匀采样，得到一组采样点；第三，对于所述一组采样点中的每一个采样点，设置一个包含该采样点的且与所述坐标系的水平平面平行的平面；第四，将得到的包含所述每一个采样点的平面与所述人脸表面三维网格图像相交，计算出相交的交线；第五，对于所述一组采样点中的每一个采样点，以该采样点为起始点，沿着所述计算得到的相交的交线，向左右两侧分别搜索，得到的第一个所述评价函数极小值点，分别设置为与所述该采样点对应的左侧点和右侧点；第六，对所述一组采样点中的每一个采样点重复上述第三步骤到第五步骤，得到一系列的所述左侧点和所述右侧点；第七，将得到的所述一系列的左侧点按照所述坐标系的Y方向顺序相连，得到一条连线，取所述连线上的点与上下方向坐标轴所在的平面与所述人脸对称平面的夹角角度为A，其中A＝tan-1(x/z)；所述夹角角度与对应的所述连线上的点的高度y，组成一组数对，将所述一系列的左侧点对应的全部数对集合，将所述集合数对拟合成直线AL(y)；取函数d＝A-AL为评价函数，自上而下搜索该评价函数的极值点为左鼻翼点；第八，将得到的所述一系列的右侧点重复第七步骤，计算出右鼻翼点；第九，将得到的所述一系列的左侧点以及所述左鼻翼点设置为控制点，将这些所述控制点拟合为样条曲线，所述拟合的样条曲线设为左侧鼻廓线，所述左侧鼻廓线上的控制点集称为所述左侧鼻廓线控制点；第十，将得到的所述一系列的右侧点以及所述右鼻翼点设置为控制点，将这些所述控制点拟合为样条曲线，所述拟合的样条曲线设为右侧鼻廓线，所述右侧鼻廓线上的控制点集称为所述右侧鼻廓线控制点。
在一例中，其中，所述控制点自动定位步骤中的所述自动定位鼻侧线及鼻侧线控制点，具体包括：首先，在所述左侧鼻廓线上，从所述左鼻翼点到与所述鼻高线上的所述鼻额点对应的起始点之间，按一定间隔均匀采样，得到一组采样点；第二，对于所述一组采样点中的每一个采样点，设置一个包含该采样点的且与所述坐标系的水平平面平行的平面；第三，将得到的包含所述每一个采样点的平面与所述人脸表面三维网格图像相交，计算出相交的交线；第四，计算所述每一个采样点与上下方向坐标轴所在的平面与所述人脸对称平面的夹角角度为A′wL，其中A′wL＝tan-1(x/z)，第五，在所述第四步骤中得到的交线上查找，符合与上下方向坐标轴所在的平面与所述人脸对称平面的夹角角度
Figure BDA0002260735750000041
的点，第六，对所述一组采样点中的每一个采样点重复上述第二步骤到第五步骤，得到一系列的所述采样点的对应点；第七，将得到的一系列所述对应点按照所述坐标系的Y方向顺序相连，得到一条连线，以所得的连线两端端点为控制点拟合为样条曲线，所述拟合的样条曲线设为左侧鼻侧线，所述鼻侧线上的控制点集称为所述左侧鼻侧线控制点；第八，在所述右侧鼻廓线上，从所述右鼻翼点到与所述鼻高线上的所述鼻额点对应的起始点之间，按一定间隔均匀采样，得到一组采样点；第九，对所述一组采样点中的每一个采样点重复上述第二步骤到第五步骤，得到一系列的所述采样点的对应点；第十，将得到的一系列所述对应点按照所述坐标系的Y方向顺序相连，得到一条连线，以所得的连线两端端点为控制点拟合为样条曲线，所述拟合的样条曲线设为右侧鼻侧线，所述右侧线上的控制点集称为所述右侧鼻侧线控制点。
在一例中，其中，所述控制点自动定位步骤中的所述自动定位鼻底线及鼻底线控制点，具体包括：首先，设置一个包含所述鼻高线上的所述鼻尖点且与所述坐标系的水平平面平行的平面，将得到的包含所述鼻尖点的平面与所述人脸表面三维网格图像相交，计算出相交的交线；其次，分别计算所述相交的交线与所述左侧鼻廓线的交点PbL、所述右侧鼻廓线的交点PbR；第三，在所述相交的交线上，截取上述第二步骤所得的所述两个交点PbL、PbR之间的线段，以线段两端端点PbL、PbR和所述鼻尖点为控制点拟合为样条曲线，所述拟合的样条曲线设为鼻底线，所述鼻底线上的控制点集称为所述鼻底线控制点。
在一例中，其中，所述样条曲线在所述拟合过程中，为提高拟合精度，还可以根据拟合误差情况在所述控制点的中间增加若干控制点。
在一例中，其中，所述鼻部形状变形调整步骤包括对鼻高进行调节，具体包括：首先，选择所述鼻高线控制点中的单一点或多个点；其次，调整所述选择的点到所述坐标系的Y坐标轴的距离大小；第三，按照所述调整后的距离，所述两条鼻廓线的位置保持不变，重新生成拟合后的新的样条曲线；第四，所述两条鼻侧线的位置和所述鼻底线的位置，分别根据第三步骤中调节后的新的所述样条曲线的结果，更新位置，从而形成新的鼻部位的外形表面。
在一例中，其中，所述鼻部形状变形调整步骤包括对鼻翼进行调节，具体包括：首先，选择所述两条鼻侧线及所述两条鼻廓线的控制点中的单一点或多个点；其次，调整所述选择的点到所述坐标系的Y坐标轴的距离大小；第三，按照所述调整后的距离，重新生成拟合后的新的样条曲线；第四，所述鼻高线的位置和所述鼻底线的位置，分别根据第三步骤中调节后的新的所述样条曲线的结果，更新位置，从而形成新的鼻部位的外形表面。
在一例中，其中，所述鼻部形状变形调整步骤包括对鼻底进行调节，具体包括：首先，选择所述鼻底线的控制点中的单一点或多个点；其次，调整所述选择的点到所述坐标系的Y坐标轴的距离大小；第三，按照所述调整后的距离，重新生成拟合后的新的样条曲线；第四，所述鼻高线的位置、所述两条鼻廓线的位置和所述两条鼻侧线的位置，分别根据第三步骤中调节后的新的所述样条曲线的结果，更新位置，从而形成新的鼻部位的外形表面。
第二方面，本发明还提供一种基于人脸表面三维网格的鼻部调节装置，其中，所述装置包括：获取坐标系单元，用于在所述人脸表面三维网格图像上标记坐标原点，并建立坐标系；获取人脸前侧轮廓线取样单元，用于根据所述建立的坐标系，获取人脸前侧轮廓线；控制点自动定位单元，用于根据所述人脸表面三维网格图像、所述坐标系及所述人脸前侧轮廓线，自动定位鼻高线及鼻高线控制点、鼻廓线及鼻廓线控制点、鼻侧线及鼻侧线控制点及鼻底线及鼻底线控制点；鼻部形状变形调整单元，用于根据所述鼻高线及鼻高线控制点、所述鼻廓线及鼻廓线控制点、所述鼻侧线及鼻侧线控制点、所述鼻底线及鼻底线控制点，对鼻部形状变形调整。
第三方面，本发明还提供一种电子设备，其中，所述电子设备包括：存储器，用于存储指令；以及处理器，用于调用所述存储器存储的指令执行上述任一例所述的人脸表面三维网格鼻部调节方法。
第四方面，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在计算机上运行时，执行上述任一例的人脸表面三维网格鼻部调节方法。
与现有技术相比，本发明的有益效果是可提供自动化的鼻部位的几何控制点定位，并有效实现人脸鼻部位外表形状的整体变形调节，相比其它方法，具有操作简易便捷，且可保证变化后的表面连续性的特点。
附图说明
图1为本发明的一个实施例的流程示意图。
图2为本发明的一个实施例的涉及鼻高线定位的结果示意图。
图3为本发明的一个实施例的涉及鼻侧线和鼻廓线定位的结果示意图。
图4为本发明的一个实施例的涉及鼻底线定位的结果示意图。
图5为本发明的一个实施例的进行鼻部位表面形状调整前后对比示意图。
图6为本发明的一个实施例的电子设备示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。需要注意，虽然本文中使用“第一”、“第二”等表述来描述本发明的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。
本发明的一个实施方式提出了一种基于人脸表面三维网格的鼻部调节方法，该方法可以应用于针对人脸鼻部进行隆鼻的应用场景。
图1示出了本发明实施例提供的一种基于人脸表面三维网格的鼻部调节方法的流程示意图。图2-图5示出了获取的人脸的鼻部相关线条以及变化对比的示意图。
本发明实施例提供的一种基于人脸表面三维网格的鼻部调节方法，其中，该方法包括：获取坐标系步骤，在所述人脸表面三维网格图像上标记坐标原点，并建立坐标系；获取人脸前侧轮廓线取样步骤，根据所述建立的坐标系，获取人脸前侧轮廓线；控制点自动定位步骤，根据所述人脸表面三维网格图像、所述坐标系及所述人脸前侧轮廓线，自动定位鼻高线及鼻高线控制点、鼻廓线及鼻廓线控制点、鼻侧线及鼻侧线控制点及鼻底线及鼻底线控制点；鼻部形状变形调整步骤，根据所述鼻高线及鼻高线控制点、所述鼻廓线及鼻廓线控制点、所述鼻侧线及鼻侧线控制点、所述鼻底线及鼻底线控制点，对鼻部形状变形调整。
其中，所述获取坐标系步骤中，具体包括：首先将所述人脸表面三维网格图像进行光顺化；其次将所述人脸表面三维网格图像的包围盒的中心点设为坐标原点，以头顶方向为朝上的Y+方向，以鼻尖方向为朝前的Z+方向。
其中，所述获取人脸前侧轮廓线取样步骤，具体包括：首先采用人脸对称平面所在平面，即YZ平面，为切割面，所述切割面与所述人脸表面三维网格图像相交，计算出脸部中心轮廓线；其次，将上下方向垂直的固定间隔的一系列平行平面与所述脸部中心轮廓线相交，计算出一系列轮廓点，将得到的所述一系列轮廓点按自上而下的顺序排序相连，形成人脸前侧轮廓线Lf。
其中，所述控制点自动定位步骤中的所述自动定位鼻高线Lh及鼻高线控制点，具体包括：首先，设置所述人脸前侧轮廓线Lf上的所述轮廓点到上下方向坐标轴距离
Figure BDA0002260735750000081
为评价函数；其次，将低于但最接近所述坐标原点高度的，且处于所述评价函数极大值点设置为鼻尖点Ph3；第三，在所述人脸前侧轮廓线Lf上，以所述鼻尖点Ph3为起始点，向下方搜索得到的第一个所述评价函数
Figure BDA0002260735750000083
极小值点，设置为鼻小叶点Ph2；第四，在所述人脸前侧轮廓线Lf上，以所述鼻尖点Ph3为起始点，在所述鼻小叶点Ph2的下方继续搜索，得到的第一个所述评价函数极大值点为上唇点Ph1；第五，在所述人脸前侧轮廓线Lf上，以所述鼻尖点Ph3为起始点，向上方搜索得到的第一个所述评价函数
Figure BDA0002260735750000085
极小值点，设置为鼻额点Ph4；第六，在所述人脸前侧轮廓线Lf上，以所述鼻尖点Ph3为起始点，在所述鼻额点Ph4的上方继续搜索，得到的第一个所述评价函数
Figure BDA0002260735750000086
极大值点，设置为眉心点Ph5；第七，在所述人脸前侧轮廓线Lf中，从所述上唇点Ph1至所述鼻小叶点Ph2至所述鼻尖点Ph3至所述鼻额点Ph4至所述眉心点Ph5的一段进行截取，并以所述上唇点Ph1、所述鼻小叶点Ph2、所述鼻尖点Ph3、所述鼻额点Ph4、所述眉心点Ph5为控制点，将五个所述控制点拟合为样条曲线，所述拟合的样条曲线设为鼻高线Lh，所述鼻高线Lh上的控制点集称为所述鼻高线控制点Ch。
其中，所述控制点自动定位步骤中的所述自动定位鼻廓线及鼻廓线控制点，具体包括：首先，设置所述人脸前侧轮廓线Lf上的所述轮廓点到上下方向坐标轴距离
Figure BDA0002260735750000087
为评价函数；其次，在所述鼻高线Lh上，从所述鼻小叶点Ph2到所述鼻额点Ph4之间，按一定间隔均匀采样，得到一组采样点；第三，对于所述一组采样点中的每一个采样点P′h，设置一个包含该采样点P′h的且与所述坐标系的水平平面平行的平面；第四，将得到的包含所述每一个采样点P′h的平面与所述人脸表面三维网格图像相交，计算出相交的交线；第五，对于所述一组采样点中的每一个采样点，以该采样点P′h为起始点，沿着所述计算得到的相交的交线，向左右两侧分别搜索，得到的第一个所述评价函数
Figure BDA0002260735750000091
极小值点，分别设置为与所述该采样点P′h对应的左侧点和右侧点；第六，对所述一组采样点中的每一个采样点P′h重复上述第三步骤到第五步骤，得到一系列的所述左侧点P′wL和所述右侧点P′wR；第七，将得到的所述一系列的左侧点P′wL按照所述坐标系的Y方向顺序相连，得到一条连线，取所述连线上的点与上下方向坐标轴所在的平面与所述人脸对称平面的夹角角度为A，其中A＝tan-1(x/z)；所述夹角角度与对应的所述连线上的点的高度y，组成一组数对，将所述一系列的左侧点P′wL对应的全部数对集合，将所述集合数对拟合成直线AL(y)；取函数d＝A-AL为评价函数，自上而下搜索该评价函数d＝A-AL的极值点为左鼻翼点PkL；第八，将得到的所述一系列的右侧点P′wR重复第七步骤，计算出右鼻翼点PkR；第九，将得到的所述一系列的左侧点P′wL以及所述左鼻翼点PkL设置为控制点，将这些所述控制点拟合为样条曲线，所述拟合的样条曲线设为左侧鼻廓线LwL，所述左侧鼻廓线LwL上的控制点集称为所述左侧鼻廓线控制点CwL；第十，将得到的所述一系列的右侧点P′wR以及所述右鼻翼点PkR设置为控制点，将这些所述控制点拟合为样条曲线，所述拟合的样条曲线设为右侧鼻廓线LwR，所述右侧鼻廓线LwR上的控制点集称为所述右侧鼻廓线控制点CwR。
其中，所述控制点自动定位步骤中的所述自动定位鼻侧线及鼻侧线控制点，具体包括：首先，在所述左侧鼻廓线LwL上，从所述左鼻翼点PkL到与所述鼻高线Lh上的所述鼻额点Ph4对应的起始点之间，按一定间隔均匀采样，得到一组采样点；第二，对于所述一组采样点中的每一个采样点P′wL，设置一个包含该采样点P′wL的且与所述坐标系的水平平面平行的平面；第三，将得到的包含所述每一个采样点P′wL的平面与所述人脸表面三维网格图像相交，计算出相交的交线L′wL；第四，计算所述每一个采样点P′wL与上下方向坐标轴所在的平面与所述人脸对称平面的夹角角度为A′wL，其中A′wL＝tan-1(x/z)，第五，在所述第四步骤中得到的交线L′wL上查找，符合与上下方向坐标轴所在的平面与所述人脸对称平面的夹角角度
Figure BDA0002260735750000101
的对应点P′sL，第六，对所述一组采样点中的每一个采样点P′wL重复上述第二步骤到第五步骤，得到一系列的所述采样点的对应点P′sL；第七，将得到的一系列所述对应点P′sL按照所述坐标系的Y方向顺序相连，得到一条连线，以所得的连线两端端点为控制点拟合为样条曲线，所述拟合的样条曲线设为左侧鼻侧线LsL，所述左侧鼻侧线LsL上的控制点集称为所述左侧鼻侧线控制点CsL；第八，在所述右侧鼻廓线LwR上，从所述右鼻翼点PkR到与所述鼻高线Lh上的所述鼻额点Ph4对应的起始点之间，按一定间隔均匀采样，得到一组采样点；第九，对所述一组采样点中的每一个采样点重复上述第二步骤到第五步骤，得到一系列的所述采样点的对应点；第十，将得到的一系列所述对应点按照所述坐标系的Y方向顺序相连，得到一条连线，以所得的连线两端端点为控制点拟合为样条曲线，所述拟合的样条曲线设为右侧鼻侧线LsR，所述右侧鼻测线LsR上的控制点集称为所述右侧鼻侧线控制点CsR。
其中，所述控制点自动定位步骤中的所述自动定位鼻底线及鼻底线控制点，具体包括：首先，设置一个包含所述鼻高线Lh上的所述鼻尖点Ph3且与所述坐标系的水平平面平行的平面，将得到的包含所述鼻尖点Ph3的平面与所述人脸表面三维网格图像相交，计算出相交的交线Lh3；其次，分别计算所述相交的交线Lh3与所述左侧鼻廓线LwL的交点PbL、与所述右侧鼻廓线LwR的交点PbR；第三，在所述相交的交线上Lh3，截取上述第二步骤所得的所述两个交点PbL、PbR之间的线段，以线段两端端点PbL、PbR和所述鼻尖点Ph3为控制点拟合为样条曲线，所述拟合的样条曲线设为鼻底线Lb，所述鼻底线Lb上的控制点集称为所述鼻底线控制点Cb。
其中，所述样条曲线在所述拟合过程中，为提高拟合精度，还可以根据拟合误差情况在所述控制点的中间增加若干控制点。
其中，所述鼻部形状变形调整步骤包括对鼻高进行调节，具体包括：首先，选择所述鼻高线Lh控制点中的单一点或多个点；其次，调整所述选择的点到所述坐标系的Y坐标轴的距离大小；第三，按照所述调整后的距离，所述两条鼻廓线的位置保持不变，重新生成拟合后的新的样条曲线；第四，所述两条鼻侧线的位置和所述鼻底线Lb的位置，分别根据第三步骤中调节后的新的所述样条曲线的结果，更新位置，从而形成新的鼻部位的外形表面。
其中，所述鼻部形状变形调整步骤包括对鼻翼进行调节，具体包括：首先，选择所述两条鼻侧线及所述两条鼻廓线的控制点中的单一点或多个点；其次，调整所述选择的点到所述坐标系的Y坐标轴的距离大小；第三，按照所述调整后的距离，重新生成拟合后的新的样条曲线；第四，所述鼻高线Lh的位置和所述鼻底线Lb的位置，分别根据第三步骤中调节后的新的所述样条曲线的结果，更新位置，从而形成新的鼻部位的外形表面。
其中，所述鼻部形状变形调整步骤包括对鼻底进行调节，具体包括：首先，选择所述鼻底线Lb的控制点中的单一点或多个点；其次，调整所述选择的点到所述坐标系的Y坐标轴的距离大小；第三，按照所述调整后的距离，重新生成拟合后的新的样条曲线；第四，所述鼻高线Lh的位置、所述两条鼻廓线的位置和所述两条鼻侧线的位置，分别根据第三步骤中调节后的新的所述样条曲线的结果，更新位置，从而形成新的鼻部位的外形表面。
第二方面，基于相同的发明构思，本发明实施例还提供了一种基于人脸表面三维网格的鼻部调节装置，其中，所述装置包括：获取坐标系单元，用于在所述人脸表面三维网格图像上标记坐标原点，并建立坐标系；获取人脸前侧轮廓线取样单元，用于根据所述建立的坐标系，获取人脸前侧轮廓线；控制点自动定位单元，用于根据所述人脸表面三维网格图像、所述坐标系及所述人脸前侧轮廓线，自动定位鼻高线及鼻高线控制点、鼻廓线及鼻廓线控制点、鼻侧线及鼻侧线控制点及鼻底线及鼻底线控制点；鼻部形状变形调整单元，用于根据所述鼻高线及鼻高线控制点、所述鼻廓线及鼻廓线控制点、所述鼻侧线及鼻侧线控制点、所述鼻底线及鼻底线控制点，对鼻部形状变形调整。
装置中的各个单元所实现的功能与上文描述的方法中的步骤相对应，其具体实现和技术效果请参见上文对于方法步骤的描述，在此不再赘述。
第三方面，本发明还提供一种电子设备，其中，所述电子设备包括：存储器，用于存储指令；以及处理器，用于调用所述存储器存储的指令执行上述任一例所述的人脸表面三维网格鼻部调节方法。
图6所示本发明的一个实施方式提供了一种电子设备300。其中，该电子设备300包括存储器301、处理器302、输入/输出(Input/Output，I/O)接口303。其中，存储器301，用于存储指令。处理器302，用于调用存储器301存储的指令执行本发明实施例的人脸表面三维网格鼻部调节方法。其中，处理器302分别与存储器301、I/O接口303连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器301可用于存储程序和数据，包括本发明实施例中涉及的人脸表面三维网格鼻部调节方法的程序，处理器302通过运行存储在存储器301的程序从而执行电子设备300的各种功能应用以及数据处理。
本发明实施例中处理器302可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器302可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。
本发明实施例中的存储器301可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。
本发明实施例中，I/O接口303可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备300的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，人脸表面三维网格或声音等)。本发明实施例中I/O接口303可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。
第四方面，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在计算机上运行时，执行上述任一例的人脸表面三维网格鼻部调节方法。
可以理解的是，本发明实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本发明实施例涉及的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

Claims (10)

1.一种基于人脸表面三维网格的鼻部调节方法，其特征在于，所述方法包括：
获取坐标系步骤，在所述人脸表面三维网格图像上标记坐标原点，并建立坐标系；
获取人脸前侧轮廓线取样步骤，根据所述建立的坐标系，获取人脸前侧轮廓线；
控制点自动定位步骤，根据所述人脸表面三维网格图像、所述坐标系及所述人脸前侧轮廓线，自动定位鼻高线及鼻高线控制点、鼻廓线及鼻廓线控制点、鼻侧线及鼻侧线控制点及鼻底线及鼻底线控制点；
鼻部形状变形调整步骤，根据所述鼻高线及鼻高线控制点、所述鼻廓线及鼻廓线控制点、所述鼻侧线及鼻侧线控制点、所述鼻底线及鼻底线控制点，对鼻部形状变形调整。
2.根据权利要求1所述的方法，其特征在于，所述获取坐标系步骤中，具体包括：首先将所述人脸表面三维网格图像进行光顺化；其次将所述人脸表面三维网格图像的包围盒的中心点设为坐标原点，以头顶方向为朝上的Y+方向，以鼻尖方向为朝前的Z+方向。
3.根据权利要求1所述的方法，其特征在于，所述获取人脸前侧轮廓线取样步骤，具体包括：首先采用人脸对称平面所在平面为切割面，所述切割面与所述人脸表面三维网格图像相交，计算出脸部中心轮廓线；其次，将上下方向垂直的固定间隔的一系列平行平面与所述脸部中心轮廓线相交，计算出一系列轮廓点，将得到的所述一系列轮廓点按自上而下的顺序排序相连，形成人脸前侧轮廓线。
4.根据权利要求1所述的方法，其特征在于，所述控制点自动定位步骤中的所述自动定位鼻高线及鼻高线控制点，具体包括：
首先，设置所述人脸前侧轮廓线上的所述轮廓点到上下方向坐标轴距离
Figure FDA0002260735740000011
为评价函数；
其次，将低于但最接近所述坐标原点高度的，且处于所述评价函数极大值点设置为鼻尖点；
第三，在所述人脸前侧轮廓线上，以所述鼻尖点为起始点，向下方搜索得到的第一个所述评价函数极小值点，设置为鼻小叶点；
第四，在所述人脸前侧轮廓线上，以所述鼻尖点为起始点，在所述鼻小叶点的下方继续搜索，得到的第一个所述评价函数极大值点为上唇点；
第五，在所述人脸前侧轮廓线上，以所述鼻尖点为起始点，向上方搜索得到的第一个所述评价函数极小值点，设置为鼻额点；
第六，在所述人脸前侧轮廓线上，以所述鼻尖点为起始点，在所述鼻额点的上方继续搜索，得到的第一个所述评价函数极大值点，设置为眉心点；
第七，在所述人脸前侧轮廓线中，从所述上唇点至所述鼻小叶点至所述鼻尖点至所述鼻额点至所述眉心点的一段进行截取，并以所述上唇点、所述鼻小叶点、所述鼻尖点、所述鼻额点、所述眉心点为控制点，将五个所述控制点拟合为样条曲线，所述拟合的样条曲线设为鼻高线，所述鼻高线上的控制点集称为所述鼻高线控制点。
5.根据权利要求1所述的方法，其特征在于，所述控制点自动定位步骤中的所述自动定位鼻廓线及鼻廓线控制点，具体包括：
首先，设置所述人脸前侧轮廓线上的所述轮廓点到上下方向坐标轴距离
Figure FDA0002260735740000021
为评价函数；
其次，在所述鼻高线上，从所述鼻小叶点到所述鼻额点之间，按一定间隔均匀采样，得到一组采样点；
第三，对于所述一组采样点中的每一个采样点，设置一个包含该采样点的且与所述坐标系的水平平面平行的平面；
第四，将得到的包含所述每一个采样点的平面与所述人脸表面三维网格图像相交，计算出相交的交线；
第五，对于所述一组采样点中的每一个采样点，以该采样点为起始点，沿着所述计算得到的相交的交线，向左右两侧分别搜索，得到的第一个所述评价函数极小值点，分别设置为与所述该采样点对应的左侧点和右侧点；
第六，对所述一组采样点中的每一个采样点重复上述第三步骤到第五步骤，得到一系列的所述左侧点和所述右侧点；
第七，将得到的所述一系列的左侧点按照所述坐标系的Y方向顺序相连，得到一条连线，取所述连线上的点与上下方向坐标轴所在的平面与所述人脸对称平面的夹角角度为A，其中A＝tan-1(x/z)；所述夹角角度与对应的所述连线上的点的高度y，组成一组数对，将所述一系列的左侧点对应的全部数对集合，将所述集合数对拟合成直线AL(y)；取函数d＝A-AL为评价函数，自上而下搜索该评价函数的极值点为左鼻翼点；
第八，将得到的所述一系列的右侧点重复第七步骤，计算出右鼻翼点；
第九，将得到的所述一系列的左侧点以及所述左鼻翼点设置为控制点，将这些所述控制点拟合为样条曲线，所述拟合的样条曲线设为左侧鼻廓线，所述左侧鼻廓线上的控制点集称为所述左侧鼻廓线控制点；
第十，将得到的所述一系列的右侧点以及所述右鼻翼点设置为控制点，将这些所述控制点拟合为样条曲线，所述拟合的样条曲线设为右侧鼻廓线，所述右侧鼻廓线上的控制点集称为所述右侧鼻廓线控制点。
6.根据权利要求1所述的方法，其特征在于，所述控制点自动定位步骤中的所述自动定位鼻侧线及鼻侧线控制点，具体包括：
首先，在所述左侧鼻廓线上，从所述左鼻翼点到与所述鼻高线上的所述鼻额点对应的起始点之间，按一定间隔均匀采样，得到一组采样点；
第二，对于所述一组采样点中的每一个采样点，设置一个包含该采样点的且与所述坐标系的水平平面平行的平面；
第三，将得到的包含所述每一个采样点的平面与所述人脸表面三维网格图像相交，计算出相交的交线；
第四，计算所述每一个采样点与上下方向坐标轴所在的平面与所述人脸对称平面的夹角角度为A′wL，其中A′wL＝tan-1(x/z)，
第五，在所述第四步骤中得到的交线上查找，符合与上下方向坐标轴所在的平面与所述人脸对称平面的夹角角度
Figure FDA0002260735740000041
的点，
第六，对所述一组采样点中的每一个采样点重复上述第二步骤到第五步骤，得到一系列的所述采样点的对应点；
第七，将得到的一系列所述对应点按照所述坐标系的Y方向顺序相连，得到一条连线，以所得的连线两端端点为控制点拟合为样条曲线，所述拟合的样条曲线设为左侧鼻侧线，所述鼻侧线上的控制点集称为所述左侧鼻侧线控制点；
第八，在所述右侧鼻廓线上，从所述右鼻翼点到与所述鼻高线上的所述鼻额点对应的起始点之间，按一定间隔均匀采样，得到一组采样点；
第九，对所述一组采样点中的每一个采样点重复上述第二步骤到第五步骤，得到一系列的所述采样点的对应点；
第十，将得到的一系列所述对应点按照所述坐标系的Y方向顺序相连，得到一条连线，以所得的连线两端端点为控制点拟合为样条曲线，所述拟合的样条曲线设为右侧鼻侧线，所述右侧线上的控制点集称为所述右侧鼻侧线控制点。
7.根据权利要求1所述的方法，其特征在于，所述控制点自动定位步骤中的所述自动定位鼻底线及鼻底线控制点，具体包括：
首先，设置一个包含所述鼻高线上的所述鼻尖点且与所述坐标系的水平平面平行的平面，将得到的包含所述鼻尖点的平面与所述人脸表面三维网格图像相交，计算出相交的交线；
其次，分别计算所述相交的交线与所述左侧鼻廓线的交点PbL、所述右侧鼻廓线的交点PbR；
第三，在所述相交的交线上，截取上述第二步骤所得的所述两个交点PbL、PbR之间的线段，以线段两端端点PbL、PbR和所述鼻尖点为控制点拟合为样条曲线，所述拟合的样条曲线设为鼻底线，所述鼻底线上的控制点集称为所述鼻底线控制点。
8.一种基于人脸表面三维网格的鼻部调节装置，其特征在于，所述装置包括：
获取坐标系单元，用于在所述人脸表面三维网格图像上标记坐标原点，并建立坐标系；
获取人脸前侧轮廓线取样单元，用于根据所述建立的坐标系，获取人脸前侧轮廓线；
控制点自动定位单元，用于根据所述人脸表面三维网格图像、所述坐标系及所述人脸前侧轮廓线，自动定位鼻高线及鼻高线控制点、鼻廓线及鼻廓线控制点、鼻侧线及鼻侧线控制点及鼻底线及鼻底线控制点；
鼻部形状变形调整单元，用于根据所述鼻高线及鼻高线控制点、所述鼻廓线及鼻廓线控制点、所述鼻侧线及鼻侧线控制点、所述鼻底线及鼻底线控制点，对鼻部形状变形调整。
9.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储指令；以及处理器，用于调用所述存储器存储的指令执行权利要求1至7中任一项所述的人脸表面三维网格鼻部调节方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在计算机上运行时，执行权利要求1至7中任一项所述的人脸表面三维网格鼻部调节方法。
CN201911070293.XA 2019-11-05 2019-11-05 基于人脸表面三维网格的鼻部调节方法及其应用 Pending CN110837797A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911070293.XA CN110837797A (zh) 2019-11-05 2019-11-05 基于人脸表面三维网格的鼻部调节方法及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911070293.XA CN110837797A (zh) 2019-11-05 2019-11-05 基于人脸表面三维网格的鼻部调节方法及其应用

Publications (1)

Publication Number Publication Date
CN110837797A true CN110837797A (zh) 2020-02-25

Family

ID=69576069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911070293.XA Pending CN110837797A (zh) 2019-11-05 2019-11-05 基于人脸表面三维网格的鼻部调节方法及其应用

Country Status (1)

Country Link
CN (1) CN110837797A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022916A (zh) * 2021-04-21 2022-02-08 重庆邮电大学 基于可视化脸型判断的面部美学评估方法及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1404016A (zh) * 2002-10-18 2003-03-19 清华大学 融合多视角、多线索二维信息的人脸三维模型的建立方法
CN101650777A (zh) * 2009-09-07 2010-02-17 东南大学 一种基于密集点对应的快速三维人脸识别方法
CN103903294A (zh) * 2014-03-28 2014-07-02 西北工业大学 三维虚拟人嘴部运动的实现方法
CN105913416A (zh) * 2016-04-06 2016-08-31 中南大学 一种自动分割三维人脸模型区域的方法
CN106446773A (zh) * 2016-08-22 2017-02-22 南通大学 一种全自动、鲁棒的三维人脸检测方法
CN107993280A (zh) * 2017-11-30 2018-05-04 广州星天空信息科技有限公司 基于三维模型的美容方法及系统
CN108447017A (zh) * 2018-05-31 2018-08-24 Oppo广东移动通信有限公司 人脸虚拟整容方法和装置
CN109242789A (zh) * 2018-08-21 2019-01-18 成都旷视金智科技有限公司 图像处理方法、图像处理装置及存储介质
CN109389682A (zh) * 2017-08-09 2019-02-26 上海影子智能科技有限公司 一种三维人脸模型自动调整方法
CN110060348A (zh) * 2019-04-26 2019-07-26 北京迈格威科技有限公司 人脸图像整形方法及装置
CN110060287A (zh) * 2019-04-26 2019-07-26 北京迈格威科技有限公司 人脸图像鼻部整形方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1404016A (zh) * 2002-10-18 2003-03-19 清华大学 融合多视角、多线索二维信息的人脸三维模型的建立方法
CN101650777A (zh) * 2009-09-07 2010-02-17 东南大学 一种基于密集点对应的快速三维人脸识别方法
CN103903294A (zh) * 2014-03-28 2014-07-02 西北工业大学 三维虚拟人嘴部运动的实现方法
CN105913416A (zh) * 2016-04-06 2016-08-31 中南大学 一种自动分割三维人脸模型区域的方法
CN106446773A (zh) * 2016-08-22 2017-02-22 南通大学 一种全自动、鲁棒的三维人脸检测方法
CN109389682A (zh) * 2017-08-09 2019-02-26 上海影子智能科技有限公司 一种三维人脸模型自动调整方法
CN107993280A (zh) * 2017-11-30 2018-05-04 广州星天空信息科技有限公司 基于三维模型的美容方法及系统
CN108447017A (zh) * 2018-05-31 2018-08-24 Oppo广东移动通信有限公司 人脸虚拟整容方法和装置
CN109242789A (zh) * 2018-08-21 2019-01-18 成都旷视金智科技有限公司 图像处理方法、图像处理装置及存储介质
CN110060348A (zh) * 2019-04-26 2019-07-26 北京迈格威科技有限公司 人脸图像整形方法及装置
CN110060287A (zh) * 2019-04-26 2019-07-26 北京迈格威科技有限公司 人脸图像鼻部整形方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LUIGI MARIA GALANTUCCI等: "《Application of off-the-shelf stereo-cameras for the 3D assessment of morphometric variations caused by rhinoplasty》", 《JOURNAL OF MEDICAL ENGINEERING & TECHNOLOGY》 *
田唐昊: ""三维人脸模拟整容系统"", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022916A (zh) * 2021-04-21 2022-02-08 重庆邮电大学 基于可视化脸型判断的面部美学评估方法及存储介质

Similar Documents

Publication Publication Date Title
US8994736B2 (en) Methods and apparatus for freeform deformation of 3-D models
US9767620B2 (en) Gesture-based editing of 3D models for hair transplantation applications
US11354873B2 (en) Method and system for dynamic adjustment of a model
EP3343517B1 (en) Selecting points on an electroanatomical map
KR102012254B1 (ko) 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치
CN110060348B (zh) 人脸图像整形方法及装置
CN110176073B (zh) 三维缺陷模型自动建模和自适应分层方法
CN103955962A (zh) 一种虚拟人头发生成的装置及方法
CN112043359B (zh) 乳腺穿刺方法、装置、设备及存储介质
CN110837797A (zh) 基于人脸表面三维网格的鼻部调节方法及其应用
CN110060287B (zh) 人脸图像鼻部整形方法及装置
US20180158239A1 (en) Sketch-based 3d modeling system
CN109635659B (zh) 人脸关键点定位方法、装置、存储介质及电子设备
CN110706780A (zh) 放疗计划生成系统及存储介质
CN115249290A (zh) 针对单侧颞骨的空间数据处理方法、空间定位方法及设备
CN105718672B (zh) 一种cad目标选取方法
JP2000306106A (ja) ３次元有向体の定位方法及び画像処理装置
CN108921950B (zh) 三维裂缝模拟的方法以及相关装置
JP2007048151A (ja) ３次元曲面への物体メッシュモデルの写像方法
KR102431052B1 (ko) 매니퓰레이터 선택 방법 및 이를 위한 치과영상 처리 장치
CN113012281B (zh) 人体模型的确定方法、装置、电子设备及存储介质
US20240212187A1 (en) Method and computer program product for performing at least one measurement on a 3d reconstruction of a body
WO2016184076A1 (zh) 字符的输出方法及装置
CN117058234A (zh) 植发信息方法、植发方法和装置
CN112150633A (zh) 三维网格面上的曲线生成方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200225

WD01 Invention patent application deemed withdrawn after publication