CN111612912A - 一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法 - Google Patents

一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法 Download PDF

Info

Publication number
CN111612912A
CN111612912A CN202010456595.7A CN202010456595A CN111612912A CN 111612912 A CN111612912 A CN 111612912A CN 202010456595 A CN202010456595 A CN 202010456595A CN 111612912 A CN111612912 A CN 111612912A
Authority
CN
China
Prior art keywords
model
point cloud
cloud model
facial
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010456595.7A
Other languages
English (en)
Other versions
CN111612912B (zh
Inventor
陈彦彪
翟敬梅
胡燕
唐骢
陈家骊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Nali Biotechnology Co ltd
Original Assignee
Guangzhou Nali Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Nali Biotechnology Co ltd filed Critical Guangzhou Nali Biotechnology Co ltd
Priority to CN202010456595.7A priority Critical patent/CN111612912B/zh
Publication of CN111612912A publication Critical patent/CN111612912A/zh
Application granted granted Critical
Publication of CN111612912B publication Critical patent/CN111612912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，包括以下步骤：(1)利用Kinect 2相机获取面部个性点云模型KF；(2)结合Dlib人脸数据库和姿态估计模型提取面部68个特征点，通过Kinect2彩色、深度图像配准获取特征点三维坐标，此建立Dlib特征点约束模型DP；(3)基于Dlib特征点约束模型DP对获取的面部个性点云模型KF进行约束变形，得到变形更新后的面部点云模型KN；(4)对点云模型KN进行三角化后得到网格模型，进行网格细化得到细化插补后的面部点云模型KN_N；(5)对点云模型KN_N进行重心Voronoi优化后进行重新网格化得到完整面部三维网格模型KN_N(V)。本发明通过约束变形、细化及优化提高了面部三维模型精度，使面部轮廓三维模型更贴近真实面部轮廓。

Description

一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及 优化方法
技术领域
本发明涉及机器人技术领域，具体涉及一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法。
背景技术
当前服务机器人越来越多地进入人们的生活中，与人体肌肤直接接触作业的机器人需求逐渐增多，如用于医疗康复、按摩保健、美容护理等领域。这些领域亟需一款与人体肌肤直接物理接触及信息交互的服务机器人，机器人需要快速人体表面轮廓三维信息，特别是人脸表面轮廓信息，以此进行准确的位姿控制与操作。面部肌肤无特定角点，增加了面部轮廓信息获取难度；机器人在面部操作过程中，人体并不会处于完全静止状态，因此需要快速获取表面轮廓三维信息。
面部肌肤轮廓信息可以通过三维重构技术获取，三维建模系统可分为主动视觉和被动视觉两种。主动视觉系统通过测量从外部设备照射的光束来捕捉三位点云，计算三维坐标生成网格人脸，此方法精度虽高，但设备昂贵、维护困难，测量仪在扫描过程中由于拍摄死角的存在，需要不断变换扫描头拍摄角度以填补空白，操作繁琐。被动视觉建模系统是从二维数字图像中获取三维空间人脸信息，分析基于多视角相关特征点的相机空间参数得到三维信息。微软公司推出的Kinect 2传感器满足低成本、高精度、高效率和操作简单的要求，得到了广大研究学者的认可，并进行了相关三维建模方面的研究，但目前应用于人脸的建模相对较少。
基于Kinect 2的面部曲面重构方法在实际的应用中也存在着一些问题：(1)目前Kinect 2尚没有应用在人脸建模领域；(2)常用2台或多台Kinect通过点云拼接获得头部模型，处理方法复杂，易出现错误匹配的情况。
发明内容：
本发明的目的在于针对当前三维人脸建模方法标定复杂、处理速度慢、实时性差等问题，提供一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，为快速获取面部表面轮廓三维信息提供有效保障。
本发明解决所述技术问题采用以下技术方案：
(1)利用Kinect 2相机快速获取面部个性点云模型KF；
(2)结合Dlib人脸数据库和姿态估计模型提取面部68个特征点，通过Kinect2彩色、深度图像配准获取特征点三维坐标，由此建立Dlib特征点约束模型DP；
(3)基于Dlib特征点约束模型DP对获取的面部个性点云模型KF进行约束变形，得到变形更新后的面部点云模型KN；
(4)对点云模型KN进行三角化后得到网格模型，基于边记分函数进行网格细化得到细化插补后的面部点云模型KN-N；
(5)对点云模型KN-N进行重心Voronoi优化后进行重新网格化得到完整面部三维网格模型KN-N(V)。
所述步骤(1)中利用Kinect 2相机获取的获取ColorFrameSource、DepthFrameSource及BodyFrameSource三种信息源实现高清面部检测、人体骨骼追踪与面部特征对齐，快速获取面部个性点云模型KF；
进一步地，所述步骤(2)中Kinect 2相机的彩色摄像头与深度传感器存在一定的物理位置偏差，视场大小也不一样，需将彩色图与深度图进行融合配准，实现Kinect 2相机深度图和彩色图的校准，结合Dlib人脸数据库和姿态估计模型得到Dlib特征点约束模型DP；
进一步地，所述步骤(3)以Dlib特征点约束模型DP中的特征点为参照点，遍历面部点云模型KF中的所有点，分别计算并比较各点到模型DP中各点的距离，对模型KF中距离模型
Figure BDA0002509598490000031
最近的点进行仿射变换正则化与移动，得到变形更新后的面部点云模型KN；
进一步地，所述步骤(4)通过记分函数给面部三角网格的每条边赋予一个记分，并求其平均值M，对于三角网格的每条边计算其分数Mij，若
Figure BDA0002509598490000032
则对该边进行边分裂操作，插入新顶点，得到细化插补后的面部点云模型KN-N；
进一步地，所述步骤(5)中对面部点云模型KN-N进行Voronoi区域划分，模型KN-N中上的任意一个Voronoi区域中的顶点刚好是这个区域的重心，实现面部点云模型KN-N重心Voronoi优化；运用Delaunay三角剖分算法对优化后的面部点云模型进行重新网格化，得到完整面部三维网格模型KN-N(V)。
本发明的优点在于：
其基于Kinect 2相机可实现面部轮廓三维信息的快速获取，避免了立体视觉法与光栅投影法复杂的标定匹配及数据处理，通过约束变形、细化及优化提高了面部三维模型精度，使面部轮廓三维模型更贴近真实面部轮廓。
与现有三维建模方法相比，本发明提供的方法方法不需要进行复杂的标定与预处理，点云数据处理速度快，基于Dlib特征点约束模型对Kinect2面部个性点云模型进行特征点约束变形，对获取面部点云模型进行最简单的Delaunay三角剖分，再通过很少次数的迭代过程对网格进行各向异性细化和优化，提高了面部模型重构的精度，取得了良好的效果，此方法简单快捷，采用Kinect 2相机，使综合成本大幅降低。
附图说明
图1为本发明基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法步骤图。
图2为本发明基于Kinect 2相机获得的面部个性点云模型KF。
图3为本发明基于Kinect 2相机获得的Dlib特征点约束模型DP。
图4为本发明面部点云模型Dlib特征点约束变形算法流程图。
图5a为本发明实施例面部三角网格模型边示意图。
图5b为本发明面部三角网格模型插补点示意图。
图6为本发明面部点云模型KN-N重心Voronoi优化过程示意图。
图7为本发明一次细化和优化后的完整面部三维网格模型KN-N(V)。
具体实施方式
下面通过具体实施例对本发明的目的作进一步详细地描述，实施例不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施例。
参见附图1-7，本发明实施例提供的基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，可用于几何模型三维重建领域，以人体头部模型作为实验对象，获取人脸面部个性点云模型，利用特征点优化模型指导约束面部模型进行特征优化及变形，接着基于边记分函数三角网格细化算法和重心Voronoi优化算法对面部网格进行细化及优化，最后重新网格化得到完整面部三维模型，其具体包括以下步骤：
S1、以人体头部模型作为实验对象，基于Kinect2获取人脸面部1347个特征点个性点云模型KF，如图2所示，其坐标值为相机坐标系下的数值：KF＝{KF(1),KF(2),…,KF(i),…,KF(1347)}，
Figure BDA0002509598490000051
S2、对Kinect 2相机获取的彩色图像运用Dlib人脸检测模型进行面部特征点的检测，得到面部68个特征点，进行彩色、深度图像配准得到Dlib特征点优化模型DP，如图3所示，模型中各点坐标值为相机坐标系下的数值：
Figure BDA0002509598490000052
S3、以模型DP中的特征点为参照点，遍历模型KF中的所有点，分别计算并比较各点到模型DP中各点的距离，将模型KF中距离模型
Figure BDA0002509598490000055
最近的点通过仿射变换正则化，得到变形面部特征点模型KP，其中特征点属于模型
KF，数量与模型DP相同：
Figure BDA0002509598490000053
P(i)∈KF(j)(j∈{1,2,…,1347})
Figure BDA0002509598490000054
定义基于特征点优化模型DP的面部点云自动移动公式为：
Figure BDA0002509598490000061
式中i∈{1,2,…,1347}；m∈{1,2,…,68}；n∈{1,2,…,68}；
Figure BDA0002509598490000062
为距离KF(i)最近的Dlib特征点
Figure BDA0002509598490000063
坐标值；
Figure BDA0002509598490000064
为距离
Figure BDA0002509598490000065
最近的Dlib特征点坐标值；
Figure BDA0002509598490000066
为KP中与
Figure BDA0002509598490000067
对应点
Figure BDA0002509598490000068
的坐标值；
Figure BDA0002509598490000069
为距离
Figure BDA00025095984900000610
最近点的坐标值。
由面部点云自动移动公式得到变形更新后的面部点云模型KN，由于模型变形并未增加特征点数量，因此模型KN中特征点数量与模型KF相同：
KN＝{KN(1),KN(2),…,KN(i),…,KN(1347)},
Figure BDA00025095984900000611
然后进行循环判定，遍历模型KN，将其中距离模型
Figure BDA00025095984900000612
最近的点通过仿射变换正则化，得到变形后面部特征点模型KNP，其中特征点属于模型KN，数量与模型KN相同：
KNP＝{KNP(1),KNP(2),…,KNP(6)},NP(i)＝KN(j)(j∈{1,2,…,1347})
Figure BDA0002509598490000071
判断KNP是否等于DP，若不满足判定条件，则基于面部点云自动移动公式继续进行面部模型变形，直至得到满足判定条件的KN，停止面部点云模型的变形更新。特征点约束变形算法流程见图4，完成Kinect2面部点云模型特征优化。
S4、如图5a，取KN中的部分点集，相邻两点
Figure BDA0002509598490000079
构成边
Figure BDA0002509598490000072
Figure BDA0002509598490000073
边的长度为：
Figure BDA0002509598490000074
定义边
Figure BDA0002509598490000075
的记分函数Mij符合标准正态分布：
Figure BDA0002509598490000076
定义由KN得到的面部三角网格所有边的记分平均值为
Figure BDA00025095984900000710
Figure BDA0002509598490000077
式中n为面部三角网格中边总数。
若
Figure BDA0002509598490000078
则对该边进行边分裂操作，即在该边的中点处插入一个黄色点，作为新的顶点，如图5b所示。上述过程在面部网格模型上迭代，直到没有边需要插入新顶点，定义细化插补后的面部点云模型为KN_N，模型特征点数量N为细化插补后模型特征点的总数：
Figure BDA0002509598490000081
S5、面部点云模型KN_N重心Voronoi优化过程见图6，具体操作如下：
①对模型KN_N进行Voronoi区域的划分，定义模型KN_N是在任意维空间Rd上，KN-N(i)(i∈{1,2,…,N})的Voronoi区域为根据以下公式进行Voronoi区域的划分：
Figure BDA0002509598490000083
②计算每一个
Figure BDA0002509598490000084
的重心
Figure BDA0002509598490000085
将KN-N(i)移动到
Figure BDA0002509598490000086
的位置，“+”标识为重心
Figure BDA0002509598490000087
位置：
Figure BDA0002509598490000088
式中ρ(X)为密度函数，取值为常数K。
③计算得到每一个
Figure BDA0002509598490000089
的重心
Figure BDA00025095984900000810
后，将KN_N(i)移动到
Figure BDA00025095984900000811
的位置；
④重复上述过程直到完成点集KN_N中所有点的重心Voronoi优化。
从而实现基于Kinect 2相机的面部曲面模型的快速细化及重构，如图7所示为经过一次细化和优化后的完整面部三维网格模型KN-N(V)。经过变形、细化及优化后，面部点云数据量由1347增至5242，三角网格数由2628增至10398，更好地表达面部硅胶模型个性特征。
本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，其特征在于，其包括以下步骤：
(1)利用Kinect 2相机快速获取面部个性点云模型KF；
(2)结合Dlib人脸数据库和姿态估计模型提取面部68个特征点，通过Kinect2彩色、深度图像配准获取特征点三维坐标，由此建立Dlib特征点约束模型DP；
(3)基于Dlib特征点约束模型DP对获取的面部个性点云模型KF进行约束变形，得到变形更新后的面部点云模型KN；
(4)对点云模型KN进行三角化后得到网格模型，基于边记分函数进行网格细化得到细化插补后的面部点云模型KN-N；
(5)对点云模型KN-N进行重心Voronoi优化后进行重新网格化得到完整面部三维网格模型KN-N(V)。
2.根据权利要求1所述的基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，其特征在于：所述步骤(1)Kinect 2相机高清面部特征与人体骨骼检测。
3.根据权利要求1所述的基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，其特征在于：所述步骤(2)彩色图像与深度图像的坐标关系对齐。
4.根据权利要求1所述的基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，其特征在于：所述步骤(3)基于获取的Dlib特征点约束面部点云模型变形，实现面部模型特征优化。
5.根据权利要求1所述的基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，其特征在于：所述步骤(4)采用边记分函数为每条边赋予影响因子，实现面部网格模型的各向异性细化。
6.根据权利要求1所述的基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，其特征在于：所述步骤(5)采用重心Voronoi优化新插入顶点与原有顶点的位置及网格顶点连接关系，运用Delaunay三角剖分算法对优化后的面部点云模型进行重新网格化。
CN202010456595.7A 2020-05-26 2020-05-26 一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法 Active CN111612912B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010456595.7A CN111612912B (zh) 2020-05-26 2020-05-26 一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010456595.7A CN111612912B (zh) 2020-05-26 2020-05-26 一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法

Publications (2)

Publication Number Publication Date
CN111612912A true CN111612912A (zh) 2020-09-01
CN111612912B CN111612912B (zh) 2024-01-30

Family

ID=72200911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010456595.7A Active CN111612912B (zh) 2020-05-26 2020-05-26 一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法

Country Status (1)

Country Link
CN (1) CN111612912B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381952A (zh) * 2020-11-25 2021-02-19 华南理工大学 一种基于多相机的面部轮廓点云模型重构方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180005018A1 (en) * 2016-06-30 2018-01-04 U.S. Army Research Laboratory Attn: Rdrl-Loc-I System and method for face recognition using three dimensions
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180005018A1 (en) * 2016-06-30 2018-01-04 U.S. Army Research Laboratory Attn: Rdrl-Loc-I System and method for face recognition using three dimensions
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
侯守明;杜成菲;王阳;张玉珍;: "基于Kinect的拉普拉斯网格形变三维人脸建模" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381952A (zh) * 2020-11-25 2021-02-19 华南理工大学 一种基于多相机的面部轮廓点云模型重构方法及装置
CN112381952B (zh) * 2020-11-25 2024-03-15 华南理工大学 一种基于多相机的面部轮廓点云模型重构方法及装置

Also Published As

Publication number Publication date
CN111612912B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
Jiang et al. Gesture recognition based on binocular vision
CN108764048B (zh) 人脸关键点检测方法及装置
CN106327571B (zh) 一种三维人脸建模方法及装置
WO2023273093A1 (zh) 一种人体三维模型获取方法、装置、智能终端及存储介质
CN111710036B (zh) 三维人脸模型的构建方法、装置、设备及存储介质
Smolyanskiy et al. Real-time 3D face tracking based on active appearance model constrained by depth data
JP7015152B2 (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN106203400A (zh) 一种人脸识别方法及装置
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
CN107358648A (zh) 基于单张人脸图像的实时全自动高质量三维人脸重建方法
CN106778628A (zh) 一种基于tof深度相机的面部表情捕捉方法
CN105913444B (zh) 基于软激光测距的牲畜体型轮廓重构方法及体况评分方法
CN108615256A (zh) 一种人脸三维重建方法及装置
CN111127642A (zh) 一种人脸三维重建方法
CN109325994B (zh) 一种基于三维人脸数据增强的方法
CN114422832A (zh) 主播虚拟形象生成方法及装置
CN113822174B (zh) 视线估计的方法、电子设备及存储介质
Darujati et al. Facial motion capture with 3D active appearance models
Wang et al. Pose determination of human faces by using vanishing points
CN112381952B (zh) 一种基于多相机的面部轮廓点云模型重构方法及装置
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
CN115994944A (zh) 三维关键点预测方法、训练方法及相关设备
CN111612912A (zh) 一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法
CN117576214A (zh) 一种基于3dmm的耳穴定位方法和系统
CN111709269A (zh) 一种深度图像中基于二维关节信息的人手分割方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant