CN112381952B - 一种基于多相机的面部轮廓点云模型重构方法及装置 - Google Patents

一种基于多相机的面部轮廓点云模型重构方法及装置 Download PDF

Info

Publication number
CN112381952B
CN112381952B CN202011344155.9A CN202011344155A CN112381952B CN 112381952 B CN112381952 B CN 112381952B CN 202011344155 A CN202011344155 A CN 202011344155A CN 112381952 B CN112381952 B CN 112381952B
Authority
CN
China
Prior art keywords
point cloud
camera
cloud model
kinect2
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011344155.9A
Other languages
English (en)
Other versions
CN112381952A (zh
Inventor
翟敬梅
龚炷任
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011344155.9A priority Critical patent/CN112381952B/zh
Publication of CN112381952A publication Critical patent/CN112381952A/zh
Application granted granted Critical
Publication of CN112381952B publication Critical patent/CN112381952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于多相机的面部轮廓点云模型重构方法及装置，所述重构方法包括以下步骤：1)基于Kinect2相机获取面部点云模型；2)对获得的点云模型进行三角化得到网格模型，基于边记分函数进行网格细化得到完整面部点云模型；3)基于双目相机获取一组面部特征点，并获得其三维坐标；4)基于迭代最近点算法在Kinect2面部模型中获取上述面部特征点对应的点云，并利用奇异值分解法求出Kinect2和双目相机的点云转换矩阵；5)基于点云转换矩阵将完整面部点云模型进行位置配准，获得面部点云模型。本发明还提供一种基于Kinect2和双目相机的面部轮廓点云模型重构装置以实现上述面部轮廓点云模型重构方法。

Description

一种基于多相机的面部轮廓点云模型重构方法及装置
技术领域
本发明属于三维点云重构领域，具体涉及一种一种基于多相机的面部轮廓点云模型重构方法及装置。
技术背景
随着机器人的不断发展，在口腔医疗、面部按摩、美容护理等领域中，对人体面部作业的机器人研究日益增多。这些领域的机器人在进行作业时，需要获取面部较为准确的三维轮廓信息，用于机器人进行准确的位姿控制与操作。
面部轮廓点云的获取可以通过三维重构技术实现，目前三维重构技术包括接触式方法和非接触式方法。接触式方法主要代表为三坐标测量法，该方法具有较高的精度，但设备昂贵、维护困难，测量仪在扫描过程中由于拍摄死角的存在，需要不断变换扫描头拍摄角度以填补空白，操作繁琐。非接触式方法存在被动测量和主动测量。被动测量是从二维数字图像中获取三维空间人脸信息，分析基于多视角相关特征点的相机空间参数得到三维信息。其中，双目相机通过双目立体视觉原理，能获得图像任意点位置的三维坐标，原理简单、便捷。但由于面部轮廓具有无特定角点、肤色较均匀等特性，增加了立体匹配环节复杂度，使得面部模型获取耗时较长，因而不适合面部模型的快速获取；主动测量采用投影光的方式，获取照射物体的三维信息，具有高效率和操作简单等优点，缺点是在对曲率变化大的物体进行测量时会发生相位的变化，影响物体的测量精度。其中，Kinect2相机在面部模型获取、面部检测中具有稳定性较高、能够快速获取面部三维点云的优点，但Kinect2相机在面部三维重构实际应用中，由于景深误差大，使得Kinect2相机获取的面部三维点云模型与其实际位置存在较大偏差。
发明内容
针对上述面部轮廓点云重构方法存在的问题，本发明提出一种基于多相机的面部轮廓点云模型重构方法及装置，首先利用Kinect2相机获取面部轮廓点云，结合双目视觉获取的特征点信息，建立Kinect2相机和双目相机视觉信息的转化矩阵，进而对细化后的面部轮廓点云模型进行校正，从而实现面部轮廓点云模型的快速、准确获取。
本发明至少通过如下技术方案之一实现。
一种基于多相机的面部轮廓点云模型重构方法，包括以下步骤：
(S1)基于Kinect2相机获取面部轮廓的三维点云模型；
(S2)对步骤(S1)获得的三维点云模型进行三角化得到三角网格模型，基于边记分函数对所述三角化后得到的三角网格模型进行细化，得到完整面部点云模型；
(S3)基于双目相机获取一组面部特征点，并获得面部特征点三维坐标；
(S4)基于迭代最近点算法在步骤(S1)中获取的三维点云模型中获取步骤(S3)中所述面部特征点对应的点云，并利用奇异值分解法求出Kinect2和双目相机的点云转换矩阵；
(S5)基于点云转换矩阵将完整面部点云模型进行位置配准，获得完整、准确面部点云模型。
优选的，所述步骤(S1)利用Kinect2相机获取的彩色图像对面部轮廓进行检测，将Kinect2相机进行彩色-深度图像配准，基于彩色图像中面部轮廓检测的结果获取面部轮廓的三维点云模型MK，其中三维点云模型MK由H个点云组成，三维点云模型MK在Kinect2相机坐标系下的坐标如下：
其中代表三维点云模型MK中任意一点云MK(i)的三维坐标。
优选的，所述步骤(S2)包括以下步骤：a、取三维点云模型MK中任意部分点集，相邻两点构成边/>其中i，j表示三角网格中任一条边上两端点的下标：
则边的长度为：
b、定义边的记分函数Dij符合正态分布：
c、定义由三维点云模型MK得到的面部三角网格所有边的记分平均值为
式中n为面部三角网格中边总数；
对于三角网格的每条边计算分数Dij(请说明如何计算)，若则对该边进行分裂操作，即在该边中点处插入新的定点，步骤b在三维点云模型MK上迭代，定义细化插补后的完整面部模型为CK：
其中为完整面部点云模型中任一点云CK(i)的三维坐标。
优选的，所述步骤(S3)根据面部轮廓的特异性，选取左右眼睛角点、嘴的左右角点、鼻尖点共七个面部特征点组成特征点集PL，利用双目相机获取面部轮廓图像，并基于深度学习特征点检测算法及双目立体视觉获取所述面部特征点的三维坐标：
其中为面部特征点PL中任意一个特征点PL(i)的三维坐标。
优选的，所述步骤(S4)包括以下步骤：
1)确定迭代最近点算法损失函数，损失函数如下，其中k为所述7个面部特征点中的任意一个特征点：
其中，f(R,t)为迭代最近点算法损失函数；PL(k)为在双目相机坐标系下的坐标，其中，双目相机坐标系为左相机坐标系；KP(k)为在Kinect2面部点云模型中搜索到的最近点三维坐标；R和t分别为将点云KP变换到双目相机坐标系中的旋转矩阵、平移向量；
2)确定完整面部模型CK参数初始化值
利用Kinect2相机与双目相机与机器人进行手眼标定，获得Kinect2相机与双目相机的点云转换矩阵，并通过矩阵变换，求得Kinect2相机与双目相机坐标旋转、平移向量，作为迭代最近点算法的迭代初始值；
基于Kinect2相机获取的RGB图像的面部特征点检测结果，将所述面部特征点检测结果的三维坐标作为对应点云的初始值；
3)迭代求解
对求解得到的面部特征点的对应点云和点云转换矩阵不断进行迭代。
优选的，步骤1)中，将点云KP坐标经旋转、平移变换到双目相机坐标系的公式为：
KPj＝R*KPj+t。
优选的，所述点云转换矩阵为：
优选的，步骤3)包括以下步骤：
(1)最近点搜索：根据待配准面部特征点的三维坐标，在步骤(S2)得到的面部点云模型中搜索最近点；
(2)刚性变换求解：根据搜索到的七个最近面部特征点构造七个特征点的三维坐标转化方程，并使用奇异值分解法求出方程中的旋转矩阵和平移向量；
(3)计算新的损失函数：根据所求的旋转矩阵和平移向量对搜索到的七个最近面部特征点进行坐标变换，并重新计算对应点的损失函数；
(4)迭代条件判断：通过预设的精度阈值判断是否进行下一轮迭代，若步骤(3)中求出的新的对应点的损失函数与上一次迭代的损失函数值之差的绝对值小于阈值，则停止迭代，否则重复步骤(1)-步骤(3)继续迭代。
优选的，所述步骤(S5)是利用所述点云转换矩阵，对经细分插补后的完整面部模型CK进行点云配准，获取完整、准确的点云模型。
用于实施一种基于多相机的面部轮廓点云模型重构方法的重构装置，包括多相机视觉系统和工业控制计算机，所述多相机视觉系统包括Kinect2相机和一个双目相机；
所述多相机视觉系统的各个相机布局规则为：Kinect2相机固定放置在面部的正前方，并调整其高度使其能够获取整个面部的视野；双目相机分别固定放置在面部的两侧，使得Kinect2和双目相机的视野能够覆盖整个面部轮廓，其中，Kinect2相机用于面部的实时跟踪、检测，并获取面部轮廓点云模型；双目相机用于获取准确的面部特征点三维坐标；工业控制计算机用于控制各个相机的数据获取、数据交互，并存储实现所述面部轮廓点云模型重构数据。
与现有技术相比，本方法综合考虑面部轮廓的独特性以及Kinect2相机在面部三维重构的优点，利用Kinect2相机获取面部轮廓点云模型，并对获得的点云模型进行网格细化增加了面部点云的数量，解决了现有方法难以快速获取面部轮廓点云模型的问题；并针对Kinect2相机获取的所述面部点云模型存在景深误差的问题，利用双目相机获取一组准确的面部特征点三维坐标，对所述获取的面部轮廓模型进行三维配准，获得面部轮廓点云模型准确的三维位置信息。
附图说明
图1为本实施例一种基于Kinect2和双目相机的面部轮廓点云模型重构装置结构图；
图2为本实施例基于Kinect2和双目相机的面部轮廓点云模型重构方法流程步骤图；
图3为本实施例基于Kinect2相机获取的面部点云模型示意图；
图4为本实施例基于双目相机获取的面部特征点示意图；
图5a为本实施例基于边记分函数进行网格细化示意图；
图5b为本实施例基于边记分函数进行网格细化得到完整面部点云模型方法示意图；
图6为本实施例迭代求解对应面部特征点和特征点转换矩阵算法流程图。
具体实施方案
下面通过具体实施例对本发明的目的作进一步详细地描述，实施例不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施例。
如图1所示为一种基于Kinect2和双目相机的面部轮廓点云模型重构装置，包括多相机视觉系统和工业控制计算机，所述多相机视觉系统包括Kinect2相机与双目相机；
Kinect2相机用于面部点云模型的获取，双目相机用于对面部特征点进行检测，工业控制计算机用于控制各个相机的工作并实现数据保存和交互，实现面部轮廓点云模型重构。
所述多相机视觉系统的各个相机布局规则为：Kinect2相机固定放置在面部的正前方，并调整其高度使其能够获取整个面部的视野；双目相机分别固定放置在面部的两侧，且靠近面部位置，使得Kinect2和双目相机的视野能够覆盖整个面部轮廓，其中，Kinect2相机用于面部的实时跟踪、检测，并获取面部轮廓点云模型；双目相机用于获取准确的面部特征点三维坐标；工业控制计算机用于控制各个相机的数据获取、数据交互，并存储实现所述面部轮廓点云模型重构方法的程序和数据
所述面部轮廓点云模型重构装置用于实现一种基于多相机的面部轮廓点云模型重构方法。如图2所示为基于Kinect2和双目相机的面部轮廓点云模型重构方法，包括以下步骤：
S1、如图3所示，利用Kinect2相机获取面部轮廓的三维点云模型，其包括以下步骤：
1)基于Kinect2相机的深度传感器获得深度数据；
2)对Kinect2相机获取的RGB图像进行面部轮廓检测，通过Kinect2相机的深度-彩色图像配准，提取出面部轮廓深度数据；
3)利用Kinect2相机标定结果，并利用Kinect2获得的深度数据生成面部轮廓的三维点云模型。
利用上述步骤创建一个1347个点云的面部点云模型MK，面部点云模型MK在Kinect2相机坐标系下的坐标如下所示：
其中代表三维点云模型MK中任意一点云MK(i)的三维坐标；
S2、为改善面部点云模型点云稀疏的现象，对获得的点云模型进行三角化得到网格模型，基于边记分函数进行网格细化得到完整面部点云模型。利用边分函数为每个点云与其相邻点云之间构成的网格线赋予一个影响因子，用于反映该点云所处位置点云的疏密程度。由于Kinect2相机获取的面部点云模型点分布均匀，未考虑点密度因素，将网格线的长度作为印象因子的构成元素。如图5a所示，取面部点云模型MK中部分点集，相邻两点边构成/>其中i,j表示三角网格中任一条边上两端点的下标：
则边的长度为：
定义边的记分函数Dij符合正态分布：
定义由面部点云模型MK得到的面部三角网格所有边的记分平均值为
式中n为面部三角网格中边总数；
对于三角网格的每条边计算分数Dij，若则对该边进行分裂操作，即在该边中点处插入新的定点，如图5b所示。
上述过程在面部点云模型上迭代，定义细化插补后的完整面部模型为CK，完整面部模型的点云数量为5242：
其中为完整面部点云模型中任一点云CK(i)的三维坐标；
S3、由于不同人的面部轮廓点存在较大的差异，而面部器官角点差异较小，为保证检精度，本实施例中选取七个面部特征点集(即左右眼睛角点，左右嘴角点，左右鼻角点，鼻尖点)作为面部特征点集PL，利用预训练深度学习的面部特征点检测完整面部模型CK对面部特征点集PL进行检测，如图4所示，并利用双目立体视觉恢复面部特征点在双目相机坐标系下的三维坐标：
其中为面部特征点PL中任意一个特征点PL(i)的三维坐标；
S4、如图6所示为迭代求解三维点云模型中与所述面部特征点的对应点云和Kinect2和双目相机的点云转换矩阵算法流程图，利用双目立体视觉下获得的所述面部特征点集PL，基于迭代最近点算法遍历更新后的细化插补后的完整面部模型CK，计算各个点到面部特征点集PL的欧氏距离，在完整面部模型CK中找到一组与PL最接近的特征点集KP和Kinect2与双目相机点云转换矩阵包括以下步骤：
(1)确定迭代最近点算法损失函数f(R,t)
迭代最近点算法损失函数，获得的特征点集KP通过旋转平移转换到双目相机坐标系下，计算其与面部特征点集PL三维坐标的欧氏距离作为迭代最近点算法损失函数，其中R为旋转矩阵，t为平移向量；
(2)确定完整面部模型CK参数初始化值
利用Kinect2相机与双目相机与机器人进行手眼标定，获的Kinect2相机与双目相机的坐标转换矩阵，并通过矩阵变换，求得Kinect2相机与双目相机点云转换矩阵R0,t0，作为迭代最近点算法的迭代初始值；
基于Kinect2获取的RGB图像的面部特征点检测结果，将其对应的三维坐标作为迭代求解的Kinect2相机对应于双目相机特征点集PL的初始值KP0。
(3)计算新的损失函数：根据所求的旋转矩阵R和平移向量t对点云KP中每一个点应用转换公式KPj＝R*KPj+t，重新计算对应点的损失函数f(R,t)j其中下标j代表第j轮迭代之后的对应点的损失函数：
(4)迭代条件判断：判断是否进行下一轮迭代，设定精度阈值σ＝0.01mm，若步骤(3)中求出的新的对应点的损失函数f(R,t)j与上一轮迭代的损失函数f(R,t)j-1之差的绝对值小于精度阈值σ，则停止迭代，否则重复步骤(1)-步骤(3)继续迭代。
经迭代最近点算法获得在完整面部模型CK中找到一组与PL最接近的特征点集KP在双目相机坐标系下的三维坐标如下所示：
并得到Kinect2和双目相机的点云转换矩阵如下式所示，其由旋转矩阵R和平移向量t构成：
S5、利用获得的Kinect2与双目相机点云转换矩阵对变形更新后的完整面部模型CK进行三维位置校正，得到准确的人体面部轮廓点云模型KF；
本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种基于多相机的面部轮廓点云模型重构方法，其特征在于，包括以下步骤：
(S1)基于Kinect2相机获取面部轮廓的三维点云模型；利用Kinect2相机获取的彩色图像对面部轮廓进行检测，将Kinect2相机进行彩色-深度图像配准，基于彩色图像中面部轮廓检测的结果获取面部轮廓的三维点云模型MK，其中三维点云模型MK由H个点云组成，三维点云模型MK在Kinect2相机坐标系下的坐标如下：
其中代表三维点云模型MK中任意一点云MK(i)的三维坐标；
将点云KPj
坐标经旋转、平移变换到双目相机坐标系的公式为：
KPj＝R*KPj+t；
(S2)对步骤(S1)获得的三维点云模型进行三角化得到三角网格模型，基于边记分函数对所述三角化后得到的三角网格模型进行细化，得到完整面部点云模型；包括以下步骤：a、取三维点云模型MK中任意部分点集，相邻两点构成边/>其中i，j表示三角网格中任一条边上两端点的下标：
则边的长度为：
b、定义边的记分函数Dij符合正态分布：
c、定义由三维点云模型MK得到的面部三角网格所有边的记分平均值为
式中n为面部三角网格中边总数；
对于三角网格的每条边记分函数Dij，若则对该边进行分裂操作，即在该边中点处插入新的定点，步骤b在三维点云模型MK上迭代，定义细化插补后的完整面部模型为CK：
其中为完整面部点云模型中任一点云CK(i)的三维坐标；
(S3)基于双目相机获取一组面部特征点，并获得面部特征点三维坐标；根据面部轮廓的特异性，选取左右眼睛角点、嘴的左右角点、鼻尖点共七个面部特征点组成特征点集PL，利用双目相机获取面部轮廓图像，并基于深度学习特征点检测算法及双目立体视觉获取所述面部特征点的三维坐标：
其中为面部特征点PL中任意一个特征点PL(i)的三维坐标；
(S4)基于迭代最近点算法在步骤(S1)中获取的三维点云模型中获取步骤(S3)中所述面部特征点对应的点云，并利用奇异值分解法求出Kinect2和双目相机的点云转换矩阵；包括以下步骤：
1)确定迭代最近点算法损失函数，损失函数如下，其中k为7个面部特征点中的任意一个特征点：
其中，f(R,t)为迭代最近点算法损失函数；PL(k)为在双目相机坐标系下的坐标，其中，双目相机坐标系为左相机坐标系；KP(k)为在Kinect2面部点云模型中搜索到的最近点三维坐标；R和t分别为将点云KP变换到双目相机坐标系中的旋转、平移向量；
2)确定完整面部模型CK参数初始化值
利用Kinect2相机与双目相机与机器人进行手眼标定，获得Kinect2相机与双目相机的点云转换矩阵，并通过矩阵变换，求得Kinect2相机与双目相机坐标旋转矩阵、平移向量，作为迭代最近点算法的迭代初始值；
基于Kinect2相机获取的RGB图像的面部特征点检测结果，将所述面部特征点检测结果的三维坐标作为对应点云的初始值；
3)迭代求解
对求解得到的面部特征点的对应点云和点云转换矩阵不断进行迭代；
(S5)基于点云转换矩阵将完整面部点云模型进行位置配准，获得完整、准确面部点云模型。
2.根据权利要求1所述的基于多相机的面部轮廓点云模型重构方法，其特征在于，所述点云转换矩阵为：
3.根据权利要求1所述的基于多相机的面部轮廓点云模型重构方法，其特征在于，步骤3)包括以下步骤：
(1)最近点搜索：根据待配准面部特征点的三维坐标，在步骤(S2)得到的面部点云模型中搜索最近点；
(2)刚性变换求解：根据搜索到的七个最近面部特征点构造七个特征点的三维坐标转化方程，并使用奇异值分解法求出方程中的旋转矩阵和平移向量；
(3)计算新的损失函数：根据所求的旋转矩阵和平移向量对搜索到的七个最近面部特征点进行坐标变换，并重新计算对应点的损失函数；
(4)迭代条件判断：通过预设的精度阈值判断是否进行下一轮迭代，若步骤(3)中求出的新的对应点的损失函数与上一次迭代的损失函数值之差的绝对值小于阈值，则停止迭代，否则重复步骤(1)-步骤(3)继续迭代。
4.根据权利要求3所述的基于多相机的面部轮廓点云模型重构方法，其特征在于，所述步骤(S5)是利用所述点云转换矩阵，对经细分插补后的完整面部模型CK进行点云配准，获取完整、准确的点云模型。
5.用于实施权利要求1～4任一项所述的一种基于多相机的面部轮廓点云模型重构方法的重构装置，其特征在于，包括多相机视觉系统和工业控制计算机，所述多相机视觉系统包括Kinect2相机和一个双目相机；
所述多相机视觉系统的各个相机布局规则为：Kinect2相机固定放置在面部的正前方，并调整其高度使其能够获取整个面部的视野；双目相机分别固定放置在面部的两侧，使得Kinect2和双目相机的视野能够覆盖整个面部轮廓，其中，Kinect2相机用于面部的实时跟踪、检测，并获取面部轮廓点云模型；双目相机用于获取准确的面部特征点三维坐标；工业控制计算机用于控制各个相机的数据获取、数据交互，并存储实现所述面部轮廓点云模型重构数据。
CN202011344155.9A 2020-11-25 2020-11-25 一种基于多相机的面部轮廓点云模型重构方法及装置 Active CN112381952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011344155.9A CN112381952B (zh) 2020-11-25 2020-11-25 一种基于多相机的面部轮廓点云模型重构方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011344155.9A CN112381952B (zh) 2020-11-25 2020-11-25 一种基于多相机的面部轮廓点云模型重构方法及装置

Publications (2)

Publication Number Publication Date
CN112381952A CN112381952A (zh) 2021-02-19
CN112381952B true CN112381952B (zh) 2024-03-15

Family

ID=74588203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011344155.9A Active CN112381952B (zh) 2020-11-25 2020-11-25 一种基于多相机的面部轮廓点云模型重构方法及装置

Country Status (1)

Country Link
CN (1) CN112381952B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913246B (zh) * 2022-07-15 2022-11-01 齐鲁空天信息研究院 相机标定方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3032495A1 (en) * 2014-12-10 2016-06-15 Dassault Systèmes Texturing a 3d modeled object
CN106023316A (zh) * 2016-05-19 2016-10-12 华南理工大学 一种基于Kinect的动态序列捕捉方法
CN111612912A (zh) * 2020-05-26 2020-09-01 广州纳丽生物科技有限公司 一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3040941B1 (en) * 2014-12-29 2017-08-02 Dassault Systèmes Method for calibrating a depth camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3032495A1 (en) * 2014-12-10 2016-06-15 Dassault Systèmes Texturing a 3d modeled object
CN106023316A (zh) * 2016-05-19 2016-10-12 华南理工大学 一种基于Kinect的动态序列捕捉方法
CN111612912A (zh) * 2020-05-26 2020-09-01 广州纳丽生物科技有限公司 一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Triangular patch based texture fusion for multi-view 3D face model;Yang, SM etc;TENTH INTERNATIONAL CONFERENCE ON GRAPHICS AND IMAGE PROCESSING (ICGIP 2018);20191231;1-12 *

Also Published As

Publication number Publication date
CN112381952A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN111414798B (zh) 基于rgb-d图像的头部姿态检测方法及系统
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
JP4284664B2 (ja) 三次元形状推定システム及び画像生成システム
CN108053437B (zh) 基于体态的三维模型获取方法及装置
CN111932678B (zh) 多视点实时人体运动、手势、表情、纹理重建系统
JP2017016192A (ja) 立体物検知装置及び立体物認証装置
CN109544606B (zh) 基于多个Kinect的快速自动配准方法及系统
CN106504321A (zh) 使用照片或视频重建三维牙模的方法及使用rgbd图像重建三维牙模的方法
CN104215199B (zh) 一种假发头壳制作方法及系统
JP2007257324A (ja) 顔モデル作成システム
CN111127642A (zh) 一种人脸三维重建方法
JP2005505063A (ja) ４つの特徴点からの頭部運動推定
CN108871284B (zh) 基于直线特征约束的三维空间相似变换模型参数的无初值求解方法
Zhao et al. Precise perimeter measurement for 3D object with a binocular stereo vision measurement system
US20220414291A1 (en) Device for Defining a Sequence of Movements in a Generic Model
CN114422832A (zh) 主播虚拟形象生成方法及装置
Li et al. Binocular stereo vision calibration based on alternate adjustment algorithm
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN112330813A (zh) 一种基于单目深度摄像头的着装下三维人体模型重建方法
Achenbach et al. Accurate Face Reconstruction through Anisotropic Fitting and Eye Correction.
CN113902851A (zh) 一种人脸三维重建方法、装置、电子设备及存储介质
CN112381952B (zh) 一种基于多相机的面部轮廓点云模型重构方法及装置
Wang et al. Three-dimensional hand reconstruction by single-shot structured light line pattern
CN116883590A (zh) 一种三维人脸点云优化方法、介质及系统
CN104240294A (zh) 基于双目单视界的三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant