CN109242960A - 采用双Kinect和旋转平台的人体实时建模系统及其建模方法 - Google Patents

采用双Kinect和旋转平台的人体实时建模系统及其建模方法 Download PDF

Info

Publication number
CN109242960A
CN109242960A CN201811077250.XA CN201811077250A CN109242960A CN 109242960 A CN109242960 A CN 109242960A CN 201811077250 A CN201811077250 A CN 201811077250A CN 109242960 A CN109242960 A CN 109242960A
Authority
CN
China
Prior art keywords
camera
kinect
point
module
color camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811077250.XA
Other languages
English (en)
Inventor
詹总谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhijue Space Information Technology Co Ltd
Original Assignee
Wuhan Zhijue Space Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhijue Space Information Technology Co Ltd filed Critical Wuhan Zhijue Space Information Technology Co Ltd
Priority to CN201811077250.XA priority Critical patent/CN109242960A/zh
Publication of CN109242960A publication Critical patent/CN109242960A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种采用双Kinect和旋转平台的人体实时建模系统及其建模方法，包括几何重建模块；相机标定模块；纹理映射模块等。通过人体扫描、滤波去噪、相机跟踪与标定、点云融合、纹理映射最终得到人体三维模型。本发明具有如下优点：对传统的ICP算法进行改进，加快了三维模型重建的速度，同时降低了对计算机配置的要求；保持了人体重建系统的实时性，短时间内重建出人体模型，降低对人长时间保持静止不动的要求，也不需要特殊的衣服和道具；搭建、开发了一个廉价、完全自动的人体重建系统，突破传统人体重建方案的经费、精度限制问题；在几何重建的基础上，利用Kinect提供的高保真彩色影像，进行高质量的纹理重建。

Description

采用双Kinect和旋转平台的人体实时建模系统及其建模方法
技术领域
本发明涉及计算机人体三维模型重建领域，尤其涉及一种采用双Kinect和旋转平台的人体实时建模系统及其建模方法。
背景技术
人体三维模型重建是计算机视觉和摄影测量领域一直研究的热点，其应用十分广泛，可以应用在虚拟试衣、游戏人物模型构建、医用人体器官3D打印等诸多方面。
传统的人体三维重建方法有很多，如基于三维激光扫描仪的方法，基于影像匹配的方法，基于结构光系统的方法等。但是这些方法都存在着很大的局限性，基于三维激光扫描仪的方法价格昂贵、纹理映射困难。基于影像匹配的方法无法提取人体表面特征、重建的时间周期较长。基于结构光系统的方法如果没有较好的集成，对场地要求比较严格。而随着微软公司Kinect的发布，其使用低廉成本就能得到高精度的深度信息和彩色信息，Kinect包含深度相机和彩色相机，这为人体重建提供了非常好的硬件支持。由于其主动式的成像原理，使得Kinect在黑暗条件下也能测距，并不受光照等条件的限制；30FPS的深度帧率以及基于GPGPU以及多核CPU的软件架构证明了其在人体实时三维重建方面的可行性，它为人体重建提供了一个廉价、快速、可行的解决方案。
朱江涛在其2015年硕士学位论文《基于Kinect的人体三维重建及尺寸测量》中提出使用两台Kinect和旋转平台，通过对点云配准、相机标定实现了人体三维重建。但是该方法对机器性能要求很高，在普通机器上容易出现无响应的情况。同时该方法得到的三维人体模型只是点云模型，没有任何的纹理特征。因此稳定性不好，应用范围受到限制。
发明内容
为解决上述技术问题，本发明提出了一种建模速度快、纹理质量高的采用双Kinect和旋转平台的人体实时建模系统及其建模方法。
本发明的技术方案是这样实现的：
一方面，本发明提供了一种采用双Kinect和旋转平台的人体实时建模系统，包括利用Kinect获得的人体深度数据得到实时重建的几何模型的几何重建模块；用来对两个Kinect的彩色相机内参数以及彩色相机和深度相机的相对位姿关系进行标定的相机标定模块；利用彩色相机得到的纹理数据以及相机标定模块的结果对人体三维几何模型进行纹理映射的纹理映射模块；
所述几何重建模块包括两台Kinect、旋转平台、点云滤波模块，点云配准模块和点云融合模块；其中两台Kinect相对设置，两台Kinect的中间设置有旋转平台；点云滤波模块用于将Kinect扫描获得的人体深度数据进行滤波去噪处理；点云配准模块用于将Kinect扫描的所有点云深度数据纳入到统一的坐标系中；点云融合模块用于去掉相邻点云间重叠部分的冗余数据，保证点云整体数量合适并且表面平滑；
所述相机标定模块包括彩色相机内参数标定模块和彩色相机与深度相机相对位姿标定模块；其中彩色相机内参数标定模块利用基于纯平显示器标定相机的方法获得两个Kinect的彩色相机内参数；彩色相机与深度相机相对位姿标定模块借助辅助红外光源，利用棋盘法解算出两个Kinect深度相机相对于彩色相机的旋转矩阵和平移向量；
所述纹理映射模块为采用基于视角的纹理映射模块。
第二方面，本发明提供了一种采用上述双Kinect和旋转平台的人体实时建模系统的建模方法，包括以下步骤：
1)进行人体扫描：固定两台Kinect，待测者站在旋转平台上后，两台Kinect分别对人的上半身和下半身进行扫描，完成扫描后得到深度图像数据；
2)点云滤波模块对深度图像数据进行滤波去噪：将人体扫描得到的深度图像数据采用双边滤波法进行滤波，经滤波后输出滤波图像；
3)分别进行两台Kinect的相机跟踪与标定：
3.1)点云配准：由点云配准模块采用点到面的ICP算法，即采用基于GPU并行计算的ICP改进配准算法进行点云配准，将点云数据统一变换到世界坐标系中；
3.2)相机标定；
3.2.1)彩色相机内参数标定，由彩色相机内参数标定模块将纯平显示器当作控制场，在屏幕上绘制带编码的标志点；在拍照后自动提取编码标志，并根据编码提取出其他非编码标志点，在提取所有相片标志点后进行光束法平差解算：将拍摄的照片导入相机参数解算软件，软件自动提取编码标志点，并根据编码标志提取周围其他的非编码标志点，最后进行平差解算，得到内参数像主点、焦距的信息；
3.2.2)彩色相机与深度相机相对位姿标定模块，在辅助红外光源的补光下，将Kinect深度相机和彩色相机之间的位姿进行标定，得到深度相机相对于彩色相机旋转矩阵以及平移向量；
两个Kinect均采用上述步骤完成相机跟踪与标定；
4)对已经配准好的点云进行融合操作：通过ICP算法得到相机的绝对姿态，转换到统一的世界坐标后，然后由点云融合模块进行点云融合；融合后得到的有符号的距离方程变量存放在体元中；空间栅格最前面一层的每一个体元，利用GPU沿着Kinect的Z轴方向，即垂直于Kinect镜头向镜头外伸出的方向，并行的由前向后扫，将体元转换到世界坐标系，然后再转到相机坐标系得到对应的顶点；
5)由纹理映射模块进行纹理映射得到最终的人体三维模型：采用UV图，使三维模型的顶点坐标与纹理图像的像素坐标产生对应关系，将纹理映射到三维模型上，达到高质量的纹理影像。
在以上技术方案的基础上，优选的，滤波去噪采用的双边滤波法计算方法如下式所示：
公示2-1中，I(i，j)表示输入图像，I′(i，j)表示滤波后的输出图像，Ω表示以点(x，y)为中心点的(2N+1)×(2N+1)大小的邻域范围，N为自然数，w(i，j)为滤波器在(i，j)处的权值，wp为归一化系数，即输出像素的灰度值为以输入像素为中心点一定邻域内像素的灰度值的加权平均值；在双边滤波中，权值系数由图像空间域权值Ws(i，j)和图像灰度域权值Wr(i，j)两部分组成，即：
w(i,j)＝ws(i,j)×wr(i,j) (2-2)
公式2-2中Ws(i，j)、Wr(i，j)算法如公式2-3所示，其中δ含义为二维图像间运算过程的方差，x,y为中心点(x，y)的坐标值；
在以上技术方案的基础上，优选的，点云配准采用的点到面的ICP算法步骤如下：
A)利用投影法确定点的对应关系：基于前一帧得到的相机参数，每一个GPU线程将前一帧的点转换到相机坐标系；然后通过透视投影将所有点投影到像平面坐标系中，前一帧与当前帧投影到相同像平面上的点为对应点；
B)利用点到平面误差最小的机制确定相机姿态矩阵，将步骤A中确定的两个点之间的切线距离定义为误差，所有点的总误差计算公式为：
Di(u)＞0表示当前点云中的一点u存在对应点，Tg,i是一个4×4的矩阵，表示当前帧在世界坐标系下的姿态，vi(u)表示第i帧中点u的顶点坐标，表示预测帧中u点对应点的顶点坐标，表示对应点的法向量，Tg,i是以Tg,i-1为初始值，然后通过每一次ICP迭代增量相加所得到的相机姿态变换矩阵；
C)将式3-1线性化，通过最小二乘解算得到最优解Tg,i，线性化首先通过树约简法在GPU上计算并相加，最优的6×6线性系统在CPU上通过柯列斯基分解，具体线性方程如下：
其中
式中tx,ty,tz代表点x相对三个坐标轴的平移向量，β,γ,α代表绕三个坐标轴旋转的角度，A、b为科列斯基分解的辅助参数。
在以上技术方案的基础上，优选的，相机标定包括彩色相机内参数标定、彩色相机与深度相机相对位姿标定；
所述彩色相机内参数标定，是由彩色相机内参数标定模块将纯平显示器当作控制场，在屏幕上绘制带编码的标志点；在拍照后自动提取编码标志，并根据编码提取出其他非编码标志点，在提取所有相片标志点后进行光束法平差解算：将拍摄的照片导入相机参数解算软件，软件自动提取编码标志点，并根据编码标志提取周围其他的非编码标志点，最后进行平差解算，得到内参数像主点、焦距的信息；
所述彩色相机与深度相机相对位姿标定，是由彩色相机与深度相机相对位姿标定模块在辅助红外光源的补光下，将Kinect深度相机和彩色相机之间的位姿进行标定，得到深度相机相对于彩色相机旋转矩阵以及平移向量；
两个Kinect均采用上述步骤完成相机跟踪与标定。
在以上技术方案的基础上，优选的，点云融合算法如下：Kinect的体元数值按照公式4-1、4-2进行融合处理，式中Di+1(x)表示当前点云对应的距离值，Di(x)表示原来的栅格距离值，wi+1(x)为当前权值，Wi(x)为前一权值，Wi+1(x)为新的权值，新的权值为当前权值和前一权值之和：
Wi+1(x)＝Wi(x)+wi+1(x) (4-2)
融合后的数据存储在体元中，将体元转换到世界坐标系，然后转到相机坐标系得到对应的顶点；如果该点位于相机视锥体，则计算符号距离方程sdfi+1，然后按如下公式计算截断符号距离方程tsdfi+1：得到的截断符号距离结果用+、-号来表示；
在以上技术方案的基础上，优选的，三维模型的顶点坐标与纹理图像的像素坐标通过坐标变换产生对应关系，坐标变换方法如下：
令彩色相机的内参数矩阵为KRGB，深度相机相对于彩色相机的变换矩阵为TD-RGB，则
式中fxRGB、fyRGB分别为彩色相机x、y方向的焦距，x0RGB、y0RGB为彩色相机的像主点；
TD-RGB＝(RD-RGB|tD-RGB)，RD-RGB和tD-RGB分别为深度相机坐标系相对于彩色相机坐标系的旋转矩阵和平移向量；
令任一点在深度相机坐标系下的坐标为(XD,YD,ZD)，则其在彩色摄像机坐标系下的三维坐标(XRGB,YRGB,ZRGB)为：
在彩色图像坐标系下的坐标(xRGB,yRGB)为
其中，
在以上技术方案的基础上，优选的，彩色相机内参数标定时，纯平显示器与相机平面的夹角不超过45°。
在以上技术方案的基础上，优选的，彩色相机内参数标定使用9幅图像，纯平显示器分别成像在相片中的左上、正上、右上、正左、正中、正右、左下、正下、右下九个位置。
本发明采用双Kinect和旋转平台的人体实时建模系统及其建模方法，相对于现有技术具有以下有益效果：
(1)对传统的ICP算法进行改进，加快了三维模型重建的速度，同时降低了对计算机配置的要求；
(2)与一般的基于Kinect进行人体重建的系统不同，本发明实现的人体重建系统实时性好，短时间内能重建出人体模型，降低对人长时间保持静止不动的要求，也不需要特殊的衣服和道具，同时，利用两个Kinect对人体进行全方位扫描，进一步缩短扫描时间，并能使最终的人物模型更加完整；
(3)搭建、开发了一个廉价、完全自动的人体重建系统，突破传统人体重建方案的经费、精度限制问题；
(4)在几何重建的基础上，利用Kinect提供的高保真彩色影像，进行高质量的纹理重建，从而使得重建后的人体模型更加逼真。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的人体实时建模系统工作流程图；
图2为本发明的人体实时建模系统整体架构图；
图3为投影法对应点的示意图：
图4为纯平显示器控制场及其编码标志点示意图；
图5为基于TSDF算法的格栅体元的表达；
图6为基于TSDF的点云融合示意图；
图7为实施例中重建的女孩的三维模型；
图8为实施例中重建的男孩的三维模型。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
图1为本发明的人体实时建模系统工作流程图，图2为本发明的人体实时建模系统整体架构图，图3为投影法对应点的示意图，图4为纯平显示器控制场及其编码标志点示意图，图5为基于TSDF算法的格栅体元的表达，图6为基于TSDF的点云融合示意图，图7为实施例中重建的女孩的三维模型，图8为实施例中重建的男孩的三维模型。
如图1、图2所示，本发明提供了一种采用双Kinect和旋转平台的人体实时建模系统，包括利用Kinect获得的人体深度数据得到实时重建的几何模型的几何重建模块；用来对两个Kinect的彩色相机内参数以及彩色相机和深度相机的相对位姿关系进行标定的相机标定模块；利用彩色相机得到的纹理数据以及相机标定模块的结果对人体三维几何模型进行纹理映射的纹理映射模块；
上述几何重建模块包括两台Kinect、旋转平台、点云滤波模块，点云配准模块和点云融合模块；其中两台Kinect相对设置，本实施例中两个Kinect的高度不同。两台Kinect的中间设置有旋转平台；点云滤波模块用于将Kinect扫描获得的人体深度数据进行滤波去噪处理；点云配准模块用于将Kinect扫描的所有点云深度数据纳入到统一的坐标系中；点云融合模块用于去掉相邻点云间重叠部分的冗余数据，保证点云整体数量合适并且表面平滑；
上述相机标定模块包括彩色相机内参数标定模块和彩色相机与深度相机相对位姿标定模块；其中彩色相机内参数标定模块利用基于纯平显示器标定相机的方法获得两个Kinect的彩色相机内参数；彩色相机与深度相机相对位姿标定模块借助辅助红外光源，利用棋盘法解算出两个Kinect深度相机相对于彩色相机的旋转矩阵和平移向量；
上述纹理映射模块为采用基于视角的纹理映射模块。
采用上述双Kinect和旋转平台的人体实时建模系统的建模方法，包括以下步骤：
1)进行人体扫描：固定两台Kinect，待测者站在旋转平台上后，两台Kinect分别对人的上半身和下半身进行扫描，完成扫描后得到深度图像数据；
2)点云滤波模块对深度图像数据进行滤波去噪：将人体扫描得到的深度图像数据采用双边滤波法进行滤波，经滤波后输出滤波图像；滤波去噪采用的双边滤波法计算方法如下式所示：
公示(2-1)中，I(i，j)表示输入图像，I′(x，y)表示滤波后的输出图像，Ω表示以点(x，y)为中心点的(2N+1)×(2N+1)大小的邻域范围,w(i，j)为滤波器在(i，j)处的权值，Wp为归一化系数，即输出像素的灰度值为以输入像素为中心点一定邻域内像素的灰度值的加权平均值；在双边滤波中，权值系数由图像空间域权值Ws(i，j)和图像灰度域权值Wr(i，j)两部分组成，即：
w(i,j)＝ws(i,j)×wr(i,j) (2-2)
公式(2-2)中Ws(i，j)、Wr(i，j)算法如下，公式(2-3)中δ含义为二维图像间运算过程的方差；
3)分别进行两台Kinect的相机跟踪与标定：
3.1)点云配准：由点云配准模块采用点到面的ICP算法，即采用基于GPU并行计算的ICP改进配准算法进行点云配准，将点云数据统一变换到世界坐标系中；点云配准采用的点到面的ICP算法步骤如下：
A)利用投影法确定点的对应关系：基于前一帧得到的相机参数，每一个GPU线程将前一帧的点转换到相机坐标系；然后通过透视投影将所有点投影到像平面坐标系中，前一帧与当前帧投影到相同像平面上的点为对应点；如图3中点P1、P2所示。
B)利用点到平面误差最小的机制确定相机姿态矩阵，将步骤A)中确定的两个点之间的切线距离定义为误差，所有点的总误差计算公式为：
Di(u)＞0表示当前点云中的一点u存在对应点，Tg,i是一个4×4的矩阵，表示当前帧在世界坐标系下的姿态，vi(u)表示第i帧中点u的顶点坐标，表示预测帧中u点对应点的顶点坐标，表示对应点的法向量，Tg,i是以Tg,i-1为初始值，然后通过每一次ICP迭代增量相加所得到的相机姿态变换矩阵；
C)将式3-1线性化，通过最小二乘解算得到最优解Tg,i，线性化首先通过树约简法在GPU上计算并相加，最优的6×6线性系统在CPU上通过柯列斯基分解，具体线性方程如下：
其中
式中tx,ty,tz代表点x相对三个坐标轴的平移向量，β,γ,α代表绕三个坐标轴旋转的角度，A、b为科列斯基分解的辅助参数。
3.2)相机标定
3.2.1)彩色相机内参数标定模块，将纯平显示器当作控制场，在屏幕上绘制带编码的标志点，如图4所示。纯平显示器与相机平面的夹角不超过45°，可选择0°、30°、45°等角度，本实施例选用45°。在拍照后自动提取编码标志，并根据编码提取出其他非编码标志点，在提取所有相片标志点后进行光束法平差解算：将拍摄的照片导入相机参数解算软件，软件自动提取编码标志点，并根据编码标志提取周围其他的非编码标志点，最后进行平差解算，得到内参数像主点、焦距的信息；彩色相机标定使用9幅图像，纯平显示器分别成像在相片中的左上、正上、右上、正左、正中、正右、左下、正下、右下九个位置。
3.2.2)彩色相机与深度相机相对位姿标定模块，在辅助红外光源的补光下，将Kinect深度相机和彩色相机之间的位姿进行标定，得到深度相机相对于彩色相机旋转矩阵以及平移向量；
两个Kinect均采用上述步骤完成相机跟踪与标定；
4)对已经配准好的点云进行融合操作：通过ICP算法得到相机的绝对姿态，转换到统一的世界坐标后，然后由点云融合模块进行点云融合；融合后得到的有符号的距离方程变量存放在体元中；空间栅格最前面一层的每一个体元，利用GPU沿着Kinect的Z轴方向，即垂直于Kinect镜头向镜头外伸出的方向，并行地由前向后扫，将体元转换到世界坐标系，然后再转到相机坐标系得到对应的顶点；点云融合算法如下：Kinect的体元数值按照公式4-1、4-2进行融合处理，式中Di+1(x)表示当前点云对应的距离值，Di(x)表示原来的栅格距离值，wi+1(x)为当前权值，Wi(x)为前一权值，Wi+1(x)为新的权值，新的权值为当前权值和前一权值之和：
Wi+1(x)＝Wi(x)+wi+1(x) (4-2)
融合后的数据存储在体元中，将体元转换到世界坐标系，然后转到相机坐标系得到对应的顶点；如果该点位于相机视锥体，则计算符号距离方程sdfi+1，然后按如下公式计算截断符号距离方程tsdfi+1：得到的截断符号距离结果用+、-号来表示；算法结果如图6所示。
5)由纹理映射模块进行纹理映射得到最终的人体三维模型：采用UV图，使三维模型的顶点坐标与纹理图像的像素坐标产生对应关系，将纹理映射到三维模型上，达到高质量的纹理影像。上述三维模型的顶点坐标与纹理图像的像素坐标通过坐标变换产生对应关系，坐标变换方法如下：
令彩色相机的内参数矩阵为KRGB，深度相机相对于彩色相机的变换矩阵为TD-RGB，则
式中fxRGB、fyRGB分别为彩色相机x、y方向的焦距，x0RGB、y0RGB为彩色相机的像主点；
TD-RGB＝(RD-RGB|tD-RGB)，RD-RGB和tD-RGB分别为深度相机坐标系相对于彩色相机坐标系的旋转矩阵和平移向量；
令任一点在深度相机坐标系下的坐标为(XD,YD,ZD)，则其在彩色摄像机坐标系下的三维坐标(XRGB,YRGB,ZRGB)为：
在彩色图像坐标系下的坐标(xRGB,yRGB)为
其中，
本设计点云融合的算法，只存储了真实表面一定范围内的区域，因而称之为TSDF算法。图5中，黑色平面表示表面，上面的栅格体元表示表面背面的点，下方的格栅体元表示表面前面的点。空间栅格的表达方式对于Kinect传感器来说有很多优点：它隐含地表达了深度数据的随机性；能综合考虑所有的测量值；新的点云数据能够对点云空洞进行填充和修复；对深度数据进行了隐含的编码，存储了表面的几何信息；能将连续的表面离散化进行体元表达；适应相机的移动，便于利用GPGPU加速并行实现以及为后续的光线投射和构三角网提供方便的存储结构等。只要得到深度相机的绝对相机姿态，并标定出彩色相机的内参数以及彩色相机相对于深度相机的姿态矩阵，就能进行纹理映射。
为了验证本发明所给方法的有效性，下面将主要从几何重建和纹理重建两方面进行分析。在对重建结果进行定量分析之前，首先在视觉上对模型进行一些定性分析，主要用两组试验结果进行说明，如图7和图8所示，为了便于描述，分别将两组试验主角笼统地称为女孩和男孩。
从整体上来看，两组试验结果已经能够较好地表现主角本身的形体特征，发型、五官、体型、衣着等外在特征一目了然。模型也较为平滑细腻，而不是毛糙的视觉效果，并没有出现“环闭合”或者错位现象，整体质量较高。
人体的特征点主要有头顶点、肩峰点、肘点、膝点、腕点、踝点等关键点；人的特征尺寸主要有颈围、肩宽、胸围、腰围、臀围等。由于本文模特均为真人，身体尺寸涉及个人隐私，另外由于衣着的关系也给测量带来了一定的困难。为了保护当事人的个人隐私，同时为了量测方便，将在以上特征尺寸的基础上新定义一些新的人体特征尺寸：比如眼宽、眼内角间距、眼外角间距、嘴角间距等。本方法采用的特征度量尺寸名称及定义如下表所示：
表1人体特征尺寸名称及定义
名称 定义
眼宽 眼睛内眼角到外眼角的间距
眼内角间距 左右两只眼睛眼内角的间距
眼外角间距 左右两只眼睛眼外角的间距
嘴角间距 左右嘴角的间距
肩宽 两肩点之间的间距
表2女孩真实测量值与模型测量值(单位：mm)
内容 真实测量值 模型测量值 模型误差
左眼宽 30 31.53 1.53
右眼宽 31 31.67 0.67
眼内角间距 37 41.37 4.37
眼外角间距 95 99.70 4.70
嘴角间距 49 48.11 -0.89
肩宽 390 388.41 -1.59
表3男孩真实测量值与模型测量值(单位：mm)
内容 真实测量值 模型测量值 模型误差
左眼宽 38 35.28 -2.72
右眼宽 39 36.45 -2.55
眼内角间距 34 35.93 1.93
眼外角间距 101 107.03 6.03
嘴角间距 59 54.45 -4.55
肩宽 419 413.64 -5.36
从表中数据可以看出，从测量结果来看，模型的测量值相较于真实测量值相差并不大。
在纹理方面，从图中可以看出，经过纹理映射后的三维模型更能逼真地表达人物的表情、神态以及衣着特征，在几何模型上没有表现出来的某些特征比如纽扣、衣服花纹、眉毛等都能很好的表现出来，使得原本略显呆板的三维模型经过纹理映射以后更加生动逼真。
本发明不仅能反映人体三维轮廓，纹理细节的映射也更精细、真实，人体模型更加逼真，并能输出高保真彩色影像；另外本发明提供了一个廉价、全自动的人体重建系统，突破了传统人体重建方案的费用、精度限制等问题，适用性很广。本发明能够很好的改善现有技术中存在的建模方法成本高、缺乏纹理表现能力、稳定性差、应用范围受局限的不足。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种采用双Kinect和旋转平台的人体实时建模系统，包括利用Kinect获得的人体深度数据得到实时重建的几何模型的几何重建模块；用来对两个Kinect的彩色相机内参数以及彩色相机和深度相机的相对位姿关系进行标定的相机标定模块；利用彩色相机得到的纹理数据以及相机标定模块的结果对人体三维几何模型进行纹理映射的纹理映射模块；
其特征在于：所述几何重建模块包括两台Kinect、旋转平台、点云滤波模块、点云配准模块和点云融合模块；其中两台Kinect相对设置，两台Kinect的中间设置有旋转平台；点云滤波模块用于将Kinect扫描获得的人体深度数据进行滤波去噪处理；点云配准模块用于将Kinect扫描的所有点云深度数据纳入到统一的坐标系中；点云融合模块用于去掉相邻点云间重叠部分的冗余数据，保证点云整体数量合适并且表面平滑；
所述相机标定模块包括彩色相机内参数标定模块和彩色相机与深度相机相对位姿标定模块；其中彩色相机内参数标定模块利用基于纯平显示器标定相机的方法获得两个Kinect的彩色相机内参数；彩色相机与深度相机相对位姿标定模块借助辅助红外光源，利用棋盘法解算出两个Kinect深度相机相对于彩色相机的旋转矩阵和平移向量；
所述纹理映射模块采用基于视角的纹理映射模块。
2.一种采用双Kinect和旋转平台的人体实时建模系统的建模方法，其特征在于：包括以下步骤：
1)进行人体扫描：固定两台Kinect，待测者站在旋转平台上后，两台Kinect分别对人的上半身和下半身进行扫描，完成扫描后得到深度图像数据；
2)点云滤波模块对深度图像数据进行滤波去噪：将人体扫描得到的深度图像数据采用双边滤波法进行滤波，经滤波后输出滤波图像；
3)分别进行两台Kinect的相机跟踪与标定：
3.1)点云配准：由点云配准模块采用点到面的ICP算法，即采用基于GPU并行计算的ICP改进配准算法进行点云配准，将点云数据统一变换到世界坐标系中；
3.2)相机标定；
4)对已经配准好的点云进行融合操作：通过ICP算法得到相机的绝对姿态，转换到统一的世界坐标后，然后由点云融合模块进行点云融合；融合后得到的有符号的距离方程变量存放在体元中；空间栅格最前面一层的每一个体元，利用GPU沿着Kinect的Z轴方向，即垂直于Kinect镜头向镜头外伸出的方向，并行地由前向后扫，将体元转换到世界坐标系，然后再转到相机坐标系得到对应的顶点；
5)由纹理映射模块进行纹理映射得到最终的人体三维模型：采用UV图，使三维模型的顶点坐标与纹理图像的像素坐标产生对应关系，将纹理映射到三维模型上，达到高质量的纹理影像。
3.如权利要求2所述的一种采用双Kinect和旋转平台的人体实时建模系统的建模方法，其特征在于：滤波去噪采用的双边滤波法计算方法如下式所示：
公示2-1中，I(i，j)表示输入图像，I′(x，y)表示滤波后的输出图像，Ω表示以点(x，y)为中心点的(2N+1)×(2N+1)大小的邻域范围，N为自然数，w(i，j)为滤波器在(i，j)处的权值，wp为归一化系数，即输出像素的灰度值为以输入像素为中心点一定邻域内像素的灰度值的加权平均值；在双边滤波中，权值系数由图像空间域权值Ws(i，j)和图像灰度域权值Wr(i，j)两部分组成，即：
w(i,j)＝ws(i,j)×wr(i,j) (2-2)
公式2-2中Ws(i，j)、Wr(i，j)算法如公式2-3所示，其中δ含义为二维图像间运算过程的方差，x,y为中心点(x，y)的坐标值；
4.如权利要求2所述的一种采用双Kinect和旋转平台的人体实时建模系统的建模方法，其特征在于：点云配准采用的点到面的ICP算法步骤如下：
A)利用投影法确定点的对应关系：基于前一帧得到的相机参数，每一个GPU线程将前一帧的点转换到相机坐标系；然后通过透视投影将所有点投影到像平面坐标系中，前一帧与当前帧投影到相同像平面上的点为对应点；
B)利用点到平面误差最小的机制确定相机姿态矩阵，将步骤A中确定的两个点之间的切线距离定义为误差，所有点的总误差计算公式为：
Di(u)＞0表示当前点云中的一点u存在对应点，Tg,i是一个4×4的矩阵，表示当前帧在世界坐标系下的姿态，vi(u)表示第i帧中点u的顶点坐标，表示预测帧中u点对应点的顶点坐标，表示对应点的法向量，Tg,i是以Tg,i-1为初始值，然后通过每一次ICP迭代增量相加所得到的相机姿态变换矩阵；
C)将式3-1线性化，通过最小二乘解算得到最优解Tg,i，线性化首先通过树约简法在GPU上计算并相加，最优的6×6线性系统在CPU上通过柯列斯基分解，具体线性方程如下：
其中
式中tx,ty,tz代表点x相对三个坐标轴的平移向量，β,γ,α代表绕三个坐标轴旋转的角度，A、b为科列斯基分解的辅助参数。
5.如权利要求2所述的一种采用双Kinect和旋转平台的人体实时建模系统的建模方法，其特征在于：相机标定包括彩色相机内参数标定、彩色相机与深度相机相对位姿标定；
所述彩色相机内参数标定，是由彩色相机内参数标定模块将纯平显示器当作控制场，在屏幕上绘制带编码的标志点；在拍照后自动提取编码标志，并根据编码提取出其他非编码标志点，在提取所有相片标志点后进行光束法平差解算：将拍摄的照片导入相机参数解算软件，软件自动提取编码标志点，并根据编码标志提取周围其他的非编码标志点，最后进行平差解算，得到内参数像主点、焦距的信息；
所述彩色相机与深度相机相对位姿标定，是由彩色相机与深度相机相对位姿标定模块在辅助红外光源的补光下，将Kinect深度相机和彩色相机之间的位姿进行标定，得到深度相机相对于彩色相机旋转矩阵以及平移向量；
两个Kinect均采用上述步骤完成相机跟踪与标定。
6.如权利要求2所述的一种采用双Kinect和旋转平台的人体实时建模系统的建模方法，其特征在于：点云融合算法如下：Kinect的体元数值按照公式4-1、4-2进行融合处理，式中Di+1(x)表示当前点云对应的距离值，Di(x)表示原来的栅格距离值，wi+1(x)为当前权值，Wi(x)为前一权值，Wi+1(x)为新的权值，新的权值为当前权值和前一权值之和：
Wi+1(x)＝Wi(x)+wi+1(x) (4-2)
融合后的数据存储在体元中，将体元转换到世界坐标系，然后转到相机坐标系得到对应的顶点；如果该点位于相机视锥体，则计算符号距离方程sdfi+1，然后按如下公式计算截断符号距离方程tsdfi+1：得到的截断符号距离结果用+、-号来表示；
7.如权利要求2所述的一种采用双Kinect和旋转平台的人体实时建模系统的建模方法，其特征在于：三维模型的顶点坐标与纹理图像的像素坐标通过坐标变换产生对应关系，坐标变换方法如下：
令彩色相机的内参数矩阵为KRGB，深度相机相对于彩色相机的变换矩阵为TD-RGB，则
式中fxRGB、fyRGB分别为彩色相机x、y方向的焦距，x0RGB、y0RGB为彩色相机的像主点；
TD-RGB＝(RD-RGB|tD-RGB)，RD-RGB和tD-RGB分别为深度相机坐标系相对于彩色相机坐标系的旋转矩阵和平移向量；
令任一点在深度相机坐标系下的坐标为(XD,YD,ZD)，则其在彩色摄像机坐标系下的三维坐标(XRGB,YRGB,ZRGB)为：
在彩色图像坐标系下的坐标(xRGB,yRGB)为
其中，
8.如权利要求5所述的一种采用双Kinect和旋转平台的人体实时建模系统的建模方法，其特征在于：纯平显示器与相机平面的夹角不超过45°。
9.如权利要求5所述的一种采用双Kinect和旋转平台的人体实时建模系统的建模方法，其特征在于：彩色相机内参数标定使用9幅图像，纯平显示器分别成像在相片中的左上、正上、右上、正左、正中、正右、左下、正下、右下九个位置。
CN201811077250.XA 2018-09-15 2018-09-15 采用双Kinect和旋转平台的人体实时建模系统及其建模方法 Withdrawn CN109242960A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811077250.XA CN109242960A (zh) 2018-09-15 2018-09-15 采用双Kinect和旋转平台的人体实时建模系统及其建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811077250.XA CN109242960A (zh) 2018-09-15 2018-09-15 采用双Kinect和旋转平台的人体实时建模系统及其建模方法

Publications (1)

Publication Number Publication Date
CN109242960A true CN109242960A (zh) 2019-01-18

Family

ID=65058657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811077250.XA Withdrawn CN109242960A (zh) 2018-09-15 2018-09-15 采用双Kinect和旋转平台的人体实时建模系统及其建模方法

Country Status (1)

Country Link
CN (1) CN109242960A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903326A (zh) * 2019-02-28 2019-06-18 北京百度网讯科技有限公司 用于确定工程机械设备的旋转角度的方法和装置
CN109975793A (zh) * 2019-04-25 2019-07-05 苏州元联传感技术有限公司 一种激光二维测距传感器的标定方法
CN110060351A (zh) * 2019-04-01 2019-07-26 叠境数字科技（上海）有限公司 一种基于rgbd相机的动态三维人物重建和直播方法
CN110163947A (zh) * 2019-05-24 2019-08-23 北京华捷艾米科技有限公司 一种纹理贴图的方法和相关装置
CN110269624A (zh) * 2019-07-16 2019-09-24 浙江伽奈维医疗科技有限公司 一种基于rgbd相机的呼吸监测装置及其呼吸监测方法
CN111199576A (zh) * 2019-12-25 2020-05-26 中国人民解放军军事科学院国防科技创新研究院 一种基于移动平台的室外大范围人体姿态重建方法
CN111768370A (zh) * 2020-06-03 2020-10-13 北京汉飞航空科技有限公司 一种基于rgb-d相机的航空发动机叶片检测方法
CN113379899A (zh) * 2021-06-22 2021-09-10 南京工程学院 一种建筑工程工作面区域图像自动提取方法
CN113587816A (zh) * 2021-08-04 2021-11-02 天津微深联创科技有限公司 一种阵列式大场景结构光三维扫描测量方法及其装置
CN114627250A (zh) * 2022-05-13 2022-06-14 武汉纺织大学 一种基于Kinect的人体站姿三维重建与测量的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
WO2016037486A1 (zh) * 2014-09-10 2016-03-17 深圳大学 人体三维成像方法及系统
CN106709947A (zh) * 2016-12-20 2017-05-24 西安交通大学 一种基于rgbd相机的三维人体快速建模系统
WO2018129715A1 (zh) * 2017-01-13 2018-07-19 浙江大学 一种同时定位与稠密三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
WO2016037486A1 (zh) * 2014-09-10 2016-03-17 深圳大学 人体三维成像方法及系统
CN106709947A (zh) * 2016-12-20 2017-05-24 西安交通大学 一种基于rgbd相机的三维人体快速建模系统
WO2018129715A1 (zh) * 2017-01-13 2018-07-19 浙江大学 一种同时定位与稠密三维重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
RICHARD A. NEWCOMBE: "KinectFusion: Real-Time Dense Surface Mapping and Tracking", 《2011 10TH IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY》 *
李蕊: "基于 Kinect 的三维人体重建技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
郭连朋: "基于kinect 传感器的物体三维重建", 《四川兵工学报》 *
马银中: "基于Kinect的三维场景实时重建及相关技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11182928B2 (en) 2019-02-28 2021-11-23 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for determining rotation angle of engineering mechanical device
CN109903326A (zh) * 2019-02-28 2019-06-18 北京百度网讯科技有限公司 用于确定工程机械设备的旋转角度的方法和装置
CN110060351A (zh) * 2019-04-01 2019-07-26 叠境数字科技（上海）有限公司 一种基于rgbd相机的动态三维人物重建和直播方法
CN110060351B (zh) * 2019-04-01 2023-04-07 叠境数字科技（上海）有限公司 一种基于rgbd相机的动态三维人物重建和直播方法
CN109975793A (zh) * 2019-04-25 2019-07-05 苏州元联传感技术有限公司 一种激光二维测距传感器的标定方法
CN110163947A (zh) * 2019-05-24 2019-08-23 北京华捷艾米科技有限公司 一种纹理贴图的方法和相关装置
CN110269624A (zh) * 2019-07-16 2019-09-24 浙江伽奈维医疗科技有限公司 一种基于rgbd相机的呼吸监测装置及其呼吸监测方法
CN110269624B (zh) * 2019-07-16 2024-02-06 浙江伽奈维医疗科技有限公司 一种基于rgbd相机的呼吸监测装置及其呼吸监测方法
CN111199576A (zh) * 2019-12-25 2020-05-26 中国人民解放军军事科学院国防科技创新研究院 一种基于移动平台的室外大范围人体姿态重建方法
CN111199576B (zh) * 2019-12-25 2023-08-18 中国人民解放军军事科学院国防科技创新研究院 一种基于移动平台的室外大范围人体姿态重建方法
CN111768370A (zh) * 2020-06-03 2020-10-13 北京汉飞航空科技有限公司 一种基于rgb-d相机的航空发动机叶片检测方法
CN111768370B (zh) * 2020-06-03 2022-05-10 北京汉飞航空科技有限公司 一种基于rgb-d相机的航空发动机叶片检测方法
CN113379899A (zh) * 2021-06-22 2021-09-10 南京工程学院 一种建筑工程工作面区域图像自动提取方法
CN113379899B (zh) * 2021-06-22 2023-09-19 南京工程学院 一种建筑工程工作面区域图像自动提取方法
CN113587816A (zh) * 2021-08-04 2021-11-02 天津微深联创科技有限公司 一种阵列式大场景结构光三维扫描测量方法及其装置
CN114627250A (zh) * 2022-05-13 2022-06-14 武汉纺织大学 一种基于Kinect的人体站姿三维重建与测量的方法

Similar Documents

Publication Publication Date Title
CN109242960A (zh) 采用双Kinect和旋转平台的人体实时建模系统及其建模方法
CN101916454B (zh) 基于网格变形和连续优化的高分辨率人脸重建方法
CN103021017B (zh) 基于gpu加速的三维场景重建方法
CN109584349B (zh) 用于渲染材料属性的方法和设备
Xia et al. Computer-assisted three-dimensional surgical planning and simulation: 3D color facial model generation
CN103955963B (zh) 一种基于 Kinect设备的数字化人体三维重建方法及系统
US7200281B2 (en) System and method for image-based surface detail transfer
CN101779460B (zh) 电子镜装置
CN101339670B (zh) 一种计算机辅助的三维颅面复原方法
Lu et al. Illustrative interactive stipple rendering
Wu et al. Interactive normal reconstruction from a single image
CN109801380A (zh) 一种虚拟试衣的方法、装置、存储介质及计算机设备
EP1334470A2 (en) Facial animation of a personalized 3-d face model using a control mesh
CN106373178A (zh) 生成人工图像的装置和方法
CN107484428A (zh) 用于显示对象的方法
CN110197462A (zh) 一种人脸图像实时美化与纹理合成方法
CN108305326A (zh) 一种混合虚拟现实的方法
EP4036863A1 (en) Human body model reconstruction method and reconstruction system, and storage medium
CN109389682A (zh) 一种三维人脸模型自动调整方法
Wu et al. Neuralhdhair: Automatic high-fidelity hair modeling from a single image using implicit neural representations
US8633926B2 (en) Mesoscopic geometry modulation
Tarini et al. Texturing faces
Lu et al. Example-based volume illustrations
CN108549484B (zh) 基于人体动态姿态的人机交互方法和装置
KR100942026B1 (ko) 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴메이크업 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190118

WW01 Invention patent application withdrawn after publication