CN107341844A - 一种基于多Kinect的实时三维人体绘制方法 - Google Patents
一种基于多Kinect的实时三维人体绘制方法 Download PDFInfo
- Publication number
- CN107341844A CN107341844A CN201710472292.2A CN201710472292A CN107341844A CN 107341844 A CN107341844 A CN 107341844A CN 201710472292 A CN201710472292 A CN 201710472292A CN 107341844 A CN107341844 A CN 107341844A
- Authority
- CN
- China
- Prior art keywords
- kinect
- human body
- cloud
- registration
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种基于多Kinect的实时三维人体绘制方法，包括以下步骤：（1）采集每一个Kinect中的数据；（2）对每一个Kinect做准确的标定；（3）三维重构和人体检测；（4）人体点云的几何配准；（5）完成最后的三维人体绘制。本方法采用多个Kinect在环绕人体360°，通过网络连接到一台主机上，完成多台Kinect的精确同步，准确标定和三维人体绘制。能够用于实时的人机交互，与传统的扫描设备相比，系统搭建的成本远远降低，与单台Kinect直接进行三维人体绘制相比，精度和模型准确性大大的提高，能够解决一定的遮挡问题。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种基于多Kinect的实时三维人体绘制方法。
背景技术
三维人体绘制是计算机图形学和计算机视觉中一个重要的研究课题，也是一个研究热点。重建的三维人体模型可应用于虚拟现实，动漫产业，服装工业、体育运动、医疗等众多领域。传统的三维扫描系统目前比较成熟，但系统操作复杂，价格昂贵。微软的Kinect体积小，价格低廉，易用性较强，单一的Kinect由于视角有限，不能获取捕捉完整的人体数据。
三维模型的重构可分为两种：累积从单一的传感器获取连续的数据，或校准从多个固定的传感器获取的数据。多个传感器数据的处理核心就是对获取点云数据进行配准。点云的配准算法可以分为两大类：成对配准和多视角配准。成对配准每次配准两个点云，多视角配准算法同时配准多个点云。本方法采用多个Kinect，可以有效的解决单一Kinect的视角问题，获取完整的人体数据。
发明内容
本发明针对现有技术的不足，提出一种基于多Kinect的实时三维人体绘制方法。该方法硬件成本低，操作部署简单，实时性和准确性高，人体点云完整。
为达到上述目的，本发明采用如下技术方案：
一种基于多Kinect的实时三维人体绘制方法，包括如下步骤：
步骤一，采集每一个Kinect中的数据：多台Kinect通过在不同的视角下采集记录原始数据，为了360°捕捉到人体的姿态，将Kinect两两成360°/n放置，其中n为Kinect的个数，如果要提高绘制人体的质量，降低点云漂移，人与Kinect的距离应该在2-3m的范围内；每台Kinect分别记录彩色图像，深度图像；
步骤二，对每一个Kinect做准确的标定：在每次搭建硬件系统的时候只需要进行一次，利用非线性优化法修正镜头畸变引起的参数误差，得到Kinect的内参和外参；然后做Kinect的视场的标定；
步骤三，三维重构和人体检测：采用区域增长算法获取人体的轮廓，对图像进行降噪，利用膨胀和腐蚀消除图像中的一些噪声区域，精确人体的轮廓，利用这些数据将人体轮廓转换为点云数据；
步骤四，人体点云的几何配准：先对得到的点云进行去噪处理，再基于标定所得到的参数，调整点云，选择一个参考点云，依次对点云进行粗配准，对调整后的点云利用迭代最近点算法进行精配准，得到完整的点云；
步骤五，完成最后的三维人体绘制。
与现有技术相比，本发明的有益效果为：
本方法采用多个Kinect在环绕人体360°，通过网络连接到一台主机上，完成多台Kinect的精确同步，准确标定和三维人体绘制。能够用于实时的人机交互，与传统的扫描设备相比，系统搭建的成本远远降低，与单台Kinect直接进行三维人体绘制相比，精度和模型准确性大大的提高，能够解决一定的遮挡问题。从原始的Kinect得到的点云数据经过几何配准，以及消除噪声之后，精度能够达到要求。
附图说明
图1为基于多Kinect的实时三维人体绘制方法流程图。
图2为系统硬件示意图。
具体实施方式
下面结合附图，对本发明的具体实施例做进一步的说明。
如图1和图2所示，一种基于多Kinect的实时三维人体绘制方法，包括如下步骤：
步骤一，采集每一个Kinect中的数据：多台Kinect通过在不同的视角下采集记录原始数据，为了360°捕捉到人体的姿态，将Kinect两两成360°/n放置，其中n为Kinect的个数，本实施例至少需要3台Kinect。如果要提高绘制人体的质量，降低点云漂移，人与Kinect的距离应该在2-3m的范围内；每台Kinect分别记录彩色图像，深度图像；
步骤二，对每一个Kinect做准确的标定：在每次搭建硬件系统的时候只需要进行一次，利用非线性优化法修正镜头畸变引起的参数误差，得到Kinect的内参和外参；然后做Kinect的视场的标定；
步骤三，三维重构和人体检测：采用区域增长算法获取人体的轮廓，对图像进行降噪，利用膨胀和腐蚀消除图像中的一些噪声区域，精确人体的轮廓，利用这些数据将人体轮廓转换为点云数据；
步骤四，人体点云的几何配准：先对得到的点云进行去噪处理，再基于标定所得到的参数，调整点云，选择一个参考点云，依次对点云进行粗配准，对调整后的点云利用迭代最近点(iterative closest point，ICP)算法进行精配准，得到完整的点云；
步骤五，完成最后的三维人体绘制。
系统具体硬件设备：Intel i7-6700k CPU，16G RAM，Windows 7系统，视频流为30FPS，确保视频的流畅度，每一帧图片的处理时间范围：0.025s-0.03s。
所述步骤四中的粗配准方法的主要过程如下：
1)初始化：确定最大迭代次数L；
2)选取共面四点集合：从点云上选取一个共面的四点集合，记为B；
3)寻找全等集合：在点云Q上寻找与B全等的所有集合，记为U＝{U1，U2，…Us}；
4)计算刚体变换：对于每一个U中的Ui，根据B和Ui的对应关系，求得刚体变换Ti，并计算配准精度，如果大于当前最优配准精度，则将Ti设置为当前最优变换，并更新当前最优配准精度，i的取值范围是1-N之间的整数；
5)迭代和终止：如果达到当前最大迭代次数，则终止算法；否则，返回步骤2)。
所述步骤四中的精配准方法的主要过程如下：
a)初始化：两个需要配准的点云P和Q；
b)寻找最近点对：对每一个Pi属于P，寻找它在Q中的最近点，将其编号为ci；
c)计算最优变化：通过最小化的误差函数来得到刚体变换；
d)变换P和终止：对于P中的每一个点pi，令如果满足终止条件则退出；否则返回步骤b)，是一个3×3的旋转矩阵，t是一个平移向量。
所述步骤b)采用Kd-tree平衡二叉搜索数，降低时间复杂度，Kd-tree用来高效的搜索一个点的k-近邻；所述步骤c)，采用SVD分解，有效的提高精度和稳定性；所述终止条件有：达到最大迭代次数；相邻两次迭代的最优变换矩阵的改变量小于给定阈值；相邻两次迭代的函数E的改变量小于给定阈值。
Claims (4)
1.一种基于多Kinect的实时三维人体绘制方法，其特征在于，包括如下步骤：
步骤一，采集每一个Kinect中的数据：多台Kinect通过在不同的视角下采集记录原始数据，为了360°捕捉到人体的姿态，将Kinect两两成360°/n放置，其中n为Kinect的个数，如果要提高绘制人体的质量，降低点云漂移，人与Kinect的距离应该在2-3m的范围内；每台Kinect分别记录彩色图像，深度图像；
步骤二，对每一个Kinect做准确的标定：在每次搭建硬件系统的时候只需要进行一次，利用非线性优化法修正镜头畸变引起的参数误差，得到Kinect的内参和外参；然后做Kinect的视场的标定；
步骤三，三维重构和人体检测：采用区域增长算法获取人体的轮廓，对图像进行降噪，利用膨胀和腐蚀消除图像中的一些噪声区域，精确人体的轮廓，利用这些数据将人体轮廓转换为点云数据；
步骤四，人体点云的几何配准：先对得到的点云进行去噪处理，再基于标定所得到的参数，调整点云，选择一个参考点云，依次对点云进行粗配准，对调整后的点云利用迭代最近点算法进行精配准，得到完整的点云；
步骤五，完成最后的三维人体绘制。
2.根据权利要求1所述的基于多Kinect的实时三维人体绘制方法，其特征在于，所述步骤四中的粗配准方法的主要过程如下：
1)初始化：确定最大迭代次数L；
2)选取共面四点集合：从点云上选取一个共面的四点集合，记为B；
3)寻找全等集合：在点云Q上寻找与B全等的所有集合，记为U＝{U1，U2，…Us}；
4)计算刚体变换：对于每一个U中的Ui，根据B和Ui的对应关系，求得刚体变换Ti，并计算配准精度，如果大于当前最优配准精度，则将Ti设置为当前最优变换，并更新当前最优配准精度；其中i的取值范围是1-N之间的整数；
5)迭代和终止：如果达到当前最大迭代次数，则终止算法；否则，返回步骤2)。
3.根据权利要求1所述的基于多Kinect的实时三维人体绘制方法，其特征在于，所述步骤四中的精配准方法的主要过程如下：
a)初始化：两个需要配准的点云P和Q；
b)寻找最近点对：对每一个Pi属于P，寻找它在Q中的最近点，将其编号为ci；
c)计算最优变化：通过最小化的误差函数来得到刚体变换；
d)变换P和终止：对于P中的每一个点pi，令如果满足终止条件则退出；否则返回步骤b)，其中，是一个3×3的旋转矩阵，t是一个平移向量。
4.根据权利要求3所述的基于多Kinect的实时三维人体绘制方法，其特征在于，所述步骤b)采用Kd-tree平衡二叉搜索数，降低时间复杂度，Kd-tree用来高效的搜索一个点的k-近邻；所述步骤c)，采用SVD分解，有效的提高精度和稳定性；所述终止条件有：达到最大迭代次数；相邻两次迭代的最优变换矩阵的改变量小于给定阈值；相邻两次迭代的函数E的改变量小于给定阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710472292.2A CN107341844A (zh) | 2017-06-21 | 2017-06-21 | 一种基于多Kinect的实时三维人体绘制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710472292.2A CN107341844A (zh) | 2017-06-21 | 2017-06-21 | 一种基于多Kinect的实时三维人体绘制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107341844A true CN107341844A (zh) | 2017-11-10 |
Family
ID=60220817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710472292.2A Pending CN107341844A (zh) | 2017-06-21 | 2017-06-21 | 一种基于多Kinect的实时三维人体绘制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107341844A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108151712A (zh) * | 2017-11-13 | 2018-06-12 | 合肥阿巴赛信息科技有限公司 | 一种人体三维建模及测量方法和系统 |
| CN108269302A (zh) * | 2018-01-19 | 2018-07-10 | 浙江大学 | 一种基于简易测量服的三维人体快速重建方法 |
| CN109166134A (zh) * | 2018-08-17 | 2019-01-08 | 安徽信息工程学院 | 基于多Kinect的人体动态三维重建方法 |
| CN109202912A (zh) * | 2018-11-15 | 2019-01-15 | 太原理工大学 | 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法 |
| CN109875562A (zh) * | 2018-12-21 | 2019-06-14 | 鲁浩成 | 一种基于体感设备多视觉分析的人体体型监测系统 |
| CN111540040A (zh) * | 2020-04-20 | 2020-08-14 | 上海曼恒数字技术股份有限公司 | 一种基于点云数据进行模型构建方法、装置、存储介质 |
| CN111582081A (zh) * | 2020-04-24 | 2020-08-25 | 西安交通大学 | 一种多Kinect串联的步态数据时空合并方法与测量装置 |
| CN113313821A (zh) * | 2021-06-24 | 2021-08-27 | 河北农业大学 | 一种快速三维重建系统和方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101154289A (zh) * | 2007-07-26 | 2008-04-02 | 上海交通大学 | 基于多目相机的三维人体运动跟踪的方法 |
| CN104126989A (zh) * | 2014-07-30 | 2014-11-05 | 福州大学 | 一种基于多台rgb-d摄像机下的足部表面三维信息获取方法 |
| CN104992441A (zh) * | 2015-07-08 | 2015-10-21 | 华中科技大学 | 一种面向个性化虚拟试衣的真实人体三维建模方法 |
| CN105989604A (zh) * | 2016-02-18 | 2016-10-05 | 合肥工业大学 | 一种基于kinect的目标物体三维彩色点云生成方法 |
| CN106204718A (zh) * | 2016-06-28 | 2016-12-07 | 华南理工大学 | 一种基于单个Kinect的简易高效三维人体重建方法 |
| CN106709947A (zh) * | 2016-12-20 | 2017-05-24 | 西安交通大学 | 一种基于rgbd相机的三维人体快速建模系统 |
-
2017
- 2017-06-21 CN CN201710472292.2A patent/CN107341844A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101154289A (zh) * | 2007-07-26 | 2008-04-02 | 上海交通大学 | 基于多目相机的三维人体运动跟踪的方法 |
| CN104126989A (zh) * | 2014-07-30 | 2014-11-05 | 福州大学 | 一种基于多台rgb-d摄像机下的足部表面三维信息获取方法 |
| CN104992441A (zh) * | 2015-07-08 | 2015-10-21 | 华中科技大学 | 一种面向个性化虚拟试衣的真实人体三维建模方法 |
| CN105989604A (zh) * | 2016-02-18 | 2016-10-05 | 合肥工业大学 | 一种基于kinect的目标物体三维彩色点云生成方法 |
| CN106204718A (zh) * | 2016-06-28 | 2016-12-07 | 华南理工大学 | 一种基于单个Kinect的简易高效三维人体重建方法 |
| CN106709947A (zh) * | 2016-12-20 | 2017-05-24 | 西安交通大学 | 一种基于rgbd相机的三维人体快速建模系统 |
Non-Patent Citations (2)
| Title |
|---|
| 朱江涛等: "基于多kinect的三维人体重建系统", 《东华大学学报（自然科学版）》 * |
| 韩宝昌: "基于区域的自动点云配准算法", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108151712A (zh) * | 2017-11-13 | 2018-06-12 | 合肥阿巴赛信息科技有限公司 | 一种人体三维建模及测量方法和系统 |
| CN108151712B (zh) * | 2017-11-13 | 2020-08-07 | 合肥阿巴赛信息科技有限公司 | 一种人体三维建模及测量方法和系统 |
| CN108269302A (zh) * | 2018-01-19 | 2018-07-10 | 浙江大学 | 一种基于简易测量服的三维人体快速重建方法 |
| CN109166134A (zh) * | 2018-08-17 | 2019-01-08 | 安徽信息工程学院 | 基于多Kinect的人体动态三维重建方法 |
| CN109202912A (zh) * | 2018-11-15 | 2019-01-15 | 太原理工大学 | 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法 |
| CN109202912B (zh) * | 2018-11-15 | 2020-09-11 | 太原理工大学 | 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法 |
| CN109875562A (zh) * | 2018-12-21 | 2019-06-14 | 鲁浩成 | 一种基于体感设备多视觉分析的人体体型监测系统 |
| CN111540040A (zh) * | 2020-04-20 | 2020-08-14 | 上海曼恒数字技术股份有限公司 | 一种基于点云数据进行模型构建方法、装置、存储介质 |
| CN111582081A (zh) * | 2020-04-24 | 2020-08-25 | 西安交通大学 | 一种多Kinect串联的步态数据时空合并方法与测量装置 |
| CN113313821A (zh) * | 2021-06-24 | 2021-08-27 | 河北农业大学 | 一种快速三维重建系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107341844A (zh) | 一种基于多Kinect的实时三维人体绘制方法 | |
| CN108765363B (zh) | 一种基于人工智能的冠脉cta自动后处理系统 | |
| CN105069746B (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 | |
| CN105744256B (zh) | 基于图谱视觉显著的立体图像质量客观评价方法 | |
| CN104376594B (zh) | 三维人脸建模方法和装置 | |
| CN104252700B (zh) | 一种红外图像的直方图均衡化方法 | |
| CN110348330A (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
| CN110459301B (zh) | 基于热力图和面部关键点的脑部神经外科导航配准方法 | |
| Lü et al. | Leaf area measurement based on image processing | |
| CN107229920B (zh) | 基于整合深度典型时间规整及相关修正的行为识别方法 | |
| CN109887030A (zh) | 基于cad稀疏模板的无纹理金属零件图像位姿检测方法 | |
| CN101883291A (zh) | 感兴趣区域增强的视点绘制方法 | |
| CN106296825B (zh) | 一种仿生三维信息生成系统及方法 | |
| CN101639947A (zh) | 基于图像的植物三维形态测量与重建方法及系统 | |
| CN106204701A (zh) | 一种基于光探针插值动态计算间接反射高光的渲染方法 | |
| CN104881866A (zh) | 一种扩展小孔成像模型的鱼眼相机矫正与标定方法 | |
| CN106709931A (zh) | 一种脸谱映射至人脸的方法、脸谱映射装置 | |
| CN104376599A (zh) | 一种简便的三维头部模型生成系统 | |
| CN108805924A (zh) | 一种百合花采摘点定位方法及系统 | |
| Guo et al. | Multifeature extracting CNN with concatenation for image denoising | |
| CN114596409A (zh) | 一种带纹理的人脸三维网格模型获取方法 | |
| CN112365589B (zh) | 一种虚拟三维场景展示方法、装置及系统 | |
| CN111915725B (zh) | 一种基于运动重建的人体测量方法 | |
| CN116740703B (zh) | 一种基于点云信息的小麦表型参数变化率估测方法和装置 | |
| CN104952053B (zh) | 基于非线性压缩感知的人脸图像超分辨重构方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171110 |
|
| RJ01 | Rejection of invention patent application after publication |