CN101650834A - 复杂场景下人体表面三维重建方法 - Google Patents
复杂场景下人体表面三维重建方法 Download PDFInfo
- Publication number
- CN101650834A CN101650834A CN200910054924A CN200910054924A CN101650834A CN 101650834 A CN101650834 A CN 101650834A CN 200910054924 A CN200910054924 A CN 200910054924A CN 200910054924 A CN200910054924 A CN 200910054924A CN 101650834 A CN101650834 A CN 101650834A
- Authority
- CN
- China
- Prior art keywords
- human body
- probability
- dimensional
- image
- prospect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种复杂场景下人体表面三维重建方法,基于鲁棒的图像前景提取和信息融合理论自动提取人体表面的三维信息,首先从各个摄像机采集到的多视角图像中提取人体目标的前景图像,计算出图像中各个点属于前景和背景的概率,获得前景相似概率图,再融合各幅视图的信息,计算出空间体素被人体占据的概率,进而重建人体三维表面。本发明具有易于实现、鲁棒性强、精确度高、重建速度快等优点,可以为在人机交互,虚拟现实,人体信息数字化,人体运动分析等相关应用领域提供快速可靠的人体表面三维信息。
Description
技术领域
本发明涉及一种复杂场景下人体表面三维重建方法,可广泛用于人机交互,虚拟现实,人体信息数字化,视频编码,人体运动分析等领域。属于三维重建领域。
背景技术
随着社会信息化和数字化程度的与日俱增,计算机视觉领域软硬件技术的发展,依靠单个摄像机采集的单一人体二维图像信息,已经无法满足更高级的应用。而利用多个摄像机对人体的三维信息进行采集,可以同时获取人体的尺寸,空间方位,以及颜色等信息,为相关的产业和领域(人机交互,虚拟现实,人体信息数字化,视频编码,人体运动分析等)提供了基础性的技术支撑。目前的人体表面三维重建技术都假设场景简单,并以此在图像中分割出人的剪影和颜色信息,再进行重建。一旦场景比较复杂,现有的三维重建方法往往无法重建出理想的人体三维表面,而在实际中,理想的实验室环境是较难获得的。另外,为了重建技术的实用化,重建速度也是一项重要指标。如何在复杂的场景下对人体表面进行快速三维重建成为工程实践中亟待解决的问题。
经对现有技术文献的检索发现,目前利用多个摄像机对人体表面进行三维重建的方法主要分为两类:一类是基于单一几何信息(人体剪影)的方法,另一类是基于光度测定信息的方法。G.Cheung等人于2000年发表在CVPR(计算机视觉和模式识别)上的论文“A real time system for robust 3D voxel reconstruction of humanmotions.(一个鲁棒的人体运动三维体素重建实时系统)”向人们展示了这项基于几何信息进行三维重建的技术方案。基于几何剪影的方法的优点是算法比较简单,程序执行速度快。然而,基于单一剪影的方法有一个很大的缺点:对噪声和复杂背景的抗干扰能力不强,前景提取困难。目前提出来的方案大都在条件严格受控制的室内实验室环境,不太适合实际的工程应用。K.Kutulakos等人于2000年发表在《International Journal on Computer Vision(计算机视觉国际期刊)》上的论文“Atheory of shape by space carving(一个关于通过空间雕刻进行重建的理论)”对基于光度信息进行重建的方法进行了细致地阐述。基于光度检测信息的三维重建算法相比基于剪影信息的算法有其优点,可以免去剪影提取这一步。但是这种方法有2个重要的缺点:第一,这种算法对摄像机标定的精度十分敏感,标定精度低会使算法崩溃。其次,这种算法计算复杂度很高,速度较慢。这个主要是因为需要判断物体表面每个点是否可见。所以在通常情况下,尽管基于剪影的三维重建方法对使用环境要求更苛刻,但出于实用性,人们更喜欢采用基于剪影的三维重建方法。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种复杂场景下人体表面三维重建方法,能在场景复杂、检测噪声等实际工程应用的环境下,快速地重建人体三维表面,为相关产业和技术的后续处理提供丰富和准确的信息。
为实现上述目的,本发明首先从各个摄像机采集到的多视角图像中提取人体目标的前景图像。为了融合多视角图像的信息,各视角图像中的前景图像并不是通过简单的二值化图像区别各个像素点是前景还是背景,而是首先计算出图像中各个点属于前景和背景的概率,获得前景相似概率图。这是对图像的一种隐性的前景提取,为下一步的多视图信息融合提供了丰富的信息。之后再融合各幅视图的信息,通过从当前帧的结果来预测下帧感兴趣区域,快速重建人体三维表面。
本发明的方法通过以下具体步骤实现:
1.采用多路摄像机从不同角度对人体运动进行视频采集。
2.把从各个摄像机采集到的图像读入计算机,将第一帧的整个图像作为图像感兴趣区域,将第一帧的整个人体目标活动空间作为空间感兴趣区域。
3.在图像感兴趣区域内进行背景建模,按下式计算每个像素点的前景概率,
上式中,P(br p=0)代表在r视图中像素点p是前景的先验概率,P(br p=1)代表在r视图中像素点p是背景的先验概率,P(Ir p|br p=1)代表在像素属于背景的条件下像素所在点颜色的概率分布,P(Ir p|br p=0)代表在像素属于前景的条件下像素所在点颜色的概率分布;根据每个像素点的前景概率,得到人体目标前景相似概率图。
4. 在空间感兴趣区域内对多幅图像的信息进行融合,按下式计算空间中每个三维体素被人体占据的概率:
上式中,P(Si=1)代表三维体素i被前景占据的概率;P(Si=0)代表三维体素i未被前景占据的概率;P({I}r|Si=1)代表三维体素i被占据的条件下其在r幅图像上投影的颜色概率分布,用上一步得到的前景相似概率图来模拟;P({I}r|Si=0)表示三维体素i未被占据的条件下其在r幅图像上投影的颜色概率分布,用单高斯背景建模的方法得到。
5. 对空间中每个三维体素被人体占据的概率进行滤波和二值化,去除代表人体内部的体素,获得人体表面三维体素;对投影到图像中同一区域的若干个三维体素,以图像中此区域的颜色作为距离图像平面最近的三维体素的颜色;由此获得当前帧的人体表面三维体素的坐标和颜色信息。
6. 以当前帧的人体表面三维体素在图像平面的投影为基础,构成一个矩形区域作为下一帧的图像感兴趣区域;以当前帧三维体素所在空间为基础,构成一个立方体区域作为下一帧的空间感兴趣区域;采用步骤3)、4)、5)的方法,获取下一帧的人体表面三维体素的坐标和颜色信息;直至完成复杂场景下人体表面三维重建。
本发明与现有技术相比的显著效果在于:
第一,结合单像素和超像素的信息很好地提取各个视图中每个像素点的前景概率信息;利用信息融合的方法对各个视图中的前景概率信息进行融合,最后鲁棒地获得三维体素被占据的概率,在此基础上进一步重建人体三维表面。由于利用了多个视图的信息,并用隐变量对噪声进行了建模,所以本发明对单个视图中的光照变化、摄像机标定误差、摄像机图像采集噪声、前景检测误差等干扰具有较高的鲁棒性,保证了重建的质量。
第二,通过从当前帧的结果来预测下帧感兴趣区域,利用了帧间的连续信息,对每帧需要计算的各个视角图像和空间的感兴趣区域都大大减小,使得重建速度取得很大的提升。
通过以上两点,本发明克服了现有技术在实际工程应用方面难以解决的困难:重建质量和重建速度。因此真正实现了在复杂场景下较快速度地对人体表面进行三维重建。
本发明针对在虚拟现实,人机交互,人体信息数字化,视频编码,人体运动分析等实际应用的需要,利用鲁棒的图像前景提取技术,信息融合技术和感兴趣区域的估计技术,在复杂场景下较快速地实现了高质量的的人体表面三维重建,具有重建速度快、精确度高、鲁棒性强等优点。
附图说明
图1为本发明实施例场地摄像机布置示意图。
图2为本发明实施例场景及运动人体目标。
图3为各个视角图像的前景相似概率图。
图4为重建的人体三维表面(从3个视角显示)。
具体实施方式
以下结合附图和实施例对本发明的技术方案作进一步详细说明。以下实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和过程,但本发明的保护范围不限于下述的实施例。
为了更好地理解本发明提出的方法,本实施例选取一帧同时由16个摄像机采集得到的16幅对应图像进行重建,具体实施步骤如下(使用VS2005开发平台实现):
1.采用16路摄像机从不同角度对人体运动进行视频采集,摄像机的分布如图1所示,图2为一帧视频所对应的采集得到的16幅图像。本实施例使用了两台个人计算机,一台进行图像数据采集,一台进行数据处理,即人体表面三维重建。两台电脑通过TCP/IP协议进行通信和图像数据传输。数据采集的电脑使用支持16路摄像机视频同时采集的硬盘机进行视频采集,把视频存入硬盘,并传输给另一台进行三维重建的计算机。
2.把从各个摄像机采集到的图像传入负责数据处理的计算机,将第一帧的整个图像作为图像感兴趣区域,将第一帧的整个人体目标活动空间作为空间感兴趣区域;
3.计算各视角图像的前景相似概率图。对于第一帧16路图像,把整幅图像(原始大小)作为图像感兴趣区域,在整幅图像内计算前景相似概率图。本实施例为方便起见只采用一帧作说明,而对于多帧图像则从第二帧开始,则将上帧的重建结果投影回图像平面来估计各个图像平面的感兴趣区域。相似概率图的计算仅需在感兴趣区域内,从而可以大大提高算法效率。
在图像感兴趣区域内进行背景建模,按下式计算每个像素点的前景概率,
上式中,P(br p=0)代表在r视图中像素点p是前景的先验概率,P(br p=1)代表在r视图中像素点p是背景的先验概率,P(Ir p|br p=1)代表在像素属于背景的条件下像素所在点颜色的概率分布,P(Ir p|br p=0)代表在像素属于前景的条件下像素所在点颜色的概率分布。
本实施例中,取前景和背景的先验概率(P(br p=0)和P(br p=1))均为0.5,即没有任何先验信息。取背景颜色概率分布P(Ir p|br p=0)) 均为高斯分布,颜色空间为RGB空间,像素值取值范围在0到255之间,方差设定为36,中心点即为背景图像该点的像素值。取前景颜色概率分布(P(Ir p|br p=1)为均匀分布,颜色空间为RGB空间,像素值取值范围在0到255之间。
下面就本实施例第一路图像中的一个像素点的计算过程进行说明。该点像素值为RGB(135,139,112),该点所对应的背景的像素值为RGB(135,139,118),将这两个像素值分别代入(1)式中各项概率分布,得到(1)式等式右边各项的计算结果:
根据上述四项计算结果,即可求得该像素点前景概率:
以相同的方法计算图像中所有点的前景概率,进而得到16路图像前景相似概率图。
图3为本实施例计算得到的一帧视频所对应的16路图像的前景相似概率图,每个像素点的取值在0到1之间,颜色的深浅代表其属于前景的概率大小。图3中,前景概率大的深色区域显示出人体目标的形态,而浅色区域为背景。
4.在空间感兴趣区域内对16幅图像的信息进行融合,按下式计算空间中每个三维体素被人体占据的概率:
式中,P(Si=1)代表三维体素i被前景占据的概率,在没有先验信息的情况下设定为0.5;P(Si=0)代表三维体素i未被前景占据的概率,在没有先验信息的情况下设定为0.5;P({I}r|Si=0)表示三维体素i未被占据的条件下其在r幅图像上投影的颜色概率分布,用单高斯背景建模的方法得到,P({I}r|Si=1)代表三维体素i被占据的条件下其在r幅图像上投影的颜色概率分布:
P({I}r|Si=1)=P({I}r-1|Si=1)P({I}r|Si=1)
(3)
=P(I1|Si=1)...P(Ij|Si=1)...P(Ir|Si=1)
(3)式中第j幅视图中的前景颜色分布上一步得到的前景相似概率来模拟:
5.对空间中每个三维体素被人体占据的概率进行滤波和二值化,去除代表人体内部的体素,获得人体表面三维体素;对投影到图像中同一区域的若干个三维体素,以图像中此区域的颜色作为距离图像平面最近的三维体素的颜色,由此获得当前帧的人体表面三维体素的坐标和颜色信息,图4为从3个视角显示本实施例通过上述方法重建得到的一帧三维人体表面。
6.以当前帧的人体表面三维体素在图像平面的投影为基础,构成一个矩形区域作为下一帧的图像感兴趣区域;以当前帧三维体素所在空间为基础,构成一个立方体区域作为下一帧的空间感兴趣区域;采用步骤3)、4)、5)的方法,获取下一帧的人体表面三维体素的坐标和颜色信息;直至完成复杂场景下人体表面三维重建。
Claims (1)
1、一种复杂场景下人体表面三维重建方法,其特征在于包括如下具体步骤:
1)采用多路摄像机从不同角度对人体运动进行视频采集;
2)把从各个摄像机采集到的图像读入计算机,将第一帧的整个图像作为图像感兴趣区域,将第一帧的整个人体目标活动空间作为空间感兴趣区域;
3)在图像感兴趣区域内进行背景建模,按下式计算每个像素点的前景概率,
上式中, 代表在r视图中像素点p是前景的先验概率, 代表在r视图中像素点p是背景的先验概率, 代表在像素属于背景的条件下像素所在点颜色的概率分布, 代表在像素属于前景的条件下像素所在点颜色的概率分布;根据每个像素点的前景概率,得到人体目标前景相似概率图;
4)在空间感兴趣区域内对多幅图像的信息进行融合,按下式计算空间中每个三维体素被人体占据的概率:
上式中,P(Si=1)代表三维体素i被前景占据的概率;P(Si=0)代表三维体素i未被前景占据的概率;P({I}r|Si=1)代表三维体素i被占据的条件下其在r幅图像上投影的颜色概率分布,用上一步得到的前景相似概率图来模拟;P({I}r|Si=0)表示三维体素i未被占据的条件下其在r幅图像上投影的颜色概率分布,用单高斯背景建模的方法得到;
5)对空间中每个三维体素被人体占据的概率进行滤波和二值化,去除代表人体内部的体素,获得人体表面三维体素;对投影到图像中同一区域的若干个三维体素,以图像中此区域的颜色作为距离图像平面最近的三维体素的颜色;由此获得当前帧的人体表面三维体素的坐标和颜色信息;
6)以当前帧的人体表面三维体素在图像平面的投影为基础,构成一个矩形区域作为下一帧的图像感兴趣区域;以当前帧三维体素所在空间为基础,构成一个立方体区域作为下一帧的空间感兴趣区域;采用步骤3)、4)、5)的方法,获取下一帧的人体表面三维体素的坐标和颜色信息;直至完成复杂场景下人体表面三维重建。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910054924A CN101650834A (zh) | 2009-07-16 | 2009-07-16 | 复杂场景下人体表面三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910054924A CN101650834A (zh) | 2009-07-16 | 2009-07-16 | 复杂场景下人体表面三维重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101650834A true CN101650834A (zh) | 2010-02-17 |
Family
ID=41673063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910054924A Pending CN101650834A (zh) | 2009-07-16 | 2009-07-16 | 复杂场景下人体表面三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101650834A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101833786A (zh) * | 2010-04-06 | 2010-09-15 | 清华大学 | 三维模型的捕捉及重建方法和系统 |
CN102129686A (zh) * | 2011-03-24 | 2011-07-20 | 西北工业大学 | 一种基于体素级轮廓粗定位的亚体素表面检测方法 |
CN102184342A (zh) * | 2011-06-15 | 2011-09-14 | 青岛科技大学 | 一种虚实融合的手功能康复训练系统及方法 |
CN103049928A (zh) * | 2012-10-10 | 2013-04-17 | 上海交通大学 | 并行化实时稠密体素重建方法 |
CN103703489A (zh) * | 2011-06-06 | 2014-04-02 | 微软公司 | 对象数字化 |
CN104732586A (zh) * | 2015-03-24 | 2015-06-24 | 中国人民解放军国防科学技术大学 | 一种三维人体动态形体和三维运动光流快速重建方法 |
CN105787988A (zh) * | 2016-03-21 | 2016-07-20 | 联想(北京)有限公司 | 一种信息处理方法、服务器及终端设备 |
CN107358593A (zh) * | 2017-06-16 | 2017-11-17 | 广东欧珀移动通信有限公司 | 成像方法和装置 |
CN107403465A (zh) * | 2017-08-11 | 2017-11-28 | 周口师范学院 | 基于结构先验与深度学习的城市场景分段平面重建方法 |
CN114648614A (zh) * | 2022-05-24 | 2022-06-21 | 四川中绳矩阵技术发展有限公司 | 一种目标对象的三维重现方法及系统 |
CN114998527A (zh) * | 2022-06-27 | 2022-09-02 | 上海域圆信息科技有限公司 | 一种准确性高的三维人体表面重建系统 |
-
2009
- 2009-07-16 CN CN200910054924A patent/CN101650834A/zh active Pending
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101833786A (zh) * | 2010-04-06 | 2010-09-15 | 清华大学 | 三维模型的捕捉及重建方法和系统 |
CN102129686A (zh) * | 2011-03-24 | 2011-07-20 | 西北工业大学 | 一种基于体素级轮廓粗定位的亚体素表面检测方法 |
CN102129686B (zh) * | 2011-03-24 | 2013-02-20 | 西北工业大学 | 一种基于体素级轮廓粗定位的亚体素表面检测方法 |
US9208571B2 (en) | 2011-06-06 | 2015-12-08 | Microsoft Technology Licensing, Llc | Object digitization |
US9953426B2 (en) | 2011-06-06 | 2018-04-24 | Microsoft Technology Licensing, Llc | Object digitization |
CN103703489B (zh) * | 2011-06-06 | 2016-08-17 | 微软技术许可有限责任公司 | 对象数字化 |
CN103703489A (zh) * | 2011-06-06 | 2014-04-02 | 微软公司 | 对象数字化 |
CN102184342B (zh) * | 2011-06-15 | 2013-11-20 | 青岛科技大学 | 一种虚实融合的手功能康复训练系统及方法 |
CN102184342A (zh) * | 2011-06-15 | 2011-09-14 | 青岛科技大学 | 一种虚实融合的手功能康复训练系统及方法 |
CN103049928A (zh) * | 2012-10-10 | 2013-04-17 | 上海交通大学 | 并行化实时稠密体素重建方法 |
CN104732586A (zh) * | 2015-03-24 | 2015-06-24 | 中国人民解放军国防科学技术大学 | 一种三维人体动态形体和三维运动光流快速重建方法 |
CN105787988A (zh) * | 2016-03-21 | 2016-07-20 | 联想(北京)有限公司 | 一种信息处理方法、服务器及终端设备 |
CN105787988B (zh) * | 2016-03-21 | 2021-04-13 | 联想(北京)有限公司 | 一种信息处理方法、服务器及终端设备 |
CN107358593A (zh) * | 2017-06-16 | 2017-11-17 | 广东欧珀移动通信有限公司 | 成像方法和装置 |
CN107403465A (zh) * | 2017-08-11 | 2017-11-28 | 周口师范学院 | 基于结构先验与深度学习的城市场景分段平面重建方法 |
CN107403465B (zh) * | 2017-08-11 | 2020-11-03 | 周口师范学院 | 基于结构先验与深度学习的城市场景分段平面重建方法 |
CN114648614A (zh) * | 2022-05-24 | 2022-06-21 | 四川中绳矩阵技术发展有限公司 | 一种目标对象的三维重现方法及系统 |
CN114648614B (zh) * | 2022-05-24 | 2022-07-26 | 四川中绳矩阵技术发展有限公司 | 一种目标对象的三维重现方法及系统 |
CN114998527A (zh) * | 2022-06-27 | 2022-09-02 | 上海域圆信息科技有限公司 | 一种准确性高的三维人体表面重建系统 |
CN114998527B (zh) * | 2022-06-27 | 2024-05-03 | 上海域圆信息科技有限公司 | 一种准确性高的三维人体表面重建系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101650834A (zh) | 复杂场景下人体表面三维重建方法 | |
Rematas et al. | Urban radiance fields | |
Ham et al. | Computer vision based 3D reconstruction: A review | |
CN104077804B (zh) | 一种基于多帧视频图像构建三维人脸模型的方法 | |
Remondino et al. | Turning images into 3-D models | |
Neumann et al. | Spatio-temporal stereo using multi-resolution subdivision surfaces | |
Coorg et al. | Extracting textured vertical facades from controlled close-range imagery | |
CN108053476B (zh) | 一种基于分段三维重建的人体参数测量系统及方法 | |
CN102129708A (zh) | 增强现实环境中快速多层次虚实遮挡处理方法 | |
CN103400409A (zh) | 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法 | |
Sugiura et al. | 3D surface reconstruction from point-and-line cloud | |
Özbay et al. | A voxelize structured refinement method for registration of point clouds from Kinect sensors | |
CN110425983A (zh) | 一种基于偏振多光谱的单目视觉三维重建测距方法 | |
Hofer et al. | Line-based 3D reconstruction of wiry objects | |
Zhang et al. | GigaMVS: a benchmark for ultra-large-scale gigapixel-level 3D reconstruction | |
CN110097634A (zh) | 一种自适应多尺度的三维鬼成像方法 | |
Zhou et al. | Constant velocity constraints for self-supervised monocular depth estimation | |
Luo et al. | Sparse RGB-D images create a real thing: A flexible voxel based 3D reconstruction pipeline for single object | |
Leroy et al. | Volume sweeping: Learning photoconsistency for multi-view shape reconstruction | |
Ran et al. | High-precision human body acquisition via multi-view binocular stereopsis | |
Marto et al. | Structure from plenoptic imaging | |
Kang et al. | Progressive 3D model acquisition with a commodity hand-held camera | |
Szeliski et al. | Stereo correspondence | |
Jia et al. | Drone-NeRF: Efficient NeRF based 3D scene reconstruction for large-scale drone survey | |
Benedek et al. | An integrated 4D vision and visualisation system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20100217 |