CN107767456A - 一种基于rgb‑d相机的物体三维重建方法 - Google Patents
一种基于rgb‑d相机的物体三维重建方法 Download PDFInfo
- Publication number
- CN107767456A CN107767456A CN201710865196.4A CN201710865196A CN107767456A CN 107767456 A CN107767456 A CN 107767456A CN 201710865196 A CN201710865196 A CN 201710865196A CN 107767456 A CN107767456 A CN 107767456A
- Authority
- CN
- China
- Prior art keywords
- depth
- data
- point cloud
- rgb
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
Abstract
本发明涉及一种基于RGB‑D相机的物体三维重建方法。基于RGB‑D相机的物体三维重建方法包括彩色数据和深度数据的获取和预处理，点云的获取和预处理，不同视角点云的两两配准、整体循环闭合优化，完整物体点云的表面重建。本发明能够提供低成本、实时性好、易操作、快速的重建系统，产生高质量的点云，提供的初始配准能够提高整体配准速度。
Description
技术领域
本发明涉及刚性物体的自动三维重建技术领域，特别是一种基于RGB-D相机的物体三维重建方法。
背景技术
三维重建技术是物体对象在三维空间中数据表示的处理过程，三维模型可以使用采集物体的三维空间点构成点云来进行表示，点云可以使用三角网格、线、多边形网格来进行连接重建模型的表面。三维模型可以使用在在电影、游戏、制造等领域，三维建模技术属于一个多学科交叉的研究领域，是计算机图形学和图像处理在工程中的重要应用。
三维建模要求重建的过程快速高效，精确度高。现有的三维建模测量技术分为接触式重建和非接触式重建。
接触式重建：接触式重建主要是利用机械式的手工测量仪器或者带有测量传感器的电子测量仪器直接接触物体的表面获取物体表面的几何信息进行手工建模或PC机建模。其中主要以手工建模为主，接触式测量的有点是操作简单直观，灵活性强。缺点是能获取的物体的几何信息有限，造成测量误差，杂曲面无法完成重建，测量时间长，测量效率低。对此使用接触式测量重建物体很难获取物体的表面的几何信息。
接触式重建：目前非接触式重建主要以结构光重建和激光重建为主。1)结构光重建是基于光学三角法原理，通过结构光投射器向被测物体表面投射光条、光面等结构光，由图像传感器获取携带有结构光的物体图像，利用三角原理计算物体的三维空间信息。结构光重建设备价格廉价，要求复杂地计算深度估计，对均匀的表面区域估算深度效果差。2)激光重建是使用激光扫描仪发射激光束经物体表面发射后由激光接收器接收，利用三角原理计算获得物体的表面坐标。激光重建的精度是最高，但是完成一个完整物体的扫描计算速度慢且激光扫描设备价格昂贵。
随着RGB-D相机的问世，RGB-D相机具有价格廉价，实时获取的能力，具有好的精度和密集的扫描，但深度图含有噪声和可以包含由遮挡和物体表面特性产生的空洞，这对于重建高质量的重建是一项挑战，也是本发明要解决的问题。
迭代最近点(ICP)及其变异算法过程是根据上一帧目标点集和后一帧的源点集通过最近点搜索找到匹配点对，以对应点之间的距离平方和最小原则建立优化方程，计算目标点集和源点集的姿态变换，直到前后两次误差的差异达到了预先设定的阈值，ICP能够在短时间内提高配准的精度，但对初始位置要求比较高，配准对象的重叠区域要足够大，否则，容易陷入局部极小值是配准失败。因此，初始配准技术就应运而生，当前的初始配准技术主要有主成分分析法、几何特征不变法：1)主成分分析法计算点云的协方差矩阵，再计算三个主轴向量，然后计算主方向的旋转矩阵，主成分分析要求待配准的点云有足够多的重叠区域不能处理没有特征信息的曲面。2)几何特征不变法提取曲面的几何特征信息计算特征点和计算特征描述子，根据特征描述子的相似性构建匹配点对，计算复杂的几何特征描述子耗时，建立的匹配点对的精度十分依赖特征点和特征描述子好坏。解决初始配准简单高效的初始配准是本发明要解决的问题。
发明内容
本发明的目的在于克服上述现有技术的缺点和不足，提供一种基于RGB-D相机的物体三维重建方法，用单个RGB-D相机获取对象不同视角的物体点云信息，对获取的物体点云数据进行高效配准生成完整的三维物体模型；该方法能够提供低成本、实时性好、易操作、快速的重建系统，产生高质量的点云，提供的初始配准能够提高整体配准速度。
为实现上述目的，本发明的技术方案是：一种基于RGB-D相机的物体三维重建方法，包括如下步骤，
S1、固定RGB-D相机获取物体不同视角的彩色数据和深度数据，对深度数据进行去除噪声、孔洞填充及去除无效的物体深度边缘；
S2、将深度数据转成点云数据，对点云数据进行分割，去除背景、地面或实验平台点云，去除物体数据周围离群点，对物体数据进行降采样；
S3、对不同视角的物体点云数据进行相邻视角的初始配准、精确配准和整体循环闭合的优化对齐；
S4、用对齐的物体点云进行泊松表面重建得到完整的三维模型。
在本发明一实施例中，所述步骤S1具体实现步骤如下：
S11、把物体放在地面或平台上，固定RGB-D相机使其距物体预定水平距离，顺时针旋转物体，每隔45度采集物体彩色数据和深度数据同时对彩色数据和深度数据进行对齐；
S12、利用联合双边滤波算法联合对齐的深度数据和彩色数据对深度数据进行平滑和填补深度值缺失的区域，采用深度值阈值判断背景深度数据，不对背景深度数据进行滤波；
S13、选用1×9匹配模板和9×1匹配模板沿深度图的图像坐标系u-v方向进行扫描识别物体无效的深度边缘并去除。
在本发明一实施例中，所述预定水平距离为0.6-1.2米。
在本发明一实施例中，所述步骤S12中具体实现过程如下：
S121、设深度图为I，遍历深度图I，设定深度阈值δ对深度像素I(i,j)进行如下判断：
S122、对待修复像素I(i,j)近邻搜索满足d((l,k),(i,j))<σs的领域模板并剔除模板中(i,j)＝(l,k)、I(l,k)＝0的不合理像素；
S123、计算距离权重系数颜色权重系数和深度权重系数
其中，对应彩色数据的颜色值和深度数据值，σc为彩色域的标准差，σd深度域的标准差；
S124、计算滤波后的深度像素值：
在本发明一实施例中，所述步骤S2具体实现步骤如下：
S21、通过RGB-D相机在OpenNI库的框架接口下完成深度二维数据到空间三维坐标的转换，得到物体点云模型；
S22、根据物体点云模型在世界坐标系O_XYZ方向上的大小，分别设置最大和最小深度阈值，然后利用阈值分割方法分割出有效区域，把物体提出来；
S23、至算法估计出地面或平台点云的平面模型，设置点到模型的距离阈值，小于阈值为地面或平台点云并去除；
S24、计算每个点到近邻点集的平均距离和标准偏差，超过两个标准偏差的点云视为离群点进行去除；
S25、对不同视角点云模型创建一个三维体素栅格，计算体素中的重心表示其他点，降低点云点的数量，并能维持表面原有的形状特征。
在本发明一实施例中，所述步骤S3具体实现步骤如下：
S31、两两配准分两步所述：
S311、初始配准：对初始位置进行优化，使用相邻两帧之间的相对旋转角度的先验知识进行对后一帧进行逆时针旋转对应的角度，为精确配准提供一个好的初始位置；
S312、精确配准：对经步骤S311得到的相邻两帧进行ICP进行精细配准；
S32、整体循环闭合优化：经过步骤S31后，得到相邻点云的变换矩阵T12、T23、T34、T45、 T56、T67、T78；在此基础上，对所有的变换矩阵T12、T23、T34、T45、T56、T67、T78整体循环优化，降低配准累积误差，再通过优化后的变换矩阵把不同视角的点云配准到V1所在的坐标下，形成完整的物体点云。
相较于现有技术，本发明具有以下有益效果：
1、本发明能够提供低成本、实时性好、易操作、快速的重建系统；
2、本发明经过对深度数据一系类噪声，无效边缘去除、点云预处理方法能够提供高质量的点云模型；
3、本发明基于采集数据角度的先验知识初始配准简单有效进一步提高整体的配准速度。
附图说明
图1为本发明的基于RGB-D相机物体三维重建方法流程图。
图2为物体边缘识别示意图。
具体实施方式
为了使本发明的目的技术方案及有益效果和优点更加明显易懂，下面结合附图对本发明进一步说明。应当理解，此处的所描述的具体实施例仅仅用于解释本发明，并不限定本发明。
请参照图1，图1是本实例提出的基于RGB-D相机的物体三维重建方法流程图。本发明的一种基于RGB-D相机的物体三维重建方法包含以下步骤：
S1、固定RGB-D相机获取物体不同视角的彩色数据和深度数据，进行深度数据去除噪声，孔洞填充，去除无效的物体深度边缘；
S2、深度数据转成点云数据，对点云数据进行分割，去除背景、地面或实验平台点云，去除物体数据周围离群点，对物体数据进行降采样；
S3、对不同视角的物体点云数据进行相邻视角的初始配准、精确配准和整体循环闭合的优化对齐；
S4、用对齐的物体点云进行泊松表面重建得到完整的三维模型。
本发明的具体实施步骤如下：
所述步骤S1具体包括：
S11、用RGB-D相机采集物体不同视角的彩色数据和深度数据；
1、把单个RGB-D相机固定在三脚架上，扫描物体放在实验平台或者地面上距离相机0.6-1.2 米，调节RGB-D相对于物体的高度。
2、物体从正面开始采集，顺时针旋转物体，每隔45度采集一次，同时获取640*480彩色数据和深度数据，并调用OpenNI库的GetAlternativeViewPointCap函数自动对齐彩色数据和深度数据。
S12、利用联合双边滤波算法联合对齐的深度数据和彩色数据对深度数据进行平滑和填补深度值缺失的区域；
由于人为干扰、光照、RGB-D相机自身精度的影响。获取的深度数据存在噪声空洞，使用联合双边滤波去除深度噪声和填补深度值缺失的区域。具体包含如下：
1、遍历深度图I，设定深度阈值δ对深度像素I(i,j)进行如下判断：
2对待修复像素I(i,j)近邻搜索满足d((l,k),(i,j))<σs的领域模板并剔除模板中 (i,j)＝(l,k)、I(l,k)＝0的不合理像素；
3、计算距离权重系数颜色权重系数和深度权重系数
其中，对应彩色数据的颜色值和深度数据值，σc为彩色域的标准差，σd深度域的标准差；
4、计算滤波后的深度像素值：
S13、选用1×9匹配模板和9×1匹配模板沿深度图的图像坐标系u-v方向进行扫描识别物体的无效深度边缘并去除。如图2所示，具体实施例如下：
1、沿图像坐标系u轴方向分别创建9×1模板m1，模板m1的第五个元素为中心点对应当前的深度像素I(i,j)，让模板m1沿u轴方向对深度图进行遍历，通过m1中的元素获取对应的深度值，比较m1中各个元素的大小，获取最大值m1max和最小值m1min进行如下判断如果m1max和m1min的相差大于阈值α则认为该中心点处于边缘，删除该点
2、沿图像坐标系v轴方向分别创建1×9模板m2，模板m2的第五个元素为中心点对应当前的深度像素I(i,j)，让模板m2沿v轴方向对深度图进行遍历，通过m2中的元素获取对应的深度值，比较m2中各个元素的大小，获取最大值m2max和最小值m2min进行如下判断如果m2max和 m2min的相差大于阈值α则认为该中心点处于边缘，删除该点
所述步骤S2包括：
S21、通过RGB-D相机在OpenNI库的框架接口下完成深度二维数据到空间三维坐标的转换，得到物体点云模型。
对深度数据中任意深度值I(i,j)映射成三维坐标P(x,y,z)。则点P三维坐标为
z＝0.001×I(i，j)
x＝(i-cx)Jxz
y＝(j-cy)、fyz
其中，fx,fy,cx,cy为RGB-D相机内参，经过张正友标定法得到内参值分别为 fx＝588.372817,fy,＝585.365865,cx＝317.912028,cy＝243.214654
S22、根据物体点云模型在世界坐标系O_XYZ方向上的大小，分别设置最大和最小深度阈值，然后利用阈值分割方法分割出有效区域，把物体提出来，具体包括如下：
由步骤S21得到的物体点云模型存在大量无用的背景点云，采用阈值分割法提取物体点云，在O_XYZ轴向方向上进行以下操作：
遍历物体点云中的每个点Pi，Pi在物体点云的包围盒[x0,x1]，[y0,y1]，[z0,z1]中为物体点云，否则为背景点云去除掉。
S23、致算法估计出地面或平台点云的平面模型，设置点到模型的距离阈值，小于阈值为地面或平台点云并去除。
S24、搜索每个点到近邻点集，并计算该点到近邻点集中所有点的平均距离和标准偏差，超过两个标准偏差阈值的点视为离群点进行去除。
S25、对不同视角点云模型创建一个三维体素栅格，计算体素中的重心表示其他点，降低点云点的数量，并能维持原表面不变。
S3、对不同视角的物体点云数据进行相邻视角的初始配准、精确配准和整体循环闭合的优化对齐，具体包括如下步骤：
S31、经过步骤S1和S2得到物体不同视角下的点云V1,V2,…V7,V8，不同的视角点云Vi,i∈[1,8] 处于不同的坐标系下，为实现不同视角点云配准到同一坐标系下，需要两两配准，为降低累积误差，实施两两配准具体过程如下：
1、分别对相邻点云V1V2、V3V4、V5V6及V7V8经过基于旋转的初始配准，旋转角度为45度，再经ICP配准后得到新的点云V12、V34、V56、V78和相邻点云V1V2、V3V4、V5V6及V7V8对应的姿态变换矩阵T12、T34、T56、T78。
2、再分别对新的相邻点云V12V34、V56V78，经过上述1相同过程，旋转角度为90度，得到新的点云V1234、V5678和相邻点云V2V3、V6V7对应的姿态变换矩阵T23、T67。
3、再分别对新的相邻点云V1234V5678，经过上述1相同过程，旋转角度为180度，得到新的点云V12345678和相邻点云V4V5对应的姿态变换矩阵T45。
下面对基于旋转的初始配准具体实施方法进行详细说明：为便于描述用Vi-1表示目标点云，Vi表示源点云。
计算Vi-1Vi的质心M(x,y,z)，Pi为Vi-1Vi中的点，n为Vi-1Vi的总个数。
Vi绕过质心M且和Y轴平行的轴逆时针旋转θ度的过程可以分解为把Vi从质心所在的轴平移到Y轴，绕Y轴旋转θ度，再把Vi从Y轴平移到质心的位置，完成Vi-1Vi的初始配准：
把Vi从质心M所在的轴平移到Y轴：
绕Y轴逆时针旋转θ度：
再把Vi从Y轴平移到质心M所在的轴：
初始配准得到的最终的变换矩阵：
T＝TM_YTYTY_M
S32经过步骤S31后，得到相邻点云的变换矩阵T12、T23、T34、T45、T56、T67、T78。在此基础上，对所有的变换矩阵T12、T23、T34、T45、T56、T67、T78整体循环优化，降低配准累积误差，再通过优化后的变换矩阵把不同视角的点云配准到V1所在的坐标下，形成完整的物体点云。具体实施方法进行详细说明：
使用ICP对循环闭合处的点云V1V8进行配准得到变换矩阵ΔY，并ΔY的逆矩阵ΔX。
为所有的变换矩阵Ti-1i设定权值ωi-1i使得其满足ωi-1i∈[0,1]且ΔX＝∑i-1iωi-1i×ΔX。
接着对T12、T23、T34、T45、T56、T67、T78进行如下优化调整得到
最后对所有的点云进行整体变换融合，以Vi为参考帧，把每帧点云Vi通过下列公式变换到Vi所在的坐标系下
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (6)
1.一种基于RGB-D相机的物体三维重建方法，其特征在于：包括如下步骤，
S1、固定RGB-D相机获取物体不同视角的彩色数据和深度数据，对深度数据进行去除噪声、孔洞填充及去除无效的物体深度边缘；
S2、将深度数据转成点云数据，对点云数据进行分割，去除背景、地面或实验平台点云，去除物体数据周围离群点，对物体数据进行降采样；
S3、对不同视角的物体点云数据进行相邻视角的初始配准、精确配准和整体循环闭合的优化对齐；
S4、用对齐的物体点云进行泊松表面重建得到完整的三维模型。
2.根据权利要求1所述的一种基于RGB-D相机的物体三维重建的方法，其特征在于：所述步骤S1具体实现步骤如下：
S11、把物体放在地面或平台上，固定RGB-D相机使其距物体预定水平距离，顺时针旋转物体，每隔45度采集物体彩色数据和深度数据同时对彩色数据和深度数据进行对齐；
S12、利用联合双边滤波算法联合对齐的深度数据和彩色数据对深度数据进行平滑和填补深度值缺失的区域，采用深度值阈值判断背景深度数据，不对背景深度数据进行滤波；
S13、选用1×9匹配模板和9×1匹配模板沿深度图的图像坐标系u-v方向进行扫描识别物体无效的深度边缘并去除。
3.根据权利要求2所述的一种基于RGB-D相机的物体三维重建方法，其特征在于：所述预定水平距离为0.6-1.2米。
4.根据权利要求2所述的一种基于RGB-D相机的物体三维重建方法，其特征在于：所述步骤S12中具体实现过程如下：
S121、设深度图为I，遍历深度图I，设定深度阈值δ对深度像素I(i,j)进行如下判断：
S122、对待修复像素I(i,j)近邻搜索满足d((l,k),(i,j))<σs的领域模板并剔除模板中(i,j)＝(l,k)、I(l,k)＝0的不合理像素；
S123、计算距离权重系数颜色权重系数和深度权重系数
<mrow>
<msubsup>
<mi>w</mi>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>s</mi>
</msubsup>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>-</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>-</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>/</mo>
<msub>
<mi>&sigma;</mi>
<mi>s</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>w</mi>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>c</mi>
</msubsup>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>r</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mi>r</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>g</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mi>g</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>b</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mi>b</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>/</mo>
<msub>
<mi>&sigma;</mi>
<mi>c</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>w</mi>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>d</mi>
</msubsup>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>|</mo>
<mrow>
<msub>
<mi>I</mi>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
</mrow>
<mo>|</mo>
<mo>/</mo>
<msub>
<mi>&sigma;</mi>
<mi>d</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
其中，对应彩色数据的颜色值和深度数据值，σc为彩色域的标准差，σd深度域的标准差；
S124、计算滤波后的深度像素值：
<mrow>
<msub>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
</munder>
<msubsup>
<mi>w</mi>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>s</mi>
</msubsup>
<msubsup>
<mi>w</mi>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>c</mi>
</msubsup>
<msubsup>
<mi>w</mi>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>d</mi>
</msubsup>
<msub>
<mi>I</mi>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
</msub>
<mo>/</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
</munder>
<msubsup>
<mi>w</mi>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>s</mi>
</msubsup>
<msubsup>
<mi>w</mi>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>c</mi>
</msubsup>
<msubsup>
<mi>w</mi>
<mrow>
<mi>l</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>d</mi>
</msubsup>
<mo>.</mo>
</mrow>
5.根据权利要求1所述的一种基于RGB-D相机的物体三维重建方法，其特征在于：所述步骤S2具体实现步骤如下：
S21、通过RGB-D相机在OpenNI库的框架接口下完成深度二维数据到空间三维坐标的转换，得到物体点云模型；
S22、根据物体点云模型在世界坐标系O_XYZ方向上的大小，分别设置最大和最小深度阈值，然后利用阈值分割方法分割出有效区域，把物体提出来；
S23、至算法估计出地面或平台点云的平面模型，设置点到模型的距离阈值，小于阈值为地面或平台点云并去除；
S24、计算每个点到近邻点集的平均距离和标准偏差，超过两个标准偏差的点云视为离群点进行去除；
S25、对不同视角点云模型创建一个三维体素栅格，计算体素中的重心表示其他点，降低点云点的数量，并能维持表面原有的形状特征。
6.根据权利要求1所述的一种基于RGB-D相机的物体三维重建方法，其特征在于：所述步骤S3具体实现步骤如下：
S31、两两配准分两步所述：
S311、初始配准：对初始位置进行优化，使用相邻两帧之间的相对旋转角度的先验知识进行对后一帧进行逆时针旋转对应的角度，为精确配准提供一个好的初始位置；
S312、精确配准：对经步骤S311得到的相邻两帧进行ICP进行精细配准；
S32、整体循环闭合优化：经过步骤S31后，得到相邻点云的变换矩阵T12、T23、T34、T45、T56、T67、T78；在此基础上，对所有的变换矩阵T12、T23、T34、T45、T56、T67、T78整体循环优化，降低配准累积误差，再通过优化后的变换矩阵把不同视角的点云配准到V1所在的坐标下，形成完整的物体点云。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710865196.4A CN107767456A (zh) | 2017-09-22 | 2017-09-22 | 一种基于rgb‑d相机的物体三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710865196.4A CN107767456A (zh) | 2017-09-22 | 2017-09-22 | 一种基于rgb‑d相机的物体三维重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107767456A true CN107767456A (zh) | 2018-03-06 |
Family
ID=61266646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710865196.4A Pending CN107767456A (zh) | 2017-09-22 | 2017-09-22 | 一种基于rgb‑d相机的物体三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107767456A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564653A (zh) * | 2018-03-16 | 2018-09-21 | 中国传媒大学 | 基于多Kinect的人体骨架追踪系统及方法 |
| CN108872991A (zh) * | 2018-05-04 | 2018-11-23 | 上海西井信息科技有限公司 | 目标物检测与识别方法、装置、电子设备、存储介质 |
| CN109308738A (zh) * | 2018-07-26 | 2019-02-05 | 华南理工大学 | 基于优化Delaunay三角剖分的植物微观组织重建方法 |
| CN109377551A (zh) * | 2018-10-16 | 2019-02-22 | 北京旷视科技有限公司 | 一种三维人脸重建方法、装置及其存储介质 |
| CN109857880A (zh) * | 2019-01-16 | 2019-06-07 | 创新奇智(宁波)科技有限公司 | 一种基于模型的数据处理方法、装置及电子设备 |
| CN109886961A (zh) * | 2019-03-27 | 2019-06-14 | 重庆交通大学 | 基于深度图像的中大型货物体积测量方法 |
| CN110059608A (zh) * | 2019-04-11 | 2019-07-26 | 腾讯科技（深圳）有限公司 | 一种物体检测方法、装置、电子设备和存储介质 |
| CN110220456A (zh) * | 2019-06-26 | 2019-09-10 | 浙江大学 | 一种手持式箱体尺寸测量装置及测量方法 |
| CN110276260A (zh) * | 2019-05-22 | 2019-09-24 | 杭州电子科技大学 | 一种基于深度摄像头的商品检测方法 |
| CN111080682A (zh) * | 2019-12-05 | 2020-04-28 | 北京京东乾石科技有限公司 | 点云数据的配准方法及装置 |
| CN111563965A (zh) * | 2019-02-14 | 2020-08-21 | 贝壳技术有限公司 | 一种通过优化深度图生成全景图的方法及装置 |
| CN112750155A (zh) * | 2021-01-15 | 2021-05-04 | 福州大学 | 基于卷积神经网络的全景深度估计方法 |
| CN113256611A (zh) * | 2021-06-21 | 2021-08-13 | 浙江光珀智能科技有限公司 | 一种rgb-d配准精度测试方法及设备 |
| CN113313815A (zh) * | 2021-05-24 | 2021-08-27 | 北京航空航天大学 | 一种机械臂抓取物体实时三维重建方法 |
| CN113408353A (zh) * | 2021-05-18 | 2021-09-17 | 杭州电子科技大学 | 一种基于rgb-d的实时避障系统 |
| US11967873B2 (en) | 2019-09-23 | 2024-04-23 | Canoo Technologies Inc. | Fractional slot electric motors with coil elements having rectangular cross-sections |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103413276A (zh) * | 2013-08-07 | 2013-11-27 | 清华大学深圳研究生院 | 一种基于纹理分布特征的深度增强方法 |
| CN103971409A (zh) * | 2014-05-22 | 2014-08-06 | 福州大学 | 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法 |
| CN104123751A (zh) * | 2014-07-24 | 2014-10-29 | 福州大学 | Kinect与关节臂结合的复合式测量和三维重建方法 |
| CN104126989A (zh) * | 2014-07-30 | 2014-11-05 | 福州大学 | 一种基于多台rgb-d摄像机下的足部表面三维信息获取方法 |
| CN104680496A (zh) * | 2015-03-17 | 2015-06-03 | 山东大学 | 一种基于彩色图像分割的Kinect深度图修复方法 |
| US9165410B1 (en) * | 2011-06-29 | 2015-10-20 | Matterport, Inc. | Building a three-dimensional composite scene |
| CN105205858A (zh) * | 2015-09-18 | 2015-12-30 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
| CN105989604A (zh) * | 2016-02-18 | 2016-10-05 | 合肥工业大学 | 一种基于kinect的目标物体三维彩色点云生成方法 |
| CN106204718A (zh) * | 2016-06-28 | 2016-12-07 | 华南理工大学 | 一种基于单个Kinect的简易高效三维人体重建方法 |
| CN106803267A (zh) * | 2017-01-10 | 2017-06-06 | 西安电子科技大学 | 基于Kinect的室内场景三维重建方法 |
| CN107038718A (zh) * | 2017-03-31 | 2017-08-11 | 天津大学 | 雾霾环境下的深度计算方法 |
-
2017
- 2017-09-22 CN CN201710865196.4A patent/CN107767456A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9165410B1 (en) * | 2011-06-29 | 2015-10-20 | Matterport, Inc. | Building a three-dimensional composite scene |
| CN103413276A (zh) * | 2013-08-07 | 2013-11-27 | 清华大学深圳研究生院 | 一种基于纹理分布特征的深度增强方法 |
| CN103971409A (zh) * | 2014-05-22 | 2014-08-06 | 福州大学 | 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法 |
| CN104123751A (zh) * | 2014-07-24 | 2014-10-29 | 福州大学 | Kinect与关节臂结合的复合式测量和三维重建方法 |
| CN104126989A (zh) * | 2014-07-30 | 2014-11-05 | 福州大学 | 一种基于多台rgb-d摄像机下的足部表面三维信息获取方法 |
| CN104680496A (zh) * | 2015-03-17 | 2015-06-03 | 山东大学 | 一种基于彩色图像分割的Kinect深度图修复方法 |
| CN105205858A (zh) * | 2015-09-18 | 2015-12-30 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
| CN105989604A (zh) * | 2016-02-18 | 2016-10-05 | 合肥工业大学 | 一种基于kinect的目标物体三维彩色点云生成方法 |
| CN106204718A (zh) * | 2016-06-28 | 2016-12-07 | 华南理工大学 | 一种基于单个Kinect的简易高效三维人体重建方法 |
| CN106803267A (zh) * | 2017-01-10 | 2017-06-06 | 西安电子科技大学 | 基于Kinect的室内场景三维重建方法 |
| CN107038718A (zh) * | 2017-03-31 | 2017-08-11 | 天津大学 | 雾霾环境下的深度计算方法 |
Non-Patent Citations (5)
| Title |
|---|
| CHRISTIAN RICHARDT等: "Coherent Spatiotemporal Filtering Upsampling and Rendering of RGBZ Videos", 《EUROGRAPHICS》 * |
| JING TONG等: "Scanning 3D Full Human Bodies Using Kinects", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》 * |
| 乔思航: "基于多Kinect的个性化虚拟人三维建模", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 周瑾等: "使用Kinect快速重建三维人体", 《计算机辅助设计与图形学学报》 * |
| 林昌等: "融合深度信息的室内RGB图像视觉显著物体快速检测方法", 《中国激光》 * |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564653B (zh) * | 2018-03-16 | 2022-05-10 | 中国传媒大学 | 基于多Kinect的人体骨架追踪系统及方法 |
| CN108564653A (zh) * | 2018-03-16 | 2018-09-21 | 中国传媒大学 | 基于多Kinect的人体骨架追踪系统及方法 |
| CN108872991A (zh) * | 2018-05-04 | 2018-11-23 | 上海西井信息科技有限公司 | 目标物检测与识别方法、装置、电子设备、存储介质 |
| CN109308738A (zh) * | 2018-07-26 | 2019-02-05 | 华南理工大学 | 基于优化Delaunay三角剖分的植物微观组织重建方法 |
| CN109377551A (zh) * | 2018-10-16 | 2019-02-22 | 北京旷视科技有限公司 | 一种三维人脸重建方法、装置及其存储介质 |
| CN109377551B (zh) * | 2018-10-16 | 2023-06-27 | 北京旷视科技有限公司 | 一种三维人脸重建方法、装置及其存储介质 |
| CN109857880A (zh) * | 2019-01-16 | 2019-06-07 | 创新奇智(宁波)科技有限公司 | 一种基于模型的数据处理方法、装置及电子设备 |
| CN111563965B (zh) * | 2019-02-14 | 2024-04-05 | 如你所视(北京)科技有限公司 | 一种通过优化深度图生成全景图的方法及装置 |
| CN111563965A (zh) * | 2019-02-14 | 2020-08-21 | 贝壳技术有限公司 | 一种通过优化深度图生成全景图的方法及装置 |
| CN109886961A (zh) * | 2019-03-27 | 2019-06-14 | 重庆交通大学 | 基于深度图像的中大型货物体积测量方法 |
| CN109886961B (zh) * | 2019-03-27 | 2023-04-11 | 重庆交通大学 | 基于深度图像的中大型货物体积测量方法 |
| CN110059608A (zh) * | 2019-04-11 | 2019-07-26 | 腾讯科技（深圳）有限公司 | 一种物体检测方法、装置、电子设备和存储介质 |
| CN110059608B (zh) * | 2019-04-11 | 2021-07-06 | 腾讯科技（深圳）有限公司 | 一种物体检测方法、装置、电子设备和存储介质 |
| CN110276260A (zh) * | 2019-05-22 | 2019-09-24 | 杭州电子科技大学 | 一种基于深度摄像头的商品检测方法 |
| CN110276260B (zh) * | 2019-05-22 | 2021-06-08 | 杭州电子科技大学 | 一种基于深度摄像头的商品检测方法 |
| CN110220456A (zh) * | 2019-06-26 | 2019-09-10 | 浙江大学 | 一种手持式箱体尺寸测量装置及测量方法 |
| US11967873B2 (en) | 2019-09-23 | 2024-04-23 | Canoo Technologies Inc. | Fractional slot electric motors with coil elements having rectangular cross-sections |
| CN111080682A (zh) * | 2019-12-05 | 2020-04-28 | 北京京东乾石科技有限公司 | 点云数据的配准方法及装置 |
| CN111080682B (zh) * | 2019-12-05 | 2023-09-01 | 北京京东乾石科技有限公司 | 点云数据的配准方法及装置 |
| CN112750155A (zh) * | 2021-01-15 | 2021-05-04 | 福州大学 | 基于卷积神经网络的全景深度估计方法 |
| CN112750155B (zh) * | 2021-01-15 | 2022-07-01 | 福州大学 | 基于卷积神经网络的全景深度估计方法 |
| CN113408353A (zh) * | 2021-05-18 | 2021-09-17 | 杭州电子科技大学 | 一种基于rgb-d的实时避障系统 |
| CN113313815A (zh) * | 2021-05-24 | 2021-08-27 | 北京航空航天大学 | 一种机械臂抓取物体实时三维重建方法 |
| CN113256611B (zh) * | 2021-06-21 | 2021-12-24 | 浙江光珀智能科技有限公司 | 一种rgb-d配准精度测试方法及设备 |
| CN113256611A (zh) * | 2021-06-21 | 2021-08-13 | 浙江光珀智能科技有限公司 | 一种rgb-d配准精度测试方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107767456A (zh) | 一种基于rgb‑d相机的物体三维重建方法 | |
| Chen et al. | High-accuracy multi-camera reconstruction enhanced by adaptive point cloud correction algorithm | |
| CN109544456B (zh) | 基于二维图像和三维点云数据融合的全景环境感知方法 | |
| CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
| US11244197B2 (en) | Fast and robust multimodal remote sensing image matching method and system | |
| US9799139B2 (en) | Accurate image alignment to a 3D model | |
| Weinmann et al. | Fast and automatic image-based registration of TLS data | |
| CN107588721A (zh) | 一种基于双目视觉的零件多尺寸的测量方法及系统 | |
| WO2014024579A1 (ja) | 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム | |
| CN111046776A (zh) | 基于深度相机的移动机器人行进路径障碍物检测的方法 | |
| CN108362205B (zh) | 基于条纹投影的空间测距方法 | |
| CN111640158A (zh) | 基于对应掩模的端到端的摄像头与激光雷达外参标定方法 | |
| JP2016194895A (ja) | 室内２ｄ平面図の生成方法、装置及びシステム | |
| CN103700082B (zh) | 基于对偶四元数相对定向的图像拼接方法 | |
| CN114170284B (zh) | 基于主动标志点投射辅助的多视图点云配准方法 | |
| CN113409242A (zh) | 一种轨交弓网点云智能监测方法 | |
| CN112767459A (zh) | 基于2d-3d转换的无人机激光点云与序列影像配准方法 | |
| CN116563377A (zh) | 一种基于半球投影模型的火星岩石测量方法 | |
| KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| CN115147764A (zh) | 一种基于多目视觉的管模螺栓识别定位方法 | |
| CN109118576A (zh) | 基于bds位置服务的大型场景三维重建系统及重建方法 | |
| CN112868049B (zh) | 使用基于贴片的投影相关性进行高效自运动估计 | |
| CN109308706B (zh) | 一种通过图像处理得到三维曲面面积的方法 | |
| Zhang et al. | Non-rigid registration of mural images and laser scanning data based on the optimization of the edges of interest | |
| Zhao et al. | Binocular vision measurement for large-scale weakly textured ship hull plates using feature points encoding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180306 |
|
| RJ01 | Rejection of invention patent application after publication |