CN113340201B - 一种基于rgbd相机的三维测量方法 - Google Patents

Abstract

本发明公开了一种基于RGBD相机的三维测量方法，首先在点云场景中提取目标物的若干表面；面的提取具体分为两步进行：粗提取和精确提取。其次根据若干表面的信息确定目标物中棱的位置。对于由平面相交形成的棱，使用两个相交平面的法向量叉乘获取棱所在的直线方程。对于由非平面相交形成的棱，利用最小二乘法拟合棱所在的直线或曲线方程。最后结合图像信息获取棱的端点位置进而完成测量。该方法可以快速、准确地测量出目标物的棱长、表面积和体积信息。

Description

一种基于RGBD相机的三维测量方法

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于RGBD相机的三维测量方法。

背景技术

三维测量技术是使用RGBD相机拍摄目标图像，通过处理目标点云，获取目标物的真实信息。实现了对目标物特征的快速高效提取。

现有技术中使用640*480的窗口获取场景的点云信息，数据量非常庞大。如果想准确地从点云场景中提取出多张平面或者曲面，时间开销无法让人接受。且使用RGBD相机拍摄场景会出现光线衍射现象，极易造成不可忽视的测量误差。

发明内容

为解决上述问题，本发明的目的是提供一种基于RGBD相机的三维测量方法，该方法可以快速、准确地提取和测量出目标物的表面积和棱长等信息。

为实现上述目的，本发明的技术方案为：

一种基于RGBD相机的三维测量方法，包括：

S1：使用RGBD相机对目标物进行拍摄获取目标点云，并对所述目标点云中的点进行均匀采样得到若干采样点；

S2：对每个所述采样点执行以下操作：采用八叉树收集所述采样点邻域半径为R内的所述目标点云，得到若干邻域点云；对若干所述邻域点云通过拟合提取曲面，所述曲面包含平面和非平面，若所有所述邻域点云均位于所述曲面上，则将所述曲面和所述采样点分别加入集合P和集合A中；

S3：经S2所述集合P储存有若干所述曲面，对每张所述曲面执行以下操作：建立集合I，所述集合I用于存储所述目标点云中落入所述曲面内的点的索引；

S4：S3中得到若干所述集合I，按照每张所述曲面对应的所述集合I的容量大小对所述集合P中的所有所述曲面进行排序，选出最大容量的所述集合I记为集合I_max，并将对应的所述曲面进行提取，然后在所述集合P中将提取出来的所述曲面剔除，同时在若干所述集合I中剔除与在所述集合I_max中共同的点的索引；

S5：重复S4若干次以提取出若干张所述曲面，且每次执行完S4后均更新所述集合P和若干所述集合I；

S6：检测若干张所述曲面是否相交；若相交，则将相交处的公共点云存储在点集V_i ^l中，并获取所述点集V_i ^l的质心；若不相交，则重新进行S4、S5，以重新获取若干张所述曲面；

S7：所述两张曲面相交处即为所述目标物的棱，依据所述棱的几何形状实施以下两种测量方案：对于由平面相交形成的棱，此时，所述棱为直线；使用两个相交平面的法向量叉乘获取棱所在的直线方程；并结合图像纹理变化和场景深度信息获取所述棱的端点，最后使用比例计算所述棱的长度；对于由非平面相交形成的棱，采用最小二乘法拟合所述棱所在的直线或曲线，并同样采用上述方案确定所述棱的端点坐标，计算两个端点之间的测地距离作为曲线棱长；

S8：重复S7直至计算出所述目标物所有的边的长度，进而计算所述目标物的表面积和体积。

根据本发明一实施例，包括S4.1，根据所述集合I_max中存储的点的索引建立新的点集V^P，并在所述点集V^P中再次提取所述曲面。

根据本发明一实施例，S7中，对于由非平面相交形成的所述棱，根据两张相交所述曲面的点云，通过最小二乘法获取曲线方程；对于由平面相交形成的所述棱，采用相交平面的法向量叉乘获取直线方程。

本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：

(1)本发明实施例中通过S1至S8步骤可以快速、准确地在点云场景中提取多张平面和曲面，并测量出其棱长和表面积等信息。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明，其中：

图1为本发明的一种基于RGBD相机的三维测量方法技术流程图；

图2为曲面粗提取流程图；

图3为曲面精确提取示意图；

图4为棱提取和棱长计算示意图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用以方便、明晰地辅助说明本发明实施例的目的。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

参看图1至4，本发明的核心是提供一种基于RGBD相机的三维测量方法，主要使用RGBD相机拍摄目标物，在三维场景中捕捉屏幕中央的目标物并快速、准确地提取目标物的表面和棱。。RGBD相机可以获取到场景的点云信息，根据规则目标物的几何特性，先识别目标物的面，再根据两张相交面识别目标物的棱。因此，本算法的实现过程主要分为两个部分：表面提取和棱提取。

在目标物的表面提取部分中，本发明将这一部分分两步进行：粗提取和精确提取。

具体，包括如下步骤：

S1：使用RGBD相机对目标物进行拍摄获取目标点云，并对目标点云中的点进行均匀采样得到若干采样点；本实施例中目标物为任意几何形状的目标物。

S2：对每个采样点执行以下操作：采用八叉树收集采样点邻域半径为R内的目标点云，得到若干邻域点云，其中R的取值通常在10～25；对若干邻域点云通过拟合提取曲面，若所有邻域点云均位于曲面上，则将曲面和采样点分别加入集合P和集合A中；最后，集合A中存储的采样点均位于目标点云中的拟合出的曲面部分。

S3：经S2集合P储存有若干根据领域点云确定的曲面，对每张曲面执行以下操作：建立集合I，集合I用于存储目标点云中落入曲面内的点的索引；也就是说，这个过程产生了若干集合I，每张曲面都与一个集合I一一对应。

S4：S3中得到若干集合I，按照每张曲面对应的集合I的容量大小对集合P中的所有曲面进行排序，选出最大容量的集合I记为集合I_max，并将对应的曲面进行提。，然后在集合P中将提取出来的曲面剔除，同时在若干集合I中剔除与在集合I_max中共同的点的索引。

S4.1：每张曲面的集合I存储了位于该曲面的若干点的索引。但由于上述过程提取的曲面是由邻域点云确定的，这样使得提取结果缺乏全局性，从而不精确。因此，根据集合I_max中共同的点的索引建立新的点集V^P，并在点集V^P中再次提取曲面，提取结果由于考虑了点云的局部性和全局性，因此结果更加精确。参见附图3：直线A为粗提取的曲面，直线B为精确提取的曲面。

S5：重复S4至S4.1若干次提取出若干张曲面，且每次执行完S4后均更新集合P和若干集合I。

以上步骤经过一次程序循环便可以提取到若干张曲面。但是上述过程提取的曲面与理想下的曲面相比，参数差异会比较大。这是因为粗提取的曲面是由邻域点云确定的，并不能很好的反映点云的整体信息，因此它是不精确的。因此，我们实施了精确提取的方案；由于集合I已存储了位于曲面的点的索引，所以如果在这些点中再次提取曲面，其结果会比粗提取的曲面更加精确。需要注意的是：以上过程提取的目标表面须是相交的，进而才能能够实施目标物棱的提取，这里可以通过检查两张曲面是否存在公共点来确定上述条件是否满足。

S6：检测若干张曲面是否相交；若相交，则将相交处的公共点云存储在点集V_i ^l中，其中i＝0,1,2，并获取点集V_i ^l的质心；若不相交，则重新进行S4、S5，以重新获取若干张曲面。

S7：曲面相交处即为目标物的棱，根据提取的目标物表面信息获取棱的大致走向，并结合图像的纹理变化获取棱两个端点的坐标。为了减少光线衍射带来的测量误差，本发明实施以下计算提取方案：对于由平面相交形成的棱，此时棱为直线；在获取到棱所在的直线方程后，在棱的端点之间截取一段线段作为对比线段。通过对比线段和棱在图像中的长度比例，计算实际场景中的棱长。对于由非平面相交形成的棱，采用最小二乘法拟合棱所在的直线或曲线，计算端点之间的测地距离作为曲线棱长；

S8：重复S7直至提取出目标物所有的棱。

在棱提取这一部分中，关键是准确获取棱端点的位置信息。但是在实际应用中由于目标物的表面颜色具有很大的随机性，所以从二维图像上直接获取端点的空间坐标并不可取。为解决此问题，本发明首先求解在目标点云中棱所在的曲线或直线方程。对于由平面相交形成的棱，棱为直线；此时，实施以下棱长计算方案：视两张平面的公共点云的质心(V_i ^l的质心)为棱上的一点，并记目标物的棱为L_i(i＝0,1,2)。

由此可以得到在目标点云中棱所在直线的参数方程：

L_i:P₃＝P_i ^g+t·d₃ 式2

其中，d₃∈R³是L_i的单位方向向量，P₃∈R³是L_i上一点，t∈R是系数。若该目标物为由平面组成的立方体，则在单视角下，该目标物最多能够显示三张平面和三条棱。此时，记l_i(i＝0,1,2)为L_i在图像上的投影。并记l₀和l₁交于点同理，l₀和l₂交于点/>l₁和l₂交于点/>接下来，我们对直线l_i进行平移，使其过/>的质心点/>则在图像中l_i的参数方程表达式如下：

其中，d₂∈R²是l_i的单位方向向量，是l_i上一点。由于同时考虑了三条棱的位置关系，因此，本文取P₀为L_i(i＝0,1,2)的共同端点，其中P₀∈R³为/>在相机坐标系下的三维点。若目标物为由多个平面组成的多面体，则L_i(i＝0,1,...n)可能不存在共同端点。此时，我们认为P₀为点集VP_i中与/>拥有最大欧氏距离的点。

在S6中，点集VP_i存储了两张平面点云的公共点云，在本节中，我们将VP_i投影到图像中，获取与的最大图像距离，并记为/>其次，记/>本文认为，L_i的另一个端点在图像上的投影位于/>的某个领域内。因此，我们以/>为中心，在/>的邻域内搜索像素灰度值变化较大的点/>作为L_i的另一个端点在图像上的投影，/>的定义如下：

在上述条件下，直接计算和/>在相机坐标系下的欧氏距离作为目标物的棱长是可行的。但是由于RGBD相机在目标物的边缘部位采集深度信息会存在光线衍射现象，这样的测量结果并不精确。因此，本算法提供以下测量方案：在直线l_i(i＝0,1,2)上取两点/>和并计算它们在相机坐标系下的欧氏距离L_e；其中，/>和/>的定义如下：

最终，根据和/>的长度关系，计算实际场景中棱的长度L_final。可用以下关系式描述：

L_final＝2L_e·s。 式6

对于由非平面相交形成的棱，本文实施以下计算方案：首先在两张曲面的公共点集V_i ^l中采用最小二乘法拟合棱的方程。其次，依然采用上述方法将曲线投影到图像空间中获取棱的端点，并将端点间的测地距离作为棱长。

根据以上方法，可以快速，准确地计算出目标物的棱长，进而获取表面积和体积等相关信息。

本发明是一种非接触式的三维测量技术，主要对规则物体进行测量，获取棱长、表面积和体积等信息，涉及点云分割技术、八叉树寻找邻域点技术、极大值抑制思想。

该技术主要包括表面提取和棱提取两个模块，其中表面提取是三维测量算法中的关键模块，能否准确的提取出目标物的表面信息决定着后续棱长计算结果的准确性。

本发明所采用的技术方案是，首先在点云场景中提取目标物的若干面；面的提取具体分为两步进行：粗提取和精确提取。其次根据若干面的信息确定棱的位置，这一步根据目标物的几何特性分两类进行：对于由平面相交形成的棱，根据相交平面的几何特性计算棱的方向向量和获取棱所在空间直线上一点的坐标。最后结合图像纹理变化和场景深度信息获取棱的端点位置，采用比例的方法计算棱长；对于由非平面相交形成的棱，使用最小二乘法获取曲线方程，采用求解直线的方案确定棱的端点坐标，使用两个端点之间的测地距离作为棱长。本发明具有以下优点：

1.提出了采用邻域粗提取和精确提取的点云曲面分割方法，在采样点邻域范围内提取曲面点云，通过筛选这些曲面，来确定点云场景中近似曲面的区域。从这些区域中再次提取曲面，会使提取效果更加精确。

2.提出了基于极大值抑制算法的多张曲面点云分割方法；充分利用粗提取的曲面特征，达到在点云场景中循环一次提取多张曲面的目的，大大减少了由于迭代选取带来的时间开销。

3.提出了在RGBD相机下使用比例的方法近似测量目标的真实长度，有效的解决了因光线衍射和其他噪声造成的像素无深度信息或深度信息不准确，从而无法准确测量目标真实长度等问题。

本发明经过测试，能够在很短的时间内完成目标物的表面和棱的提取工作，并完成测量，测量结果与手动测量之间误差小于5％。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims (3)

1.一种基于RGBD相机的三维测量方法，其特征在于，包括：

S1：使用RGBD相机对目标物进行拍摄获取目标点云，并对所述目标点云中的点进行均匀采样得到若干采样点；

S2：对每个所述采样点执行以下操作：采用八叉树收集所述采样点邻域半径为R内的所述目标点云，得到若干邻域点云；对若干所述邻域点云通过拟合提取曲面，所述曲面包含平面和非平面；若所有所述邻域点云均位于所述曲面上，则将所述曲面和所述采样点分别加入集合P和集合A中；

S3：经S2所述集合P储存有若干所述曲面，对每张所述曲面执行以下操作：建立集合I，所述集合I用于存储所述目标点云中落入所述曲面内的点的索引；

S4：S3中得到若干所述集合I，按照每张所述曲面对应的所述集合I的容量大小对所述集合P中的所有所述曲面进行排序，选出最大容量的所述集合I记为集合I_max，并将对应的所述曲面进行提取，然后在所述集合P中将提取出来的所述曲面剔除，同时在若干所述集合I中剔除与在所述集合I_max中共同的点的索引；

S5：重复S4若干次以提取出若干张所述曲面，且每次执行完S4后均更新所述集合P和若干所述集合I；

S6：检测若干张所述曲面是否相交；若相交，则将相交处的公共点云存储在点集中，并获取所述点集/>的质心；若不相交，则重新进行S4、S5，以重新获取若干张所述曲面；

S7：所述两张曲面相交处即为所述目标物的棱，依据所述棱的几何形状实施以下两种测量方案：对于由平面相交形成的棱，此时，所述棱为直线；使用两个相交平面的法向量叉乘获取棱所在的直线方程；并结合图像纹理变化和场景深度信息获取所述棱的端点，最后使用比例计算所述棱的长度；对于由非平面相交形成的棱，采用最小二乘法拟合所述棱所在的直线或曲线，并同样采用上述方案确定所述棱的端点坐标，计算两个端点之间的测地距离作为曲线棱长；

S8：重复S7直至计算出所述目标物所有的边的长度，进而计算所述目标物的表面积和体积。

2.根据权利要求1所述的基于RGBD相机的三维测量方法，其特征在于，包括S4.1，根据所述集合I_max中存储的点的索引建立新的点集V^P，并在所述点集V^P中再次提取所述曲面。

3.根据权利要求1所述的基于RGBD相机的三维测量方法，其特征在于，S7中，对于由非平面相交形成的所述棱，根据两张相交所述曲面的点云，通过最小二乘法获取曲线方程；对于由平面相交形成的所述棱，采用相交平面的法向量叉乘获取直线方程。