CN104036513A - 一种三维弯管多相机视觉检测方法及其系统 - Google Patents

Abstract

本发明公开了一种三维弯管多相机视觉检测方法及其系统，包括下述步骤：步骤S1，多相机标定；步骤S2，弯管图像采集；步骤S3，弯管边缘识别；步骤S4，弯管二维中心线检测；步骤S5，弯管三维中心线重建；步骤S6，弯管参数计算。通过上述操作步骤，本发明为加工后弯管的尺寸检测提供了一种快速、准确的量测方法，不仅操作方便，自动化程度高，而且测量结果准确、可靠。

Description

一种三维弯管多相机视觉检测方法及其系统

技术领域

本发明涉及机械加工领域中弯管三维检测的问题，特别涉及一种三维弯管的多相机视觉检测方法。

背景技术

弯管因其具有质量轻、强度高以及易于加工等优点，在汽车、家电、运动器材以及军工航天等行业被广泛应用，如汽车排气管、家装栏杆、自行车以及其他弯曲零部件等。在实际生产过程中，如何快速、准确的测量加工后的弯管以验证其能否满足设计要求，是非常重要的。

目前，弯管加工厂多采用一些简易的量测工具或三坐标测量仪来进行弯管量测，尽管这些测量手段具有一定的精度，但操作复杂、测量效率较低。因此，迫切需要一种快速、准确、自动化程度高的测量方法，以满足弯管加工后的检测要求。

近年来，随着计算机硬件的提高和图像采集设备的不断进步，计算机视觉测量技术发展迅速，已被广泛用于工业生产的各个领域。相比于传统的测量手段，视觉测量具有非接触、精度高及快速方便等优点。因此，本发明将该技术用于弯管检测，以克服传统弯管检测手段的缺陷和不足。

发明内容

为了满足三维弯管检测高效、准确的使用需求，并克服传统检测手段的缺陷，本发明提供了一种三维弯管的多相机视觉检测方法，能够实现三维弯管的准确重建，并提高其检测的效率。

为实现上述目的，本发明所述一种三维弯管多相机视觉检测方法，其特征在于，包括下述步骤：

步骤S1，多相机标定：在测量视场中布置多个标志点，对多个相机的内部参数和外部参数进行全局标定，所述标志点包括环形的编码标志点和圆形的非编码标志点；

步骤S2，弯管图像采集：在弯管周围布置高频LED光源，使用多个相机从不同方位同步拍摄以获得弯管在同一位姿的原始弯管图像；

步骤S3，弯管边缘识别：对于上述原始弯管图像，识别所述弯管的边缘；

步骤S4，弯管二维中心线检测：根据S3获得的弯管边缘，在原始弯管图像上搜索并计算弯管中心线；

步骤S5，弯管三维中心线重建：根据摄影测量多相机三维重建原理，计算弯管中心点的三维坐标；

步骤S6，弯管参数计算：根据S5计算的结果，利用最小二乘法拟合计算弯管直管段的中心线、圆弧段的半径及拐点参数。

本发明方法至少具有以下优点：

(1)由于本发明方法中采用多相机进行弯管测量，因此，能够从不同方位采集弯管图像，从而实现弯管三维外形的整体一次性检测；

(2)由于本发明方法是一种基于多相机的视觉测量方法，因此，具有非接触、便于操作、快速检测的优点。

附图说明

图1本发明方法的测流程图；

图2本发明三维弯管多相机测量示意图；

图3本发明弯管特征识别的过程图像：(a)原始弯管图像；(b)背景图像；(c)弯管特征图像；

图4本发明弯管边缘识别结果；

图5本发明弯管二维中心线检测结果；

图6本发明弯管三维重建示意图；

图7本发明弯管三维重建结果显示；

图8本发明弯管拐点计算示意图。

具体实施方式

以下结合附图对本发明作进一步的详细说明。

本发明提出一种三维弯管的多相机视觉检测方法，基本测量流程如图1所示。以十相机测量为例，在对弯管进行三维视觉检测时：

步骤S1，多相机标定：在测量视场中布置多个标志点，对多个相机的内部参数和外部参数进行全局标定，所述标志点包括环形的编码标志点和圆形的非编码标志点。

以十相机测量为例，通过在测量视场中布置多个标志点来实现10个相机内、外部参数的全局标定，10个相机的布站如图2所示。所用标志点包括环形的编码标志点和圆形的非编码标志点。

在一个实施例中，所述步骤S1包括如下步骤：

S101：利用三坐标测量仪测量得到所有标志点的三维空间数据；

S102：利用摄影测量空间后方交会原理，根据采集的标定图像计算得到多个相机的内、外参数。

需要说明的是，多相机标定属于现有技术，作为示例，本实施例中可以采用文献“大视场多像机视频测量系统的全局标定.”(胡浩，梁晋，唐正宗，等.光学精密工程，2012)所提出的多相机标定方法。当然，也可以采用其他多相机标定方法。

步骤S2，弯管图像采集：在弯管周围布置高频LED光源，使用多个相机从不同方位同步拍摄以获得弯管在同一位姿的原始弯管图像。利用计算机控制十个相机从不同方位同步拍摄弯管一次，获得弯管在同一位姿的10幅灰度图像，相机的布站如图2所示。

另外，在另一个实施例中，为了方便后续图像处理，将弯管从测量视场中取出并保持十个相机的位置不变，再控制十个相机同步拍摄一次以获得10幅背景灰度图像。更优选的，图像采集前在弯管周围布置高频LED光源，以消除弯管阴影。此外，注意调节相机光圈和镜头焦距，使每个相机所采集的图像尽可能清晰。

步骤S3，弯管边缘识别：对于上述原始弯管图像，识别所述弯管的边缘。

具体实施时，在另一个实施例中，所述步骤S3可以至少包括如下步骤：

S301：利用图像与背景相减将所述原始弯管图像中的特征与背景分开；

S302：识别弯管的边缘并保存边缘点的二维图像坐标。

其中，将采集的弯管图像与背景图像进行灰度相减，使待测的弯管区域与图像背景分割开，如图3所示。

然后，优选的，所述步骤S302中，采用Canny边缘检测算法或其他边缘检测算法识别出弯管的边缘，如图4所示。进一步的，可以将边缘点的二维图像坐标存储。

步骤S4，弯管二维中心线检测：根据S3获得的弯管边缘，在原始弯管图像上搜索并计算弯管中心线。

具体的，在另一个实施例中，搜索并计算弯管中心线时，对于所述步骤S4，基于边缘的法向量，在原始弯管图像上搜索并计算弯管中心线，这样可以剔除弯管端部可能产生的错误点。

对于该步骤S4，在另一个实施例中，所述步骤S4包括如下步骤：

S401：根据边缘点相邻节点的拓扑关系，利用插值算法计算弯管边缘点的法向量；

S402：对弯管每一边缘点A，沿其反法向方向进行搜索，得到与之对应的边缘点B，则这两点连线的中心即为弯管的中点；

S403：重复这一过程，得到弯管在图像上的二维中心线。

进一步的，在另一个实施例中，为了提高所述检测方法的鲁棒性，所述步骤S402之后，所述S403之前还包括如下步骤：

检测获得的弯管的二维中心点如图5所示。

步骤S5，弯管三维中心线重建：根据摄影测量多相机三维重建原理，计算弯管中心点的三维坐标。

进一步的，在另一个实施例中：根据摄影测量多相机三维重建理论，可知：空间任一弯管中心点在不同相机的像平面上对应唯一像点。因此，本发明进一步利用不同相机的光心与像点组成的射线相交即可求得弯管中心点的三维坐标，基本原理如图6所示。

优选的，所述步骤S5包括如下步骤：

S501：重建之前，选定某一相机图像为参考图像，对于图像上弯管的每一个中心点，利用极线几何原理在其他相机图像上搜索与其对应的图像点；

S502：计算这一中心点的三维坐标。

优选的，本实施例中可以采用现有的多相机三维坐标重建技术，例如采用文献“数字近景工业摄影测量关键技术研究与应用”(黄桂平.天津大学博士学位论文，2005)所提出的多摄站坐标测量方法来计算弯管中心的三维坐标。

由于本发明方法基于多极线几何原理进行三维重建，并利用光束平差算法进行整体调整优化，因此能够实现三维弯管的高精度测量。

三维重建完成后，基于OpenGL显示环境，给定一个弯管直径，绘制并显示弯管的三维视图，如图7所示。

步骤S6，弯管参数计算：根据S5计算的结果，利用最小二乘法拟合计算弯管直管段的中心线、圆弧段的半径及拐点参数。

优选的，在另一个实施例中，分别通过最小二乘直线拟合和最小二乘圆拟合来计算弯管直管段的中心线及其圆弧段的半径。

进一步的，在另一个实施例中，进一步通过一实施例计算弯管的拐点，也即相邻直管段中心线的延长线的交点。由于计算后相邻直管段中心线未必交于一点，因此当计算所述拐点时，将相邻直管段中心线的公垂线的中点做为拐点，如图8所示。令计算得到的相邻两直管段的中心线的方向向量分别为：V₁＝(a₁，b₁，c₁)和V₂＝(a₂，b₂，c₂)，则两直管段中心线可表示为：

直线 $l_1:\left\{\begin{array}{c}x=x_1+a_{1}t\\ y=y_1+b_{1}t\\ z=z_1+c_{1}t\end{array}\right.---\left(2\right)$

直线 $l_2:\left\{\begin{array}{c}x=x_2+a_{2}t\\ y=y_2+b_{2}t\\ z=z_2+c_{2}t\end{array}\right.---\left(3\right)$

其中，t为实数空间任一自变量，令M、N分别为直线l₁和l₂上的点，M＝(x₁+a₁η，y₁+b₁η，z₁+c₁η)，N＝(x₂+a₂ξ，y₂+b₂ξ，z₂+c₂ξ)，若为直线l₁和l₂的公垂线段，则即

$\left\{\begin{array}{c}(a_1{a}_2+b_1{b}_2+c_1{c}_2)\mathrm{\η}-({a_1}^2+{a_1}^2+{a_1}^2)\mathrm{\ξ}=a_1(x_1-x_2)+b_1(y_1-y_2)+c_1(z_1-z_2)\\ ({a_1}^2+{a_1}^2+{a_1}^2)\mathrm{\η}-(a_1{a}_2+b_1{b}_2+c_1{c}_2)\mathrm{\ξ}=a_2(x_1-x_2)+b_2(y_1-y_2)+c_2(z_1-z_2)\end{array}\right.---\left(4\right)$

对式(4)进行求解可得η和ξ的值，也即求出了M、N两点的坐标值，则的中点P_c可表示为：

P_c＝(M+N)/2 (5)

P_c即为弯管的拐点，弯管有n个圆弧段，就有n个拐点。

此外，本发明还公开了一种三维弯管多相机视觉检测系统，所述系统用于实施上述检测方法。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (10)

1.一种三维弯管多相机视觉检测方法，其特征在于，包括下述步骤：

步骤S1，多相机标定：在测量视场中布置多个标志点，对多个相机的内部参数和外部参数进行全局标定，所述标志点包括环形的编码标志点和圆形的非编码标志点；

步骤S2，弯管图像采集：在弯管周围布置高频LED光源，使用多个相机从不同方位同步拍摄以获得弯管在同一位姿的原始弯管图像；

步骤S3，弯管边缘识别：对于上述原始弯管图像，识别所述弯管的边缘；

步骤S4，弯管二维中心线检测：根据S3获得的弯管边缘，在原始弯管图像上搜索并计算弯管中心线；

步骤S5，弯管三维中心线重建：根据摄影测量多相机三维重建原理，计算弯管中心点的三维坐标；

步骤S6，弯管参数计算：根据S5计算的结果，利用最小二乘法拟合计算弯管直管段的中心线、圆弧段的半径及拐点参数。

2.如权利要求1所述的方法，其特征在于，优选的，所述步骤S1包括如下步骤：

S101：利用三坐标测量仪测量得到所有标志点的三维空间数据；

S102：利用摄影测量空间后方交会原理，根据采集的标定图像计算得到多个相机的内、外参数。

3.如权利要求1所述的方法，其特征在于，所述步骤S3至少包括如下步骤：

S301：利用图像与背景相减将所述原始弯管图像中的特征与背景分开；

S302：识别弯管的边缘并保存边缘点的二维图像坐标。

4.如权利要求3所述的方法，其特征在于：所述步骤S302中，采用Canny边缘检测算法或其他边缘检测算法识别出弯管的边缘。

5.如权利要求1所述的方法，其特征在于：对于所述步骤S4，基于边缘的法向量，在原始弯管图像上搜索并计算弯管中心线以剔除弯管端部可能产生的错误点。

6.如权利要求5所述的方法，其特征在于，所述步骤S4包括如下步骤：

S401：根据边缘点相邻节点的拓扑关系，利用插值算法计算弯管边缘点的法向量；

S402：对弯管每一边缘点A，沿其反法向方向进行搜索，得到与之对应的边缘点B，则这两点连线的中心即为弯管的中点；

S403：重复这一过程，得到弯管在图像上的二维中心线。

7.如权利要求6所述的方法，其特征在于，所述步骤S402之后，所述S403之前还包括如下步骤：

S4023：将B点沿其反法向放向进行搜索，得到其对应点C，理论上C应该非常接近A，设定一个阀值T_h进行判断，若令点A、B的坐标分别为(x_A，y_A)和(x_B，y_B)，则对应的校正后的弯管中点0的坐标通过下式(1)进行计算：

$\left\{\begin{array}{c}{x}_o=(x_A+x_B)/2\\ y_o=(y_A+y_B)/2\end{array}\right.---\left(1\right).$

8.如权利要求1所述的方法，其特征在于，所述步骤S5包括如下步骤：

S501：重建之前，选定某一相机图像为参考图像，对于图像上弯管的每一个中心点，利用极线几何原理在其他相机图像上搜索与其对应的图像点；

S502：计算这一中心点的三维坐标。

9.如权利要求1所述的方法，其特征在于，当计算所述拐点时：

将相邻直管段中心线的公垂线的中点做为拐点，令计算得到的相邻两直管段的中心线的方向向量分别为：V₁＝(a₁，b₁，c₁)和V₂＝(a₂，b₂，c₂)，则两直管段中心线可表示为：

直线 $l_1:\left\{\begin{array}{c}x=x_1+a_{1}t\\ y=y_1+b_{1}t\\ z=z_1+c_{1}t\end{array}\right.---\left(2\right)$

直线 $l_2:\left\{\begin{array}{c}x=x_2+a_{2}t\\ y=y_2+b_{2}t\\ z=z_2+c_{2}t\end{array}\right.---\left(3\right)$

公式(2)和(3)中，t为实数空间任一自变量，令M、N分别为直线l₁和l₂上的点，设M＝(x₁+a₁η，y₁+b₁η，z₁+c₁η)，N＝(x₂+a₂ξ，y₂+b₂ξ，z₂+c₂ξ)，若为直线l₁和l₂的公垂线段，则即

$\left\{\begin{array}{c}(a_1{a}_2+b_1{b}_2+c_1{c}_2)\mathrm{\η}-({a_1}^2+{a_1}^2+{a_1}^2)\mathrm{\ξ}=a_1(x_1-x_2)+b_1(y_1-y_2)+c_1(z_1-z_2)\\ ({a_1}^2+{a_1}^2+{a_1}^2)\mathrm{\η}-(a_1{a}_2+b_1{b}_2+c_1{c}_2)\mathrm{\ξ}=a_2(x_1-x_2)+b_2(y_1-y_2)+c_2(z_1-z_2)\end{array}\right.---\left(4\right)$

对式(4)进行求解可得η和ξ的值，也即求出了M、N两点的坐标值，则的中点P_c表示为：

P_c＝(M+N)/2 (5)

P_c即为弯管的拐点，弯管有n个圆弧段，就有n个拐点。

10.一种三维弯管多相机视觉检测系统，其特征在于：所述检测系统用于实施上述权利要求1-9的方法。