CN104390591A - 大型曲面板测量中圆形标记物的精确定位方法 - Google Patents

Abstract

本发明涉及一种在船舶制造过程中大型曲面板测量中圆形标记物的精确定位方法，该方法涉及的设备包括全局和局部两个测量装置，其中全局测量装置由两台工业相机和一台能够进行存储和分析的高性能服务器组成，局部测量装置有两台工业相机和一台投影仪组成，为了能够准确的测量局部测量装置的空间位置，需要在局部测量装置上安装特定标记物，本发明进行基于视觉测量的圆形标记物定位技术，包括测量装置上安装的圆形标记物的精确定位算法。本发明提供一种不接触钢板表面，能自动、及时、方便、精确地对测量装置上圆形标记物定位方法。

Description

大型曲面板测量中圆形标记物的精确定位方法

技术领域

本发明涉及三维测量，特别涉及到船舶建造时大型曲面板的自动检测，具体是对核心技术圆形标记物进行精确定位的方法。

背景技术

目前，三维测量技术主要包括接触式测量及非接触式测量两类。针对海洋工程装备中的大尺度目标，只能采用非接触式三维测量技术。非接触式三维测量技术包括两类：视觉照相三维测量、激光三维测量。照相三维测量系统具有测量速度快、测量密度高的优点。激光测量系统具有测量精度高的优点，但在测量大尺度目标时，激光扫描速度较慢，无法达到工业生产中的实时性要求。在加工大尺度船舶机舱、艏、艉和过渡段的曲面以及制造海洋工程装备大尺度钢结构时，需要精确、快速地测量曲面的三维数据，因此需要采用相机测量技术。

   国内,基本上采用激光方法测量大尺度的物件，虽然该方法精度高，但是低速、低密度的缺点使得激光测量技术无法满足大尺度工件工业加工生产的要求。一些大型船舶骨干企业及研究机构在全站仪激光三维测量、人工划线定位、曲面钢板水火三维成型技术等方面开展了相应的研究工作，但并未有成熟可用的产品。而基于照相的大尺度三维测量技术仍然停留在学术研究阶段。

   在视觉测量中。立体匹配是其实现的关键技术之一。一般的立体匹配的方法都依赖于利用像素点的灰度或颜色值，以及其邻域内的纹理信息在另外一个视角中寻找对应的像素点。如果所重建的场景中没有丰富的颜色或者纹理信息，例如船舶制造中的大型曲面弯板，立体匹配将产生很大的误差。为了解决这个问题，可以往场景中添加一些特殊的标记物来降低立体匹配的难度。所以标记物的检测在视觉测量中有着重要的意义。

发明内容

本发明的目的在于克服上述现有技术存在的不足，提供一种新的大型曲面板测量中圆形标记物的精确定位方法。本发明的圆形标记物精确定位方法用于准确测定测量装置的控制位置，不受自然光照、照相角度和曝光时间等外界因素的影响，以适应复杂环境和工业要求。

为了达到上述发明目的，本发明专利提供的技术方案如下：

大型曲面板测量中圆形标记物的精确定位方法，其特征在于，大型曲面板测量时用到的设备包括有全局测量装置和局部测量装置，所述的全局测量装置包括由两台第一工业相机和一台进行存储和分析的高性能服务器，两台第一工业相机分别通过1394线和1394卡连接服务器，局部测量装置包括有两台第二工业相机和一台投影仪，两台第二工业相机分别通过1394线和1394卡连接服务器，所述的投影仪通过USB线连接至服务器，所述局部测量装置为布置在大尺寸曲面板后面的可移动装置，在所述的局部测量装置后面设有全局测量装置，在所述的具备测量装置上安装有特定标记物，该特定标记物为圆形发光二极管；该圆形标记物的精确定位方法包括有：

第一步，在局部测量装置上安装圆形标记物；

第二步，通过全局测量装置上的两台第一工业相机分别对含有圆形标记物的局部测量装置进行拍照，并将拍照结果通过1394线和1394卡传输至服务器中；

第三步，在服务器中，采用模板匹配法对照片中的圆形标记物进行检测，检测结果采用矩形框在图像中标识，以实现圆形标记物的粗定位；

第四步，采用混合HOUGH变换的最小二乘拟合圆方法对圆形标记物进行精确定位；

第五步，获得圆形标记物的精确定位数据，实现对局部测量装置的测量结果的拼接，以精确测量大尺寸曲面板。

在本发明的大型曲面板测量中圆形标记物的精确定位方法中，所述第三步中用于圆形标记物粗定位的模板匹配法是将包含目标图像的模板在搜索区中滑动，计算模板图像与其覆盖区图像的相关值，相关值采用归一化平方差值为计算值指标，如公式（1）所示，匹配最好的区域的中心即认为是圆形标记物的中心。

在本发明的大型曲面板测量中圆形标记物的精确定位方法中，在更进一步设计中，在第三步中按一定的准侧计算模板图像与其覆盖区图像的相关值，具体是采用归一化平方差匹配法作为模板匹配的匹配模式，设定模板                                                大小为 ， 待搜索图像为，计算图像中各个像素的归一化平方差值如公式（1）所示：

          （1）

其中和分别表示模板和搜索图像的灰度值，在搜索图像中，值最小处即为匹配点。

在本发明的大型曲面板测量中圆形标记物的精确定位方法中，所述第四步的精确定位方法包括：

4a.模板匹配实现圆形标记物的粗定位，以依公式（1）找到的像素点为中心，采用合适大小的矩形窗口标注圆形标记物的粗定位结果；

4b.对矩形窗口图像采用HOUGH变换的方法实现圆形标记的检测，其检测后的圆心位置标记为point1，利用图像自身的梯度信息，将HOUGH变换中的参数空间求解由三维降至二维；

4c.对矩形窗口图像通过Canny边缘检测获取圆形标记物的边缘点，然后采用基于RANSAC的最小二乘法圆形标记物的检测，其检测后的圆心位置记为point2；

4d.计算出point1和point2的欧式距离d，若d小于阈值ξ，则转至4e，若d大于阈值ξ，则转至4f；

4e.最后圆心point位置按照公式（2）计算：

                  （2）

其中，，算法结束 ；

4f.对于矩形窗口图像采用Otsu法进行自适应二值化处理，并对二值化图像采用质心法计算出圆心位置point3，分别计算point1和point2的欧式距离d1和d2：若d1＜d2，则最终的圆心point位置即为point1；若d1＞d2，则最终的圆心point位置为point2，算法结束。

在本发明的大型曲面板测量中圆形标记物的精确定位方法中，第四步的HOUGH变换中的参数空间求解由三维降至二维，其具体的方法是对于任意的圆形，其几何表示如公式（3）所示，

                （3）

如果将二维像素坐标转换到三维参数空间，则一个二维像素点对应于三维参数空间中的一个圆锥曲线，如果点集位于同一个圆上，那么它们在三维参数空间中应相交于同一点；

通过引入图像的梯度信息以降低参数空间的计算复杂程度，对公式（3）求导，可以得到式（4）

              （4）

将（4）代入（3）可得

对于含有圆形标记物的待搜索图像，首先设计一个和一样大小累加器图像，并对中的每个像素值都清零，对于指定的圆形半径，可以求出中的像素对应于参数空间二维坐标，将中坐标为的像素值加1，遍历所有可能圆形半径（不会超过的长宽的一半），最终中最大值对应于的坐标即为中圆形标记物的圆心。

在本发明的大型曲面板测量中圆形标记物的精确定位方法中，第四步通过Canny边缘检测获取圆形标记物的边缘点的详细步骤是：首先，通过高斯函数平滑以消除噪声；然后，利用一阶差分模板卷积以达到边缘增强的效果；最后，进行非极大值抑制以保留梯度方向上的最大值，从而检测出边缘。

在本发明的大型曲面板测量中圆形标记物的精确定位方法中，第四步采用基于RANSAC的最小二乘法圆形标记物的检测，其详细过程是：首先对于Canny算子检测出的边缘点任意选取非共线的三个点，确定一个圆的方程，如公式（3）所示，假设该方程即为所要检测的圆的模型；再对其他的边缘点代入到公式（3）中计算出对应的半径，如果和之间的误差小于特定的阈值，该阈值设定为的5%，则认为也是该圆上的一点，处理完所有的边缘点后，统计符合该模型的点数量，如果数量足够多，足够多是指设定其为总数量的80%以上，则认为该模型合理，并计算出总误差；重复执行以上过程多次，多次设定为1000次，以总误差最小的模型中含有的点集为最大一致集，再用最小二乘法对这些点进行圆形轮廓的曲线拟合。

在本发明的大型曲面板测量中圆形标记物的精确定位方法中，所述第一工业相机和第二工业相机的分辨率1440×1080以上、帧率10fps以上，经由1394线和1394卡连接到服务器。

基于上述技术方案，本发明专利大型曲面板测量中圆形标记物的精确定位方法在进行大型曲面板视觉测量时取得了如下技术效果：

1.本发明为了能够灵活方便稳定地对大尺寸的曲面板进行测量，采取了一种两级测量系统，包括局部测量装置和全局测量装置。其中局部测量装置被设置可移动装置，可灵活地分块测量大尺寸曲面板，全局测量装置设置成位置固定，测量局部测量装置的空间位置，用来实现对局部测量装置的测量结果的拼接。准确地测定局部测量装置的空间位置对最终测量结果的精度有着重要的影响。

2.为了能够精确测定局部测量装置的空间位置达到这一要求，应有特定的标记物来标记局部测量装置，并且为了不受自然光照、照相角度和曝光时间等外界因素的影响，一种精确的、稳定的、能够适用于复杂环境和工业要求的标记物定位技术至关重要。

3.通过本发明的方法既可以得到圆形标记物（发光二极管）的精确定位数据，从而提供给全局测量装置以实现对局部钢板测量结果的全局拼接。

附图说明

图1是本发明大型曲面板测量中圆形标记物的精确定位方法中硬件设备连接图。

具体实施方式

下面我们结合附图和具体的实施例来对本发明大型曲面板测量中圆形标记物的精确定位方法做进一步的详细说明，以求更为清楚明了地理解本发明的设计思想和操作过程，不能以此来限制本发明的保护范围。

为了能够灵活方便稳定地对大尺寸的曲面板进行测量，本发明设计出了一种两级测量系统，如图1所示。该两级测量系统包括局部测量装置4和全局测量装置2，其中局部测量装置4被设置可移动装置，可灵活地分块测量大尺寸曲面板1，全局测量装置2设置成位置固定，测量局部测量装置4的空间位置，用来实现对局部测量装置4的测量结果的拼接。其中，全局测量装置2由两台第一工业相机3和一台能够进行存储和分析的高性能服务器7组成，局部测量装置4有两台第二工业相机5和一台投影仪6组成，投影仪6通过USB线连接至服务器7，为了能够准确的测量局部测量装置4的空间位置，需要在局部测量装置4上安装特定标记物，标记物采用圆形的直径为4mm的发光二极管，采用发光二极管作为标记物可以很好地避免自然光照和曝光时间等外界因素的干扰。上述第一工业相机3和第二工业相机5的分辨率1440×1080以上、帧率10fps以上，经由1394线和1394卡连接到服务器7。

本发明采用特定的圆形标记物来标记局部测量装置，并且为了不受自然光照、照相角度和曝光时间等外界因素的影响，一种精确的、稳定的、能够适用于复杂环境和工业要求的标记物定位技术至关重要。

该圆形标记物的精确定位方法包括有：

第一步，在局部测量装置4上安装圆形标记物；

第二步，通过全局测量装置2上的两台第一工业相机2分别对含有圆形标记物的局部测量装置4进行拍照，并将拍照结果通过1394线和1394卡传输至服务器7中；

第三步，在服务器7中，采用模板匹配法对照片中的圆形标记物进行检测，检测结果采用矩形框在图像中标识，以实现圆形标记物的粗定位；

第四步，采用混合HOUGH变换的最小二乘拟合圆方法对圆形标记物进行精确定位；

第五步，获得圆形标记物的精确定位数据，实现对局部测量装置的测量结果的拼接，以精确测量大尺寸曲面板1。

在本发明大型曲面板测量中圆形标记物的精确定位方法中，所述第三步中模板匹配法用于圆形标记物的粗定位，包含目标图像的模板在搜索区中滑动，按一定的准侧计算模板图像与其覆盖区图像的相关值，匹配最好的区域的中心即认为是目标的中心。本发明将归一化平方差匹配法作为模板匹配的匹配模式，模板 大小为 ， 待搜索图像为，计算图像中各个像素的归一化平方差值如公式（1）所示：

          (1)

其中和分别表示模板和搜索图像的灰度值，在搜索图像中，值最小处即为匹配点。采用归一化平方差法可以较好地忽略噪声和光照等的影响。

在本发明大型曲面板测量中圆形标记物的精确定位方法中，所述第四步的精确定位方法包括：

4a.模板匹配实现圆形标记物的粗定位，用矩形窗口对粗定位后圆形标记区域进行标注；

4b.对矩形窗口图像采用HOUGH变换的方法实现圆形标记的检测，其检测后的圆心位置标记为point1，利用图像自身的梯度信息，将HOUGH变换中的参数空间求解由三维降至二维，目的在于提高算法运行效率；

4c.对矩形窗口图像通过Canny边缘检测获取圆形标记物的边缘点，然后采用基于RANSAC的最小二乘法圆形标记物的检测，其检测后的圆心位置记为point2；

4d.计算出point1和point2的欧式距离d，若d小于阈值ξ，则转至4e，若d大于阈值ξ，则转至4f；

4e.最后圆心point位置按照公式（2）计算：

                  （2）

其中，，算法结束 ；

4f.对于矩形窗口图像采用Otsu法进行自适应二值化处理，并对二值化图像采用质心法计算出圆心位置point3，分别计算point1和point2的欧式距离d1和d2：若d1＜d2，则最终的圆心point位置即为point1；若d1＞d2，则最终的圆心point位置为point2，算法结束；d1＞d2，则最终的圆心point位置为point2，算法结束。

上述HOUGH变换中的参数空间求解由三维降至二维，其具体的方法是对于任意的圆形，其几何表示如公式（3）所示，如果将二维像素坐标转换到三维参数空间。可以看出一个二维像素点对应于三维参数空间中的一个圆锥曲线。如果点集位于同一个圆上，那么它们在三维参数空间中应相交于同一点。

通过引入图像的梯度信息，可以降低参数空间的计算复杂度。对公式（3）求导并带回，最终可以得到

对于含有圆形标记物的待搜索图像，首先设计一个和一样大小累加器图像，并对中的每个像素值都清零，对于指定的圆形半径，可以求出中的像素对应于参数空间二维坐标。将中坐标为的像素值加1，遍历所有可能圆形半径（不会超过的长宽的一半），最终中最大值对应于的坐标即为中圆形标记物的圆心。

上述通过Canny边缘检测获取圆形标记物的边缘点的详细步骤是首先通过高斯函数平滑以消除噪声，然后利用一阶差分模板卷积以达到边缘增强的效果。最后进行非极大值抑制以保留梯度方向上的最大值，从而检测出边缘。

上述采用基于RANSAC的最小二乘法圆形标记物的检测，其详细过程是首先对于Canny算子检测出的边缘点任意选取非共线的三个点，确定一个圆的方程，如公式（3）所示，假设该方程即为所要检测的圆的模型；再对其他的边缘点代入到公式（3）中计算出对应的半径，如果和之间的误差小于特定的阈值（设定为的5%），则认为也是该圆上的一点，处理完所有的边缘点后，统计符合该模型的点数量，如果数量足够多（设定为总数量的80%），则认为该模型合理，并计算出总误差。重复执行以上过程多次（设定为1000次），以总误差最小的模型中含有的点集为最大一致集，再用最小二乘法对这些点进行圆形轮廓的曲线拟合。

本发明通过上述方法既可以得到圆形标记物（发光二极管）的精确定位数据，从而提供给全局测量装置以实现对局部钢板测量结果的全局拼接。

Claims (8)

1.大型曲面板测量中圆形标记物的精确定位方法，其特征在于，大型曲面板测量时用到的设备包括有全局测量装置和局部测量装置，所述的全局测量装置包括由两台第一工业相机和一台进行存储和分析的服务器，两台第一工业相机分别通过1394线和1394卡连接服务器，局部测量装置包括有两台第二工业相机和一台投影仪，两台第二工业相机分别通过1394线和1394卡连接服务器，所述的投影仪通过USB线连接至服务器，所述局部测量装置为布置在大尺寸曲面板后面的可移动装置，在所述的局部测量装置后面设有全局测量装置，在所述的局部测量装置上安装有特定的圆形标记物，该圆形标记物为圆形发光二极管；该圆形标记物的精确定位方法包括有：

第一步，在局部测量装置上安装圆形标记物；

第二步，通过全局测量装置上的两台第一工业相机分别对含有圆形标记物的局部测量装置进行拍照，并将拍照结果通过1394线和1394卡传输至服务器中；

第三步，在服务器中，采用模板匹配法对照片中的圆形标记物进行检测，检测结果采用矩形框在图像中标识，以实现圆形标记物的粗定位；

第四步，采用混合HOUGH变换的最小二乘拟合圆方法对圆形标记物进行精确定位；

第五步，获得圆形标记物的精确定位数据，实现对局部测量装置的测量结果的拼接，以精确测量大尺寸曲面板。

2.根据权利要求1所述的大型曲面板测量中圆形标记物的精确定位方法，其特征在于，所述第三步中用于圆形标记物粗定位的模板匹配法是将包含目标图像的模板在搜索区中滑动，计算模板图像与其覆盖区图像的相关值,相关值采用归一化平方差值为计算值指标，匹配最好的区域的中心即认为是圆形标记物的中心。

3.根据权利要求2所述的大型曲面板测量中圆形标记物的精确定位方法，其特征在于，在第三步中按一定的准侧计算模板图像与其覆盖区图像的相关值，具体是采用归一化平方差匹配法作为模板匹配的匹配模式，设定模板                                                 大小为 ， 待搜索图像为，计算图像中各个像素的归一化平方差值如公式（1）所示：

          （1）

其中和分别表示模板和搜索图像的灰度值，在搜索图像中，值最小处即为匹配点。

4.根据权利要求3所述的大型曲面板测量中圆形标记物的精确定位方法，其特征在于，所述第四步的精确定位方法包括：

4a.模板匹配实现圆形标记物的粗定位，以依公式（1）找到的像素点为中心，采用合适大小的矩形窗口标注圆形标记物的粗定位结果；

4b.对矩形窗口图像采用HOUGH变换的方法实现圆形标记的检测，其检测后的圆心位置标记为point1，利用图像自身的梯度信息，将HOUGH变换中的参数空间求解由三维降至二维；

4c.对矩形窗口图像通过Canny边缘检测获取圆形标记物的边缘点，然后采用基于RANSAC的最小二乘法圆形标记物的检测，其检测后的圆心位置记为point2；

4d.计算出point1和point2的欧式距离d，若d小于阈值ξ，则转至4e，若d大于阈值ξ，则转至4f；

4e.最后圆心point位置按照公式（2）计算：

                  （2）

其中，，算法结束 ；

4f.对于矩形窗口图像采用Otsu法进行自适应二值化处理，并对二值化图像采用质心法计算出圆心位置point3，分别计算point1和point2的欧式距离d1和d2：若d1＜d2，则最终的圆心point位置即为point1；若d1＞d2，则最终的圆心point位置为point2，算法结束。

5.根据权利要求4所述的大型曲面板测量中圆形标记物的精确定位方法，其特征在于， HOUGH变换中的参数空间求解由三维降至二维，其具体的方法是对于任意的圆形，其几何表示如公式（3）所示，

                （3）

如果将二维像素坐标转换到三维参数空间，则一个二维像素点对应于三维参数空间中的一个圆锥曲线，如果点集位于同一个圆上，那么它们在三维参数空间中应相交于同一点；

通过引入图像的梯度信息以降低参数空间的计算复杂程度，对公式（3）求导，可以得到式（4）

              （4）

将（4）代入（3）可得

对于含有圆形标记物的待搜索图像，首先设计一个和一样大小累加器图像，并对中的每个像素值都清零，对于指定的圆形半径，可以求出中的像素对应于参数空间二维坐标，将中坐标为的像素值加1，遍历所有可能圆形半径（不会超过的长宽的一半），最终中最大值对应于的坐标即为中圆形标记物的圆心。

6.根据权利要求4所述的大型曲面板测量中圆形标记物的精确定位方法，其特征在于，通过Canny边缘检测获取圆形标记物的边缘点的详细步骤是：首先，通过高斯函数平滑以消除噪声；然后，利用一阶差分模板卷积以达到边缘增强的效果；最后，进行非极大值抑制以保留梯度方向上的最大值，从而检测出边缘。

7.根据权利要求4所述的大型曲面板测量中圆形标记物的精确定位方法，其特征在于，采用基于RANSAC的最小二乘法圆形标记物的检测，其详细过程是：首先对于Canny算子检测出的边缘点任意选取非共线的三个点，确定一个圆的方程，如公式（3）所示，假设该方程即为所要检测的圆的模型；再对其他的边缘点代入到公式（3）中计算出对应的半径，如果和之间的误差小于特定的阈值，该阈值设定为的5%，则认为也是该圆上的一点，处理完所有的边缘点后，统计符合该模型的点数量，如果数量足够多，足够多是指设定其为总数量的80%以上，则认为该模型合理，并计算出总误差；重复执行以上过程多次，多次设定为1000次，以总误差最小的模型中含有的点集为最大一致集，再用最小二乘法对这些点进行圆形轮廓的曲线拟合。

8.根据权利要求1所述的大型曲面板测量中圆形标记物的精确定位方法，其特征在于，所述第一工业相机和第二工业相机的分辨率1440×1080以上、帧率10fps以上，经由1394线和1394卡连接到服务器。