CN108335331A - 一种钢卷双目视觉定位方法及设备 - Google Patents

Abstract

本发明提供了一种钢卷双目视觉定位方法及设备，属于起重机定位技术领域。该方法采用双目相机拍摄获取标定卡图像和钢卷图像；根据标定卡图像进行立体相机标定，获得双目相机内部参数和外部参数；通过对双目相机拍摄的左右钢卷图像进行SIFT特征提取以及轮廓提取等操作获取左右相机拍摄的钢卷图像匹配点的二维坐标；基于前面获得的内部参数和外部参数对钢卷图像匹配点的二维坐标进行转换，获得钢卷图像匹配点的三维坐标，从而对钢卷图像进行三维重建，实现视觉定位。该设备通过调用实现上述方法的程序对钢卷进行视觉定位。本发明能够降低起重机抓取失误率，提高现场操作安全性，并且可以集成到起重机抓取生产线现场，大幅降低起重机吊取失误率。

Description

一种钢卷双目视觉定位方法及设备

技术领域

本发明属于起重机定位领域，更具体地，涉及一种起重机视觉定位方法及设备。

背景技术

随着工程机械邻域内关于起重机的技术不断成熟，用户对于起重机的要求不再仅仅局限于起重机的性能，还包括起重机的失效率、安全性、远程监视等。为了满足客户的以上要求，本领域相关技术人员已经做出了一些研究。

目前，在码头等环境复杂的大型场地上进行钢卷的吊取作业过程中，由于吊取环境复杂，通常采用无人化吊取，虽然在90％的情况下可保证吊取准确，但是仍然存在很多吊取失败的情况。然而，吊取的钢卷为大型工件，一旦失败其后果非常严重。相应地，本领域存在着发展一种能够对大型构件的吊取过程进行准确视觉定位的钢卷视觉定位方法的技术需求。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种钢卷视觉定位方法及设备，其通过双目相机拍摄钢卷图像获取左右钢卷图像中的二维点坐标，通过双目相机拍摄标定卡图像进行立体相机标定，最终获取钢卷图像匹配点的三维坐标、实施钢卷三维重建，从而实现钢卷视觉定位。

为实现上述目的，本发明提供了一种钢卷双目视觉定位方法，采用双目相机拍摄获取标定卡图像和钢卷图像；根据标定卡图像进行立体相机标定，获得双目相机内部参数和外部参数；利用双目相机拍摄的左右钢卷图像获取钢卷图像匹配点的二维坐标；然后，基于立体相机标定获得的双目相机内部参数和外部参数对钢卷图像匹配点的二维坐标进行转换，获得钢卷图像匹配点的三维坐标，从而对钢卷图像进行三维重建，实现视觉定位。

进一步地，钢卷图像匹配点包括左右钢卷图像的匹配特征点和左右钢卷图像轮廓匹配点；利用双目相机拍摄的左右钢卷图像获取钢卷图像匹配点的二维坐标的方法如下：

步骤1：提取双目相机拍摄的左右钢卷图像的HOG特征；

步骤2：利用左右钢卷图像HOG特征训练SVM支持向量机，使用训练后的SVM支持向量机去除左右钢卷图像的背景区域；

步骤3：基于步骤2获得的去除背景区域的左右钢卷图像分别进行如下处理：

步骤3.1，使用SIFT算法提取左右钢卷图像中的不变局部特征，从而获取左右钢卷图像的匹配特征点及其二维坐标值；

步骤3.2，提取出左右钢卷图像的轮廓，并将左右钢卷图像的轮廓进行匹配，获得左右钢卷图像轮廓匹配点的二维坐标值。

进一步地，步骤1中提取左右钢卷图像的HOG特征的方法如下：

首先，对分别对左右钢卷图像进行灰度处理；然后，采用Gamma校正法对灰度处理后的图像进行颜色空间的归一化处理；其次，计算归一化的灰度图像中每个像素的梯度；之后，将归一化的灰度图像划分成多个单元；统计每个单元的梯度直方图，形成每个单元的描述子；将每9个单元组成一个块，一个块内所有单元的特征描述子串联起来得到该块的HOG特征描述子；最后，将所有块的HOG特征描述子串联起来，得到左右钢卷图像的HOG特征描述子，从而提取出左右钢卷图像的HOG特征。

进一步地，步骤3.1中获取左右钢卷图像的匹配特征点及其二维坐标值的方法如下：

首先，通过建立左右钢卷图像的尺度空间进行DoG局部极值点检测，通过去除低对比度的极值点和边缘响应进行关键点精确定位；其次，基于区域梯度直方图确定关键点的主方向和辅方向，对关键点周围的图像区域分块，基于块内梯度直方图确定关键点的特征向量；最后，通过计算左右钢卷图像中对应关键点的HOG特征描述子的欧氏距离来进行左右钢卷图像关键点的匹配，从而获取左右钢卷图像的匹配特征点及其二维坐标值。

进一步地，步骤3.2包括如下子步骤：

步骤3.2.1，使用Canny算子提取左右钢卷图像轮廓；

步骤3.2.2，通过设置阈值，检索图像中所有连通区域，使用区域生长算法将连通区域面积小于设定阈值的孔洞和小区域去除，得到修正后的左右钢卷图像轮廓；

步骤3.2.3，使用Hough变换从修正后的左右钢卷图像轮廓中提取直线，将提取出的直线作为匹配基准，进行修正后的左右钢卷图像轮廓的匹配；

步骤3.2.4，获取匹配后的左右钢卷图像轮廓上的二维点的坐标，其中包括提取出的直线上的二维点的坐标。

进一步地，步骤3.2.2中，采用4邻域检测法去除孔洞，采用8邻域检测法去除小区域。

为了实现上述目的，另一方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上任一项所述的方法。

为了实现上述目的，本发明还提供了一种钢卷双目视觉定位设备，包括上述计算机可读存储介质以及处理器，处理器用于调用和处理计算机可读存储介质中存储的计算机程序。

进一步地，该设备还包括双目摄像机，双目摄像机的图像数据输出端口连接处理器，处理器用于接收双目摄像机拍摄的标定卡图像及左右钢卷图像，并调用计算机可读存储介质中存储的计算机程序对标定卡图像及左右钢卷图像进行处理。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的钢卷视觉定位方法，其通过SVM支持向量机去除左右钢卷图像复杂背景区域、SIFT提取不变局部特征，获取左右钢卷图像匹配特征点、Canny算子提取左右钢卷图像轮廓、区域生长算法去除左右钢卷图像轮廓中孔洞和小区域、Hough变换提取左右钢卷图像轮廓中直线、获取轮廓和检测直线上的二维点坐标、基于立体相机标定获取匹配点三维坐标、实施钢卷三维重建，实现了钢卷视觉定位，降低了起重机抓取失误率，提高了现场操作的安全性。并且本发明可集成到起重机抓取生产线现场，大幅降低起重机吊取失误率。

附图说明

图1是本发明较佳实施方式提供的钢卷视觉定位方法的工作流程示意图；

图2是图1中的钢卷视觉定位方法的定位效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

请参阅图1至图2，本发明较佳实施方式提供的钢卷视觉定位方法，所述钢卷视觉定位方法通过各方法的相互配合，实现了复杂背景下钢卷视觉定位，并且可集成到起重机抓取生产线现场，大幅降低了起重机的吊取失误率，可将起重机的吊取成功率提高到95％以上，降低了起重机操作过程中对人员身体的损害。

所述钢卷视觉定位方法包括通过双目相机拍摄钢卷图像、分别提取左右钢卷图像HOG特征(Histogram of Oriented Gradient)、SVM支持向量机(Support Vector Machine)去除左右钢卷图像复杂背景区域、SIFT提取不变局部特征，获取左右钢卷图像匹配特征点、Canny算子提取左右钢卷图像轮廓、区域生长算法去除左右钢卷图像轮廓中孔洞和小区域、Hough变换提取左右钢卷图像轮廓中直线、获取轮廓和检测直线上的二维点坐标、基于立体相机标定获取匹配点三维坐标、实施钢卷三维重建。

具体地，本实施方式包括如下步骤：

步骤1：利用双目相机拍摄的左右标定卡图像和左右钢卷图像分别进行进行立体相机标定和提取左右钢卷图像的HOG特征。

提取左右钢卷图像HOG特征的方法如下：首先，对图像进行灰度化处理；然后，采用Gamma校正法对输入图像进行颜色空间的标准化(又称归一化)，目的是调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰；其次，计算图像每个像素的梯度(包括大小和方向)，主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。之后将图像划分成小单元；统计每个单元的梯度直方图，形成每个单元的描述子；将每9个单元组成一个块，一个块内所有单元的特征描述子串联起来便得到该块的HOG特征描述子；最后，将图像内的所有块的HOG特征描述子串联起来就可以得到该图像的HOG特征描述子。这个就是最终的可供分类使用的特征向量。

立体相机标定的目的是为了消除畸变以及得到双目相机的内部参数和外部参数。内部参数可以理解为焦距相关，它是一个从平面到像素的转换，焦距不变它就不变，所以确定以后就可以重复使用，内部参数包括焦距、畸变系数矩阵、本征矩阵以及基础矩阵；而外部参数反映的是摄像机坐标系与世界坐标系的转换，外部参数包括旋转矩阵和平移矩阵。从作用上来看，内部参数是为了得到镜头的信息，并消除畸变，使得到的图像更为准确，外部参数是为了得到相机相对于世界坐标的联系，是为了最终的测距。

步骤2：利用左右钢卷图像HOG特征训练SVM支持向量机，使用训练后的SVM支持向量机去除左右钢卷图像的背景区域；共拍摄236组图像，从中提取出4300个训练样本，其中1200个正例，900个反例，2200个难例。所有训练样本全部resize成64×64像素。重新采样了35张验证样本和35张测试样本，其大小为3072像素×2048像素。

步骤3：基于步骤2获得的去除背景区域的左右钢卷图像分别进行如下处理(步骤3.1和步骤3.2不分先后)：

步骤3.1，使用SIFT算法(Scale-invariant feature transform)提取左右钢卷图像中的不变局部特征，从而获取左右钢卷图像的匹配特征点及其二维坐标值。

具体地，首先进行关键点检测，主要通过建立图像尺度空间、进行DoG局部极值点检测、通过去除低对比度的极值点和边缘响应进行关键点精确定位。其次进行关键点描述，主要包括关键点方向描述和关键点特征描述。其中，关键点方向描述主要是基于区域梯度直方图，确定其主方向和辅方向。关键点特征描述主要是对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。最后进行关键点匹配。通过计算两幅图像关键点描述子的欧氏距离来进行关键点的匹配。

步骤3.2，提取出左右钢卷图像的轮廓，并将左右钢卷图像的轮廓进行匹配，获得左右钢卷图像轮廓匹配点的二维坐标值，包括如下子步骤：

步骤3.2.1，基于左右钢卷图像的匹配特征点，使用Canny算子提取左右钢卷图像轮廓；

步骤3.2.2，使用区域生长算法去除左右钢卷图像轮廓中的孔洞和小区域，得到修正后的左右钢卷图像轮廓；通过设置阈值，检索图像中所有连通区域，将连通区域面积小于设定阈值的孔洞和小区域去除。其中采用4邻域检测去除孔洞，采用8邻域检测去除小区域。

步骤3.2.3，使用Hough变换从修正后的左右钢卷图像轮廓中提取直线，将提取出的直线作为匹配基准，进行修正后的左右钢卷图像轮廓的匹配；

步骤3.2.4，获取匹配后的左右钢卷图像轮廓上的二维点的坐标，其中包括提取出的直线上的二维点的坐标。

步骤4：基于立体相机标定结合步骤3.1及步骤3.2.4的匹配结果获取匹配点三维坐标；

步骤5：根据匹配点三维坐标实施钢卷三维重建。

上述各步骤的主要功能及作用如下：提取左右钢卷图像HOG特征，其中HOG特征主要是通过计算和统计图像局部区域的梯度方向直方图来构成特征，其在图像的局部方格单元上操作，所以对图像几何的和光学的形变都能保持很好的不变性。提取左右钢卷图像HOG特征主要是为SVM支持向量机分类提供训练数据。

SVM支持向量机去除左右钢卷图像复杂背景区域主要是通过对提取到的图像上的特征进行训练实现线性分类。

SIFT提取不变局部特征，获取左右钢卷图像匹配特征点主要是基于其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。提取的匹配点为三维重建做准备。

Canny算子提取左右钢卷图像轮廓主要是为了获取钢卷轮廓为扩充匹配点做准备。

区域生长算法去除左右钢卷图像轮廓中孔洞和小区域是为了获取准确的钢卷图像轮廓为扩充匹配二维点做准备。

Hough变换提取左右钢卷图像轮廓中直线主要是为获取左右钢卷图像中直线区域为扩充二维点做准备。

获取轮廓和检测直线上的二维点坐标是为了在SIFT检测出的匹配特征点的基础上，增加更多的二维点，为三维重建做准备。

基于立体相机标定获取匹配点三维坐标主要是为最后的三维重建准备散点。

实施钢卷三维重建为方法目标，即实现起重机吊取钢卷的视觉定位。

本发明提供的可视化的起重机吊取定位系统，其通过一系列方法的组合实现了钢卷的视觉定位。提高了抓取效率及抓取准确性，降低了抓取失误率，提高了现场操作的安全性。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种钢卷双目视觉定位方法，其特征在于，采用双目相机拍摄获取标定卡图像和钢卷图像；根据标定卡图像进行立体相机标定，获得双目相机内部参数和外部参数；利用双目相机拍摄的左右钢卷图像获取钢卷图像匹配点的二维坐标；然后，基于立体相机标定获得的双目相机内部参数和外部参数对钢卷图像匹配点的二维坐标进行转换，获得钢卷图像匹配点的三维坐标，从而对钢卷图像进行三维重建，实现视觉定位。

2.如权利要求1所述的一种钢卷双目视觉定位方法，其特征在于，钢卷图像匹配点包括左右钢卷图像的匹配特征点和左右钢卷图像轮廓匹配点；利用双目相机拍摄的左右钢卷图像获取钢卷图像匹配点的二维坐标的方法如下：

步骤1：提取双目相机拍摄的左右钢卷图像的HOG特征；

步骤2：利用左右钢卷图像HOG特征训练SVM支持向量机，使用训练后的SVM支持向量机去除左右钢卷图像的背景区域；

步骤3：基于步骤2获得的去除背景区域的左右钢卷图像分别进行如下处理：

步骤3.1，使用SIFT算法提取左右钢卷图像中的不变局部特征，从而获取左右钢卷图像的匹配特征点及其二维坐标值；

步骤3.2，提取出左右钢卷图像的轮廓，并将左右钢卷图像的轮廓进行匹配，获得左右钢卷图像轮廓匹配点的二维坐标值。

3.如权利要求2所述的一种钢卷双目视觉定位方法，其特征在于，步骤1中提取左右钢卷图像的HOG特征的方法如下：

首先，对分别对左右钢卷图像进行灰度处理；然后，采用Gamma校正法对灰度处理后的图像进行颜色空间的归一化处理；其次，计算归一化的灰度图像中每个像素的梯度；之后，将归一化的灰度图像划分成多个单元；统计每个单元的梯度直方图，形成每个单元的描述子；将每9个单元组成一个块，一个块内所有单元的特征描述子串联起来得到该块的HOG特征描述子；最后，将所有块的HOG特征描述子串联起来，得到左右钢卷图像的HOG特征描述子，从而提取出左右钢卷图像的HOG特征。

4.如权利要求3所述的一种钢卷双目视觉定位方法，其特征在于，步骤3.1中获取左右钢卷图像的匹配特征点及其二维坐标值的方法如下：

首先，通过建立左右钢卷图像的尺度空间进行DoG局部极值点检测，通过去除低对比度的极值点和边缘响应进行关键点精确定位；其次，基于区域梯度直方图确定关键点的主方向和辅方向，对关键点周围的图像区域分块，基于块内梯度直方图确定关键点的特征向量；最后，通过计算左右钢卷图像中对应关键点的HOG特征描述子的欧氏距离来进行左右钢卷图像关键点的匹配，从而获取左右钢卷图像的匹配特征点及其二维坐标值。

5.如权利要求2或3所述的一种钢卷双目视觉定位方法，其特征在于，步骤3.2包括如下子步骤：

步骤3.2.1，使用Canny算子提取左右钢卷图像轮廓；

步骤3.2.2，通过设置阈值，检索图像中所有连通区域，使用区域生长算法将连通区域面积小于设定阈值的孔洞和小区域去除，得到修正后的左右钢卷图像轮廓；

步骤3.2.3，使用Hough变换从修正后的左右钢卷图像轮廓中提取直线，将提取出的直线作为匹配基准，进行修正后的左右钢卷图像轮廓的匹配；

步骤3.2.4，获取匹配后的左右钢卷图像轮廓上的二维点的坐标，其中包括提取出的直线上的二维点的坐标。

6.如权利要求5所述的一种钢卷双目视觉定位方法，其特征在于，步骤3.2.2中，采用4邻域检测法去除孔洞，采用8邻域检测法去除小区域。

7.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1～6任一项所述的方法。

8.一种钢卷双目视觉定位设备，其特征在于，包括如权利要求7所述的计算机可读存储介质以及处理器，处理器用于调用和处理计算机可读存储介质中存储的计算机程序。

9.如权利要求8所述的一种钢卷双目视觉定位设备，其特征在于，包括双目摄像机，双目摄像机的图像数据输出端口连接处理器，处理器用于接收双目摄像机拍摄的标定卡图像及左右钢卷图像，并调用计算机可读存储介质中存储的计算机程序对标定卡图像及左右钢卷图像进行处理。