CN104296658A - 一种基于虚拟双目视觉的石壁爆破孔检测与定位装置及定位方法 - Google Patents

Abstract

本发明公开一种基于虚拟双目视觉的石壁爆破孔检测与定位装置及定位方法，装置主要包视觉模块、控制模块以及炸药植入机械手。本发明利用一个摄像机从不同的视角对孔进行搜索、分割、锁定，在锁定目标孔后，调用另一个角度取得的目标孔图像，与在先获得的目标孔图像联合进行双目标定，并将标定所得坐标转换到机械手底座坐标系，即可定位目标孔相对于工作机械手的当前空间坐标位置。

Description

一种基于虚拟双目视觉的石壁爆破孔检测与定位装置及定位方法

技术领域

本发明属于测控技术领域，具体涉及一种基于虚拟双目视觉的石壁爆破孔检测与定位装置及定位方法。

背景技术

在大型土木工程中通常需要对山体进行爆破，一般首先在石壁上钻孔，然后装入炸药。然而，由于野外环境中石壁很高、表面积大且表面形貌极不规则，采用人工植入炸药不仅劳动强度大、效率低，且危险性很高，若采用自动化设备植入炸药，又因大部分孔洞与设备上的操作者距离太远、孔口形貌不规则易与小石块混淆等原因使设备操作人员经常漏装或错装许多孔洞，因而需要开发爆破孔自动检测与定位装置，为操作者提供空位置信息，提高炸药植入的准确性，降低漏装率和操作者的劳动强度。

发明内容

本发明提供一种能够代替人工自动完成石壁爆破孔的检测与定位的、基于虚拟双目视觉的石壁爆破孔检测与定位装置及定位方法。

本发明的目是这样实现的：一种基于虚拟双目视觉的石壁爆破孔检测与定位装置，包括摄像机，摄像机安装在多关节可移动机械手上，摄像机通过信号线与图像采集卡连接，图像采集卡与计算机连接，多关节可移动机械手通过控制模块与计算机连接，视觉模块通过信号线与计算机连接。

所述的控制模块上还设有位移和速度传感器。

所述的位移和速度传感器的信号传递给控制模块。

利用上述装置定位石壁爆破的方法，包括以下步骤：

1)爆破孔搜索、检测：通过控制模块操控机械手平移运动，使摄像机能够从两种不同的视角分别拍摄有爆破孔分布的区域，并通过图像采集卡将拍摄的图片传输至视觉模块，视觉模块检测图片中的爆破孔并锁定其中一个孔为当前目标孔；

2)目标孔三维坐标确定：通过视觉模块中的图像处理软件对孔的图像进行处理，分别获得在第一视角和第二视角所拍摄图像中目标孔的二维图像坐标P₁(u,v)和P₂(u′,v′)。此时，若摄像机处于第二视角时的光轴平行于其处于第一视角时的光轴，则可以通过三角关系求出目标孔在以摄像机(第一视角)为参考的坐标系C中的三维坐标(X,Y,Z)；

$\left\{\begin{array}{c}X=\frac{L}{\mathrm{kd}}(u-u_0)k=\frac{L}{d}\left({u-u}_0\right)\\ Y=\frac{L}{\mathrm{kd}}(v_0-v)k=\frac{L}{d}(v_0-v)\\ Z=\frac{\mathrm{Lf}}{\mathrm{kd}}\end{array}\right.$ (k为像元长度)    (1)

式(1)中，f为相机焦距，L为两摄像机之间的距离，d＝u-u′为视差，(u₀,v₀)相机成像平面中心点的坐标；由此即获得了目标孔中心在摄像机坐标系C中的三维坐标；

进一步，假设摄像机坐标系C与机械手底座坐标系O(X₀,Y₀,Z₀)之间的空间转换矩阵为T，其中T中的各参数由安装在控制模块中的位移传感器实时测得，则可将摄像机坐标系C转换至机械手坐标系O中：

此后，获取任意目标孔后，通过以上计算步骤，将目标孔空间坐标转换到机械手底座坐标系中，实现目标孔相对于机械手坐标系的空间定位。

本发明提供的基于虚拟双目视觉的石壁爆破孔检测与定位装置及定位方法，通过机械手的平移运动，摄像机能够从两个不同的视角拍摄同一孔域的图像，并将图像通过采集卡送入计算机进行处理，通过本发明提供的方法，能够准确将石壁上的孔定位，以便于采用机械的方式在孔中植入炸药，本发明能够克服操作者距离孔口远、孔口形貌不规则易与小石块混淆等问题而准确定位爆破孔，可代替人员操作，降低安全生产的风险。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明的系统组成示意图。

图2是预处理后的爆破孔图像。

图3是爆破孔虚拟双目标定模型图，图3中f为摄像机焦距，是由相机决定的已知量；(u₀,v₀)是相机成像平面中心点的坐标，P为目标孔中心，P₁，P₂分别为孔中心P在摄像机两不同拍摄视角中的成像坐标；u、u’分别为P在两不同视角下摄像机中成像的横坐标；C、C’分别为摄像机在两不同拍摄视角时的坐标系的坐标原点。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

本发明提供的基于虚拟双目视觉的石壁爆破孔检测与定位装置结构如下：如图1所示，包括摄像机1，摄像机1安装在多关节可移动机械手7上，摄像机1通过信号线与图像采集卡2连接，图像采集卡2与计算机连接，多关节可移动机械手7通过控制模块5与计算机3连接，控制模块中包含有速度和位移传感器，视觉模块4通过信号线与计算机3连接。

以下为本发明的一个操作实例：

通过机械手7的平移运动，摄像机1能够从两个不同的视角拍摄同一孔域6的图像,并将图像通过采集卡2送入计算机。视觉模块4常规的图象处理软件的去噪、增强等操作分别对两幅图像进行处理，搜索图像中孔域并锁定其中一孔为当前目标孔(如孔2)，如图2所示。

通过视觉模块4中的图像处理软件对目标孔的图像进行处理，分别获得其在第一视角和第二视角中的二维图像坐标P₁(u,v)和P₂(u′,v′)，此时，若摄像机处于第二视角时的光轴平行于其处于第一视角时的光轴，则可以通过三角关系求出目标孔在以摄像机1(第一视角)为参考的坐标系C中的三维坐标(X,Y,Z)。

根据图3所示的爆破孔的双目标定模型图，可得：

$\left\{\begin{array}{c}X=\frac{L}{\mathrm{kd}}(u-u_0)k=\frac{L}{d}\left({u-u}_0\right)\\ Y=\frac{L}{\mathrm{kd}}(v_0-v)k=\frac{L}{d}(v_0-v)\\ Z=\frac{\mathrm{Lf}}{\mathrm{kd}}\end{array}\right.$ (k为像元长度)    (1)

式(1)中，f为相机焦距，L为两摄像机之间的距离。d＝u-u′为视差，(u₀,v₀)是图像平面中心像素点的坐标；由此即获得了目标孔中心在摄像机坐标系C中的三维坐标；

进一步，假设摄像机1坐标系C与机械手底座坐标系O(X₀,Y₀,Z₀)之间的空间转换矩阵为T，其中T中的各参数由安装在控制模块5中的位移传感器实时测得，则可将摄像机坐标系C转换至机械手坐标系O中：

此后，获取任意目标孔后，通过以上计算步骤，将目标孔空间坐标转换到机械手底座坐标系中，实现目标孔相对于机械手坐标系的空间定位。

以下为本发明的一个定位实例：

通过实测，已知图2所示中的目标孔2直径为150mm，其中心点在机械手底座坐标系的坐标为(65.00,780.00,1550.00)，单位为mm(以下除非特殊说明，单位均为毫米)。而爆破孔2的中心点在图像坐标系中的坐标分别为P₁(1339.50,1293.71)(单位：像素)，P₂(501.43,1292.65)(单位：像素)，此时，焦距f＝25.5mm，k＝0.01mm,摄像机平移距离L＝246mm，(ku₀,kv₀)＝(16.32,12.24)。故据式(1)计算可得爆破孔2于摄像机坐标系中的坐标为C(-85.85,-20.46,748.51)。

此时，摄像机坐标相对于机械手基座转换矩阵为T(150.00,800.00,800.00)，代入(2)式可得爆破孔2的中心在机械手坐标系中的坐标为O(64.15,779.54,1548.51)。

对比及结果：

由以上爆破孔2中心的实际坐标与测量坐标对比可知，两坐标间的最大误差为1.49mm(Z方向)，故本发明有较高的测量精度(尤其对于较大直径的孔)和很好的可实现性。

Claims (4)

1.一种基于虚拟双目视觉的石壁爆破孔检测与定位装置，其特征在于：包括摄像机(1)，摄像机(1)安装在多关节可移动机械手(7)上，摄像机(1)通过信号线与图像采集卡(2)连接，图像采集卡(2)与计算机连接，多关节可移动机械手(7)通过控制模块(5)与计算机(3)连接，视觉模块(4)通过信号线与计算机(3)连接。

2.根据权利要求1所述的一种基于虚拟双目视觉的石壁爆破孔检测与定位装置，其特征在于：所述的控制模块(5)上还设有位移和速度传感器。

3.根据权利要求2所述的一种基于双目视觉的石壁爆破孔检测与定位装置，其特征在于：所述的位移和速度传感器的信号传递给控制模块(5)。

4.利用权利要求1－3中任一权利要求所述的装置定位石壁爆破的方法，其特征在于：包括以下步骤：

1)爆破孔搜索、检测：通过控制模块(5)操控机械手(7)平移运动，使摄像机(1)能够从两种不同的视角分别拍摄有爆破孔分布的区域(6)，并通过图像采集卡(2)将拍摄的图片传输至视觉模块，视觉模块(4)检测图片中的爆破孔并锁定其中一个孔为当前目标孔；

2)目标孔三维坐标确定：通过视觉模块(4)中的图像处理软件对孔的图像进行处理，分别获得在第一视角和第二视角所拍摄图像中目标孔的二维图像坐标P₁(u,v)和P₂(u′,v′)。此时，若摄像机处于第二视角时的光轴平行于其处于第一视角时的光轴，则可以通过三角关系求出目标孔在以摄像机(第一视角)为参考的坐标系C中的三维坐标(X,Y,Z)；

式(1)中，f为相机焦距，L为两摄像机之间的距离，d＝u-u′为视差，(u₀,v₀)相机成像平面中心点的坐标；由此即获得了目标孔中心在摄像机坐标系C中的三维坐标；

进一步，假设摄像机坐标系C与机械手底座坐标系O(X₀,Y₀,Z₀)之间的空间转换矩阵为T，其中T中的各参数由安装在控制模块中的位移传感器实时测得，则可将摄像机坐标系C转换至机械手坐标系O中：

此后，获取任意目标孔后，通过以上计算步骤，将目标孔空间坐标转换到机械手底座坐标系中，实现目标孔相对于机械手坐标系的空间定位。