CN108007345A

CN108007345A - 一种基于单目相机的挖掘机工作装置测量方法

Info

Publication number: CN108007345A
Application number: CN201711247703.4A
Authority: CN
Inventors: 殷晨波; 马伟; 冯浩; 李蓉; 马夫华
Original assignee: NANJING DAHE ELECTROMECHANICAL TECHNOLOGY Co Ltd; Nanjing Tech University
Current assignee: NANJING DAHE ELECTROMECHANICAL TECHNOLOGY Co Ltd; Nanjing Tech University
Priority date: 2017-12-01
Filing date: 2017-12-01
Publication date: 2018-05-08

Abstract

本发明公开了一种基于单目相机的挖掘机工作装置测量方法，包括：步骤1，设计位姿测量的标识板；步骤2，标识板粘贴位置的选取：将所述标识板粘贴于挖掘机工作装置的四个关节点；步骤3，获取关节点像素坐标，提取出所述标识板的中心点坐标；步骤4，进行像素坐标和世界坐标的坐标转换，得到各关节点的世界坐标，从而完成挖掘机工作装置的位姿测量。

Description

一种基于单目相机的挖掘机工作装置测量方法

技术领域

本发明涉及挖掘机工作装置测量技术领域，尤其涉及一种基于单目相机的挖掘机工作装置测量方法。

背景技术

挖掘机工作装置的位姿测量是实现自主挖掘的关键技术。传统的工作装置位姿测量方法大多采用接触式的位移传感器和电子罗盘等设备对挖掘机的工作装置进行测量，这些技术的优点是精度高，但成本相对较高；且由于需要安装在工作装置上，容易在施工过程中发生碰撞损坏，可靠性较差。

视觉测量作为一种非接触式的测量方法，具有设备价格低廉、操作简便和测量精度较高的优点。近年来，随着计算机与微电子技术的迅速发展，利用计算机视觉对挖掘机工作装置的位姿进行识别，已逐渐走入人们的视野。目前国内外利用视觉对挖掘机工作装置进行测量的方法大多采用激光雷达或深度相机获取位姿的点云信息，通过三维重构等技术实现高精度测量。但是这种使用激光雷达或深度相机进行位姿测量的方式数据量大，处理过程冗杂，因此动态响应较慢。随着近些年单目相机测量技术的不断发展，目标测量的可靠度和精度已经得到很大改善，这为现有视觉测量技术的缺陷提供了改善方案。

发明内容

本发明针对接触式传感器对挖掘机位姿测量中存在的不足以及激光雷达等视觉测量方案数据量大，动态响应差等缺陷，提出一种基于单目相机的挖掘机工作装置测量方法。该方法操作简单、基于OpenCV开源数据库自动化程度高、效率高。实现上述基于单目相机的挖掘机工作装置测量方法，包括以下步骤：

步骤1，设计位姿测量的标识板；

步骤2，标识板粘贴位置的选取：由于所述标识板用于反应所述挖掘机工作装置的运动特性，为了便于运动学分析，将所述标识板粘贴于挖掘机工作装置的四个关节点，以方便测算所述挖掘机工作装置的液压缸位移；

步骤3，获取关节点像素坐标，通过OpenCV等软件实现图像处理提取出所述标识板的中心点坐标；

步骤4，进行像素坐标和世界坐标的坐标转换，得到各关节点的世界坐标，从而完成挖掘机工作装置的位姿测量。

步骤1中，所述标识板的颜色应与挖掘机涂装的油漆色互为反差色。考虑到图像处理算法的应用，所述标识板为采用直径为33cm的红色圆形纸板。

步骤3包括如下步骤：

步骤3-1，不考虑所述挖掘机的回转动作，挖掘机工作装置的工作始终看作在同一平面内运动，该运动平面称为测量平面，使摄像机与所述测量平面保持4.5m的垂直距离，摄像机光轴和所述测量平面垂直，即夹角保持90°，拍摄所述测量平面内的初始图像；

步骤3-2，所述初始图像为RGB图像，通过公式(1)实现色彩空间转换，将RGB图像转换为HSV图像：

0≤R,G,B≤1

V_max＝max(R,,)

V_min＝min(R,,)

ΔV＝V_max-V_min

如果H<0,H＝H+360

其中R、G和B分别表示初始图像每个像素的红色、绿色和蓝色值，H表示色调角，S表示饱和度，V表示亮度，V_max表示R、G、B三者中的最大值，V_min表示R、G、B三者中的最小值；ΔV表示V_max和V_min的差值；

步骤3-3，对步骤3-2转换后的HSV空间图像应用中值滤波公式(2)进行中值滤波：

g(x,y)＝med{f(x-k,y-l),(k,l∈W)} (2)

其中，g(x,y)为中值滤波处理后的图像，f(x,y)为步骤3-2转换后的HSV空间图像，W为二维滤波器，一般为奇数×奇数的区域，med表示中值滤波的函数符号，f(x-k,y-l)为中值滤波函数的输入值，(k,l)为W的中心点坐标；

步骤3-4，对步骤3-3所述经过中值滤波的图像进行二值化处理(参考文献：陈鑫元,李筠,杨海马,等.自适应阈值图像二值化及形态学处理的FPGA实现[J].电子测量技术,2016,39(7):67-71.)，凸显所述标识板的位置；

步骤3-5，对步骤3-4所述经过二值化处理的图像进行形态学开运算得到最终的去除图像噪声的图像；

步骤3-6，对步骤3-5得到的去除噪声的图像进行轮廓提取，运用最小圆形边界算法(参考文献：李鸿燕.基于射影变换几何不变性的圆心像坐标的求取[J].计算机与现代化,2010(9):9-11.)进一步获取圆形标识的中心点坐标。

步骤3-5中所述形态学开运算即对图像先进行腐蚀处理，再进行膨胀处理，所述腐蚀操作即对所述二值化图像进行填充像素边缘或0像素内部孔的操作；所述膨胀操作即对所述二值化图像进行提取关键像素或去掉0像素的操作。

步骤4包括：通过公式(3)完成坐标转换：

M₂＝(RT)

其中，Z_c为摄像机的光轴，和图像平面垂直；(u,v)为像素点的像素坐标值；M₁为内参矩阵，由摄像机参数决定；M₂为外参矩阵，由摄像机和坐标系和世界坐标系的相对空间位置决定；f为镜头焦距；dx为像素点在横轴x上的物理尺寸；dy为像素点在纵轴y上的物理尺寸；(u₀,v₀)为成像平面坐标系的中心坐标；R为旋转矩阵；T为平移矩阵；(X_w,Y_w,Z_w)为关节点的世界坐标。像素坐标和世界坐标的坐标转换，摄像机通过真实的挖掘机工作装置来获取图像，这是一个透镜投影的过程。获取不同坐标系之间的透射关系，即构造对应的透射矩阵就可以实现像素坐标到世界坐标的转换。最后得到各关节点的世界坐标，亦即完成挖掘机工作装置的位姿测量。

本发明具有如下有益效果：

(1)相机具有非接触的优势，测量挖掘机工作装置位姿时避免了因接触导致传感器失效的问题，保证了测量的有效性和稳定性。

(2)挖掘机在实际挖掘中，工况复杂，光线、挖掘机回转等因素都需要考虑；本方法简化了动作，使用单目相机对挖掘机工作装置进行识别，提高了测量的时效性。

(3)本方法基于普通相机，成本低，操作简单；标识板的设计，测量位置的选取合理且自动化程度较高。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1为基于视觉的挖掘机位姿测量方法的设备放置示意图。

图2为摄像机拍摄的挖掘机工作装置原始图像。

图3为经过图像处理，去除图像噪声的挖掘机工作装置位姿图。

图4为各坐标系之间的空间关系，包括：像素坐标系、成像平面坐标系，相机坐标系和世界坐标系；(u₀,v₀)为光轴Z_c与成像平面交点坐标。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

参阅图1，基于视觉的挖掘机工作装置位姿测量的设备包括挖掘机1、标识板2、摄像机3、云台三角架4、笔记本电脑5和全站仪6。

摄像机3设置在云台三脚架4上，所述云台应自带水平仪功能，保证摄像机的水平。摄像机3的摆放位置应注意以下两点：(1)离挖掘机工作装置垂直距离4m至5m，优选4.5m；(2)摄像机3光轴应垂直于挖掘机工作装置工作所在平面(测量平面)。摄像机3与笔记本电脑5电连接，实现实时数据传输。所述摄像机3拍摄的图像经笔记本电脑5处理后，为后续自主挖掘提供相应的姿态信息。

所述的标识板的颜色应与挖掘机涂装的油漆色互为反差色。考虑到图像处理算法的应用，所述标识板采用直径为33cm的红色圆形纸板。

由于所述标识板用于反应所述挖掘机工作装置的运动特性，所以标识板粘贴位置的选取，应当便于运动学分析，为此将所述标识板粘贴于所述挖掘机工作装置的四个关节点，如图2所示，为摄像机拍摄的挖掘机工作装置原始图像，O₁～O₄为四个关节点位置，以方便测算所述挖掘机工作装置的位姿姿态。

使摄像机与所述测量平面保持一定的距离与夹角，拍摄所述测量平面内的初始图像。通过OpenCV等软件实现图像处理提取出所述标识板的中心点坐标。提取所述标识板中心点坐标的具体图像处理步骤为：

a)摄像机3获取的所述初始图像为RGB图像，其对光线十分敏感，而挖掘机工作场合光照条件极其复杂，因此通过公式(1)实现色彩空间转换，将RGB图像转换为HSV图像；

0≤R,G,B≤1

V_max＝max(R,G,B)

V_min＝min(R,G,B)

ΔV＝V_max-V_min

if H<0,H＝H+360

其中R、G和B表示原始图像每个像素的红色、绿色和蓝色值；H表示色调角；S表示饱和度；V表示亮度；V_max表示R、G、B三者中的最大值；V_min表示R、G、B三者中的最小值；ΔV表示V_max和V_min的差值；

b)对步骤a)转换后的HSV空间图像应用中值滤波公式(2)，进行中值滤波。其中g(x,y),f(x,y)分别为处理后的图像和所述转换色彩空间后的HSV图像，W为二维滤波器，一般为奇数×奇数的区域，med表示中值滤波的函数符号，f(x-k,y-l)为中值滤波函数的输入值，(k,l)为W的中心点坐标。

g(x,y)＝med{f(x-k,y-l),(k,l∈W)} (2)

c)对步骤b)所述经过中值滤波的图像进行二值化处理，凸显所述标识板的位置。

d)对步骤c)所述经过二值化处理的图像进行形态学开运算得到最终的去除图像噪声的图像。图3为图2的图像去除噪声后得到的图像。所述形态学开运算即对图像先进行腐蚀处理，再进行膨胀处理。所述腐蚀操作即对所述二值化图像进行填充像素边缘或0像素内部孔的操作；所述膨胀操作即对所述二值化图像进行提取关键像素或去掉0像素的操作。

e)对步骤d)的所述去除噪声的图像，进行轮廓提取，运用最小圆形边界算法进一步获取圆形标识的圆心坐标。

像素坐标和世界坐标的坐标转换，摄像机通过真实的挖掘机工作装置来获取图像，这是一个透镜投影的过程。不同坐标系之间的位置关系如图4所示。获取不同坐标系之间的透射关系，即构造对应的透射矩阵就可以实现像素坐标到世界坐标的转换。最后得到各关节点的世界坐标，亦即完成挖掘机工作装置的位姿测量。所述坐标转换的过程经公式(3)计算完成,其中Z_c为相机的光轴，和图像平面垂直；(u,v)为像素点的像素坐标值；M₁为内参矩阵，由相机参数决定；M₂为外参矩阵，由相机坐标系和世界坐标系的相对空间位置决定；f为镜头焦距；dx为像素点在横轴x上的物理尺寸；dy为像素点在纵轴y上的物理尺寸；(u₀,v₀)为成像平面坐标系的中心坐标；R为旋转矩阵；T为平移矩阵；(X_w,Y_w,Z_w)为关节点的世界坐标。

M₂＝(RT)

由于挖掘机1和摄像机3的尺寸相差较大，在所述外矩阵M₂参数的确定上优选采用数据拟合的方式确定矩阵的参数值，具体实施方式如下：

将全站仪6放置于图1中所示摄像机的位置，任意测取挖掘机工作装置的30组世界坐标；

使用摄像机3获取上述步骤a)中全站仪测量的挖掘机工作装置的像素坐标，通过数据拟合，求出坐标转换中的外参数矩阵M₂。

本发明提供了一种基于单目相机的挖掘机工作装置测量方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims

1.一种基于单目相机的挖掘机工作装置测量方法，其特征在于，包括如下步骤：

步骤1，设计位姿测量的标识板；

步骤2，标识板粘贴位置的选取：将所述标识板粘贴于挖掘机工作装置的四个关节点；

步骤3，获取关节点像素坐标，提取出所述标识板的中心点坐标；

2.根据权利要求1所述的方法，其特征在于，步骤1中，所述标识板为采用直径为33cm的红色圆形纸板。

3.根据权利要求2所述的方法，其特征在于，步骤3包括如下步骤：

其中R、G和B分别表示初始图像每个像素的红色、绿色和蓝色值，H表示色调角，S表示饱和度，V表示亮度，V_max表示R、G、B三者中的最大值，V_min表示R、G、B三者中的最小值，ΔV表示V_max和V_min的差值；

g(x,y)＝med{f(x-k,y-l),(k,l∈W)} (2)

其中，g(x,y)为中值滤波处理后的图像，f(x,y)为步骤3-2转换后的HSV空间图像，W为二维滤波器，med表示中值滤波的函数符号，f(x-k,y-l)为中值滤波函数的输入值，(k,l)为W的中心点坐标；

步骤3-4，对步骤3-3所述经过中值滤波的图像进行二值化处理，凸显所述标识板的位置；

步骤3-6，对步骤3-5得到的去除噪声的图像进行轮廓提取，运用最小圆形边界算法进一步获取圆形标识的中心点坐标。

4.根据权利要求3所述的方法，其特征在于，步骤3-5中所述形态学开运算即对图像先进行腐蚀处理，再进行膨胀处理，所述腐蚀操作即对所述二值化图像进行填充像素边缘或0像素内部孔的操作；所述膨胀操作即对所述二值化图像进行提取关键像素或去掉0像素的操作。

5.根据权利要求4所述的方法，其特征在于，步骤4包括：通过公式(3)完成坐标转换：

其中，Z_c为摄像机的光轴，和图像平面垂直；(u,v)为像素点的像素坐标值；M₁为内参矩阵，由摄像机参数决定；M₂为外参矩阵，由摄像机坐标系和世界坐标系的相对空间位置决定；f为镜头焦距；dx为像素点在横轴x上的物理尺寸；dy为像素点在纵轴y上的物理尺寸；(u₀,v₀)为成像平面坐标系的中心坐标；R为旋转矩阵；T为平移矩阵；(X_w,Y_w,Z_w)为关节点的世界坐标。