CN105507361B - 基于图像的挖掘机直线行走控制方法及系统 - Google Patents
基于图像的挖掘机直线行走控制方法及系统 Download PDFInfo
- Publication number
- CN105507361B CN105507361B CN201510891110.6A CN201510891110A CN105507361B CN 105507361 B CN105507361 B CN 105507361B CN 201510891110 A CN201510891110 A CN 201510891110A CN 105507361 B CN105507361 B CN 105507361B
- Authority
- CN
- China
- Prior art keywords
- msub
- mtd
- excavator
- image
- straight line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/20—Drives; Control devices
- E02F9/2025—Particular purposes of control systems not otherwise provided for
- E02F9/2045—Guiding machines along a predetermined path
Abstract
本发明公开了一种基于图像的挖掘机直线行走控制方法，包括如下步骤：摄像机周期性获取挖掘机行走方向的图像；根据特征提取算法提取出当前时刻接收到的图像中的特征点；根据特征匹配算法匹配当前时刻和下一时刻接收到的两张图像中的特征点；通过坐标变换将匹配后的特征点在图像坐标系下的坐标转换为世界坐标系下的坐标，并求出匹配后的特征点相对于z轴的平均旋转角度做为挖掘机前进方向的偏移角γ；将偏移角γ作为行走控制的控制信号来动态地调整挖掘机直线行走过程。
Description
技术领域
本发明涉及图像处理及挖掘机行走控制技术领域，特别是涉及一种基于图像的挖掘机直线行走控制方法及系统。
背景技术
挖掘机作为一种重要的工程机械，一般都工作在环境恶劣，工况危险的场合。为了提高挖掘机工作的自动化水平以及保障驾驶员的安全，国内外学者已经对可远程遥控的自动挖掘机进行了研究。其中，实现挖掘机动臂、斗杆、铲斗、回转、左右行走的精确运动控制成为了其中最关键的研究内容。
而现有技术中，阻碍挖掘机实现直线行走的因素主要有两个方面：
(1)挖掘机行走时，左右履带处路面松软程度以及地面坡度通常不完全一样，这也就决定了挖掘机行走时，左右两侧负载不一样。此外，由于左行走装置和右行走装置中的机械及液压元件不可能完全一样，即使我们给左右行走装置相同的控制信号，挖掘机大多数情况下并不能沿着预设的直线行走。
(2)挖掘机多工作在野外，路况复杂，挖掘机在行走时，经常会发生履带滑移，而传统的检测手段并不能检测到履带的滑移，也就不能对挖掘机的前进方向进行补偿和纠正。
针对因素(1)，可通过改变液压系统结构或者在检测液压系统参数的基础上设计相应的控制系统来实现挖掘机直线行走。但上述方法结构复杂，工作量大，可靠性差。通常检测的液压系统参数为主泵压力，左右先导手柄压力信号，以及左右行走马达的流量。由于系统压力存在脉动、压力传感器自身存在零点漂移以及流量计动态响应较差。因此，难以实现动态的，精确的对挖掘机直线行走过程进行控制。
针对因素(2)，当挖掘机履带出现滑移时，系统参数包括液压系统和机械系统参数并不会改变。控制器也就不能通过检测系统参数来修整控制量，也就不能实现挖掘机直线行走的功能。
发明内容
本发明要解决的技术问题是提供一种简单的基于图像的挖掘机直线行走控制方法及系统。
为了解决上述技术问题，本发明提供一种基于图像的挖掘机直线行走控制方法，包括如下步骤：摄像头周期性获取挖掘机行走方向的图像；根据特征提取算法提取出当前时刻接收到的图像中的特征点；根据特征匹配算法匹配当前时刻和下一时刻接收到的两张图像中的特征点；通过坐标变换将匹配后的特征点在图像坐标系下的坐标转换为世界坐标系下的坐标，并求出匹配后的特征点相对于z轴的平均旋转角度做为挖掘机前进方向的偏移角γ；将偏移角γ作为行走控制的控制信号来动态地调整挖掘机直线行走过程。
作为对本发明所述的基于图像的挖掘机直线行走控制方法的改进：所述周期性获取的图像为挖掘机前进方向的地面图像信息。
作为对本发明所述的基于图像的挖掘机直线行走控制方法的进一步改进：所述特征点提取步骤包括：依次计算图像中每一点(u,v)与其邻域(x,y)内所有图像点灰度值平方差的和：
其中，Iu,v为图像坐标系中坐标为(u,v)处图像的灰度值；Iu+i,v+j为图像坐标系中坐标为(u+i,v+j)处图像的灰度值；对所得的eu,v按照从大到小的顺序排序，取eu,v最大的n个点(u,v)作为所述图像的特征点。
作为对本发明所述的基于图像的挖掘机直线行走控制方法的进一步改进：所述特征点匹配步骤包括：对于t时刻获取的图像中的每一特征点(ut,vt)，依次计算其与t+△T时刻接收到的图像中坐标为(ut+△T,vt+△T)处邻域(m,n)内的所有特征点的平方差：
其中，k为(ut+△T,vt+△T)处邻域(m,n)内特征点的个数，△T为采样间隔，为t时刻接收到的图像中坐标为(u,v)处图像的灰度值；Ii为t+△T时刻接收到的图像中坐标为(ut+△T,vt+△T)处邻域(m,n)内第i个特征点处图像的灰度值；Ei取最小时，t+△T时刻接收到的图像中坐标为(ut+△T,vt+△T)处邻域(m,n)内第i个特征点即为与t时刻获取的图像中的特征点(ut,vt)相匹配的特征点；反复执行所述特征匹配算法，得到与t时刻获取的图像中的每一特征点相匹配的特征点。
作为对本发明所述的基于图像的挖掘机直线行走控制方法的进一步改进：所述坐标变换步骤包括：以挖掘机的回转中心为原点o，以平行于挖掘机回转马达回转轴向上的方向为z轴，以平行于挖掘机直线前进的方向为x轴，以垂直于挖掘机直线前进的方向为y轴；图像坐标系向世界坐标系坐标转换的齐次方程为：
作为对本发明所述的基于图像的挖掘机直线行走控制方法的进一步改进：将所述匹配后的特征点在世界坐标系内相对于z轴的平均旋转角度做为挖掘机前进方向的偏移角γ包括：pi(xti,yti,zti)为t时刻获取的第i个特征点的坐标；pi(x(t+△T)i,y(t+△T)i,z(t+△T)i)为t+△T时刻获取的第i个特征点的坐标；匹配后的特征点相对z轴的平均旋转角度γ为：其中：l为匹配后的特征点的个数。
作为对本发明所述的基于图像的挖掘机直线行走控制方法的进一步改进：所述挖掘机直线行走步骤如下：当偏移角γ＝0，表示挖掘机沿直线行走时没有出现偏移，挖掘机继续保持当前运动状态；当偏移角γ>0，表示挖掘机沿直线行走时出现了向左的偏移，此时，将偏移角γ经过一个PI环节处理，作为控制信号输出，实现挖掘机的直线行走；当偏移角γ<0，表示挖掘机沿直线行走时出现了向右的偏移，此时，将偏移角γ经过一个PI环节处理，作为控制信号输出，实现挖掘机的直线行走。
一种基于图像的挖掘机直线行走控制系统，包括在挖掘机上设置的图像采集装置、与图像采集装置信号连接的控制系统；其特征是：所述图像采集装置为摄像头，该摄像头设置于挖掘机的机架底部，其摄像头镜头朝地面；所述控制系统包括控制器、左行走先导阀、右行走先导阀、多路阀、左行走马达、右行走马达；所述控制器由图像处理器和行走控制器组成；所述图像处理器与摄像头信号连接；所述行走控制器分别与左行走先导阀、右行走先导阀信号连接；所述左行走先导阀、右行走先导阀分别与多路阀通过液压软管连接；所述多路阀分别与左行走马达、右行走马达通过液压软管连接；所述左行走马达、右行走马达分别与挖掘机的动力总成相连接。
作为对本发明所述的基于图像的挖掘机直线行走控制系统的改进：所述控制器上带有模拟量输出板卡。
一种基于图像的挖掘机直线行走控制系统的使用方法，基于一种基于图像的挖掘机直线行走控制系统实现；行走控制器输出控制电压信号给左行走先导阀和右行走先导阀，油液经多路阀的控制流入左行走马达和右行走马达，进而控制挖掘机的直线行走过程；摄像头周期性采集挖掘机前进方向上的图像信息，并通过将图像信息处理后求得挖掘机行走装置前进方向的偏移角γ，并将该偏移角γ输入到行走控制器，行走控制器根据所述偏移角γ来对挖掘机直线行走过程进行控制；其控制方法如下：行走控制器接收图像处理器传送过来的挖掘机前进方向偏移角γ，并进行判断：如果偏移角γ＝0，表示挖掘机沿直线行走时没有出现偏移，挖掘机继续保持当前运动状态；如果偏移角γ>0，表示挖掘机沿直线行走时出现了向左的偏移，此时，将偏移角γ经过一个PI环节处理，作为控制信号输出给左行走先导阀，经多路阀，对左行走马达的流量进行控制，从而调整左侧履带的行走速度，实现挖掘机的直线行走；如果偏移角γ<0，表示挖掘机沿直线行走时出现了向右的偏移，此时，将偏移角γ经过一个PI环节处理，作为控制信号输出给右行走先导阀，经多路阀，对右行走马达的流量进行控制，从而调整右侧履带的行走速度，实现挖掘机的直线行走；反复执行上述所有控制方法，直到挖掘机完成直线行走过程。
与现有技术相比，本发明的有益效果是：
1.本发明提出了一种基于图像的挖掘机直线行走的控制系统及方法。所述控制系统及方法可以实时检测并纠正由挖掘机左右行走系统结构不对称，负载不对称，履带发生滑移所引起的挖掘机前进方向与目标方向的偏移，实现挖掘机的直线行走功能。
2.该控制系统及方法不需要对挖掘机原有的行走液压回路进行改进，也不需要安装流量计等测量行走马达流量的传感器。只需要安装一台工业摄像头并搭配所需的控制器即可实现我们的功能。该控制方法可以动态的检测挖掘机前进方向的偏移量并做出修正，结构简单，工作可靠，精度高，动态性能好。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为一种基于图像的挖掘机直线行走的控制系统结构图；
图2为一种基于图像的挖掘机直线行走的图像处理器工作流程图；
图3为一种基于图像的挖掘机直线行走的行走控制器工作原理图。
具体实施方式
实施例1、图1～图3给出了一种基于图像的挖掘机直线行走控制方法及系统。
该基于图像的挖掘机直线行走控制系统包括：控制器1、左行走先导阀4、右行走先导阀5、多路阀6、左行走马达7、右行走马达8、摄像头9。
其中，控制器1是一台工控机，通过挖掘机上的24V蓄电池供电，能实现图像处理和数据计算任务，由图像处理器2和行走控制器3组成。其中，行走控制器3上带有模拟量输出板卡，可输出对左行走先导阀4和右行走先导阀5的控制电压。其摄像头9安装于挖掘机机架上，并通过USB接口与主控制器1相连，摄像头9的镜头朝地面，周期性的拍摄地面图像，并将图像传输给图像处理器2。图像处理器2处理摄像头9获取的图像信息，并将处理结果传输到行走控制器3来对挖掘机的直线行走过程进行控制。左行走先导阀4和右行走先导阀5均通过多路阀6来分别驱动左行走马达7、右行走马达8，并通过左行走马达7、右行走马达8分别控制挖掘机的左侧行走机构和右侧行走机构。
本发明的一种具体实施方式是：
一种基于图像的挖掘机直线行走控制方法，所述控制方法包括以下步骤：
1.行走控制器3输出控制电压信号给左行走先导阀4和右行走先导阀5，油液经多路阀6的控制流入左行走马达7，右行走马达8，进而控制挖掘机的直线行走过程。
其中，给所述左行走先导阀4和右行走先导阀5的控制电压信号均为6V,通过模拟式比例放大板分别驱动左行走先导阀4和右行走先导阀5，实现挖掘机以0.5m/s的理论速度直线前进。
2.如图2所示，在挖掘机直线行走过程中，安装于所述挖掘机上的摄像头9周期性的拍摄地面的图像，并将所述图像信息传输给图像处理器2。
其中，所述摄像头9安装于挖掘机的上车机构，镜头朝下实时采集挖掘机行进过程中的地面图像信息，所述摄像头9采样周期为50ms。
3.如图2所示，根据特征提取算法提取出当前时刻接收到图像中的特征点：依次计算图像中每一点(u,v)与其邻域(x,y)内所有图像点灰度值平方差的总和：
其中，Iu,v为图像坐标系中坐标为(u,v)处图像的灰度值；
Iu+i,v+j为图像坐标系中坐标为(u+i,v+j)处图像的灰度值；
对所得的eu,v按照从大到小的顺序排序，取eu,v最大的n个点(u,v)作为所述图像的特征点。
其中，所得的n个特征点用于后续的特征点匹配以及偏移角计算过程，为了兼顾计算机图像处理的速度以及图像辨识精度的需要，本实例中，n取值为50，特征点扫描邻域(x,y)取为10×10的正方形滑动窗口区域。
4.如图2所示，根据特征匹配算法匹配当前时刻和下一时刻接收到的两张图像中的特征点：
对于t时刻获取的图像中的每一特征点(ut,vt)，依次计算其与t+△T时刻接收到的图像中坐标为(ut+△T,vt+△T)处邻域(m,n)内的所有特征点的平方差：
其中，n为(ut+△T,vt+△T)处邻域(m,n)内特征点的个数，△T为采样间隔。为t时刻接收到的图像中坐标为(u,v)处图像的灰度值；Ii为t+△T时刻接收到的图像中坐标为(ut+△T,vt+△T)处邻域(m,n)内第i个特征点的灰度值。
Ei取最小时，t+△T时刻接收到的图像中坐标为(ut+△T,vt+△T)处邻域(m,n)内第i个特征点即为与t时刻获取的图像中特征点(ut,vt)相匹配的特征点。考虑到挖掘机直线行走过程中，所获取的图像会产生平移和旋转变化，所以搜索邻域(m,n)要尽可能大；同时，过大的邻域增多了可用于匹配特征点的数目，可能会造成误匹配影响匹配精度。综合考虑，本实例中，我们取特征点扫描邻域(m,n)为30×30的正方形滑动窗口区域。
5.如图2所示，通过坐标变换将匹配后的特征点在图像坐标系下的坐标(u,v)转化为世界坐标系下的特征点坐标(x,y,z)：
世界坐标系符合右手定则，以挖掘机的回转中心为原点o，以平行于挖掘机回转马达回转轴向上的方向为z轴，以平行于挖掘机直线前进的方向为x轴，以垂直于挖掘机直线前进的方向为y轴。
图像坐标系向世界坐标系坐标转换的齐次方程为：
该方程的推导过程如下：
其中，
其中，P为从图像坐标系到世界坐标系的转换矩阵，其中的参数与摄像头内参数以及摄像头相对于所述世界坐标系坐标原点的安装位置有关。其中，(u0,v0)为摄像头成像平面的焦点在图像坐标系中的坐标，ku为u方向上单位宽度的像素个数，kv为v方向上单位宽度的像素个数，f为摄像头焦距，θx,θy,θz分别为摄像头相对于所述世界坐标系x,y,z轴的旋转角度，Tx,,Ty,Tz分别为摄像头相对于所述世界坐标系x,y,z轴的平移位移。
6.如图2所示，计算出所述匹配后的特征点在世界坐标系内相对于z轴的平均旋转角度γ，此平均旋转角度γ即为挖掘机前进方向的偏移角。
本实例中，设：
pi(xti,yti,zti)为t时刻获取的第i个特征点的坐标；
pi(x(t+△T)i,y(t+△T)i,zt(T+△T)i)为t+△T时刻获取的第i个特征点的坐标；
在一个采样间隔内，匹配后的特征点相对z轴的平均旋转角度γ为：
其中：l为匹配后的特征点的个数。
γ即为挖掘机前进方向的偏移角。
6.如图2和图3所述，将所述挖掘机行走装置前进方向的偏移角γ传输给行走控制器，行走控制器根据所述偏移角γ来对挖掘机直线行走过程进行控制。
如图3所述，行走控制器3接收图像处理器2传送过来的挖掘机前进方向偏移角γ，并进行判断：
(1)如果偏移角γ＝0，表示挖掘机沿直线行走时没有出现偏移，挖掘机继续保持当前运动状态。
(2)如果偏移角γ>0，表示挖掘机沿直线行走时出现了向左的偏移，此时，将偏移角γ经过一个PI环节处理，作为控制信号输出给左行走先导阀4，经多路阀6，对左行走马达7的流量进行控制，从而调整左侧履带的行走速度，实现挖掘机的直线行走。
(3)如果偏移角γ<0，表示挖掘机沿直线行走时出现了向右的偏移，此时，将偏移角γ经过一个PI环节处理，作为控制信号输出给右行走先导阀5，经多路阀6，对右行走马达8的流量进行控制，从而调整右侧履带的行走速度，实现挖掘机的直线行走。
7.重复过程(1)到(6)，直到挖掘机完成直线行走过程。
最后，还需要注意的是，以上列举的仅是本发明的一个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。
Claims (9)
1.一种基于图像的挖掘机直线行走控制方法，其特征是：包括如下步骤：
摄像头周期性获取挖掘机行走方向的图像；
根据特征提取算法提取出当前时刻接收到的图像中的特征点；
根据特征匹配算法匹配当前时刻和下一时刻接收到的两张图像中的特征点；
通过坐标变换将匹配后的特征点在图像坐标系下的坐标转换为世界坐标系下的坐标，并求出匹配后的特征点相对于z轴的平均旋转角度做为挖掘机前进方向的偏移角γ；
将偏移角γ作为行走控制的控制信号来动态地调整挖掘机直线行走过程。
2.根据权利要求1所述的基于图像的挖掘机直线行走控制方法，其特征是：所述周期性获取的图像为挖掘机前进方向的地面图像信息。
3.根据权利要求2所述的基于图像的挖掘机直线行走控制方法，其特征是：所述特征点提取步骤包括：
依次计算图像中每一点(u,v)与其邻域(x,y)内所有图像点灰度值平方差的和：
<mrow>
<msub>
<mi>e</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>u</mi>
<mo>-</mo>
<mi>x</mi>
<mo>/</mo>
<mn>2</mn>
</mrow>
<mrow>
<mi>u</mi>
<mo>+</mo>
<mi>x</mi>
<mo>/</mo>
<mn>2</mn>
</mrow>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>v</mi>
<mo>-</mo>
<mi>y</mi>
<mo>/</mo>
<mn>2</mn>
</mrow>
<mrow>
<mi>v</mi>
<mo>+</mo>
<mi>y</mi>
<mo>/</mo>
<mn>2</mn>
</mrow>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>u</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>v</mi>
<mo>+</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>I</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
其中，Iu,v为图像坐标系中坐标为(u,v)处图像的灰度值；
Iu+i,v+j为图像坐标系中坐标为(u+i,v+j)处图像的灰度值；
对所得的eu,v按照从大到小的顺序排序，取eu,v最大的n个点(u,v)作为所述图像的特征点。
4.根据权利要求3所述的基于图像的挖掘机直线行走控制方法，其特征是：所述特征点匹配步骤包括：
对于t时刻获取的图像中的每一特征点(ut,vt)，依次计算其与t+ΔT时刻接收到的图像中坐标为(ut+ΔT,vt+ΔT)处邻域(m,n)内的所有特征点的平方差：
<mrow>
<msub>
<mi>E</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mrow>
<msub>
<mi>u</mi>
<mi>t</mi>
</msub>
<mo>,</mo>
<msub>
<mi>v</mi>
<mi>t</mi>
</msub>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
其中，k为(ut+ΔT,vt+ΔT)处邻域(m,n)内特征点的个数，ΔT为采样间隔，为t时刻接收到的图像中坐标为(u,v)处图像的灰度值；Ii为t+ΔT时刻接收到的图像中坐标为(ut+ΔT,vt+ΔT)处邻域(m,n)内第i个特征点处图像的灰度值；
Ei取最小时，t+ΔT时刻接收到的图像中坐标为(ut+ΔT,vt+ΔT)处邻域(m,n)内第i个特征点即为与t时刻获取的图像中的特征点(ut,vt)相匹配的特征点；
反复执行所述特征匹配算法，得到与t时刻获取的图像中的每一特征点相匹配的特征点。
5.根据权利要求4所述的基于图像的挖掘机直线行走控制方法，其特征是：所述坐标变换步骤包括：
以挖掘机的回转中心为原点o，以平行于挖掘机回转马达回转轴向上的方向为z轴，以平行于挖掘机直线前进的方向为x轴，以垂直于挖掘机直线前进的方向为y轴；
图像坐标系向世界坐标系坐标转换的齐次方程为：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>y</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>z</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>p</mi>
<mn>00</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>p</mi>
<mn>01</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>p</mi>
<mn>02</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>p</mi>
<mn>10</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>p</mi>
<mn>11</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>p</mi>
<mn>12</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>p</mi>
<mn>20</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>p</mi>
<mn>21</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>p</mi>
<mn>22</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>p</mi>
<mn>30</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>p</mi>
<mn>31</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>p</mi>
<mn>32</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>&CenterDot;</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>u</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>v</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mi>P</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>p</mi>
<mn>00</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>p</mi>
<mn>01</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>p</mi>
<mn>02</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>p</mi>
<mn>10</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>p</mi>
<mn>11</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>p</mi>
<mn>12</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>p</mi>
<mn>20</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>p</mi>
<mn>21</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>p</mi>
<mn>22</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>p</mi>
<mn>30</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>p</mi>
<mn>31</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>p</mi>
<mn>32</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
6.根据权利要求5所述的基于图像的挖掘机直线行走控制方法，其特征是：将所述匹配后的特征点在世界坐标系内相对于z轴的平均旋转角度做为挖掘机前进方向的偏移角γ包括：
pi(xti,yti,zti)为t时刻获取的第i个特征点的坐标；
pi(x(t+ΔT)i,y(t+ΔT)i,z(t+ΔT)i)为t+ΔT时刻获取的第i个特征点的坐标；
匹配后的特征点相对z轴的平均旋转角度γ为：
其中：l为匹配后的特征点的个数。
7.根据权利要求6所述的基于图像的挖掘机直线行走控制方法，其特征是：所述挖掘机直线行走步骤如下：
当偏移角γ＝0，表示挖掘机沿直线行走时没有出现偏移，挖掘机继续保持当前运动状态；
当偏移角γ＞0，表示挖掘机沿直线行走时出现了向左的偏移，此时，将偏移角γ经过一个PI环节处理，作为控制信号输出，实现挖掘机的直线行走；
当偏移角γ＜0，表示挖掘机沿直线行走时出现了向右的偏移，此时，将偏移角γ经过一个PI环节处理，作为控制信号输出，实现挖掘机的直线行走。
8.基于图像的挖掘机直线行走控制系统的使用方法，基于一种基于图像的挖掘机直线行走控制系统实现；其特征是：
基于图像的挖掘机直线行走控制系统包括在挖掘机上设置的图像采集装置、与图像采集装置信号连接的控制系统；所述图像采集装置为摄像头，该摄像头设置于挖掘机的机架底部，其摄像头镜头朝地面；
所述控制系统包括控制器、左行走先导阀、右行走先导阀、多路阀、左行走马达、右行走马达；
所述控制器由图像处理器和行走控制器组成；
所述图像处理器与摄像头信号连接；
所述行走控制器分别与左行走先导阀、右行走先导阀信号连接；
所述左行走先导阀、右行走先导阀分别与多路阀通过液压软管连接；
所述多路阀分别与左行走马达、右行走马达通过液压软管连接；
所述左行走马达、右行走马达分别与挖掘机的动力总成相连接；
使用方法为：
行走控制器输出控制电压信号给左行走先导阀和右行走先导阀，油液经多路阀的控制流入左行走马达和右行走马达，进而控制挖掘机的直线行走过程；
摄像头周期性采集挖掘机前进方向上的图像信息，并通过将图像信息处理后求得挖掘机行走装置前进方向的偏移角γ，并将该偏移角γ输入到行走控制器，行走控制器根据所述偏移角γ来对挖掘机直线行走过程进行控制；其控制方法如下：
行走控制器接收图像处理器传送过来的挖掘机前进方向偏移角γ，并进行判断：
如果偏移角γ＝0，表示挖掘机沿直线行走时没有出现偏移，挖掘机继续保持当前运动状态；
如果偏移角γ＞0，表示挖掘机沿直线行走时出现了向左的偏移，此时，将偏移角γ经过一个PI环节处理，作为控制信号输出给左行走先导阀，经多路阀，对左行走马达的流量进行控制，从而调整左侧履带的行走速度，实现挖掘机的直线行走；
如果偏移角γ＜0，表示挖掘机沿直线行走时出现了向右的偏移，此时，将偏移角γ经过一个PI环节处理，作为控制信号输出给右行走先导阀，经多路阀，对右行走马达的流量进行控制，从而调整右侧履带的行走速度，实现挖掘机的直线行走；
反复执行上述所有控制方法，直到挖掘机完成直线行走过程。
9.根据权利要求8所述的基于图像的挖掘机直线行走控制系统的使用方法，其特征是：所述控制器上带有模拟量输出板卡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510891110.6A CN105507361B (zh) | 2015-12-07 | 2015-12-07 | 基于图像的挖掘机直线行走控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510891110.6A CN105507361B (zh) | 2015-12-07 | 2015-12-07 | 基于图像的挖掘机直线行走控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105507361A CN105507361A (zh) | 2016-04-20 |
| CN105507361B true CN105507361B (zh) | 2017-12-12 |
Family
ID=55715638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510891110.6A Expired - Fee Related CN105507361B (zh) | 2015-12-07 | 2015-12-07 | 基于图像的挖掘机直线行走控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105507361B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109937676B (zh) * | 2017-12-21 | 2024-01-30 | 山东农业大学 | 一种自走式液压挖藕机的机电控制系统和控制方法 |
| CN110531772B (zh) * | 2019-09-12 | 2022-12-20 | 四川阿泰因机器人智能装备有限公司 | 一种平粮机器人的控制方法及其系统 |
| CN113359694B (zh) * | 2020-03-02 | 2022-08-02 | 徐州徐工挖掘机械有限公司 | 基于卫星定位的挖掘机直线行走控制装置及其控制方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006342616A (ja) * | 2005-06-10 | 2006-12-21 | Shin Caterpillar Mitsubishi Ltd | 作業機械における不正使用禁止装置 |
| CN102888873A (zh) * | 2012-09-12 | 2013-01-23 | 徐州徐工挖掘机械有限公司 | 一种提高挖掘机复合动作时直线行走性能的装置 |
| CN103389733A (zh) * | 2013-08-02 | 2013-11-13 | 重庆市科学技术研究院 | 一种基于机器视觉的车辆巡线方法及系统 |
| CN204163138U (zh) * | 2014-08-28 | 2015-02-18 | 徐州徐工挖掘机械有限公司 | 超大吨位挖掘机直线行走液压系统 |
| CN105116886A (zh) * | 2015-08-11 | 2015-12-02 | 余路 | 一种机器人自主行走的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8145391B2 (en) * | 2007-09-12 | 2012-03-27 | Topcon Positioning Systems, Inc. | Automatic blade control system with integrated global navigation satellite system and inertial sensors |
-
2015
- 2015-12-07 CN CN201510891110.6A patent/CN105507361B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006342616A (ja) * | 2005-06-10 | 2006-12-21 | Shin Caterpillar Mitsubishi Ltd | 作業機械における不正使用禁止装置 |
| CN102888873A (zh) * | 2012-09-12 | 2013-01-23 | 徐州徐工挖掘机械有限公司 | 一种提高挖掘机复合动作时直线行走性能的装置 |
| CN103389733A (zh) * | 2013-08-02 | 2013-11-13 | 重庆市科学技术研究院 | 一种基于机器视觉的车辆巡线方法及系统 |
| CN204163138U (zh) * | 2014-08-28 | 2015-02-18 | 徐州徐工挖掘机械有限公司 | 超大吨位挖掘机直线行走液压系统 |
| CN105116886A (zh) * | 2015-08-11 | 2015-12-02 | 余路 | 一种机器人自主行走的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 计算机视觉在挖掘机器人行走中的应用;胡晓杭;《中国优秀硕士学位论文全文数据库信息科技辑》;中国学术期刊（光盘版）电子杂志社;20100715(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105507361A (zh) | 2016-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106170596B (zh) | 作业机械的校正装置及作业机械的作业装置参数的校正方法 | |
| CN105518222B (zh) | 作业机械的控制装置、作业机械以及作业机械的控制方法 | |
| CN105121753B (zh) | 作业机械的校正装置及作业机械的作业装置参数的校正方法 | |
| CN105008623B (zh) | 建筑机械的控制系统、建筑机械及建筑机械的控制方法 | |
| CN105507361B (zh) | 基于图像的挖掘机直线行走控制方法及系统 | |
| CN109101032A (zh) | 用于利用传感器融合来控制机器姿态的系统和方法 | |
| CN108055855A (zh) | 作业机械 | |
| JP5952611B2 (ja) | 走行制御装置 | |
| CN102621986A (zh) | 一种基于视觉和超声波的导航控制系统 | |
| CN106407624B (zh) | 一种虚拟采煤机记忆截割方法 | |
| CN102878976A (zh) | 掘进机位姿检测系统和掘进机 | |
| CN109099033A (zh) | 用于在机器中控制流体压力的传感器融合反馈 | |
| CN104808590A (zh) | 一种基于关键帧策略的移动机器人视觉伺服控制方法 | |
| US11280058B2 (en) | Work machine | |
| CN111445170A (zh) | 一种无人碾压机群自主作业系统及方法 | |
| CN113190002B (zh) | 一种高铁箱梁巡检机器人实现自动巡检的方法 | |
| CN111077890A (zh) | 一种基于gps定位与自动避障的农业机器人的实现方法 | |
| CN113605483A (zh) | 一种挖掘机自动作业控制方法和装置 | |
| CN202677195U (zh) | 一种基于视觉和超声波的导航控制系统 | |
| CN106737693A (zh) | 基于gps和惯导的插秧机器人控制系统和控制方法 | |
| Guevara et al. | Point cloud-based estimation of effective payload volume for earthmoving loaders | |
| CN103309351A (zh) | 一种检修机器人避碰规划方法 | |
| Li et al. | Difficulty assessment of shoveling stacked materials based on the fusion of neural network and radar chart information | |
| CN113739793A (zh) | 一种轮式装载机铲装作业轨迹采集方法和系统 | |
| CN117107838A (zh) | 一种基于挖掘机使用的智能修坡轨迹控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171212 Termination date: 20201207 |