CN112681441B - 一种基于视觉指引的工程机械的控制系统及其控制方法 - Google Patents

Abstract

本发明涉及一种基于视觉指引的工程机械的控制系统及其控制方法，包括：视觉模块，跟踪工程机械的工作部件的工作进程、获取工程机械周边环境和工作目标位置；动作记录模块，对工程机械工作部件工作的动作进行描绘并记录最终停留位置，其中，在出现对工作部件的工作位置进行调整的动作时，将调整的动作记为冗余操作过程，并单独进行记录；数据库模块，储存动作记录模块记录的冗余操作过程、工作部件相对于工程机械的工作位置、工程机械的回转速度、工作部件初始位置和目标位置关系，并对工作动作进行分类；视觉引导模块，引导工程机械的工作部件向工作位置移动。

Description

一种基于视觉指引的工程机械的控制系统及其控制方法

技术领域

本发明涉及工程机械控制领域，尤其涉及一种基于视觉指引的工程机械的控制系统及其控制方法。

背景技术

随着无人驾驶智能汽车技术的不断发展，市场上也逐渐开始出现无人驾驶的工程机械，例如挖掘机，通过多项人工智能技术，使得工程机械的操控难度降低，复杂环境下的工程机械驾驶安全性得以提升。但是，目前无人驾驶工程机械的改进主要还是集中在自主作业模式方面，比如实现自主挖掘、甩方、装车等作业，以及智能承重等功能。面对复杂的工作环境或者陌生的工作环境，依旧需要依靠人工驾驶或者遥控驾驶实现。

发明内容

发明目的：

针对现有技术中，复杂的工作环境或者陌生的工作环境，依旧需要依靠人工驾驶或者遥控驾驶实现的问题，本发明提供一种基于视觉指引的工程机械的控制系统及其控制方法。

技术方案：

一种基于视觉指引的工程机械的控制系统，包括：

视觉模块，用于跟踪工程机械的工作部件的工作进程、获取工程机械周边环境以及工作目标位置；

动作记录模块，用于对工程机械工作部件工作的动作进行描绘并记录最终停留位置，其中，在出现对工作部件的工作位置进行调整的动作时，将调整的动作记为冗余操作过程，并单独进行记录；

数据库模块，储存动作记录模块记录的冗余操作过程、工作部件相对于工程机械的工作位置、工程机械的回转速度、工作部件初始位置和目标位置关系，并根据机型以及储存的机型相对应的数据对工作动作进行分类；

视觉引导模块，用于引导工程机械的工作部件向工作位置移动。

作为本发明的一种优选方式，针对工程机械本体，设定参数包括：空间三维坐标系、回转中心轴以及工作部件的工作坐标系；

其中，所述空间三维坐标系为空间直角坐标系、所述工作部件的工作坐标系为极坐标系。

作为本发明的一种优选方式，所述工作部件的工作坐标系与所述回转中心轴关联，所述工作部件的工作坐标系的极点位于所述回转中心轴上。

作为本发明的一种优选方式，所述空间三维坐标系用于指引工程机械的工作部件的收放运动，所述工作部件的工作坐标系用于指引工程机械的回转运动。

作为本发明的一种优选方式，所述视觉模块用于建立工程机械所在的空间三维坐标系，工程机械的所述回转中心轴所在的垂直位置为xy平面的中心点、工作目标位置与回转中心轴的连线为x轴；所述视觉模块用于建立工程机械的工作部件的工作坐标系。

一种基于视觉指引的工程机械的控制方法，采用一种基于视觉追踪的工程机械的控制系统，所述方法包括以下步骤：

S01：根据视觉模块生成工程机械所在的空间三维坐标系，并确认工程机械的回转中心轴以及工作目标的工作位置；

S02：根据工作目标的工作位置以及工程机械的回转中心轴确认工程机械的工作部件的尾端至回转中心轴的距离，记为工作距离；

S03：根据工作距离引导工作部件调整至相应的长度；

S04：在当前环境下生成工作部件的工作坐标系；

S05：根据工作目标的工作位置确认工程机械的回转角度；

S06：根据工程机械的回转角度控制工作部件回转；

S07：根据视觉模块对工作部件的跟踪控制工作部件进行微调。

作为本发明的一种优选方式，所述S07，在进行微调时，采用视觉引导跟踪算法，且符合以下数学模型：

其中，Lp：工作部件末端初始位置，local position；

T：作业目标位置，target；

Lp*T：工作部件末端运动关系；

θ：挖掘机回转维度；

u，v：某一回转维度下的直角坐标系y，z维度；

m，n，φ：三维度试错域边界。

作为本发明的一种优选方式，对于所述S07中的微调，一次微调完成的判断标准为：

其中：g：预想运动理想真值，ground truth；

n：运动过程试错总次数。

本发明实现以下有益效果：

本发明通过视觉模块摄取现场施工状况，从而可以根据实际摄像结果进行无人自动操作，通过视觉追踪对工程机械的工作臂进行实时追踪，并以相应的数学模型对工作臂的动作进行限定，从而可以根据数学模型精确控制工作臂。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并于说明书一起用于解释本公开的原理。

图1为本发明提供的一种基于视觉指引的工程机械的控制系统的结构图；

图2为本发明提供的一种基于视觉指引的工程机械的控制方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例一

参考图1-2。本实施例提供一种基于视觉指引的工程机械的控制系统，包括：

视觉模块1，用于跟踪工程机械的工作部件的工作进程、工程机械周边环境以及工作目标位置。

动作记录模块3，用于对工程机械工作部件工作的动作进行描绘并记录最终停留位置，其中，在出现对工作部件的工作位置进行调整的动作时，将调整的动作记为冗余操作过程，并单独进行记录。

数据库模块4，储存动作记录模块3记录的冗余操作过程、工作部件相对于工程机械的工作位置、工程机械的回转速度、工作部件初始位置和目标位置关系，并根据机型以及储存的机型相对应的数据对工作动作进行分类。

视觉引导模块5，用于引导工程机械的工作部件向工作位置移动。

优选的，针对工程机械本体，设定参数包括：空间三维坐标系、回转中心轴以及工作部件的工作坐标系。

其中，所述空间三维坐标系为空间直角坐标系、所述工作部件的工作坐标系为极坐标系。

优选的，所述工作部件的工作坐标系与所述回转中心轴关联，所述工作部件的工作坐标系的极点位于所述回转中心轴上。

优选的，所述空间三维坐标系用于指引工程机械的工作部件的收放运动，所述工作部件的工作坐标系用于指引工程机械的回转运动。

优选的，所述视觉模块1用于建立工程机械所在的空间三维坐标系，工程机械的所述回转中心轴所在的垂直位置为xy平面的中心点、工作目标位置与回转中心轴的连线为x轴；所述视觉模块1用于建立工程机械的工作部件的工作坐标系。

其中，本实施例还提供了一种基于视觉指引的工程机械的控制方法，采用上述的控制系统，该方法包括以下步骤：

S01：根据视觉模块1生成工程机械所在的空间三维坐标系，并确认工程机械的回转中心轴以及工作目标的工作位置。

S02：根据工作目标的工作位置以及工程机械的回转中心轴确认工程机械的工作部件的尾端至回转中心轴的距离，记为工作距离。

S03：根据工作距离引导工作部件调整至相应的长度。

S04：在当前环境下生成工作部件的工作坐标系。

S05：根据工作目标的工作位置确认工程机械的回转角度。

S06：根据工程机械的回转角度控制工作部件回转。

S07：根据视觉模块1对工作部件的跟踪控制工作部件进行微调。

优选的，针对S07，在进行微调时，采用视觉引导跟踪算法，且符合以下数学模型：

其中，Lp：工作部件末端初始位置，local position；

T：作业目标位置，target；

Lp*T：工作部件末端运动关系；

θ：挖掘机回转维度；

u，v：某一回转维度下的直角坐标系y，z维度；

m，n，φ：三维度试错域边界。

其中，对于S07中的微调，一次微调完成的判断标准为：

其中：g：预想运动理想真值，ground truth；

n：运动过程试错总次数。

具体实施过程中，进行工作时，以工程机械为挖掘机为例，人工将挖掘机开进工作区域内，并确认挖掘机所在的位置，控制系统以视觉模块1拍摄的挖掘机周边的环境生成空间三维坐标系，在进行空间三维坐标系的建立时，控制系统以挖掘机的工作臂所在的回转位置的回转中心作为xy平面的中心点所在的中心轴建立空间三维坐标系，其中，对于y边，视觉模块1在获取挖掘机周边的环境的同时还会获取工作目标的位置，工作系统将工作目标位置与回转中心轴的连线所在的直线作为y轴，从而进一步的完善空间三维坐标系。

在挖掘机开进工作区域，并且停止、稳定后，工作臂会暂时处于一个固定的状态下，因此，空间三维坐标系与工作坐标系实际上是在同一个z轴上的，区别仅在于工作坐标系原点所在的高度高于空间三维坐标系。

进而，开始进行工作，工作系统根据视觉模块1获取工作目标位置，并将工作目标位置设置于空间三维坐标系中，在空间三维坐标系中，可以得到挖掘机在转动一定角度后，铲头一定位于工作目标位置的上方，由于空间三维坐标系与工作坐标系的原点在纵向上同轴，挖掘机在绕着回转中心轴转动的过程中，机械臂能够到达工作目标位置，从而进行工作。

在工作的过程中，视觉模块1同时进行工作臂的跟踪，在跟踪时，视觉引导的跟踪算法满足公式：

即，公式含义为工作臂在挖掘机转动一定的角度，即

后，工作臂末端到达的位置的空间三维坐标系中y轴和z轴的坐标分别为u和v，从而可以得到一个位置坐标（u，v，

），该位置坐标便是运动过程中挖掘机工作臂末端的坐标；从而，在建立空间三维坐标系的时候，将y轴定为工作目标与挖掘机回转中心轴的平行于底面的连线，从而，只需要在一定的回转维度下，判断y轴以及z轴的坐标是否在目标位置即可，即，每一个位置坐标（u，v，

）都代表了一个相应的工作臂末端移动到的位置，从而，对初始位置进行对比便能够得出一个运动的矢量。

其中，对于试错边界，进行工作的过程中，由于工作臂自行进行调整，便存在一个调整上的误差，在具有调整上的误差时，以工作目标的位置为参考点时，每一个坐标数字都有一个正负差值，即y维度上的正负差值区间为-m～m、z维度上的正负差值区间为-n～n、回转维度上的正负差值区间为-φ～φ，即，当判断工作臂末端的坐标位置处于上述范围内时，视觉引导跟踪算法才开始进行计算，其中，数值为负的区间值代表在该维度上，工作臂经过移动后仍旧没有到达工作目标位置，数值为正的区间值代表在该维度上，工作臂经过移动后超出工作目标位置。

假设以（

）为最终工作位置时，以该位置作为参照点时，以是错边界为例，试错边界（-m，-n，-φ）便与试错边界（m，n，φ）的求和相当于一次工作臂运动至工作目标位置的运动关系，因此，在相对应的试错区间数值上，最终求和的结果都是一次工作臂运动至目标位置的运动关系。

对于微调的过程，进行微调时，在每次微调结束后判断微调过后与理想真值，即理想的位置关系差距，也就是理想中机械臂移动的长度，每一次微调都会与之前的微调结果累计，值得一提的是，叠加的内容是每次移动与理想真值的差距，即未到理想真值位置为负、超过理想真值为正，从而，达到最小值时为0，从而使得工作臂到达工作目标的位置。

每次判断微调的最终点为下一次微调的判定点，即最终

的判定点实际上是与理想真值

是相等的，因此，最终能够得到最小值，即此时机械臂末端所在的坐标点与工作位置的坐标点在同一个位置上，挖掘机可以开始工作。

上述实施例只为说明本发明的技术构思及特点，其目的是让熟悉该技术领域的技术人员能够了解本发明的内容并据以实施，并不能以此来限制本发明的保护范围。凡根据本发明精神实质所作出的等同变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于视觉指引的工程机械的控制系统，其特征在于，包括：

视觉模块，用于跟踪工程机械的工作部件的工作进程，获取工程机械周边环境以及工作目标位置；

动作记录模块，用于对工程机械工作部件工作的动作进行描绘并记录最终停留位置，其中，在出现对工作部件的工作位置进行调整的动作时，将调整的动作记为冗余操作过程，并单独进行记录；

数据库模块，储存动作记录模块记录的冗余操作过程、工作部件相对于工程机械的工作位置、工程机械的回转速度、工作部件初始位置和目标位置关系，并根据机型以及储存的机型相对应的数据对工作动作进行分类；

视觉引导模块，用于引导工程机械的工作部件向工作位置移动。

2.根据权利要求1所述的一种基于视觉指引的工程机械的控制系统，其特征在于：针对工程机械本体，设定参数包括：空间三维坐标系、回转中心轴以及工作部件的工作坐标系；

其中，所述空间三维坐标系为空间直角坐标系、所述工作部件的工作坐标系为极坐标系。

3.根据权利要求2所述的一种基于视觉指引的工程机械的控制系统，其特征在于：所述工作部件的工作坐标系与所述回转中心轴关联，所述工作部件的工作坐标系的极点位于所述回转中心轴上。

4.根据权利要求3所述的一种基于视觉指引的工程机械的控制系统，其特征在于：所述空间三维坐标系用于指引工程机械的工作部件的收放运动，所述工作部件的工作坐标系用于指引工程机械的回转运动。

5.根据权利要求4所述的一种基于视觉指引的工程机械的控制系统，其特征在于：所述视觉模块用于建立工程机械所在的空间三维坐标系，工程机械的所述回转中心轴所在的垂直位置为xy平面的中心点、工作目标位置与回转中心轴的连线为x轴；所述视觉模块用于建立工程机械的工作部件的工作坐标系。

6.一种基于视觉指引的工程机械的控制方法，采用权利要求5所述的一种基于视觉指引的工程机械的控制系统，其特征在于，所述方法包括以下步骤：

S01：根据视觉模块生成工程机械所在的空间三维坐标系，并确认工程机械的回转中心轴以及工作目标的工作位置；

S02：根据工作目标的工作位置以及工程机械的回转中心轴确认工程机械的工作部件的尾端至回转中心轴的距离，记为工作距离；

S03：根据工作距离引导工作部件调整至相应的长度；

S04：在当前环境下生成工作部件的工作坐标系；

S05：根据工作目标的工作位置确认工程机械的回转角度；

S06：根据工程机械的回转角度控制工作部件回转；

S07：根据视觉模块对工作部件的跟踪控制工作部件进行微调。

7.根据权利要求6所述的一种基于视觉指引的工程机械的控制方法，其特征在于：所述S07，在进行微调时，采用视觉引导跟踪算法，且符合以下数学模型：

其中，Lp：工作部件末端初始位置，local position；

T：作业目标位置，target；

Lp*T：工作部件末端运动关系；

θ：挖掘机回转维度；

u，v：某一回转维度下的直角坐标系y，z维度；

m，n，φ：三维度试错域边界。

8.根据权利要求7所述的一种基于视觉指引的工程机械的控制方法，其特征在于：对于所述S07中的微调，一次微调完成的判断标准为：

其中：g：预想运动理想真值，ground truth；

n：运动过程试错总次数。

Images