CN113655793A - 一种基于融合策略的避障控制方法、装置及工程机械 - Google Patents
一种基于融合策略的避障控制方法、装置及工程机械 Download PDFInfo
- Publication number
- CN113655793A CN113655793A CN202110928076.0A CN202110928076A CN113655793A CN 113655793 A CN113655793 A CN 113655793A CN 202110928076 A CN202110928076 A CN 202110928076A CN 113655793 A CN113655793 A CN 113655793A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- target
- position information
- obstacle avoidance
- engineering machinery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004927 fusion Effects 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 230000004888 barrier function Effects 0.000 claims abstract description 8
- 238000010276 construction Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Component Parts Of Construction Machinery (AREA)
Abstract
本发明提供了一种基于融合策略的避障控制方法、装置及工程机械，该方法包括：获取包含目标工程机械周围环境信息的环境图像；对环境图像进行障碍物检测，确定目标障碍物及其对应的位置信息；基于位置信息控制目标工程机械上的测距装置对目标障碍物进行测距；根据测距结果对位置信息进行修正；基于修正后的位置信息与目标工程机械的预设避障区域的关系，对工程机械进行避障控制。从而通过利用环境图像进行目标障碍物的初定位，基于初定位结果控制测距装置进行精准的测距，然后利用测距结果对初定位进行修正，并利用修正后精准的位置进行避障控制，从而实现了工程机械的精准避障控制，有效地保障其作业时的安全性，提高了工程机械的工作效率。
Description
技术领域
本发明涉及工程机械技术领域，具体涉及一种基于融合策略的避障控制方法、装置及工程机械。
背景技术
工程机械在工程建设中有着非常重要的作用，随着科技的发展，工程机械也朝着智能化发展，以挖掘机为例，目前市面上可见的智能挖掘机产品主要以辅助控制系统为主，可以帮助操作手完成特定场景下的部分作业任务；而缺乏对挖掘过程中遇到行人或障碍物进行有效的碰撞防护。目前一些机型的防护方式是基于环境图像的提示，依靠操作手的主动观察来判断，这种情况下容易造成操作手的分心，降低操作效率。并且环境图像具有角度广、畸变大的特点，呈现的人体及障碍物形状往往发生一定程度的失真，不利于精确判断挖掘机与障碍物的距离，存在安全隐患。
发明内容
有鉴于此，本发明实施例提供了一种基于融合策略的避障控制方法、装置及工程机械，以克服现有技术中工程机械的避障控制方式准确性低，存在安全隐患的问题。
根据第一方面，本发明实施例提供了一种基于融合策略的避障控制方法，包括：
获取包含目标工程机械周围环境信息的环境图像；
对所述环境图像进行障碍物检测，确定目标障碍物及其对应的位置信息；
基于所述位置信息控制所述目标工程机械上的测距装置对所述目标障碍物进行测距；
根据测距结果对所述位置信息进行修正；
基于修正后的位置信息与所述目标工程机械的预设避障区域的关系，对所述工程机械进行避障控制。
可选地，所述对所述环境图像进行障碍物检测，确定目标障碍物及其对应的位置信息，包括：
基于预训练的神经网络模型对所述环境图像进行障碍物检测，得到障碍物的检测结果；
基于所述检测结果，判断所述障碍物类型是否为所述目标障碍物；
当所述障碍物类型为所述目标障碍物时，从所述检测结果中获取所述目标障碍物的位置信息。
可选地，所述根据所述测距结果对所述位置信息进行修正，包括：
基于所述位置信息确定所述目标障碍物与所述目标测距装置的第一距离；
计算所述第一距离与所述测距结果的差值；
基于所述差值对所述位置信息进行修正。
可选地，所述基于修正后的位置信息与所述目标工程机械的预设避障区域的关系，对所述工程机械进行避障控制，包括：
判断修正后的位置信息是否处于所述目标工程机械的预设避障区域的范围内；
当修正后的位置信息处于所述目标工程机械的预设避障区域的范围内时，对所述目标工程机械进行姿态调整，直至所述修正后的位置信息不在所述目标工程机械的预设避障区域的范围内。
可选地，当修正后的位置信息处于所述目标工程机械的预设避障区域的范围内时，所述方法还包括：
基于修正后的位置信息进行避障报警。
可选地，当修正后的位置信息不处于所述目标工程机械的预设避障区域的范围内时，所述方法还包括：
获取所述修正后的位置信息与所述预设避障区域的当前最小距离；
当所述当前最小距离小于预设距离值时，监控所述目标工程机械的当前运行参数；
基于所述运行参考确定所述当前最小距离的变化趋势；
基于所述当前最小距离的变化趋势，进行二级预警。
根据第二方面，本发明实施例提供了一种基于融合策略的避障控制装置，包括：
获取模块，用于获取包含目标工程机械周围环境信息的环境图像；
第一处理模块，用于对所述环境图像进行障碍物检测，确定目标障碍物及其对应的位置信息；
第二处理模块，用于基于所述位置信息控制所述目标工程机械上的测距装置对所述目标障碍物进行测距；
第三处理模块，用于根据测距结果对所述位置信息进行修正；
第四处理模块，用于基于修正后的位置信息与所述目标工程机械的预设避障区域的关系，对所述工程机械进行避障控制。
根据第三方面，本发明实施例提供了一种工程机械，包括：工程机械本体和设置于所述工程机械本体上的图像采集装置、测距装置和控制装置，其中，
所述图像采集装置用于采集工程机械周围环境信息的环境图像；
所述测距装置用于检测工程机械与障碍物间的距离；
所述控制装置包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面，或者第一方面任意一种可选实施方式中所述的方法。
可选地，所述图像采集装置包括在所述工程机械本体不同方向上对应设置的多个图像采集器，所述测距装置包括与所述图像采集器一一对应设置的测距元件，所述测距元件的测距方向与其对应的图像采集器的图像采集方向相同。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面，或者第一方面任意一种可选实施方式中所述的方法。
本发明技术方案，具有如下优点：
本发明实施例提供的基于融合策略的避障控制方法、装置及工程机械，通获取包含目标工程机械周围环境信息的环境图像；对环境图像进行障碍物检测，确定目标障碍物及其对应的位置信息；基于位置信息控制目标工程机械上的测距装置对目标障碍物进行测距；根据测距结果对位置信息进行修正；基于修正后的位置信息与目标工程机械的预设避障区域的关系，对工程机械进行避障控制。从而通过利用环境图像进行目标障碍物的初定位，基于初定位结果控制测距装置进行精准的测距，然后利用测距结果对初定位进行修正以得到目标障碍物更加精准的位置，最后利用该精准的位置对目标工程机械进行避障控制，从而实现了工程机械的精准避障控制，有效地保障其作业时的安全性，提高了工程机械的工作效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的工程机械的结构示意图；
图2为本发明实施例的工程机械的另一结构示意图
图3为本发明实施例的基于融合策略的避障控制方法的流程图；
图4为本发明实施例的基于融合策略的避障控制装置的结构示意图；
图5为本发明实施例的工程机械中控制装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
工程机械在工程建设中有着非常重要的作用，随着科技的发展，工程机械也朝着智能化发展，以挖掘机为例，目前市面上可见的智能挖掘机产品主要以辅助控制系统为主，可以帮助操作手完成特定场景下的部分作业任务；而缺乏对挖掘过程中遇到行人或障碍物进行有效的碰撞防护。目前一些机型的防护方式是基于环境图像的提示，依靠操作手的主动观察来判断，这种情况下容易造成操作手的分心，降低操作效率。并且环境图像具有角度广、畸变大的特点，呈现的人体及障碍物形状往往发生一定程度的失真，不利于精确判断挖掘机与障碍物的距离，存在安全隐患。
基于上述问题，本发明实施例提供了一种工程机械，如图1所示，该过程机械包括：工程机械本体(图1中未示出)和设置于工程机械本体上的图像采集装置1、测距装置2和控制装置3，其中，图像采集装置1用于采集工程机械周围环境信息的环境图像；测距装置2用于检测工程机械与障碍物间的距离；控制装置3用于接收图像采集装置1发送的环境图像，并对环境图像进行相应的处理后，控制测距装置2进行测距，并接收测距结果，然后根据测距结果和环境图像的处理结果对工程机械进行避障控制。关于控制装置3进一步详细描述详见下文方法实施例的相关描述，在此不再进行赘述。
具体地，在本发明实施例中是以上述工程机械为挖掘机为例进行的说明，在实际应用中，该工程机械还可以是铲车、铲车等其他工程机械，本发明并不以此为限。
具体地，在一实施例中，上述的图像采集装置1包括在工程机械本体不同方向上对应设置的多个图像采集器，测距装置2包括与图像采集器一一对应设置的测距元件，测距元件的测距方向与其对应的图像采集器的图像采集方向相同。示例性地，图像采集器为鱼眼摄像头，测距元件为激光雷达，如图2所示，在工程机械本体的四个方向上分别设置有一组鱼眼摄像机和激光雷达。需要说明的是，在实际应用中，可以根据避障控制精度的要求灵活设置图像采集器及测距元件的安装位置及安装数量，本发明并不以此为限。此外，图像采集器也不仅限于鱼眼摄像头，只要能够实现图像采集功能即可，类似地，测距元件也不仅限于激光雷达，还可以是毫米波雷达等，只要能够实现测距功能即可，本发明并不以此为限。
通过上述各个组成部分的协同合作，本发明实施例提供的工程机械，通过利用环境图像进行目标障碍物的初定位，基于初定位结果控制测距装置进行精准的测距，然后利用测距结果对初定位进行修正以得到目标障碍物更加精准的位置，最后利用该精准的位置对目标工程机械进行避障控制，从而实现了工程机械的精准避障控制，有效地保障其作业时的安全性，提高了工程机械的工作效率。
本发明实施例还提供了一种基于融合策略的避障控制方法，应用于如图1所示的控制装置3，如图3所示，本发明实施例提供的基于融合策略的避障控制方法具体包括如下步骤：
步骤S101：获取包含目标工程机械周围环境信息的环境图像。
其中，该目标工程机械为挖掘机，该环境图像为挖掘机上安装的360环视系统采集的图像，具体该360环视系统采集的图像可通过固定在挖机上的图像采集装置(前后左右共4颗鱼眼摄像头)采集周围的环境图像。
步骤S102：对环境图像进行障碍物检测，确定目标障碍物及其对应的位置信息。
具体地，对环境图像进行障碍物检测可以利用现有技术如目标检测算法等多种方式实现障碍物检测，并根据障碍物在图像中面积占比，可以确定目标障碍物与图像采集装置的距离，即与目标工程机械的距离，结合图像采集装置的图像采集角度可得到目标障碍物在目标工程机械坐标系下的坐标，为目标障碍物的位置信息，更进一步的详细描述可参照现有技术的相关描述，在此不再进行赘述。
步骤S103：基于位置信息控制目标工程机械上的测距装置对目标障碍物进行测距。
具体地，为了避免图像畸变等图像问题造成目标障碍物位置信息偏差的问题，根据初步确认的位置，利用测距装置如激光雷达向该位置进行激光测距。
步骤S104：根据测距结果对位置信息进行修正。
具体地，由于测距装置得到距离信息更加准确，从而为位置信息的修正提供精准的参考依据，有利于实现障碍物的精准定位。
步骤S105：基于修正后的位置信息与目标工程机械的预设避障区域的关系，对工程机械进行避障控制。
具体地，该预设避障区域为事先根据目标工程机械的避障要求及作业范围等灵活设置的，在修正后的位置信息在目标工程机械的预设避障区域的范围内时，则说明存在与障碍物碰撞的安全隐患，从而及时对工程机械进行避障控制，以避免发生碰撞。
通过执行上述步骤，本发明实施例提供的基于融合策略的避障控制方法，通过利用环境图像进行目标障碍物的初定位，基于初定位结果控制测距装置进行精准的测距，然后利用测距结果对初定位进行修正以得到目标障碍物更加精准的位置，最后利用该精准的位置对目标工程机械进行避障控制，从而实现了工程机械的精准避障控制，有效地保障其作业时的安全性，提高了工程机械的工作效率。
具体地，在一实施例中，上述的步骤S102具体包括如下步骤：
步骤S201：基于预训练的神经网络模型对环境图像进行障碍物检测，得到障碍物的检测结果。
具体地，在本发明实施例中通过利用预训练好的CNN神经网络对采集的图像进行分析，经过卷积/非线性变换/池化及分类四个主要操作，得出输入图像中包含各个类型障碍物的概率。示例性地，检测结果为：疑似障碍物的位置信息以及疑似障碍物属于各个预设障碍物类型的概率，如：人80％，树15％，其他5％等。
步骤S202：基于检测结果，判断障碍物类型是否为目标障碍物。
步骤S203：当障碍物类型为目标障碍物时，从检测结果中获取目标障碍物的位置信息。
具体地，该目标障碍物为预先规定的需要进行避障控制的障碍物，如：在挖掘机附近行走的人等。从而通过判断障碍物是否是目标障碍物可以进行针对性的避障控制，如：当目标障碍物是人时，加速控制目标过程机械远离人体，以免发生危险，而障碍物是土堆时，可以通过调整目标工程机械的姿态，缓慢远离障碍物等，从而实现了根据避障需求进行灵活避障。
具体地，在一实施例中，上述的步骤S104具体包括如下步骤：
步骤S301：基于位置信息确定目标障碍物与目标测距装置的第一距离。
具体地，可以通过建立空间坐标系，将目标障碍物的位置信息与目标测距装置的当前位置确定二者在同一坐标系中的位置坐标，进而根据二者位置坐标确定二者间的距离。
步骤S302：计算第一距离与测距结果的差值。
步骤S303：基于差值对位置信息进行修正。
具体地，由于测距装置得到距离信息更加准确，因此，通过计算第一距离与实际测距结果的差值，可以反向对位置信息进行修正，从而实现障碍物的精准定位，进一步提高了避障控制的准确性。
具体地，在一实施例中，上述的步骤S105具体包括如下步骤：
步骤S401：判断修正后的位置信息是否处于目标工程机械的预设避障区域的范围内。
具体地，通过将围绕挖机四周一定范围内划定一个多边形为预设避障区域，如可根据工程机械上各个工作装置的运作范围，并预留部分空间后所构成的多边形区域为预设避障区域。此外，该预设避障区域还可以根据需要设置为按照目标工程机械的中心为原点，并超过其运作范围的圆形区域进行设置等，本发明并不以此为限。示例性地，可以利用PNPoly算法判定当前目标障碍物如人体的坐标是否位于该区域内，当修正后的位置信息处于目标工程机械的预设避障区域的范围内时，执行步骤S402，否则执行步骤S404。
步骤S402：对目标工程机械进行姿态调整，直至修正后的位置信息不在目标工程机械的预设避障区域的范围内。
具体地，可以通过不断地反复调整目标过程机械的控制参数，使其远离目标障碍物，保障工程机械的安全。示例性地，可通过调整机械的行经路线，使其避开目标障碍物；此外，也可以先识别目标工程机械上工作装置的位置，通过调整作装置的位置，可以让机械不改变路线也不会撞到目标障碍物。
步骤S403：基于修正后的位置信息进行避障报警。
具体地，可以通过驱动挖掘机发出报警提示，包括但不限于声音提示或指示灯提示等方式，以提醒操作手注意安全；此外，若目标障碍物是行人或动物等活体进入该区域后，则驱动挖掘机的发出报警音以达到提醒并驱赶行人或动物的目的。从而可及时快速的保障工程机械及人体等障碍物的安全，提高目标工程机械的安全性。
步骤S404：获取修正后的位置信息与预设避障区域的当前最小距离。
具体地，通过利用修正后的位置信息确定在同一坐标系下目标障碍物与预设避障区域的边界的距离，即为上述当前最小距离。
步骤S405：当前最小距离小于预设距离值时，监控目标工程机械的当前运行参数。
具体地，该预设距离值是为了进一步实现工程机械多等级避障控制所事先设定的距离值，具体可根据工程机械的避障控制要求进行灵活的设置，本发明并不以此为限。如果当前最小距离小于预设距离值但不在预设避障区域的范围内时，则说明目标工程机械与目标障碍物暂时没有碰撞风险，但是二者距离较近，未来存在发送碰撞的几率，需要对该目标障碍物进行持续关注。
步骤S406：基于运行参考确定当前最小距离的变化趋势。
具体地，上述的运行参数为目标工程机械的运动控制参数，如操作数操作手柄的信号，示例性地，当目标障碍物位于挖掘机的前方时，如果操作手此时的操作信号是控制挖掘机前进，则当前最小距离的变化趋势为越来越小，反之，如果操作手此时的操作信号是控制挖掘机后退，则当前最小距离的变化趋势为越来越大，从而反映出二者发生碰撞的风险程度。
步骤S407：基于当前最小距离的变化趋势，进行二级预警。
具体地，在当前最小距离的变化趋势为越来越小时，提前进行二级预警，包括但不限于语音或指示灯预警，以及时提醒操作手注意调整对挖掘机的控制，尽量避免目标障碍物进入预设避障区域，进而进一步降低发生碰撞的风险。通过二级预警的方式实现了工程机械的多级避障预警和控制，更加有力的保障了工程机械的安全性。
下面将结合具体应用示例，对本发明实施例提供的基于融合策略的避障控制方法进行详细的说明。
i.通过固定在挖机上的前后左右共4颗鱼眼摄像头采集周围的环境图像；
ii.然后通过CNN神经网络对采集的图像进行分析，经过卷积/非线性变换/池化及分类四个主要操作，得出输入图像的在行人这一类型下的权重及其坐标(较粗略)；
iii.与鱼眼摄像头同一位置的激光雷达感知障碍物的坐标(很精确)；
iv.通过融合两种传感器的坐标信息，计算得到行人的准确坐标以及到挖机机身的距离。
v.将围绕挖机四周一定范围内划定一个多边形为报警区域，运用PNPoly算法判定当前行人的坐标是否位于该区域内，若处于多边形内，则会发出报警；同时，若行人到挖机机身的距离超过设定的阈值，则会驱动挖机的喇叭发出报警音以得到提醒并驱赶行人的目的。
通过基于鱼眼摄像头采集的带畸变的图像，融合激光雷达的精确距离数据后识别出人体及其坐标，通过距判定人体是否处于预先设定的报警区域内部，并在行人进入危险区域后主动驱动自带喇叭以提醒行人注意避让，从而更直接更有效地保障作业时的安全性。鱼眼摄像头可以最大程度上识别到挖机四周360°的行人，激光雷达能够精确感知该行人到挖机的距离。
通过执行上述步骤，本发明实施例提供的基于融合策略的避障控制方法，通过利用环境图像进行目标障碍物的初定位，基于初定位结果控制测距装置进行精准的测距，然后利用测距结果对初定位进行修正以得到目标障碍物更加精准的位置，最后利用该精准的位置对目标工程机械进行避障控制，从而实现了工程机械的精准避障控制，有效地保障其作业时的安全性，提高了工程机械的工作效率。
本发明实施例还提供了一种基于融合策略的避障控制装置，应用于如图1所示的控制装置3，如图4所示，该本基于融合策略的避障控制装置具体包括：
获取模块101，用于获取包含目标工程机械周围环境信息的环境图像。详细内容参见上述方法实施例中步骤S101的相关描述，在此不再进行赘述。
第一处理模块102，用于对环境图像进行障碍物检测，确定目标障碍物及其对应的位置信息。详细内容参见上述方法实施例中步骤S102的相关描述，在此不再进行赘述。
第二处理模块103，用于基于位置信息控制目标工程机械上的测距装置对目标障碍物进行测距。详细内容参见上述方法实施例中步骤S103的相关描述，在此不再进行赘述。
第三处理模块104，用于根据测距结果对位置信息进行修正。详细内容参见上述方法实施例中步骤S104的相关描述，在此不再进行赘述。
第四处理模块105，用于基于修正后的位置信息与目标工程机械的预设避障区域的关系，对工程机械进行避障控制。详细内容参见上述方法实施例中步骤S105的相关描述，在此不再进行赘述。
本发明实施例提供的基于融合策略的避障控制装置，用于执行上述实施例提供的基于融合策略的避障控制方法，其实现方式与原理相同，详细内容参见上述方法实施例的相关描述，不再赘述。
通过上述各个组成部分的协同合作，本发明实施例提供的基于融合策略的避障控制装置，通过利用环境图像进行目标障碍物的初定位，基于初定位结果控制测距装置进行精准的测距，然后利用测距结果对初定位进行修正以得到目标障碍物更加精准的位置，最后利用该精准的位置对目标工程机械进行避障控制，从而实现了工程机械的精准避障控制，有效地保障其作业时的安全性，提高了工程机械的工作效率。
本发明实施例提供的如图1所示的工程机械，如图5所示，该工程机械中的控制装置3具体包括：处理器901和存储器902，其中，处理器901和存储器902可以通过总线或者其他方式连接，图5中以通过总线连接为例。
处理器901可以为中央处理器(Central Processing Unit，CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如上述方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。
上述控制器具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，实现的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种基于融合策略的避障控制方法，其特征在于，包括：
获取包含目标工程机械周围环境信息的环境图像；
对所述环境图像进行障碍物检测，确定目标障碍物及其对应的位置信息；
基于所述位置信息控制所述目标工程机械上的测距装置对所述目标障碍物进行测距；
根据测距结果对所述位置信息进行修正；
基于修正后的位置信息与所述目标工程机械的预设避障区域的关系，对所述工程机械进行避障控制。
2.根据权利要求1所述的基于融合策略的避障控制方法，其特征在于，所述对所述环境图像进行障碍物检测，确定目标障碍物及其对应的位置信息，包括：
基于预训练的神经网络模型对所述环境图像进行障碍物检测，得到障碍物的检测结果；
基于所述检测结果，判断所述障碍物类型是否为所述目标障碍物；
当所述障碍物类型为所述目标障碍物时，从所述检测结果中获取所述目标障碍物的位置信息。
3.根据权利要求1所述的基于融合策略的避障控制方法，其特征在于，所述根据所述测距结果对所述位置信息进行修正，包括：
基于所述位置信息确定所述目标障碍物与所述目标测距装置的第一距离；
计算所述第一距离与所述测距结果的差值；
基于所述差值对所述位置信息进行修正。
4.根据权利要求1所述的基于融合策略的避障控制方法，其特征在于，所述基于修正后的位置信息与所述目标工程机械的预设避障区域的关系，对所述工程机械进行避障控制，包括：
判断修正后的位置信息是否处于所述目标工程机械的预设避障区域的范围内；
当修正后的位置信息处于所述目标工程机械的预设避障区域的范围内时，对所述目标工程机械进行姿态调整，直至所述修正后的位置信息不在所述目标工程机械的预设避障区域的范围内。
5.根据权利要求4所述的基于融合策略的避障控制方法，其特征在于，当修正后的位置信息处于所述目标工程机械的预设避障区域的范围内时，所述方法还包括：
基于修正后的位置信息进行避障报警。
6.根据权利要求4所述的基于融合策略的避障控制方法，其特征在于，当修正后的位置信息不处于所述目标工程机械的预设避障区域的范围内时，所述方法还包括：
获取所述修正后的位置信息与所述预设避障区域的当前最小距离；
当所述当前最小距离小于预设距离值时，监控所述目标工程机械的当前运行参数；
基于所述运行参考确定所述当前最小距离的变化趋势；
基于所述当前最小距离的变化趋势，进行二级预警。
7.一种基于融合策略的避障控制装置，其特征在于，包括：
获取模块，用于获取包含目标工程机械周围环境信息的环境图像；
第一处理模块，用于对所述环境图像进行障碍物检测，确定目标障碍物及其对应的位置信息；
第二处理模块，用于基于所述位置信息控制所述目标工程机械上的测距装置对所述目标障碍物进行测距；
第三处理模块，用于根据测距结果对所述位置信息进行修正；
第四处理模块，用于基于修正后的位置信息与所述目标工程机械的预设避障区域的关系，对所述工程机械进行避障控制。
8.一种工程机械，其特征在于，包括：工程机械本体和设置于所述工程机械本体上的图像采集装置、测距装置和控制装置，其中，
所述图像采集装置用于采集工程机械周围环境信息的环境图像；
所述测距装置用于检测工程机械与障碍物间的距离；
所述控制装置包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1－6任一项所述的方法。
9.根据权利要求8所述的工程机械，其特征在于，
所述图像采集装置包括在所述工程机械本体不同方向上对应设置的多个图像采集器，所述测距装置包括与所述图像采集器一一对应设置的测距元件，所述测距元件的测距方向与其对应的图像采集器的图像采集方向相同。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1－6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110928076.0A CN113655793A (zh) | 2021-08-12 | 2021-08-12 | 一种基于融合策略的避障控制方法、装置及工程机械 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110928076.0A CN113655793A (zh) | 2021-08-12 | 2021-08-12 | 一种基于融合策略的避障控制方法、装置及工程机械 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113655793A true CN113655793A (zh) | 2021-11-16 |
Family
ID=78479677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110928076.0A Pending CN113655793A (zh) | 2021-08-12 | 2021-08-12 | 一种基于融合策略的避障控制方法、装置及工程机械 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113655793A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007309799A (ja) * | 2006-05-18 | 2007-11-29 | Matsushita Electric Ind Co Ltd | 車載測距装置 |
| CN101352854A (zh) * | 2008-07-17 | 2009-01-28 | 上海交通大学 | 遥操作平面冗余度机械臂自主避障智能单元、系统及方法 |
| DE102014110201B3 (de) * | 2014-07-21 | 2015-08-13 | Miele & Cie. Kg | Selbstfahrender Roboter und Verfahren zur Hinderniserkennung bei einem selbstfahrenden Roboter |
| US20160061612A1 (en) * | 2014-09-02 | 2016-03-03 | Hyundai Motor Company | Apparatus and method for recognizing driving environment for autonomous vehicle |
| CN106576579A (zh) * | 2017-01-20 | 2017-04-26 | 雷沃重工股份有限公司 | 一种卸粮电控系统及自修正卸粮控制方法 |
| US20170146343A1 (en) * | 2014-06-25 | 2017-05-25 | Hitachi, Ltd. | Outside Recognition Device |
| CN108237534A (zh) * | 2018-01-04 | 2018-07-03 | 清华大学深圳研究生院 | 一种连续型机械臂的空间避障轨迹规划方法 |
| CN109466548A (zh) * | 2017-09-07 | 2019-03-15 | 通用汽车环球科技运作有限责任公司 | 用于自主车辆操作的地面参照确定 |
| CN109910011A (zh) * | 2019-03-29 | 2019-06-21 | 齐鲁工业大学 | 一种基于多传感器的机械臂避障方法和机械臂 |
| CN110658840A (zh) * | 2019-10-28 | 2020-01-07 | 郑州航空工业管理学院 | 一种用于多旋翼无人机的自主导航避障方法及装置 |
| CN112068553A (zh) * | 2020-08-20 | 2020-12-11 | 上海姜歌机器人有限公司 | 机器人避障处理方法、装置及机器人 |
| CN112319552A (zh) * | 2020-11-13 | 2021-02-05 | 中国铁路哈尔滨局集团有限公司 | 轨道车运行探测预警系统 |
-
2021
- 2021-08-12 CN CN202110928076.0A patent/CN113655793A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007309799A (ja) * | 2006-05-18 | 2007-11-29 | Matsushita Electric Ind Co Ltd | 車載測距装置 |
| CN101352854A (zh) * | 2008-07-17 | 2009-01-28 | 上海交通大学 | 遥操作平面冗余度机械臂自主避障智能单元、系统及方法 |
| US20170146343A1 (en) * | 2014-06-25 | 2017-05-25 | Hitachi, Ltd. | Outside Recognition Device |
| DE102014110201B3 (de) * | 2014-07-21 | 2015-08-13 | Miele & Cie. Kg | Selbstfahrender Roboter und Verfahren zur Hinderniserkennung bei einem selbstfahrenden Roboter |
| US20160061612A1 (en) * | 2014-09-02 | 2016-03-03 | Hyundai Motor Company | Apparatus and method for recognizing driving environment for autonomous vehicle |
| CN106576579A (zh) * | 2017-01-20 | 2017-04-26 | 雷沃重工股份有限公司 | 一种卸粮电控系统及自修正卸粮控制方法 |
| CN109466548A (zh) * | 2017-09-07 | 2019-03-15 | 通用汽车环球科技运作有限责任公司 | 用于自主车辆操作的地面参照确定 |
| CN108237534A (zh) * | 2018-01-04 | 2018-07-03 | 清华大学深圳研究生院 | 一种连续型机械臂的空间避障轨迹规划方法 |
| CN109910011A (zh) * | 2019-03-29 | 2019-06-21 | 齐鲁工业大学 | 一种基于多传感器的机械臂避障方法和机械臂 |
| CN110658840A (zh) * | 2019-10-28 | 2020-01-07 | 郑州航空工业管理学院 | 一种用于多旋翼无人机的自主导航避障方法及装置 |
| CN112068553A (zh) * | 2020-08-20 | 2020-12-11 | 上海姜歌机器人有限公司 | 机器人避障处理方法、装置及机器人 |
| CN112319552A (zh) * | 2020-11-13 | 2021-02-05 | 中国铁路哈尔滨局集团有限公司 | 轨道车运行探测预警系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9884585B1 (en) | Exterior vehicle alerting system | |
| JP2021534481A (ja) | 障害物又は地面の認識及び飛行制御方法、装置、機器及び記憶媒体 | |
| CN111665852B (zh) | 一种障碍物避让方法、装置、车辆及存储介质 | |
| EP3657464A1 (en) | Control device, control method, and program | |
| US10325163B2 (en) | Vehicle vision | |
| CN108628318B (zh) | 拥堵环境检测方法、装置、机器人及存储介质 | |
| CN111413983A (zh) | 一种无人驾驶车辆的环境感知方法及控制端 | |
| CN112171675B (zh) | 一种移动机器人的避障方法、装置、机器人及存储介质 | |
| CN110341621B (zh) | 一种障碍物检测方法及装置 | |
| CN111169381A (zh) | 一种车辆影像显示方法、装置、车辆和存储介质 | |
| US20240051527A1 (en) | Automated parking method, apparatus, and system | |
| CN110758381A (zh) | 生成转向轨迹的方法、装置、存储介质及电子设备 | |
| CN112948270A (zh) | 自动驾驶车辆道路测试仿真分析方法、装置、设备和介质 | |
| GB2599939A (en) | Method of updating the existance probability of a track in fusion based on sensor perceived areas | |
| CN113655793A (zh) | 一种基于融合策略的避障控制方法、装置及工程机械 | |
| CN111986232A (zh) | 目标物体的检测方法、装置、机器人及存储介质 | |
| EP3806044A1 (en) | Data processing method, apparatus and device, and mobile platform | |
| US20230367319A1 (en) | Intelligent obstacle avoidance method and apparatus based on binocular vision, and non-transitory computer-readable storage medium | |
| CN116359946A (zh) | 目标检测方法、装置、设备及介质 | |
| JP6901870B2 (ja) | 位置推定装置、制御方法、及びプログラム | |
| CN114564022A (zh) | 一种机器人碰撞处理方法及装置 | |
| CN114518744A (zh) | 机器人的脱困方法、装置、机器人及存储介质 | |
| CN114511834A (zh) | 一种确定提示信息的方法、装置、电子设备及存储介质 | |
| EP3229173B1 (en) | Method and apparatus for determining a traversable path | |
| CN110763232B (zh) | 一种机器人及其导航定位方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |