CN116382308A - 智能化移动机械自主寻径与避障方法、装置、设备及介质 - Google Patents
智能化移动机械自主寻径与避障方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116382308A CN116382308A CN202310657106.8A CN202310657106A CN116382308A CN 116382308 A CN116382308 A CN 116382308A CN 202310657106 A CN202310657106 A CN 202310657106A CN 116382308 A CN116382308 A CN 116382308A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- algorithm
- target object
- loss function
- mobile machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 62
- 230000006870 function Effects 0.000 claims description 75
- 238000001514 detection method Methods 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 32
- 238000005381 potential energy Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 8
- 206010063385 Intellectualisation Diseases 0.000 description 7
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了智能化移动机械自主寻径与避障方法、装置、设备及介质,利用PointPillars算法从车载激光雷达实时采集的激光点云中识别目标物及其相对于整车的位姿,将所述实时采集的激光点云投影成一张二维的代价地图,并利用混合A*算法规划出一条从所述整车当前位置到所述目标物位置的全局路径,最后利用混合A*算法根据所述二维代价地图实时调整所述全局路径,以实现所述整车动态避障功能。本发明解决了传统移动机械多依靠远程遥控、自动化程度低的问题,实现了移动机械自主寻径与避障,使其具备了无人化作业的基础。
Description
技术领域
本发明涉及路径规划技术领域,具体涉及智能化移动机械自主寻径与避障方法、装置、设备及介质。
背景技术
移动机械在现代农业领域有着广泛的应用,随着全球科技的不断发展,移动机械智能化已成为未来的发展趋势。移动机械智能化包括了产品智能化、制造智能化、服务智能化和管理智能化,而智能化移动机械属于产品智能化范畴,其指代的是移动机械在无人干预的情况下,能够自主完成相应的行走和作业任务。
一般认为,智能化移动机械包括环境感知、整车定位、决策规划、运动控制和自动作业五大模块。其中,决策规划是实现移动机械无人驾驶和作业的基础之一。不同于普通乘用车,移动机械多在非结构化道路行走作业,现有高精地图决策规划体系并不能应用于移动机械决策规划领域。
目前智能决策规划技术主要应用在汽车领域,在移动机械领域的相关技术研究相对较少。现有的智能化移动机械决策规划技术多以全覆盖路径规划为主,其存在路径规划类型单一、无法做出智能决策等问题。
有鉴于此,提出本申请。
发明内容
有鉴于此,本发明的目的在于提供智能化移动机械自主寻径与避障方法、装置、设备及介质,能够有效解决现有技术中的智能化移动机械决策规划技术多以全覆盖路径规划为主,其存在路径规划类型单一、无法做出智能决策的问题。
本发明公开了智能化移动机械自主寻径与避障方法, 包括:
获取由车载激光雷达实时采集到的激光点云数据集,并根据PointPillars算法对所述激光点云数据集进行识别处理,生成目标物、以及所述目标物相对于移动机械的位姿;
将所述激光点云数据集投影成一张二维代价地图;
调用混合A*算法对所述目标物进行规划处理,生成全局路径,其中,所述全局路径为从移动机械的当前位置到所述目标物的位置的路径;
调用混合A*算法对所述代价地图和所述全局路径进行调整处理,以实现移动机械的动态避障。
优选地,获取由车载激光雷达实时采集到的激光点云数据,并根据PointPillars算法对所述激光点云数据进行识别处理,生成目标物、以及所述目标物相对于移动机械的位姿,具体为:
获取所述车载激光雷达实时采集到的田间环境点云信息,生成激光点云数据集;
调用SUSTechPoints点云标注软件模块进行制作处理,生成与各类农作物相关的点云训练数据集;
建立一个网络模型,利用所述PointPillars算法对所述点云训练数据集进行训练,生成训练好的网络模型;
加载所述训练好的网络模型,并根据所述PointPillars算法对所述激光点云数据集进行检测,识别出所述目标物、以及与所述目标物相对于移动机械的位姿。
优选地,建立一个网络模型,利用所述PointPillars算法对所述点云训练数据集进行训练,生成训练好的网络模型,具体为:
调用Pillar编码方式对所述点云训练数据集进行编码处理,在XY平面上对所述点云训练数据集进行栅格化,生成点云张量,其中,判定落入同一栅格内的激光点同属于一个pillar,/>为所述点云训练数据集对应的九维向量,/>为一帧点云数据中共有的非空pillars的数量,/>为每个pillar中包含的激光点的数量;
对所述点云张量进行特征提取处理,生成降低维度后的特征张量;
对所述特征张量进行最大池化处理,生成平面特征图,并将所述平面特征图进行维度拆分处理,生成所述点云训练数据集对应的二维伪图像;
调用主干网络对所述二维伪图像进行特征提取处理和全连接处理,生成分辨率相同的特征图以及全连接层,其中,所述主干网络共包含两个网络,一个网络用于不断缩小所述平面特征图的分辨率并提升其维度,另一个网络则用于对前一个网络生成的特征图上采样;
调用单次检测器对所述全连接层进行三维物体检测;
以所述PointPillars算法的总损失函数作为迭代依据,对所述主干网络中的各个参数进行改正处理,当判断到所述总损失函数低于预设阈值时,生成训练好的网络模型。
优选地,所述PointPillars算法的总损失函数,具体为:
将每个检测物体的Box用一个七维向量E来表示,,其中,表示所述每个检测物体Box的中心坐标,/>表示所述每个检测物体Box的宽,/>表示所述每个检测物体Box的高,/>表示所述每个检测物体Box的长,/>表示所述每个检测物体Box的方位角;
根据公式,/>,/>,/>,/>,,/>,/>求解所述每个检测物体Box的的七维向量E对应值与真实值的偏移量,其中,/>为所述每个物体Box的真实值,/>为所述每个物体Box的预测值,/>为所述每个物体Box的真实值与预测值之间的偏移量;
调用Focal Loss函数作为所述物体类别检测的损失函数,其中,Focal Loss函数/>公式为,/>,/>为所述物体锚框的类别概率,/>和/>为所述Focal Loss函数的参数,在训练过程中取/>;
计算所述PointPillars算法的总损失函数,其中,总损失函数/>公式为,,/>为正物体锚框的数量,/>为所述检测物体Box的定位损失函数,/>为所述检测物体Box的方向损失函数,/>为所述检测物体Box的分类损失函数,/>为所述PointPillars算法的总损失函数常数系数,在训练过程中,取/>。
优选地,将所述激光点云数据集投影成一张二维代价地图,具体为:
对所述激光点云数据集进行距离滤波处理,以滤除所述车载激光雷达扫入的移动机械的车身点云数据,生成距离滤波后的激光点云;
对所述距离滤波后的激光点云数据集进行地面滤波处理,以滤除所述车载激光雷达扫入的地面点云数据,生成待投影激光点云;
设置三轴方向上的投影范围,将所述投影范围内的所述待投影激光点云映射到同一平面上,生成二维代价地图。
优选地,调用混合A*算法对所述目标物进行规划处理,生成全局路径,具体为:
获取移动机械的当前位置和所述目标物的位置;
调用无障碍非完整约束启发代价函数和有障碍物完整性启发代价函数对所述二维代价地图进行计算处理,生成扩展节点到所述目标物的位置的代价;
调用维诺地图计算所述扩展节点与障碍物之间的势能值,并将所述势能值作为所述启发函数的部分代价值,以使得所述扩展节点与所述障碍物之间始终保持着一定的安全距离,其中,所述势能值的计算模型为,/>为所述扩展节点在/>处的势能值,/>为所述扩展节点到达所述障碍物的最近距离,/>为所述扩展节点坐标为/>时,该扩展节点到达所述障碍物的最近距离,/>为所述扩展节点到达所述维诺地图边的最近距离,/>为所述扩展节点坐标为/>时,该扩展节点到达所述维诺地图边的最近距离,/>和/>分别为所述势能值的下降速率和所述势能值的控制范围;
当判断到所述扩展节点与所述目标物位置的距离小于预设阈值时,利用Reeds-Sheep曲线与所述目标物进行连接,并加入移动机械车身轮廓判断是否与障碍物碰撞;
若否,保留所述Reeds-Sheep曲线,并生成全局路径;
若是,放弃所述Reeds-Sheep曲线,并从开启列表中重新寻找扩展节点,重新进行扩展;
当判断到所述扩展节点与所述目标物位置的距离大于预设阈值时,从开启列表中重新寻找扩展节点,重新进行扩展。
优选地,调用混合A*算法对所述代价地图和所述全局路径进行调整处理,以实现移动机械的动态避障,具体为:
基于所述二维代价地图,利用混合A*算法实时更新所述全局路径,以实现移动机械对动态障碍物的实时规避。
本发明还公开了智能化移动机械自主寻径与避障装置,包括:
目标检测单元,用于获取由车载激光雷达实时采集到的激光点云数据集,并根据PointPillars算法对所述激光点云数据集进行识别处理,生成目标物、以及所述目标物相对于移动机械的位姿;
代价地图生成单元,用于将所述激光点云数据集投影成一张二维代价地图;
自主寻径单元,用于调用混合A*算法对所述目标物进行规划处理,生成全局路径,其中,所述全局路径为从移动机械的当前位置到所述目标物的位置的路径;
动态避障单元,用于调用混合A*算法对所述代价地图和所述全局路径进行调整处理,以实现移动机械的动态避障。
本发明还公开了智能化移动机械自主寻径与避障设备,包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上任意一项所述的智能化移动机械自主寻径与避障方法。
本发明还公开了可读存储介质,存储有计算机程序,所述计算机程序能够被该存储介质所在设备的处理器执行,以实现如上任意一项所述的智能化移动机械自主寻径与避障方法。
综上所述,本实施例提供的智能化移动机械自主寻径与避障方法、装置、设备及介质,其技术方案的要点是利用PointPillars算法从车载激光雷达实时采集的激光点云中识别目标物及其相对于整车的位姿,将所述实时采集的激光点云投影成一张二维的代价地图,并利用混合A*算法规划出一条从所述整车当前位置到所述目标物位置的全局路径,最后利用混合A*算法根据所述二维代价地图实时调整所述全局路径,以实现所述整车动态避障功能。本发明解决了传统移动机械多依靠远程遥控、自动化程度低的问题,实现了移动机械自主寻径与避障,使其具备了无人化作业的基础。从而解决现有技术中的智能化移动机械决策规划技术多以全覆盖路径规划为主,其存在路径规划类型单一、无法做出智能决策的问题。
附图说明
图1是本发明实施例提供的智能化移动机械自主寻径与避障方法的流程示意图。
图2是本发明实施例提供的智能化移动机械自主寻径与避障装置的模块示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。因此,以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
以下结合附图对本发明的具体实施例做详细说明。
本发明公开了智能化移动机械自主寻径与避障方法、装置、设备及介质,至少在一定程度上解决了现有技术的不足。
请参阅图1,本发明的第一实施例提供了智能化移动机械自主寻径与避障方法,其可由智能化移动机械自主寻径与避障设备(以下寻径与避障设备)来执行,特别的,由寻径与避障设备内的一个或者多个处理器来执行,以实现如下步骤:
S101,获取由车载激光雷达实时采集到的激光点云数据集,并根据PointPillars算法对所述激光点云数据集进行识别处理,生成目标物、以及所述目标物相对于移动机械的位姿;
具体地,步骤S101包括:获取所述车载激光雷达实时采集到的田间环境点云信息,生成激光点云数据集;
调用SUSTechPoints点云标注软件模块进行制作处理,生成与各类农作物相关的点云训练数据集;
建立一个网络模型,利用所述PointPillars算法对所述点云训练数据集进行训练,生成训练好的网络模型;
加载所述训练好的网络模型,并根据所述PointPillars算法对所述激光点云数据集进行检测,识别出所述目标物、以及与所述目标物相对于移动机械的位姿。
特别的,建立一个网络模型,利用所述PointPillars算法对所述点云训练数据集进行训练,生成训练好的网络模型,具体为:
调用Pillar编码方式对所述点云训练数据集进行编码处理,在XY平面上对所述点云训练数据集进行栅格化,生成点云张量,其中,判定落入同一栅格内的激光点同属于一个pillar,/>为所述点云训练数据集对应的九维向量,/>为一帧点云数据中共有的非空pillars的数量,/>为每个pillar中包含的激光点的数量;
对所述点云张量进行特征提取处理,生成降低维度后的特征张量;
对所述特征张量进行最大池化处理,生成平面特征图,并将所述平面特征图进行维度拆分处理,生成所述点云训练数据集对应的二维伪图像;
调用主干网络对所述二维伪图像进行特征提取处理和全连接处理,生成分辨率相同的特征图以及全连接层,其中,所述主干网络共包含两个网络,一个网络用于不断缩小所述平面特征图的分辨率并提升其维度,另一个网络则用于对前一个网络生成的特征图上采样;
调用单次检测器对所述全连接层进行三维物体检测;
以所述PointPillars算法的总损失函数作为迭代依据,对所述主干网络中的各个参数进行改正处理,当判断到所述总损失函数低于预设阈值时,生成训练好的网络模型。
特别的,所述PointPillars算法的总损失函数,具体为:
将每个检测物体的Box用一个七维向量E来表示,,其中,表示所述每个检测物体Box的中心坐标,/>表示所述每个检测物体Box的宽,/>表示所述每个检测物体Box的高,/>表示所述每个检测物体Box的长,/>表示所述每个检测物体Box的方位角;
根据公式,/>,/>,/>,/>,,/>,/>求解所述每个检测物体Box的的七维向量E对应值与真实值的偏移量,其中,/>为所述每个物体Box的真实值,/>为所述每个物体Box的预测值,/>为所述每个物体Box的真实值与预测值之间的偏移量;
调用Focal Loss函数作为所述物体类别检测的损失函数,其中,Focal Loss函数/>公式为,/>,/>为所述物体锚框的类别概率,/>和/>为所述Focal Loss函数的参数,在训练过程中取/>;
计算所述PointPillars算法的总损失函数,其中,总损失函数/>公式为,,/>为正物体锚框的数量,/>为所述检测物体Box的定位损失函数,/>为所述检测物体Box的方向损失函数,/>为所述检测物体Box的分类损失函数,/>为所述PointPillars算法的总损失函数常数系数,在训练过程中,取/>。
目前智能决策规划技术主要应用在汽车领域,在移动机械领域的相关技术研究相对较少。现有的智能化移动机械决策规划技术多以全覆盖路径规划为主,其存在路径规划类型单一、无法做出智能决策等问题。
在本实施例中,所述寻径与避障设备可以为台式电脑、笔记本电脑、服务器、工作站等具有数据处理分析能力的终端,其中,所述寻径与避障设备内可安装有相应的操作系统以及应用软件,并通过操作系统以及应用软件的结合来实现本实施例所需的功能。
具体地,在本实施例中,首先,利用所述车载激光雷达在田间采集环境点云信息。其次,利用SUSTechPoints点云标注软件制作与各类农作物相关的点云数据集。
再次,利用PointPillars算法训练模块对所述点云数据集进行训练,输出训练好的网络模型;具体地,第一步,采用Pillar编码方式对所述点云数据集进行编码,其要点在于在XY平面上进行栅格化,判定落入同一栅格内的激光点同属于一个pillar;第二步,假设一帧点云中共有P个非空pillars,每个pillar包含N个激光点,而每个激光点则用九维向量D,至此该帧点云可以用一个张量进行表示,所述九维向量D的具体表示如下:,/>,/>,其中,/>为所述激光点数据在激光雷达坐标系下的坐标,/>为所述激光点数据在激光雷达坐标系下的反射强度,为所述激光点所处的pillar中所有激光点的几何中心坐标,/>为所述激光点与所述几何中心坐标的距离。第三步,对所述张量/>进行特征提取操作,得到降低维度后的特征张量/>,最后再对特所述征张量/>进行最大池化,得到/>维度的平面特征图,将P分为H、W两个维度,即伪图像的高宽,至此完成所述点云数据集的特征提取操作,成功将所述点云数据集转换为二维伪图像。第四步,利用主干网络对所述二维伪图像进行特征提取操作,所述主干网络共包含两个网络,一个网络用于不断缩小所述平面特征图的分辨率并提升其维度,另一个网络则用于对前一个网络生成的特征图上采样,生成分辨率相同的特征图,并对其进行全连接操作,生成全连接层。第五步,利用单次检测器对所述全连接层进行三维物体检测,并对所述PointPillars算法的检测头进行修改,使其适用于所述点云数据集中各标注物体的检测。第六步,以所述PointPillars算法的总损失函数作为迭代依据,通过不断更改所述主干网络中的各个参数使得训练朝着正确的方向进行,当所述损失函数降低到设定阈值时,停止训练并输出相应的网络训练模型。
其中,所述PointPillars算法的总损失函数,具体为:
将每个检测物体的Box用一个七维向量E来表示,具体如下:
求解所述每个检测物体Box的的七维向量E对应值与真实值的偏移量,具体如下:
采用Focal Loss函数作为所述物体类别检测的损失函数,具体如下:
计算所述PointPillars算法的总损失函数,具体如下:
其中,为正物体锚框的数量,/>为所述检测物体Box的定位损失函数,/>为所述检测物体Box的方向损失函数,/>为所述检测物体Box的分类损失函数,为所述PointPillars算法的总损失函数常数系数,在训练过程中,取。
最后,加载所述训练好的网络模型,利用PointPillars算法测试模块对所述车载激光雷达实时采集的激光点云进行检测,识别出所述目标物及其相对于所述整车的位姿。
S102,将所述激光点云数据集投影成一张二维代价地图;
具体地,步骤S102包括:对所述激光点云数据集进行距离滤波处理,以滤除所述车载激光雷达扫入的移动机械的车身点云数据,生成距离滤波后的激光点云;
对所述距离滤波后的激光点云数据集进行地面滤波处理,以滤除所述车载激光雷达扫入的地面点云数据,生成待投影激光点云;
设置三轴方向上的投影范围,将所述投影范围内的所述待投影激光点云映射到同一平面上,生成二维代价地图。
具体地,在本实施例中,对所述实时采集的激光点云进行距离滤波,将激光雷达扫入的车身点云数据进行滤除,得到距离滤波后的激光点云;对所述距离滤波后的激光点云进行地面滤波,将激光雷达扫入的地面点云数据进行滤除,得到待投影激光点云;设置三轴方向上的投影范围,将所述投影范围内的所述待投影激光点云映射到同一平面上,生成所述二维代价地图。
S103,调用混合A*算法对所述目标物进行规划处理,生成全局路径,其中,所述全局路径为从移动机械的当前位置到所述目标物的位置的路径;
具体地,步骤S103包括:获取移动机械的当前位置和所述目标物的位置;
调用无障碍非完整约束启发代价函数和有障碍物完整性启发代价函数对所述二维代价地图进行计算处理,生成扩展节点到所述目标物的位置的代价;
调用维诺地图计算所述扩展节点与障碍物之间的势能值,并将所述势能值作为所述启发函数的部分代价值,以使得所述扩展节点与所述障碍物之间始终保持着一定的安全距离,其中,所述势能值的计算模型为,/>为所述扩展节点在/>处的势能值,/>为所述扩展节点到达所述障碍物的最近距离,/>为所述扩展节点坐标为/>时,该扩展节点到达所述障碍物的最近距离,/>为所述扩展节点到达所述维诺地图边的最近距离,/>为所述扩展节点坐标为/>时,该扩展节点到达所述维诺地图边的最近距离,/>和/>分别为所述势能值的下降速率和所述势能值的控制范围;
当判断到所述扩展节点与所述目标物位置的距离小于预设阈值时,利用Reeds-Sheep曲线与所述目标物进行连接,并加入移动机械车身轮廓判断是否与障碍物碰撞;
若否,保留所述Reeds-Sheep曲线,并生成全局路径;
若是,放弃所述Reeds-Sheep曲线,并从开启列表中重新寻找扩展节点,重新进行扩展;
当判断到所述扩展节点与所述目标物位置的距离大于预设阈值时,从开启列表中重新寻找扩展节点,重新进行扩展。
具体地,在本实施例中,获取所述整车当前位置和所述目标物位置;基于所述二维代价地图,利用无障碍非完整约束启发代价函数和有障碍物完整性启发代价函数计算扩展节点到目标物位置的代价;使用维诺地图计算所述扩展节点与障碍物之间的势能值,并将其作为所述启发函数的部分代价值,以使得所述扩展节点与所述障碍物之间始终保持着一定的安全距离,所述势能值的计算模型具体如下:
判断所述扩展节点与所述目标物位置的距离是否小于设置的阈值,如果小于所述设置的阈值,则利用Reeds-Sheep曲线与所述目标物相连接,并加入所述整车车身轮廓判断是否与障碍物碰撞,如果和所述障碍物无碰撞,则保留所述Reeds-Sheep曲线并生成路径;如果与所述障碍物发生碰撞则放弃所述Reeds-Sheep曲线,并从开启列表中重新寻找扩展节点,重新进行扩展;如果所述扩展节点与所述目标物的距离大于所述设置的阈值,则从所述开启列表中重新寻找扩展节点,重新进行扩展。
S104,调用混合A*算法对所述代价地图和所述全局路径进行调整处理,以实现移动机械的动态避障。
具体地,步骤S104包括:基于所述二维代价地图,利用混合A*算法实时更新所述全局路径,以实现移动机械对动态障碍物的实时规避。
具体地,在本实施例中,将激光雷达采集的环境点云信息实时投影成二维代价地图;基于所述二维代价地图,利用混合A*算法实时更新所述全局路径,以实现所述整车对动态障碍物的实时规避。
请参阅图2,本发明的第二实施例提供了智能化移动机械自主寻径与避障装置,包括:
目标检测单元201,用于获取由车载激光雷达实时采集到的激光点云数据集,并根据PointPillars算法对所述激光点云数据集进行识别处理,生成目标物、以及所述目标物相对于移动机械的位姿;
代价地图生成单元202,用于将所述激光点云数据集投影成一张二维代价地图;
自主寻径单元203,用于调用混合A*算法对所述目标物进行规划处理,生成全局路径,其中,所述全局路径为从移动机械的当前位置到所述目标物的位置的路径;
动态避障单元204,用于调用混合A*算法对所述代价地图和所述全局路径进行调整处理,以实现移动机械的动态避障。
本发明的第三实施例提供了智能化移动机械自主寻径与避障设备,包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上任意一项所述的智能化移动机械自主寻径与避障方法。
本发明的第四实施例提供了可读存储介质,存储有计算机程序,所述计算机程序能够被该存储介质所在设备的处理器执行,以实现如上任意一项所述的智能化移动机械自主寻径与避障方法。
示例性地,本发明第三实施例和第四实施例中所述的计算机程序可以被分割成一个或多个模块,所述一个或者多个模块被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述实现智能化移动机械自主寻径与避障设备中的执行过程。例如,本发明第二实施例中所述的装置。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述智能化移动机械自主寻径与避障方法的控制中心,利用各种接口和线路连接整个所述实现对智能化移动机械自主寻径与避障方法的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现智能化移动机械自主寻径与避障方法的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘、智能存储卡(Smart Media Card, SMC)、安全数字(Secure Digital, SD)卡、闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中,所述实现的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一个计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。
Claims (10)
1.智能化移动机械自主寻径与避障方法, 其特征在于,包括:
获取由车载激光雷达实时采集到的激光点云数据集,并根据PointPillars算法对所述激光点云数据集进行识别处理,生成目标物、以及所述目标物相对于移动机械的位姿;
将所述激光点云数据集投影成一张二维代价地图;
调用混合A*算法对所述目标物进行规划处理,生成全局路径,其中,所述全局路径为从移动机械的当前位置到所述目标物的位置的路径;
调用混合A*算法对所述代价地图和所述全局路径进行调整处理,以实现移动机械的动态避障。
2.根据权利要求1所述的智能化移动机械自主寻径与避障方法,其特征在于,获取由车载激光雷达实时采集到的激光点云数据,并根据PointPillars算法对所述激光点云数据进行识别处理,生成目标物、以及所述目标物相对于移动机械的位姿,具体为:
获取所述车载激光雷达实时采集到的田间环境点云信息,生成激光点云数据集;
调用SUSTechPoints点云标注软件模块进行制作处理,生成与各类农作物相关的点云训练数据集;
建立一个网络模型,利用所述PointPillars算法对所述点云训练数据集进行训练,生成训练好的网络模型;
加载所述训练好的网络模型,并根据所述PointPillars算法对所述激光点云数据集进行检测,识别出所述目标物、以及与所述目标物相对于移动机械的位姿。
3.根据权利要求2所述的智能化移动机械自主寻径与避障方法,其特征在于, 建立一个网络模型,利用所述PointPillars算法对所述点云训练数据集进行训练,生成训练好的网络模型,具体为:
调用Pillar编码方式对所述点云训练数据集进行编码处理,在XY平面上对所述点云训练数据集进行栅格化,生成点云张量,其中,判定落入同一栅格内的激光点同属于一个pillar,/>为所述点云训练数据集对应的九维向量,/>为一帧点云数据中共有的非空pillars的数量,/>为每个pillar中包含的激光点的数量;
对所述点云张量进行特征提取处理,生成降低维度后的特征张量;
对所述特征张量进行最大池化处理,生成平面特征图,并将所述平面特征图进行维度拆分处理,生成所述点云训练数据集对应的二维伪图像;
调用主干网络对所述二维伪图像进行特征提取处理和全连接处理,生成分辨率相同的特征图以及全连接层,其中,所述主干网络共包含两个网络,一个网络用于不断缩小所述平面特征图的分辨率并提升其维度,另一个网络则用于对前一个网络生成的特征图上采样;
调用单次检测器对所述全连接层进行三维物体检测;
以所述PointPillars算法的总损失函数作为迭代依据,对所述主干网络中的各个参数进行改正处理,当判断到所述总损失函数低于预设阈值时,生成训练好的网络模型。
4.根据权利要求3所述的智能化移动机械自主寻径与避障方法,其特征在于, 所述PointPillars算法的总损失函数,具体为:
将每个检测物体的Box用一个七维向量E来表示,,其中,/>表示所述每个检测物体Box的中心坐标,/>表示所述每个检测物体Box的宽,/>表示所述每个检测物体Box的高,/>表示所述每个检测物体Box的长,/>表示所述每个检测物体Box的方位角;
根据公式,/>,/>,/>,/>,,/>,/>求解所述每个检测物体Box的的七维向量E对应值与真实值的偏移量,其中,/>为所述每个物体Box的真实值,/>为所述每个物体Box的预测值,/>为所述每个物体Box的真实值与预测值之间的偏移量;
调用Focal Loss函数作为所述物体类别检测的损失函数,其中,Focal Loss函数公式为,/>,/>为所述物体锚框的类别概率,/>和/>为所述Focal Loss函数的参数,在训练过程中取/>;
5.根据权利要求1所述的智能化移动机械自主寻径与避障方法,其特征在于, 将所述激光点云数据集投影成一张二维代价地图,具体为:
对所述激光点云数据集进行距离滤波处理,以滤除所述车载激光雷达扫入的移动机械的车身点云数据,生成距离滤波后的激光点云;
对所述距离滤波后的激光点云数据集进行地面滤波处理,以滤除所述车载激光雷达扫入的地面点云数据,生成待投影激光点云;
设置三轴方向上的投影范围,将所述投影范围内的所述待投影激光点云映射到同一平面上,生成二维代价地图。
6.根据权利要求1所述的智能化移动机械自主寻径与避障方法,其特征在于, 调用混合A*算法对所述目标物进行规划处理,生成全局路径,具体为:
获取移动机械的当前位置和所述目标物的位置;
调用无障碍非完整约束启发代价函数和有障碍物完整性启发代价函数对所述二维代价地图进行计算处理,生成扩展节点到所述目标物的位置的代价;
调用维诺地图计算所述扩展节点与障碍物之间的势能值,并将所述势能值作为所述启发函数的部分代价值,以使得所述扩展节点与所述障碍物之间始终保持着一定的安全距离,其中,所述势能值的计算模型为,/>为所述扩展节点在/>处的势能值,/>为所述扩展节点到达所述障碍物的最近距离,/>为所述扩展节点坐标为/>时,该扩展节点到达所述障碍物的最近距离,/>为所述扩展节点到达所述维诺地图边的最近距离,/>为所述扩展节点坐标为/>时,该扩展节点到达所述维诺地图边的最近距离,/>和/>分别为所述势能值的下降速率和所述势能值的控制范围;
当判断到所述扩展节点与所述目标物位置的距离小于预设阈值时,利用Reeds-Sheep曲线与所述目标物进行连接,并加入移动机械车身轮廓判断是否与障碍物碰撞;
若否,保留所述Reeds-Sheep曲线,并生成全局路径;
若是,放弃所述Reeds-Sheep曲线,并从开启列表中重新寻找扩展节点,重新进行扩展;
当判断到所述扩展节点与所述目标物位置的距离大于预设阈值时,从开启列表中重新寻找扩展节点,重新进行扩展。
7.根据权利要求1所述的智能化移动机械自主寻径与避障方法,其特征在于,调用混合A*算法对所述代价地图和所述全局路径进行调整处理,以实现移动机械的动态避障,具体为:
基于所述二维代价地图,利用混合A*算法实时更新所述全局路径,以实现移动机械对动态障碍物的实时规避。
8.智能化移动机械自主寻径与避障装置,其特征在于,包括:
目标检测单元,用于获取由车载激光雷达实时采集到的激光点云数据集,并根据PointPillars算法对所述激光点云数据集进行识别处理,生成目标物、以及所述目标物相对于移动机械的位姿;
代价地图生成单元,用于将所述激光点云数据集投影成一张二维代价地图;
自主寻径单元,用于调用混合A*算法对所述目标物进行规划处理,生成全局路径,其中,所述全局路径为从移动机械的当前位置到所述目标物的位置的路径;
动态避障单元,用于调用混合A*算法对所述代价地图和所述全局路径进行调整处理,以实现移动机械的动态避障。
9.智能化移动机械自主寻径与避障设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的智能化移动机械自主寻径与避障方法。
10.可读存储介质,其特征在于,存储有计算机程序,所述计算机程序能够被该存储介质所在设备的处理器执行,以实现如权利要求1至7任意一项所述的智能化移动机械自主寻径与避障方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310657106.8A CN116382308B (zh) | 2023-06-05 | 2023-06-05 | 智能化移动机械自主寻径与避障方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310657106.8A CN116382308B (zh) | 2023-06-05 | 2023-06-05 | 智能化移动机械自主寻径与避障方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116382308A true CN116382308A (zh) | 2023-07-04 |
CN116382308B CN116382308B (zh) | 2023-09-05 |
Family
ID=86961938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310657106.8A Active CN116382308B (zh) | 2023-06-05 | 2023-06-05 | 智能化移动机械自主寻径与避障方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116382308B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111709343A (zh) * | 2020-06-09 | 2020-09-25 | 广州文远知行科技有限公司 | 一种点云检测方法、装置、计算机设备和存储介质 |
CN111752273A (zh) * | 2020-06-15 | 2020-10-09 | 华侨大学 | 一种电动履带式挖掘机无人驾驶行走系统及方法 |
CN112419494A (zh) * | 2020-10-09 | 2021-02-26 | 腾讯科技(深圳)有限公司 | 用于自动驾驶的障碍物检测、标记方法、设备及存储介质 |
CN113111974A (zh) * | 2021-05-10 | 2021-07-13 | 清华大学 | 基于深度典型相关分析的视觉-激光雷达融合方法及系统 |
CN113253717A (zh) * | 2021-03-17 | 2021-08-13 | 武汉科技大学 | 一种基于动态障碍物运动信息的室内移动机器人局部路径规划方法 |
CN113341970A (zh) * | 2021-06-01 | 2021-09-03 | 苏州天准科技股份有限公司 | 智能巡检导航避障系统、方法、存储介质和巡检车 |
WO2023279584A1 (zh) * | 2021-07-08 | 2023-01-12 | 深圳市优必选科技股份有限公司 | 一种目标检测方法、目标检测装置及机器人 |
-
2023
- 2023-06-05 CN CN202310657106.8A patent/CN116382308B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111709343A (zh) * | 2020-06-09 | 2020-09-25 | 广州文远知行科技有限公司 | 一种点云检测方法、装置、计算机设备和存储介质 |
CN111752273A (zh) * | 2020-06-15 | 2020-10-09 | 华侨大学 | 一种电动履带式挖掘机无人驾驶行走系统及方法 |
CN112419494A (zh) * | 2020-10-09 | 2021-02-26 | 腾讯科技(深圳)有限公司 | 用于自动驾驶的障碍物检测、标记方法、设备及存储介质 |
CN113253717A (zh) * | 2021-03-17 | 2021-08-13 | 武汉科技大学 | 一种基于动态障碍物运动信息的室内移动机器人局部路径规划方法 |
CN113111974A (zh) * | 2021-05-10 | 2021-07-13 | 清华大学 | 基于深度典型相关分析的视觉-激光雷达融合方法及系统 |
CN113341970A (zh) * | 2021-06-01 | 2021-09-03 | 苏州天准科技股份有限公司 | 智能巡检导航避障系统、方法、存储介质和巡检车 |
WO2023279584A1 (zh) * | 2021-07-08 | 2023-01-12 | 深圳市优必选科技股份有限公司 | 一种目标检测方法、目标检测装置及机器人 |
Non-Patent Citations (2)
Title |
---|
HEYLEN J,IVEN等: "From pixels to actions:Learning to drive a car with deep neural networks", 《IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》, pages 606 - 615 * |
林添良等: "基于环境识别的电动工程机械无人驾驶行走方法", 《机械工程学报》, vol. 57, no. 10, pages 42 - 49 * |
Also Published As
Publication number | Publication date |
---|---|
CN116382308B (zh) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111615703B (zh) | 传感器数据分割 | |
US11709058B2 (en) | Path planning method and device and mobile device | |
EP3639241B1 (en) | Voxel based ground plane estimation and object segmentation | |
CN111797734B (zh) | 车辆点云数据处理方法、装置、设备和存储介质 | |
US10497145B2 (en) | System and method for real-time large image homography processing | |
Bar Hillel et al. | Recent progress in road and lane detection: a survey | |
CN108519094B (zh) | 局部路径规划方法及云处理端 | |
US8605998B2 (en) | Real-time 3D point cloud obstacle discriminator apparatus and associated methodology for training a classifier via bootstrapping | |
CN108509820B (zh) | 障碍物分割方法及装置、计算机设备及可读介质 | |
CN110675307A (zh) | 基于vslam的3d稀疏点云到2d栅格图的实现方法 | |
CN112733813B (zh) | 一种数据降噪的方法及装置 | |
CN110576847A (zh) | 基于焦点的对传感器数据的标记 | |
CN111699410B (zh) | 点云的处理方法、设备和计算机可读存储介质 | |
CN113640822B (zh) | 一种基于非地图元素过滤的高精度地图构建方法 | |
CN110908374B (zh) | 一种基于ros平台的山地果园避障系统及方法 | |
CN112171675B (zh) | 一种移动机器人的避障方法、装置、机器人及存储介质 | |
CN112298168B (zh) | 一种车位检测方法及装置、自动泊车方法及装置 | |
CN110705385B (zh) | 一种障碍物角度的检测方法、装置、设备及介质 | |
Luo et al. | Online multiple maneuvering vehicle tracking system based on multi-model smooth variable structure filter | |
CN115782867A (zh) | 轨迹碰撞风险评估方法、装置、电子设备和存储介质 | |
US20230367319A1 (en) | Intelligent obstacle avoidance method and apparatus based on binocular vision, and non-transitory computer-readable storage medium | |
CN114556419A (zh) | 三维点云分割方法和装置、可移动平台 | |
CN114556442A (zh) | 三维点云分割方法和装置、可移动平台 | |
Jiang et al. | Obstacle detection and tracking for intelligent agricultural machinery | |
CN117148832A (zh) | 一种基于多深度相机的移动机器人避障方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |