CN116578081A - 一种基于感知的无人驾驶运输车辆指点停靠方法 - Google Patents
一种基于感知的无人驾驶运输车辆指点停靠方法 Download PDFInfo
- Publication number
- CN116578081A CN116578081A CN202310303263.9A CN202310303263A CN116578081A CN 116578081 A CN116578081 A CN 116578081A CN 202310303263 A CN202310303263 A CN 202310303263A CN 116578081 A CN116578081 A CN 116578081A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- grid
- vehicle
- ground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 230000008447 perception Effects 0.000 title claims abstract description 27
- 238000005065 mining Methods 0.000 claims abstract description 118
- 238000011068 loading method Methods 0.000 claims abstract description 62
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims description 31
- 238000009826 distribution Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000011049 filling Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 14
- 239000004575 stone Substances 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 239000000463 material Substances 0.000 description 16
- 230000003993 interaction Effects 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000013519 translation Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000009412 basement excavation Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000013398 bayesian method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明属于自动驾驶技术领域，具体公开了一种基于感知的无人驾驶运输车辆指点停靠方法，包括：生成彩色点云，并生成场景地图；对彩色点云分割；对非地面点云进行聚类；对目标类簇进行栅格占用计算生成栅格占用图；生成同心圆可停靠区域；获得采掘车辆的铲位推进方向，在同心圆可停靠区域中生成该运输车辆在当前装载区的多个可停靠位置；最优停靠位推荐，与彩色点云地图同时显示；本发明方法具有如下优点：无需铲斗等待在指定位置进行指点，提高了生产效率；结合了三维信息和颜色信息，能够更好地保证停靠位的精度；能够针对装载区土石方场景变化计算铲位推进方向，以便确定采掘的作业方向，实现真正的采掘、运输全无人自动作业。
Description
技术领域
本发明涉及自动驾驶技术领域，具体而言，涉及一种基于感知的无人驾驶运输车辆指点停靠方法。
背景技术
自动驾驶运输车辆运行在特定的场景例如矿区、港口、封闭园区等，从装载点到卸载点的过程属于端到端的形式，装卸载端的执行效率和精度影响着整个流程的自动化程度，在矿区场景下，装载区的场景随着土石方的推移有着较为频繁的变化，仍需人工干预的环节包括铲位推进、指引运输车辆停靠、物料铲装、铲位环境清理等。其中指引运输车辆停靠需要对采掘场景进行理解，并实现采掘车辆与运输车辆的交互，也是实现无人化和自动化的重要环节。
在指引运输车辆停靠的过程中，采掘车辆需要根据铲位环境及推进计划规划出适合车辆停靠的位置，该位置需要保证不影响采掘车辆正常作业，且能够在较少移动的距离内完成预定体积的物料装载工作。该停靠位置继而需要下发给正在等待入场的运输车辆，并发送允许驶入指令。运输车辆在收到指令和位置点后控制车辆停靠到停靠点所标识的停靠区域，在此过程中仅靠停靠点无法完成精准停靠，需要采掘车辆提供准确的停靠位置，包括航向角、长宽、中心点等。
目前业界常用的停靠位表示方式仅包括坐标点和航向信息，考虑到运输车辆的定位和控制误差，无法对运输车辆施加较为全面的约束。此外停靠点的计算也多采用固定回转中心和铲臂长度结合的方式，由于回转中心的测量和铲臂伸缩的误差，无法计算出较为精确的停靠点，也无法保证停靠车辆与采掘车辆的精确距离。容易出现停靠不到位、停靠越界的情况，需要进行二次泊车，极大影响采装效率。
故采用一种更为精确和高效的运输车辆停靠位生成方法是提升矿区自动驾驶运营效率的瓶颈所在。目前的研究方向包括基于RTK差分定位的几何包络框计算、基于视觉或者激光雷达等传感器的辅助信息指点方法、基于预设锚点参考的方式进行辅助指点方法等。
在现有停靠位生成方法中，通过铲臂固定长度进行指点的方式应用较多，即通过采掘车辆的回转中心和采掘臂的固定长度计算得到铲斗的位置，但电铲/挖机几何回转中心无法准确测量，铲臂的伸缩长度及铲斗的位置不固定，采掘车辆的回转中心到铲斗的距离进行指点的方式输出的定位点精度较差，且由于铲斗指点无航向角输出和停靠位轮廓输出，运输车辆仅依靠停靠点无法实现精准停靠，本发明采用的传感器可以输出准确的距离与尺寸信息，严格保证生成的停靠位在预设范围内。
此外有基于单目相机和双目相机进行人机交互指点的方式，单目相机的优势在于价格低廉，且可选类型较多，适配性能好，便于采掘司机通过图像观察铲位周围情况，并快速给出停靠点，但缺点在于其难以提供较为准确的距离信息，停靠点的误差较大。如图2所示，单目相机由于畸变系数及传感器本身性能限制，将网格框的6个边界点，表示为图中圆圈指点，实际输出的经纬度位置分别对应方框1～6所示物体，横纵向均有不同程度的偏差。
此外采用双目相机指点方法可以提供较为准确的距离信息，如图2，图3在操作时需要设置锚点作为靶标，对于预设点的距离输出可满足精度要求，但由于图像视角及呈现方式只包含二维信息，在图像上指出相对准确的停靠点必须强依赖锚点或者靶标，在实际工程应用中较为繁琐。
同时对于远程操控或无人操控的铲装车辆，铲斗、图像指点的操作性较差，指点过程效率较低，占用电铲司机及采掘车辆操作时间，在车辆交替间隙无法有效进行铲位推进。且固定长度指点精度不足，导致停靠过近有碰撞风险，停靠过远无法装满物料，重新停靠调整严重影响生产效率，本发明提出的停靠位自动生成算法，可有效提高采装车辆的自主作业效率。
由前述可知，基于单目相机进行指点的方式无法提供较为准确的距离信息，在此基础上采用双目相机仍无法解决二维坐标下与三维世界的映射问题，双目相机本身的测距精度的提升无法弥补在指点的过程中人机交互的二维视角下无尺度参考造成的误差，因此需要可以提供三维信息的激光雷达作为数据输入，解决停靠位距离及尺寸精度问题。
综上所述，通过铲臂固定值进行指点的方式与借助单传感器进行辅助指示停靠的方式均有一定程度上的误差和缺陷；为此提出一种基于感知的无人驾驶运输车辆指点停靠方法，以解决上述提出的问题。
本发明在现有方法基础上，融合激光雷达点云和单目相机的信息，实时对铲窝环境进行地图构建，在三维坐标系下呈现给采掘司机或自动装载系统，并对场景中的地面和非地面的山体、沟壑进行分割，通过聚类与栅格占用分析生成可停靠区域，配合停靠位自动生成算法，实现更高效率的自动驾驶运输车辆停靠位生成。
发明内容
本发明旨在提供一种基于感知的无人驾驶运输车辆指点停靠方法，以解决或改善上述问题。具体例如将采掘车辆的铲斗直接举升到停靠位的上方，模拟装载时与停靠车辆的相对位置，并给出通过采掘车辆与运输车辆尺寸信息计算得到的指示停靠点，需要操纵采掘车辆，完全依靠人工把控精度的问题；或在人机交互屏幕上加载实时图像，在图像上进行手动虚拟指点，再将该点转换到WGS84坐标系下，受限于二维图像的固定视角，指出的点无法很好地映射到真实世界中的相关问题。
有鉴于此，本发明的第一方面在于提供一种基于感知的无人驾驶运输车辆指点停靠方法。在该技术方案中，通过融合图像和激光雷达点云数据，在装载区进行实时建图、地面分割、障碍物聚类、栅格占用、可停靠区域提取、停靠位生成等计算，为操作人员或指点系统提供更加精确的环境与参考信息；
具体包括如下步骤：
S1，实时采集装载区采掘车辆周围的三维点云数据、二维图像数据、GPS/IMU数据融合生成UTM坐标系下的彩色点云，并根据彩色点云构建点云地图发送至显示端；
S2，对所述彩色点云进行地面点云和非地面点云分割，针对非地面点通过聚类、栅格占用输出栅格占用图，同时通过运输车辆和采掘车辆的几何信息对背景点云进行范围划定，生成供运输车辆行驶的同心圆可停靠区域；
S3，对不同采掘周期构建的彩色点云地图进行比较，通过背景差分操作获得采掘车辆的铲位推进方向，并同时考虑运输车辆的尺寸、采掘车辆装车的最小回转角度，结合预设锚框，在所述同心圆可停靠区中生成该运输车辆在当前装载区的多个可停靠位置；
S4，对多个所述可停靠位置进行基于规则的优劣筛选，输出最优可停靠位置至显示端，并与S1所述彩色点云地图同时显示；
S5，若此时采掘车辆尚未完成清理任务则采用S4中得到的最优可停靠位置，并至此结束；若此时采掘车辆已完成清理任务，则按照铲斗悬停指点的方式生成停靠框，计算铲斗彩色点云簇的中心点，对应停靠框的中心点，在该中心点周围基于S3生成的多个可停靠位置进行搜索，输出最优可停靠位置框。
本发明提供的一种基于感知的无人驾驶运输车辆指点停靠方法，分别采用装载区中采掘车辆周围环境距离的三维数据以及图像的颜色数据，并进行融合生成带有色彩的三维彩色点云数据，同时基于视觉和激光雷达点云的三维指点方式在人机交互过程中更加便捷，提高了指点的效率；同时基于彩色点云自动生成的停靠位结合了激光雷达的距离信息和图像的属性信息，能够更好地保证停靠位的精度；
过程中对装载区彩色点云存在的地面和非地面特征进行区分，以便寻找到车辆能够通行的平面，通过考虑运输车辆和采掘车辆的几何信息，并生成同心圆可停靠区域。在此基础上基于特定规则生成目标停靠位。与现有方法相比，省去了人工指点步骤，无需铲斗等待在指定位置进行指点，提高了生产效率。同时通过装载区土石方场景的彩色点云地图的背景变化计算铲位推进方向，在有人值守及无人值守的场景均可为停靠位的自动生成提供参考信息。
另外，根据本发明的实施例提供的技术方案还可以具有如下附加技术特征：
上述任一技术方案中，所述非地面点云包括：彩色点云所对应装载区内的障碍物、挡土墙、地面凸起和地面凹坑；所述地面点云为彩色点云中除非地面点云的所有点云；所述几何信息包括：采掘车辆的铲斗最远回转半径、运输车身尺寸，运输车辆的车头航向。
在该技术方案中，在进行占用区域的判定时，对障碍物、挡土墙、地面凸起和地面凹坑均判定为会影响运输车辆行驶的障碍，并将彩色点云中不包括障碍点云的点云均判定为地面点云；对于考虑几何信息生成的同心圆可停靠区域，具体对采掘车辆的铲斗最远回转半径、车身尺寸进行考虑，保证采掘车辆挖掘的物料能够完全装载到运输车辆中，并考虑采掘车辆的车身尺寸和运输车辆的车头长度，以避免运输车辆的车头被判定至可装载物料的部位，导致运输车辆与采掘车辆相撞或装载时物料洒落出车斗。
上述任一技术方案中，所述的生成供运输车辆行驶的同心圆可停靠区域的步骤，具体包括：
对所述彩色点云进行分割，获得地面点云、非地面点云；
对所述非地面点云进行聚类，以降低非地面点云中的噪点，生成独立的点云类簇；
对所述点云类簇进行栅格占用计算，进而根据非占用区域生成拟可停靠区域；
对所述地面凸起和凹陷区域、拟可停靠区域进行合并，同时参考采掘车辆最远回转半径、最小包络框，生成同心圆可停靠区域。
在该技术方案中，通过对实时数据进行分割，输出地面区域、非地面区域，非地面区域包括待采掘区域、挡土墙、山体等。根据已采掘区域和待采掘区域的分界线作为可停靠区域的边界，输出初步可停靠区域。
上述任一技术方案中，对所述彩色点云进行分割的步骤，具体包括：
采用基于栅格高度差的地面分割方法，根据栅格梯度和点云高度实时对地面点与非地面点进行分割；
首先进行直通滤波，将分割范围限定在指定区域内；
创建极坐标下的点云栅格地图：计算每个点到原点的距离，对其进行归一化，对极坐标下的每个栅格进行遍历，更新栅格高度值；
通过零填充方式应用高斯核进行平滑；
计算相邻格子之间的高度差，此处的相邻包括左相邻与右相邻；
判断每个格子的平滑程度、高度值、高度差值，并将满足阈值要求的栅格属性初步更新为地面点所在栅格；
对每个地面点所在格子应用中值滤波和离群点滤波。
上述任一技术方案中，所述的对所述非地面点云进行聚类的步骤，具体包括：
针对分割后的非地面点，采用了八邻域网格搜索聚类方法，对非地面点进行聚类；
对于输入的非地面点进行零值填充，再将每个点映射到笛卡尔坐标系中，完成栅格化转换，统计落在当前栅格的点数并赋予特定标识创建点簇分布图并为所有非空的点簇分配ID；
将非地面点云按照比例投影到笛卡尔坐标系下；
以笛卡尔坐标系为原点，遍历搜索类簇起始点，将其转换为点簇分布图，同时计算滑动核尺寸；
对每个点周围按照滑动核尺寸进行遍历，在八邻域范围内搜索到点云则纳入当前点簇，赋予点簇编号；类簇重新更新搜索起始点，作为次级种子点重复进行搜索，直至遍历完整个点簇分布图；
根据笛卡尔坐标系下记录的点簇ID号与非地面点云的映射关系，将非地面点云分配到不同的点云簇中。
上述任一技术方案中，对所述点云类簇进行栅格占用计算的步骤，具体包括：
首先将整个环境分割成边长相同的矩形栅格，栅格的边长根据聚类后点云的横纵向取值范围进行动态选取；
然后，通过逐个栅格扫描，获得环境中每个栅格的信息并赋以一数值来表示这个栅格被占用的概率，每个栅格代表一个矩形的区块，用一个在(0，1)范围内的值来指示这个区块被占用的概率，表明它所对应的物理位置是否有障碍物存在。
上述任一技术方案中，所述按照铲斗悬停指点的方式生成停靠框的步骤包括：
在运输车辆根据选定的可停靠位置进行停靠过程中，采掘车辆自身携带传感器除实时采集该运输车辆周围装载区的障碍信息之外，还采集采掘车辆自身的姿态信息；
根据铲斗及铲臂在彩色点云中的特征信息，按照高度信息选取铲斗点云，并通过提取点云簇中心点的方式，获得铲斗中心坐标；
将铲斗中心坐标从激光雷达坐标系转换为UTM坐标系，铲斗悬停点对应停靠框的中心点，铲臂方向为停靠框航向，并通过v2x发送到运输车辆。
在本发明的一些技术方案中，提供了一种基于感知的无人驾驶运输车辆指点停靠方法，在该方法中，所述对激光雷达与相机进行时空同步可包括：
将两种传感器的数据做数据层融合，对点云的X,Y,Z位置信息附加R,G,B彩色信息，辅助点云的反射强度Intensity，生成PointXYZIRGB格式的彩色点云作为算法的输入，同时输出彩色点云地图，在人机交互界面进行显示。
数据层融合的前提是对激光雷达-GPS-相机进行时空同步，即时间同步与外参标定，求得GPS-激光雷达，相机-激光雷达的旋转矩阵R与平移向量T，在此过程中应当满足如下关系：
其中L为激光雷达坐标系，C为相机坐标系，E为车体坐标系，U为UTM坐标系，G为WGS84坐标系，为相机到激光雷达坐标系的旋转矩阵，/>为相机到激光雷达坐标系的平移向量；/>为激光雷达到车体坐标系的旋转矩阵，/>为激光雷达到车体坐标系的平移向量；/>为车体到UTM坐标系的旋转矩阵，/>为车体到UTM坐标系的平移向量；/>为WGS84坐标系到UTM坐标系的转换矩阵；
采掘车辆在WGS84坐标系下输出经纬高坐标点，定位中心一般在其回转中心，首先需要将其转换到UTM坐标系下，此过程需要用到采掘车辆的定位点经纬高及采掘点所对应UTM投影区域，默认使用UTM Zone 50N，其次需要将目标点从图像坐标系C转换到激光雷达坐标系L，需要用到再将激光雷达坐标系L转换到车体坐标系E，需要用到最后将车体坐标系E下的目标点转换到UTM坐标系U下，至此分别得到UTM坐标系下的回转中心坐标(xc,yc)，及目标点坐标(xo,yo)，在同一坐标系下可计算得出目标点和回转中心的位移；
其中xd表示目标点到回转中心(车体坐标原点)的位移，在使用基于铲臂距离的铲斗指点方法时，代表铲斗的回转半径。该值在现有方法一般通过测量得到，且为固定值，误差较大。本发明根据相机和激光雷达坐标系下目标点的距离，即点云提供的距离值，通过E，U，G坐标系将其转换为WGS84下的经纬度坐标，发送给自动驾驶运输车辆进行停靠，其中的误差仅包含激光雷达的测距误差Es、坐标系转换之间的误差Ec及定位中心与回转中心的标定误差Em；若不将定位中心标定到回转中心可不考虑，即总误差Et由下式表示：
Et＝Ec+Em+Es(6)
而目前基于铲斗到回转中心距离指点的方法的误差不仅包含Ec，Em，还包括铲臂伸缩的误差Ef，即
Et＝Ec+Em+Ef(7)
其中铲臂的伸缩误差Ef还包括铲臂长度的测量误差，与传感器测量误差Et相比属于人为测量误差，精度相差较大。
在本发明的一些技术方案中，提供了一种基于感知的无人驾驶运输车辆指点停靠方法，在该方法中，上述根据栅格梯度、点云高度等信息实时分割地面点与非地面点进行分割的过程可包括：
首先进行直通滤波，将分割范围限定在特定区域内；
创建极坐标下的点云栅格地图，并计算每个点(xp,yp)到原点的距离Dp：
对其进行归一化：
其中将角度拆分为Nc份，CP为单位角度,将距离拆掉分为Nb份，BP为单位距离，Ci为角度索引，Bi为距离索引；
从原始点计算格子的x，y方向的索引：
对极坐标下的每个栅格进行遍历，获取其在极坐标系下的距离r和角度θ值，判断点的高度zp值是否在(hmin-r*tan(θ),hmax+r*tan(θ))之间，符合要求的格子更新其高度为zp，超出右阈值的格子更新其高度为传感器安装高度zs，超出左阈值的格子更新其为hmin；其中hmin为预设的栅格最低值，参考值为-2，hmax为预设的栅格最高值，参考值为5；
通过零填充方式应用高斯核进行平滑,获得每个栅格的高斯平滑程度gs；
计算相邻格子之间的高度差，此处的相邻包括左相邻与右相邻；
判断每个格子的平滑程度gs、高度值hz是否在(hmin-r*tan(θ),hmax+r*tan(θ))之间，且高度值hz与高度差值hdiff均满足要求时，将其属性初步更新为地面点所在栅格；
对每个地面点所在格子应用中值滤波和离群点滤波；
判断每个格子的高度值是否在(hg-hl,hg+hh)之间，符合要求的格子所对应的点云更新为地面点，超出右阈值的格子所对应的点则为非地面点，其中hg为地面高度均值，hl为地面高度的容差下限值，hh为地面高度的容差上限值。
在本发明的一些技术方案中，提供了一种基于感知的无人驾驶运输车辆指点停靠方法，在该方法中，上述对非地面点云进行聚类可包括：
对于输入的非地面点进行零值填充，再将每个点映射到笛卡尔坐标系中，完成栅格化转换，统计落在当前栅格的点数并赋予特定标识同时创建点簇分布图，为所有非空的点簇分配ID，栅格大小的默认值dg为0.2m；将非地面点云按照比例投影到笛卡尔坐标系下：
其中(xmin,ymin)，(xmax,ymax)为感兴趣区域的预设值，(xid,yid)为栅格索引。
以笛卡尔坐标系为原点，遍历搜索类簇，起始点标记为(xi,yi)，生成点簇分布图，(xstart,ystart)为八邻域搜起始点，每个搜索周期对其进行更新。
ystart＝(i*dg+j)％dg(16)
通过(xstart,ystart)计算滑动核的尺寸km，在每个点周围按照km的尺寸进行遍历，在八邻域范围内搜索到点云则纳入当前点簇，赋予点簇编号；初始点簇分布图只有种子点((i,j)，在种子点周围搜索到符合km尺寸的点云之后，更新点簇分布图，并为吸纳到类簇中的每一个点更新(xstart,ystart)，作为次级种子点重复进行搜索，直至遍历完整个点簇分布图。
根据笛卡尔坐标系下记录的点簇ID号与非地面点云的映射关系，将非地面点云分配到不同的点云簇中。
上述任一技术方案中，所述的对所述彩色点云进行可停靠区域和占用区域区分的步骤，具体包括：对所述彩色点云进行栅格划分，获得以栅格为单位的点云簇；对所述点云簇的栅格通过Bayesian方法生成栅格占用图。
使用P(S|OCC)表示条件概率，OCC表示该栅格被占用，S表示彩色点云距离值，该式表示对应栅格被占用的情况下，返回值为彩色点云距离值的概率。在计算过程中，将其转化为当返回值是彩色点云距离值时，栅格被占用的概率，即P(OCC|S)。根据Bayesian规则，有如下关系：
其中，EMP代表栅格空闲,P(S|OCC)和P(S|EMP)由激光雷达和图像观测模型得到。由于在计算占用情况时没有任何先验信息，故将先验概率设置为50％；
在该技术方案中，在分割、聚类的基础上再进行栅格占用分析的优势在于经过分割和聚类后的数据，减少了许多离群噪点，并且只对聚类后的非地面点进行占用分析，使得计算占用概率的过程更加稳定。
上述任一技术方案中，所述的根据多个连续采集彩色点云的位置变化获得采掘车辆的铲位推进方向的步骤，具体包括：对彩色点云计算并转换UTM坐标；以一个采掘车辆的铲斗回转时间为单位，将单位时间内获得的彩色点云进行多帧叠加，以创建装载区的场景地图；对多个连续单位的场景地图采用背景差分计算出装载区的场景变化；根据场景变化的连续变化趋势，计算出铲位推进方向。
在该技术方案中，对驱动解析的GPS/IMU数据进行坐标转换，转换到UTM坐标系下，在此基础上将原始数据进行图像坐标系-激光坐标系-车体坐标系的转换，再结合车体定位中心的UTM坐标位置，计算出每一个彩色点的UTM坐标；
采掘车辆的铲斗一次挖掘和卸料具有相近的时间，以铲斗回转时间为单位，一方面能够避免对不同轮次作业区域的重复采集，另一方面避免了过长的数据采集周期，以降低计算量；并且将采集到的所有帧的彩色点云进行叠加，在整个单位作业周期内获取装载区的物料形状，以便在对此的挖掘中进行对比，从物料形状变化了解到铲斗的挖掘方向。
上述任一技术方案中，所述的在所述同心圆区域占用图中生成该运输车辆在当前装载区的多个可停靠位置的步骤，具体包括：
沿同心圆可停靠区域x，y方向，分别按照步长0.2m生成网格线，覆盖同心圆可停靠区域生成0.2x0.2规格的锚框；
以每个网格线相交点为圆心，以运输车辆的矩形包络框对角线为直径，以2°的旋转步长按顺时针生成多个预停靠框；
生成预停靠框过程中，若与同心圆可停靠区域边界及内部轮廓线发生干涉，则将该框删除。其中，所述停靠框包括运输车辆停靠的中心点、长宽位置和航向的信息。
在该技术方案中，根据停靠车辆的自身尺寸属性，在面对不同的型号车辆时能够做到进行针对性的变化，在划分网格的每个结点作为停靠中心点相当于分别采用等步长的方式生成停靠框。对生成的停靠框在短边与所述采掘车辆包络圆相切并不与可停靠区域的边界发生干涉的条件下进行检验，保证运输车辆进入到生成的停靠框中时，不会与周围的物体发生碰撞且能够与采掘车辆在适当的范围内进行物料输送；可停靠位置的停靠框框体尺寸具体需要考虑每个需要操控的运输车辆实际车身尺寸；
上述任一技术方案中，所述的对多个所述可停靠位置进行优劣筛选的步骤，具体为：
以所述采掘车辆的物理回转中心O和待采掘土方的轮廓线的最近切点A划定射线；
以所述射线为起始线在待采掘土方的轮廓线法线方向45°的范围内按照旋转步长2°搜索停靠框集合；
通过v2x将该停靠框集合发送至运输车辆进行路径规划，返回可成功规划路径的停靠框集合；
对搜索到的停靠框进行距离筛选，对停靠框中心点的x，y值进行排序，选取距离A点最近的停靠框集合；若均无法规划出路径，则将搜索起始线沿初始搜索方向偏转2°继续搜索；
对上述的停靠框集合进行最终筛选，为保证最终停靠位置最大程度与采掘车辆航向相近，提高装载效率，判断停靠框航向与OA射线的夹角，选取夹角最小的停靠框作为最终输出，并通过v2x发送到运输车辆。
在该技术方案中，由于采掘车辆的铲斗有能够在采掘车辆不动的情况下最大的铲装范围，同时待采掘土方的最外侧轮廓为后续铲装首先被采掘的部分，将其轮廓与采掘中心的连线作为起始线进行反方向搜索，使得停靠框落在待采掘区域之外，避免过于靠近而无法完成铲装作业。同时以射线为起始线反方向划定一个45°的扇形范围搜索区域，能够使得在铲斗进行装载时实际装载到该区域搜索出的停靠框上所停靠的车辆，然后对搜索的停靠框的个数进行判断，若过少或者没有，则需要将射线以2°的步长继续推进，持续沿起始搜索方向进行搜索，直至搜索获的停靠框符合要求；
在该技术方案中，当运输车辆为通过无人驾驶算法操控的无人矿卡且通过远程控制中心进行集中控制时，则不需要进行多个点位的选择，只需保留输出一个最优的停靠框即可；
当运输车辆为驾驶舱中驾驶员远程驾驶的遥控矿卡且通过远程操控中心进行集中控制时，则可对驾驶员提供多个优选的停车框，以便根据个人的驾驶习惯和特点进行筛选，且将彩色点云地图和停车框同时显示，免去了坐标输入，只需采用触控显示屏即可完成操作，简单方便，快捷高效。
本发明与现有技术相比所具有的有益效果：
1.基于视觉和激光雷达点云的三维停靠位生成方式在人机交互过程中更加便捷，提高了指点的精度，同时基于彩色点云自动生成的停靠位结合了激光雷达的距离信息和图像的属性信息，能够更好地保证停靠位的精度；
2.在检测停靠位的同时根据点云背景差分算法，通过装载区土石方场景变化计算铲位推进方向，在有人值守及无人值守的场景均可为停靠位的自动生成提供参考信息，提高了无人驾驶矿区的自动化程度。
3.提出了一种停靠位生成算法，对装载区场景的挡土墙、地面凸起、凹坑等障碍物构建局部占用图，在此基础上生成目标停靠位，省去了人工指点步骤，无需铲斗悬停在指定位置进行指点，提高了生产效率；
根据本发明的实施例的附加方面和优点将在下面的描述部分中变得明显，或通过根据本发明的实施例的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明的方法流程图；
图2为基于单目相机指点的误差说明；
图3为基于双目相机的基于靶标的指点方式；
图4为矿区装载区点云地图示意图；
图5为本发明采用的UTM坐标转换示意图；
图6为本发明采用的坐标转换过程；
图7为本发明采用的八邻域网格聚类方法；
图8为聚类种子点与聚类后的点云簇关系；
图9为同心圆可停靠区域示意图。
具体实施方式
为了可以更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
请参阅图1-9，下面描述本发明一些实施例。
本发明第一方面的实施例提出了一种基于感知的无人驾驶运输车辆指点停靠方法。在本发明的一些实施例中，如图1所示，提供了一种基于感知的无人驾驶运输车辆指点停靠方法，该种基于感知的无人驾驶运输车辆停靠位生成方法包括如下步骤：
S1，实时采集装载区采掘车辆周围的三维点云数据、二维图像数据、GPS/IMU数据融合生成UTM坐标系下的彩色点云，并根据彩色点云构建点云地图发送至显示端；
S2，对所述彩色点云进行地面点云和非地面点云分割，针对非地面点通过聚类、栅格占用计算输出栅格占用图，同时通过运输车辆和采掘车辆的几何信息对背景点云进行范围划定，生成供运输车辆行驶的同心圆可停靠区域；
S3，对不同采掘周期构建的彩色点云地图进行比较，通过背景差分操作获得采掘车辆的铲位推进方向，并同时考虑运输车辆的尺寸、采掘车辆装车的最小回转角度，结合预设锚框，在所述同心圆可停靠区中生成该运输车辆在当前装载区的多个可停靠位置；
S4，对多个所述可停靠位置进行基于规则的优劣筛选，输出最优可停靠位置至显示端，并与S1所述彩色点云地图同时显示，若此时采掘车辆尚未完成清理任务则采用前述计算得到的最优停靠位置，流程至此结束本次循环，否则可按照S5铲斗悬停指点的方式生成停靠框。
S5，上述采掘车辆若已完成环境清理工作并可投入下一周期装载时，可按照铲斗悬停指点的方式生成停靠框，计算铲斗彩色点云簇的中心点，对应停靠框的中心点，在该中心点周围基于S3生成的多个可停靠位置进行搜索，输出最优可停靠位置框。
本发明提供的一种基于感知的无人驾驶运输车辆指点停靠方法，分别采用装载区中采掘车辆周围环境距离的三维数据以及图像的颜色数据，并进行融合生成带有色彩的三维彩色点云数据，在发送至远程的控制端后，提升了停靠位的精度及指点效率；同时基于视觉和激光雷达点云的三维指点方式在人机交互过程中更加便捷，提高了指点的效率；同时基于彩色点云自动生成的停靠位结合了激光雷达的距离信息和图像的属性信息，能够更好地保证停靠位的精度；
再对彩色点云中装载区存在的地面和非地面特征进行区分，以便寻找到车辆能够通行的平面，为后续可停靠位置提供前提，通过考虑运输车辆和采掘车辆的几何信息，并生成同心圆可停靠区域。在此基础上生成目标停靠位，与现有方法相比，省去了人工指点步骤，无需铲斗等待在指定位置进行指点，提高了生产效率。
通过装载区土石方场景的彩色点云地图的背景变化计算铲位推进方向，在有人值守及无人值守的场景均可为停靠位的自动生成提供参考信息。
在一些实施例中，所述非地面点云包括：彩色点云所对应装载区内的障碍物、挡土墙、地面凸起和地面凹坑；以及所述地面点云为彩色点云中除非地面点云的所有点云；以及所述几何信息包括：采掘车辆的铲斗最远回转半径、运输车身尺寸，运输车辆的车头航向。
在该实施例中，在进行占用区域的判定时，对障碍物、挡土墙、地面凸起和地面凹坑均判定为会影响运输车辆行驶的障碍，并将彩色点云中不包括障碍点云的点云均判定为地面点云；对于考虑几何信息生成的同心圆可停靠区域，具体对采掘车辆的铲斗最远回转半径、车身尺寸进行考虑，保证采掘车辆挖掘的物料能够完全装载到运输车辆上，并考虑采掘车辆的车身尺寸和运输车辆的车头长度，以避免运输车辆的车头被判定至可装载物料的部位，以及运输车辆与采掘车辆相撞。
在一些实施例中，所述的对所述彩色点云进行可停靠区域和占用区域区分的步骤，具体包括：对所述彩色点云进行分割，对所述可停靠区域内的点云划分出地面点云和包括障碍物和挡土墙的非地面点云；对所述非地面点云进行聚类，以降低非地面点云中的噪点；
在该实施例中，同时通过对实时数据进行语义分割，输出地面区域、非地面区域、待采掘区域、已采掘区域、挡土墙、山体等。根据已采掘区域和未采掘区域的分界线作为可停靠区域的边界，输出可停靠区域融合数据。
在一些实施例中，对彩色点云进行障碍和非障碍区分的步骤，具体包括：对所述的对所述彩色点云进行可停靠区域和占用区域区分的步骤，对所述彩色点云进行栅格划分，获得以栅格为单位的点云簇；对所述点云簇的栅格通过Bayesian方法生成栅格占用图。
使用P(S|OCC)表示条件概率，OCC表示该栅格被占用，S表示彩色点云距离值，该式表示对应栅格被占用的情况下，返回值为彩色点云距离值的概率。在计算过程中，将其转化为当返回值是彩色点云距离值时，栅格被占用的概率，即P(OCC|S)。根据Bayesian规则，有如下关系：
其中，EMP代表栅格空闲,P(S|OCC)和P(S|EMP)由激光雷达和图像观测模型得到。由于在计算占用情况时没有任何先验信息，故将先验概率设置为50％；
在该实施例中，在分割、聚类的基础上再进行栅格占用分析的优势在于经过分割和聚类后的数据，减少了许多离群噪点，并且只对聚类后的非地面点进行占用分析，使得计算占用概率的过程更加稳定。
在该实施例中，通过根据停靠车辆的自身尺寸属性，在面对不同的型号车辆时能够做到进行针对性的变化，在划分网格的每个结点作为停靠中心点相当于分别采用等步长的方式生成停靠框。对生成的停靠位置的停靠框在与所述采掘车辆包络圆相切并不与可停靠区域的边界发生干涉的条件下进行检验，保证运输车辆进入到生成的停靠框实际对应的装载区中时，不会与周围的物体发生碰撞且能够与采掘车辆在适当的范围内进行物料输送；可停靠位置的停靠框框体尺寸具体需要考虑每个需要操控的运输车辆实际车身尺寸；具体地，步长为划分网格的间距0.2m。
在一些实施例中，所述的根据多个连续采集彩色点云的位置变化获得采掘车辆的铲位推进方向的步骤，具体包括：对彩色点云计算并添加UTM坐标；以一个采掘车辆的铲斗回转时间为单位，将单位内获得的彩色点云进行多帧叠加，以创建装载区的场景地图；对多个连续单位的场景地图采用背景差分计算出装载区的场景变化；根据场景变化的连续变化趋势，计算出铲位推进方向。
在该实施例中，对驱动解析的GPS/IMU数据进行坐标转换，转换到UTM坐标系下，在此基础上将原始数据进行图像坐标系-激光坐标系-车体坐标系的转换，再结合车体定位中心的UTM坐标位置，计算出每一个彩色点的UTM坐标；
采掘车辆的铲斗一次挖掘和卸料具有相近的时间，将铲斗回转时间为单位，一方面能够避免在一次点云计算中对不同次作业区域的采集，另一方面避免了过长的数据采集以降低计算量；并且将采集到的所有帧的彩色点云进行叠加，以最全面的在铲斗的一次作业间获取装载区的物料形状，以便在对此的挖掘中进行对比，从物料形状变化了解到铲斗的挖掘方向。
上述任一实施例中，所述的在所述同心圆区域占用图中生成该运输车辆在当前装载区的多个可停靠位置的步骤，具体包括：
沿同心圆可停靠区域x，y方向，分别按照步长0.2m生成网格线，覆盖同心圆可停靠区域生成0.2x0.2规格的锚框；
以每个网格线相交点为圆心，以运输车辆的矩形包络框对角线为直径，以2°的旋转步长按顺时针生成多个预停靠框；
生成预停靠框过程中，若与同心圆可停靠区域边界及内部轮廓线发生干涉，则将该框删除。其中，所述停靠框包括运输车辆停靠的中心点、长宽位置和航向的信息。
其中，所述停靠框包括运输车辆停靠的中心点、长宽位置和航向的信息。在保证与所述采掘车辆包络圆相切并不与可停靠区域的边界发生干涉的条件下，通过所述停靠中心点和停靠车辆的尺寸划定作为可停靠位置的停靠框。
在该实施例中，通过根据停靠车辆的自身尺寸属性，在面对不同的型号车辆时能够做到进行针对性的变化，在划分网格的每个结点作为停靠中心点相当于分别采用等步长的方式生成停靠框。对生成的停靠位置的停靠框在与所述采掘车辆包络圆相切并不与可停靠区域的边界发生干涉的条件下进行检验，保证运输车辆进入到生成的停靠框实际对应的装载区中时，不会与周围的物体发生碰撞且能够与采掘车辆在适当的范围内进行物料输送；可停靠位置的停靠框框体尺寸具体需要考虑每个需要操控的运输车辆实际车身尺寸；
上述任一实施例中，所述的对多个所述可停靠位置进行优劣筛选的步骤，具体为：
以所述采掘车辆的物理回转中心O和待采掘土方的轮廓线的最近切点A划定射线；
以所述射线为起始线在待采掘土方的轮廓线法线方向45°的范围内按照旋转步长2°搜索停靠框集合；
通过v2x将该停靠框集合发送至运输车辆进行路径规划，返回可成功规划路径的停靠框集合；
对搜索到的停靠框进行距离筛选，对停靠框中心点的x，y值进行排序，选取距离A点最近的停靠框集合；若均无法规划出路径，则将搜索起始线沿初始搜索方向偏转2°继续搜索；
对上述的停靠框集合进行最终筛选，为保证最终停靠位置最大程度与采掘车辆航向相近，提高装载效率，判断停靠框航向与OA射线的夹角，选取夹角最小的停靠框作为最终输出，并通过v2x发送到运输车辆。
在该实施例中，由于采掘车辆的铲斗回转中心尤其自身的转动中心，以及铲斗也有能够在采掘车辆不动的情况下最大的铲装范围，同时待采掘土方的最外侧轮廓为后续铲装首先被采掘的部分，将其轮廓与采掘中心的连线作为起始线进行反方向搜索，使得停靠框落在待采掘区域之外，避免过于靠近而无法完成铲装作业。同时以射线为起始线反方向划定一个45°的扇形范围搜索区域，能够使得在铲斗进行装载时实际装载到该区域搜索出的停靠框上所停靠的车辆，然后对搜索的停靠框的个数进行判断，若过少或者没有，则需要将射线以2°的步长继续推进，持续沿起始搜索方向进行搜索，直至搜索获的停靠框符合要求；
在该实施例中，当运输车辆为通过无人驾驶算法操控的无人矿卡且通过远程控制中心进行集中控制时，则不需要进行多个点位的选择，只需保留输出一个最优的停靠框即可；
当运输车辆为驾驶舱中驾驶员远程驾驶的遥控矿卡且通过远程操控中心进行集中控制时，则可对驾驶员提供多个优选的停车框，以便根据个人的驾驶习惯和特点进行筛选，且将彩色点云地图和停车框同时显示，免去了坐标输入，只需采用触控显示屏即可完成操作，简单方便，快捷高效。
在本发明的一些实施例中，提供了一种基于感知的无人驾驶运输车辆指点停靠方法，在该基于感知的无人驾驶运输车辆停靠位生成方法中，如图6-7所示，所述对激光雷达与相机进行时空同步可包括：
将两种传感器的数据做数据层融合，对点云的X,Y,Z位置信息附加R,G,B彩色信息，辅助点云的反射强度Intensity，生成PointXYZIRGB格式点云作为检测器的输入，同时输出彩色点云地图，在人机交互界面进行显示。
数据层融合的前提是对激光雷达-GPS-相机进行时空同步，即时间同步与外参标定，求得GPS-激光雷达，相机-激光雷达的旋转矩阵R与平移向量T，在此过程中应当满足如下关系：
其中L为激光雷达坐标系，C为相机坐标系，E为车体坐标系，U为UTM坐标系，G为WGS84坐标系，为相机到激光雷达坐标系的旋转矩阵，/>为相机到激光雷达坐标系的平移向量；/>为激光雷达到车体坐标系的旋转矩阵，/>为激光雷达到车体坐标系的平移向量；/>为车体到UTM坐标系的旋转矩阵，/>为车体到UTM坐标系的平移向量；/>为WGS84坐标系到UTM坐标系的转换矩阵；
采掘车辆在WGS84坐标系下输出经纬高坐标点，定位中心一般在其回转中心，首先需要将其转换到UTM坐标系下，此过程需要用到采掘车辆的定位点经纬高及采掘点所对应UTM投影区域，默认使用UTM Zone 50N，其次需要将目标点从图像坐标系C转换到激光雷达坐标系L，需要用到再将激光雷达坐标系L转换到车体坐标系E，需要用到最后将车体坐标系E下的目标点转换到UTM坐标系U下，至此分别得到UTM坐标系下的回转中心坐标(xc,yc)，及目标点坐标(xo,yo)，在同一坐标系下可计算得出目标点和回转中心的位移；
其中xd表示目标点到回转中心(车体坐标原点)的位移，在使用基于铲臂距离的铲斗指点方法时，代表铲斗的回转半径。该值在现有方法一般通过测量得到，且为固定值，误差较大。本发明根据相机和激光雷达坐标系下目标点的距离，即点云提供的距离值，通过E，U，G坐标系将其转换为WGS84下的经纬度坐标，发送给自动驾驶运输车辆进行停靠，其中的误差仅包含激光雷达的测距误差Es、坐标系转换之间的误差Ec及定位中心与回转中心的标定误差Em；若不将定位中心标定到回转中心可不考虑，即总误差Et由下式表示：
Et＝Ec+Em+Es(6)
而目前基于铲斗到回转中心距离指点的方法的误差不仅包含Ec，Em，还包括铲臂伸缩的误差Ef，即
Et＝Ec+Em+Ef(7)
其中铲臂的伸缩误差Ef还包括铲臂长度的测量误差，与传感器测量误差Et相比属于人为测量误差，精度相差较大。
在该实施例中，通过融合图像和激光雷达点云数据，结合图像的RGB信息与激光点云的XYZI信息，在装载区进行实时建图、边界检测、障碍物检测、可停靠区域提取等，为操作人员或指点系统提供更加精确的环境信息；
激光雷达的优势在于可以提供较为精确的三维距离信息，视觉相机可以提供丰富的颜色信息，更加贴近人眼的视觉习惯。将两种传感器的信息加以融合，通过三维重建的方式，构建出铲窝的实时环境地图，可以实现更加精准的环境感知和车辆定位。如图4，图5分别为某矿区运行及铲窝局部点云地图，根据原始点云提供的三维信息和图像的彩色信息，在此基础上进行离线标注、实时点云分割、实时检测，为采掘司机提供更加丰富和准确的参考信息。
在本发明的一些实施例中，提供了一种基于感知的无人驾驶运输车辆指点停靠方法，在该基于感知的无人驾驶运输车辆停靠位生成方法中，如图8-9所示，上述根据栅格梯度，点云高度，等信息实时分割地面点与非地面点进行分割的过程可包括：
首先进行直通滤波，将分割范围限定在特定区域内；
创建极坐标下的点云栅格地图，并计算每个点(xp,yp)到原点的距离Dp：
对其进行归一化：
其中将角度拆分为Nc份，CP为单位角度,将距离拆掉分为Nb份，BP为单位距离，Ci为角度索引，Bi为距离索引；
从原始点计算格子的x，y方向的索引：
对极坐标下的每个栅格进行遍历，获取其在极坐标系下的距离r和角度θ值，判断点的高度zp值是否在(hmin-r*tan(θ),hmax+r*tan(θ))之间，符合要求的格子更新其高度为zp，超出右阈值的格子更新其高度为传感器安装高度zs，超出左阈值的格子更新其为hmin；其中hmin为预设的栅格最低值，参考值为-2，hmax为预设的栅格最高值，参考值为5；
通过零填充方式应用高斯核进行平滑,获得每个栅格的高斯平滑程度gs；
计算相邻格子之间的高度差，此处的相邻包括左相邻与右相邻；
判断每个格子的平滑程度gs、高度值hz是否在(hmin-r*tan(θ),hmax+r*tan(θ))之间，且高度值hz与高度差值hdiff均满足要求时，将其属性初步更新为地面点所在栅格；
对每个地面点所在格子应用中值滤波和离群点滤波；
判断每个格子的高度值是否在(hg-hl,hg+hh)之间，符合要求的格子所对应的点云更新为地面点，超出右阈值的格子所对应的点则为非地面点，其中hg为地面高度均值，hl为地面高度的容差下限值，hh为地面高度的容差上限值。
在本发明的一些实施例中，提供了一种基于感知的无人驾驶运输车辆指点停靠方法，在该基于感知的无人驾驶运输车辆停靠位生成方法中，如图8-9所示，上述对非地面点云进行聚类可包括：
对于输入的非地面点进行零值填充，再将每个点映射到笛卡尔坐标系中，完成栅格化转换，统计落在当前栅格的点数并赋予特定标识同时创建点簇分布图，为所有非空的点簇分配ID，栅格大小的默认值dg为0.2m；将非地面点云按照比例投影到笛卡尔坐标系下：
其中(xmin,ymin)，(xmax,ymax)为感兴趣区域的预设值，(xid,yid)为栅格索引。
以笛卡尔坐标系为原点，遍历搜索类簇，起始点标记为(xi,yi)，生成点簇分布图，(xstart,ystart)为八邻域搜起始点，每个搜索周期对其进行更新。
ystart＝(i*dg+j)％dg(16)
通过(xstart,ystart)计算滑动核的尺寸km，在每个点周围按照km的尺寸进行遍历，在八邻域范围内搜索到点云则纳入当前点簇，赋予点簇编号；初始点簇分布图只有种子点((i,j)，在种子点周围搜索到符合km尺寸的点云之后，更新点簇分布图，并为吸纳到类簇中的每一个点更新(xstart,ystart)，作为次级种子点重复进行搜索，直至遍历完整个点簇分布图。
根据笛卡尔坐标系下记录的点簇ID号与非地面点云的映射关系，将非地面点云分配到不同的点云簇中。
在该实施例中，采用基于八邻域的网格聚类方法，在保证聚类精度的同时，可以明显缩短聚类的时间，减少离群噪点对聚类效果的影响，为后续栅格占用提供较为准确的输入。
在本发明的一些实施例中，提供了一种基于感知的无人驾驶运输车辆指点停靠方法，在该基于感知的无人驾驶运输车辆停靠位生成方法中，针对于现有技术中存在①将采掘车辆的铲斗直接举升到停靠位的上方，模拟装载时与停靠车辆的相对位置②在人机交互屏幕上加载实时图像，在图像上进行手动虚拟指点，再将该点转换到WGS84坐标系下的问题：
方式①需要操纵采掘车辆，完全依靠人工把控精度；
方式②在交互方式上进行了简化，但受限于二维图像的固定视角，指出的点无法很好地映射到真实世界中；
本发明提出的方法还可包括：
第一步，在作业全过程对装载区环境进行实时建图，每个采装周期更新一次，在点云的基础上叠加图像色彩信息，输出人眼可分辨的彩色点云地图。
第二步，在实时数据与离线地图进行匹配，通过背景差分算法识别每个采装周期过后装载区的场景变化，并根据采掘车辆当前位置输出铲位推进位置和方向。
第三步，同时通过对实时数据进行语义分割，输出地面区域、非地面区域、待采掘区域、已采掘区域、挡土墙、山体等。根据已采掘区域和未采掘区域的分界线作为可停靠区域的边界，输出可停靠区域融合数据。
第四步，在可停靠区域内对障碍物进行检测，输出可停靠区域内的风险目标，根据障碍物属性判断是否影响停靠，进而将可停靠区域进行拆分，输出若干个可停靠位置。
第五步，在可停靠位置中，结合采掘车辆位置，预设推进方向、预设采掘半径等信息，基于投票机制输出推荐停靠位置，该位置包含停靠位的中心点、长宽、航向等信息，在自动驾驶运输车停靠过程中，可结合车端感知到的障碍物以v2x的形式发送给采掘车辆，对停靠位置的参数进行实时微调，保证车辆能够成功停靠入位并完成采装。
在该实施例中，关键改进之处首先在于保证指出的停靠点更能代表真实世界中的位置，即在计算和转换过程中减小二者之间的误差，上述已做说明；其次本发明重点优化指点方式，即在指点的过程中减小误差；
在二者的基础上，将激光点云和图像信息融合为彩色点云，通过算法处理后生成可停靠位的预显示框，操作人员可以在三维视角下拖动彩色点云，并在提供的预选停靠位中选取最合适的停靠位即可，不涉及具体坐标值的指示和输入，停靠位预显示框的所有参数均由算法自动输出，提高了人机交互效率和指点精度。
具体的实施步骤：
S1-1：对驱动解析的原始点云和图像数据进行时间和空间同步，并将原始点云投影到图像，并将点云周围像素的RGB求均值后赋值给该点，生成PointXYZIRGB彩色点云；
S1-2:对驱动解析的GPS/IMU数据进行坐标转换，转换到UTM坐标系下，在此基础上将原始数据进行图像坐标系-激光坐标系-车体坐标系的转换，再结合车体定位中心的UTM坐标位置，计算出每一个彩色点的UTM坐标；
S2-1：采用栅格高度差方法对彩色点云进行分割，输出地面点云和非地面点云集合；
S2-2：对转换到UTM坐标系下的点云进行多帧叠加建图，帧数根据采掘车辆回转一个完整周期内扫到的点云帧数而定；
S3-1：针对非地面点利用八邻域网格搜索算法进行聚类；
S3-2：基于不同周期生成的区域点云地图，进行背景差分计算，
S4-1：同时对彩色点云进行栅格划分，输出以栅格为单位的点云簇，栅格尺寸根据点云总数动态设定；针对划分好的栅格进行动态栅格占用计算，生成栅格占用图；
S4-2:根据前后采掘周期装载区域的场景变化，计算出铲位推进方向；
S5-1：根据点云栅格占用图及预输入的采掘车辆最远回转半径、最小包络框生成同心圆可停靠区域；
S5-2:根据铲位推进方向的非地面类簇、采掘车辆所在位置，计算待采掘区域轮廓及采掘车辆最小回转角度；
S6：根据同心圆可停靠区域图，生成预定义锚框，结合停靠车辆尺寸输出多个预停靠框；
S7:结合预定义规则、铲位推进方向、待采掘区域轮廓、采掘车辆最小回转角度等生成若干推荐停靠位，结合采掘车辆位置及航向，输出最优停靠位置。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
以上的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的实施例做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (10)
1.一种基于感知的无人驾驶运输车辆指点停靠方法，其特征在于，包括如下步骤：
S1，实时采集装载区采掘车辆周围的三维点云数据、二维图像数据、GPS/IMU数据融合生成UTM坐标系下的彩色点云，并根据彩色点云构建点云地图发送至显示端；
S2，对所述彩色点云进行地面点云和非地面点云分割，针对非地面点通过聚类、栅格占用输出栅格占用图，同时通过运输车辆和采掘车辆的几何信息对背景点云进行范围划定，生成供运输车辆行驶的同心圆可停靠区域；
S3，对不同采掘周期构建的彩色点云地图进行比较，通过背景差分操作获得采掘车辆的铲位推进方向，并同时考虑运输车辆的尺寸、采掘车辆装车的最小回转角度，结合预设锚框，在所述同心圆可停靠区中生成该运输车辆在当前装载区的多个可停靠位置；
S4，对多个所述可停靠位置进行基于规则的优劣筛选，输出最优可停靠位置至显示端，并与S1所述彩色点云地图同时显示；
S5，若此时采掘车辆尚未完成清理任务则采用S4中得到的最优可停靠位置，并至此结束；若此时采掘车辆已完成清理任务，则按照铲斗悬停指点的方式生成停靠框，计算铲斗彩色点云簇的中心点，对应停靠框的中心点，在该中心点周围基于S3生成的多个可停靠位置进行搜索，输出最优可停靠位置框。
2.根据权利要求1所述的一种基于感知的无人驾驶运输车辆指点停靠方法，其特征在于，所述非地面点云包括：彩色点云所对应装载区内的障碍物、挡土墙、地面凸起和地面凹坑；所述地面点云为彩色点云中除非地面点云的所有点云；所述几何信息包括：采掘车辆的铲斗最远回转半径、运输车身尺寸，运输车辆的车头航向。
3.根据权利要求1所述的一种基于感知的无人驾驶运输车辆指点停靠方法，其特征在于，所述的生成供运输车辆行驶的同心圆可停靠区域的步骤，具体包括：
对所述彩色点云进行分割，获得地面点云、非地面点云；
对所述非地面点云进行聚类，以降低非地面点云中的噪点，生成独立的点云类簇；
对所述点云类簇进行栅格占用计算，进而根据非占用区域生成拟可停靠区域；
对所述地面凸起和凹陷区域、拟可停靠区域进行合并，同时参考采掘车辆最远回转半径、最小包络框，生成同心圆可停靠区域。
4.根据权利要求3所述的一种基于感知的无人驾驶运输车辆指点停靠方法，其特征在于，对所述彩色点云进行分割的步骤，具体包括：
采用基于栅格高度差的地面分割方法，根据栅格梯度和点云高度实时对地面点与非地面点进行分割；
首先进行直通滤波，将分割范围限定在指定区域内；
创建极坐标下的点云栅格地图：计算每个点到原点的距离，对其进行归一化，对极坐标下的每个栅格进行遍历，更新栅格高度值；
通过零填充方式应用高斯核进行平滑；
计算相邻格子之间的高度差，此处的相邻包括左相邻与右相邻；
判断每个格子的平滑程度、高度值、高度差值，并将满足阈值要求的栅格属性初步更新为地面点所在栅格；
对每个地面点所在格子应用中值滤波和离群点滤波。
5.根据权利要求3所述的一种基于感知的无人驾驶运输车辆指点停靠方法，其特征在于，所述的对所述非地面点云进行聚类的步骤，具体包括：
针对分割后的非地面点，采用了八邻域网格搜索聚类方法，对非地面点进行聚类；
对于输入的非地面点进行零值填充，再将每个点映射到笛卡尔坐标系中，完成栅格化转换，统计落在当前栅格的点数并赋予特定标识创建点簇分布图并为所有非空的点簇分配ID；
将非地面点云按照比例投影到笛卡尔坐标系下；
以笛卡尔坐标系为原点，遍历搜索类簇起始点，将其转换为点簇分布图，同时计算滑动核尺寸；
对每个点周围按照滑动核尺寸进行遍历，在八邻域范围内搜索到点云则纳入当前点簇，赋予点簇编号；类簇重新更新搜索起始点，作为次级种子点重复进行搜索，直至遍历完整个点簇分布图；
根据笛卡尔坐标系下记录的点簇ID号与非地面点云的映射关系，将非地面点云分配到不同的点云簇中。
6.根据权利要求3所述的一种基于感知的无人驾驶运输车辆指点停靠方法，其特征在于，对所述点云类簇进行栅格占用计算的步骤，具体包括：
首先将整个环境分割成边长相同的矩形栅格，栅格的边长根据聚类后点云的横纵向取值范围进行动态选取；
然后，通过逐个栅格扫描，获得环境中每个栅格的信息并赋以一数值来表示这个栅格被占用的概率，每个栅格代表一个矩形的区块，用一个在(0，1)范围内的值来指示这个区块被占用的概率，表明它所对应的物理位置是否有障碍物存在。
7.根据权利要求1所述的一种基于感知的无人驾驶运输车辆指点停靠方法，其特征在于，所述的对不同采掘周期构建的彩色点云地图进行比较，通过背景差分操作获得采掘车辆的铲位推进方向的步骤，具体包括：
对彩色点云进行UTM坐标转换；
以一个采掘车辆的铲斗回转时间为单位，将单位内获得的彩色点云进行多帧叠加，以创建装载区的场景地图；
对多个连续单位的场景地图采用背景差分计算出装载区的场景变化，对变化区域进行提取；
根据多个周期的场景变化区域的连续变化趋势，拟合出纵向推进方向作为采掘车辆的铲位推进方向，初始采掘周期时，参考采掘车辆终端自主计算的采掘线。
8.根据权利要求1所述的一种基于感知的无人驾驶运输车辆指点停靠方法，其特征在于，所述的在所述同心圆可停靠区中生成该运输车辆在当前装载区的多个可停靠位置的步骤，具体包括：
沿同心圆可停靠区域x，y方向，分别按照步长0.2m生成网格线，覆盖同心圆可停靠区域生成0.2x0.2规格的锚框；
以每个网格相交点为圆心，以运输车辆的矩形包络框对角线为直径，以2°的步长生成预停靠框；
生成预停靠框过程中，若与同心圆可停靠区域边界及内部轮廓线发生干涉，则将该框删除；其中，所述预停靠框包括运输车辆停靠的中心点、长宽位置和航向的信息。
9.根据权利要求1所述的一种基于感知的无人驾驶运输车辆指点停靠方法，其特征在于，所述的对多个所述可停靠位置进行基于规则的优劣筛选的步骤，具体包括：
以所述采掘车辆的物理回转中心O和待采掘土方的轮廓线的最近切点A划定射线；
以所述射线为起始线在待采掘土方的轮廓线法线方向45°的范围内按照步长2°搜索停靠框集合；
通过v2x将该停靠框集合发送至运输车辆进行路径规划，返回可成功规划路径的停靠框集合；
对搜索到的停靠框进行距离筛选，对停靠框中心点的x，y值进行排序，判断停靠框航向与OA射线的夹角，选取夹角最小且距离A点最近的停靠框；若均无法规划出路径，则将搜索起始线沿初始搜索方向偏转2°继续搜索。
10.根据权利要求1所述的一种基于感知的无人驾驶运输车辆指点停靠方法，其特征在于，所述按照铲斗悬停指点的方式生成停靠框的步骤包括：
在运输车辆根据选定的可停靠位置进行停靠过程中，采掘车辆自身携带传感器除实时采集该运输车辆周围装载区的障碍信息之外，还采集采掘车辆自身的姿态信息；
根据铲斗及铲臂在彩色点云中的特征信息，按照高度信息选取铲斗点云，并通过提取点云簇中心点的方式，获得铲斗中心坐标；
将铲斗中心坐标从激光雷达坐标系转换为UTM坐标系，铲斗悬停点对应停靠框的中心点，铲臂方向为停靠框航向，并通过v2x发送到运输车辆。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310303263.9A CN116578081A (zh) | 2023-03-27 | 2023-03-27 | 一种基于感知的无人驾驶运输车辆指点停靠方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310303263.9A CN116578081A (zh) | 2023-03-27 | 2023-03-27 | 一种基于感知的无人驾驶运输车辆指点停靠方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116578081A true CN116578081A (zh) | 2023-08-11 |
Family
ID=87532891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310303263.9A Pending CN116578081A (zh) | 2023-03-27 | 2023-03-27 | 一种基于感知的无人驾驶运输车辆指点停靠方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116578081A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117131149A (zh) * | 2023-10-26 | 2023-11-28 | 四川国蓝中天环境科技集团有限公司 | 一种基于运渣车gps轨迹的土石方点位和运输网络识别方法 |
| CN118348901A (zh) * | 2024-06-18 | 2024-07-16 | 浙江省白马湖实验室有限公司 | 一种基于切换型远程无人机共驾的无人推耙机中控系统 |
-
2023
- 2023-03-27 CN CN202310303263.9A patent/CN116578081A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117131149A (zh) * | 2023-10-26 | 2023-11-28 | 四川国蓝中天环境科技集团有限公司 | 一种基于运渣车gps轨迹的土石方点位和运输网络识别方法 |
| CN117131149B (zh) * | 2023-10-26 | 2024-01-23 | 四川国蓝中天环境科技集团有限公司 | 一种基于运渣车gps轨迹的土石方点位和运输网络识别方法 |
| CN118348901A (zh) * | 2024-06-18 | 2024-07-16 | 浙江省白马湖实验室有限公司 | 一种基于切换型远程无人机共驾的无人推耙机中控系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11691648B2 (en) | Drivable surface identification techniques | |
| CN110775052B (zh) | 一种基于视觉与超声波感知融合的自动泊车方法 | |
| EP3635500B1 (en) | Method of navigating a vehicle and system thereof | |
| CN111874006B (zh) | 路线规划处理方法和装置 | |
| CN116578081A (zh) | 一种基于感知的无人驾驶运输车辆指点停靠方法 | |
| US12025983B2 (en) | Indicating a scan target for an unmanned aerial vehicle | |
| CN113748314B (zh) | 交互式三维点云匹配 | |
| CN110136273B (zh) | 一种用于机器学习中的样本数据标注方法及装置 | |
| CN112923904B (zh) | 面向多无人机协同摄影测量的地质灾害隐患探测方法 | |
| JP2022536794A (ja) | 体積推定のための技術 | |
| Beinschob et al. | Semi-automated map creation for fast deployment of AGV fleets in modern logistics | |
| WO2021178234A1 (en) | System and method for autonomous vehicle systems simulation | |
| US20090018712A1 (en) | Method and system for remotely monitoring and controlling a vehicle via a virtual environment | |
| CN114076956A (zh) | 一种基于激光雷达点云辅助的车道线标定方法 | |
| WO2020072673A1 (en) | Mesh validation | |
| KR20200102378A (ko) | 정보 처리 방법, 장치 및 저장 매체 | |
| CN116420096A (zh) | 用于标记lidar点云数据的方法和系统 | |
| CN115223039A (zh) | 一种面向复杂环境的机器人半自主控制方法及系统 | |
| EP4160146A1 (en) | Quadtree based data structure for storing information relating to an environment of an autonomous vehicle and methods of use thereof | |
| US20230056589A1 (en) | Systems and methods for generating multilevel occupancy and occlusion grids for controlling navigation of vehicles | |
| CN115423958A (zh) | 一种基于视觉三维重建的矿区可行驶区域边界更新方法 | |
| CN116069037A (zh) | 无人车编队轨迹规划控制方法、装置、设备及存储介质 | |
| Deusch et al. | Improving localization in digital maps with grid maps | |
| Blaer et al. | Two stage view planning for large-scale site modeling | |
| CN113902864B (zh) | 用于矿场的矢量地图生成方法、系统及计算机系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: Room 303, Zone D, Main Building of Beihang Hefei Science City Innovation Research Institute, No. 999 Weiwu Road, Xinzhan District, Hefei City, Anhui Province, 230012 Applicant after: Tage Zhixing Technology Co.,Ltd. Address before: 100176 901, 9th floor, building 2, yard 10, KEGU 1st Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing Applicant before: BEIJING TAGE IDRIVER TECHNOLOGY CO.,LTD. Country or region before: China |
|
| CB02 | Change of applicant information |