CN115494845A - 基于深度相机的导航方法、装置、无人车及存储介质 - Google Patents
基于深度相机的导航方法、装置、无人车及存储介质 Download PDFInfo
- Publication number
- CN115494845A CN115494845A CN202211181281.6A CN202211181281A CN115494845A CN 115494845 A CN115494845 A CN 115494845A CN 202211181281 A CN202211181281 A CN 202211181281A CN 115494845 A CN115494845 A CN 115494845A
- Authority
- CN
- China
- Prior art keywords
- map
- target
- unmanned vehicle
- depth camera
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013439 planning Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000015654 memory Effects 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 abstract description 9
- 238000001514 detection method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012384 transportation and delivery Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Navigation (AREA)
Abstract
本发明提出一种基于深度相机的导航方法、装置、无人车及存储介质，该方法包括：根据目标订单信息和预设优先级规则，获取目标位置；根据所述目标位置、目标园区对应的预设先验地图和所述目标园区对应的实时地图，获取目标无人车的当前位置，其中，所述预设先验地图基于深度相机输出的彩色图和深度图得到，所述实时地图通过对所述预设先验地图进行处理得到；根据所述当前位置和所述目标位置，进行路径规划，获取最佳路径；根据所述最佳路径，将所述目标无人车移动到所述目标位置。本发明采用深度相机获取深度图，计算机直接获取该深度图即可，不需要进行额外计算，从而降低了对目标无人车的硬件要求，并且提高了导航实时性。
Description
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种基于深度相机的导航方法、装置、无人车及存储介质。
背景技术
随着外卖、网上购物等行业的发展，物流配送行业的包裹数量逐年累加。又随着人力成本的不断上升，依靠快递员、外卖员的传统运送成本不仅高且运送效率低。物流配送中最重要的问题便是联系发件人与收件人的两端，消耗了较多的人力与时间成本。虽然通过设置代收点能够解决部分问题，但未根本解决物流压力大、用户收取货难的根本问题，人们渴望更便捷的收发货物方式。
目前，使用机器人通过自动驾驶技术完成园区内包裹的配送被公认为是解决上述问题的一个有效方案，而SLAM技术是其中的关键技术。目前常用的基于双目相机的点特征视觉SLAM方案，虽然初始化容易，并且可以获取尺寸信息，但是在无人导航应用中，需要构建深度滤波器来获取深度图，以构建稠密的点云地图，但是由于涉及到点云的重建，因此需要消耗大量的硬件资源，并且实时性也不够好。
发明内容
本发明提供一种基于深度相机的导航方法、装置、无人车及存储介质，其主要目的在于降低对目标无人车的硬件要求，有效提高目标无人车的实时性。
第一方面，本发明实施例提供一种基于深度相机的导航方法，包括：
根据目标订单信息和预设优先级规则，获取目标位置；
根据所述目标位置、目标园区对应的预设先验地图和所述目标园区对应的实时地图，获取目标无人车的当前位置，其中，所述预设先验地图基于深度相机输出的彩色图和深度图得到，所述实时地图通过对所述预设先验地图进行处理得到；
根据所述当前位置和所述目标位置，进行路径规划，获取最佳路径；
根据所述最佳路径，将所述目标无人车移动到所述目标位置。
优选地，所述预设先验地图基于深度相机输出的彩色图和深度图得到，通过如下步骤获得：
根据所述深度相机，获取所述彩色图和所述深度图；
根据所述彩色图，进行特征匹配，获取特征点信息；
根据所述特征点信息和所述深度图，通过PnP算法进行位姿计算，并进一步获取所述预设先验地图。
优选地，所述实时地图通过对所述预设先验地图进行处理得到，通过如下步骤获得：
根据所述目标无人车的内存中存储关键帧，若检测存在回环，获取回环关键帧；
根据所述回环关键帧对应的预设时间段，获取所述预设时间段对应的所述目标无人车的硬盘中关键帧；
根据所述回环关键帧和所述预设时间段对应的关键帧，获取最优回环；
对所述最优回环中的关键帧的位姿、地图点进行优化，获取所述实时地图。
优选地，所述目标无人车的内存中存储关键帧和所述目标无人车的硬盘中关键帧，通过如下步骤获得：
根据特征点信息，从所述彩色图中选取多个关键帧，所述特征点根据所述深度相机的彩色图和深度图得到；
根据相邻两个关键帧之间的特征点重合率，获取每一关键帧的回环可能性；
将回环可能性不大于所述预设阈值的关键帧存储在所述目标无人车的硬盘中，将回环可能性大于预设阈值的关键帧存储在所述目标无人车的内存中。
优选地，所述对所述最优回环中的关键帧的位姿、地图点进行优化，获取所述实时地图，包括如下步骤：
对所述对所述最优回环中的关键帧的位姿、地图点的彩色图和所述地图点的深度图进行处理，拼接生成彩色点云图；
通过地面滤波器，对所述彩色点云图进行分割，获取八叉树地图；
将所述八叉树地图沿Z轴进行投影，获取占据栅格地图；
将所述八叉树地图或所述占据栅格地图作为所述实时地图。
优选地，所述根据所述当前位置和所述目标位置，进行路径规划，获取最佳路径，包括如下步骤：
根据所述当前位置和所述目标位置，进行全局路径规划，获取全局路径；
根据所述全局路径，将所述目标无人车进行移动，获取所述目标无人车最后到达的实际位置；
若所述实际位置不是所述目标位置，则根据所述实际位置和所述目标位置，进行局部路径规划，获取局部路径；
根据所述实际位置、所述目标位置和所述局部路径，移动所述目标无人车，重复上述步骤，直到所述目标无人车的实际位置是所述目标位置。
优选地，所述导航方法还包括：
根据所述彩色图，利用YOLO v5算法进行目标的检测，获取路障信息；
根据所述路障信息和所述深度图，确定所述路障信息的尺寸与位置；
将所述路障信息的尺寸与位置增加到所述预设先验地图中。
第二方面，本发明实施例提供一种基于深度相机的导航装置，包括：
位置模块，用于根据目标订单信息和预设优先级规则，获取目标位置；
定位模块，用于根据所述目标位置、目标园区对应的预设先验地图和所述目标园区对应的实时地图，获取目标无人车的当前位置，其中，所述预设先验地图基于深度相机输出的彩色图和深度图得到，所述实时地图通过对所述预设先验地图进行处理得到；
路径模块，用于根据所述当前位置和所述目标位置，进行路径规划，获取最佳路径；
移动模块，用于根据所述最佳路径，将所述目标无人车移动到所述目标位置。
第三方面，本发明实施例提供一种无人车，包括第二方面提供的一种基于深度相机的导航装置。
第四方面，本发明实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于深度相机的导航方法的步骤。
本发明提出的一种基于深度相机的导航方法、装置、无人车及存储介质，采用深度相机获取深度图，计算机直接获取该深度图即可，不需要进行额外计算，从而降低了对目标无人车的硬件要求，并且提高了导航实时性。
附图说明
图1为本发明实施例提供的一种基于深度相机的导航方法的流程图；
图2为本发明实施例中获取预设先验地图的流程图；
图3为本发明一实施例中通过目标无人车获取预设先验地图的流程图；
图4为本发明实施例中获取实时地图的流程图；
图5为本发明一实施例中通过目标无人车生成实时地图的流程图；
图6为本发明实施例中获取目标无人车的内存和硬盘中存储关键帧的流程图；
图7为本发明实施例中对最优回环中的关键帧的位姿和地图点进行优化获取实时地图的流程图；
图8为本发明实施例中获取最佳路径的流程图；
图9为本发明实施例提供的一种基于深度相机的导航装置的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种基于深度相机的视觉SLAM方案，完成无人机的定位与周遭环境的建图，构建八叉树地图或者占据栅格地图，实现地图的构建；并且设计了一种大尺度下的地图管理方法，完成大尺度下地图的构建与回环检测；设计了一种基于视觉的导航方法，使用预设先验地图和目标检测技术，结合全局路径规划和局部路径规划，实现无人车在目标园区或者室内的导航。
图1为本发明实施例提供的一种基于深度相机的导航方法的流程图，如图1所示，该方法包括：
S110，根据目标订单信息和预设优先级规则，获取目标位置；
首先向目标无人车输入目标订单信息，目标订单信息可以是一个，也可以是多个，具体输入方法可以是通过键盘等方式向目标无人车输入目标订单信息，也可以是上位机通过局域网向目标无人车发送目标订单信息，具体可以根据实际情况确定，本发明实施例对此不做具体限定；另外，目标信息中包括送货方式或取货方式，以及目标位置信息，具体可以根据实际情况进行确定，本发明实施例对此不做具体限定。本发明实施例中的预设优先级规则是指当目标订单信息中存在多个订单时，可以根据每个订单中的目标位置，设置合适的取货顺序，按照目标地址所在方向将订单信息划分为不同类别，同一个方向上的订单可以一起处理，从而可以提高目标无人车的送货和取货的效率。本发明实施例中的目标位置是指目标订单信息中记载的位置信息，在将目标无人车导航到目标位置时，先导航到最先处理的目标订单信息中的目标位置，再挨个依次按照同样的方法进行处理。
S120，根据所述目标位置、目标园区对应的预设先验地图和所述目标园区对应的实时地图，获取目标无人车的当前位置，其中，所述预设先验地图基于深度相机输出的彩色图和深度图得到，所述实时地图通过对所述预设先验地图进行处理得到；
然后根据目标位置、目标园区对应的预设先验地图和目标园区对应的实时地图，得到目标无人车的当前位置。本发明实施例中，目标园区是指该目标无人车负责的快递收发区域，可以是在某个园区内部，也可以是在室内，还可以是在某一片具体的区域；目标园区对应的预设先验地图是指预先扫描的整个目标园区的地图，也可以是事先根据目标园区的工程地图设计出来，具体可以根据实际情况进行确定，本发明实施例对此不做具体限定。目标园区对应的实时地图是指目标无人车在实际送货或者取货的过程中，根据实际路况来确定实际地图，比如有些障碍物是临时放置在路面上的，预设先验地图中就没有该障碍物的位置信息，因此有些时候只根据预设先验地图是没办法导航到目标位置的；这种情况下就是需要重新绘制实际地图，记录下路面中障碍物所在位置，并且根据实际地图进行局部路径规划。
需要说明的是，本发明实施例中预设先验地图是基于深度相机输出的彩色图和深度图得到的。现有技术中基于双目相机得到深度图的方法，普通相机是无法获得像素点深度信息的，因此计算机需要根据普通双目相机拍摄的的彩色图，通过大量计算得到深度图，由于每个像素点都需要计算深度信息，并且深度信息的计算过程十分复杂，因此，基于双目相机的点特征视觉SLAM方案对硬件的要求较高，并且实时性较低。而本发明实施例中采用深度相机获取深度图，计算机直接获取该深度图即可，不需要进行额外计算，从而降低了对目标无人车的硬件要求，并且提高了导航实时性。
S130，根据所述当前位置和所述目标位置，进行路径规划，获取最佳路径；
然后根据当前位置和目标位置，进行路径规划，路径规划根据对环境信息的把握程度，即预设先验地图，可把路径规划划分为基于先验完全信息的全局路径规划和基于传感器信息的局部路径规划。其中，从获取障碍物信息是静态或是动态的角度看，全局路径规划属于静态规划(又称离线规划)，局部路径规划属于动态规划(又称在线规划)。全局路径规划需要掌握所有的环境信息，根据环境地图的所有信息进行路径规划；局部路径规划只需要由传感器实时采集环境信息，了解环境地图信息，然后确定出所在地图的位置及其局部的障碍物分布情况，从而可以选出从当前结点到某一子目标结点的最优路径。
S140，根据所述最佳路径，将所述目标无人车移动到所述目标位置。
然后根据选取出来的最佳路径，控制目标无人车每个轮子旋转的角度以及速度，从而可以将目标无人车移动到目标位置。一般情况下，无人车包含底盘、车体、工控机、驱动板、显示屏、天线、深度摄像头与超声波传感器，底盘包含四个由电机控制的转向轮。
本发明实施例提供一种基于深度相机的导航方法，采用深度相机获取深度图，计算机直接获取该深度图即可，不需要进行额外计算，从而降低了对目标无人车的硬件要求，并且提高了导航实时性。
在上述实施例的基础上，优选地，图2为本发明实施例中获取预设先验地图的流程图，如图2所示，所述预设先验地图基于深度相机输出的彩色图和深度图得到，具体步骤如下：
S210，根据所述深度相机，获取所述彩色图和所述深度图；
S220，根据所述彩色图，进行特征匹配，获取特征点信息；
S230，根据所述特征点信息和所述深度图，通过PnP算法进行位姿计算，并进一步获取所述预设先验地图。
本发明实施例中首先根据深度相机拍摄得到的彩色图和深度图，彩色图即像素表示颜色的图，除了普通得彩色图之外，该深度相机还能拍摄出深度图，深度图就是像素表示物距的图，通过对彩色图和深度图进行特征匹配，具体的特征匹配方法是先进行特征提取、特征描述，找出特征显著的特征点，然后分别描述两个显著的特征点，根据描述的相似度看两个显著的特征点是否是一个特征点，从而获取特征点信息。最后基于找到的特征点信息和深度图，通过PnP(Perspective-n-Point)算法进行位姿计算，通过已知的n个点的三维空间位姿，计算得到预设先验地图。
图3为本发明一实施例中通过目标无人车获取预设先验地图的流程图，如图3所示，首先获取目标无人车的模型信息，该目标无人车上设置两个深度相机，分别为前深度相机和后深度相机，接着获取前深度相机信息，获取后深度相机信息，获取双目摄像头信息，获取超声波传感器信息。然后构建深度摄像头、超声波传感器、底盘位置变化关系，构建tf树，统一各坐标系。
分别对深度相机前两帧彩色图提取特征点，进行特征点匹配，使用深度图获取特征点的深度信息转换为相机坐标系下的3d点，使用RANSC算法剔除误匹配特征点对，使用PnP算法计算当前帧位姿，得到预设先验地图。本发明实施例中提取的特征点为ORB点特征点，ORB全称Oriented FAST and RotatedBRIEF，是一种快速特征点提取和描述的算法。由FAST(Features from Accelerated SegmentTest)算法改进，使用图像金字塔保证了特征点的多尺度不变性。ORB在FAST的基础上计算灰度质心，为特征点添加了方向信息，实现特征点的旋转不变性，在BRIEF特征描述的基础上加入旋转因子，使用rBRIEF(Rotation-AwareBrief)进行ORB点特征的描述。上述BRIEF特征描符，是在一个特征点的邻域内，选择256对像素点pi、qi(i＝1,2,…,256)。然后比较每个点对的灰度值的大小，如果I(pi)>I(qi)，则生成二进制串中的1，否则为0，所有的点对都进行比较，生成长度为256的二进制串。
需要说明的是，本发明实施例中还设置特征点地图来完成地图点的存储，地图点是三维点，来自真实世界的三维物体，有唯一的id，来自提取的ORB特征点。
还需要进行说明的是，本发明实施例中开始进行初始化时，将第一帧彩色图、第二帧彩色图设为关键帧，将第一帧位置设为无人物流车起点，坐标(0，0，0)。关键帧是视觉里程计中的重要概念，除初始化中选取的两帧关键帧，其余关键帧的选取标准为：选取图像清晰、特征点充足、特征点分布均匀的帧作为关键帧，关键帧与其他关键帧之间的关系有一定的共视关系但又不能重复度太高，以达到既存在约束，又尽量少的信息冗余的效果，冗余的关键帧将被删除。
在上述实施例的基础上，优选地，图4为本发明实施例中获取实时地图的流程图，如图4所示，所述实时地图通过对所述预设先验地图进行处理得到，通过如下步骤获得：
S410，根据所述目标无人车的内存中存储关键帧，若检测存在回环，获取回环关键帧；
S420，根据所述回环关键帧对应的预设时间段，获取所述预设时间段对应的所述目标无人车的硬盘中关键帧；
S430，根据所述回环关键帧和所述预设时间段对应的关键帧，获取最优回环；
S440，对所述最优回环中的关键帧的位姿、地图点进行优化，获取所述实时地图。
首先根据目标无人车的内存中存储的关键帧，对这些关键帧进行回环检测，进行回环检测的原因如下：前面先提供特征点和地图的初值，而后面负责对所有这些数据进行优化。然而，如果只考虑相邻时间上的关键帧，那么，之前产生的误差将不可避免地累积到下一个时刻，使得实时地图出现累积误差，长期估计的结果将不可靠。但是，由于相机经过了同一个地方，采集到了相似的数据，而回环检测的关键，就是如何有效的检测出相机经过同一个地方这件事，如果能够成功地检测到这件事，就可以为后端的位姿图提供更多的有效数据，使之得到更好的估计，特别是得到一个全局一致的估计，因此通过回环检测模块能够给出除了相邻帧的一些时刻更加久远的约束，所以回环检测相当于在图像中加入了额外的弹簧，提高了系统稳定性。
通过回环检测，得到回环关键帧，然后根据回环关键帧所对应的时间，找到目标无人车硬盘中存储的关键帧，结合这两者，得到最优回环，对最优回环中关键帧的位姿和地图点进行优化，得到实时地图。实时地图是指目标无人车工作时的当前实时地图，可以看到目标无人车工作路径上的一些临时障碍物。
需要说明的是，除初始两帧关键帧生成的地图点外，被3个相连关键帧的ORB点，也会生成地图点，不满足被连续3个关键帧观察条件的地图点会被剔除。生成的地图点可参与到位姿估计中，使得位姿估计不局限于参考关键帧与前一帧，可基于局部地图进行位姿估计，还可以参与到局部位姿优化与回环位姿优化中。上述局部位姿优化，优化刚处理生成的关键帧与其具有共视关系的关键帧，以及这些关键帧观测到的所有地图点。保持地图点位置不变，优化具有共视关系的关键帧间的位姿，使用高斯牛顿迭代使重投影误差最小，得到最佳位姿关系。
图5为本发明一实施例中通过目标无人车生成实时地图的流程图，如图5所示，如果在内存中存储的关键帧检测到了回环，可以对最优回环中的关键帧的位姿、地图点进行优化，可以消除累积误差。传统的基于单目相机的地图构建方法，由于无法直接获取尺寸信息，在大尺度的同步定位和建图工作中，随着误差的不断累积，存在严重的尺度漂移问题。本方法具有回环检测功能，能够对累计误差进行优化减小，从而提高地图构建的精度，进一步提高导航准确性。
在上述实施例的基础上，优选地，图6为本发明实施例中获取目标无人车的内存和硬盘中存储关键帧的流程图，如图6所示，所述目标无人车的内存中存储关键帧和所述目标无人车的硬盘中关键帧，通过如下步骤获得：
S610，根据所述特征点信息，从所述彩色图中选取多个关键帧；
S620，根据相邻两个关键帧之间的特征点重合率，获取每一关键帧的回环可能性；
S630，将回环可能性不大于所述预设阈值的关键帧存储在所述目标无人车的硬盘中，将回环可能性大于预设阈值的关键帧存储在所述目标无人车的内存中。
根据上述步骤中获取的关键帧，得到关键帧信息，根据关键帧信息判断回环可能性，将回环可能性低的帧保存到长期记忆模块，即硬盘中；将回环性较高的帧保存到短期记忆模块，即内存中。此处，回环性的高低是根据回环可能性与预设阈值的大小进行比较来确定的，当回环可能性大于该预设阈值，则认为该关键帧的回环可能性高，否则，认为该关键帧的回环可能性低。预设阈值的大小可以根据实际情况进行确定，本发明实施例对此不做具体限定。当检测到短期记忆模块中存在回环，提取短期记忆模块中回环关键帧前后时间的长期记忆模块中关键帧，选取最优回环，进行回环优化，将所有回环中的关键帧位姿、地图点最为变量进行优化，以消除累计误差。
本发明实施例中使用长短储存策略进行地图管理工作，根据相邻关键帧之间特征点的相似度确定回环可能性大小，根据回环可能性判断关键帧的存储位置，将回环可能性高的关键帧存储在内存中，将回环可能性低的关键帧存储在硬盘中，避免地图全部保存在内存中，以应对大尺度场景，且提供导航地图生成与管理，实现地图复用。并且在无先验地图的园区环境下，有效完成大尺度环境下基于深度相机的定位与建图工作，构建视觉里程计，生成彩色点云地图，使用地图管理系统储存。
在上述实施例的基础上，优选地，图7为本发明实施例中对最优回环中的关键帧的位姿和地图点进行优化获取实时地图的流程图，如图7所示，所述对所述最优回环中的关键帧的位姿、地图点进行优化，获取所述实时地图，包括如下步骤：
S710，对所述对所述最优回环中的关键帧的位姿、地图点的彩色图和所述地图点的深度图进行处理，拼接生成彩色点云图；
S720，通过地面滤波器，对所述彩色点云图进行分割，获取八叉树地图；
S730，将所述八叉树地图沿Z轴进行投影，获取占据栅格地图；
S740，将所述八叉树地图或所述占据栅格地图作为所述实时地图。
本发明实施例还对所得关键帧位姿、彩色图、深度图进行处理，拼接生成彩色点云图，进行体素滤波，减少冗余点云，通过地面滤波器，对地面点云进行分割，生成八叉树地图，用于3维地图导航；八叉树地图沿Z轴方向进行投影，生成占据栅格图，用于2维地图导航。
本发明实施例基于八叉树或占据栅格图进行路径规划，包含可选全局路径规划与局部路径规划，可按固定路线进行巡航，使用实时地图与先验地图相结合完成无人物流车的避障导航。
在上述实施例的基础上，优选地，图8为本发明实施例中获取最佳路径的流程图，如图8所示，所述根据所述当前位置和所述目标位置，进行路径规划，获取最佳路径，包括如下步骤：
S810，根据所述当前位置和所述目标位置，进行全局路径规划，获取全局路径；
S820，根据所述全局路径，将所述目标无人车进行移动，获取所述目标无人车最后到达的实际位置；
S830，若所述实际位置不是所述目标位置，则根据所述实际位置和所述目标位置，进行局部路径规划，获取局部路径；
S840，根据所述实际位置、所述目标位置和所述局部路径，移动所述目标无人车，重复上述步骤，直到所述目标无人车的实际位置是所述目标位置。
具体地，对该目标无人车进行路径规划时，先进行全局路径规划，获取全局路径，然后按照该全局路径移动目标无人车，如果最后目标无人车所在的实际位置不是目标位置，说明该全局路径上存在障碍，预设先验地图无法得知该障碍的具体信息，这是就需要结合实时地图进行局部路径规划，不断调整目标无人车经过路径规划后最终到达的实际位置，直到最终到达目标位置。
在上述实施例的基础上，优选地，所述导航方法还包括：
根据所述彩色图，利用YOLO v5算法进行目标的检测，获取路障信息；
根据所述路障信息和所述深度图，确定所述路障信息的尺寸与位置；
将所述路障信息的尺寸与位置增加到所述预设先验地图中。
本发明实施例中利用深度相机拍摄的彩色图，使用YOLO v5算法进行目标检测，获取路障信息，本发明实施例中路障包括车辆、行人、路牌、信号灯、车道线、信号灯等，结合深度相机的深度图，确定其在预设先验地图中的尺寸与位置。完成相应点云信息的分割，标记语义信息，加入到实时地图中，用于局部路径规划。若无预定全局路径信息，可基于当前深度传感器信息，完成无人物流车在全局地图中的重定位，使得实时地图能够更新到全局地图中，新地图用于全局路径规划。
基于上述全局路径规划与局部路径规划，无人车可实现到目标点的自主避障与导航，局部地图中的车辆、行人、路牌、信号灯、车道线、信号灯等语义信息可用于无人物流车向目标点运动过程中的速度控制与运动决策，实现车道线保持、维持限速、等待信号灯等操作。
传统的激光SLAM方案来构建同步建图与导航方案中，由于激光点云不包含现实世界的纹理信息，基于点云的3D检测较为困难，无法快速有效的识别车辆、行人、车道线、路标、红绿灯等导航信息。本发明实施例中利用深度相机彩色图对车道线、路牌、车辆、行人的识别，实时获取其位置信息及交通信息，用于避障导航。
图9为本发明实施例提供的一种基于深度相机的导航装置的模块示意图，如图9所示，该装置包括位置模块910、定位模块920、路径模块930和移动模块940，其中：
位置模块910用于根据目标订单信息和预设优先级规则，获取目标位置；
定位模块920用于根据所述目标位置、目标园区对应的预设先验地图和所述目标园区对应的实时地图，获取目标无人车的当前位置，其中，所述预设先验地图基于深度相机输出的彩色图和深度图得到，所述实时地图通过对所述预设先验地图进行处理得到；
路径模块930用于根据所述当前位置和所述目标位置，进行路径规划，获取最佳路径；
移动模块940用于根据所述最佳路径，将所述目标无人车移动到所述目标位置。
本实施例为与上述方法相对应的装置实施例，其具体实施过程与上述方法实施例相同，详情请参考上述方法实施例，本装置实施例对此不再赘述。
在上述实施例的基础上，优选地，所述定位模块包括相机单元、特征单元和先验地图单元，其中：
所述相机单元用于根据所述深度相机，获取所述彩色图和所述深度图；
所述特征单元用于根据所述彩色图，进行特征匹配，获取特征点信息；
所述先验地图单元用于根据所述特征点信息和所述深度图，通过PnP算法进行位姿计算，并进一步获取所述预设先验地图。
在上述实施例的基础上，优选地，所述定位模块还包括关键帧单元、回环单元、内存单元和硬盘单元，其中：
所述关键帧单元用于根据所述特征点信息，从所述彩色图中选取多个关键帧；
所述回环单元用于根据相邻两个关键帧之间的特征点重合率，获取每一关键帧的回环可能性；
所述内存单元用于将回环可能性大于预设阈值的关键帧存储在所述目标无人车的内存中；
所述硬盘单元用于将回环可能性不大于所述预设阈值的关键帧存储在所述目标无人车的硬盘中。
在上述实施例的基础上，优选地，所述定位模块还包括检测单元、选择单元、提取单元和实时地图单元，其中：
所述检测单元用于根据所述内存中存储的关键帧，若检测存在回环，获取回环关键帧；
所述选择单元用于根据所述回环关键帧对应的预设时间段，获取所述硬盘中所述预设时间段对应的关键帧；
所述提取单元用于根据所述回环关键帧和所述预设时间段对应的关键帧，获取最优回环；
所述实时地图单元用于对所述最优回环中的关键帧的位姿、地图点进行优化，获取所述实时地图。
在上述实施例的基础上，优选地，所述实时地图单元包括彩色子单元、八叉树子单元、栅格子单元和输出单元，其中：
所述彩色子单元用于对所述对所述最优回环中的关键帧的位姿、地图点的彩色图和所述地图点的深度图进行处理，拼接生成彩色点云图；
所述八叉树子单元用于通过地面滤波器，对所述彩色点云图进行分割，获取八叉树地图；
所述栅格子单元用于将所述八叉树地图沿Z轴进行投影，获取占据栅格地图；
所述输出单元用于将所述八叉树地图或所述占据栅格地图作为所述实时地图。
在上述实施例的基础上，优选地，所述路径模块包括全局单元、调整单元、移动单元和循环单元，其中：
所述全局单元用于根据所述当前位置和所述目标位置，进行全局路径规划，获取全局路径；
所述调整单元用于根据所述全局路径，将所述目标无人车进行移动，获取所述目标无人车最后到达的实际位置；
所述移动单元用于若所述实际位置不是所述目标位置，则根据所述实际位置和所述目标位置，进行局部路径规划，获取局部路径；
所述循环单元用于根据所述实际位置、所述目标位置和所述局部路径，移动所述目标无人车，重复上述步骤，直到所述目标无人车的实际位置是所述目标位置。
在上述实施例的基础上，优选地，还包括路障单元、信息单元和增设单元，其中：
所述路障单元用于根据所述彩色图，利用YOLO v5算法进行目标的检测，获取路障信息；
所述信息单元用于根据所述路障信息和所述深度图，确定所述路障信息的尺寸与位置；
所述增设单元用于将所述路障信息的尺寸与位置增加到所述预设先验地图中。
上述基于深度相机的导航装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本发明实施例提供一种无人车，该无人车上包括上述实施例中提供的一种基于深度相机的导航装置，该无人车初始化方便，能够直接获取彩色图与深度图，可以构建稠密点云地图，能够实现无人物流车在未知环境下的精准定位与建图，可以实现自主导航；基于长短储存策略，实现了大尺度下的地图保存、回环检测与优化，并提供点云地图处理方法，为实时建图与地图复用提供便利；结合目标检测技术，可识别车辆、行人、车道线、路标、红绿灯等导航信息，并使用可选预设全局路径的路径规划方案，与局部路径优化相结合，实现无人物流车的速度控制、避障、导航等功能。
在一实施例中，提供一计算机存储介质，该计算机存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中基于深度相机的导航方法的步骤。或者，该计算机程序被处理器执行时实现上述基于深度相机的导航装置这一实施例中的各模块/单元的功能。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度相机的导航方法，其特征在于，包括：
根据目标订单信息和预设优先级规则，获取目标位置；
根据所述目标位置、目标园区对应的预设先验地图和所述目标园区对应的实时地图，获取目标无人车的当前位置，其中，所述预设先验地图基于深度相机输出的彩色图和深度图得到，所述实时地图通过对所述预设先验地图进行处理得到；
根据所述当前位置和所述目标位置，进行路径规划，获取最佳路径；
根据所述最佳路径，将所述目标无人车移动到所述目标位置。
2.根据权利要求1所述的基于深度相机的导航方法，其特征在于，所述预设先验地图基于深度相机输出的彩色图和深度图得到，通过如下步骤获得：
根据所述深度相机，获取所述彩色图和所述深度图；
根据所述彩色图，进行特征匹配，获取特征点信息；
根据所述特征点信息和所述深度图，通过PnP算法进行位姿计算，并进一步获取所述预设先验地图。
3.根据权利要求1所述的基于深度相机的导航方法，其特征在于，所述实时地图通过对所述预设先验地图进行处理得到，通过如下步骤获得：
根据所述目标无人车的内存中存储关键帧，若检测存在回环，获取回环关键帧；
根据所述回环关键帧对应的预设时间段，获取所述预设时间段对应的所述目标无人车的硬盘中关键帧；
根据所述回环关键帧和所述预设时间段对应的关键帧，获取最优回环；
对所述最优回环中的关键帧的位姿、地图点进行优化，获取所述实时地图。
4.根据权利要求3所述的基于深度相机的导航方法，其特征在于，所述目标无人车的内存中存储关键帧和所述目标无人车的硬盘中关键帧，通过如下步骤获得：
根据特征点信息，从所述彩色图中选取多个关键帧，所述特征点根据所述深度相机的彩色图和深度图得到；
根据相邻两个关键帧之间的特征点重合率，获取每一关键帧的回环可能性；
将回环可能性不大于所述预设阈值的关键帧存储在所述目标无人车的硬盘中，将回环可能性大于预设阈值的关键帧存储在所述目标无人车的内存中。
5.根据权利要求3所述的基于深度相机的导航方法，其特征在于，所述对所述最优回环中的关键帧的位姿、地图点进行优化，获取所述实时地图，包括如下步骤：
对所述对所述最优回环中的关键帧的位姿、地图点的彩色图和所述地图点的深度图进行处理，拼接生成彩色点云图；
通过地面滤波器，对所述彩色点云图进行分割，获取八叉树地图；
将所述八叉树地图沿Z轴进行投影，获取占据栅格地图；
将所述八叉树地图或所述占据栅格地图作为所述实时地图。
6.根据权利要求1所述的基于深度相机的导航方法，其特征在于，所述根据所述当前位置和所述目标位置，进行路径规划，获取最佳路径，包括如下步骤：
根据所述当前位置和所述目标位置，进行全局路径规划，获取全局路径；
根据所述全局路径，将所述目标无人车进行移动，获取所述目标无人车最后到达的实际位置；
若所述实际位置不是所述目标位置，则根据所述实际位置和所述目标位置，进行局部路径规划，获取局部路径；
根据所述实际位置、所述目标位置和所述局部路径，移动所述目标无人车，重复上述步骤，直到所述目标无人车的实际位置是所述目标位置。
7.根据权利要求1至6任一所述的基于深度相机的导航方法，其特征在于，所述导航方法还包括：
根据所述彩色图，利用YOLO v5算法进行目标的检测，获取路障信息；
根据所述路障信息和所述深度图，确定所述路障信息的尺寸与位置；
将所述路障信息的尺寸与位置增加到所述预设先验地图中。
8.一种基于深度相机的导航装置，其特征在于，包括：
位置模块，用于根据目标订单信息和预设优先级规则，获取目标位置；
定位模块，用于根据所述目标位置、目标园区对应的预设先验地图和所述目标园区对应的实时地图，获取目标无人车的当前位置，其中，所述预设先验地图基于深度相机输出的彩色图和深度图得到，所述实时地图通过对所述预设先验地图进行处理得到；
路径模块，用于根据所述当前位置和所述目标位置，进行路径规划，获取最佳路径；
移动模块，用于根据所述最佳路径，将所述目标无人车移动到所述目标位置。
9.一种无人车，其特征在于，包括如权利要求8所述的基于深度相机的导航装置。
10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述基于深度相机的导航方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211181281.6A CN115494845A (zh) | 2022-09-27 | 2022-09-27 | 基于深度相机的导航方法、装置、无人车及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211181281.6A CN115494845A (zh) | 2022-09-27 | 2022-09-27 | 基于深度相机的导航方法、装置、无人车及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115494845A true CN115494845A (zh) | 2022-12-20 |
Family
ID=84472274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211181281.6A Pending CN115494845A (zh) | 2022-09-27 | 2022-09-27 | 基于深度相机的导航方法、装置、无人车及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115494845A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116539026A (zh) * | 2023-07-06 | 2023-08-04 | 杭州华橙软件技术有限公司 | 地图构建方法、装置、设备及存储介质 |
-
2022
- 2022-09-27 CN CN202211181281.6A patent/CN115494845A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116539026A (zh) * | 2023-07-06 | 2023-08-04 | 杭州华橙软件技术有限公司 | 地图构建方法、装置、设备及存储介质 |
| CN116539026B (zh) * | 2023-07-06 | 2023-09-29 | 杭州华橙软件技术有限公司 | 地图构建方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111862672B (zh) | 基于顶视图的停车场车辆自定位及地图构建方法 | |
| CN110032949B (zh) | 一种基于轻量化卷积神经网络的目标检测与定位方法 | |
| CN108717710B (zh) | 室内环境下的定位方法、装置及系统 | |
| Geiger et al. | Stereoscan: Dense 3d reconstruction in real-time | |
| US20170316569A1 (en) | Robust Anytime Tracking Combining 3D Shape, Color, and Motion with Annealed Dynamic Histograms | |
| CN108763287A (zh) | 大规模可通行区域驾驶地图的构建方法及其无人驾驶应用方法 | |
| CN114842438A (zh) | 用于自动驾驶汽车的地形检测方法、系统及可读存储介质 | |
| CN111612728B (zh) | 一种基于双目rgb图像的3d点云稠密化方法和装置 | |
| CN110132242B (zh) | 多摄像机即时定位与地图构建的三角化方法及其运动体 | |
| CN112070770A (zh) | 一种高精度三维地图与二维栅格地图同步构建方法 | |
| CN111340922A (zh) | 定位与地图构建的方法和电子设备 | |
| US20220398856A1 (en) | Method for reconstruction of a feature in an environmental scene of a road | |
| KR20180059188A (ko) | 딥 러닝을 이용한 동적 장애물이 없는 배경 위주의 3차원 지도 생성 방법 | |
| CN116295412A (zh) | 一种基于深度相机的室内移动机器人稠密建图与自主导航一体化方法 | |
| JP2020153956A (ja) | 移動体位置推定システムおよび移動体位置推定方法 | |
| Lee et al. | Temporally consistent road surface profile estimation using stereo vision | |
| CN112257668A (zh) | 主辅路判断方法、装置、电子设备及存储介质 | |
| EP3765996A1 (en) | Urban environment labelling | |
| CN115494845A (zh) | 基于深度相机的导航方法、装置、无人车及存储介质 | |
| CN112150538B (zh) | 一种在三维地图构建过程中车辆位姿的确定方法和装置 | |
| Zhou et al. | Lane information extraction for high definition maps using crowdsourced data | |
| CN116105721B (zh) | 地图构建的回环优化方法、装置、设备及存储介质 | |
| CN114969221A (zh) | 一种更新地图的方法及相关设备 | |
| CN114830185A (zh) | 借助于神经网络的位置确定 | |
| CN111754388A (zh) | 一种建图方法及车载终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |