CN116107321A - 基于视觉与激光雷达融合的无人车路径规划系统及方法 - Google Patents
基于视觉与激光雷达融合的无人车路径规划系统及方法 Download PDFInfo
- Publication number
- CN116107321A CN116107321A CN202310392909.5A CN202310392909A CN116107321A CN 116107321 A CN116107321 A CN 116107321A CN 202310392909 A CN202310392909 A CN 202310392909A CN 116107321 A CN116107321 A CN 116107321A
- Authority
- CN
- China
- Prior art keywords
- unmanned vehicle
- instruction
- module
- obstacle
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013439 planning Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 title claims abstract description 20
- 230000003993 interaction Effects 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000000007 visual effect Effects 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims abstract description 3
- 230000033001 locomotion Effects 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 abstract description 5
- 238000004088 simulation Methods 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000005299 abrasion Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/60—Other road transportation technologies with climate change mitigation effect
- Y02T10/70—Energy storage systems for electromobility, e.g. batteries
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明适用于机器人开发领域，提供了基于视觉与激光雷达融合的无人车路径规划系统及方法，所述系统包括：人机交互模块、指令传递模块、建图与定位模块、路径移动模块、避障模块和回充模块；本发明通过加装视觉传感器和雷达传感器，并基于SLAM‑SST搭建软件平台，使无人车能够自动生成当前工作环境的空间模型，在每一次接收到用户指令时，可预先在空间模型中进行路线模拟，以确保能够最快速的进行工作，且避障模块能够防止无人车在工作的过程中发生碰撞，且在障碍物挡住无人车的前进路线后，会自动进行新的路线规划，无需用户重新设置，使用更加便捷。
Description
技术领域
本发明属于机器人开发领域，尤其涉及基于视觉与激光雷达融合的无人车路径规划系统及方法。
背景技术
路径规划是运动规划的主要研究内容之一。运动规划由路径规划和轨迹规划组成，连接起点位置和终点位置的序列点或曲线称之为路径，构成路径的策略称之为路径规划。
路径规划在很多领域都具有广泛的应用。在高新科技领域的应用有：机器人的自主无碰行动；无人机的避障突防飞行；巡航导弹躲避雷达搜索、防反弹袭击、完成突防爆破任务等。在日常生活领域的应用有：GPS导航；基于GIS系统的道路规划;城市道路网规划导航等。在决策管理领域的应用有：物流管理中的车辆问题及类似的资源管理资源配置问题。通信技术领域的路由问题等。凡是可拓扑为点线网络的规划问题基本上都可以采用路径规划的方法解决。
目前的无人车在进行路径规划时，需要用户自行导入工作环境的空间模型，且该空间模型无法自动更新，当环境中出现物品位置变化时，无法及时识别并更新模型，且在路线受阻时，难以自动对已规划的路线进行自动调整，导致无人车始终卡死在障碍位置。
发明内容
本发明实施例的目的在于提供基于视觉与激光雷达融合的无人车路径规划系统，旨在解决背景技术中确定的现有技术存在的技术问题。
本发明实施例是这样实现的，基于视觉与激光雷达融合的无人车路径规划系统，所述系统包括：
人机交互模块，用于建立用户与无人车之间的资源交互模组，并依据通讯协议使无人车与用户移动端维持连接；
指令传递模块，用于接收用户发出的指令，根据指令类型将指令传递至相应的资源交互模组中；
建图与定位模块，用于当指令为移动指令时，利用视觉传感器和雷达传感器协助无人车在环境中进行建图与自身定位，并根据结果规划出行走路线；
路径移动模块，用于根据建图与自身定位信息，结合行走路线，控制无人车从当前位置向目标位置移动；
避障模块，用于在无人车移动的过程中，通过视觉传感器和激光传感器实现对障碍物的躲避和绕行；
回充模块，用于当指令为充电指令，向无人车发送回归充电桩指令。
作为本发明更近一步的方案，所述建图与定位模块包括：
初始识别单元，用于当无人车在该环境中初次启动时，利用视觉传感器对所处环境进行实时扫描并记录，建立该环境的实际空间模型；
位置确定单元，用于在无人车接收到移动指令后，利用视觉传感器扫描当前所处环境，并通过雷达传感器和实际空间模型识别出无人车当前所处位置；
路线规划单元，用于根据无人车当前所处位置和移动指令的目标位置，结合实际空间模型规划出最优行走路线。
作为本发明更近一步的方案，所述避障模块包括：
障碍检测单元，用于通过激光传感器对无人车前进方向是否有障碍物进行实时检测；
位置重置单元，用于当检测出前方有障碍物时，向无人车发送停止前进指令，并利用视觉传感器识别出无人车当前所处位置；
路线重置单元，用于重新规划出无人车从当前位置到目标位置的最优行走路线。
作为本发明更近一步的方案，所述障碍检测单元在检测到有障碍物时，会同步将障碍物信息通过指令传递模块传递给用户，由用户判断该障碍物是否长期出现；
若为长期出现，则将原始行走路线替换为包括该障碍物的新行走路线。
作为本发明更近一步的方案，所述回充模块包括：
指令和电量识别单元，用于识别用户所发出的控制指令，同时监控无人车自身剩余电量；
回充规划单元，用于当控制指令为充电指令时，或无人车识别出自身剩余电量不足时，利用建图与自身定位信息自动规划出回归充电桩的行走路线；
位置调节单元，用于在无人车抵达充电桩时，通过回充算法调整无人车位姿，使其进入充电状态。
本发明实施例的另一目的在于提供基于视觉与激光雷达融合的无人车路径规划方法，所述方法包括如下步骤：
建立用户与无人车之间的资源交互模组，并依据通讯协议使无人车与用户移动端维持连接；
接收用户发出的指令，根据指令类型将指令传递至相应的资源交互模组中；
当指令为移动指令时，利用视觉传感器和雷达传感器协助无人车在环境中进行建图与自身定位，并根据结果规划出行走路线；
根据建图与自身定位信息，结合行走路线，控制无人车从当前位置向目标位置移动；
在无人车移动的过程中，通过视觉传感器和激光传感器实现对障碍物的躲避和绕行；
当指令为充电指令，向无人车发送回归充电桩指令。
作为本发明更近一步的方案，所述的建立用户与无人车之间的资源交互模组，并依据通讯协议使无人车与用户移动端维持连接，其中资源包括显示单元、声音装置、按键以及配套的驱动和终端系统管理软件；
无人车与用户移动端的连接方式包括但不限于蓝牙、WIFI模块和无线模块。
作为本发明更近一步的方案，所述的利用视觉传感器和雷达传感器协助无人车在环境中进行建图与自身定位，并根据结果规划出行走路线，具体包括：
当无人车在该环境中初次启动时，利用视觉传感器对所处环境进行实时扫描并记录，建立该环境的实际空间模型；
在无人车接收到移动指令后，利用视觉传感器扫描当前所处环境，并通过雷达传感器和实际空间模型识别出无人车当前所处位置；
根据无人车当前所处位置和移动指令的目标位置，结合实际空间模型规划出最优行走路线。
作为本发明更近一步的方案，所述的在无人车移动的过程中，通过视觉传感器和激光传感器实现对障碍物的躲避和绕行，具体包括：
通过激光传感器对无人车前进方向是否有障碍物进行实时检测；
当检测出前方有障碍物时，向无人车发送停止前进指令，并利用视觉传感器识别出无人车当前所处位置；
重新规划出无人车从当前位置到目标位置的最优行走路线。
作为本发明更近一步的方案，所述的当指令为充电指令，向无人车发送回归充电桩指令，具体包括：
识别用户所发出的控制指令，同时监控无人车自身剩余电量；
当控制指令为充电指令时，或无人车识别出自身剩余电量不足时，利用建图与自身定位信息自动规划出回归充电桩的行走路线；
在无人车抵达充电桩时，通过回充算法调整无人车位姿，使其进入充电状态。
本发明实施例的有益效果是：
本发明通过加装视觉传感器和雷达传感器，并基于SLAM-SST搭建软件平台，使无人车能够自动生成当前工作环境的空间模型，在每一次接收到用户指令时，可预先在空间模型中进行路线模拟，以确保能够最快速的进行工作，且避障模块能够防止无人车在工作的过程中发生碰撞，且在障碍物挡住无人车的前进路线后，会自动进行新的路线规划，无需用户重新设置，使用更加便捷。
附图说明
图1为本发明实施例提供的基于视觉与激光雷达融合的无人车路径规划系统的结构框图；
图2为本发明实施例提供的建图与定位模块的结构框图；
图3为本发明实施例提供的避障模块的结构框图；
图4为本发明实施例提供的回充模块的结构框图；
图5为本发明实施例提供的基于视觉与激光雷达融合的无人车路径规划方法的流程图；
图6为本发明实施例提供的利用视觉传感器和雷达传感器协助无人车在环境中进行建图与自身定位，并根据结果规划出行走路线的流程图；
图7为本发明实施例提供的在无人车移动的过程中，通过视觉传感器和激光传感器实现对障碍物的躲避和绕行的流程图；
图8为本发明实施例提供的当指令为充电指令，向无人车发送回归充电桩指令的流程图；
图9为本发明实施例提供的SLAM-SST核心流程图；
图10为本发明实施例提供的SLAM-SST框架图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
图1为本发明实施例提供的基于视觉与激光雷达融合的无人车路径规划系统的结构框图，如图1所示，基于视觉与激光雷达融合的无人车路径规划系统，所述系统包括：
人机交互模块100，用于建立用户与无人车之间的资源交互模组，并依据通讯协议使无人车与用户移动端维持连接；
在本模块中，旨在为用户建立一个良好的交互系统，其资源包括显示单元、声音装置、按键以及配套的驱动和终端系统管理软件，无人车与用户移动端的连接方式包括但不限于蓝牙、WIFI模块和无线模块。资源交互可以使用户能够实时控制无人车的行为，且无人车在行为过程中的各种情况会自动生成行为日志，并实时反馈给用户，以便用户在需要时对无人车的状态进行检查，比如查看无人车的行动轨迹、运行时间、是否出现故障、故障位置及故障原因等。
指令传递模块200，用于接收用户发出的指令，根据指令类型将指令传递至相应的资源交互模组中；
在本模块中，无人车能够接收到的指令包括但不限于：移动指令、终止指令、充电指令和重置指令，且每次无人车接收指令后，都会根据指令类型生成相应的行为日志。
建图与定位模块300，用于当指令为移动指令时，利用视觉传感器和雷达传感器协助无人车在环境中进行建图与自身定位，并根据结果规划出行走路线；
在本模块中，为了保证无人车行走的准确度，在无人车到达一个全新的环境后，需要先进行一次在该环境内的完整行走，并在行走过程中通过视觉传感器来记录该空间内的全部信息，并生成该环境的空间模型，依据该空间模型，确保无人车在任意位置启动时，均能够通过视觉传感器和雷达传感器准确识别出当前所处的位置，以便进行路线规划。
路径移动模块400，用于根据建图与自身定位信息，结合行走路线，控制无人车从当前位置向目标位置移动；
在该模块中，无人车在接收到用户所发出的移动指令时，还会收到指令中的移动目的地，则在接收到移动指令后，会结合移动目的地在空间中的位置，自动在空间模型中生成多组移动路线，并自动判断多组移动路线中的最优解，将其设为预设移动路线（若识别出有一条以上的最优移动路线，则随机选取其中一条）。
避障模块500，用于在无人车移动的过程中，通过视觉传感器和激光传感器实现对障碍物的躲避和绕行；
在该模块中，激光传感器会在无人车移动时，实时扫描无人车正前方以及左右两侧的障碍情况，当检测出正前方出现障碍物时，判断该障碍物是否挡住预设路线，若挡住了预设路线则会终止无人车的移动，并通过视觉传感器重新确定无人车所处位置，并再次规划路线，避免发生碰撞；
当检测出左右两侧障碍物过度靠近无人车时，则会控制无人车进行位置微调避免发生不必要的碰撞或磨损。
回充模块600，用于当指令为充电指令，向无人车发送回归充电桩指令。
在本模块中，用户直发的充电指令会直接驱使无人车进行充电行为，而在无人车进行其他操作时，还会自动对自身的电量进行实时监控，若出现自身电量过低时，判断剩余电量是否能够支撑无人车完成当前操作，若支持，则继续当前操作，并在操作完成后自动执行充电指令；若不支持，则暂停操作指令，并插入充电指令，使无人车先去进行充电操作，并在充电完成后，恢复原始的操作指令。
图2为本发明实施例提供的建图与定位模块的结构框图，如图2所示，所述建图与定位模块300包括：
初始识别单元310，用于当无人车在该环境中初次启动时，利用视觉传感器对所处环境进行实时扫描并记录，建立该环境的实际空间模型；
在本单元中，初次启动时，无人车无法得知当前环境的位置情况以及空间情况，因此会以充电桩为起点，在空间内进行一次或多次完整的移动，并在移动时对空间信息进行记录，以此对该空间的布局进行记录，并自动生成空间模型，因此初次使用时所需时间可能较长，主要目的是形成记忆，以便后续工作的快速开展。
位置确定单元320，用于在无人车接收到移动指令后，利用视觉传感器扫描当前所处环境，并通过雷达传感器和实际空间模型识别出无人车当前所处位置；
在本单元中，当无人车已经有了该环境的空间模型后，在接收到用户的移动指令时，会先利用视觉传感器识别出当前所处的环境，若识别出当前环境为初始位置（即充电桩所在位置），则以充电桩作为起点进行路线规划，若识别出当前环境非初始位置，则利用视觉传感器和雷达传感器重新确定当前位置在空间模型中的位置，并以此为起点进行路线规划。
路线规划单元330，用于根据无人车当前所处位置和移动指令的目标位置，结合实际空间模型规划出最优行走路线。
在本单元中，无人车会结合移动目的地在空间中的位置，自动在空间模型中生成多组移动路线，并自动判断多组移动路线中的最优解（即最捷径的路线），并将其设为预设移动路线（若识别出有一条以上的最优移动路线，则随机选取其中一条）。
图3为本发明实施例提供的避障模块的结构框图，如图3所示，所述避障模块500包括：
障碍检测单元510，用于通过激光传感器对无人车前进方向是否有障碍物进行实时检测；
在本单元中，在检测障碍物时，不仅会对前方的障碍物进行识别，还会对无人车左右两侧的障碍物进行实时监控；
位置重置单元520，用于当检测出前方有障碍物时，向无人车发送停止前进指令，并利用视觉传感器识别出无人车当前所处位置；
在本单元中，当检测出正前方出现障碍物时，判断该障碍物是否挡住预设路线，若挡住了预设路线则会终止无人车的移动，并通过视觉传感器重新确定无人车所处位置；
当检测出左右两侧障碍物过度靠近无人车时，则会控制无人车进行位置微调避免发生不必要的碰撞或磨损。
路线重置单元530，用于重新规划出无人车从当前位置到目标位置的最优行走路线。
在本实施例中，所述障碍检测单元510在检测到有障碍物时，会同步将障碍物信息通过指令传递模块200传递给用户，由用户判断该障碍物是否长期出现；
若为长期出现，则将原始行走路线替换为包括该障碍物的新行走路线。
图4为本发明实施例提供的回充模块的结构框图，如图4所示，所述回充模块600包括：
指令和电量识别单元610，用于识别用户所发出的控制指令，同时监控无人车自身剩余电量；
回充规划单元620，用于当控制指令为充电指令时，或无人车识别出自身剩余电量不足时，利用建图与自身定位信息自动规划出回归充电桩的行走路线；
在本单元中，当无人车识别出自身电量过低时，判断剩余电量是否能够支撑无人车完成当前正在进行的操作，若支持，则继续当前操作，并在操作完成后自动执行充电指令；若不支持，则暂停操作指令，并插入充电指令，使无人车先去进行充电操作，并在充电完成后，恢复原始的操作指令。
位置调节单元630，用于在无人车抵达充电桩时，通过回充算法调整无人车位姿，使其进入充电状态。
图5为本发明实施例提供的基于视觉与激光雷达融合的无人车路径规划方法的流程图，如图5所示，基于视觉与激光雷达融合的无人车路径规划方法，所述方法包括如下步骤：
S100，建立用户与无人车之间的资源交互模组，并依据通讯协议使无人车与用户移动端维持连接；
在本步骤中，旨在为用户建立一个良好的交互系统，其资源包括显示单元、声音装置、按键以及配套的驱动和终端系统管理软件，无人车与用户移动端的连接方式包括但不限于蓝牙、WIFI模块和无线模块。资源交互可以使用户能够实时控制无人车的行为，且无人车在行为过程中的各种情况会自动生成行为日志，并实时反馈给用户，以便用户在需要时对无人车的状态进行检查，比如查看无人车的行动轨迹、运行时间、是否出现故障、故障位置及故障原因等。
S200，接收用户发出的指令，根据指令类型将指令传递至相应的资源交互模组中；
在本步骤中，无人车能够接收到的指令包括但不限于：移动指令、终止指令、充电指令和重置指令，且每次无人车接收指令后，都会根据指令类型生成相应的行为日志。
S300，当指令为移动指令时，利用视觉传感器和雷达传感器协助无人车在环境中进行建图与自身定位，并根据结果规划出行走路线；
在本步骤中，为了保证无人车行走的准确度，在无人车到达一个全新的环境后，需要先进行一次在该环境内的完整行走，并在行走过程中通过视觉传感器来记录该空间内的全部信息，并生成该环境的空间模型，依据该空间模型，确保无人车在任意位置启动时，均能够通过视觉传感器和雷达传感器准确识别出当前所处的位置，以便进行路线规划。
S400，根据建图与自身定位信息，结合行走路线，控制无人车从当前位置向目标位置移动；
在本步骤中，无人车在接收到用户所发出的移动指令时，还会收到指令中的移动目的地，则在接收到移动指令后，会结合移动目的地在空间中的位置，自动在空间模型中生成多组移动路线，并自动判断多组移动路线中的最优解，将其设为预设移动路线（若识别出有一条以上的最优移动路线，则随机选取其中一条）。
S500，在无人车移动的过程中，通过视觉传感器和激光传感器实现对障碍物的躲避和绕行；
在本步骤中，激光传感器会在无人车移动时，实时扫描无人车正前方以及左右两侧的障碍情况，当检测出正前方出现障碍物时，判断该障碍物是否挡住预设路线，若挡住了预设路线则会终止无人车的移动，并通过视觉传感器重新确定无人车所处位置，并再次规划路线，避免发生碰撞；
当检测出左右两侧障碍物过度靠近无人车时，则会控制无人车进行位置微调避免发生不必要的碰撞或磨损。
S600，当指令为充电指令，向无人车发送回归充电桩指令。
在本步骤中，用户直发的充电指令会直接驱使无人车进行充电行为，而在无人车进行其他操作时，还会自动对自身的电量进行实时监控，若出现自身电量过低时，判断剩余电量是否能够支撑无人车完成当前操作，若支持，则继续当前操作，并在操作完成后自动执行充电指令；若不支持，则暂停操作指令，并插入充电指令，使无人车先去进行充电操作，并在充电完成后，恢复原始的操作指令。
在本实施例中，所述的建立用户与无人车之间的资源交互模组，并依据通讯协议使无人车与用户移动端维持连接，其中资源包括显示单元、声音装置、按键以及配套的驱动和终端系统管理软件；
无人车与用户移动端的连接方式包括但不限于蓝牙、WIFI模块和无线模块。
图6为本发明实施例提供的利用视觉传感器和雷达传感器协助无人车在环境中进行建图与自身定位，并根据结果规划出行走路线的流程图，如图6所示，所述的利用视觉传感器和雷达传感器协助无人车在环境中进行建图与自身定位，并根据结果规划出行走路线，具体包括：
S310，当无人车在该环境中初次启动时，利用视觉传感器对所处环境进行实时扫描并记录，建立该环境的实际空间模型；
在本步骤中，初次启动时，无人车无法得知当前环境的位置情况以及空间情况，因此会以充电桩为起点，在空间内进行一次或多次完整的移动，并在移动时对空间信息进行记录，以此对该空间的布局进行记录，并自动生成空间模型，因此初次使用时所需时间可能较长，主要目的是形成记忆，以便后续工作的快速开展。
S320，在无人车接收到移动指令后，利用视觉传感器扫描当前所处环境，并通过雷达传感器和实际空间模型识别出无人车当前所处位置；
在本步骤中，当无人车已经有了该环境的空间模型后，在接收到用户的移动指令时，会先利用视觉传感器识别出当前所处的环境，若识别出当前环境为初始位置（即充电桩所在位置），则以充电桩作为起点进行路线规划，若识别出当前环境非初始位置，则利用视觉传感器和雷达传感器重新确定当前位置在空间模型中的位置，并以此为起点进行路线规划。
S330，根据无人车当前所处位置和移动指令的目标位置，结合实际空间模型规划出最优行走路线。
在本步骤中，无人车会结合移动目的地在空间中的位置，自动在空间模型中生成多组移动路线，并自动判断多组移动路线中的最优解（即最捷径的路线），并将其设为预设移动路线（若识别出有一条以上的最优移动路线，则随机选取其中一条）。
图7为本发明实施例提供的在无人车移动的过程中，通过视觉传感器和激光传感器实现对障碍物的躲避和绕行的流程图，如图7所示，所述的在无人车移动的过程中，通过视觉传感器和激光传感器实现对障碍物的躲避和绕行，具体包括：
S510，通过激光传感器对无人车前进方向是否有障碍物进行实时检测；
在本步骤中，在检测障碍物时，不仅会对前方的障碍物进行识别，还会对无人车左右两侧的障碍物进行实时监控；
S520，当检测出前方有障碍物时，向无人车发送停止前进指令，并利用视觉传感器识别出无人车当前所处位置；
在本步骤中，当检测出正前方出现障碍物时，判断该障碍物是否挡住预设路线，若挡住了预设路线则会终止无人车的移动，并通过视觉传感器重新确定无人车所处位置；
当检测出左右两侧障碍物过度靠近无人车时，则会控制无人车进行位置微调避免发生不必要的碰撞或磨损。
S530，重新规划出无人车从当前位置到目标位置的最优行走路线。
图8为本发明实施例提供的当指令为充电指令，向无人车发送回归充电桩指令的流程图，如图8所示，所述的当指令为充电指令，向无人车发送回归充电桩指令，具体包括：
S610，识别用户所发出的控制指令，同时监控无人车自身剩余电量；
S620，当控制指令为充电指令时，或无人车识别出自身剩余电量不足时，利用建图与自身定位信息自动规划出回归充电桩的行走路线；
在本步骤中，当无人车识别出自身电量过低时，判断剩余电量是否能够支撑无人车完成当前正在进行的操作，若支持，则继续当前操作，并在操作完成后自动执行充电指令；若不支持，则暂停操作指令，并插入充电指令，使无人车先去进行充电操作，并在充电完成后，恢复原始的操作指令。
S630，在无人车抵达充电桩时，通过回充算法调整无人车位姿，使其进入充电状态。
在软件架构方面，本发明在感知环境信息时采用了多传感器融合算法，利用激光传感器提取环境中的几何特征实现环境制图，通过基于2.1D简约图模型来实现场景深度匹配，通过基于孪生神经网络的跟踪方法来实现移动目标的定位与跟随，从而架构了一套SLAM系统（SLAM with The 2.1-D Sketch and MFW-SiamRPN Tracker ，简称SLAM-SST），系统核心流程如图9所示。在每一时刻，基于当前己得到的无人车位姿、己探索环境范围、目标人物轨迹等信息，由路径规划模块计算下一步目标点，并在运动过程中实现SLAM-SST，在后续的每一时刻不断迭代上述流程。
在软件框架上，本发明所设计的SLAM-SST系统在遵从ROS规范的基础上，进一步进行了框架解耦，抽象了数据解构模型，对于不同传感器数据进行封装，重新设计了节点通信机制，使得节点间的消息订阅、发布和服务处理的管理工作更为透明。此外，本平台将所有的工具和算法进行了接口化抽象，界定了工具库和算法库，从而兼顾学习、自研开发及第三方集成。学生和科研人员只需要关注数据的处理而无需关注消息队列、缓存、时序同步等底层机制。最终所有的支撑工作以SLAM处理流水线形式进行封装发布，支撑起完整的SLAM处理流程，整体框架如图10所示。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于视觉与激光雷达融合的无人车路径规划系统，其特征在于，所述系统包括：
人机交互模块，用于建立用户与无人车之间的资源交互模组，并依据通讯协议使无人车与用户移动端维持连接；
指令传递模块，用于接收用户发出的指令，根据指令类型将指令传递至相应的资源交互模组中；
建图与定位模块，用于当指令为移动指令时，利用视觉传感器和雷达传感器协助无人车在环境中进行建图与自身定位，并根据结果规划出行走路线；
路径移动模块，用于根据建图与自身定位信息，结合行走路线，控制无人车从当前位置向目标位置移动；
避障模块，用于在无人车移动的过程中，通过视觉传感器和激光传感器实现对障碍物的躲避和绕行；
回充模块，用于当指令为充电指令，向无人车发送回归充电桩指令。
2.根据权利要求1所述的基于视觉与激光雷达融合的无人车路径规划系统，其特征在于，所述建图与定位模块包括：
初始识别单元，用于当无人车在该环境中初次启动时，利用视觉传感器对所处环境进行实时扫描并记录，建立该环境的实际空间模型；
位置确定单元，用于在无人车接收到移动指令后，利用视觉传感器扫描当前所处环境，并通过雷达传感器和实际空间模型识别出无人车当前所处位置；
路线规划单元，用于根据无人车当前所处位置和移动指令的目标位置，结合实际空间模型规划出最优行走路线。
3.根据权利要求1所述的基于视觉与激光雷达融合的无人车路径规划系统，其特征在于，所述避障模块包括：
障碍检测单元，用于通过激光传感器对无人车前进方向是否有障碍物进行实时检测；
位置重置单元，用于当检测出前方有障碍物时，向无人车发送停止前进指令，并利用视觉传感器识别出无人车当前所处位置；
路线重置单元，用于重新规划出无人车从当前位置到目标位置的最优行走路线。
4.根据权利要求3所述的基于视觉与激光雷达融合的无人车路径规划系统，其特征在于，所述障碍检测单元在检测到有障碍物时，会同步将障碍物信息通过指令传递模块传递给用户，由用户判断该障碍物是否长期出现；
若为长期出现，则将原始行走路线替换为包括该障碍物的新行走路线。
5.根据权利要求1所述的基于视觉与激光雷达融合的无人车路径规划系统，其特征在于，所述回充模块包括：
指令和电量识别单元，用于识别用户所发出的控制指令，同时监控无人车自身剩余电量；
回充规划单元，用于当控制指令为充电指令时，或无人车识别出自身剩余电量不足时，利用建图与自身定位信息自动规划出回归充电桩的行走路线；
位置调节单元，用于在无人车抵达充电桩时，通过回充算法调整无人车位姿，使其进入充电状态。
6.基于视觉与激光雷达融合的无人车路径规划方法，其特征在于，所述方法包括如下步骤：
建立用户与无人车之间的资源交互模组，并依据通讯协议使无人车与用户移动端维持连接；
接收用户发出的指令，根据指令类型将指令传递至相应的资源交互模组中；
当指令为移动指令时，利用视觉传感器和雷达传感器协助无人车在环境中进行建图与自身定位，并根据结果规划出行走路线；
根据建图与自身定位信息，结合行走路线，控制无人车从当前位置向目标位置移动；
在无人车移动的过程中，通过视觉传感器和激光传感器实现对障碍物的躲避和绕行；
当指令为充电指令，向无人车发送回归充电桩指令。
7.根据权利要求6所述的基于视觉与激光雷达融合的无人车路径规划方法，其特征在于，所述的建立用户与无人车之间的资源交互模组，并依据通讯协议使无人车与用户移动端维持连接，其中资源包括显示单元、声音装置、按键以及配套的驱动和终端系统管理软件；
无人车与用户移动端的连接方式包括但不限于蓝牙、WIFI模块和无线模块。
8.根据权利要求6所述的基于视觉与激光雷达融合的无人车路径规划方法，其特征在于，所述的利用视觉传感器和雷达传感器协助无人车在环境中进行建图与自身定位，并根据结果规划出行走路线，具体包括：
当无人车在该环境中初次启动时，利用视觉传感器对所处环境进行实时扫描并记录，建立该环境的实际空间模型；
在无人车接收到移动指令后，利用视觉传感器扫描当前所处环境，并通过雷达传感器和实际空间模型识别出无人车当前所处位置；
根据无人车当前所处位置和移动指令的目标位置，结合实际空间模型规划出最优行走路线。
9.根据权利要求6所述的基于视觉与激光雷达融合的无人车路径规划方法，其特征在于，所述的在无人车移动的过程中，通过视觉传感器和激光传感器实现对障碍物的躲避和绕行，具体包括：
通过激光传感器对无人车前进方向是否有障碍物进行实时检测；
当检测出前方有障碍物时，向无人车发送停止前进指令，并利用视觉传感器识别出无人车当前所处位置；
重新规划出无人车从当前位置到目标位置的最优行走路线。
10.根据权利要求6所述的基于视觉与激光雷达融合的无人车路径规划方法，其特征在于，所述的当指令为充电指令，向无人车发送回归充电桩指令，具体包括：
识别用户所发出的控制指令，同时监控无人车自身剩余电量；
当控制指令为充电指令时，或无人车识别出自身剩余电量不足时，利用建图与自身定位信息自动规划出回归充电桩的行走路线；
在无人车抵达充电桩时，通过回充算法调整无人车位姿，使其进入充电状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310392909.5A CN116107321A (zh) | 2023-04-13 | 2023-04-13 | 基于视觉与激光雷达融合的无人车路径规划系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310392909.5A CN116107321A (zh) | 2023-04-13 | 2023-04-13 | 基于视觉与激光雷达融合的无人车路径规划系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116107321A true CN116107321A (zh) | 2023-05-12 |
Family
ID=86258337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310392909.5A Pending CN116107321A (zh) | 2023-04-13 | 2023-04-13 | 基于视觉与激光雷达融合的无人车路径规划系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116107321A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116587781A (zh) * | 2023-05-16 | 2023-08-15 | 广州铁诚工程质量检测有限公司 | 一种隧道检测无人车 |
| CN116817957A (zh) * | 2023-08-28 | 2023-09-29 | 无锡科技职业学院 | 基于机器视觉的无人车行驶路径规划方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107450571A (zh) * | 2017-09-30 | 2017-12-08 | 江西洪都航空工业集团有限责任公司 | 一种基于ros的agv小车激光导航系统 |
| CN107728608A (zh) * | 2016-08-10 | 2018-02-23 | 向忠宏 | 一种移动机器人路径规划方法 |
| CN108803588A (zh) * | 2017-04-28 | 2018-11-13 | 深圳乐动机器人有限公司 | 机器人的控制系统 |
| CN109144067A (zh) * | 2018-09-17 | 2019-01-04 | 长安大学 | 一种智能清洁机器人及其路径规划方法 |
| CN110750097A (zh) * | 2019-10-17 | 2020-02-04 | 上海飒智智能科技有限公司 | 一种室内机器人导航系统及建图、定位和移动方法 |
| CN111781929A (zh) * | 2020-07-08 | 2020-10-16 | 苏州索亚机器人技术有限公司 | Agv小车及3d激光雷达定位与导航方法 |
| CN113325837A (zh) * | 2021-04-23 | 2021-08-31 | 北京启安智慧科技有限公司 | 一种用于多信息融合采集机器人的控制系统及方法 |
| CN214270117U (zh) * | 2021-01-15 | 2021-09-24 | 福建宏泰智能工业互联网有限公司 | 一种自然导航agv小车 |
| CN113821040A (zh) * | 2021-09-28 | 2021-12-21 | 中通服创立信息科技有限责任公司 | 一种深度视觉相机与激光雷达融合导航的机器人 |
| CN115755937A (zh) * | 2022-12-29 | 2023-03-07 | 烟台艾睿光电科技有限公司 | 一种智能家居机器人系统、控制方法、设备及介质 |
-
2023
- 2023-04-13 CN CN202310392909.5A patent/CN116107321A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107728608A (zh) * | 2016-08-10 | 2018-02-23 | 向忠宏 | 一种移动机器人路径规划方法 |
| CN108803588A (zh) * | 2017-04-28 | 2018-11-13 | 深圳乐动机器人有限公司 | 机器人的控制系统 |
| CN107450571A (zh) * | 2017-09-30 | 2017-12-08 | 江西洪都航空工业集团有限责任公司 | 一种基于ros的agv小车激光导航系统 |
| CN109144067A (zh) * | 2018-09-17 | 2019-01-04 | 长安大学 | 一种智能清洁机器人及其路径规划方法 |
| CN110750097A (zh) * | 2019-10-17 | 2020-02-04 | 上海飒智智能科技有限公司 | 一种室内机器人导航系统及建图、定位和移动方法 |
| CN111781929A (zh) * | 2020-07-08 | 2020-10-16 | 苏州索亚机器人技术有限公司 | Agv小车及3d激光雷达定位与导航方法 |
| CN214270117U (zh) * | 2021-01-15 | 2021-09-24 | 福建宏泰智能工业互联网有限公司 | 一种自然导航agv小车 |
| CN113325837A (zh) * | 2021-04-23 | 2021-08-31 | 北京启安智慧科技有限公司 | 一种用于多信息融合采集机器人的控制系统及方法 |
| CN113821040A (zh) * | 2021-09-28 | 2021-12-21 | 中通服创立信息科技有限责任公司 | 一种深度视觉相机与激光雷达融合导航的机器人 |
| CN115755937A (zh) * | 2022-12-29 | 2023-03-07 | 烟台艾睿光电科技有限公司 | 一种智能家居机器人系统、控制方法、设备及介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116587781A (zh) * | 2023-05-16 | 2023-08-15 | 广州铁诚工程质量检测有限公司 | 一种隧道检测无人车 |
| CN116817957A (zh) * | 2023-08-28 | 2023-09-29 | 无锡科技职业学院 | 基于机器视觉的无人车行驶路径规划方法及系统 |
| CN116817957B (zh) * | 2023-08-28 | 2023-11-07 | 无锡科技职业学院 | 基于机器视觉的无人车行驶路径规划方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116107321A (zh) | 基于视觉与激光雷达融合的无人车路径规划系统及方法 | |
| WO2021175313A1 (zh) | 自动驾驶控制方法、装置、车辆及存储介质 | |
| US11027751B2 (en) | Reinforcement and model learning for vehicle operation | |
| EP3759560B1 (en) | Transportation network infrastructure for autonomous vehicle decision making | |
| EP3759563B1 (en) | Centralized shared autonomous vehicle operational management | |
| WO2020147311A1 (zh) | 车辆行驶保障方法、装置、设备及可读存储介质 | |
| Parent | Advanced urban transport: Automation is on the way | |
| AU2010237608B2 (en) | Drill hole planning | |
| US11740624B2 (en) | Advanced control system with multiple control paradigms | |
| CN115016531A (zh) | 车辆自动驾驶方法、装置、计算机设备和存储介质 | |
| JP2021533036A (ja) | 自律エージェントによる行動方針選択のための多視点システムおよび方法 | |
| US20190337511A1 (en) | System and Method for Controlling an Autonomous Vehicle | |
| US11300957B2 (en) | Multiple objective explanation and control interface design | |
| US20220214692A1 (en) | VIsion-Based Robot Navigation By Coupling Deep Reinforcement Learning And A Path Planning Algorithm | |
| JP7194867B2 (ja) | 自律走行車の安全性が確保される遠隔運転 | |
| CN112462782B (zh) | 一种多功能智能跟随小车系统 | |
| US11874120B2 (en) | Shared autonomous vehicle operational management | |
| US20220297732A1 (en) | Train dispatching control method, platform, and system, intelligent carriage, and medium | |
| CN112947475A (zh) | 一种激光导航叉车式agv车载系统及方法 | |
| CN113085868A (zh) | 用于运行自动化车辆的方法、设备和存储介质 | |
| Cho et al. | Towards automated safety coverage and testing for autonomous vehicles with reinforcement learning | |
| KR102366073B1 (ko) | 주행경로 설정장치 및 주행경로 설정방법 | |
| US20240239378A1 (en) | Systems and Methods for Handling Traffic Signs | |
| US12020475B2 (en) | Neural network training | |
| RU2790105C2 (ru) | Способ и электронное устройство для управления беспилотным автомобилем |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230512 |
|
| RJ01 | Rejection of invention patent application after publication |