CN112363494A - 机器人前进路径的规划方法、设备及存储介质 - Google Patents

机器人前进路径的规划方法、设备及存储介质 Download PDF

Info

Publication number
CN112363494A
CN112363494A CN202011019495.4A CN202011019495A CN112363494A CN 112363494 A CN112363494 A CN 112363494A CN 202011019495 A CN202011019495 A CN 202011019495A CN 112363494 A CN112363494 A CN 112363494A
Authority
CN
China
Prior art keywords
obstacle
robot
preset
information
planning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011019495.4A
Other languages
English (en)
Inventor
卢鹰
张志强
朱诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uditech Co Ltd
Original Assignee
Uditech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uditech Co Ltd filed Critical Uditech Co Ltd
Priority to CN202011019495.4A priority Critical patent/CN112363494A/zh
Publication of CN112363494A publication Critical patent/CN112363494A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G05D1/0261—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means using magnetic plots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种机器人前进路径的规划方法、设备和介质，该方法包括：根据机器人所处的预设场景识别模式，结合机器人的预设摄像头和预设激光雷达，得到在所述预设场景识别模式下的障碍物的属性信息和运行信息，根据所述障碍物的属性信息和运行信息，对所述机器人的前进路径进行规划，得到目标规划路径，提高无人配送机器人运行时的安全性和配送效率。

Description

机器人前进路径的规划方法、设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种机器人前进路径的规划方法、 设备及存储介质。
背景技术
随着机器人的迅速发展，室外无人配送机器人的使用越来越广泛；目前， 无人配送机器人在运行时经常会遇到行人、车流等妨碍配送的障碍物，现有 无人配送机器人在遇到障碍物时，直接通过摄像头对障碍物进行识别，而只 是通过摄像头对障碍物进行识别，难以准确获取障碍物的状态，致使室外无 人配送机器人难以准确规划行走路径，配送效率低，甚至引发交通事故，也 即，现有机器人物资配送过程中存在安全性差，配送效率低的技术问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是 现有技术。
发明内容
本发明的主要目的在于提供一种机器人前进路径的规划方法，旨在解决 现有机器人物资配送过程中存在安全性差，配送效率低的技术问题。
为实现上述目的，本发明提供一种机器人前进路径的规划方法，应用于 机器人，所述机器人前进路径的规划方法包括：
在机器人处于预设场景识别模式下时，结合机器人的预设摄像头和预设 激光雷达，得到在所述预设场景识别模式下的障碍物的属性信息和运行信息；
根据所述障碍物的属性信息和运行信息，对所述机器人的前进路径进行 规划，得到目标规划路径。
可选地，所述在机器人处于预设场景识别模式下时，结合机器人的预设 摄像头和预设激光雷达，得到在所述预设场景识别模式下的障碍物的属性信 息和运行信息的步骤，包括：
在机器人处于预设场景识别模式下时，利用所述预设摄像头和所述预设 激光雷达，分别采集所述预设场景识别模式下的不同场景图像信息；
对所述不同的场景图像信息进行信息融合处理，得到在所述预设场景识 别模式下的场景图像数据；
根据所述场景图像数据，提取障碍物的属性信息和运行信息。
可选地，所述预设场景识别模式包括障碍物场景模式，所述属性信息包 括障碍物的类型和识别号；
所述在机器人处于预设场景识别模式下时，结合机器人的预设摄像头和 预设激光雷达，得到所述预设场景识别模式下障碍物的属性信息和运行信息 的步骤，包括：
在机器人处于所述障碍物场景模式下时，通过所述机器人的预设摄像头， 采集所述机器人的场景图像数据；
从所述机器人的场景图像数据中提取所述障碍物的类型以及所述障碍物 的识别号，并提取所述障碍物的运动参数；
通过所述预设激光雷达识别所述障碍物的轮廓信息，基于不同时间段变 化的所述轮廓信息，确定所述障碍物的运动信息；
整合所述障碍物的运动参数以及所述障碍物的运动信息，得到所述障碍 物的运行信息。
可选地，所述障碍物的运动参数包括障碍物的运动方向，所述提取所述 障碍物的运动参数的步骤，包括：
基于所述场景图像数据，确定场景道路，并确定所述障碍物与所述场景 道路的接触点；
基于所述场景图像数据，确定所述障碍物在场景图像上的投影高度和所 述预设摄像头距离所述场景道路的安装高度，并确定所述预设摄像头的成像 距离，以得到所述障碍物到所述预设摄像头的相对距离；
根据所述相对距离和所述预设摄像头的标定参数，得到所述障碍物的相 对坐标；
对所述障碍物的相对坐标进行跟踪，确定所述障碍物的运动方向。
可选地，所述障碍物的运动信息包括障碍物的运动轨迹和运动速度，所 述通过所述预设激光雷达识别所述障碍物的轮廓信息，基于不同时间段变化 的所述轮廓信息，确定所述障碍物的运动信息的步骤，包括：
通过所述预设激光雷达，识别所述障碍物的轮廓，以得到所述障碍物的 轮廓信息，根据所述障碍物的轮廓信息确定所述障碍物的质心；
获取不同时间段内所述障碍物的质心的位置变化，确定所述障碍物的运 动轨迹和运动速度，得到所述障碍物的运动信息。
可选地，所述从所述机器人的场景图像数据中提取所述障碍物的类型以 及所述障碍物的识别号的步骤，包括：
比对所述场景图像数据中相邻两帧的场景图像，得到所述场景图像中的 障碍物，对每一个所述障碍物进行编码，得到所述障碍物的识别号；
获取所述障碍物的图像信息，根据预设训练模型对所述图像信息进行特 征提取处理，得到所述障碍物的类型；
其中，所述预设训练模型是基于具有预设类型标签的障碍物数据，对预 设基础模型进行迭代训练后，得到的目标模型。
可选地，所述根据所述障碍物的属性信息和运行信息，对所述机器人的 前进路径进行规划，得到目标规划路径的步骤，包括：
获取目的地信息，根据目的地信息对前进路径进行规划，得到初始路径；
根据所述障碍物的属性信息和运行信息，对所述初始路径重新规划并调 整，得到目标规划路径。
可选地，所述根据所述障碍物的属性信息和运行信息，对所述初始路径 重新规划并调整，得到目标规划路径的步骤，包括：
根据所述障碍物的属性信息和运行信息，获取周围环境中运动的障碍物， 确定所述运动障碍物的接近状态；
根据所述运动障碍物的接近状态，确定所述机器人的停止区域、加速区 域、减速区域、绕行区域和直线行驶区域，得到前进策略；
根据所述前进策略，对所述初始路径重新规划并调整，得到目标规划路 径。
此外，为实现上述目的，本发明还提供一种机器人前进路径的规划装置， 所述机器人路径规划装置包括：
场景识别模块，用于在机器人处于预设场景识别模式下时，结合机器人 的预设摄像头和预设激光雷达，得到在所述预设场景识别模式下的障碍物的 属性信息和运行信息；
路径规划模块，用于根据所述障碍物的属性信息和运行信息，对所述机 器人的前进路径进行规划，得到目标规划路径。
可选地，所述场景识别模块，包括：
图像信息采集单元，用于在机器人处于预设场景识别模式下时，利用所 述预设摄像头和所述预设激光雷达，分别采集所述预设场景识别模式下不同 的场景图像信息；
信息融合处理单元，用于通过对所述不同的场景图像信息进行信息融合 处理，得到在所述预设场景识别模式下的场景图像数据；
信息提取单元，用于根据所述场景图像数据，提取障碍物的属性信息和 运行信息。
可选地，所述场景识别模块，还包括：
数据提取单元，用于从所述机器人的场景图像数据中提取所述障碍物的 类型以及所述障碍物的识别号，并提取所述障碍物的运动参数；
运动信息提取单元，用于通过所述预设激光雷达识别所述障碍物的轮廓 信息，基于不同时间段变化的所述轮廓信息，确定所述障碍物的运动信息；
数据整合单元，用于整合所述障碍物的运动参数以及所述障碍物的运动 信息，得到所述障碍物的运行信息。
可选地，所述场景识别模块，还包括：
接触点确定单元，用于基于所述场景图像数据，确定场景道路，并确定 所述障碍物与所述场景道路的接触点；
相对距离确定单元，用于基于所述场景图像数据，确定所述障碍物在场 景图像上的投影高度和所述预设摄像头距离所述场景道路的安装高度，并确 定所述预设摄像头的成像距离，以得到所述障碍物到所述预设摄像头的相对 距离；
相对坐标获取单元，用于根据所述相对距离和所述预设摄像头的标定参 数，得到所述障碍物的相对坐标；
目标跟踪单元，用于对所述障碍物的相对坐标进行跟踪，确定所述障碍 物的运动方向。
可选地，所述场景识别模块，还包括：
质心获取单元，用于通过所述预设激光雷达，识别所述障碍物的轮廓， 以得到所述障碍物的轮廓信息，根据所述障碍物的轮廓信息确定所述障碍物 的质心；
运动信息获取子单元，用于获取不同时间段内所述障碍物的质心的位置 变化，确定所述障碍物的运动轨迹和运动速度，得到所述障碍物的运动信息。
可选地，所述场景识别模块，还包括：
编码单元，用于比对所述场景图像数据中相邻两帧的场景图像，得到所 述场景图像中的障碍物，对每一个所述障碍物进行编码，得到所述障碍物的 识别号；
类型识别单元，用于获取所述障碍物的图像信息，根据预设训练模型对 所述图像信息进行特征提取处理，得到所述障碍物的类型；
可选地，所述场景识别模块，包括：
目的地信息获取单元，用于获取目的地信息，对前进路径进行规划，得 到初始路径；
路径规划单元，用于根据所述障碍物的属性信息和运行信息，对所述初 始路径进行重新规划并调整，得到目标规划路径。
可选地，所述场景识别模块，还包括：
接近状态确定单元，用于根据所述障碍物的属性信息和运行信息，获取 周围环境中运动的障碍物，确定所述运动障碍物的接近状态；
前进策略确定单元，用于根据所述运动障碍物的接近状态，确定所述机 器人的停止区域、加速区域、减速区域、绕行区域和直线行驶区域，得到前 进策略；
路径规划子单元，用于根据所述前进策略，对所述初始路径进行重新规划 并调整，得到目标规划路径。
此外，为实现上述目的，本发明还提供一种机器人前进路径的规划设备， 所述机器人前进路径的规划设备包括：单目相机、激光雷达、存储器、处理 器以及存储在存储器上的用于实现所述机器人前进路径的规划方法的程序， 所述处理器用于执行实现所述机器人前进路径的规划方法的程序，以实现如 上述所述机器人前进路径的规划方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上 存储有实现机器人前进路径的规划方法的程序，所述实现机器人前进路径的 规划方法的程序被处理器执行以实现如上述所述机器人前进路径的规划方法 的步骤。
本发明提供一种机器人前进路径的规划方法、设备及可读存储介质，与 现有技术中，只是通过摄像头对障碍物进行识别，导致配送机器人物资配送 过程中存在安全性差，配送效率低的问题相比，本申请通过在机器人处于预 设场景识别模式下时，结合机器人的预设摄像头和预设激光雷达，得到在所 述预设场景识别模式下的障碍物的属性信息和运行信息；根据所述障碍物的 属性信息和运行信息，对所述机器人的前进路径进行规划，得到目标规划路 径。由于在本申请中，结合预设摄像头和预设激光雷达对障碍物的属性信息和运行信息进行识别，而不只是单独通过摄像头对障碍物进行识别，因而， 能够准确识别障碍物，并且，能够及时准确地对所述机器人的前进路径进行 规划，得到目标规划路径，机器人按照目标规划路径行驶，可以及时躲避障 碍物，确保机器人自身的安全性，解决了现有技术中无人配送机器人物资配 送过程中存在的安全性差，配送效率低的问题。
附图说明
图1为本发明实施例提供的机器人前进路径的规划设备一种实施方式的 硬件结构示意图；
图2为本发明机器人前进路径的规划方法第一实施例的流程示意图；
图3为本发明机器人前进路径的规划方法第一实施例中步骤S10的细化流 程示意图；
图4为本发明机器人前进路径的规划方法另一实施例中三边余弦原理的 示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步 说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限 定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单 元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模 块”、“部件”或“单元”可以混合地使用。
本发明实施例轴动作组态终端(又叫终端、设备或者终端设备)可以是 PC，也可以是智能手机、平板电脑和便携计算机等具有显示功能的可移动式 终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004， 用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现 这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入 单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、 无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI 接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器 (non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立 于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路， 传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感 器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器， 其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感 器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一 种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横 竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、 敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红 外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限 定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部 件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系 统、网络通信模块、用户接口模块以及机器人前进路径的规划方法的程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台 服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客 户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的机器 人前进路径的规划方法的程序，所述机器人前进路径的规划方法的程序被处 理器执行时实现下述实施例提供的机器人前进路径的规划方法中的操作。
基于上述设备硬件结构，提出了本发明机器人前进路径的规划方法的实 施例。
参照图2，本发明机器人前进路径的规划方法第一实施例提供一种路径规 划方法，所述路径规划方法包括以下步骤S10-S20：
步骤S10，在机器人处于预设场景识别模式下时，结合机器人的预设摄像 头和预设激光雷达，得到在所述预设场景识别模式下的障碍物的属性信息和 运行信息。
步骤S20，根据所述障碍物的属性信息和运行信息，对所述机器人的前进 路径进行规划，得到目标规划路径。
具体步骤如下：
步骤S10，在机器人处于预设场景识别模式下时，结合机器人的预设摄像 头和预设激光雷达，得到在所述预设场景识别模式下的障碍物的属性信息和 运行信息；
在本实施例中机器人前进路径的规划方法应用于机器人前进路径的规划 设备，所述机器人前进路径的规划设备应用于机器人。在本实施例中，机器 人前进路径的规划方法可以应用于无人配送机器人室外配送的场景，目前， 现有的无人配送机器人在室外行走时，只通过摄像头确定障碍物，无法准确 预估障碍物的运动趋势，具体地，机器人会出现大幅度的视角盲区，当遇到 行人、车辆等运动的障碍物时，无法快速精确识别障碍物的类型和运动方向， 进而，机器人的前进路径受到干扰，并且容易发生碰撞或交通事故，影响机器人自身的安全及配送效率，因此无人配送机器人在室外行走时安全性差、 配送效率低。在本实施例中，机器人可以根据所处的预设场景识别模式，结 合预设的摄像头和激光雷达，获取障碍物的属性信息和运行信息，根据障碍 物的属性信息和运行信息，对前进路径进行规划，得到目标规划路径，按照 目标规划路径行走，避免发生碰撞或交通事故，提高了机器人在室外行走时 的安全性和配送效率。一方面，机器人利用摄像头获取障碍物的图像，识别 障碍物的类型和识别号等属性信息，同时可以通过图像信息补全激光雷达获 取的障碍物的轮廓信息，以确定障碍物的质心，有利于激光雷达对障碍物进 行跟踪；另一方面，机器人利用激光雷达对障碍物进行跟踪，同时补全摄像 头获取的运动障碍物的轨迹信息，并可以获取障碍物的运动速度和相对距离 等，同时，机器人通过摄像头获取的图像也可以计算出与障碍物的相对距离， 当障碍物处于激光雷达的视角盲区时，机器人可以通过安装在该障碍物方向 上的摄像头获取到的图像计算与障碍物的相对距离，将摄像头和激光雷达结 合使用，可以对障碍物进行定位跟踪，获取障碍物的相对坐标，并通过障碍 物的识别号对不同的障碍物进行区分。其中，障碍物可以是固定的，也可以 是运动的，固定的障碍物可以是路灯、建筑物、垃圾桶，运动的障碍物可以 是行人、车辆等。
在本实施例中，需要说明的是，预设摄像头可以是单目相机、多目相机 等，该预设摄像头可以设置在机器人的不同位置，用于机器人在行走时获取 场景图像、与障碍物的相对距离以及障碍物的属性信息等，在预设摄像头与 预设激光雷达同时启动时，可以对障碍物进行跟踪，其中，需要说明的是， 在本实施例中，预设激光雷达可以只有一个，设置在机器人的前端，用于获 取障碍物的轮廓信息、计算与障碍物的相对距离以及获取障碍物的运动轨迹， 需要说明的是，预设激光雷达可以是多个，在此不做具体限定，在预设激光 雷达与预设摄像头同时启动时，可以对障碍物进行跟踪。
通过启动摄像头和激光雷达，获取障碍物的图像并对障碍物的图像进行 解析，得到障碍物的属性信息和运行信息，其中，障碍物的属性信息包括障 碍物的类型和识别号，障碍物的运行信息包括障碍物的运动参数和运动信息， 进一步地，障碍物的运动参数包括障碍物的运动方向，障碍物的运动信息包 括障碍物的运动轨迹和运动速度，障碍物的运动轨迹是指障碍物实际运动的 轨迹，该运动轨迹可以为机器人预估障碍物的运动趋势提供依据，而运动速 度可以确定障碍物运动的快慢，机器人在直线行驶时根据障碍物的运动速度 可以确定自身加减速的策略，需要说明的是，障碍物的运动趋势指机器人预 估的障碍物的运行信息。具体可以是：当机器人在直线行驶时，开启设置在 机器人前端的预设摄像头和预设激光雷达，通过预设摄像头获取场景图像并 提取障碍物的属性信息，结合预设激光雷达获取障碍物的运行信息，当机器 人经过路口时，需要开启设置在前端和两侧的预设摄像头，获取前方和两侧 路口的场景图像并提取障碍物的属性信息，结合预设激光雷达获取障碍物的 运行信息，其中，对障碍物的图像进行解析是指利用不同的预设算法，获取 障碍物的信息。
在本实施例中，需要说明的是，预设场景识别模式可以分为三种：障碍 物场景识别模式、直线通行模式和路口通行模式，当机器人处于不同的场景 识别模式时，需要开启预设个数的摄像头和激光雷达对所处的场景及场景中 的环境障碍物进行识别，确定前进策略。
所述当机器人处于预设场景识别模式下时，结合机器人的预设摄像头和 预设激光雷达，得到在所述预设场景识别模式下的障碍物的属性信息和运行 信息至少包括如下几种方式：
方式一：当机器人处于预设障碍物场景识别模式时，开启全部预设摄像 头和激光雷达，停止前进以获取周围环境的场景图像并对场景图像进行解析， 获取障碍物识别模式下的障碍物的属性信息和运行信息；
方式二：当机器人处于预设直线通行模式时，只开启前端的预设摄像头 和预设激光雷达，当识别到前方有运动的障碍物时，停止前进并利用前端预 设摄像头获取障碍物的图像，结合激光雷达对障碍物的图像进行解析以获取 直线通行模式下的障碍物的属性信息和运行信息；
方式三：当机器人处于预设路口通行模式时，至少开启前端和两侧的预 设摄像头，获取前方和左右两侧的场景图像，结合预设激光雷达，获取路口 通行模式下的障碍物的属性信息和运行信息；
其中，方式三还可以包括如下子方式：
当机器人处于预设路口通行模式时，开启前端，后端和两侧的全部预设 摄像头，获取周围环境的场景图像，结合预设激光雷达，获取路口通行模式 下的障碍物的属性信息和运行信息。
参照图3，所述在机器人处于预设场景识别模式下时，结合机器人的预设 摄像头和预设激光雷达，得到在所述预设场景识别模式下的障碍物的属性信 息和运行信息，包括以下步骤S11-S13：
步骤S11，在机器人处于预设场景识别模式下时，利用所述预设摄像头和 所述预设激光雷达，分别采集所述预设场景识别模式下不同的场景图像信息；
所述机器人的预设摄像头，设置于机器人的各个面，在机器人处于预设 场景识别模式下时，根据所处的预设场景识别模式选择开启不同的预设个数 的摄像头和预设激光雷达，以获取周围环境的场景图像信息，所述场景图像 信息获取的时间可以是预设的，一般情况下，所述场景图像信息获取的时间 间隔越短，根据所述场景图像信息得到的场景图像数据越精确，机器人通过 所述预设摄像头获取第一场景图像子信息，主要包括图像信息，通过预设激 光雷达获取第二场景图像子信息，主要包括场景物体的轮廓信息。
步骤S12，通过对所述不同的场景图像信息进行信息融合处理，得到在所 述预设场景识别模式下的场景图像数据；
对预设摄像头和预设激光雷达采集到的所述场景图像数据进行信息融合 处理，所述信息融合处理指对从单个或多个信息源获取的数据或信息进行关 联、相关和综合，在一定的准则下加以自动分析和综合处理的过程，同时也 是信息处理时不断自我修正的过程，机器人对预设摄像头和预设激光雷达两 个信息源采集的所述不同的场景图像信息进行信息融合处理，得到在所述预 设场景识别模式下的场景图像数据。
步骤S13，根据所述场景图像数据，提取障碍物的属性信息和运行信息。
机器人根据所述场景图像数据，识别所述预设场景模式下的障碍物，并 利用预设的算法分别提取所述障碍物的属性信息和运行信息，通过信息融合 处理，将预设摄像头获取的信息与预设激光雷达获取的信息进行互补，实现 快速精准地获取所述障碍物的属性信息和运行信息。
机器人处于预设场景识别模式下时，利用所述预设摄像头和所述预设激 光雷达，分别采集所述预设场景识别模式下不同的场景图像信息，通过信息 融合处理，将通过所述预设摄像头获取的第一场景图像子信息与通过所述预 设激光雷达获取的第二场景图像子信息进行关联、融合和互补，例如利用所 述预设摄像头弥补所述预设激光雷达的视角盲区，同时利用所述激光雷达对 障碍物进行追踪，补全所述预设摄像头获取的障碍物的运行轨迹，从而实现 对障碍物的快速精准的识别与定位追踪。
所述所述根据所述场景图像数据，提取障碍物的属性信息和运行信息包 括以下步骤A11-A13：
步骤A11，从所述机器人的场景图像数据中提取所述障碍物的类型以及 所述障碍物的识别号，并提取所述障碍物的运动参数；
利用预设算法对获取的场景图像进行解析，提取障碍物的类型和识别号， 其中，根据场景图像的解析结果中对障碍物特征的识别结果，确定障碍物的 类型，通过获取障碍物的编号得到障碍物的识别号；提取障碍物的运动参数 是指根据场景图像的解析结果，确定障碍物是固定障碍物还是运动障碍物， 并获取障碍物的相对坐标，通过跟踪障碍物的相对坐标获取障碍物的运动方 向。
步骤A12，通过所述预设激光雷达识别所述障碍物的轮廓信息，基于不 同时间段变化的所述轮廓信息，确定所述障碍物的运动信息；
机器人通过预设激光雷达对障碍物进行跟踪，并获取障碍物的轮廓信息， 然后根据不同时间段轮廓信息的位置变化和位置变化的速度，确定障碍物的 运动轨迹和运动速度，得到障碍物的运动信息。
步骤A13，整合所述障碍物的运动参数以及所述障碍物的运动信息，得 到所述障碍物的运行信息。
整合障碍物的运动参数以及所述障碍物的运动信息即：将通过预设摄像 头和预设激光雷达获取的障碍物的信息进行合并，预设摄像头和预设激光雷 达获取到的同一障碍物的信息互为补充，通过障碍物的属性信息和识别号进 行关联匹配，从而得到障碍物的完整的运行信息。
步骤S20，根据所述障碍物的属性信息和运行信息，对所述机器人的前进 路径进行规划，得到目标规划路径。
机器人在接收到指令时，通过对所述指令进行解析，获取目的地信息， 根据目的地信息，规划初始路径，在实际行驶时，根据周围环境中的障碍物 信息不断对初始路径进行调整，对前进路径重新规划，得到目标规划路径。
所述根据所述障碍物的属性信息和运行信息，对所述机器人的前进路径 进行规划，包括以下步骤D1-D3：
步骤D1，获取目的地信息，根据目的地信息对前进路径进行规划，得到 初始路径；
器人在接收到指令时，通过对所述指令进行解析，获取目的地信息，所 述目的地信息包括与机器人之间的相对距离、相对方向等，机器人根据目的 地信息，规划初始路径，所述初始路径可能有多个，是机器人在行驶前，利 用导航或定位装置，根据目的地信息初步规划的大致路径，机器人可以按照 预设原则选择其中一条作为初始路径，所述预设原则可以是预计时间最短、 距离最近或者路口最少。
步骤D2，根据所述障碍物的属性信息和运行信息，对所述初始路径重新 规划并调整，得到目标规划路径。
当机器人在初始路径上行驶时，通过对获取的场景图像的解析结果，得 到周围障碍物的属性信息和运行信息，机器人需要根据障碍物的属性信息和 运行信息，确定前进策略。
所述根据障碍物的属性信息和运行信息，确定前进策略，包括以下步骤 D11-D12：
步骤D11，根据所述障碍物的属性信息和运行信息，获取周围环境中运 动的障碍物，确定所述运动障碍物的接近状态；
机器人通过障碍物的属性信息和运行信息，可以确定周围运动的障碍物， 通过预设激光雷达对各个障碍物的追踪，可以确定各个障碍物相对机器人的 接近状态。
步骤D12，根据所述运动障碍物的接近状态，确定所述机器人的停止区 域、加速区域、减速区域、绕行区域和直线行驶区域，得到前进策略。
所述根据所述运动障碍物的接近状态，确定所述机器人的停止区域、加 速区域、减速区域、绕行区域和直线行驶区域，得到前进策略，具体地，指 机器人在原目标规划路径中行驶，识别到固定障碍物时，要绕过固定障碍物， 识别到运动障碍物时，需要根据障碍物的运动方向和运动速度确定加速或者 减速行驶，例如，当机器人按照原目标规划路径直线行驶时，识别到前方存 在一个运动速度小于自身运动速度，且与机器人同向行驶的车辆时，为避免 发生碰撞，机器人会在与障碍物的距离小于预设安全距离时减速行驶，所述 原目标规划路径可以是初始路径或经过调整的初始路径。
本实施例给出一种具体的应用场景：机器人在过路口斑马线时，包括以 下步骤E1-E4：
步骤E1，识别路口，设计斑马线；
机器人从预设摄像头获取的图像中识别出场景道路的路口，对斑马线进 行标记，斑马线两端分别为机器人的识别点，标记为第一识别点和第二识别 点，其中，机器人将自身所在的位置标记为第一识别点，将其穿过斑马线要 到达的位置标记为第二识别点，斑马线标记为前进路径。
步骤E2，判断路口识别点是否可通行；
机器人在第一识别点时，暂停以识别路口处的车辆、行人等障碍物，此 时机器人应启动预设个数的摄像头获取不同方向的场景图像，在预设时间内， 识别到路口无运动障碍物，确定路口可通行，若识别到有运动障碍物，确定 路口不可通行。
步骤E3，确定过斑马线的前进策略；
当确定路口可通行时，机器人根据周围运动障碍物的接近状态和运动速 度，确定在从第一识别点到斑马线、从斑马线到第二识别点两个区域内，加 速行驶和减速行驶的情况，整合两个区域的加速和减速行驶策略，得到机器 人通过路口斑马线的整体前进策略。
步骤E4，得到通过路口斑马线的目标规划路径。
整合机器人通过路口斑马线需要从第一识别点穿过斑马线，到达第二识 别点的原目标规划路径，以及机器人通过所述路口识别点的前进策略，就得 到机器人通过所述路口识别点的一个目标规划路径。
步骤D3，根据所述前进策略，对所述初始路径路径重新规划并调整，得 到目标规划路径。
机器人在沿着初始路径行驶的过程中，会根据障碍物和路况对初始路径 进行修改和调整，尤其是当初始路径较长或因路况导致的路径多曲折时，具 体地，本实施例对初始路径需要修改的情况进行举例说明，例如，当初始规 划路径上出现道路临时封堵，或移动物(如车辆)过多导致路径拥堵时，机 器人会对初始路径进行修改，参考现有的道路导航方案，当推荐路线上出现 拥堵时，导航程序会对推荐路线进行修改，但不同的是，现有技术中的路线 修改是在已知线路的基础上，进行的路线排列组合，而本申请中对机器人的 初始路径可能不是(可以通过卫星定位技术)获取的现有道路的排列组合， 由于机器人的初始路径可能较短或没有明显可辩的道路可供机器人行走(例 如广场上的一点到另一点)，在这种情况下，机器人的初始路径的修改与现 有技术中导航推荐路径的修改有着本质不同。而可以理解的是，本申请中对 初始路径进行修改的方法可以是，与初始路径上及其附近存在的可移动装置 (可以是其他与本申请中的机器人具有相同功能的其他机器人)进行通信， 以通过该可移动装置获取该可移动装置附近初始路径上障碍物运动状态，若 该可移动装置附近初始路径上障碍物较多且运行缓慢时，机器人便可以重新 对移动路径进行规划，得到目标规划路径，可知地，机器人还可以根据自身 与上述可移动装置的距离，以及该可移动装置获取的其附近初始路径上障碍 物的数量和移动速度，初步估计机器人到达该可移动装置的时间，以及该可 移动装置附近初始路径上障碍物通过的时间，即判断机器人到达初始路径上 该可移动装置附近的点时，拥堵状况是否缓解，由上述实施例内容可知，初 始路径的修改方法是多样的。
本申请实施例提供一种机器人前进路径的规划方法，与现有技术中，只 是通过摄像头对障碍物进行识别，导致配送机器人物资配送过程中存在安全 性差，配送效率低的问题相比，本申请通过在机器人处于预设场景识别模式 下时，利用机器人的预设摄像头和预设激光雷达采集不同的场景图像信息， 对所述不同的场景图像信息进行信息融合处理，得到场景图像数据，并从所 述场景图像数据中提取在所述预设场景识别模式下的障碍物的属性信息和运 行信息；根据所述障碍物的属性信息和运行信息，对所述机器人的前进路径进行规划，得到目标规划路径。由于在本申请中，结合预设摄像头和预设激 光雷达对障碍物的属性信息和运行信息进行识别，而不只是单独通过摄像头 对障碍物进行识别，因而，能够准确识别障碍物，并且，能够及时准确地对 所述机器人的前进路径进行规划，得到目标规划路径，机器人按照目标规划 路径行驶，可以及时躲避障碍物，确保机器人自身的安全性，解决了现有技 术中无人配送机器人物资配送过程中存在的安全性差，配送效率低的问题。
本申请实施例提供一种机器人前进路径的规划方法，在本申请机器人前 进路径的规划方法的另一实施例中，所述从所述机器人的场景图像数据中提 取所述障碍物的类型以及所述障碍物的识别号，包括以下步骤A1-A2：
步骤A1，比对所述场景图像数据中相邻两帧的场景图像，得到所述场景 图像中的障碍物，对每一个所述障碍物进行编码，得到所述障碍物的识别号；
在获取的场景图像中，通过对比相邻两帧的图像，可以确定环境中物体 位置的变化信息，由于摄像头获取图像时，获取相邻两帧图像时的时间间隔 很短，因此对于同一场景的相邻的两帧图像而言，像素和尺寸变化不大，机 器人可以通过选取所述场景图像中的物体上的一个点和所述场景图像边缘上 的一个点作为固定参考点，通过对比所述场景图像中，物体上的固定参考点 和图像边缘上的固定参考点之间的相对距离和相对方向是否发生变化，判断 出场景图像中的哪些物体是运动物体，哪些物体是静止物体，把静止物体作 为背景参照物，对运动物体进行编码，每个物体的编码都是唯一的，所述编 码即为障碍物的识别号，同一类型的障碍物识别号也不相同，可用于机器人 对激光雷达追踪的目标进行区分。
步骤A2，获取所述障碍物的图像信息，根据预设训练模型对所述图像信 息进行特征提取处理，得到所述障碍物的类型。
所述预设训练模型是基于具有预设类型标签的障碍物数据，对预设基础 模型进行迭代训练后，得到的目标模型，预设训练模型的一种优选模型为基 于深度学习的yolov4(无对应中文名称)目标检测模型，首先根据预设类型 标签的障碍物数据，建立样本数据库，用yolov4模型对样本数据进行训练， 直到模型输出的识别精度和响应速度达到预设完成条件，基于样本数据的训 练结果，机器人在获取场景图像后，利用yolov4目标检测模型可以快速准确 地提取障碍物的特征并进行识别，得到障碍物的类型，即确定障碍物是行人、 车辆还是其它固定的障碍物，例如，机器人在直行行驶时识别到前方一个识 别号为001，类型为行人的障碍物。
在本实施例中，通过预设摄像头识别障碍物的类型并对障碍物进行编号， 获取障碍物的属性信息，便于激光雷达多目标跟踪时进行目标区分，相比于 现有机器人，本发明实现了障碍物属性信息的快速精准识别。
本申请实施例提供一种机器人前进路径的规划方法，在本申请机器人前 进路径的规划方法的另一实施例中，所述提取所述障碍物的运动参数，包括 以下步骤B1-B4：
步骤B1，基于所述场景图像数据，确定场景道路，并确定所述障碍物与 所述场景道路的接触点；
利用预设的目标检测模型对场景图像数据进行识别，得到场景图像中各 物体的类型，选取场景道路，并选取障碍物与场景道路之间距离为0的一点 作为障碍物与场景道路的接触点。
步骤B2，基于所述场景图像数据，确定所述障碍物在场景图像上的投影 高度和所述预设摄像头距离所述场景道路的安装高度，并确定所述预设摄像 头的成像距离，以得到所述障碍物到所述预设摄像头的相对距离；
通过实验测量，可得到预设摄像头的成像距离和距离场景道路的安装高 度，根据图像透视原理，通过障碍物在场景图像上的投影高度，就可以计算 出障碍物和预设摄像头之间的相对距离。
步骤B3，根据所述相对距离和所述预设摄像头的标定参数，得到所述障 碍物的相对坐标；
预设摄像头的标定参数指摄像头的内参和畸变参数，是摄像头自带的属 性参数，可以通过实验的方法测量，通常无法消除，但可以运用一定的方法 和手段进行补偿或修正，所述根据所述相对距离和所述预设摄像头的标定参 数，得到所述障碍物的相对坐标是指，在已知障碍物的相对距离的前提下， 机器人可以通过创建空间坐标系，对障碍物进行定位，补偿或修正摄像头的 标定参数后，得到障碍物的相对坐标。
步骤B4，对所述障碍物的相对坐标进行跟踪，确定所述障碍物的运动方 向。
若障碍物是运动的，其相对坐标是不断变化的，通过利用预设跟踪算法 对障碍物的相对坐标进行跟踪，得到障碍物的运动方向，即障碍物的运动参 数，所述预设跟踪算法中的一种优选算法为卡尔曼滤波跟踪算法，是一种基 于最小均方误差的最优线性递归滤波方法，以状态方程和观测方程为基础， 运用递归方法来预测线性系统变化，利用该算法，可以得到障碍物的运动方 向，预估障碍物的运动趋势，为机器人对前进路径的规划提供信息支持，卡 尔曼滤波跟踪算法的状态方程和观测方程如下：
xk＝Ak,k-1xk-1+ξk-1 (1)
zk＝Hkzk+ηk (2)
xk是k时刻的状态向量，A是状态系统矩阵，ξ是状态系统噪声；zk是 k时刻的观测向量，H是观测系统矩阵，η是观测系统噪声，系统噪声假设为 不相关的零均值的高斯白噪声，ξ，η协方差分别为Q、R。卡尔曼滤波可概 述为状态预测过程(方程3-4)和状态修正过程(方程5-7)：
状态预测方程：
Figure BDA0002699542350000181
误差协方差预测方程：
Figure BDA0002699542350000182
卡尔曼滤波增益：
Figure BDA0002699542350000183
状态修正方程：
Figure BDA0002699542350000184
修正误差协方差矩阵：
Pk＝Pk,k-1-KkHkPk,k-1 (7)
状态预测方程以状态方程为基础，求状态预测向量
Figure BDA0002699542350000185
和误差协方差预测 向量Pk,k-1状态修正方程以观测方程为基础，修正状态预测向量，得到向量
Figure BDA0002699542350000186
并 通过计算求出最小误差协方差矩阵，利用卡尔曼滤波算法，通过对同一场景 的相邻两张图像中的物体进行观测和状态修正，可以识别出运动物体和静止 物体，将静止物体作为背景物体进行参考，把运动物体作为障碍物进行连通 计算，可以检测出运动障碍物并用激光雷达对其进行跟踪，通过分析障碍物 的状态预测方程，可以预测障碍物的运动趋势，为机器人做前进路径的规划 提供信息支持。
如上所述，若障碍物是运动的，对障碍物进行跟踪，机器人可以通过对 摄像头获取的障碍物图像进行连通计算判断障碍物是否运动，在直线行驶时 也可以通过激光雷达利用预设算法判断障碍物是否运动，所述预设算法中的 一种优选算法为三边余弦原理，具体如下：
机器人在直线行驶时，若识别到障碍物，可通过激光雷达获取与障碍物 之间的相对距离，通过三边余弦定理确定障碍物是否运动，如图4所示，假 设把障碍物标记为A点，即机器人的观测点，机器人识别到障碍物时的点作 为起始点，标记为B点，行驶一段时间后，获取与障碍物相对距离的点称为 第一状态点，标记为C点，机器人再行驶一定距离后，对障碍物进行第二次 观测以获取与障碍物的相对距离等信息，第二次进行观测的点为机器人的第 二状态点，标记为D点，通过机器人预设的里程计，可得到机器人从B点到 C点和从C点到D点前进的距离，即BC和CD的长度，机器人在所述初始 点和所述第一状态点处通过预设激光雷达可以获取A点与B点之间和A点与 C点之间的距离，利用三边余弦定理，可以得到AB和BC之间的夹角，记为 角β1，在所述第二状态点D点获取A点与D点之间的距离，即AD的长度， 通过三边余弦定理，得到AB与BD之间的夹角，记为β2，计算公式如下(公 式8)：
三边余弦定理公式：
Figure RE-GDA0002887126830000191
由公式(8)可得：
Figure RE-GDA0002887126830000192
Figure RE-GDA0002887126830000193
机器人通过对比β1和β2的余弦值判断障碍物是否运动，若β1和β2的 余弦值相等，则障碍物是静止的，若不相等，则可以确定障碍物是运动的。
本实施例中，结合预设摄像头和激光雷达，得到障碍物的运动参数，具 体表现为，机器人利用预设摄像头获取障碍物的图像，获取障碍物的属性信 息后，利用激光雷达对障碍物进行跟踪，补全摄像头获取的运动障碍物的轨 迹信息，并可以获取障碍物的运动速度和相对距离等，同时，机器人通过摄 像头获取的图像也可以计算出与障碍物的相对距离，当障碍物处于激光雷达 的视角盲区时，机器人可以通过安装在该障碍物方向上的摄像头获取到的图 像计算与障碍物的相对距离，弥补了雷达的视角盲区，实现了对障碍物的全方位的识别、跟踪和定位。
本申请实施例提供一种机器人前进路径的规划方法，在本申请机器人前 进路径的规划方法的另一实施例中，所述提取所述障碍物的运动信息，包括 以下步骤C1-C2：
步骤C1，通过所述预设激光雷达，识别所述障碍物的轮廓，以得到所述 障碍物的轮廓信息，根据所述障碍物的轮廓信息确定所述障碍物的质心；
机器人通过预设激光雷达对障碍物进行跟踪，并获取障碍物的轮廓信息， 当障碍物在预设激光雷达的方向上存在遮挡或重叠时，预设激光雷达获取到 的所述轮廓信息可能存在重合，但所述预设激光雷达无法对障碍物重合部分 的所述轮廓信息进行分割，因此机器人无法区分不同的障碍物的所述轮廓信 息，因此通过所述预设激光雷达获取的障碍物的所述轮廓信息不一定是完整 的或完全正确的，需要根据障碍物的相对坐标和属性信息，与预设摄像头获 取的场景图像中的障碍物进行匹配，通过信息融合处理，预设激光雷达就可 以准确分割单个障碍物的轮廓，补全单个障碍物的所述轮廓信息，机器人根 据障碍物的完整轮廓，确定障碍物的质心。
步骤C2，获取不同时间段内所述障碍物的质心的位置变化，确定所述障 碍物的运动轨迹和运动速度。
机器人通过预设激光雷达对障碍物进行追踪，主要是追踪障碍物的质心， 根据障碍物的质心位置的变化和质心位置变化的速度，确定障碍的定障碍物 的运动轨迹和运动速度，得到障碍物的运动信息。
本实施例通过激光雷达获取障碍物的轮廓图像，通过障碍物的相对坐标 和属性信息，与摄像头获取的图像中的障碍物进行信息融合处理，得到障碍 物完整的轮廓信息，从而确定障碍物的质心，通过获取障碍物质心的相对坐 标，对障碍物进行定位跟踪，得到障碍物的运动轨迹，根据摄像头获取的障 碍物的运动方向，可以预估障碍物的运动趋势，通过摄像头获取的图像信息 对通过激光雷达获取的信息进行了补充，为机器人对前进路径的规划提供了 信息支持。
本发明第一实施例提供一种机器人前进路径的规划装置，基所述机器人 前进路径的规划装置包括：
场景识别模块，用于在机器人处于预设场景识别模式下时，结合机器人 的预设摄像头和预设激光雷达，得到在所述预设场景识别模式下的障碍物的 属性信息和运行信息；
路径规划模块，用于根据所述障碍物的属性信息和运行信息，对所述机 器人的前进路径进行规划，得到目标规划路径。
可选地，所述场景识别模块，包括：
图像信息采集单元，用于在机器人处于预设场景识别模式下时，利用所 述预设摄像头和所述预设激光雷达，分别采集所述预设场景识别模式下不同 的场景图像信息；
信息融合处理单元，用于通过对所述不同的场景图像信息进行信息融合 处理，得到在所述预设场景识别模式下的场景图像数据；
信息提取单元，用于根据所述场景图像数据，提取障碍物的属性信息和 运行信息。
可选地，所述场景识别模块，还包括：
数据提取单元，用于从所述机器人的场景图像数据中提取所述障碍物的 类型以及所述障碍物的识别号，并提取所述障碍物的运动参数；
运动信息提取单元，用于通过所述预设激光雷达识别所述障碍物的轮廓 信息，基于不同时间段变化的所述轮廓信息，确定所述障碍物的运动信息；
数据整合单元，用于整合所述障碍物的运动参数以及所述障碍物的运动 信息，得到所述障碍物的运行信息。
可选地，所述场景识别模块，还包括：
接触点确定单元，用于基于所述场景图像数据，确定场景道路，并确定 所述障碍物与所述场景道路的接触点；
相对距离确定单元，用于基于所述场景图像数据，确定所述障碍物在场 景图像上的投影高度和所述预设摄像头距离所述场景道路的安装高度，并确 定所述预设摄像头的成像距离，以得到所述障碍物到所述预设摄像头的相对 距离；
相对坐标获取单元，用于根据所述相对距离和所述预设摄像头的标定参 数，得到所述障碍物的相对坐标；
目标跟踪单元，用于对所述障碍物的相对坐标进行跟踪，确定所述障碍 物的运动方向。
可选地，所述场景识别模块，还包括：
质心获取单元，用于通过所述预设激光雷达，识别所述障碍物的轮廓， 以得到所述障碍物的轮廓信息，根据所述障碍物的轮廓信息确定所述障碍物 的质心；
运动信息获取子单元，用于获取不同时间段内所述障碍物的质心的位置 变化，确定所述障碍物的运动轨迹和运动速度，得到所述障碍物的运动信息。
可选地，所述场景识别模块，还包括：
编码单元，用于比对所述场景图像数据中相邻两帧的场景图像，得到所 述场景图像中的障碍物，对每一个所述障碍物进行编码，得到所述障碍物的 识别号；
类型识别单元，用于获取所述障碍物的图像信息，根据预设训练模型对 所述图像信息进行特征提取处理，得到所述障碍物的类型；
可选地，所述场景识别模块，包括：
目的地信息获取单元，用于获取目的地信息，对前进路径进行规划，得 到初始路径；
路径规划单元，用于根据所述障碍物的属性信息和运行信息，对所述初 始路径进行重新规划并调整，得到目标规划路径。
可选地，所述场景识别模块，还包括：
接近状态确定单元，用于根据所述障碍物的属性信息和运行信息，获取 周围环境中运动的障碍物，确定所述运动障碍物的接近状态；
前进策略确定单元，用于根据所述运动障碍物的接近状态，确定所述机 器人的停止区域、加速区域、减速区域、绕行区域和直线行驶区域，得到前 进策略；
路径规划子单元，用于根据所述前进策略，对所述初始路径进行重新规 划并调整，得到目标规划路径。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在 涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系 统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括 为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下， 由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物 品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、 磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机， 服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是 利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间 接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种机器人前进路径的规划方法，其特征在于，所述机器人前进路径的规划方法包括：
在机器人处于预设场景识别模式下时，结合机器人的预设摄像头和预设激光雷达，得到在所述预设场景识别模式下的障碍物的属性信息和运行信息；
根据所述障碍物的属性信息和运行信息，对所述机器人的前进路径进行规划，得到目标规划路径。
2.如权利要求1所述的机器人前进路径的规划方法，其特征在于，所述在机器人处于预设场景识别模式下时，结合机器人的预设摄像头和预设激光雷达，得到在所述预设场景识别模式下的障碍物的属性信息和运行信息的步骤，包括：
在机器人处于预设场景识别模式下时，利用所述预设摄像头和所述预设激光雷达，分别采集所述预设场景识别模式下的不同场景图像信息；
对所述不同的场景图像信息进行信息融合处理，得到在所述预设场景识别模式下的场景图像数据；
根据所述场景图像数据，提取障碍物的属性信息和运行信息。
3.如权利要求2所述的机器人前进路径的规划方法，其特征在于，所述预设场景识别模式包括障碍物场景模式，所述属性信息包括障碍物的类型和识别号；
所述根据所述场景图像数据，提取障碍物的属性信息和运行信息的步骤，包括：
从所述机器人的场景图像数据中提取所述障碍物的类型以及所述障碍物的识别号，并提取所述障碍物的运动参数；
通过所述预设激光雷达识别所述障碍物的轮廓信息，基于不同时间段变化的所述轮廓信息，确定所述障碍物的运动信息；
整合所述障碍物的运动参数以及所述障碍物的运动信息，得到所述障碍物的运行信息。
4.如权利要求3所述的机器人前进路径的规划方法，其特征在于，所述障碍物的运动参数包括障碍物的运动方向，所述提取所述障碍物的运动参数的步骤，包括：
基于所述场景图像数据，确定场景道路，并确定所述障碍物与所述场景道路的接触点；
基于所述场景图像数据，确定所述障碍物在场景图像上的投影高度和所述预设摄像头距离所述场景道路的安装高度，并确定所述预设摄像头的成像距离，以得到所述障碍物到所述预设摄像头的相对距离；
根据所述相对距离和所述预设摄像头的标定参数，得到所述障碍物的相对坐标；
对所述障碍物的相对坐标进行跟踪，确定所述障碍物的运动方向。
5.如权利要求3所述的机器人前进路径的规划方法，其特征在于，所述障碍物的运动信息包括障碍物的运动轨迹和运动速度，所述通过所述预设激光雷达识别所述障碍物的轮廓信息，基于不同时间段变化的所述轮廓信息，确定所述障碍物的运动信息的步骤，包括：
通过所述预设激光雷达，识别所述障碍物的轮廓，以得到所述障碍物的轮廓信息，根据所述障碍物的轮廓信息确定所述障碍物的质心；
获取不同时间段内所述障碍物的质心的位置变化，确定所述障碍物的运动轨迹和运动速度。
6.如权利要求3所述的机器人前进路径的规划方法，其特征在于，所述从所述机器人的场景图像数据中提取所述障碍物的类型以及所述障碍物的识别号的步骤，包括：
比对所述场景图像数据中相邻两帧的场景图像，得到所述场景图像中的障碍物，对每一个所述障碍物进行编码，得到所述障碍物的识别号；
获取所述障碍物的图像信息，根据预设训练模型对所述图像信息进行特征提取处理，得到所述障碍物的类型；
其中，所述预设训练模型是基于具有预设类型标签的障碍物数据，对预设基础模型进行迭代训练后，得到的目标模型。
7.如权利要求1所述的机器人前进路径的规划方法，其特征在于，所述根据所述障碍物的属性信息和运行信息，对所述机器人的前进路径进行规划，得到目标规划路径的步骤，包括：
获取目的地信息，根据目的地信息对前进路径进行规划，得到初始路径；
根据所述障碍物的属性信息和运行信息，对所述初始路径重新规划并调整，得到目标规划路径。
8.如权利要求7所述的机器人前进路径的规划方法，其特征在于，所述根据所述障碍物的属性信息和运行信息，对所述初始路径重新规划并调整，得到目标规划路径的步骤，包括：
根据所述障碍物的属性信息和运行信息，获取周围环境中运动的障碍物，确定所述运动障碍物的接近状态；
根据所述运动障碍物的接近状态，确定所述机器人的停止区域、加速区域、减速区域、绕行区域和直线行驶区域，得到前进策略；
根据所述前进策略，对所述初始路径重新规划并调整，得到目标规划路径。
9.一种机器人前进路径的规划设备，其特征在于，所述机器人前进路径的规划设备包括：存储器、处理器以及存储在存储器上的用于实现所述机器人前进路径的规划方法的程序，所述处理器用于执行实现所述机器人前进路径的规划方法的程序，以实现如权利要求1至7中任一项所述机器人前进路径的规划方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有实现机器人前进路径的规划方法的程序，所述实现机器人前进路径的规划方法的程序被处理器执行以实现如权利要求1至7中任一项所述机器人前进路径的规划方法的步骤。
CN202011019495.4A 2020-09-24 2020-09-24 机器人前进路径的规划方法、设备及存储介质 Pending CN112363494A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011019495.4A CN112363494A (zh) 2020-09-24 2020-09-24 机器人前进路径的规划方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011019495.4A CN112363494A (zh) 2020-09-24 2020-09-24 机器人前进路径的规划方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112363494A true CN112363494A (zh) 2021-02-12

Family

ID=74507606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011019495.4A Pending CN112363494A (zh) 2020-09-24 2020-09-24 机器人前进路径的规划方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112363494A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114167871A (zh) * 2021-12-06 2022-03-11 北京云迹科技有限公司 一种障碍物检测方法、装置、电子设备和存储介质
CN114326707A (zh) * 2021-11-30 2022-04-12 深圳优地科技有限公司 机器人的移动控制方法、机器人及计算机可读存储介质
CN114494848A (zh) * 2021-12-21 2022-05-13 重庆特斯联智慧科技股份有限公司 一种机器人视距路径确定方法和装置
WO2022188333A1 (zh) * 2021-03-09 2022-09-15 美智纵横科技有限责任公司 一种行走方法、装置和计算机存储介质
CN115381354A (zh) * 2022-07-28 2022-11-25 广州宝乐软件科技有限公司 清洁机器人的避障方法、避障装置、存储介质和设备
CN115755890A (zh) * 2022-11-01 2023-03-07 南京傲翼飞控智能科技有限公司 基于数据处理的除草任务路径规划方法及装置
CN115752481A (zh) * 2022-12-09 2023-03-07 广东车卫士信息科技有限公司 基于图像识别的ar导航方法、ar眼镜、介质、设备
CN116203970A (zh) * 2023-04-27 2023-06-02 泰坦(天津)能源技术有限公司 一种巡检机器人的智能避障方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101359229A (zh) * 2008-08-18 2009-02-04 浙江大学 一种基于障碍物运动预测的移动机器人避障方法
CN107422730A (zh) * 2017-06-09 2017-12-01 武汉市众向科技有限公司 基于视觉导引的agv运输系统及其驾驶控制方法
CN107664504A (zh) * 2016-07-29 2018-02-06 法乐第(北京)网络科技有限公司 一种路径规划装置
CN110210280A (zh) * 2019-03-01 2019-09-06 北京纵目安驰智能科技有限公司 一种超视距感知方法、系统、终端和存储介质
CN110946508A (zh) * 2018-09-27 2020-04-03 广东美的生活电器制造有限公司 使用激光雷达和摄像头的扫地机器人的控制方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101359229A (zh) * 2008-08-18 2009-02-04 浙江大学 一种基于障碍物运动预测的移动机器人避障方法
CN107664504A (zh) * 2016-07-29 2018-02-06 法乐第(北京)网络科技有限公司 一种路径规划装置
CN107422730A (zh) * 2017-06-09 2017-12-01 武汉市众向科技有限公司 基于视觉导引的agv运输系统及其驾驶控制方法
CN110946508A (zh) * 2018-09-27 2020-04-03 广东美的生活电器制造有限公司 使用激光雷达和摄像头的扫地机器人的控制方法及装置
CN110210280A (zh) * 2019-03-01 2019-09-06 北京纵目安驰智能科技有限公司 一种超视距感知方法、系统、终端和存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022188333A1 (zh) * 2021-03-09 2022-09-15 美智纵横科技有限责任公司 一种行走方法、装置和计算机存储介质
CN114326707A (zh) * 2021-11-30 2022-04-12 深圳优地科技有限公司 机器人的移动控制方法、机器人及计算机可读存储介质
CN114326707B (zh) * 2021-11-30 2024-05-10 深圳优地科技有限公司 机器人的移动控制方法、机器人及计算机可读存储介质
CN114167871A (zh) * 2021-12-06 2022-03-11 北京云迹科技有限公司 一种障碍物检测方法、装置、电子设备和存储介质
CN114494848A (zh) * 2021-12-21 2022-05-13 重庆特斯联智慧科技股份有限公司 一种机器人视距路径确定方法和装置
CN114494848B (zh) * 2021-12-21 2024-04-16 重庆特斯联智慧科技股份有限公司 一种机器人视距路径确定方法和装置
CN115381354A (zh) * 2022-07-28 2022-11-25 广州宝乐软件科技有限公司 清洁机器人的避障方法、避障装置、存储介质和设备
CN115755890A (zh) * 2022-11-01 2023-03-07 南京傲翼飞控智能科技有限公司 基于数据处理的除草任务路径规划方法及装置
CN115752481A (zh) * 2022-12-09 2023-03-07 广东车卫士信息科技有限公司 基于图像识别的ar导航方法、ar眼镜、介质、设备
CN115752481B (zh) * 2022-12-09 2023-09-01 广东车卫士信息科技有限公司 基于图像识别的ar导航方法、ar眼镜、介质、设备
CN116203970A (zh) * 2023-04-27 2023-06-02 泰坦(天津)能源技术有限公司 一种巡检机器人的智能避障方法及系统

Similar Documents

Publication Publication Date Title
CN112363494A (zh) 机器人前进路径的规划方法、设备及存储介质
CN111670468B (zh) 移动体行为预测装置以及移动体行为预测方法
CN107031650B (zh) 基于驾驶员肢体语言来预测车辆运动
EP3497405B1 (en) System and method for precision localization and mapping
CN106873580B (zh) 基于感知数据在交叉口处自主驾驶
CN107144285B (zh) 位姿信息确定方法、装置和可移动设备
KR102091580B1 (ko) 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
JP6559535B2 (ja) 障害物マップ生成装置、その方法、及び、そのプログラム
US20190138024A1 (en) Map Automation - Lane Classification
CN110347145A (zh) 用于自动驾驶车辆的感知辅助
EP3605390A1 (en) Information processing method, information processing apparatus, and program
CN111630460A (zh) 自主移动装置的路径规划
RU2661963C1 (ru) Устройство вычисления маршрута движения
CN111353522B (zh) 用于确定车辆周围环境中的路标的方法和系统
EP4036892A1 (en) Detection system for predicting information on pedestrian
KR102456626B1 (ko) 자율 주행 차량의 차선 인지 방법 및 장치
Artuñedo et al. A decision-making architecture for automated driving without detailed prior maps
CN113227712A (zh) 用于确定车辆的环境模型的方法和系统
CN110967018B (zh) 停车场定位方法、装置、电子设备及计算机可读介质
CN108549383A (zh) 一种实时多传感器的社区机器人导航方法
CN112445204A (zh) 工地中的物体移动导航方法、装置和计算机设备
JP2005257314A (ja) 車両位置検出装置
GB2510698A (en) Driver assistance system
JP2014203168A (ja) 危険度判定装置及び危険度判定方法
KR20220073472A (ko) V2x 통신기반 자율주행 혼합류환경 교차로 통합정보 제공 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination