CN114911223B - 一种机器人导航方法、装置、机器人及存储介质 - Google Patents

一种机器人导航方法、装置、机器人及存储介质 Download PDF

Info

Publication number
CN114911223B
CN114911223B CN202110180462.6A CN202110180462A CN114911223B CN 114911223 B CN114911223 B CN 114911223B CN 202110180462 A CN202110180462 A CN 202110180462A CN 114911223 B CN114911223 B CN 114911223B
Authority
CN
China
Prior art keywords
navigation
robot
current
obstacle
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110180462.6A
Other languages
English (en)
Other versions
CN114911223A (zh
Inventor
闫东坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yingdi Mande Technology Co ltd
Original Assignee
Beijing Yingdi Mande Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yingdi Mande Technology Co ltd filed Critical Beijing Yingdi Mande Technology Co ltd
Priority to CN202110180462.6A priority Critical patent/CN114911223B/zh
Publication of CN114911223A publication Critical patent/CN114911223A/zh
Application granted granted Critical
Publication of CN114911223B publication Critical patent/CN114911223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Abstract

本申请提供一种机器人导航方法、装置、机器人及存储介质，该方法包括：获取导航机器人的当前状态信息和图像采集设备采集的当前探测图像，其中，当前状态信息包括当前位置、当前速度和当前姿态；提取当前探测图像的图像特征；根据图像特征和导航机器人的当前状态信息，确定障碍物信息，其中，障碍物信息包括障碍物的类型和位置信息；根据导航机器人的当前位置和障碍物信息，生成导航地图；根据导航地图和导航机器人的当前状态信息，生成导航机器人的导航信息。上述方案提供了一种基于计算机视觉的机器人导航方法，探测范围大，并且可以得到详细的障碍物信息，在解决了现有技术局限性较大的同时，提高了机器人导航结果的可靠性。

Description

一种机器人导航方法、装置、机器人及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种机器人导航方法、装置、机器人及存储介质。
背景技术
智能机器人导航技术是指通过自身携带的传感器有效获取环境和自身位姿的信息，同时完成环境中障碍物和目标的检测，并且自主规划从起始位置运动到目标位置的路径。
在现有技术中，通常利用激光雷达对机器人的运动区域进行探测，如根据雷达信号确定障碍物的位置，进而控制机器人避开障碍物。
但是，对于扫地机器人，即便激光雷达安装于机器人顶部，也只能对固定范围内的障碍物进行探测，局限性较大，难以保障机器人导航结果的可靠性。
发明内容
本申请提供一种机器人导航方法、装置、机器人及存储介质，以解决现有技术的局限性较大等缺陷。
本申请第一个方面提供一种机器人导航方法，应用于一种机器人，所述机器人包括图像采集设备，所述方法包括：
获取导航机器人的当前状态信息和所述图像采集设备采集的当前探测图像，其中，所述当前状态信息包括当前位置、当前速度和当前姿态；
建立当前探测图像对应的点云，在所述点云中提取所述当前探测图像的图像特征；
根据所述图像特征和导航机器人的当前姿态，确定障碍物信息，其中，所述障碍物信息包括障碍物的类型和位置信息；
根据所述导航机器人的当前位置和障碍物信息，生成导航地图；
根据所述导航地图和所述导航机器人的当前状态信息，生成所述导航机器人的导航信息，其中，所述导航信息包括目标状态信息和目标路径。
可选的，所述根据所述导航地图和所述导航机器人的当前状态信息，生成所述导航机器人的导航信息，包括：
获取所述导航机器人的当前计划路径；
根据所述导航地图，对所述当前计划路径进行调整，以得到目标路径；
根据所述导航地图、目标路径和所述当前状态信息，确定所述导航机器人的目标状态信息。
可选的，所述导航地图包括各障碍物对应的障碍物信息，所述根据所述导航地图和所述导航机器人的当前状态信息，生成所述导航机器人的导航信息，包括：
获取当前控制指令；
根据所述当前控制指令，确定所述导航机器人的行驶目的地；
根据所述行驶目的地与所述障碍物信息之间的对应关系及所述导航地图，生成目标路径；
根据所述导航地图、目标路径和所述当前状态信息，确定所述导航机器人的目标状态信息。
可选的，所述根据所述图像特征和导航机器人的当前姿态，确定障碍物信息，包括：
根据所述图像特征，确定障碍物的轮廓信息；
根据所述障碍物的轮廓信息，确定所述障碍物下边界点在预设图像坐标系中对应的像素坐标值；
根据所述导航机器人的当前姿态和所述障碍物的下边界点的像素坐标值，确定所述障碍物与导航机器人之间的距离和相对位置；
根据所述导航机器人的当前位置和所述相对位置，确定所述障碍物的位置信息。
可选的，还包括：
获取障碍物识别模型；
利用所述障碍物识别模型，根据所述当前探测图像，确定所述当前探测图像中的障碍物对应的类型。
可选的，所述根据所述导航机器人的当前姿态和所述障碍物的下边界点的像素坐标值，确定所述障碍物与导航机器人之间的距离，包括：
根据所述当前姿态，确定所述图像采集设备的当前离地高度；
根据所述导航机器人的当前姿态对应的图像水平分辨率、下边界点的像素坐标值和所述当前离地高度，计算所述障碍物与导航机器人之间的距离。
可选的，所述获取导航机器人的当前状态信息，包括：
获取所述导航机器人的原始状态信息；
对所述原始状态信息进行滤波处理，以消除所述导航机器人的俯仰误差及横滚误差，得到所述当前状态信息。
本申请第二个方面提供一种机器人导航装置，应用于一种机器人，所述机器人包括图像采集设备，所述装置包括：
获取模块，用于获取导航机器人的当前状态信息和所述图像采集设备采集的当前探测图像，其中，所述当前状态信息包括当前位置、当前速度和当前姿态；
提取模块，用于建立当前探测图像对应的点云，在所述点云中提取所述当前探测图像的图像特征；
确定模块，用于根据所述图像特征和导航机器人的当前姿态，确定障碍物信息，其中，所述障碍物信息包括障碍物的类型和位置信息；
生成模块，用于根据所述导航机器人的当前位置和障碍物信息，生成导航地图；
导航模块，用于根据所述导航地图和所述导航机器人的当前状态信息，生成所述导航机器人的导航信息，其中，所述导航信息包括目标状态信息和目标路径。
可选的，所述导航模块，具体用于：
获取所述导航机器人的当前计划路径；
根据所述导航地图，对所述当前计划路径进行调整，以得到目标路径；
根据所述导航地图、目标路径和所述当前状态信息，确定所述导航机器人的目标状态信息。
可选的，所述导航地图包括各障碍物对应的障碍物信息，所述导航模块，具体用于：
获取当前控制指令；
根据所述当前控制指令，确定所述导航机器人的行驶目的地；
根据所述行驶目的地与所述障碍物信息之间的对应关系及所述导航地图，生成目标路径；
根据所述导航地图、目标路径和所述当前状态信息，确定所述导航机器人的目标状态信息。
可选的，所述确定模块，具体用于：
根据所述图像特征，确定障碍物的轮廓信息；
根据所述障碍物的轮廓信息，确定所述障碍物下边界点在预设图像坐标系中对应的像素坐标值；
根据所述导航机器人的当前姿态和所述障碍物的下边界点的像素坐标值，确定所述障碍物与导航机器人之间的距离和相对位置；
根据所述导航机器人的当前位置和所述相对位置，确定所述障碍物的位置信息。
可选的，所述确定模块，具体用于：
获取障碍物识别模型；
利用所述障碍物识别模型，根据所述当前探测图像，确定所述当前探测图像中的障碍物对应的类型。
可选的，所述确定模块，具体用于：
根据所述当前姿态，确定所述图像采集设备的当前离地高度；
根据所述导航机器人的当前姿态对应的图像水平分辨率、下边界点的像素坐标值和所述当前离地高度，计算所述障碍物与导航机器人之间的距离。
可选的，所述获取模块，具体用于：
获取所述导航机器人的原始状态信息；
对所述原始状态信息进行滤波处理，以消除所述导航机器人的俯仰误差及横滚误差，得到所述当前状态信息。
本申请第三个方面提供一种机器人，包括：图像采集设备、补光灯、惯性测量单元IMU、传感器单元、至少一个处理器和存储器；
所述图像采集设备用于采集探测图像；所述图像采集设备包括双目摄像头或多目摄像头，所述双目摄像头或多目摄像头设置于机器人机身的侧上方；
所述补光灯用于为所述图像采集设备补光；
所述惯性测量单元IMU和传感器单元用于采集机器人的当前状态信息；至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。
本申请第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一个方面以及第一个方面各种可能的设计所述的方法。
本申请技术方案，具有如下优点：
本申请提供的机器人导航方法、装置、机器人及存储介质，通过获取导航机器人的当前状态信息和图像采集设备采集的当前探测图像，其中，当前状态信息包括当前位置、当前速度和当前姿态；建立当前探测图像对应的点云，在点云中提取当前探测图像的图像特征；根据图像特征和导航机器人的当前状态信息，确定障碍物信息，其中，障碍物信息包括障碍物的类型和位置信息；根据导航机器人的当前位置和障碍物信息，生成导航地图；根据导航地图和导航机器人的当前状态信息，生成导航机器人的导航信息，其中，导航信息包括目标状态信息和目标路径。上述方案提供了一种基于计算机视觉的机器人导航方法，探测范围大，并且可以得到详细的障碍物信息，在解决了现有技术局限性较大的同时，提高了机器人导航结果的可靠性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例基于的机器人导航系统的结构示意图；
图2为本申请实施例提供的机器人导航方法的流程示意图；
图3为本申请实施例提供的示例性的机器人导航系统的结构示意图；
图4为本申请实施例提供的机器人导航装置的结构示意图；
图5为本申请实施例提供的机器人的结构示意图；
图6为本申请实施例提供的一种示例性的机器人的结构示意图；
图7为本申请实施例提供的另一种示例性的机器人的结构示意图；
图8为本申请实施例提供的又一种示例性的机器人的结构示意图；
图9为本申请实施例提供的再一种示例性的机器人的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
在现有技术中，通常利用激光雷达对机器人的运动区域进行探测，如根据雷达信号确定障碍物的位置，进而控制机器人避开障碍物。但是，对于扫地机器人，即便激光雷达安装于机器人顶部，也只能对固定范围内的障碍物进行探测，局限性较大，难以保障机器人导航结果的可靠性。
针对上述问题，本申请实施例提供的机器人导航方法、装置、机器人及存储介质，通过获取导航机器人的当前状态信息和图像采集设备采集的当前探测图像，其中，当前状态信息包括当前位置、当前速度和当前姿态；建立当前探测图像对应的点云，在点云中提取当前探测图像的图像特征；根据图像特征和导航机器人的当前状态信息，确定障碍物信息，其中，障碍物信息包括障碍物的类型和位置信息；根据导航机器人的当前位置和障碍物信息，生成导航地图；根据导航地图和导航机器人的当前状态信息，生成导航机器人的导航信息，其中，导航信息包括目标状态信息和目标路径。上述方案提供了一种基于计算机视觉的机器人导航方法，探测范围大，并且可以得到详细的障碍物信息，在解决了现有技术局限性较大的同时，提高了机器人导航结果的可靠性。
下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明实施例进行描述。
首先，对本申请所基于的机器人导航系统的结构进行说明：
本申请实施例提供的机器人导航方法、装置、机器人及存储介质，如图1所示，为本申请实施例基于的机器人导航系统的结构示意图，主要包括运行电机、数据采集装置和用于导航的机器人导航装置。其中，数据采集装置包括图像采集设备等。具体地，机器人导航装置根据数据采集装置采集到的导航机器人的当前状态信息和当前探测图像，生成导航信息，进一步根据导航信息对运行电机进行控制，以对导航机器人的运行情况进行控制，具体控制导航机器人依照导航信息运行。
本申请实施例提供了一种机器人导航方法，用于对机器人进行导航。应用于一种机器人，该机器人包括图像采集设备。本申请实施例的执行主体为机器人中的处理器，或者其他可用于对机器人的运行情况进行控制的控制单元，采用SDK开发架构。
如图2所示，为本申请实施例提供的机器人导航方法的流程示意图，该方法包括：
步骤201，获取导航机器人的当前状态信息和图像采集设备采集的当前探测图像。
其中，当前状态信息包括当前位置、当前速度和当前姿态。
需要解释的是，图像采集设备具体可以是双目摄像头或多目摄像头等，以得到立体的探测图像，提高导航精度。当前姿态至少包括导航机器人的运行方向。
步骤202，建立当前探测图像对应的点云，在点云中提取当前探测图像的图像特征。
需要解释的是，点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合。
具体地，可以利用常用的图像特征提取技术，在所建立的点云中提取当前探测图像中的边缘特征或轮廓特征等图像特征。
步骤203，根据图像特征和导航机器人的当前姿态，确定障碍物信息。
其中，障碍物信息包括障碍物的类型和位置信息。
具体地，可以根据当前探测图像的图像特征，确定与图像特征相匹配的障碍物类型；根据导航机器人的当前姿态和当前探测图像的图像特征，确定障碍物的位置信息。
步骤204，根据导航机器人的当前位置和障碍物信息，生成导航地图。
需要解释的是，导航地图覆盖导航机器人的当前应用场景，例如，当导航机器人应用于某室内时，室内的整个地面范围对应导航地图的覆盖范围，导航地图的坐标也就对应地面的实际坐标。
具体地，在导航机器人的初始状态下，导航地图为空。在导航机器人运行的过程中，对应用场景的覆盖范围进行了探测，同时对该场景下的障碍物(如家具和建筑物等)进行探测，得到各障碍物对应的障碍物信息。在进行探测的过程中，对导航地图进行更新，以使导航地图与实际的应用场景相贴合。
步骤205，根据导航地图和导航机器人的当前状态信息，生成导航机器人的导航信息。
其中，导航信息包括目标状态信息和目标路径。
需要解释的是，目标状态信息是指在当前情况下的目标速度和目标姿态，具体是指目标运行方向和对应的目标速度。
具体地，在一实施例中，可以获取导航机器人的当前计划路径；根据导航地图，对当前计划路径进行调整，以得到目标路径；根据导航地图、目标路径和当前状态信息，确定导航机器人的目标状态信息。
具体地，在得到导航地图的当前计划路径后，根据导航地图所反馈的障碍物信息，如当前计划路径上有不可撞的障碍物等，结合导航地图对当前计划进行进行调整，得到调整后的目标路径。相应的，根据导航机器人与障碍物之间的距离和相对位置等，对导航机器人的状态信息进行调整，如减速、加速、向右转或向左转等。
在上述实施例的基础上，为了提高机器人的人机交互能力，作为一种可实施的方式，导航地图包括各障碍物对应的障碍物信息，在一实施例中，根据导航地图和导航机器人的当前状态信息，生成导航机器人的导航信息，包括：
步骤2051，获取当前控制指令；
步骤2052，根据当前控制指令，确定导航机器人的行驶目的地；
步骤2053，根据行驶目的地和导航地图，生成目标路径；
步骤2054，根据导航地图、目标路径与障碍物信息之间的对应关系及当前状态信息，确定导航机器人的目标状态信息。
其中，所获取的当前控制指令可以是操作人员的语音信息。具体地，操作人员可以说出语音指令，通过对采集到的语音指令进行语义识别，确定对应的语音信息，即当前控制指令。
需要解释的是，当前控制指令可以是控制导航机器人运行到某一指定位置(行驶目的地)，如餐桌处等。其中，餐桌的具体位置是在进行障碍物探测的过程中确定的，具体可以根据导航地图中的障碍物信息确定餐桌在导航地图中对应的坐标。
需要进一步解释的是，在本申请实施例中，障碍物即为被识别物体，障碍物信息也就是被识别物体的信息，记录了被识别物体的名称(类型)和具体位置(位置信息)。
具体地，可以根据当前控制指令所指示的行驶目的地与导航地图中各被识别物体的信息(障碍物信息)之间的匹配情况，确定与行驶目的地相对应的被识别物体，进一步根据该被识别物体的具体位置和导航地图，生成目标路径。
具体地，在确行驶目的地之后，可以根据导航地图规划对应的目标路径，并进一步确定导航机器人的目标状态信息，以使导航机器人可以顺利地按照目标路径到达行驶目的地。
其中，导航地图具体可以是三维栅格占用地图或二维栅格占用地图，也可以是语义地图。其中，语义地图是通过将得到的障碍物信息赋予在时间坐标系下得到的，也就是在进行障碍物信息识别的过程中，对语义地图进行更新。
在上述实施例的基础上，为了提高所得到的障碍物信息的准确性，作为一种可实施的方式，在一实施例中，根据图像特征和导航机器人的当前姿态信息，确定障碍物信息，包括：
步骤2031，根据图像特征，确定障碍物的轮廓信息；
步骤2032，根据障碍物的轮廓信息，确定障碍物下边界点在预设图像坐标系中对应的像素坐标值；
步骤2033，根据导航机器人的当前姿态和障碍物的下边界点的像素坐标值，确定障碍物与导航机器人之间的距离和相对位置；
步骤2034，根据导航机器人的当前位置和相对位置，确定障碍物的位置信息。
示例性的，如图3所示，为本申请实施例提供的示例性的机器人导航系统的结构示意图。在得到障碍物(被识别物体)的轮廓信息后，确定障碍物的外框，并确定对应的中心点像素坐标。进一步的，以中心点像素坐标为原点建立坐标系，分别确定整个外框的上边界点、下边界点、左边界点和右边界点在该坐标系中对应的像素坐标。其中，下边界点坐标记为(0,b)，b为下边界点的像素坐标值。
需要解释的是，若当前的图像采集设备采用的是可变焦的摄像头，则导航机器人的当前姿态还包括图像采集设备的镜头视场角和图像分辨率；其中，镜头视场角包括水平视场角和垂直视场角；图像分辨率包括水平分辨率和垂直分辨率。
具体地，可以根据导航机器人的当前姿态对应的镜头视场角和下边界点对应的像素坐标，确定导航机器人与障碍物之间的位置关系，即确定二者的相对位置。
具体地，在一实施例中，可以根据当前姿态，确定图像采集设备的当前离地高度；根据导航机器人的当前姿态对应的图像水平分辨率、下边界点的像素坐标值和当前离地高度，计算障碍物与导航机器人之间的距离。
具体地，可以利用如下公式计算障碍物与导航机器人之间的距离：
Lb＝H/tan(2b/Hf)
其中，Lb表示障碍物与导航机器人之间的距离，H表示导航机器人上的图像采集设备的当前离地高度，b表示下边界点的像素坐标值，Hf表示导航机器人的当前姿态对应的图像水平分辨率。
进一步的，在一实施例中，为了进一步确定障碍物对应的类型，可以获取障碍物识别模型；利用障碍物识别模型，根据当前探测图像，确定当前探测图像中的障碍物对应的类型。
需要解释的是，障碍物识别模型具体可以是利用机器学习算法构建的，利用预先收集的障碍物样本进行模型训练，以使得到的障碍物识别模型可以根据当前探测图像，识别出对应的障碍物类型，以及对应的障碍物的轮廓信息。具体的模型构建过程和训练过程可以参考现有技术，本申请实施例不做限定。
进一步的，可以根据障碍物的类型，对障碍物进行分类，如可以分为可撞物体和不可撞物体。示例性的，若当前的障碍物的类型为花瓶，则可以将该障碍物定义为不可撞物体；若当前的障碍物的类型为窗帘，则可以将该障碍物定义为可撞物体。
在上述实施例的基础上，为了提高所得到的导航机器人的当前状态信息的准确性，为后续的机器人导航工作奠定良好基础，作为一种可实施的方式，在一实施例中，可以通过获取导航机器人的原始状态信息；对原始状态信息进行滤波处理，以消除导航机器人的俯仰误差及横滚误差，得到当前状态信息。
示例性的，若本申请实施例提供的机器人导航方法主要应用于扫地机器人，根据扫地机器人的运动特性，可以确定机器人在运行过程中，垂向及水平侧向速度为0，将这些运动特性作为Kalman滤波器的观测量信息，通过Kalman滤波算法估计俯仰及横滚水平姿态误差，从而保证水平姿态不发散。
本申请实施例提供的机器人导航方法，通过获取导航机器人的当前状态信息和图像采集设备采集的当前探测图像，其中，当前状态信息包括当前位置、当前速度和当前姿态；建立当前探测图像对应的点云，在点云中提取当前探测图像的图像特征；根据图像特征和导航机器人的当前状态信息，确定障碍物信息，其中，障碍物信息包括障碍物的类型和位置信息；根据导航机器人的当前位置和障碍物信息，生成导航地图；根据导航地图和导航机器人的当前状态信息，生成导航机器人的导航信息，其中，导航信息包括目标状态信息和目标路径。上述方案提供了一种基于计算机视觉的机器人导航方法，探测范围大，并且可以得到详细的障碍物信息，在解决了现有技术局限性较大的同时，提高了机器人导航结果的可靠性。并且，提高了机器人的人机交互能力。
本申请实施例提供了一种机器人导航装置，用于执行上述实施例提供的机器人导航方法。
如图4所示，为本申请实施例提供的机器人导航装置的结构示意图。该机器人导航装置40包括获取模块401、提取模块402、确定模块403、生成模块404和导航模块405。
其中，获取模块，用于获取导航机器人的当前状态信息和图像采集设备采集的当前探测图像，其中，当前状态信息包括当前位置、当前速度和当前姿态；提取模块，用于建立当前探测图像对应的点云，在点云中提取当前探测图像的图像特征；确定模块，用于根据图像特征和导航机器人的当前姿态，确定障碍物信息，其中，障碍物信息包括障碍物的类型和位置信息；生成模块，用于根据导航机器人的当前位置和障碍物信息，生成导航地图；导航模块，用于根据导航地图和导航机器人的当前状态信息，生成导航机器人的导航信息，其中，导航信息包括目标状态信息和目标路径。
关于本实施例中的机器人导航装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请实施例提供的机器人导航装置，用于执行上述实施例提供的机器人导航方法，其实现方式与原理相同，不再赘述。
本申请实施例提供了一种机器人，用于执行上述实施例提供的机器人导航方法。
如图5所示，为本申请实施例提供的机器人的结构示意图。该机器人50包括：图像采集设备501、补光灯502、惯性测量单元IMU503、传感器单元504、至少一个处理器505和存储器506。
其中，图像采集设备用于采集探测图像；图像采集设备包括双目摄像头或多目摄像头，双目摄像头或多目摄像头设置于机器人机身的侧上方；补光灯用于为图像采集设备补光；惯性测量单元IMU和传感器单元用于采集机器人的当前状态信息；存储器存储计算机执行指令；存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如上实施例提供的机器人导航方法。
其中，如图6所示，为本申请实施例提供的一种示例性的机器人的结构示意图，模组包括上述501-506各结构，图6中的圆点表示摄像头，即图6所提供的示例性的机器人采用的是双目摄像头，a表示斜上视角。其中，防撞板位于模组的下方，且凸出，避免了模组发生直接的碰撞。具体地，为了满足移动平台的解算实时性，本申请实施例提供的机器人是基于双目视觉和IMU多传感器相融合的方式，实现高精度Vi-SLAM。
其中，针对Vi-SLAM包括的功能模块有：视觉坐标系-地理系对齐对于前端Tracking可以根据实际使用场景，测试判断特征点是否满足需求，如果存在不稳定情况，加入线特征或边缘特征，线特征和边缘特征通常是墙角、桌子边缘、门边、地板砖边缘等；支持单/双目切换工作；后端优化；闭环检测；重定位和地图管理。各个功能模块的具体方式已经在有关方法的实施例中进行了详细描述，此处将不做详细阐述说明。
具体地，传感器单元主要包括里程计等测量传感器，图像采集设备主要包括摄像头。在现有技术中，通常采用摄像头与IMU构成了Vi-SLAM，本申请实施例增加了里程计，进一步提高了机器人导航模组的精度及稳定性。
需要解释的是，单纯的里程计因为比例因子、打滑等因素的影响，导致输出数据不稳定，因此，本申请实施例采用了视觉+IMU+里程计进行多传感器数据融合，得到稳定的位置、速度及姿态后，将融合后的位置、速度及姿态反馈给Vi-SLAM，进行数据组合，提高了Vi-SLAM精度及稳定性。
其中，在进行数据融合的过程中，由于里程计的分辨率未知，因此在基于里程计进行位置递推观测时，需根据里程计分辨率设置合适的观测周期。双里程计可以计算运动航向，可以用于修正陀螺航向偏移，但是里程计存在比例因子不统一、轮子打滑等信息，导致产生航向偏移误差，因此在使用双里程计航向观测时需要特别处理，如采用航向偏移量参与融合。此外，扫地机器人因为工作场景为水平面，因此运动过程中，组合导航的输出结果中高程为0，但SLAM的位姿是三维位姿。数据融合输出的位置、姿态信息为IMU中心点结果，而扫地机器人需要的是机器人中心点坐标，如图7所示，为本申请实施例提供的另一种示例性的机器人的结构示意图。通过二者杆臂关系，将坐标由IMU转换到扫地机中心点，中心点初始坐标为(0,0)，而SLAM初始坐标不为(0,0)，需要根据杆臂推导。具体的推导过程可以结合实际情况来确定，本申请实施例不做限定。
示例性的，如图8所示，为本申请实施例提供的又一种示例性的机器人的结构示意图。基于组合导航姿态和里程计位移，进行航迹递推，航迹递推需要考虑IMU与里程计的杆臂关系。航迹递推过程中，基于姿态及杆臂关系。具体可以分别基于左轮和右轮计算IMU航迹，并进行求平均，以尽可能降低系统误差。当左右轮航迹递推偏差超过一定限值，考虑打滑现象，采用小的航迹作为真值参与观测。另外将航迹递推的位置信息作为Kalman滤波的位置观测。
具体地，在一实施例中，为了提高图像采集设备所采集的探测图像的图像质量，可以在适当位置增设两个LED灯(补光灯)。图9为本申请实施例提供的再一种示例性的机器人的结构示意图，其中，LED1根据光环境进行开关控制，LED2可以一直工作，LED1和LED2具体可以采用散斑纹理补光等技术，以达到较好的补光效果。LED在工作过程中会发出大量热，如果距离IMU距离过近，会导致传感器误差，因此LED在布局上需要与传感器距离尽量远。其中，Cl表示双目摄像头中的左摄像头，Cr表示双目摄像头中的右摄像头。
具体地，在一实施例中，传感器单元还包括碰撞传感器、红外测距传感器和跌落传感器等。碰撞传感器用来判断机器人是否发生了碰撞；红外测距传感器用来实时探测机器人与障碍物之间的距离；跌落传感器用来判断机器人是否发生了跌落，如楼梯跌落等。
本申请实施例提供的一种机器人，用于执行上述实施例提供的机器人导航方法，其实现方式与原理相同，不再赘述。
本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上任一实施例提供的机器人导航方法。
本申请实施例的包含计算机可执行指令的存储介质，可用于存储前述实施例中提供的机器人导航方法的计算机执行指令，其实现方式与原理相同，不再赘述。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (8)

1.一种机器人导航方法，应用于一种机器人，所述机器人包括图像采集设备，其特征在于，所述方法包括：
获取导航机器人的当前状态信息和所述图像采集设备采集的当前探测图像，其中，所述当前状态信息包括当前位置、当前速度和当前姿态；
建立当前探测图像对应的点云，在所述点云中提取所述当前探测图像的图像特征；
根据所述图像特征和导航机器人的当前姿态，确定障碍物信息，其中，所述障碍物信息包括障碍物的类型和位置信息；
根据所述导航机器人的当前位置和障碍物信息，生成导航地图；
根据所述导航地图和所述导航机器人的当前状态信息，生成所述导航机器人的导航信息，其中，所述导航信息包括目标状态信息和目标路径；
其中，所述根据所述图像特征和导航机器人的当前姿态，确定障碍物信息，包括：
根据所述图像特征，确定障碍物的轮廓信息；
根据所述障碍物的轮廓信息，确定所述障碍物下边界点在预设图像坐标系中对应的像素坐标值；
根据所述导航机器人的当前姿态和所述障碍物的下边界点的像素坐标值，确定所述障碍物与导航机器人之间的距离和相对位置；
根据所述导航机器人的当前位置和所述相对位置，确定所述障碍物的位置信息；
所述根据所述导航机器人的当前姿态和所述障碍物的下边界点的像素坐标值，确定所述障碍物与导航机器人之间的距离，包括：
根据所述当前姿态，确定所述图像采集设备的当前离地高度；
根据所述导航机器人的当前姿态对应的图像水平分辨率、下边界点的像素坐标值和所述当前离地高度，计算所述障碍物与导航机器人之间的距离。
2.根据权利要求1所述的方法，其特征在于，所述根据所述导航地图和所述导航机器人的当前状态信息，生成所述导航机器人的导航信息，包括：
获取所述导航机器人的当前计划路径；
根据所述导航地图，对所述当前计划路径进行调整，以得到目标路径；
根据所述导航地图、目标路径和所述当前状态信息，确定所述导航机器人的目标状态信息。
3.根据权利要求1所述的方法，所述导航地图包括各障碍物对应的障碍物信息，其特征在于，所述根据所述导航地图和所述导航机器人的当前状态信息，生成所述导航机器人的导航信息，包括：
获取当前控制指令；
根据所述当前控制指令，确定所述导航机器人的行驶目的地；
根据所述行驶目的地与所述障碍物信息之间的对应关系及所述导航地图，生成目标路径；
根据所述导航地图、目标路径和所述当前状态信息，确定所述导航机器人的目标状态信息。
4.根据权利要求1所述的方法，其特征在于，还包括：
获取障碍物识别模型；
利用所述障碍物识别模型，根据所述当前探测图像，确定所述当前探测图像中的障碍物对应的类型。
5.根据权利要求1所述的方法，其特征在于，所述获取导航机器人的当前状态信息，包括：
获取所述导航机器人的原始状态信息；
对所述原始状态信息进行滤波处理，以消除所述导航机器人的俯仰误差及横滚误差，得到所述当前状态信息。
6.一种机器人导航装置，应用于一种机器人，所述机器人包括图像采集设备，其特征在于，所述装置包括：
获取模块，用于获取导航机器人的当前状态信息和所述图像采集设备采集的当前探测图像，其中，所述当前状态信息包括当前位置、当前速度和当前姿态；
提取模块，用于建立当前探测图像对应的点云，在所述点云中提取所述当前探测图像的图像特征；
确定模块，用于根据所述图像特征和导航机器人的当前姿态，确定障碍物信息，其中，所述障碍物信息包括障碍物的类型和位置信息；
生成模块，用于根据所述导航机器人的当前位置和障碍物信息，生成导航地图；
导航模块，用于根据所述导航地图和所述导航机器人的当前状态信息，生成所述导航机器人的导航信息，其中，所述导航信息包括目标状态信息和目标路径；
其中，所述确定模块，具体用于：
根据所述图像特征，确定障碍物的轮廓信息；
根据所述障碍物的轮廓信息，确定所述障碍物下边界点在预设图像坐标系中对应的像素坐标值；
根据所述导航机器人的当前姿态和所述障碍物的下边界点的像素坐标值，确定所述障碍物与导航机器人之间的距离和相对位置；
根据所述导航机器人的当前位置和所述相对位置，确定所述障碍物的位置信息；
所述确定模块，具体用于：
根据所述当前姿态，确定所述图像采集设备的当前离地高度；
根据所述导航机器人的当前姿态对应的图像水平分辨率、下边界点的像素坐标值和所述当前离地高度，计算所述障碍物与导航机器人之间的距离。
7.一种机器人，其特征在于，包括：图像采集设备、补光灯、惯性测量单元IMU、传感器单元、至少一个处理器和存储器；
所述图像采集设备用于采集探测图像；所述图像采集设备包括双目摄像头或多目摄像头，所述双目摄像头或多目摄像头设置于机器人机身的侧上方；
所述补光灯用于为所述图像采集设备补光；
所述惯性测量单元IMU和传感器单元用于采集机器人的当前状态信息；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至5任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至5任一项所述的方法。
CN202110180462.6A 2021-02-09 2021-02-09 一种机器人导航方法、装置、机器人及存储介质 Active CN114911223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110180462.6A CN114911223B (zh) 2021-02-09 2021-02-09 一种机器人导航方法、装置、机器人及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110180462.6A CN114911223B (zh) 2021-02-09 2021-02-09 一种机器人导航方法、装置、机器人及存储介质

Publications (2)

Publication Number Publication Date
CN114911223A CN114911223A (zh) 2022-08-16
CN114911223B true CN114911223B (zh) 2023-05-05

Family

ID=82761285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110180462.6A Active CN114911223B (zh) 2021-02-09 2021-02-09 一种机器人导航方法、装置、机器人及存储介质

Country Status (1)

Country Link
CN (1) CN114911223B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115616578A (zh) * 2022-12-05 2023-01-17 成都航空职业技术学院 一种用于无人飞行器的雷达探测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106444780A (zh) * 2016-11-10 2017-02-22 速感科技（北京）有限公司 一种基于视觉定位算法的机器人的自主导航方法及系统
CN109443368A (zh) * 2019-01-14 2019-03-08 轻客小觅智能科技（北京）有限公司 无人驾驶机器人的导航方法、装置、机器人及存储介质
CN110220524A (zh) * 2019-04-23 2019-09-10 炬星科技（深圳）有限公司 路径规划方法、电子设备、机器人及计算机可读存储介质
WO2020024234A1 (zh) * 2018-08-02 2020-02-06 深圳前海达闼云端智能科技有限公司 路径导航方法、相关装置及计算机可读存储介质
CN111752285A (zh) * 2020-08-18 2020-10-09 广州市优普科技有限公司 四足机器人自主导航方法、装置、计算机设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106569489A (zh) * 2015-10-13 2017-04-19 录可系统公司 具有视觉导航功能的扫地机器人及其导航方法
US10593060B2 (en) * 2017-04-14 2020-03-17 TwoAntz, Inc. Visual positioning and navigation device and method thereof
WO2019232806A1 (zh) * 2018-06-08 2019-12-12 珊口（深圳）智能科技有限公司 导航方法、导航系统、移动控制系统及移动机器人
CN110275540A (zh) * 2019-07-01 2019-09-24 湖南海森格诺信息技术有限公司 用于扫地机器人的语义导航方法及其系统
CN110502019A (zh) * 2019-09-06 2019-11-26 北京云迹科技有限公司 一种室内机器人的避障方法及装置
CN111427363B (zh) * 2020-04-24 2023-05-05 深圳国信泰富科技有限公司 一种机器人导航控制方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106444780A (zh) * 2016-11-10 2017-02-22 速感科技（北京）有限公司 一种基于视觉定位算法的机器人的自主导航方法及系统
WO2020024234A1 (zh) * 2018-08-02 2020-02-06 深圳前海达闼云端智能科技有限公司 路径导航方法、相关装置及计算机可读存储介质
CN109443368A (zh) * 2019-01-14 2019-03-08 轻客小觅智能科技（北京）有限公司 无人驾驶机器人的导航方法、装置、机器人及存储介质
CN110220524A (zh) * 2019-04-23 2019-09-10 炬星科技（深圳）有限公司 路径规划方法、电子设备、机器人及计算机可读存储介质
CN111752285A (zh) * 2020-08-18 2020-10-09 广州市优普科技有限公司 四足机器人自主导航方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN114911223A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
US11960304B2 (en) Localization and mapping using physical features
CN110522359B (zh) 清洁机器人以及清洁机器人的控制方法
CN106595631B (zh) 一种躲避障碍物的方法及电子设备
EP3224003B1 (en) Systems and methods of use of optical odometry sensors in a mobile robot
US9481982B1 (en) Method and control system for surveying and mapping a terrain while operating a bulldozer
CN110275538A (zh) 智能巡航车导航方法及系统
CN111035327A (zh) 清洁机器人、地毯检测方法及计算机可读存储介质
WO2015024407A1 (zh) 基于电力机器人的双目视觉导航系统及方法
JP5023186B2 (ja) ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム
CN109282808A (zh) 用于桥梁三维巡航检测的无人机与多传感器融合定位方法
JP5067215B2 (ja) 移動ロボット及び環境地図生成方法
CN110597265A (zh) 一种扫地机器人回充方法和装置
CN111168669B (zh) 机器人控制方法、机器人和可读存储介质
CN110162066A (zh) 智能巡航车控制系统
KR101333496B1 (ko) 과거 지도 데이터 기반의 이동 로봇 제어 장치 및 방법
CN114911223B (zh) 一种机器人导航方法、装置、机器人及存储介质
CN211933898U (zh) 清洁机器人
CN113768419B (zh) 确定扫地机清扫方向的方法、装置及扫地机
JP2021177144A (ja) 情報処理装置、情報処理方法及びープログラム
KR100906991B1 (ko) 로봇의 비시인성 장애물 탐지방법
TW201534512A (zh) 雙影像避障路徑規劃導航控制方法
CN112513931A (zh) 用于创建单视角合成图像的系统和方法
CN110916562A (zh) 自主移动设备、控制方法及存储介质
JP2017129681A (ja) 地図作成方法
WO2023127337A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant