CN116360466B - 一种基于深度相机的机器人运行避障系统 - Google Patents

一种基于深度相机的机器人运行避障系统 Download PDF

Info

Publication number
CN116360466B
CN116360466B CN202310627157.6A CN202310627157A CN116360466B CN 116360466 B CN116360466 B CN 116360466B CN 202310627157 A CN202310627157 A CN 202310627157A CN 116360466 B CN116360466 B CN 116360466B
Authority
CN
China
Prior art keywords
obstacle
action
speed
robot
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310627157.6A
Other languages
English (en)
Other versions
CN116360466A (zh
Inventor
白岩峰
周旺发
徐霁堂
董月
权利红
王帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Bohai Vocational Technical College
Tianjin Bonuo Intelligent Creative Robotics Technology Co ltd
Original Assignee
Tianjin Bohai Vocational Technical College
Tianjin Bonuo Intelligent Creative Robotics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Bohai Vocational Technical College, Tianjin Bonuo Intelligent Creative Robotics Technology Co ltd filed Critical Tianjin Bohai Vocational Technical College
Priority to CN202310627157.6A priority Critical patent/CN116360466B/zh
Publication of CN116360466A publication Critical patent/CN116360466A/zh
Application granted granted Critical
Publication of CN116360466B publication Critical patent/CN116360466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明涉及机器人避障技术领域，尤其涉及一种基于深度相机的机器人运行避障系统，避障特征采集模块，用于对在机器人行进过程中的环境数据进行实时采集；中控模块，用于根据环境数据计算数据密度，并根据数据密度确定深度相机装置的工作模式；行动规划模块，用于根据若干帧融合深度图像分析图像中运动障碍物并根据若干帧融合深度图像计算其速度并在其速度过高时划定行动危险区，根据行动危险区计算逃离速度并重新规划路线；本发明一方面用以克服现有的机器人避障模式中不能有效对高速运动障碍物进行预警的技术缺陷，另一方面，通过环境复杂度的计算确定深度相机的工作模式，可以在保证避障性能的同时，降低机器人功耗。

Description

一种基于深度相机的机器人运行避障系统
技术领域
本发明涉及机器人避障技术领域，尤其涉及一种基于深度相机的机器人运行避障系统。
背景技术
在机器人技术领域中，机器人的自主行动能力一直是研究的热点之一。机器人避障技术是机器人自主行动能力中的关键技术之一，其可以保证机器人在复杂的环境中安全运行。传统机器人避障技术通常采用激光雷达、超声波、红外线等传感器进行环境感知，但这些传感器对环境的精度、深度、速度等信息的获取有一定限制，且易受环境干扰，无法满足高速移动机器人的需求。因此，基于深度相机的机器人避障技术应运而生。
CN110293585B，公开了一种自主避障机器人，包括车体、驱动车体移动的行走机构及控制系统，车体设有箱门，箱门上设有出菜口，出菜口设有与箱门转动连接的载物板；车体中设有储菜单元，储菜单元包括若干层竖直分布的放菜台，放菜台可横向和竖向滑动连接在车体中，车体中设有用于驱动放菜台水平往复运动的第一推动元件；控制系统包括控制器和若干个与控制器电性连接的避障传感器，避障传感器用于防止机器人撞到障碍物；控制器可通过行走机构控制机器人停止或转向。
虽然基于深度相机的机器人避障技术已经取得了一定的研究成果，但是在实际应用中还存在各种问题，如深度相机的识别精度受光线强度和障碍物透光率的影响，以及如何对高速运动障碍物进行分析和预警等技术难题，需要进一步研究和解决，且机器人如果进行大量的计算会提高其能耗，节省能耗的同时保障机器人的避障精度，也是机器人避障技术研究的重点。
发明内容
为此，本发明提供一种基于深度相机的机器人运行避障系统，用以克服现有技术中缺乏对高速运动障碍物的考虑，且机器人能耗大，续航时间短的问题。
为实现上述目的，一方面，本发明提供一种基于深度相机的机器人运行避障系统，包括：
避障特征采集模块，包括用于采集三维点云数据的激光雷达装置和用于拍摄深度图像的深度相机装置；
中控模块，其与所述避障特征采集模块相连，用于将所述激光雷达装置采集的三维点云数据与所述深度相机装置拍摄的深度图像进行加权数据融合，形成融合深度图像，且中控模块根据所述激光雷达装置采集的三维点云数据计算数据密度，并根据数据密度确定深度相机装置的工作模式，中控模块通过分析融合深度图像中的路面高程信息变化测量路面平坦度；
行动规划模块，其与所述中控模块相连，用于根据若干帧所述融合深度图像分析图像中运动障碍物并根据若干帧所述融合深度图像计算障碍物速度，所述行动规划模块对障碍物速度的速度水平进行判定，若为第二障碍物速度水平，行动规划模块获取障碍物加速度，并计算障碍物在安全时间内能达到的最大位移，根据最大位移划定行动危险区，行动规划模块根据当前位置和行动危险区判定当前位置危险水平，在第二危险水平下行动规划模块根据与障碍物距离和路面平坦度计算逃离速度，行动规划模块在逃离行动危险区后重新规划行动路线。
进一步地，所述深度相机装置包括用于拍摄图像的相机单元、用于测量障碍物加速度的加速度测量单元和用于测定与障碍物距离的激光发射单元，所述深度相机拍摄若干帧深度图像并将其发送至所述中控模块。
进一步地，所述深度相机装置有三种工作模式；
第一工作模式为所述相机单元分辨率为1280x720像素，激光发射单元发射的激光功率为3mW；
第二工作模式为所述相机单元分辨率为1920x1080像素，激光发射单元发射的激光功率为5mW；
第三工作模式为所述相机单元相机分辨率为3840x2160像素，激光发射单元发射的激光功率为8mW。
进一步地，所述激光雷达装置周期性采集三维点云数据，将所述三维点云数据发送至所述中控模块，所述中控模块对三维点云数据进行二维投影并统计二维投影中点云的数据量N，中控模块根据点云的数据量N计算数据密度M,设定数据密度M=N/S,其中S为点云覆盖面积，并将数据密度M与第一预设数据密度M1和第二预设数据密度M2进行比对，M1＜M2，并根据比对结果确定深度相机装置的工作模式；
若为第一数据密度水平，所述中控模块判定所述深度相机装置选用第一工作模式进行工作；
若为第二数据密度水平，所述中控模块判定所述深度相机装置选用第二工作模式进行工作；
若为第三数据密度水平，所述中控模块判定所述深度相机装置选用第三工作模式进行工作；
所述第一数据密度水平满足M＜M1，第二数据密度水平满足M1≤M≤M2，第三数据密度水平满足M＞M2，50＜M1＜M2＜500，所述第一预设数据密度和第二预设数据密度由历史数据经线性回归模型分析得出。
进一步地，所述中控模块将若干帧融合深度图像发送至所述行动规划模块，所述行动规划模块通过分析若干帧融合深度图像锁定运动障碍物，并计算障碍物速度v，设定v=d/（n×t），其中d为首帧图像和末帧图像中障碍物移动距离，n为帧数，t为深度图像采集周期；
所述深度图像采集周期为所述深度相机装置拍摄每一帧深度图像的时间间隔。
进一步地，所述行动规划模块中预设有障碍物安全速度V，所述行动规划模块将障碍物速度v与障碍物安全速度V进行比对以判定是否对机器人行动路线进行调节；
若为第一障碍物速度水平，所述行动规划模块判定无需对机器人行动路线进行调节；
若为第二障碍物速度水平，所述行动规划模块判定需对机器人行动路线进行调节；
所述第一障碍物速度水平满足v小于等于V，第二障碍物速度水平满足v＞V。
进一步地，在所述障碍物速度为第二障碍物速度水平时，所述深度相机装置检测障碍物加速度a，所述行动规划模块根据障碍物加速度a和障碍物速度v计算障碍物在安全时间T内保持当前加速度所能达到的最大位移S，设定S=v×T+0.5×a×T2；
所述安全时间T为机器人进行路线重新规划并执行所需的时间；
进一步地，所述行动规划模块根据障碍物位置和最大位移S划定行动危险区，所述行动危险区为以障碍物当前位置为圆心，以最大位移为半径的圆周区域，所述行动规划模块根据行动危险区对机器人的当前位置危险水平进行判定；
若为第一危险水平，所述行动规划模块判定需重新规划行动路线；
若为第二危险水平，所述行动规划模块判定先高速逃离行动危险区，再重新规划路线；
所述第一危险水平满足机器人当前位置处于行动危险区外，第二危险水平满足机器人当前位置处于行动危险区以内。
进一步地，在第二危险水平下，所述行动规划模块判定转向至与障碍物相反方向，转向后，所述中控模块通过分析融合深度图像中的路面高程信息变化测量路面平坦度A，并将其发送至所述行动规划模块，所述行动规划模块计算逃离速度Vt，设定；其中，A0为所述行动规划模块预设的标准平坦度，S0为机器人当前位置与障碍物的距离，V0为所述行动规划模块预设的标准逃离速度。
进一步地，机器人根据计算的逃离速度逃离行动危险区，逃离后所述行动规划模块重新规划行动路线，完成避障。
与现有技术相比，本发明的有益效果在于，本发明通过中控模块将三维点云数据与深度图像进行加权数据融合，形成的融合深度图像可增大图像覆盖范围，提高图像精度，中控模块根据三维点云数据计算数据密度，并根据数据密度确定深度相机装置的工作模式可降低功耗，所述行动规划模块分析深度图像中运动障碍物并根据多帧画面计算其速度并判定速度水平，通过比对障碍物速度与安全速度，可以判断是否需要调整机器人行动路线，提高避障效率，在第二障碍物速度水平下，行动规划模块获取障碍物加速度值并计算其在安全时间内能达到的最大位移，并根据最大位移划定行动危险区，可以更精确地预测障碍物的运动范围，提高避障效率，在第二危险水平下行动规划模块根据与障碍物距离和路面平坦度计算逃离速度，可在保持稳定性的同时安全避障。
进一步地，本发明实施例通过中控模块将三维点云数据与深度图像进行加权数据融合，形成的融合深度图像可有效避免深度相机因光线强度和障碍物透光率影响导致图像精准度低的问题，有效提高了图像精度，提高了机器人避障性能。
进一步地，本发明实施例中控模块对三维点云数据进行二维投影并统计点云数据量，投影后的点云数据量更便于分析，中控模块根据点云的数据量N计算数据密度M,并根据数据密度确定深度相机装置的工作模式，可在保证避障性能的同时，降低机器人计算功耗和激光发射功耗。
进一步地，本发明实施例中行动规划模块分析深度图像中运动障碍物并根据多帧画面计算其速度并与安全速度进行比对，根据比对结果判断是否需要调整机器人行动路线，提高了机器人的避障效率。
进一步地，本发明通过行动规划模块判定为第二障碍物速度水平时，行动规划模块获取障碍物加速度值并计算其在安全时间内能达到的最大位移，并根据最大位移划定行动危险区，通过对行动危险区的划定可以更精确地预测障碍物的运动范围，进一步提高了机器人的避障效率。
进一步地，本发明通过行动规划模块判定为第二危险水平时，中控模块通过分析融合深度图像中的路面高程信息变化获得路面平坦度，通过计算标准平坦度和路面平坦度的比值，可准确反映逃离路线道路的颠簸程度，并根据平坦度比值和与障碍物距离计算逃离速度，可在保持稳定性的同时安全避障，进一步提高了机器人的避障效率。
附图说明
图1为本发明实施例基于深度相机的机器人运行避障系统的结构框图；
图2为本发明实施例避障特征采集模块的结构框图；
图3为本发明实施例危险区划定示意图；
图中：1、行动危险区；2、机器人与障碍物距离；3、机器人；4、最大位移。
实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1和图2所示，其分别为本发明实施例基于深度相机的机器人运行避障系统的结构框图和本发明实施例避障特征采集模块的结构框图，本发明实施例基于深度相机的机器人运行避障系统包括：
避障特征采集模块，包括用于采集三维点云数据的激光雷达装置和用于拍摄深度图像的深度相机装置；
中控模块，其与所述避障特征采集模块相连，用于将所述激光雷达装置采集的三维点云数据与所述深度相机装置拍摄的深度图像进行加权数据融合，形成融合深度图像，且中控模块根据所述激光雷达装置采集的三维点云数据计算数据密度，并根据数据密度确定深度相机装置的工作模式，中控模块通过分析融合深度图像中的路面高程信息变化测量路面平坦度；
激光雷达是一种常用的三维点云采集设备，它通过向周围发射激光束，然后测量激光束反射回来的时间和强度来获取目标物体表面的距离和形状信息。其与深度相机差别在于激光雷达通常具有较高的精度和可靠性，而深度相机则具有较高的实时性；且激光雷达受光线影响很小，深度相机受光线影响较大，激光雷达覆盖范围大但信息少，深度相机覆盖范围小但信息多，将三维点云数据与深度图像进行加权数据融合，形成的融合深度图像可有效避免深度相机因光线强度和障碍物透光率影响导致图像精准度低的问题，有效提高了图像精度，提高了机器人避障性能。
行动规划模块，其与所述中控模块相连，用于根据若干帧所述融合深度图像分析图像中运动障碍物并根据若干帧所述融合深度图像计算障碍物速度，所述行动规划模块对障碍物速度的速度水平进行判定，若为第二障碍物速度水平，行动规划模块获取障碍物加速度，并计算障碍物在安全时间内能达到的最大位移，根据最大位移划定行动危险区，行动规划模块根据当前位置和行动危险区判定当前位置危险水平，在第二危险水平下行动规划模块根据与障碍物距离和路面平坦度计算逃离速度，行动规划模块在逃离行动危险区后重新规划行动路线。
具体而言，所述深度相机装置包括用于拍摄图像的相机单元、用于测量障碍物加速度的加速度测量单元和用于测定与障碍物距离的激光发射单元，所述深度相机拍摄若干帧深度图像并将其发送至所述中控模块。
所述加速度测量单元为一远程监测系统，可以通过监测物体的声音、震动或者其他物理信号来计算物体的加速度。通过多帧图像测出的速度也能计算出某时段加速度，但不够准确且不能反映障碍的瞬时速度，且计算加速度只有在特定情况下才进行，增加加速度测量单元可使加速度测量独立且精准。
具体而言，所述深度相机装置有三种工作模式；
第一工作模式为所述相机单元分辨率为1280x720像素，激光发射单元发射的激光功率为3mW；
第二工作模式为所述相机单元分辨率为1920x1080像素，激光发射单元发射的激光功率为5mW；
第三工作模式为所述相机单元相机分辨率为3840x2160像素，激光发射单元发射的激光功率为8mW。
具体而言，所述激光雷达装置周期性采集三维点云数据，将所述三维点云数据发送至所述中控模块，所述中控模块对三维点云数据进行二维投影并统计二维投影中点云的数据量N，中控模块根据点云的数据量N计算数据密度M,设定数据密度M=N/S,其中S为点云覆盖面积，并将数据密度M与第一预设数据密度M1和第二预设数据密度M2进行比对，M1＜M2，并根据比对结果确定深度相机装置的工作模式；
若为第一数据密度水平，所述中控模块判定所述深度相机装置选用第一工作模式进行工作；
若为第二数据密度水平，所述中控模块判定所述深度相机装置选用第二工作模式进行工作；
若为第三数据密度水平，所述中控模块判定所述深度相机装置选用第三工作模式进行工作；
所述第一数据密度水平满足M＜M1，第二数据密度水平满足M1≤M≤M2，第三数据密度水平满足M＞M2，50＜M1＜M2＜500，所述第一预设数据密度和第二预设数据密度由历史数据经线性回归模型分析得出。
二维投影后的点云数据量更便于分析，根据数据密度确定深度相机装置的工作模式，可在保证避障性能的同时，降低机器人计算功耗和激光发射功耗，对复杂的环境选择更高分辨率越高和更高的激光功率，当环境比较开阔且平坦，就降低分辨率和激光功率，考虑到了因环境复杂度调整图像质量，提高机器人续航和工作效率。
具体而言，所述中控模块将若干帧融合深度图像发送至所述行动规划模块，所述行动规划模块通过分析若干帧融合深度图像锁定运动障碍物，并计算障碍物速度v，设定v=d/（n×t），其中d为首帧图像和末帧图像中障碍物移动距离，n为帧数，t为深度图像采集周期；
所述深度图像采集周期为所述深度相机装置拍摄每一帧深度图像的时间间隔。
行动规划模块分析深度图像中运动障碍物并根据多帧画面计算其速度并与安全速度进行比对，根据比对结果判断是否需要调整机器人行动路线，提高了机器人的避障效率。
具体而言，所述行动规划模块中预设有障碍物安全速度V，所述行动规划模块将障碍物速度v与障碍物安全速度V进行比对以判定是否对机器人行动路线进行调节；
若为第一障碍物速度水平，所述行动规划模块判定无需对机器人行动路线进行调节；
若为第二障碍物速度水平，所述行动规划模块判定需对机器人行动路线进行调节；
所述第一障碍物速度水平满足v小于等于V，第二障碍物速度水平满足v＞V。
具体而言，在所述障碍物速度为第二障碍物速度水平时，所述深度相机装置检测障碍物加速度a，所述行动规划模块根据障碍物加速度a和障碍物速度v计算障碍物在安全时间T内保持当前加速度所能达到的最大位移S，设定S=v×T+0.5×a×T2；
所述安全时间T为机器人进行路线重新规划并执行所需的时间；
请参阅图3所示，所述行动规划模块根据障碍物位置和最大位移S划定行动危险区，所述行动危险区为以障碍物当前位置为圆心，以最大位移为半径的圆周区域，所述行动规划模块根据行动危险区对机器人的当前位置危险水平进行判定；
若为第一危险水平，所述行动规划模块判定需重新规划行动路线；
若为第二危险水平，所述行动规划模块判定先高速逃离行动危险区，再重新规划路线；
所述第一危险水平满足机器人当前位置处于行动危险区外，第二危险水平满足机器人当前位置处于行动危险区以内。
通过对行动危险区的划定可以更精确地预测障碍物的运动范围，进一步提高了机器人的避障效率。
具体而言，在第二危险水平下，所述行动规划模块判定转向至与障碍物相反方向，转向后，所述中控模块通过分析融合深度图像中的路面高程信息变化测量路面平坦度A，并将其发送至所述行动规划模块，所述行动规划模块计算逃离速度Vt，设定；其中，A0为所述行动规划模块预设的标准平坦度，S0为机器人当前位置与障碍物的距离，V0为所述行动规划模块预设的标准逃离速度。
所述平坦度测量包括以下测量步骤：
S1:捕获深度图像：使用深度相机获取路面的深度图像。
S2:路面高程信息修正：由于路面的形状和高程可能会受到多种因素的影响，例如地形、道路坡度、车辆负载等，因此需要对深度图像中的路面高程信息进行修正，以消除这些干扰因的影响，得到真实的路面高程信息。
S3:路面高程信息变化测量：根据修正后的路面高程信息，可以计算出路面在不同位置的高度差，计算路面在一定距离范围内的高度标准差评估路面的平坦度。
具体而言，机器人根据计算的逃离速度逃离行动危险区，逃离后所述行动规划模块重新规划行动路线，完成避障。
通过计算标准平坦度和路面平坦度的比值，可准确反映逃离路线道路的颠簸程度，并根据平坦度比值和与障碍物距离计算逃离速度，可在保持稳定性的同时安全避障，进一步提高了机器人的避障效率。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。 凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度相机的机器人运行避障系统，其特征在于，包括：
避障特征采集模块，包括用于采集三维点云数据的激光雷达装置和用于拍摄深度图像的深度相机装置；
中控模块，其与所述避障特征采集模块相连，用于将所述激光雷达装置采集的三维点云数据与所述深度相机装置拍摄的深度图像进行加权数据融合，形成融合深度图像，且中控模块根据三维点云数据计算数据密度以确定深度相机装置的工作模式，中控模块通过分析融合深度图像中的路面高程信息变化测量路面平坦度；
行动规划模块，其与所述中控模块相连，用于根据若干帧所述融合深度图像分析图像中运动障碍物并计算障碍物速度，所述行动规划模块对障碍物速度的速度水平进行判定，若为第二障碍物速度水平，行动规划模块获取障碍物加速度，并计算障碍物在安全时间内能达到的最大位移，根据最大位移划定行动危险区，行动规划模块根据当前位置和行动危险区判定当前位置危险水平，在第二危险水平下行动规划模块根据与障碍物距离和路面平坦度计算逃离速度，行动规划模块在逃离行动危险区后重新规划行动路线；
其中，在所述障碍物速度为第二障碍物速度水平时，所述深度相机装置检测障碍物加速度a，所述行动规划模块根据障碍物加速度a和障碍物速度v计算障碍物在安全时间T内保持当前加速度所能达到的最大位移S，设定S=v×T+0.5×a×T2；
所述安全时间T为机器人进行路线重新规划并执行所需的时间；
在第二危险水平下，所述行动规划模块判定转向至与障碍物相反方向，转向后，所述中控模块通过分析融合深度图像中的路面高程信息变化测量路面平坦度A，并将其发送至所述行动规划模块，所述行动规划模块计算逃离速度Vt，设定；
其中，A0为所述行动规划模块预设的标准平坦度，S0为机器人当前位置与障碍物的距离，V0为所述行动规划模块预设的标准逃离速度；
所述第二危险水平满足机器人当前位置处于所述行动危险区以内。
2.根据权利要求1所述的基于深度相机的机器人运行避障系统，其特征在于，所述深度相机装置包括用于拍摄图像的相机单元、用于测量障碍物加速度的加速度测量单元和用于测定与障碍物距离的激光发射单元，所述深度相机拍摄若干帧深度图像并将其发送至所述中控模块。
3.根据权利要求2所述的基于深度相机的机器人运行避障系统，其特征在于，所述深度相机装置有三种工作模式；
第一工作模式为所述相机单元分辨率为1280x720像素，激光发射单元发射的激光功率为3mW；
第二工作模式为所述相机单元分辨率为1920x1080像素，激光发射单元发射的激光功率为5mW；
第三工作模式为所述相机单元相机分辨率为3840x2160像素，激光发射单元发射的激光功率为8mW。
4.根据权利要求3所述的基于深度相机的机器人运行避障系统，其特征在于，所述激光雷达装置周期性采集三维点云数据，将所述三维点云数据发送至所述中控模块，所述中控模块对三维点云数据进行二维投影并统计二维投影中点云的数据量N，中控模块根据点云的数据量N计算数据密度M,设定数据密度M=N/S,其中S为点云覆盖面积，并将数据密度M与第一预设数据密度M1和第二预设数据密度M2进行比对，M1＜M2，并根据比对结果确定深度相机装置的工作模式；
若为第一数据密度水平，所述中控模块判定所述深度相机装置选用第一工作模式进行工作；
若为第二数据密度水平，所述中控模块判定所述深度相机装置选用第二工作模式进行工作；
若为第三数据密度水平，所述中控模块判定所述深度相机装置选用第三工作模式进行工作；
所述第一数据密度水平满足M＜M1，第二数据密度水平满足M1≤M≤M2，第三数据密度水平满足M＞M2，50＜M1＜M2＜500，所述第一预设数据密度和第二预设数据密度由历史数据经线性回归模型分析得出。
5.根据权利要求4所述的基于深度相机的机器人运行避障系统，其特征在于，所述中控模块将若干帧融合深度图像发送至所述行动规划模块，所述行动规划模块通过分析若干帧融合深度图像锁定运动障碍物，并计算障碍物速度v，设定v=d/（n×t），其中d为首帧图像和末帧图像中障碍物移动距离，n为帧数，t为深度图像采集周期；
所述深度图像采集周期为所述深度相机装置拍摄每一帧深度图像的时间间隔。
6.根据权利要求5所述的基于深度相机的机器人运行避障系统，其特征在于，所述行动规划模块中预设有障碍物安全速度V，所述行动规划模块将障碍物速度v与障碍物安全速度V进行比对以判定是否对机器人行动路线进行调节；
若为第一障碍物速度水平，所述行动规划模块判定无需对机器人行动路线进行调节；
若为第二障碍物速度水平，所述行动规划模块判定需对机器人行动路线进行调节；
所述第一障碍物速度水平满足v≤V，第二障碍物速度水平满足v＞V。
7.根据权利要求6所述的基于深度相机的机器人运行避障系统，其特征在于，所述行动规划模块根据障碍物位置和最大位移S划定行动危险区，所述行动危险区为以障碍物当前位置为圆心，以最大位移为半径的圆周区域，所述行动规划模块根据行动危险区对机器人的当前位置危险水平进行判定；
若为第一危险水平，所述行动规划模块判定需重新规划行动路线；
若为第二危险水平，所述行动规划模块判定先高速逃离行动危险区，再重新规划路线；
所述第一危险水平满足机器人当前位置处于行动危险区外，第二危险水平满足机器人当前位置处于行动危险区以内。
8.根据权利要求7所述的基于深度相机的机器人运行避障系统，其特征在于，机器人根据计算的逃离速度逃离行动危险区，逃离后所述行动规划模块重新规划行动路线，完成避障。
CN202310627157.6A 2023-05-31 2023-05-31 一种基于深度相机的机器人运行避障系统 Active CN116360466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310627157.6A CN116360466B (zh) 2023-05-31 2023-05-31 一种基于深度相机的机器人运行避障系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310627157.6A CN116360466B (zh) 2023-05-31 2023-05-31 一种基于深度相机的机器人运行避障系统

Publications (2)

Publication Number Publication Date
CN116360466A CN116360466A (zh) 2023-06-30
CN116360466B true CN116360466B (zh) 2023-09-15

Family

ID=86923567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310627157.6A Active CN116360466B (zh) 2023-05-31 2023-05-31 一种基于深度相机的机器人运行避障系统

Country Status (1)

Country Link
CN (1) CN116360466B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106338996A (zh) * 2016-10-20 2017-01-18 上海物景智能科技有限公司 一种移动机器人安全控制的方法及系统
CN107966989A (zh) * 2017-12-25 2018-04-27 北京工业大学 一种机器人自主导航系统
CN111291708A (zh) * 2020-02-25 2020-06-16 华南理工大学 融合深度相机的变电站巡检机器人障碍物检测识别方法
CN111531549A (zh) * 2020-06-18 2020-08-14 北京海益同展信息科技有限公司 一种机器人系统及定位导航方法
CN111823213A (zh) * 2020-07-24 2020-10-27 贾向金 一种农业机器人及其行走控制方法
CN112180941A (zh) * 2020-10-19 2021-01-05 垒途智能教科技术研究院江苏有限公司 一种多传感器融合的无人车探测避障系统及避障方法
WO2021092805A1 (zh) * 2019-11-13 2021-05-20 中新智擎科技有限公司 一种多模态数据融合方法、装置及智能机器人
KR102486834B1 (ko) * 2022-03-31 2023-01-11 주식회사 파이엇 자율주행 서비스 로봇 운행관리시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106338996A (zh) * 2016-10-20 2017-01-18 上海物景智能科技有限公司 一种移动机器人安全控制的方法及系统
CN107966989A (zh) * 2017-12-25 2018-04-27 北京工业大学 一种机器人自主导航系统
WO2021092805A1 (zh) * 2019-11-13 2021-05-20 中新智擎科技有限公司 一种多模态数据融合方法、装置及智能机器人
CN111291708A (zh) * 2020-02-25 2020-06-16 华南理工大学 融合深度相机的变电站巡检机器人障碍物检测识别方法
CN111531549A (zh) * 2020-06-18 2020-08-14 北京海益同展信息科技有限公司 一种机器人系统及定位导航方法
CN111823213A (zh) * 2020-07-24 2020-10-27 贾向金 一种农业机器人及其行走控制方法
CN112180941A (zh) * 2020-10-19 2021-01-05 垒途智能教科技术研究院江苏有限公司 一种多传感器融合的无人车探测避障系统及避障方法
KR102486834B1 (ko) * 2022-03-31 2023-01-11 주식회사 파이엇 자율주행 서비스 로봇 운행관리시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Depth Camera Based Indoor Mobile Robot Localization and Navigation;Joydeep Biswas;2012 IEEE International Conference on Robotics and Automation;全文 *
基于信息融合的移动机器人全局避障路径规划算法;周婷;宁夏师范学院学报;第43卷(第10期);全文 *
室内移动机器人自主避障研究;傅超;工业控制计算机;第28卷(第7期);全文 *

Also Published As

Publication number Publication date
CN116360466A (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
US20210064024A1 (en) Scanning environments and tracking unmanned aerial vehicles
KR102608046B1 (ko) 공항용 안내 로봇 및 그의 동작 방법
EP2094452B1 (en) Surroundings mapping apparatus capable of applying quickly changed surroundings information in mobile robot and method thereof
US20220161430A1 (en) Recharging Control Method of Desktop Robot
US20180239019A1 (en) Sensing system and method
CN103477185A (zh) 用于确定对象表面的3d坐标的测量系统
US11513525B2 (en) Server and method for controlling laser irradiation of movement path of robot, and robot that moves based thereon
WO2021248844A1 (zh) 一种回充对接系统及激光对接方法
WO2020241043A1 (ja) 作業分析システム、作業分析装置、および作業分析プログラム
Blais et al. Optical range image acquisition for the navigation of a mobile robot
CN111780715A (zh) 一种视觉测距方法
Csaba et al. Differences between Kinect and structured lighting sensor in robot navigation
CN116360466B (zh) 一种基于深度相机的机器人运行避障系统
Padgett et al. Vector-based robot obstacle avoidance using LIDAR and mecanum drive
US20200033874A1 (en) Systems and methods for remote visual inspection of a closed space
US20200033879A1 (en) Systems and methods for orienting a robot in a space
CN110696003A (zh) 基于slam技术和深度学习的水边救援机器人
JP2006252349A (ja) 移動ロボット
CN113156952B (zh) 基于导轨的无人移动设备及系统、移动控制装置和方法
JP2019205066A (ja) カメラ調整装置
CN114895675A (zh) 一种基于机器视觉的机器人自主充电方法及系统
EP3916425A1 (en) Alignment and registration system and method for coordinate scanners
Ma et al. Obstacle Avoidance for Unmanned Vehicle based on a 2D LIDAR
Modi Comparison of three obstacle avoidance methods for an autonomous guided vehicle
US20240099187A1 (en) Self-moving device, control method for avoiding obstacles, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant