CN111381594A - 基于3d视觉的agv空间避障方法及系统 - Google Patents

基于3d视觉的agv空间避障方法及系统 Download PDF

Info

Publication number
CN111381594A
CN111381594A CN202010156980.XA CN202010156980A CN111381594A CN 111381594 A CN111381594 A CN 111381594A CN 202010156980 A CN202010156980 A CN 202010156980A CN 111381594 A CN111381594 A CN 111381594A
Authority
CN
China
Prior art keywords
obstacle
agv
state
point cloud
obstacle avoidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010156980.XA
Other languages
English (en)
Inventor
孙文侠
徐光运
张小艺
刘鹏
张贻弓
沈长鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanjian Intelligent Technology Co ltd
Original Assignee
Lanjian Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanjian Intelligent Technology Co ltd filed Critical Lanjian Intelligent Technology Co ltd
Priority to CN202010156980.XA priority Critical patent/CN111381594A/zh
Publication of CN111381594A publication Critical patent/CN111381594A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉技术领域，提供了基于3D视觉的AGV空间避障方法。其中，该避障方法包括在AGV当前位置的预设距离阈值范围内，判断在AGV预设轨道的前进方向上是否存在障碍物3D点云信息，若无，则AGV正常运行；否则，AGV进入避障状态；当AGV进入避障状态时，基于障碍物3D点云信息解析出障碍物的形状、大小和位置，进而根据3D点云信息采样周期计算出障碍物在全局坐标系下的速度；基于预先训练完成的支持向量机得到障碍物的状态，进而根据障碍物形状、大小和位置，使得AGV从预设避障执行位置开始执行与当前障碍物状态相匹配的临时避障路径。其能够提高避障精度及AGV稳定性。

Description

基于3D视觉的AGV空间避障方法及系统
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种基于3D视觉的AGV空间避障方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着科技的进步，AGV(Automated Guided Vehicle，自动导航车)越来越多地应用在仓储、物流、制造的现场，大大提高了货物搬运工作的效率。避障是AGV实现无人自动行驶的基础之一，其作用是在自动驾驶中检测障碍物，避免AGV与障碍物发生碰撞。
目前AGV上用于检测障碍物的传感器大多采用2D平面激光传感器，其水平安装到AGV上，仅仅能检测某一高度平面有无障碍物。但是随着工厂的升级及其工作环境复杂度的提高，工作现场出现不同高度、形状的物体，由于2D平面激光传感器很难检测这种3D障碍物，这成为了限制AGV使用的重要因素。发明人发现，现有的3D视觉避障技术，大多针对无人汽车及无人机，其障碍物检测范围较大，导致数据计算量大，避障检测的实时性差，且精度较差；若用于AGV避障，必然影响AGV的避障灵敏性；即现有3D视觉避障技术不能满足AGV小范围高精度避障的要求。
发明内容
为了解决上述问题，本发明的第一个方面提供一种基于3D视觉的AGV空间避障方法，其根据支持向量机来判断障碍物的状态，根据障碍物形状、大小和位置，使得AGV从预设避障执行位置开始执行与当前障碍物状态相匹配的临时避障路径，能够提高AGV的避障效果及稳定性。
为了实现上述目的，本发明采用如下技术方案：
一种基于3D视觉的AGV空间避障方法，包括：
在AGV当前位置的预设距离阈值范围内，判断在AGV预设轨道的前进方向上是否存在障碍物3D点云信息，若无，则AGV正常运行；否则，AGV进入避障状态；
当AGV进入避障状态时，基于障碍物3D点云信息解析出障碍物的形状、大小和位置，进而根据3D点云信息采样周期计算出障碍物在全局坐标系下的速度；
基于预先训练完成的支持向量机得到障碍物的状态，进而根据障碍物形状、大小和位置，使得AGV从预设避障执行位置开始执行与当前障碍物状态相匹配的临时避障路径。
为了解决上述问题，本发明的第二个方面提供一种基于3D视觉的AGV空间避障系统，其根据支持向量机来判断障碍物的状态，根据障碍物形状、大小和位置，使得AGV从预设避障执行位置开始执行与当前障碍物状态相匹配的临时避障路径，能够提高AGV的避障效果及稳定性。为了实现上述目的，本发明采用如下技术方案：
一种基于3D视觉的AGV空间避障系统，包括：
障碍物判断模块，其用于在AGV当前位置的预设距离阈值范围内，判断在AGV预设轨道的前进方向上是否存在障碍物3D点云信息，若无，则AGV正常运行；否则，AGV进入避障状态；
障碍物解析模块，其用于当AGV进入避障状态时，基于障碍物3D点云信息解析出障碍物的形状、大小和位置，进而根据3D点云信息采样周期计算出障碍物在全局坐标系下的速度；
临时避障模块，其用于基于预先训练完成的支持向量机得到障碍物的状态，进而根据障碍物形状、大小和位置，使得AGV从预设避障执行位置开始执行与当前障碍物状态相匹配的临时避障路径。
本发明的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于3D视觉的AGV空间避障方法中的步骤。
本发明的第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于3D视觉的AGV空间避障方法中的步骤。
本发明的有益效果是：
(1)本发明在AGV当前位置的预设距离阈值范围内，判断在AGV预设轨道的前进方向上是否存在障碍物3D点云信息，能够缩小障碍物检测范围，减少数据计算量，提高避障检测的实时性。
(2)本发明依据障碍物3D点云信息，解析出每个障碍物的形状、大小和位置，进而得到障碍物的准确信息，为判断障碍物的状态，提高了准确的数据基础，有利于提高AGV空间避障的精度。
(3)本发明根据3D点云信息采样周期计算出障碍物在全局坐标系下的速度，进而根据支持向量机来判断障碍物的状态，基于预先训练完成的支持向量机得到障碍物的状态，进而根据障碍物形状、大小和位置，使得AGV从预设避障执行位置开始执行与当前障碍物状态相匹配的临时避障路径，使得AGV可在复杂3D环境中实现空间避障，有效提高了AGV对复杂环境的适应能力。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例提供的一种基于3D视觉的AGV空间避障方法；
图2是本发明实施例提供的静止障碍物规划临时避障路径示意图；
图3是本发明实施例提供的运动障碍物规划临时避障路径示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在本发明中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本发明各部件或元件结构关系而确定的关系词，并非特指本发明中任一部件或元件，不能理解为对本发明的限制。
本发明中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本发明中的具体含义，不能理解为对本发明的限制。
实施例一
如图1所示，本实施例提供了一种基于3D视觉的AGV空间避障方法，其包括：
步骤1：在AGV当前位置的预设距离阈值范围内，判断在AGV预设轨道的前进方向上是否存在障碍物3D点云信息，若无，则AGV正常运行；否则，AGV进入避障状态。
在具体实施中，AGV当前位置及前进方向根据实时接收AGV位姿信息获得。其中，AGV位姿信息包括AGV的实时位置和速度。
例如：在t时刻，AGV位姿信息包括AGV的位置p和速度v。其中，AGV的位置p和速度v均为矢量，而且在同一全局坐标系内。
本实施例在AGV当前位置的预设距离阈值范围内，判断在AGV预设轨道的前进方向上是否存在障碍物3D点云信息，缩小了障碍物检测范围，减少了数据计算量，提高了避障检测的实时性。
具体地，3D点云信息可采用3D传感器或是激光传感器来获取到的。可以理解的是，3D点云信息也可采用深度相机(比如：双目摄像机)来获取。本实施例获取3D点云信息，能够解析出包含障碍物的3D点云信息中每个障碍物的形状、大小和位置，进而得到障碍物的准确信息，为判断障碍物的状态，提高了准确的数据基础，有利于提高AGV空间避障的精度。
步骤2：当AGV进入避障状态时，基于障碍物3D点云信息解析出障碍物的形状、大小和位置，进而根据3D点云信息采样周期计算出障碍物在全局坐标系下的速度。
在具体实施中，下面以两个相同规格的摄像机构成双目摄像机来实现3D点云信息采集为例：
通过点云分割基于障碍物3D点云信息解析出障碍物的形状、大小和位置的过程为：同步采集两个相同规格的摄像机图像；对双目摄像机进行标定校正并计算三维点云分割阈值；用立体匹配算法和三维重构计算得到三维点云，对基准图做图像分割得到图块；自动检测三维点云的路面高度，利用三维点云分割阈值分割出路面点云、不同位置的障碍物点云和未知区域点云；利用分割得到的点云结合分割后的图块，判决障碍物和路面的正确性，确定障碍物、路面和未知区域的位置范围。本实施例还基于最小凸包法得到障碍物周围的点，在这些点的基础上求出包围最小面积的矩形，进而确定障碍物的大小，即可得到障碍物遮挡区域位置和障碍物遮挡区域宽度。
步骤3：基于预先训练完成的支持向量机得到障碍物的状态，进而根据障碍物形状、大小和位置，使得AGV从预设避障执行位置开始执行与当前障碍物状态相匹配的临时避障路径。
在具体实施中，支持向量机的输入量包括障碍物形状、大小、位置和速度以及3D点云信息采样时间周期，输出量为障碍物的状态。具体地，障碍物的状态包括静态和动态。
具体地，可通过离线采集作业现场常见物体离线训练获得支持向量机模型，该支持向量机模型的主要目的是较稳定的获得障碍物的静止/运动状态。
在具体实施中，如图2所示，在初次检测障碍物时的AGV位置初次判定有障碍物，AGV与障碍物之间的距离为d1。预设一位置为临时避障路径执行出发点，例如该临时避障路径执行出发点为AGV距离障碍物d2处。
当障碍物的状态为静态时，临时避障路径为一曲线，在障碍物相同水平线上，该曲线与障碍物最近邻AGV的一侧之间的距离D为：
D＝d+P4+k*v*m；
P4＝(P2-W2/2)，当障碍物在AGV左侧；
P4＝(P2+W2/2)，当障碍物在AGV右侧；
其中，d为一个与AGV车体宽度相关的固定偏移距离；v是车体的速度；m为AGV车体质量；k为动量比例参数；P2为障碍物遮挡区域位置；W2为障碍物遮挡区域宽度；P4为可行车侧障碍物边界位置。
本实施例中的坐标均是在全局坐标系下。其中，障碍物遮挡区域位置P2指的是障碍物中心线的横坐标位置；障碍物遮挡区域宽度W2指的是障碍物在横坐标方向上的宽度。结合AGV速度信息并利用PID进行偏移和速度控制，在距离d2处开始执行临时避障。临时避障之后，AGV按照原始路径继续行驶。
在具体实施中，如图3所示，当障碍物的状态为动态时，依据3D点云信息构成的连续至少三帧3D图像中障碍物的位置和速度，预测出障碍物的位置及运动轨迹，进而得到障碍物遮挡区域预测位置。
例如：将障碍物点云数据变换到AGV坐标系，在AGV坐标系中计算障碍物的位置和速度，依据连续几帧中障碍物的位置和速度，预测障碍物的位置及运动轨迹。如图3中依据t1至t2时刻障碍物的位置和速度，预测未来t3时刻障碍物可能的位置范围。依据预计的t3时刻障碍物产生的遮挡区域范围和原预设路径位置，并添加避障偏移D，规划临时避障路径。
临时避障路径为一曲线，在障碍物相同水平线上，该曲线与障碍物最近邻AGV的一侧之间的距离D为：
D＝d+P4+k*v*m；
P4＝(P2预测-W2/2)，当障碍物在AGV左侧；
P4＝(P2预测+W2/2)，当障碍物在AGV右侧；
其中，d为一个与AGV车体宽度相关的固定偏移距离；v是车体的速度；m为AGV车体质量；k为动量比例参数；P2预测为障碍物遮挡区域预测位置；W2为障碍物遮挡区域宽度；P4为可行车侧障碍物边界位置。
本实施例中的坐标均是在全局坐标系下。其中，障碍物遮挡区域预测位置P2预测指的是障碍物中心线的横坐标位置；障碍物遮挡区域宽度W2指的是障碍物在横坐标方向上的宽度。结合AGV速度信息并利用PID进行偏移和速度控制，在距离d2处开始执行临时避障。临时避障之后，AGV按照原始路径继续行驶。
本实施例根据3D点云信息采样周期计算出障碍物在全局坐标系下的速度，进而根据支持向量机来判断障碍物的状态，基于预先训练完成的支持向量机得到障碍物的状态，进而根据障碍物形状、大小和位置，使得AGV从预设避障执行位置开始执行与当前障碍物状态相匹配的临时避障路径，使得AGV可在复杂3D环境中实现空间避障，有效提高了AGV对复杂环境的适应能力。
实施例二
本实施例提供了一种基于3D视觉的AGV空间避障系统，其包括：
(1)障碍物判断模块，其用于在AGV当前位置的预设距离阈值范围内，判断在AGV预设轨道的前进方向上是否存在障碍物3D点云信息，若无，则AGV正常运行；否则，AGV进入避障状态。
在具体实施中，AGV当前位置及前进方向根据实时接收AGV位姿信息获得。其中，AGV位姿信息包括AGV的实时位置和速度。例如：在t时刻，AGV位姿信息包括AGV的位置p和速度v。
本实施例在AGV当前位置的预设距离阈值范围内，判断在AGV预设轨道的前进方向上是否存在障碍物3D点云信息，缩小了障碍物检测范围，减少了数据计算量，提高了避障检测的实时性。
具体地，3D点云信息可采用3D传感器或是激光传感器来获取到的。可以理解的是，3D点云信息也可采用深度相机(比如：双目摄像机)来获取。本实施例获取3D点云信息，能够解析出包含障碍物的3D点云信息中每个障碍物的形状、大小和位置，进而得到障碍物的准确信息，为判断障碍物的状态，提高了准确的数据基础，有利于提高AGV空间避障的精度。
(2)障碍物解析模块，其用于当AGV进入避障状态时，基于障碍物3D点云信息解析出障碍物的形状、大小和位置，进而根据3D点云信息采样周期计算出障碍物在全局坐标系下的速度。
在具体实施中，下面以两个相同规格的摄像机构成双目摄像机来实现3D点云信息采集为例：
通过点云分割基于障碍物3D点云信息解析出障碍物的形状、大小和位置的过程为：同步采集两个相同规格的摄像机图像；对双目摄像机进行标定校正并计算三维点云分割阈值；用立体匹配算法和三维重构计算得到三维点云，对基准图做图像分割得到图块；自动检测三维点云的路面高度，利用三维点云分割阈值分割出路面点云、不同位置的障碍物点云和未知区域点云；利用分割得到的点云结合分割后的图块，判决障碍物和路面的正确性，确定障碍物、路面和未知区域的位置范围。本实施例还基于最小凸包法得到障碍物周围的点，在这些点的基础上求出包围最小面积的矩形，进而确定障碍物的大小，即可得到障碍物遮挡区域位置和障碍物遮挡区域宽度。
(3)临时避障模块，其用于基于预先训练完成的支持向量机得到障碍物的状态，进而根据障碍物形状、大小和位置，使得AGV从预设避障执行位置开始执行与当前障碍物状态相匹配的临时避障路径。
在具体实施中，支持向量机的输入量包括障碍物形状、大小、位置和速度以及3D点云信息采样时间周期，输出量为障碍物的状态。具体地，障碍物的状态包括静态和动态。
具体地，可通过离线采集作业现场常见物体离线训练获得支持向量机模型，该支持向量机模型的主要目的是较稳定的获得障碍物的静止/运动状态。
在具体实施中，如图2所示，在初次检测障碍物时的AGV位置初次判定有障碍物，AGV与障碍物之间的距离为d1。预设一位置为临时避障路径执行出发点，例如该临时避障路径执行出发点为AGV距离障碍物d2处。
当障碍物的状态为静态时，临时避障路径为一曲线，在障碍物相同水平线上，该曲线与障碍物最近邻AGV的一侧之间的距离D为：
D＝d+P4+k*v*m；
P4＝(P2-W2/2)，当障碍物在AGV左侧；
P4＝(P2+W2/2)，当障碍物在AGV右侧；
其中，d为一个与AGV车体宽度相关的固定偏移距离；v是车体的速度；m为AGV车体质量；k为动量比例参数，为常系数；P2为障碍物遮挡区域位置；W2为障碍物遮挡区域宽度；P4为可行车侧障碍物边界位置。
本实施例中的坐标均是在全局坐标系下。其中，障碍物遮挡区域位置P2指的是障碍物中心线的横坐标位置；障碍物遮挡区域宽度W2指的是障碍物在横坐标方向上的宽度。结合AGV速度信息并利用PID进行偏移和速度控制，在距离d2处开始执行临时避障。临时避障之后，AGV按照原始路径继续行驶。
在具体实施中，如图3所示，当障碍物的状态为动态时，依据3D点云信息构成的连续至少三帧3D图像中障碍物的位置和速度，预测出障碍物的位置及运动轨迹，进而得到障碍物遮挡区域预测位置。
例如：将障碍物点云数据变换到AGV坐标系，在AGV坐标系中计算障碍物的位置和速度，依据连续几帧中障碍物的位置和速度，预测障碍物的位置及运动轨迹。如图3中依据t1至t2时刻障碍物的位置和速度，预测未来t3时刻障碍物可能的位置范围。依据预计的t3时刻障碍物产生的遮挡区域范围和原预设路径位置，并添加避障偏移D，规划临时避障路径。
临时避障路径为一曲线，在障碍物相同水平线上，该曲线与障碍物最近邻AGV的一侧之间的距离D为：
D＝d+P4+k*v*m；
P4＝(P2预测-W2/2)，当障碍物在AGV左侧；
P4＝(P2预测+W2/2)，当障碍物在AGV右侧；
其中，d为一个与AGV车体宽度相关的固定偏移距离；v是车体的速度；m为AGV车体质量；k为动量比例参数，为常系数；P2预测为障碍物遮挡区域预测位置；W2为障碍物遮挡区域宽度；P4为可行车侧障碍物边界位置。
本实施例中的坐标均是在全局坐标系下。其中，障碍物遮挡区域预测位置P2预测指的是障碍物中心线的横坐标位置；障碍物遮挡区域宽度W2指的是障碍物在横坐标方向上的宽度。结合AGV速度信息并利用PID进行偏移和速度控制，在距离d2处开始执行临时避障。临时避障之后，AGV按照原始路径继续行驶。
本实施例根据3D点云信息采样周期计算出障碍物在全局坐标系下的速度，进而根据支持向量机来判断障碍物的状态，基于预先训练完成的支持向量机得到障碍物的状态，进而根据障碍物形状、大小和位置，使得AGV从预设避障执行位置开始执行与当前障碍物状态相匹配的临时避障路径，使得AGV可在复杂3D环境中实现空间避障，有效提高了AGV对复杂环境的适应能力。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的基于3D视觉的AGV空间避障方法中的步骤。
本实施例在AGV当前位置的预设距离阈值范围内，判断在AGV预设轨道的前进方向上是否存在障碍物3D点云信息，能够缩小障碍物检测范围，减少数据计算量，提高避障检测的实时性。
本实施例依据障碍物3D点云信息，解析出每个障碍物的形状、大小和位置，进而得到障碍物的准确信息，为判断障碍物的状态，提高了准确的数据基础，有利于提高AGV空间避障的精度。
本实施例根据3D点云信息采样周期计算出障碍物在全局坐标系下的速度，进而根据支持向量机来判断障碍物的状态，基于预先训练完成的支持向量机得到障碍物的状态，进而根据障碍物形状、大小和位置，使得AGV从预设避障执行位置开始执行与当前障碍物状态相匹配的临时避障路径，使得AGV可在复杂3D环境中实现空间避障，有效提高了AGV对复杂环境的适应能力。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一所述的基于3D视觉的AGV空间避障方法中的步骤。
本实施例在AGV当前位置的预设距离阈值范围内，判断在AGV预设轨道的前进方向上是否存在障碍物3D点云信息，能够缩小障碍物检测范围，减少数据计算量，提高避障检测的实时性。
本实施例依据障碍物3D点云信息，解析出每个障碍物的形状、大小和位置，进而得到障碍物的准确信息，为判断障碍物的状态，提高了准确的数据基础，有利于提高AGV空间避障的精度。
本实施例根据3D点云信息采样周期计算出障碍物在全局坐标系下的速度，进而根据支持向量机来判断障碍物的状态，基于预先训练完成的支持向量机得到障碍物的状态，进而根据障碍物形状、大小和位置，使得AGV从预设避障执行位置开始执行与当前障碍物状态相匹配的临时避障路径，使得AGV可在复杂3D环境中实现空间避障，有效提高了AGV对复杂环境的适应能力。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于3D视觉的AGV空间避障方法，其特征在于，包括：
在AGV当前位置的预设距离阈值范围内，判断在AGV预设轨道的前进方向上是否存在障碍物3D点云信息，若无，则AGV正常运行；否则，AGV进入避障状态；
当AGV进入避障状态时，基于障碍物3D点云信息解析出障碍物的形状、大小和位置，进而根据3D点云信息采样周期计算出障碍物在全局坐标系下的速度；
基于预先训练完成的支持向量机得到障碍物的状态，进而根据障碍物形状、大小和位置，使得AGV从预设避障执行位置开始执行与当前障碍物状态相匹配的临时避障路径。
2.如权利要求1所述的基于3D视觉的AGV空间避障方法，其特征在于，AGV当前位置及前进方向根据实时接收AGV位姿信息获得。
3.如权利要求1所述的基于3D视觉的AGV空间避障方法，其特征在于，障碍物的状态包括静态和动态。
4.如权利要求3所述的基于3D视觉的AGV空间避障方法，其特征在于，当障碍物的状态为静态时，临时避障路径为一曲线，在障碍物相同水平线上，该曲线与障碍物最近邻AGV的一侧之间的距离D为：
D＝d+P4+k*v*m；
P4＝(P2-W2/2)，当障碍物在AGV左侧；
P4＝(P2+W2/2)，当障碍物在AGV右侧；
其中，d为一个与AGV车体宽度相关的固定偏移距离；v是车体的速度；m为AGV车体质量；k为动量比例参数；P2为障碍物遮挡区域位置；W2为障碍物遮挡区域宽度；P4为可行车侧障碍物边界位置。
5.如权利要求3所述的基于3D视觉的AGV空间避障方法，其特征在于，当障碍物的状态为动态时，依据3D点云信息构成的连续至少三帧3D图像中障碍物的位置和速度，预测出障碍物的位置及运动轨迹，进而得到障碍物遮挡区域预测位置；临时避障路径为一曲线，在障碍物相同水平线上，该曲线与障碍物最近邻AGV的一侧之间的距离D为：
D＝d+P4+k*v*m；
P4＝(P2预测-W2/2)，当障碍物在AGV左侧；
P4＝(P2预测+W2/2)，当障碍物在AGV右侧；
其中，d为一个与AGV车体宽度相关的固定偏移距离；v是车体的速度；m为AGV车体质量；k为动量比例参数；P2预测为障碍物遮挡区域预测位置；W2为障碍物遮挡区域宽度；P4为可行车侧障碍物边界位置。
6.一种基于3D视觉的AGV空间避障系统，其特征在于，包括：
障碍物判断模块，其用于在AGV当前位置的预设距离阈值范围内，判断在AGV预设轨道的前进方向上是否存在障碍物3D点云信息，若无，则AGV正常运行；否则，AGV进入避障状态；
障碍物解析模块，其用于当AGV进入避障状态时，基于障碍物3D点云信息解析出障碍物的形状、大小和位置，进而根据3D点云信息采样周期计算出障碍物在全局坐标系下的速度；
临时避障模块，其用于基于预先训练完成的支持向量机得到障碍物的状态，进而根据障碍物形状、大小和位置，使得AGV从预设避障执行位置开始执行与当前障碍物状态相匹配的临时避障路径。
7.如权利要求6所述的基于3D视觉的AGV空间避障系统，其特征在于，在所述临时避障模块中，当障碍物的状态为静态时，临时避障路径为一曲线，在障碍物相同水平线上，该曲线与障碍物最近邻AGV的一侧之间的距离D为：
D＝d+P4+k*v*m；
P4＝(P2-W2/2)，当障碍物在AGV左侧；
P4＝(P2+W2/2)，当障碍物在AGV右侧；
其中，d为一个与AGV车体宽度相关的固定偏移距离；v是车体的速度；m为AGV车体质量；k为动量比例参数；P2为障碍物遮挡区域位置；W2为障碍物遮挡区域宽度；P4为可行车侧障碍物边界位置。
8.如权利要求6所述的基于3D视觉的AGV空间避障系统，其特征在于，在所述临时避障模块中，当障碍物的状态为动态时，依据3D点云信息构成的连续至少三帧3D图像中障碍物的位置和速度，预测出障碍物的位置及运动轨迹，进而得到障碍物遮挡区域预测位置；临时避障路径为一曲线，在障碍物相同水平线上，该曲线与障碍物最近邻AGV的一侧之间的距离D为：
D＝d+P4+k*v*m；
P4＝(P2-W2/2)，当障碍物在AGV左侧；
P4＝(P2+W2/2)，当障碍物在AGV右侧；
其中，d为一个与AGV车体宽度相关的固定偏移距离；v是车体的速度；m为AGV车体质量；k为动量比例参数；P2为障碍物遮挡区域预测位置；W2为障碍物遮挡区域宽度；P4为可行车侧障碍物边界位置。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的基于3D视觉的AGV空间避障方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的基于3D视觉的AGV空间避障方法中的步骤。
CN202010156980.XA 2020-03-09 2020-03-09 基于3d视觉的agv空间避障方法及系统 Pending CN111381594A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010156980.XA CN111381594A (zh) 2020-03-09 2020-03-09 基于3d视觉的agv空间避障方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010156980.XA CN111381594A (zh) 2020-03-09 2020-03-09 基于3d视觉的agv空间避障方法及系统

Publications (1)

Publication Number Publication Date
CN111381594A true CN111381594A (zh) 2020-07-07

Family

ID=71219964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010156980.XA Pending CN111381594A (zh) 2020-03-09 2020-03-09 基于3d视觉的agv空间避障方法及系统

Country Status (1)

Country Link
CN (1) CN111381594A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112666950A (zh) * 2020-12-25 2021-04-16 苏红艳 一种基于超声波距离检测的无人驾驶汽车避障方法
CN112859859A (zh) * 2021-01-13 2021-05-28 中南大学 一种基于三维障碍物体素对象映射的动态栅格地图更新方法
CN113172374A (zh) * 2021-04-25 2021-07-27 中铁十四局集团有限公司 一种用于钢管切割及焊接的走行智能控制系统及方法
CN113189993A (zh) * 2021-04-27 2021-07-30 北京石头世纪科技股份有限公司 一种自行走设备避障方法、装置、介质和电子设备
CN113534702A (zh) * 2021-07-05 2021-10-22 上海仙越机器人科技有限公司 一种控制方法、装置、设备及存储介质
CN113532461A (zh) * 2021-07-08 2021-10-22 山东新一代信息产业技术研究院有限公司 一种机器人自主避障导航的方法、设备及存储介质
CN114596293A (zh) * 2022-03-11 2022-06-07 华南理工大学 基于agv对工件进行作业的方法及agv系统
CN115123310A (zh) * 2022-08-31 2022-09-30 中汽数据(天津)有限公司 无人车避障局部路径规划方法、设备和存储介质
CN115903830A (zh) * 2022-12-07 2023-04-04 杭州丰坦机器人有限公司 基于激光测距导航功能的建筑agv底盘

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998020398A1 (fr) * 1996-11-07 1998-05-14 Komatsu Ltd. Appareil permettant de prevenir la collision d'un objet en mouvement avec un obstacle
US20070192006A1 (en) * 2004-03-03 2007-08-16 Nissan Motor Co., Ltd. Method and vehicle reacting to the detection of an in-path obstacle
CN103991492A (zh) * 2014-06-11 2014-08-20 重庆大学 一种基于Kinect技术的智能小车
US20140350839A1 (en) * 2013-05-23 2014-11-27 Irobot Corporation Simultaneous Localization And Mapping For A Mobile Robot
CN106598055A (zh) * 2017-01-19 2017-04-26 北京智行者科技有限公司 一种智能车局部路径规划方法及其装置、车辆
CN109074668A (zh) * 2018-08-02 2018-12-21 深圳前海达闼云端智能科技有限公司 路径导航方法、相关装置及计算机可读存储介质
US20190056748A1 (en) * 2017-08-18 2019-02-21 Wipro Limited Method, System, and Device for Guiding Autonomous Vehicles Based on Dynamic Extraction of Road Region
US20190193629A1 (en) * 2017-12-27 2019-06-27 X Development Llc Visually Indicating Vehicle Caution Regions
US20200391737A1 (en) * 2017-07-03 2020-12-17 Nissan Motor Co., Ltd. Target vehicle speed generation method and target vehicle speed generation device for driving assisted vehicle
US20210046928A1 (en) * 2018-01-30 2021-02-18 Mazda Motor Corporation Vehicle control system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998020398A1 (fr) * 1996-11-07 1998-05-14 Komatsu Ltd. Appareil permettant de prevenir la collision d'un objet en mouvement avec un obstacle
US20070192006A1 (en) * 2004-03-03 2007-08-16 Nissan Motor Co., Ltd. Method and vehicle reacting to the detection of an in-path obstacle
US20140350839A1 (en) * 2013-05-23 2014-11-27 Irobot Corporation Simultaneous Localization And Mapping For A Mobile Robot
CN103991492A (zh) * 2014-06-11 2014-08-20 重庆大学 一种基于Kinect技术的智能小车
CN106598055A (zh) * 2017-01-19 2017-04-26 北京智行者科技有限公司 一种智能车局部路径规划方法及其装置、车辆
US20200391737A1 (en) * 2017-07-03 2020-12-17 Nissan Motor Co., Ltd. Target vehicle speed generation method and target vehicle speed generation device for driving assisted vehicle
US20190056748A1 (en) * 2017-08-18 2019-02-21 Wipro Limited Method, System, and Device for Guiding Autonomous Vehicles Based on Dynamic Extraction of Road Region
US20190193629A1 (en) * 2017-12-27 2019-06-27 X Development Llc Visually Indicating Vehicle Caution Regions
US20210046928A1 (en) * 2018-01-30 2021-02-18 Mazda Motor Corporation Vehicle control system
CN109074668A (zh) * 2018-08-02 2018-12-21 深圳前海达闼云端智能科技有限公司 路径导航方法、相关装置及计算机可读存储介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112666950A (zh) * 2020-12-25 2021-04-16 苏红艳 一种基于超声波距离检测的无人驾驶汽车避障方法
CN112859859A (zh) * 2021-01-13 2021-05-28 中南大学 一种基于三维障碍物体素对象映射的动态栅格地图更新方法
CN113172374A (zh) * 2021-04-25 2021-07-27 中铁十四局集团有限公司 一种用于钢管切割及焊接的走行智能控制系统及方法
CN113189993A (zh) * 2021-04-27 2021-07-30 北京石头世纪科技股份有限公司 一种自行走设备避障方法、装置、介质和电子设备
CN113189993B (zh) * 2021-04-27 2023-08-29 北京石头创新科技有限公司 一种自行走设备避障方法、装置、介质和电子设备
CN113534702B (zh) * 2021-07-05 2023-08-29 上海高仙环境科技有限公司 一种控制方法、装置、设备及存储介质
CN113534702A (zh) * 2021-07-05 2021-10-22 上海仙越机器人科技有限公司 一种控制方法、装置、设备及存储介质
CN113532461A (zh) * 2021-07-08 2021-10-22 山东新一代信息产业技术研究院有限公司 一种机器人自主避障导航的方法、设备及存储介质
CN113532461B (zh) * 2021-07-08 2024-02-09 山东新一代信息产业技术研究院有限公司 一种机器人自主避障导航的方法、设备及存储介质
CN114596293A (zh) * 2022-03-11 2022-06-07 华南理工大学 基于agv对工件进行作业的方法及agv系统
CN114596293B (zh) * 2022-03-11 2024-05-17 华南理工大学 基于agv对工件进行作业的方法及agv系统
CN115123310A (zh) * 2022-08-31 2022-09-30 中汽数据(天津)有限公司 无人车避障局部路径规划方法、设备和存储介质
CN115903830A (zh) * 2022-12-07 2023-04-04 杭州丰坦机器人有限公司 基于激光测距导航功能的建筑agv底盘

Similar Documents

Publication Publication Date Title
CN111381594A (zh) 基于3d视觉的agv空间避障方法及系统
CN111693972B (zh) 一种基于双目序列图像的车辆位置与速度估计方法
EP2209091B1 (en) System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
US8564657B2 (en) Object motion detection system based on combining 3D warping techniques and a proper object motion detection
Ferryman et al. Visual surveillance for moving vehicles
EP4033324B1 (en) Obstacle information sensing method and device for mobile robot
Pfeiffer et al. Modeling dynamic 3D environments by means of the stixel world
JP5023186B2 (ja) ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム
KR102547274B1 (ko) 이동 로봇 및 이의 위치 인식 방법
Broggi et al. Terrain mapping for off-road autonomous ground vehicles using rational b-spline surfaces and stereo vision
CN114200945B (zh) 一种移动机器人的安全控制方法
JP2018048949A (ja) 物体識別装置
US20230419531A1 (en) Apparatus and method for measuring, inspecting or machining objects
CN115223039A (zh) 一种面向复杂环境的机器人半自主控制方法及系统
Betge-Brezetz et al. Natural scene understanding for mobile robot navigation
Yang et al. Vision-based intelligent vehicle road recognition and obstacle detection method
KR20200102108A (ko) 차량의 객체 검출 장치 및 방법
Aijazi et al. Multi sensorial data fusion for efficient detection and tracking of road obstacles for inter-distance and anti-colision safety management
Pancham et al. Literature review of SLAM and DATMO
CN115755888A (zh) 多传感器数据融合的agv障碍物检测系统及避障方法
US20220410942A1 (en) Apparatus and method for determining lane change of surrounding objects
Martínez et al. Driving assistance system based on the detection of head-on collisions
CN111208785B (zh) 一种运动控制方法及装置
Sun et al. Detection and state estimation of moving objects on a moving base for indoor navigation
Nogami et al. A stereo camera based static and moving obstacles detection on autonomous visual navigation of indoor transportation vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200707