CN110765922A - 一种agv用双目视觉物体检测障碍物系统 - Google Patents

一种agv用双目视觉物体检测障碍物系统 Download PDF

Info

Publication number
CN110765922A
CN110765922A CN201910995010.6A CN201910995010A CN110765922A CN 110765922 A CN110765922 A CN 110765922A CN 201910995010 A CN201910995010 A CN 201910995010A CN 110765922 A CN110765922 A CN 110765922A
Authority
CN
China
Prior art keywords
agv
image
detection
binocular
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910995010.6A
Other languages
English (en)
Other versions
CN110765922B (zh
Inventor
耿魁伟
周继晟
姚若河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910995010.6A priority Critical patent/CN110765922B/zh
Publication of CN110765922A publication Critical patent/CN110765922A/zh
Application granted granted Critical
Publication of CN110765922B publication Critical patent/CN110765922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Abstract

本发明公开了一种AGV用双目视觉物体检测障碍物系统，包括：双目图像采集与校准模块，其安装在AGV车上，用于采集AGV车行进前方的左右图像对，并利用双目相机参数信息进行图像校正，获得校正后的左右图像对；图像检测处理模块，其由预先训练好的AGV检测专用网络来处理校正后的左右图像对，将左右图像对处理为左右感兴趣区，并于每帧图像中加入分类标签，对左右图像区进行立体匹配，得到分类检测结果；预警决策模块，其用于根据图像检测处理模块所得到的分类检测结果来进行阶梯预警，并根据相应的预警策略来控制AGV车。本系统可以有效地控制AGV车，可以使得AGV车在面对不同的路况都能够进行有效的行进处理。

Description

一种AGV用双目视觉物体检测障碍物系统
技术领域
本发明涉及障碍物检测系统，具体涉及一种AGV用双目视觉物体检测障碍物系统。
背景技术
随着电商行业的迅速发展，物流行业在传统物流基础上快速发展，推动物流各个环节朝向高效率进步，无人仓储智能物流车车取代人力分拣方案孕育而生。
当前物流车还处于结构化路径为主的应用环境，在无人仓中对于意外落物与人机交互的过程还存在很大局限性。同时由于无人仓库的智能车(AGV)运行的高速要求，对于车体传感检测系统提出了严苛的实时性的要求。因此如何控制AGV运行成为一个亟需解决的技术问题。
发明内容
针对现有技术的不足，本发明的目的旨在提供一种AGV用双目视觉物体检测障碍物系统，以利于对AGV的控制。
为实现上述目的，本发明采用如下技术方案：
一种AGV用双目视觉物体检测障碍物系统，包括：
双目图像采集与校准模块，其安装在AGV车上，用于采集AGV车行进前方的左右图像对，并利用双目相机参数信息进行图像校正，获得校正后的左右图像对；
图像检测处理模块，其由预先训练好的AGV检测专用网络来处理校正后的左右图像对，将左右图像对处理为左右感兴趣区，并于每帧图像中加入分类标签，对左右图像区进行立体匹配，得到分类检测结果；
预警决策模块，其用于根据图像检测处理模块所得到的分类检测结果来进行阶梯预警，并根据相应的预警策略来控制AGV车。
进一步地，所述利用双目相机参数信息进行图像校正的方式为：
设两个单目相机在同一个平面上,左、右单目相机的相机光心分别为Oa和Ob，左、右单目相机的光轴分别与图像平面的交点为Oa和Ob，左、右单目相机的基线距离为B，单目相机的焦距为f，空间里的特征点P(XC,YC,ZC)在左、右单目相机的投影点分别为Pa和Pb，其中Pa图像坐标为(Xa,Ya),Pb的图像坐标为(Xb,Yb)，因两个单目相机在同一平面上,那么Pa和Pb的Y轴坐标一致,即Ya＝Yb＝Y：由三角关系得到如下关系：
Figure BDA0002239469170000022
Figure BDA0002239469170000023
由以上公式得知,在获得双目相机的基距和焦距参数后即得出目标的位置信息。
进一步地，所述由预先训练好的AGV检测专用网络来处理校正后的左右图像对，将左右图像对处理为左右感兴趣区，并于每帧图像中加入分类标签，对左右图像区进行分类检测和深度测算，得到分类检测结果和深度图，对左右图像区进行分类检测和深度测算，得到分类检测结果和深度图包括：
采集AGV车运行过程中的双目视频存储于本地系统中，采集对象包括无障碍物、行人、行车、行车负重货架、货品散落；
首先制作训练数据、将以获取的内外参数用于上述采集视频的每一帧得到可用于训练的正确数据，将每一帧标定出障碍物的边框信息得到具有真值的训练数据；然后使用SSD网络训练检测器,SSD网络由特征提取、候选区域生成，目标位置输出三部分组成,其中特征提取利用卷积层与池化层交替组合而成的卷积神经网络进行，将输入图像组合成抽象的特征图,随后将特征图输入区域建议网络提取目标的候选区域再利用池化层将目标候选区域池化到同一个固定的尺度连接全连接层，最后使用回归算法对目标进行分类,并使用多任务损失函数得到目标边界框,网络的输出是一个包含目标类别和位置信息的维向量；将数据依次重复送给检测网络，在训练结果的正确率达到95％以上后结束训练并导出检测网络，得到最终的检测模型；
训练完成后的检测网络将运行得到的数目数据分为有障碍物和无障碍物，有障碍物包括行人、行车、货品散落，将上述检测结果设为标签属性S，将标签属性S值加入每一帧如片中，生成标签属性帧；
标签属性S共有四种属性，包括无障碍、行人、行车、落货；对应无人仓储仓库中的所有可能出现的情况。
进一步地，所述对左右图像区进行立体匹配，得到分类检测结果包括：
如果连续三帧均检测到具有障碍物属性的帧则开始进行立体匹配，车行驶速度为V(1m/s),相机采集频率为F(30f/s)，则检测感应距离为DS＝F/V*3(0.1m)，以检测边框坐标为感兴趣生成条件,将整幅图片送入立体匹配算法，匹配算法只计算感兴趣内像素的视差，得到感兴趣区的视差图，并将视差图转换为深度图。将深度图中按照距离从近到远排序，将近距离的前10％的像素点求距离均值，作为该帧图像感兴趣中障碍物与双目相机的距离D。
进一步地，所述预警策略包括：行人避障策略、行车避障策略、落货避障策略。
进一步地，所述行人避障策略指的是：
当检测到帧属性为行人的情况下AGV车采取得避障策略，具体如下：当检测到帧属性为行人的情况下，系统流程会跳到行人避障策略流程，首先判断障碍物距离D距离是否满足减速行驶距离D1最小要求，若不满足正常行驶，若满足则车子进入低速行驶状态；在进入低速行驶状态后，流程跳到检测障碍物距离D是否满足刹车距离D0，若满足则刹车制动，若不满足，则继续低速行驶；若车子进入刹车制动状态，则避障流程跳到等待时间判断，若等待时间T小于最低等待时间阈值T0，则AGV车继续刹车制动等待，若等待时间T大于最低等待时间，则进入等待超时状态，上报集成调度系统请求新得路径规划。
进一步地，所述D1的值为5m，D0的值为1m。
本发明的有益效果在于：
本系统主要是由双目图像采集与校准模块、图像检测处理模块以及预警决策模块，本系统首先通过双目图像采集与校准模块来实时采集AGV车行进前方的环境障碍物情况，然后经由图像检测处理模块来对双目图像采集与校准模块所实时采集AGV车行进前方的视频图像进行分类匹配，最后由预警决策模块来根据分类的结果来采取不同的控制策略对AGV车进行控制，从而可以有效地控制AGV车，可以使得AGV车在面对不同的路况都能够进行有效的行进处理。
附图说明
图1为本发明实施例提供的AGV用双目视觉物体检测障碍物系统的组成示意图；
图2为本发明实施例提供的AGV用双目视觉物体检测障碍物系统的工作原理图；
图3为落货避障策略的流程逻辑原理图；
图4为行人避障策略的流程逻辑原理图；
图5为行车避障策略的流程逻辑原理图；
图6为AGV车行车负重货架示意图；
图7为AGV车行车示意图；
图8为AGV车有行人示意图；
图9为AGV车无障碍物示意图；
图10相机参数标定示意图；
图中：1、双目图像采集与校准模块；2、图像检测处理模块；3、预警决策模块。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述：
参阅图1所示，为本实施例提供的AGV用双目视觉物体检测障碍物系统的组成示意图，该系统包括双目图像采集与校准模块1、图像检测处理模块2以及预警决策模块3。
其中，该双目图像采集与校准模1块安装在AGV车上，用于采集AGV车行进前方的左右图像对，并利用双目相机参数信息进行图像校正，获得校正后的左右图像对。
该图像检测处理模块2则由预先训练好的AGV检测专用网络来处理校正后的左右图像对，将左右图像对处理为左右感兴趣区，并于每帧图像中加入分类标签，对左右图像区进行立体匹配，得到分类检测结果。
该预警决策模块3则用于根据图像检测处理模块所得到的分类检测结果来进行阶梯预警，并根据相应的预警策略来控制AGV车。
由此可知，本系统主要是由双目图像采集与校准模块、图像检测处理模块以及预警决策模块，本系统首先通过双目图像采集与校准模块来实时采集AGV车行进前方的环境障碍物情况，然后经由图像检测处理模块来对双目图像采集与校准模块所实时采集AGV车行进前方的视频图像进行分类匹配，最后由预警决策模块来根据分类的结果来采取不同的控制策略对AGV车进行控制，从而可以有效地控制AGV车，可以使得AGV车在面对不同的路况都能够进行有效的行进处理。
具体地，所述利用双目相机参数信息进行图像校正的方式为：
假设设两个单目相机在同一个平面上,左、右单目相机的相机光心分别为Oa和Ob，左、右单目相机的光轴分别与图像平面的交点为Oa和Ob，左、右单目相机的基线距离为B，单目相机的焦距为f，空间里的特征点P(XC,YC,ZC)在左、右单目相机的投影点分别为Pa和Pb，其中Pa图像坐标为(Xa,Ya),Pb的图像坐标为(Xb,Yb)，因两个单目相机在同一平面上,那么Pa和Pb的Y轴坐标一致,即Ya＝Yb＝Y：由三角关系得到如下关系：
Figure BDA0002239469170000041
Figure BDA0002239469170000042
Figure BDA0002239469170000043
由以上公式得知,在获得双目相机的基距和焦距参数后即得出目标的位置信息，从而可以巧妙地算出目标的位置信息。
进一步地，所述由预先训练好的AGV检测专用网络来处理校正后的左右图像对，将左右图像对处理为左右感兴趣区，并于每帧图像中加入分类标签，对左右图像区进行分类检测和深度测算，得到分类检测结果和深度图，对左右图像区进行分类检测和深度测算，得到分类检测结果和深度图包括：
采集AGV运行过程中的双目视频存储于本地，采集对象包括无障碍物、行人、行车、行车负重货架、货品散落，图6-9为举例展示示意图。首先制作训练数据、将以获取的内外参数用于上述采集视频的每一帧得到可用于训练的正确数据，将每一帧由标定软件标定出障碍物的边框信息得到具有真值的训练数据；然后使用SSD快速检测网络训练检测器,SSD网络由特征提取、候选区域生成,目标位置输出三部分组成,其中特征提取利用卷积层与池化层交替组合而成的卷积神经网络进行,将输入图像组合成更抽象的特征图,随后将特征图输入区域建议网络提取目标的候选区域再利用池化层将目标候选区域池化到同一个固定的尺度连接全连接层,最后使用回归算法对目标进行分类,并使用多任务损失函数得到目标边界框,网络的输出是一个包含目标类别和位置信息的维向量。将数据依次重复送给检测网络，在训练结果的正确率达到95％以上后结束训练并导出检测网络，得到最终的检测模型；
训练完成后的检测网络将运行得到的数目数据分为有障碍物和无障碍物，有障碍物包括行人、行车(行车负重货架)、货品散落，将上述检测结果设为标签属性S，将标签属性S值加入每一帧如片中，生成标签属性帧；
标签属性S共有四种属性，包括无障碍、行人、行车、落货；对应无人仓储仓库中的所有可能出现的情况。由于仓储的特殊性，落货的地面位置与货物形状是任意的，在检测标签分类中，将非行车、行人、无物的情况均归属为落货，此种方法巧妙地将复杂的障碍物检测算法化简为高效高质量的图片检测算法。通过使用检测标签做障碍物划分的机制，考虑了上述问题充分考虑了仓储的特殊性基础上化简了解决问题的方法，加快了检测速度。
进一步地，所述对左右图像区进行立体匹配，得到分类检测结果包括：
如果连续三帧均检测到具有障碍物属性的帧则开始进行立体匹配，车行驶速度为V(1m/s),相机采集频率为F(30f/s)，则检测感应距离为DS＝F/V*3(0.1m)，以检测边框坐标为感兴趣生成条件,将整幅图片送入立体匹配算法，匹配算法只计算感兴趣内像素的视差，从而只做必要的计算量，可以有效地压缩算法复杂程度，得到感兴趣区的视差图，并将视差图转换为深度图。将深度图中按照距离从近到远排序，将近距离的前10％的像素点求距离均值，作为该帧图像感兴趣中障碍物与双目相机的距离D。
而双目相机内外参数的方式为：使用软件MATLAB内嵌的标定工具箱：首先使用双目相机分别对标定板多个角度采集多幅图片,且要保证获取图片的清晰程度；其次运行标定工具箱中的单目相机标定工具箱,分别将左、右单目相机获取的多图片导入程序中,分别计算出左单目相机和右单目相机的内参数最后运行标定工具箱中的双目相机标定工具箱,将左、右单目相机的标定参数一起导入程序中,得到双目相机的左、右单目相机两者之间的标定参数。通过以上方法即可得到涉及双目相机的各种内外参数。具体地，双目视觉中，所用到的相机内参数有：(f/dx，f/dy，γ，u0，v0，kc)共六个，并且其中各自实际表达的含义分别如下：f为双目相机的焦距，f/dx，f/dy分别代表以x轴与y轴方向上图像的像素个数，即水平和垂直像素为单位表示的焦距；γ：代表像素点在x和y方向上尺度的偏差值(即通常相机的感光元不为标准正方形时的偏斜因子)，γ＝α*tanθ，θ是高精度相机CCD感光元轴向倾斜角度，即为x和y方向上的尺度偏差值。另外u0和v0表示的是相机图像中心坐标原点在像素坐标系下的坐标(即相机成像平面的主点位置)；kc表示畸变系数在坐标变换时暂不参与计算，后面会对畸变单独处理。涉及的还有相机外参数为：相机图像(x,y,z)三个坐标轴的旋转参数(r1,r2,r3)，以及其坐标轴的平移参数：(Tx，Ty，Tz)。采用张正友标定法，Matlab中带有立体相机标定的工具包。直接将多次采集的图像数据导入后按照步骤进行标定最后会输出相关的内参数和外参数，具体参见图10。
进一步地，所述预警策略包括：行人避障策略、行车避障策略、落货避障策略。如图3-5所示，图中，D为检测物与相机之间得距离；D0为刹车距离，当被检测物到相机得距离小于D0时，车子制动停车；D1为减速距离，当被检测物到相机得距离小于D0时，车子进入低速行驶状态。T为停车等待时间
T0为停车等待时间阈值，当等待时间T大于此阈值情况下，小车上报等待超时状态。
该行人避障策略指的是当检测到帧属性为行人的情况下AGV车采取得避障策略，具体如下。当检测到帧属性为行人的情况下，避障系统流程会跳到行人避障策略流程，首先判断障碍物距离D距离是否满足减速行驶距离D1最小要求，若不满足正常行驶，若满足则车子进入低速行驶状态。在进入低速行驶状态后，流程跳到检测障碍物距离D是否满足刹车距离D0，若满足则刹车制动，若不满足，则继续低速行驶。若车子进入刹车制动状态，则避障流程跳到等待时间判断，若等待时间T小于最低等待时间阈值T0，则AGV车继续刹车制动等待，若等待时间T大于最低等待时间，则进入等待超时状态，上报集成调度系统请求新得路径规划。在无人仓的人机共存场景中，由于人的活动性和随机性大，需要将减速阈值距离D1和刹车阈值距离D0调整较高，一般为5m、1m。
行车避障策略、落货避障策略流程同上，不同之处在于调节D0与D1。行车避障策略中为满足车子得正常运行，一般将车子D1设为0.5m，D0设为0.1m。落货避障策略D0、D1同行人避障策。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (7)

1.一种AGV用双目视觉物体检测障碍物系统，其特征在于，包括：
双目图像采集与校准模块，其安装在AGV车上，用于采集AGV车行进前方的左右图像对，并利用双目相机参数信息进行图像校正，获得校正后的左右图像对；
图像检测处理模块，其由预先训练好的AGV检测专用网络来处理校正后的左右图像对，将左右图像对处理为左右感兴趣区，并于每帧图像中加入分类标签，对左右图像区进行立体匹配，得到分类检测结果；
预警决策模块，其用于根据图像检测处理模块所得到的分类检测结果来进行阶梯预警，并根据相应的预警策略来控制AGV车。
2.如权利要求1所述的AGV用双目视觉物体检测障碍物系统，其特征在于，所述利用双目相机参数信息进行图像校正的方式为：
设两个单目相机在同一个平面上,左、右单目相机的相机光心分别为Oa和Ob，左、右单目相机的光轴分别与图像平面的交点为Oa和Ob，左、右单目相机的基线距离为B，单目相机的焦距为f，空间里的特征点P(XC,YC,ZC)在左、右单目相机的投影点分别为Pa和Pb，其中Pa图像坐标为(Xa,Ya),Pb的图像坐标为(Xb,Yb)，因两个单目相机在同一平面上,那么Pa和Pb的Y轴坐标一致,即Ya＝Yb＝Y：由三角关系得到如下关系：
Figure FDA0002239469160000011
Figure FDA0002239469160000012
Figure FDA0002239469160000013
由以上公式得知,在获得双目相机的基距和焦距参数后即得出目标的位置信息。
3.如权利要求1所述的AGV用双目视觉物体检测障碍物系统，其特征在于，所述由预先训练好的AGV检测专用网络来处理校正后的左右图像对，将左右图像对处理为左右感兴趣区，并于每帧图像中加入分类标签，对左右图像区进行分类检测和深度测算，得到分类检测结果和深度图，对左右图像区进行分类检测和深度测算，得到分类检测结果和深度图包括：
采集AGV车运行过程中的双目视频存储于本地系统中，采集对象包括无障碍物、行人、行车、行车负重货架、货品散落；
首先制作训练数据、将以获取的内外参数用于上述采集视频的每一帧得到可用于训练的正确数据，将每一帧标定出障碍物的边框信息得到具有真值的训练数据；然后使用SSD网络训练检测器,SSD网络由特征提取、候选区域生成，目标位置输出三部分组成,其中特征提取利用卷积层与池化层交替组合而成的卷积神经网络进行，将输入图像组合成抽象的特征图,随后将特征图输入区域建议网络提取目标的候选区域再利用池化层将目标候选区域池化到同一个固定的尺度连接全连接层，最后使用回归算法对目标进行分类,并使用多任务损失函数得到目标边界框,网络的输出是一个包含目标类别和位置信息的维向量；将数据依次重复送给检测网络，在训练结果的正确率达到95％以上后结束训练并导出检测网络，得到最终的检测模型；
训练完成后的检测网络将运行得到的数目数据分为有障碍物和无障碍物，有障碍物包括行人、行车、货品散落，将上述检测结果设为标签属性S，将标签属性S值加入每一帧如片中，生成标签属性帧；
标签属性S共有四种属性，包括无障碍、行人、行车、落货；对应无人仓储仓库中的所有可能出现的情况。
4.如权利要求3所述的AGV用双目视觉物体检测障碍物系统，其特征在于，所述对左右图像区进行立体匹配，得到分类检测结果包括：
如果连续三帧均检测到具有障碍物属性的帧则开始进行立体匹配，车行驶速度为V,相机采集频率为F，则检测感应距离为DS＝F/V*3，以检测边框坐标为感兴趣生成条件,将整幅图片送入立体匹配算法，匹配算法只计算感兴趣内像素的视差，得到感兴趣区的视差图，并将视差图转换为深度图，将深度图中按照距离从近到远排序，将近距离的前10％的像素点求距离均值，作为该帧图像感兴趣中障碍物与双目相机的距离D。
5.如权利要求3所述的AGV用双目视觉物体检测障碍物系统，其特征在于，所述预警策略包括：行人避障策略、行车避障策略、落货避障策略。
6.如权利要求5所述的AGV用双目视觉物体检测障碍物系统，其特征在于，所述行人避障策略指的是：
当检测到帧属性为行人的情况下AGV车采取得避障策略，具体如下：当检测到帧属性为行人的情况下，系统流程会跳到行人避障策略流程，首先判断障碍物距离D距离是否满足减速行驶距离D1最小要求，若不满足正常行驶，若满足则车子进入低速行驶状态；在进入低速行驶状态后，流程跳到检测障碍物距离D是否满足刹车距离D0，若满足则刹车制动，若不满足，则继续低速行驶；若车子进入刹车制动状态，则避障流程跳到等待时间判断，若等待时间T小于最低等待时间阈值T0，则AGV车继续刹车制动等待，若等待时间T大于最低等待时间，则进入等待超时状态，上报集成调度系统请求新得路径规划。
7.如权利要求6所述的AGV用双目视觉物体检测障碍物系统，其特征在于，所述D1的值为5m，D0的值为1m。
CN201910995010.6A 2019-10-18 2019-10-18 一种agv用双目视觉物体检测障碍物系统 Active CN110765922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910995010.6A CN110765922B (zh) 2019-10-18 2019-10-18 一种agv用双目视觉物体检测障碍物系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910995010.6A CN110765922B (zh) 2019-10-18 2019-10-18 一种agv用双目视觉物体检测障碍物系统

Publications (2)

Publication Number Publication Date
CN110765922A true CN110765922A (zh) 2020-02-07
CN110765922B CN110765922B (zh) 2023-05-02

Family

ID=69332302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910995010.6A Active CN110765922B (zh) 2019-10-18 2019-10-18 一种agv用双目视觉物体检测障碍物系统

Country Status (1)

Country Link
CN (1) CN110765922B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111502671A (zh) * 2020-04-20 2020-08-07 中铁工程装备集团有限公司 盾构激光标靶导向搭载双目相机的综合导向装置及方法
CN111552289A (zh) * 2020-04-28 2020-08-18 苏州高之仙自动化科技有限公司 检测方法及虚拟雷达装置、电子设备、存储介质
CN111627057A (zh) * 2020-05-26 2020-09-04 孙剑 一种距离测量方法、装置及服务器
CN111694333A (zh) * 2020-06-10 2020-09-22 中国联合网络通信集团有限公司 一种agv协同管理方法及装置
CN112268548A (zh) * 2020-12-14 2021-01-26 成都飞机工业（集团）有限责任公司 一种基于双目视觉的飞机局部外形测量方法
CN112356815A (zh) * 2020-12-01 2021-02-12 吉林大学 一种基于单目相机的行人主动避撞系统及方法
CN112418040A (zh) * 2020-11-16 2021-02-26 南京邮电大学 一种基于双目视觉的障碍物占用消防通道的检测与识别方法
CN112651359A (zh) * 2020-12-30 2021-04-13 深兰科技（上海）有限公司 障碍物检测方法、装置、电子设备和存储介质
CN113126631A (zh) * 2021-04-29 2021-07-16 季华实验室 Agv车的自动刹车控制方法、装置、电子设备和存储介质
CN113297939A (zh) * 2021-05-17 2021-08-24 深圳市优必选科技股份有限公司 障碍物检测方法、系统、终端设备及存储介质
CN113432644A (zh) * 2021-06-16 2021-09-24 苏州艾美睿智能系统有限公司 一种无人搬运车异常检测系统及检测方法
CN113821042A (zh) * 2021-11-23 2021-12-21 南京冈尔信息技术有限公司 一种基于机器视觉的货物运送障碍识别系统及方法
CN113884090A (zh) * 2021-09-28 2022-01-04 中国科学技术大学先进技术研究院 智能平台车环境感知系统及其数据融合方法
CN113954986A (zh) * 2021-11-09 2022-01-21 昆明理工大学 一种基于视觉的烟叶辅料运送小车
WO2022088716A1 (zh) * 2020-10-30 2022-05-05 北京旷视机器人技术有限公司 仓库管理方法、装置、系统及电子设备
CN116164770A (zh) * 2023-04-23 2023-05-26 禾多科技（北京）有限公司 路径规划方法、装置、电子设备和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955259A (zh) * 2016-04-29 2016-09-21 南京航空航天大学 基于多窗口实时测距的单目视觉agv的精确定位方法及系统
CN107422730A (zh) * 2017-06-09 2017-12-01 武汉市众向科技有限公司 基于视觉导引的agv运输系统及其驾驶控制方法
CN108230392A (zh) * 2018-01-23 2018-06-29 北京易智能科技有限公司 一种基于imu的视觉障碍物检测虚警剔除方法
CN109084724A (zh) * 2018-07-06 2018-12-25 西安理工大学 一种基于双目视觉的深度学习障碍物测距方法
CN109269478A (zh) * 2018-10-24 2019-01-25 南京大学 一种基于双目视觉的集装箱码头场桥障碍物检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955259A (zh) * 2016-04-29 2016-09-21 南京航空航天大学 基于多窗口实时测距的单目视觉agv的精确定位方法及系统
CN107422730A (zh) * 2017-06-09 2017-12-01 武汉市众向科技有限公司 基于视觉导引的agv运输系统及其驾驶控制方法
CN108230392A (zh) * 2018-01-23 2018-06-29 北京易智能科技有限公司 一种基于imu的视觉障碍物检测虚警剔除方法
CN109084724A (zh) * 2018-07-06 2018-12-25 西安理工大学 一种基于双目视觉的深度学习障碍物测距方法
CN109269478A (zh) * 2018-10-24 2019-01-25 南京大学 一种基于双目视觉的集装箱码头场桥障碍物检测方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111502671B (zh) * 2020-04-20 2022-04-22 中铁工程装备集团有限公司 盾构激光标靶导向搭载双目相机的综合导向装置及方法
CN111502671A (zh) * 2020-04-20 2020-08-07 中铁工程装备集团有限公司 盾构激光标靶导向搭载双目相机的综合导向装置及方法
CN111552289A (zh) * 2020-04-28 2020-08-18 苏州高之仙自动化科技有限公司 检测方法及虚拟雷达装置、电子设备、存储介质
CN111627057A (zh) * 2020-05-26 2020-09-04 孙剑 一种距离测量方法、装置及服务器
CN111694333A (zh) * 2020-06-10 2020-09-22 中国联合网络通信集团有限公司 一种agv协同管理方法及装置
WO2022088716A1 (zh) * 2020-10-30 2022-05-05 北京旷视机器人技术有限公司 仓库管理方法、装置、系统及电子设备
CN112418040A (zh) * 2020-11-16 2021-02-26 南京邮电大学 一种基于双目视觉的障碍物占用消防通道的检测与识别方法
CN112418040B (zh) * 2020-11-16 2022-08-26 南京邮电大学 一种基于双目视觉的障碍物占用消防通道的检测与识别方法
CN112356815A (zh) * 2020-12-01 2021-02-12 吉林大学 一种基于单目相机的行人主动避撞系统及方法
CN112268548A (zh) * 2020-12-14 2021-01-26 成都飞机工业（集团）有限责任公司 一种基于双目视觉的飞机局部外形测量方法
CN112651359A (zh) * 2020-12-30 2021-04-13 深兰科技（上海）有限公司 障碍物检测方法、装置、电子设备和存储介质
CN113126631A (zh) * 2021-04-29 2021-07-16 季华实验室 Agv车的自动刹车控制方法、装置、电子设备和存储介质
CN113297939A (zh) * 2021-05-17 2021-08-24 深圳市优必选科技股份有限公司 障碍物检测方法、系统、终端设备及存储介质
CN113297939B (zh) * 2021-05-17 2024-04-16 深圳市优必选科技股份有限公司 障碍物检测方法、系统、终端设备及存储介质
CN113432644A (zh) * 2021-06-16 2021-09-24 苏州艾美睿智能系统有限公司 一种无人搬运车异常检测系统及检测方法
CN113884090A (zh) * 2021-09-28 2022-01-04 中国科学技术大学先进技术研究院 智能平台车环境感知系统及其数据融合方法
CN113954986A (zh) * 2021-11-09 2022-01-21 昆明理工大学 一种基于视觉的烟叶辅料运送小车
CN113821042A (zh) * 2021-11-23 2021-12-21 南京冈尔信息技术有限公司 一种基于机器视觉的货物运送障碍识别系统及方法
CN116164770A (zh) * 2023-04-23 2023-05-26 禾多科技（北京）有限公司 路径规划方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN110765922B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN110765922A (zh) 一种agv用双目视觉物体检测障碍物系统
JP3895238B2 (ja) 障害物検出装置及びその方法
CN110163904A (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
WO2020215194A1 (zh) 用于移动目标物体检测的方法、系统以及可移动平台
US11120280B2 (en) Geometry-aware instance segmentation in stereo image capture processes
WO2020053611A1 (en) Electronic device, system and method for determining a semantic grid of an environment of a vehicle
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
JP5922257B2 (ja) 車両周辺監視装置
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
CN116685874A (zh) 摄像机-激光雷达融合对象检测系统和方法
CN115049700A (zh) 一种目标检测方法及装置
CN110197106A (zh) 物件标示系统及方法
CN112097732A (zh) 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
Iloie et al. UV disparity based obstacle detection and pedestrian classification in urban traffic scenarios
CN110969064A (zh) 一种基于单目视觉的图像检测方法、装置及存储设备
Li et al. Judgment and optimization of video image recognition in obstacle detection in intelligent vehicle
Yang et al. Vision-based intelligent vehicle road recognition and obstacle detection method
WO2024055551A1 (zh) 点云特征提取网络模型训练、点云特征提取方法、装置和无人车
CN113895439B (zh) 一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法
Xu et al. Multiview Fusion 3D Target Information Perception Model in Nighttime Unmanned Intelligent Vehicles
Fu et al. Computer vision based object detection and recognition for vehicle driving
Paromtchik et al. Fusion of telemetric and visual data from road scenes with a lexus experimental platform
Mu et al. Inverse Perspective Mapping-Based Neural Occupancy Grid Map for Visual Parking
US20230252638A1 (en) Systems and methods for panoptic segmentation of images for autonomous driving
CN114612874A (zh) 一种基于深度卷积的车辆多目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant