CN109460709B - 基于rgb和d信息融合的rtg视觉障碍物检测的方法 - Google Patents

基于rgb和d信息融合的rtg视觉障碍物检测的方法 Download PDF

Info

Publication number
CN109460709B
CN109460709B CN201811186813.9A CN201811186813A CN109460709B CN 109460709 B CN109460709 B CN 109460709B CN 201811186813 A CN201811186813 A CN 201811186813A CN 109460709 B CN109460709 B CN 109460709B
Authority
CN
China
Prior art keywords
obstacle
detection
candidate
depth
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811186813.9A
Other languages
English (en)
Other versions
CN109460709A (zh
Inventor
申富饶
韩峰
黄羽佳
姜少魁
赵健
李俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201811186813.9A priority Critical patent/CN109460709B/zh
Publication of CN109460709A publication Critical patent/CN109460709A/zh
Application granted granted Critical
Publication of CN109460709B publication Critical patent/CN109460709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于RGB和D信息融合的RTG视觉障碍物检测的方法，包括：步骤1，获取双目摄像头中左摄像头的RGB图像，由双目计算得到的Depth深度图像以及需要检测障碍物的ROI感兴趣区域；步骤2，基于Depth深度图通过U/V视差法检测障碍物；步骤3，对RGB图做边缘轮廓检测，检测障碍物；步骤4，使用神经网络模型做目标检测，检测训练过的物体类别；步骤5，使用训练的分类模型对步骤2和步骤3中的检测结果判断是否属于障碍物；步骤6，对步骤4和步骤5中的物体框做合并过滤等操作；步骤7，根据物体框与ROI感兴趣区域的位置关系判断是否属于ROI检测区域；步骤8，由Depth深度图计算障碍物的距离。

Description

基于RGB和D信息融合的RTG视觉障碍物检测的方法
技术领域
本发明涉及基于RGB和D信息融合的RTG视觉障碍物检测的方法。
背景技术
轮胎式集装箱龙门起重机(Rubber-Tyred Container Gantry Crane，RTG)是集装箱港口码头的重要作业设备，其在现代化码头作业中起到了举足轻重的作用，如果能最大化利用RTG将极大地提高码头工作效率。但是RTG设备体积庞大，驾驶室距地面高度较高，对驾驶员提出很高的操作要求，因此如何能为RTG设备提高安全性是一个重要的研究课题。为满足上述安全需求，防撞检测系统作为一种辅助驾驶设备逐渐受到重视。
目前，国内外RTG防撞系统障碍物检测方法主要包括：基于超声波传感器的障碍物检测方法，基于红外传感器的障碍物检测方法，基于激光传感器的障碍物检测方法和基于视觉的障碍物检测方法。前两种方法因为检测距离短，可感知信息少等缺点而无法作为主要检测依据，常常只作为辅助手段，主要采用的是基于激光和视觉两种检测方法。
基于激光的障碍物检测方法是一项应用相对成熟的技术，但是激光传感器一般成本较高，检测粒度低，无法感知障碍物类别等更丰富的信息。张等人提出了基于激光扫描仪的集装箱防撞检测系统。参考文献：张志勇,应俊,刘影.基于激光的集装箱防撞系统[J].集装箱化,2015,26(11):18-21。
相对于基于激光的障碍物检测方法，基于视觉的障碍物检测方法则具有信息丰富，检测距离远，成本较低等优点，尤其是随着近些年计算机视觉技术的突破性发展，此类方法将具有更深远的研究和实用价值。此类方法中曾有早期的基于简单视觉特征如颜色、色彩外观检测障碍物，如She等人提出的根据颜色信息进行图像分割检测障碍物的方法。参考文献：She A C,Huang T S.Segmentation of road scenes using color and fractal-based texture classification[C].Image Processing,1994.Proceedings.ICIP-94.,IEEE International Conference.IEEE,1994,3:1026-1030。
基于单目RGB图像的视觉障碍物检测方法除了利用颜色信息的方法还有利用边缘检测技术检测障碍物的方法，边缘是图像最基本的特征，通过提取边缘可以达到将图像与背景分开的目的，进而检测到障碍物。Canny算子作为一种经典的边缘提取方法可以很好地应用与障碍物检测中。边缘检测的缺点是提取出的边缘不仅仅是障碍物的边缘，也可能是阴影及周围环境。参考文献：Canny J.A computational approach to edge detection[J].IEEE Transactions on pattern analysis and machine intelligence,1986(6):679-698。
利用单目视觉虽然也可以检测到障碍物，但是这类方法通常无法计算到障碍物的距离信息，然而距离信息是防撞避障中必不可少的信息，融合双目视觉产生的Depth深度图的方法可以很好地解决上述问题。陈等人提出了利用Depth深度图可以计算得到的U-V视差图确定路面和检测障碍物的方法。参考文献：陈雪,张卫彬,程广涛.基于双目立体视觉的障碍物检测方法[J].软件导刊,2012,11(2):146-148。
近年来随着深度学习的发展，其对计算机视觉领域中的物体检测任务效果有了很大的提升，利用深度学习中的深度神经网络可以很好地检测到图像中的物体。如Girshick等人提出的R-CNN，利用深度卷积神经网络提取高层图像特征完成物体检测。参考文献：Girshick R,Donahue J,Darrell T,et al.Rich feature hierarchies for accurateobject detection and semantic segmentation[C].Proceedings of the IEEEconference on computer vision and pattern recognition.2014:580-587。
通过上述分析可以发现，基于视觉的检测方法相对于其它传感器的方法具有成本低，信息丰富等优点。同时，仅仅利用RGB彩色图像进行障碍物检测无法得到障碍物距离这一重要信息，因此融合Depth深度图信息是必要的。近年来针对相关方面的研究逐渐增多，如Gupta提出的MergeNet融合RGB彩色图像和Depth深度图像进行障碍物检测。但是此研究中是针对特定已知类别物体检测，对未知未训练过的类别不具有鲁棒性。参考文献：GuptaK,Javed S A,Gandhi V,et al.MergeNet:A Deep Net Architecture for SmallObstacle Discovery[J].arXiv preprint arXiv:1803.06508,2018。
发明内容
发明目的：采用视觉障碍物检测来保障RTG安全作业，满足现代化集装箱码头生产需求。克服使用简单视觉特征检测障碍物的不准确性，单纯使用基于RGB图像而丧失距离信息，仅利用Depth深度图检测障碍物的不鲁棒性、无法感知物体类别、检测距离短等方面的问题。考虑融合RGB图像和Depth深度图信息，增加感知障碍物类别、距离等信息，合理使用边缘轮廓等简单特征实现开放式、未知类别、未训练类别障碍物的检测。
为了解决上述问题，本发明公开了一种基于RGB(RGB即红绿蓝)和D(D表示Depth图像)信息融合的RTG(RTG表示轮胎式集装箱龙门起重机)视觉障碍物检测方法，该方法可以用于集装箱码头龙门起重机防撞系统，障碍物检测等应用中，包括如下步骤：
步骤1，获取双目摄像头中左摄像头的RGB图像，由双目计算得到Depth深度图像以及需要检测障碍物的ROI感兴趣区域；
步骤2，基于Depth深度图像通过U/V视差法(U/V指图像中的UV坐标系)检测障碍物，得到候选障碍物物体框；
步骤3，对RGB图做边缘轮廓检测，得到候选障碍物物体框；
步骤4，标注训练数据，并利用标注数据训练目标检测的神经网络模型，使用神经网络模型做目标检测，检测训练过的物体类别，可以得到相应物体的位置坐标信息(物体框)和类别信息；
步骤5，判断步骤2和步骤3中的检测结果是否属于障碍物，如果是，则保留该障碍物物体框，否则删除；
步骤6，对步骤4和步骤5中的物体框做合并过滤操作，得到进一步的候选障碍物物体框；
步骤7，根据候选障碍物物体框与ROI感兴趣区域的位置关系判断其是否属于ROI检测区域，如果是，执行步骤8；
步骤8，由Depth深度图像计算障碍物的距离。
步骤1中，在RTG中使用视觉防撞方案，使用自主安装的双目摄像头获取RGB图像和Depth深度图像信息，用于障碍物检测。其中Depth深度图由双目视觉算法计算得到，双目视觉算法采用的是在GPU(Graphics Processing Unit，图形处理器)上实现的SGM(Semi-Global Matching，半全局立体匹配)算法。视觉防撞可以通过单目或双目两种方法实现，本发明采用的是类似于美国火星探测车使用的双目视觉障碍物检测防撞方案。双目摄像头通过两个型号相同的定焦单目摄像头水平固定自主安装得到；参考文献：Goldberg S B,Maimone M W,Matthies L.Stereo vision and rover navigation software forplanetary exploration[C].Aerospace Conference Proceedings,2002:324-335；JuárezD H,Chacón A,Espinosa A,et al.Embedded Real-time Stereo Estimation via Semi-GlobalMatching on the GPU[J].Procedia Computer Science,2016,80(C):143-153。
步骤2中，在RTG防撞场景下基于Depth深度图使用U/V视差法检测未知类别的障碍物，得到候选障碍物物体框；参考文献：Hu Z,Uchimura K.UV-disparity:an efficientalgorithm for stereovision based scene analysis[C].Intelligent VehiclesSymposium,2005.Proceedings.IEEE.IEEE,2005:48-54。具体包括如下步骤：
步骤2-1，设置障碍物检测有效距离范围参数，取该距离范围内的Depth深度图像，范围参数可根据实际应用需求设置，如设置为0-20米；
步骤2-2，利用Depth深度图像计算U/V视差图，计算公式如下：
Figure BDA0001826439330000041
Figure BDA0001826439330000042
其中vdj表示V视差图中第j行第d列的值，cols表示Depth深度图像的列数，Δij用于表示Depth深度图第j行第i列的深度值(即dispij)是否为d，如果为d，则该值为1；dispij表示Depth深度图第j行第i列的深度值，uid表示U视差图中第d行第i列的值，rows表示Depth深度图像的行数。
步骤2-3，基于V视差图拟合直线，分割出路面区域，去除多余干扰信息；参考文献：Labayrade R,Aubert D,Tarel J P.Real time obstacle detection in stereovisionon non flat road geometry through"v-disparity"representation[C].IntelligentVehicle Symposium.IEEE,2002:646-651vol.2。
步骤2-4，基于U视差图拟合直线，检测出障碍物，得到候选障碍物物体框。直线拟合检测采用的是Hough直线检测算法；参考文献：Zhang M,Liu P,Zhao X,et al.Anobstacle detection algorithm based on U-V disparity map analysis[C].IEEEInternational Conference on Information Theory and Information Security.IEEE,2011:763-766；Duda R O.Use of the Hough transformation to detect lines andcurves in pictures[J].Cacm,1972,15(1):11-15。
步骤3中，对RGB图做Canny边缘检测，对边缘检测的结果做轮廓检测，得到候选障碍物物体框；参考文献：Canny J.A computational approach to edge detection[J].IEEE Transactions on pattern analysis and machine intelligence,1986(6):679-698。
步骤4中，使用基于深度神经网络的目标检测模型SSD(Single Shot multiboxDetector，单次多框检测器)做已知物体类别的检测；参考文献：Liu W,Anguelov D,ErhanD,et al.Ssd:Single shot multibox detector[C].European conference on computervision.Springer,Cham,2016:21-37。具体包括如下步骤：
步骤4-1，采集RTG使用场景中图像数据，标注检测目标的物体框及类别信息。图像数据根据RTG在港口码头工作场景下由双目摄像头录制的视频数据截取筛选得到，筛选保留包含实际应用需要检测的物体(如行人、车辆、工具箱等)的图像。人工对上述采集筛选得到的图像数据进行标注，标注图中待检测物体的可以包含该物体的矩形物体框以及该物体所属的类别名称(如行人、车辆、工具箱等)；
步骤4-2，利用步骤4-1中标注好的数据对预训练好的SSD(Single Shot multiboxDetector，单次多框检测器)检测模型做fine-tuning(微调，调优)，重新训练检测模型这个神经网络模型中的连接权重，这样可以在该场景下取得较好的检测效果；参考文献：Liu W,Anguelov D,Erhan D,et al.Ssd:Single shot multibox detector[C].Europeanconference on computer vision.Springer,Cham,2016:21-37；Yosinski J,Clune J,Bengio Y,et al.How transferable are features in deep neural networks？[C].Advances in neural information processing systems.2014:3320-3328。
步骤4-3，如果障碍物检测应用需求中增加新的物体检测类别(如增加检测自行车)则跳转至步骤4-1，否则利用步骤4-2中训练好的模型做目标检测，得到相应物体的位置坐标信息(物体框)和类别信息。
步骤5中，通过卷积神经网络LeNet分类模型判断步骤步骤2和步骤3得到的候选物体框是否属于障碍物，如果是，则保留该障碍物物体框，否则删除；参考文献：LeCunY.LeNet-5,convolutional neural networks[J].URL:http://yann.lecun.com/exdb/lenet,2015:20。具体包括如下步骤：
步骤5-1，将步骤2和步骤3中检测到的候选障碍物物体框内的图像保存下来，将保存下来的图像分类，分为正类障碍物和负类非障碍物；
步骤5-2，调整LeNet超参数(如学习率)训练分类模型，直到模型收敛；参考文献：Kingma D P,Ba J.Adam:A method for stochastic optimization[J].arXiv preprintarXiv:1412.6980,2014。
步骤5-3，当分类误判较多(如超过5％)时，使用分类不确定的样本进行增量更新，跳转至步骤5-1；否则跳转至步骤5-4；不确定度衡量公式如下：
Uncertainty＝-|P(Obstacle)-P(Non-obstacle)|，
其中Uncertainty表示分类不确定度，取值范围为-1～0，Obstacle表示类别是障碍物，P(Obstacle)表示该物体是障碍物的概率，取值范围为0～1，Non-obstacle表示类别是非障碍物，P(Non-obstacle)表示该物体是非障碍物的概率，取值范围为0～1。
步骤5-4，使用步骤5-1～步骤5-3训练出的障碍物分类模型对候选障碍物进行分类，判断是否属于障碍物，如果是，则保留该障碍物物体框，否则删除。
步骤6包括如下步骤：
步骤6-1，对步骤4和步骤5得到的两组物体框分别进行NMS(Non-MaximumSuppression，非极大值抑制)操作，删除其中冗余重复的物体框，得到两组候选物体框；参考文献：Neubeck A,Van Gool L.Efficient non-maximum suppression[C].PatternRecognition,2006.ICPR 2006.18th International Conference on.IEEE,2006,3:850-855。
步骤6-2，对两组候选物体框取交集，取其中同时被基于U/V视差、边缘轮廓和目标检测算法检测到的物体框作为候选障碍物物体框；
步骤6-3，计算候选障碍物物体框的区域面积大小，根据设定的最大和最小面积阈值参数过滤其中较小或较大的结果。最大面积阈值参数可设置为行人在距离摄像头3米处时在整幅图像中所占的像素(如102400像素)，最小面积阈值参数可设置为行人在距离摄像头20米处时在整幅图像中所占的像素(如225像素)，根据计算得到的区域面积和这两个阈值的大小关系判断是否在该阈值范围内，如果不在，则删除该物体框，如果在，则保留。
步骤7包括如下步骤：
步骤7-1，计算候选障碍物物体框区域面积，若超过设定的阈值参数A，则转至步骤7-3，否则转至步骤7-2。阈值参数A可设置为步骤6-3中最大面积阈值参数的1/2(如51200)；
步骤7-2，根据候选障碍物物体框的底边中点是否在ROI感兴趣区域内判断，若在ROI感兴趣区域内则转至步骤8，否则结束；
步骤7-3，根据候选障碍物物体框与ROI感兴趣区域重叠部分的面积与设定的阈值参数B比较判断，若在ROI感兴趣区域内则转至步骤8，否则结束。阈值参数B可设置为步骤7-1中阈值参数的1/4(如12800)。
步骤8中，取障碍物物体框内所有像素点Depth值的众数作为该障碍物到摄像头的距离。
有益效果：本发明的显著优点是融合RGB和Depth深度信息，感知信息丰富，包括障碍物未知、距离和类别，应用最新计算机视觉中基于深度学习完成物体检测成果，并且可实现开放式、未知类别、未训练障碍物检测，提升了算法鲁棒性，准确性。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1为本发明检测障碍物的流程图。
图2为本发明分类及物体检测深度神经网络模型训练流程图。
图3aRTG轮胎式集装箱龙门起重机的外观图，
图3b是本发明实施例中获取Depth深度图设计使用的双目相机。
图3c是本发明使用的双目相机安装样图。
图3d是本发明中获取到的信息的第一视角场景图。
图4a是RGB图像的示例图。
图4b是Depth深度图像的示例图。
图4c是由Depth深度信息得到的U视差图。
图4d是ROI感兴趣区域内的Canny边缘检测的结果。
图4e是基于深度神经网络进行物体检测的结果。
图4f是本发明所提出方法的最终检测结果，
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
图1是本发明障碍物检测的流程图，包括8个步骤。
在第一个步骤中，在RTG中使用视觉防撞方案，使用自主安装的双目摄像头获取RGB图像和Depth深度图像信息，用于障碍物检测。
在第二个步骤中，在RTG防撞场景下基于Depth深度图使用U/V视差法检测未知类别的障碍物，得到候选障碍物物体框；包括如下步骤：
步骤2-1，设置障碍物检测有效距离范围参数，取该距离范围内的Depth深度图；
步骤2-2，利用Depth深度图计算U/V视差图，计算公式如下：
Figure BDA0001826439330000081
Figure BDA0001826439330000082
其中vdj表示V视差图中第j行第d列的值，cols表示Depth深度图像的列数，Δij表示Depth深度图第j行第i列的深度值(即dispij)是否为d，如果为d，则该值为1；dispij表示Depth深度图第j行第i列的深度值，uid表示U视差图中第d行第i列的值，rows表示Depth深度图像的行数。
步骤2-3，基于V视差图拟合直线，分割出路面区域，去除多余干扰信息；
步骤2-4，基于U视差图拟合直线，检测出障碍物，得到候选障碍物物体框。
在第三个步骤中，对RGB图做Canny边缘检测；对边缘检测的结果做轮廓检测，得到候选障碍物物体框。
在第四个步骤中，使用基于深度神经网络的目标检测模型SSD做已知物体类别的检测；包括如下步骤：
步骤4-1，采集RTG使用场景中图像数据，标注检测目标的物体框及类别信息；
步骤4-2，利用步骤4-1中标注好的数据对预训练好的检测模型做fine-tuning微调，这样可以在该场景下取得较好的检测效果；
步骤4-3，如果障碍物检测应用需求中增加新的物体检测类别则跳转至步骤4-1，否则利用步骤4-2中训练好的模型做目标检测，得到相应物体的位置坐标信息(物体框)和类别信息。
在第五个步骤中，通过卷积神经网络LeNet分类模型判断步骤步骤2和步骤3得到的候选物体框是否属于障碍物，如果是，则保留该障碍物物体框，否则删除；这一过程模型训练的流程图如图2，包括如下步骤：
步骤5-1，将步骤2和步骤3中检测到的候选障碍物物体框内的图像保存下来，人工将保存下来的图像分类，分为正类障碍物和负类非障碍物；
步骤5-2，调整LeNet超参数训练分类模型，直到模型收敛；
步骤5-3，当分类误判较多时，使用分类不确定的样本进行增量更新，跳转至步骤5-1；否则跳转至步骤5-4；不确定度衡量公式如下：
Uncertainty＝-|(Obstacle)-P(Non-obstacle)|
其中Uncertainty表示分类不确定度，取值范围为-1～0，Obstacle表示类别是障碍物，P(Obstacle)表示该物体是障碍物的概率，取值范围为0～1，Non-obstacle表示类别是非障碍物，P(Non-obstacle)表示该物体是非障碍物的概率，取值范围为0～1。
步骤5-4，使用步骤5-1～步骤5-3训练出的障碍物分类模型对候选障碍物进行分类，判断是否属于障碍物，如果是，则保留该障碍物物体框，否则删除。
在第六个步骤中，对步骤4和步骤5得到的结果进行合并过滤操作；包括如下步骤：
步骤6-1，对步骤4和步骤5得到的两组物体框分别进行NMS非极大值抑制操作，删除其中冗余重复的物体框，得到两组候选物体框；
步骤6-2，对步骤6-1中得到的两组候选物体框取交集，取其中同时被基于U/V视差、边缘轮廓和目标检测算法同时检测到的物体框作为候选障碍物物体框；
步骤6-3，计算步骤6-2得到的候选障碍物物体框的区域面积大小，根据设定的最大和最小面积阈值参数过滤其中较小或较大的结果。
在第七个步骤中，基于RTG场景的ROI感兴趣区域窄细长的特点，针对其中较大物体框使用特定方法进行判断障碍物候选框是否在ROI感兴趣区域内；包括如下步骤：
步骤7-1，计算候选障碍物物体框区域面积，若超过设定的阈值参数，则转至步骤7-3，否则转至步骤7-2；
步骤7-2，根据候选障碍物物体框的底边中点是否在ROI感兴趣区域内判断，若在ROI感兴趣区域内则转至步骤8，否则结束；
步骤7-3，根据候选障碍物物体框与ROI感兴趣区域重叠部分的面积与设定的阈值参数比较判断，若在ROI感兴趣区域内则转至步骤8，否则结束。
在第八个步骤中，取障碍物物体框内所有像素点Depth值的众数作为该障碍物到摄像头的距离。
最后输出上述步骤得到的障碍物的位置、类别和距离等信息，帮助RTG防撞系统做出避障判断。
实施例
为了验证算法的有效性，实际采集了包含不同光照、场景、多种障碍物类型的视频进行实例验证，包含有障碍物和没有障碍物的情形，对这些视频的每帧图像进行处理，检测是否有障碍物以及障碍物的相关信息。
以采集到的视频片段为例，对视频片段中的每一帧图像，按照以下步骤检测障碍物：
1、获取双目摄像头中左摄像头的RGB图像，由双目计算得到的Depth深度图像以及需要检测障碍物的ROI感兴趣区域，获取的图像分辨率设置为640*480像素；
2、基于Depth深度图通过U/V视差法检测障碍物，得到候选障碍物物体框；
3、对RGB图做边缘轮廓检测，检测障碍物，得到候选障碍物物体框；
4、使用神经网络模型做目标检测，检测训练过的物体类别，可以得到相应物体的位置坐标信息(物体框)和类别信息；
5、使用训练的分类模型对步骤2和步骤3中的检测结果判断是否属于障碍物，如果是，则保留该障碍物物体框，否则删除；
6、对步骤4和步骤5中的物体框做合并过滤等操作，得到进一步的候选障碍物物体框，其中最小面积阈值为225像素点，最大面积阈值为102400像素点；
7、根据候选障碍物物体框与ROI感兴趣区域的位置关系判断其是否属于ROI检测区域，其中步骤7-1中的阈值参数设置为51200，步骤7-3中的阈值参数设置为12800；
8、由Depth深度图计算障碍物的距离。
图3a～图3d中给出了该发明的应用场景实况图，其中，图3aRTG轮胎式集装箱龙门起重机的外观图，图3b是该发明获取Depth深度图设计使用的双目相机，图3c是该发明使用的双目相机安装样图，图3d是该发明中获取到的信息的第一视角场景图。
图4a～图4f给出了该发明进行障碍物检测的中间结果图，其中，图4a是RGB图像的示例图；图4b是Depth深度图像的示例图，该图像表示的是距离信息；图4c是由Depth深度信息得到的U视差图，经过滤波后表示的是障碍物所在的图像中的列坐标信息；图4d是ROI感兴趣区域内的Canny边缘检测的结果，可以看到检测到的结果虽然包含了障碍物的边缘，也有非障碍物背景的边缘信息；图4e是基于深度神经网络进行物体检测的结果，可以看到检测到的结果只包含了行人这类训练过的物体类别，未检测到箱子此类障碍物；图4f是此发明所提出方法的最终检测结果，可以看出很好地检测到了行进道路上的障碍物，还得到了障碍物类别和距离信息。
本发明提供了基于RGB和D信息融合的RTG视觉障碍物检测的方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (4)

1.基于RGB和D信息融合的RTG视觉障碍物检测的方法，其特征在于，包括如下步骤：
步骤1，获取双目摄像头中左摄像头的RGB图像，由双目计算得到Depth深度图像以及需要检测障碍物的ROI感兴趣区域；
步骤2，基于Depth深度图像通过U/V视差法检测障碍物，得到候选障碍物物体框；
步骤3，对RGB图做边缘轮廓检测，得到候选障碍物物体框；
步骤4，标注训练数据，并利用标注训练数据训练用于目标检测的神经网络模型，使用神经网络模型做目标检测，检测训练过的物体类别，得到相应物体的位置坐标信息即物体框和类别信息；
步骤5，判断步骤2和步骤3中的检测结果是否属于障碍物，如果是，则保留该障碍物物体框，否则删除；
步骤6，对步骤4和步骤5中的物体框做合并过滤操作，得到进一步的候选障碍物物体框；
步骤7，根据步骤6的候选障碍物物体框与ROI感兴趣区域的位置关系判断其是否属于ROI检测区域，如果是，执行步骤8；
步骤8，由Depth深度图像计算障碍物的距离；
步骤1中，在RTG中使用视觉防撞方案，使用自主安装的双目摄像头获取RGB图像和Depth深度图像信息，用于障碍物检测；
步骤2包括如下步骤：
步骤2-1，设置障碍物检测有效距离范围参数，取该范围内的Depth深度图像；
步骤2-2，利用Depth深度图像计算U/V视差图，计算公式如下：
Figure FDA0002534013910000011
Figure FDA0002534013910000012
其中vdj表示V视差图中第j行第d列的值，cols表示Depth深度图像的列数，Δij用于表示Depth深度图第j行第i列的深度值，Δij的取值取决于dispij是否等于d，如果相等，则Δij值为1，如果不相等，Δij值为0；dispij表示Depth深度图第j行第i列的深度值，uid表示U视差图中第d行第i列的值，rows表示Depth深度图像的行数；
步骤2-3，基于V视差图拟合直线，分割出路面区域，去除多余干扰信息；
步骤2-4，基于U视差图拟合直线，检测出障碍物，得到候选障碍物物体框；
步骤3中，对RGB图做Canny边缘检测，对边缘检测的结果做轮廓检测，得到候选障碍物物体框；
步骤4包括如下步骤：
步骤4-1，采集RTG使用场景中图像数据，标注检测目标的物体框及类别信息；
步骤4-2，利用步骤4-1中标注好的数据对预训练好的检测模型做fine-tuning微调，调优；
步骤4-3，如果障碍物检测应用需求中增加新的物体检测类别则跳转至步骤4-1，否则利用步骤4-2中训练好的模型做目标检测，得到相应物体的位置坐标信息即物体框和类别信息；
步骤5包括如下步骤：
步骤5-1，将步骤2和步骤3中检测到的候选障碍物物体框内的图像保存下来，将保存下来的图像分类，分为正类障碍物和负类非障碍物；
步骤5-2，调整LeNet超参数训练分类模型，直到模型收敛；
步骤5-3，当分类误判较多时，使用分类不确定的样本进行增量更新，跳转至步骤5-1；否则跳转至步骤5-4；不确定度衡量公式如下：
Uncertainty＝-|P(Obstacle)-P(Non-obstacle)|，
其中Uncertainty表示分类不确定度，取值范围为-1～0，Obstacle表示类别是障碍物，P(Obstacle)表示该物体是障碍物的概率，取值范围为0～1，Non-obstacle表示类别是非障碍物，P(Non-obstacle)表示该物体是非障碍物的概率，取值范围为0～1；
步骤5-4，使用步骤5-1～步骤5-3训练出的障碍物分类模型对候选障碍物进行分类，判断是否属于障碍物，如果是，则保留该障碍物物体框，否则删除。
2.根据权利要求1所述的方法，其特征在于，步骤6包括如下步骤：
步骤6-1，对步骤4和步骤5得到的两组物体框分别进行NMS非极大值抑制操作，删除其中冗余重复的物体框，得到两组候选物体框；
步骤6-2，对两组候选物体框取交集，取其中同时被基于U/V视差、边缘轮廓和目标检测算法检测到的物体框作为候选障碍物物体框；
步骤6-3，计算候选障碍物物体框的区域面积大小，根据设定的最大和最小面积阈值参数过滤其中较小或较大的结果。
3.根据权利要求2所述的方法，其特征在于，步骤7包括如下步骤：
步骤7-1，计算候选障碍物物体框区域面积，若超过设定的阈值参数A，则转至步骤7-3，否则转至步骤7-2；
步骤7-2，根据候选障碍物物体框的底边中点是否在ROI感兴趣区域内判断，若在ROI感兴趣区域内则转至步骤8，否则结束；
步骤7-3，根据候选障碍物物体框与ROI感兴趣区域重叠部分的面积与设定的阈值参数B比较判断，若在ROI感兴趣区域内则转至步骤8，否则结束。
4.根据权利要求3所述的方法，其特征在于，步骤8中，取障碍物物体框内所有像素点Depth值的众数作为该障碍物到摄像头的距离。
CN201811186813.9A 2018-10-12 2018-10-12 基于rgb和d信息融合的rtg视觉障碍物检测的方法 Active CN109460709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811186813.9A CN109460709B (zh) 2018-10-12 2018-10-12 基于rgb和d信息融合的rtg视觉障碍物检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811186813.9A CN109460709B (zh) 2018-10-12 2018-10-12 基于rgb和d信息融合的rtg视觉障碍物检测的方法

Publications (2)

Publication Number Publication Date
CN109460709A CN109460709A (zh) 2019-03-12
CN109460709B true CN109460709B (zh) 2020-08-04

Family

ID=65607541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811186813.9A Active CN109460709B (zh) 2018-10-12 2018-10-12 基于rgb和d信息融合的rtg视觉障碍物检测的方法

Country Status (1)

Country Link
CN (1) CN109460709B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797657A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 车辆周边障碍检测方法、装置、存储介质及电子设备
CN110110652B (zh) * 2019-05-05 2021-10-22 达闼科技（北京）有限公司 一种目标检测方法、电子设备及存储介质
CN110245567B (zh) * 2019-05-16 2023-04-07 达闼机器人股份有限公司 避障方法、装置、存储介质及电子设备
CN110197173B (zh) * 2019-06-13 2022-09-23 重庆邮电大学 一种基于双目视觉的路沿检测方法
CN110334646A (zh) * 2019-07-02 2019-10-15 朱恺晗 一种基于ssd的单类别障碍物识别的检测方法
CN110298330B (zh) * 2019-07-05 2023-07-18 东北大学 一种输电线路巡检机器人单目检测与定位方法
CN110570402B (zh) * 2019-08-19 2021-11-19 浙江科技学院 基于边界感知神经网络的双目显著物体检测方法
CN110514163B (zh) * 2019-08-29 2021-06-01 广州小鹏自动驾驶科技有限公司 一种障碍物轮廓的确定方法及装置、车辆、存储介质
CN113129255B (zh) * 2019-12-31 2023-04-07 杭州海康机器人股份有限公司 检测包裹的方法、计算设备、系统及存储介质
CN111259923A (zh) * 2020-01-06 2020-06-09 燕山大学 一种基于改进三维r-cnn算法的多目标检测方法
CN111783777B (zh) * 2020-07-07 2023-11-24 抖音视界有限公司 图像处理方法、装置、电子设备和计算机可读介质
CN112116644B (zh) * 2020-08-28 2023-05-23 辽宁石油化工大学 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置
CN112184700B (zh) * 2020-10-21 2022-03-18 西北民族大学 基于单目相机的农业无人车障碍物感知方法及装置
CN112651359A (zh) * 2020-12-30 2021-04-13 深兰科技（上海）有限公司 障碍物检测方法、装置、电子设备和存储介质
CN112801024B (zh) * 2021-02-09 2023-08-29 广州小鹏自动驾驶科技有限公司 一种检测信息处理方法和装置
CN113177557B (zh) * 2021-03-15 2023-11-14 福建电子口岸股份有限公司 一种基于机器视觉和深度学习的防打保龄的方法和系统
CN113128347B (zh) * 2021-03-24 2024-01-16 北京中科慧眼科技有限公司 基于rgb-d融合信息的障碍物目标分类方法、系统和智能终端
CN113587829B (zh) * 2021-09-03 2023-08-01 凌云光技术股份有限公司 一种边缘厚度测量方法、装置、边缘厚度测量设备及介质
CN113887400B (zh) * 2021-09-29 2022-10-14 北京百度网讯科技有限公司 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
CN114972541B (zh) * 2022-06-17 2024-01-26 北京国泰星云科技有限公司 基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700414A (zh) * 2015-03-23 2015-06-10 华中科技大学 一种基于车载双目相机的前方道路行人快速测距方法
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法
CN106228110A (zh) * 2016-07-07 2016-12-14 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
CN106295560A (zh) * 2016-08-09 2017-01-04 浙江零跑科技有限公司 基于车载双目相机和分段式pid控制的车道保持方法
CN107169418A (zh) * 2017-04-18 2017-09-15 海信集团有限公司 一种障碍物检测方法及装置
CN107506711A (zh) * 2017-08-15 2017-12-22 江苏科技大学 基于卷积神经网络的双目视觉障碍物检测系统及方法
CN107977650A (zh) * 2017-12-21 2018-05-01 北京华捷艾米科技有限公司 人脸检测方法及装置
CN108205658A (zh) * 2017-11-30 2018-06-26 中原智慧城市设计研究院有限公司 基于单双目视觉融合的障碍物检测预警系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700414A (zh) * 2015-03-23 2015-06-10 华中科技大学 一种基于车载双目相机的前方道路行人快速测距方法
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法
CN106228110A (zh) * 2016-07-07 2016-12-14 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
CN106295560A (zh) * 2016-08-09 2017-01-04 浙江零跑科技有限公司 基于车载双目相机和分段式pid控制的车道保持方法
CN107169418A (zh) * 2017-04-18 2017-09-15 海信集团有限公司 一种障碍物检测方法及装置
CN107506711A (zh) * 2017-08-15 2017-12-22 江苏科技大学 基于卷积神经网络的双目视觉障碍物检测系统及方法
CN108205658A (zh) * 2017-11-30 2018-06-26 中原智慧城市设计研究院有限公司 基于单双目视觉融合的障碍物检测预警系统
CN107977650A (zh) * 2017-12-21 2018-05-01 北京华捷艾米科技有限公司 人脸检测方法及装置

Also Published As

Publication number Publication date
CN109460709A (zh) 2019-03-12

Similar Documents

Publication Publication Date Title
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
US8634593B2 (en) Pixel-based texture-less clear path detection
US8750567B2 (en) Road structure detection and tracking
US8611585B2 (en) Clear path detection using patch approach
CN106096525B (zh) 一种复合型车道识别系统及方法
US8452053B2 (en) Pixel-based texture-rich clear path detection
US8699754B2 (en) Clear path detection through road modeling
US8670592B2 (en) Clear path detection using segmentation-based method
US8332134B2 (en) Three-dimensional LIDAR-based clear path detection
Yuan et al. Robust lane detection for complicated road environment based on normal map
CN103714538B (zh) 道路边缘检测方法、装置及车辆
JP4930046B2 (ja) 路面判別方法および路面判別装置
CN103366154B (zh) 可重配置的畅通路径检测系统
CN115049700A (zh) 一种目标检测方法及装置
CN103366155B (zh) 通畅路径检测中的时间相干性
CN107909009B (zh) 一种基于路面学习的障碍物检测方法与装置
EP2813973B1 (en) Method and system for processing video image
Siogkas et al. Random-walker monocular road detection in adverse conditions using automated spatiotemporal seed selection
CN111832388B (zh) 一种车辆行驶中交通标志检测与识别方法及系统
CN114419098A (zh) 基于视觉变换的运动目标轨迹预测方法及装置
CN107133600A (zh) 一种基于帧间关联的实时车道线检测方法
Sebsadji et al. Robust road marking extraction in urban environments using stereo images
CN101369312A (zh) 检测图像中交叉口的方法和设备
CN117710918A (zh) 一种车道线检测方法和系统
CN111066024B (zh) 用于识别车道的方法和装置、驾驶员辅助系统以及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant