CN111079634A - 车辆行驶中检测障碍物的方法、装置、系统及车辆 - Google Patents
车辆行驶中检测障碍物的方法、装置、系统及车辆 Download PDFInfo
- Publication number
- CN111079634A CN111079634A CN201911278066.6A CN201911278066A CN111079634A CN 111079634 A CN111079634 A CN 111079634A CN 201911278066 A CN201911278066 A CN 201911278066A CN 111079634 A CN111079634 A CN 111079634A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- image
- vehicle
- video frame
- connected region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000033001 locomotion Effects 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 238000013135 deep learning Methods 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 29
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开涉及一种车辆行驶中检测障碍物的方法、装置及计算机可读存储介质。车辆行驶中检测障碍物的方法，包括：获取车辆附近的视频帧图像；识别视频帧图像中的连通区域，并得到连通区域的标识信息；根据障碍物图像的标准识别模型，确定视频帧图像中障碍物所在的连通区域，其中，障碍物图像的标准识别模型是基于深度学习算法得到。
Description
技术领域
本公开涉及自动驾驶技术领域，特别涉及一种车辆行驶中检测障碍物的方法、装置、系统、车辆及计算机可读存储介质。
背景技术
无人平台，如自动驾驶汽车，其依靠人工智能、视觉计算、雷达、监控装置和全球定位系统的协同合作，让行车电脑可以在没有人类主动操作的情况下，自动而安全地驾驶车辆。
目前，关于自动驾驶的研究逐年深入。随着新能源汽车的崛起，不仅仅是在能源上进行革新，在很多技术上也是有所突破，自动驾驶也是被看作是汽车技术发展的重大方向之一。
如何提升无人平台在行驶中对障碍物识别的准确性，进而提升行驶的安全性，是目前亟待解决的技术问题。
发明内容
本公开实施例提供了一种车辆行驶中检测障碍物的方法、装置、系统、车辆及计算机可读存储介质，以提升车辆在行驶中对障碍物识别的准确性，进而提升行驶的安全性。
根据本公开实施例的一个方面，提供了一种车辆行驶中检测障碍物的方法，包括：
获取车辆附近的视频帧图像；
识别视频帧图像中的连通区域，并得到连通区域的标识信息；
根据障碍物图像的标准识别模型，确定视频帧图像中障碍物所在的连通区域，其中，障碍物图像的标准识别模型是基于深度学习算法得到。
根据本公开实施例的另一个方面，提供了一种车辆行驶中检测障碍物的装置，包括：
获取单元，用于获取车辆附近的视频帧图像；
识别及标识单元，用于识别视频帧图像中的连通区域，并得到连通区域的标识信息；
确定单元，用于根据障碍物图像的标准识别模型，确定视频帧图像中障碍物所在的连通区域，其中，障碍物图像的标准识别模型是基于深度学习算法得到。
根据本公开实施例的又一个方面，提供了一种车辆行驶中检测障碍物的装置，包括：
存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行前述任一技术方案所述的车辆行驶中检测障碍物的方法。
根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一技术方案所述的车辆行驶中检测障碍物的方法。
根据本公开实施例的再一个方面，提供了一种车辆行驶中检测障碍物的系统，包括：
成像设备，用于将拍摄的视频流发送给图像处理器；
图像处理器，用于按照设定频率从视频流获取车辆附近的视频帧图像；及，识别视频帧图像中的连通区域，并得到连通区域的标识信息；及，根据障碍物图像的标准识别模型，确定视频帧图像中障碍物所在的连通区域，其中，障碍物图像的标准识别模型是基于深度学习算法得到。
本公开上述实施例的技术方案，通过对车辆行驶环境的图像进行处理，从中识别出障碍物和可通行区域，相关技术相比，本公开实施例方案对障碍物识别的准确性大大提升，进而提升了行驶的安全性。进一步的实施例中，即使在车速较快或障碍物受到一定污损导致图像模糊或残缺的情况下，通过对图像的连通区域进行图像复原处理，仍然可以有效的识别出障碍物和可通行区域。
通过以下参照附图对本公开的实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开一些实施例车辆行驶中检测障碍物的方法的流程图；
图2为本公开一些实施例中障碍物图像的标准识别模型的建立方法流程图；
图3为本公开一些实施例中检测障碍物的方法的流程示意图；
图4为本公开一些实施例中卷积神经网络模型的结构示意图；
图5为本公开一些实施例车辆行驶中检测障碍物的装置的框图；
图6为本公开另一些实施例车辆行驶中检测障碍物的装置的框图；
图7为本公开一些实施例计算机系统的框图；
图8为本公开一些实施例车辆行驶中检测障碍物的系统的框图。
应当明白，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。此外，相同或类似的参考标号表示相同或类似的构件。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整，并且向本领域技术人员充分表达本公开的范围。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置应被解释为仅仅是示例性的，而不是作为限制。
本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
一种相关技术中，通过单线激光雷达检测无人平台前进方向上的障碍物，经常发生障碍物不能被识别出的情况，对障碍物识别的精度性不够理想，存在一定的安全隐患。
为解决上述技术问题，本公开实施例提供了一种车辆行驶中检测障碍物的方法、装置、系统、车辆及计算机可读存储介质，以提升车辆在行驶中对障碍物识别的准确性，进而提升行驶的安全性。
本公开一些实施例提供了一种车辆行驶中检测障碍物的方法。该方法可以应用在无人平台上，也可以应用常规车辆的辅助驾驶系统中。如图1和图3所示，该方法包括了以下步骤S101至步骤S104。
在步骤S101，获取车辆附近的视频帧图像。
车辆附近的视频帧图像可以为车辆正前方的视频帧图像，也可以为车辆侧方或后方的视频帧图像。视频帧图像可以为黑白灰度图像，也可以为彩色图像。在本公开一些实施例中，为尽量多的保留图像的原始特征，进一步提高障碍物检测的准确性，视频帧图像为彩色图像，分辨率为1024*768。
在本公开一些实施例中，按照设定频率获取车辆附近的视频帧图像，设定频率为2-5赫兹。该设定频率可以结合系统处理性能和业务实时性监控需要来确定，例如，设定频率为3赫兹。这样，可以兼顾系统处理性能和业务实时性监控需要，在达到监控目的的同时还节约了系统资源，提高了系统处理速度。
回到图1，在步骤S102，识别视频帧图像中的连通区域，并得到连通区域的标识信息。连通区域为图像中具有相同像素值且位置相邻的像素点组成的图像区域。通常，一个连通区域对应一个物体的图像或者为物体图像的一部分。每个连通区域可能为障碍物的图像，也可能为可通行区域的图像，其中，可通行区域例如为标准化道路或者野外的非标准化道路或者场地。
在本公开的一些实施例中，采用数学形态学的regionprops函数，识别视频帧图像中的连通区域，并得到连通区域的标识信息。
数学形态学是以集合论为理论基础，具有很完善的数学知识为支撑，可以对图像进行一些处理操作，包括图像的膨胀、腐蚀等。通过数学形态学处理的图像，可以提取目标特征，还可以保留图像的原始形状。采用regionprops函数来对连通区域进行划分，该函数的返回值中包含了连通区域的面积分布、连通区域在图像中的位置、连通区域的数量等信息。
在本公开的一些实施例中，检测障碍物的方法还包括：当视频帧图像中不包括连通区域时，返回前述步骤S101，以获取下一帧视频帧图像。
回到图1，在步骤S103，对视频帧图像中的连通区域进行图像复原处理，以提高连通区域的图像清晰度。
车辆在行驶过程中，可能因为运动、环境影响(例如光照、雨雪、空气污染等)、图像传输损坏等因素导致整个视频帧图像或者其中一部分模糊不清或者残缺，这种现象称之为图像的退化。为减少这些因素对障碍物检测准确性的影响，本公开实施例对视频帧图像中的连通区域进行图像复原处理，以提高其清晰度，使其尽可能的接近原图像。
在本公开的一些实施例中，采用维纳滤波优化算法，对视频帧图像中的连通区域进行图像复原处理。
维纳滤波优化算法遵循最小均方误差准则，采用这种算法对各个连通区域进行计算，得到的实际输出和期望输出之间的均方误差为最小，结果输出比较稳定。在对各个连通区域进行图像处理时，将车辆整体的运动看做匀速运动，如果车辆的速度不稳定，则将速度分割成若干小段，这样每一小段的速度便是匀速的。维纳滤波的函数式如下：
式一中，
为输入图像f(x,y)(x、y表示像素点的位置)的传递函数，K为噪声对信号的功率谱密度，H(u,v)为退化函数，G(u,v)为退化图像函数。其中，退化函数H(u,v)是由车辆的运动或者障碍物的污损导致的图像模糊所引起的，其表达式为：
式二中，变量c的值根据具体的干扰源确定。该式中图像的退化是由运动所引起，如果图像的退化是由噪声所引起，则幂5/6使用1代替。
值得一提的是，如图1所示，在本公开的一些实施例中，在步骤S102后也可以不经过步骤S103而直接走向步骤S104。
回到图1，在步骤S104，根据障碍物图像的标准识别模型，确定视频帧图像中障碍物所在的连通区域，其中，障碍物图像的标准识别模型是基于深度学习算法得到。
深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。典型的深度学习模型如卷积神经网络模型、深度信任网络模型和堆栈自编码网络模型等。
在本公开的一些实施例中，障碍物图像的标准识别模型为卷积神经网络标准识别模型。卷积神经网络模型通过局部连接的方式获取图像的局部信息，同时采用权值共享的规则进行卷积计算，权值共享可以大大的减少参数的数量。
如图2所示，卷积神经网络标准识别模型的建立，包括以下步骤S201-步骤S207。
在步骤S201，搜集障碍物图像的正、负训练样本，形成障碍物图像与可通行区域图像的训练样本集。
其中，正训练样本为可通行区域的图像，负训练样本为障碍物的图像。正、负训练样本可以为人为采集后输入的样本，可以为从网络获取的样本，还可以为人为针对图像进行特殊处理(如添加噪声)后得到的样本。
在本公开的一些实施例中，卷积神经网络标准识别模型的训练样本的分辨率大小相同。为保证检测精度，训练样本的分辨率不大于连通区域的最小设定阈值。例如，在本公开的一个实施例中，车辆主要是在野外环境中行驶，因此在选择训练样本时使用的是非标准化道路环境图。训练样本由车载摄像头拍摄，图像大小为1024×768，从摄像头的视频流中获取非标准化道路环境图片200张，为了减少训练时间和提高训练的准确率，从采集到的图像中随机抽取一些，利用图像分割方法得到大小为32×32的小块，取20000个这样的小块作为训练集，其中正、负训练样本各10000个，其中16000个用于训练，4000个用于测试。
在步骤S202，确定卷积神经网络模型结构。
在本公开的一些实施例中，在该步骤构建基于原始特征、全局特征及局部特征的多特征融合的卷积神经网络模型，模型结构包括三个相互独立的基础子网络，每个基础子网络分别用于训练彩色图像的三原色。如图4所示，卷积神经网络模型整体结构包括七层，依次为输入层401、第一卷积层402、第一降采样层403、第二卷积层404、第二降采样层405、全连接层406和输出层407。其中，卷积层主要用于图像的多特征提取；降采样层主要用于图像的降采样处理；以降低图像的维度；全连接层用于将图像的特征输出。其中，第一卷积层402、第二卷积层404和全连接层406为网络层。该实施例卷积神经网络模型的结构较为简化，有利于减小训练时间。
以图3所示的应用场景为例，车辆主要是在野外环境中行驶，因此在选择训练样本时使用的是非标准化道路环境图。卷积神经网络模型的输入样本的大小均为32*32，这些图像中包含正训练样本和负训练样本。第一卷积层302，含有6个特征图，通过6个5×5的卷积核对输入样本进行卷积计算得到。卷积计算主要是将特征图与一个可以学习的卷积核进行卷积，通过激活函数，输出这一层的特征图。输出的特征图包括多个卷积结果。采用最大池降采样方法，对第一卷积层302进行降采样操作，得到第一降采样层303。在第二卷积层304，含有16个特征图，通过16个5×5的卷积核对特征图进行卷积计算得到。对第二卷积层304进行降采样操作，得到第二降采样层305。全连接层306为卷积层，第二降采样层305和全连接层306采用全连接的方式，即全连接层306的卷积核大小和第二降采样层305中的特征图大小相同，全连接层306通过输出层307输出一维向量。
在步骤S203，设置卷积神经网络模型参数。如设置学习率为0.01，训练次数为500次，权值更新率为20。其中，权值更新的主要作用是降低反向传播算法的权值误差，以使最终训练结果达到收敛的效果。
在步骤S204，根据训练样本集和模型参数，对卷积神经网络模型执行训练操作。
在步骤S205，读取训练误分率。
在步骤S206，判断训练误分率是否收敛，如果是，流程走向步骤S207，否则，流程返回步骤S203，进行模型参数的调整。
在步骤S207，确定当前模型为卷积神经网络标准识别模型并保存。
本公开上述实施例的技术方案，通过对车辆行驶环境的图像进行处理，如运用数学形态学和深度学习相结合的方式对图像进行处理，从中识别出障碍物和可通行区域，相关技术相比，本公开实施例方案对障碍物识别的准确性大大提升，进而提升了行驶的安全性。在进一步的实施例中，即使在车速较快或障碍物受到一定污损导致图像模糊或残缺的情况下，通过对图像的连通区域进行图像复原处理，仍然可以有效的识别出障碍物和可通行区域，识别正确率可以达到90％以上。此外，本公开实施例是针对连通区域进行卷积计算，无需针对整幅图像进行卷积计算，这样可以大大减少计算量，从而有利于提高检测的及时性。
本公开实施例提供的检测障碍物的方法不仅可以应用在无人平台(如自动驾驶汽车)上，还可以应用常规车辆的辅助驾驶系统中，通过检测车辆周围的障碍物信息，可以及时将结果反馈给车辆或者驾驶员，以使车辆或者驾驶员及时做出相应操作。
综上，相比相关技术，本公开实施例的障碍物识别方法在识别精度、应用范围以及实时性上都有一定的优势。
如图5所示，本公开一些实施例还提供了一种车辆行驶中检测障碍物的装置，包括：
获取单元501，用于获取车辆附近的视频帧图像；
识别及标识单元502，用于识别视频帧图像中的连通区域，并得到连通区域的标识信息；
确定单元503，用于根据障碍物图像的标准识别模型，确定视频帧图像中障碍物所在的连通区域，其中，障碍物图像的标准识别模型是基于深度学习算法得到。
与前述实施例同理，采用本公开实施例的障碍物检测装置，可以提升对障碍物识别的准确性，进而提升行驶的安全性。
如图6所示，本公开一些实施例还提供了一种车辆行驶中检测障碍物的装置，包括：存储器601和耦接至存储器601的处理器602，处理器602被配置为基于存储在存储器601中的指令，执行如前述任一实施例的车辆行驶中检测障碍物的方法。
应当理解，前述车辆行驶中检测障碍物的方法中的各个步骤都可以通过处理器来实现，并且可以通过软件、硬件、固件或其结合的任一种方式实现。
除了上述车辆行驶中检测障碍物的方法、装置之外，本公开实施例还可采用在一个或多个包含有计算机程序指令的非易失性存储介质上实施的计算机程序产品的形式。因此，本公开一些实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述任一技术方案的车辆行驶中检测障碍物的方法。
图7示出了本公开一些实施例的计算机系统的示意图。如图7所示，计算机系统可以用通用计算设备的形式表现，该计算机系统可以用来实现上述实施例的车辆行驶中检测障碍物的方法。计算机系统包括存储器71、处理器72和连接不同系统组件的总线70。
存储器71例如可以包括系统存储器、非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。系统存储器可以包括易失性存储介质，例如随机存取存储器(RAM)和/或高速缓存存储器。非易失性存储介质例如存储有执行上述车辆行驶中检测障碍物的方法的对应实施例的指令。非易失性存储介质包括但不限于磁盘存储器、光学存储器、闪存等。
处理器72可以用通用处理器、数字信号处理器(DSP)、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑设备、分立门或晶体管等分立硬件组件方式来实现。相应地，诸如判断模块和确定模块的每个模块，可以通过中央处理器(CPU)运行存储器中执行相应步骤的指令来实现，也可以通过执行相应步骤的专用电路来实现。
总线70可以使用多种总线结构中的任意总线结构。例如，总线结构包括但不限于工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、外围组件互连(PCI)总线。
计算机系统还可以包括输入输出接口73、网络接口74、存储接口75等。输入输出接口73、网络接口74、存储接口75以及存储器71和处理器72之间可以通过总线70连接。输入输出接口73可以为显示器、鼠标、键盘等输入输出设备提供连接接口。网络接口74为各种联网设备提供连接接口。存储接口75为软盘、U盘、SD卡等外部存储设备提供连接接口。
如图8所示，本公开实施例还提供一种车辆行驶中检测障碍物的系统，包括：
成像设备801，用于将拍摄的视频流发送给图像处理器802；
图像处理器802，用于按照设定频率从视频流获取车辆附近的视频帧图像；及，识别视频帧图像中的连通区域，并得到连通区域的标识信息；及，根据障碍物图像的标准识别模型，确定视频帧图像中障碍物所在的连通区域，其中，障碍物图像的标准识别模型是基于深度学习算法得到。
其中，成像设备801可以根据需要安装于车辆的前侧、后侧、左侧或者右侧。为提高成像视野，成像设备包括鱼眼摄像头和工业相机。为尽量多的保留图像的原始特征，进一步提高障碍物检测的准确性，成像设备可以为彩色成像设备。
图像处理器是实现图像特征提取与障碍物识别的核心。在一些实施例中，图像处理器采用多核处理器，可以用来支撑大量数据的并行计算。图像处理器与成像设备之间可以采用串口或者网口等接口连接。
本公开实施例还提供一种车辆，包括前述任一实施例的车辆行驶中检测障碍物的系统。车辆的具体类型不限，例如可以为无人平台或常规车辆等。无人平台的具体类型不限，可以为自动驾驶汽车或者自动驾驶工程车等等。与相关技术相比，车辆在行驶时对障碍物识别的准确性较高，行驶的安全性较高。
至此，已经详细描述了本公开的各种实施例。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。
Claims (15)
1.一种车辆行驶中检测障碍物的方法，包括：
获取车辆附近的视频帧图像；
识别视频帧图像中的连通区域，并得到连通区域的标识信息；
根据障碍物图像的标准识别模型，确定视频帧图像中障碍物所在的连通区域，其中，障碍物图像的标准识别模型是基于深度学习算法得到。
2.根据权利要求1所述的方法，还包括：在所述识别视频帧图像中的连通区域，并得到连通区域的标识信息的步骤之后，在所述根据障碍物图像的标准识别模型，确定视频帧图像中障碍物所在的连通区域的步骤之前，对视频帧图像中的连通区域进行图像复原处理，以提高连通区域的图像清晰度。
3.根据权利要求2所述的方法，其中：所述对视频帧图像中的连通区域进行图像复原处理，包括：
采用维纳滤波优化算法，对视频帧图像中的连通区域进行图像复原处理。
4.根据权利要求1所述的方法，其中：所述识别视频帧图像中的连通区域，并得到连通区域的标识信息，包括：
采用数学形态学的regionprops函数，识别视频帧图像中的连通区域，并得到连通区域的标识信息。
5.根据权利要求1所述的方法，其中：障碍物图像的标准识别模型为卷积神经网络标准识别模型，卷积神经网络标准识别模型的结构包括依次设置的输入层、第一卷积层、第一降采样层、第二卷积层、第二降采样层、全连接层和输出层。
6.根据权利要求5所述的方法，其中：卷积神经网络标准识别模型的训练样本的分辨率大小相同，且不大于连通区域的最小设定阈值。
7.根据权利要求1所述的方法，其中：视频帧图像为彩色图像。
8.根据权利要求7所述的方法，其中：所述获取车辆附近的视频帧图像，包括：
按照设定频率获取车辆附近的视频帧图像，设定频率为2-5赫兹。
9.根据权利要求1-8任一项所述的方法，还包括：
当视频帧图像中不包括连通区域时，返回所述获取车辆附近的视频帧图像的步骤。
10.一种车辆行驶中检测障碍物的装置，包括：
获取单元，用于获取车辆附近的视频帧图像；
识别及标识单元，用于识别视频帧图像中的连通区域，并得到连通区域的标识信息；
确定单元，用于根据障碍物图像的标准识别模型，确定视频帧图像中障碍物所在的连通区域，其中，障碍物图像的标准识别模型是基于深度学习算法得到。
11.一种车辆行驶中检测障碍物的装置，包括：
存储器；和
耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行如权利要求1-9中任一项所述的车辆行驶中检测障碍物的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-9中任一项所述的车辆行驶中检测障碍物的方法。
13.一种车辆行驶中检测障碍物的系统，包括：
成像设备，用于将拍摄的视频流发送给图像处理器；
图像处理器，用于按照设定频率从视频流获取车辆附近的视频帧图像；及，识别视频帧图像中的连通区域，并得到连通区域的标识信息；及，根据障碍物图像的标准识别模型，确定视频帧图像中障碍物所在的连通区域，其中，障碍物图像的标准识别模型是基于深度学习算法得到。
14.一种车辆，包括：根据权利要求13所述的车辆行驶中检测障碍物的系统。
15.根据权利要求14所述的车辆，其中，所述车辆包括无人平台。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911278066.6A CN111079634B (zh) | 2019-12-12 | 2019-12-12 | 车辆行驶中检测障碍物的方法、装置、系统及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911278066.6A CN111079634B (zh) | 2019-12-12 | 2019-12-12 | 车辆行驶中检测障碍物的方法、装置、系统及车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111079634A true CN111079634A (zh) | 2020-04-28 |
| CN111079634B CN111079634B (zh) | 2024-02-02 |
Family
ID=70314217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911278066.6A Active CN111079634B (zh) | 2019-12-12 | 2019-12-12 | 车辆行驶中检测障碍物的方法、装置、系统及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111079634B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111598010A (zh) * | 2020-05-15 | 2020-08-28 | 安徽江淮汽车集团股份有限公司 | 动态障碍物检测方法、装置、电子设备及存储介质 |
| CN112131964A (zh) * | 2020-08-31 | 2020-12-25 | 南京汽车集团有限公司 | 一种道路作业车辆视觉感知系统及其使用方法 |
| CN112163446A (zh) * | 2020-08-12 | 2021-01-01 | 浙江吉利汽车研究院有限公司 | 一种障碍物检测方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485233A (zh) * | 2016-10-21 | 2017-03-08 | 深圳地平线机器人科技有限公司 | 可行驶区域检测方法、装置和电子设备 |
| CN106599832A (zh) * | 2016-12-09 | 2017-04-26 | 重庆邮电大学 | 一种基于卷积神经网络的多类障碍物检测与识别方法 |
| CN108256413A (zh) * | 2017-11-27 | 2018-07-06 | 科大讯飞股份有限公司 | 可通行区域检测方法及装置、存储介质、电子设备 |
| CN109598187A (zh) * | 2018-10-15 | 2019-04-09 | 西北铁道电子股份有限公司 | 障碍物识别方法、障碍物识别系统及轨道车自动驾驶装置 |
-
2019
- 2019-12-12 CN CN201911278066.6A patent/CN111079634B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485233A (zh) * | 2016-10-21 | 2017-03-08 | 深圳地平线机器人科技有限公司 | 可行驶区域检测方法、装置和电子设备 |
| CN106599832A (zh) * | 2016-12-09 | 2017-04-26 | 重庆邮电大学 | 一种基于卷积神经网络的多类障碍物检测与识别方法 |
| CN108256413A (zh) * | 2017-11-27 | 2018-07-06 | 科大讯飞股份有限公司 | 可通行区域检测方法及装置、存储介质、电子设备 |
| CN109598187A (zh) * | 2018-10-15 | 2019-04-09 | 西北铁道电子股份有限公司 | 障碍物识别方法、障碍物识别系统及轨道车自动驾驶装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111598010A (zh) * | 2020-05-15 | 2020-08-28 | 安徽江淮汽车集团股份有限公司 | 动态障碍物检测方法、装置、电子设备及存储介质 |
| CN111598010B (zh) * | 2020-05-15 | 2024-02-02 | 安徽江淮汽车集团股份有限公司 | 动态障碍物检测方法、装置、电子设备及存储介质 |
| CN112163446A (zh) * | 2020-08-12 | 2021-01-01 | 浙江吉利汽车研究院有限公司 | 一种障碍物检测方法、装置、电子设备及存储介质 |
| CN112163446B (zh) * | 2020-08-12 | 2023-04-28 | 浙江吉利汽车研究院有限公司 | 一种障碍物检测方法、装置、电子设备及存储介质 |
| CN112131964A (zh) * | 2020-08-31 | 2020-12-25 | 南京汽车集团有限公司 | 一种道路作业车辆视觉感知系统及其使用方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111079634B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7218805B2 (ja) | ソフトクロスエントロピー損失を用いたセマンティックセグメンテーション | |
| CN112528878B (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
| US11657274B2 (en) | Weakly-supervised semantic segmentation with self-guidance | |
| US11940803B2 (en) | Method, apparatus and computer storage medium for training trajectory planning model | |
| CN112133089B (zh) | 一种基于周围环境与行为意图的车辆轨迹预测方法、系统及装置 | |
| US9286524B1 (en) | Multi-task deep convolutional neural networks for efficient and robust traffic lane detection | |
| CN111079634B (zh) | 车辆行驶中检测障碍物的方法、装置、系统及车辆 | |
| CN113312983B (zh) | 基于多模态数据融合的语义分割方法、系统、装置及介质 | |
| CN111476343B (zh) | 利用掩蔽参数的方法和装置 | |
| EP3690744B1 (en) | Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same | |
| CN116783620A (zh) | 根据点云的高效三维对象检测 | |
| JP7119197B2 (ja) | 車線属性検出 | |
| WO2023125628A1 (zh) | 神经网络模型优化方法、装置及计算设备 | |
| US12013251B2 (en) | Dynamic map generation with focus on construction and localization field of technology | |
| CN115205803A (zh) | 自动驾驶环境感知方法、介质及车辆 | |
| CN115147328A (zh) | 三维目标检测方法及装置 | |
| CN116433903A (zh) | 实例分割模型构建方法、系统、电子设备及存储介质 | |
| CN116861262B (zh) | 一种感知模型训练方法、装置及电子设备和存储介质 | |
| CN114841910A (zh) | 车载镜头遮挡识别方法及装置 | |
| CN115527187A (zh) | 一种障碍物的分类方法以及装置 | |
| US11544899B2 (en) | System and method for generating terrain maps | |
| CN111507154A (zh) | 使用横向滤波器掩膜来检测车道线元素的方法和装置 | |
| CN116821699B (zh) | 一种感知模型训练方法、装置及电子设备和存储介质 | |
| CN116682088A (zh) | 一种基于对象成像方法的自动驾驶3d目标检测方法及装置 | |
| CN116959026A (zh) | 目标检测方法、装置、设备、存储介质及计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |