CN109740484A - 道路障碍物识别的方法、装置及系统 - Google Patents
道路障碍物识别的方法、装置及系统 Download PDFInfo
- Publication number
- CN109740484A CN109740484A CN201811607332.0A CN201811607332A CN109740484A CN 109740484 A CN109740484 A CN 109740484A CN 201811607332 A CN201811607332 A CN 201811607332A CN 109740484 A CN109740484 A CN 109740484A
- Authority
- CN
- China
- Prior art keywords
- barrier
- lane line
- information
- area
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明提供一种道路障碍物识别的方法、装置及系统，该方法包括：接收图像采集设备发送的图像；对所述图像进行识别处理，得到所述图像中障碍物的识别信息、车道线信息；根据所述障碍物的识别信息、车道线信息，判断所述障碍物是否为有效障碍物。本发明可以提高道路障碍物识别的精准度及识别效率，同时还可以获得道路障碍物结构化信息，提高车辆驾驶的安全性。
Description
技术领域
本发明涉及图像自动检测技术领域，尤其涉及一种道路障碍物识别的方法、装置及系统。
背景技术
随着信息技术的快速发展，自汽车数量急剧增长以来，针对道路设计、智能车辆和道路交通运输等方面的研究取得有效成果，大大提高道路能力，缓减交通压力。
近年来，针对车辆行驶路径上的障碍物检测方法，提出了许多算法和实施手段，其中有基于图像的检测方法，主要包括：基于先验知识的障碍物检测；基于立体视觉的障碍物检测等等。
目前根据车载系统感知道路环境，然后驾驶员再利用获得的道路、车辆和障碍物信息，来控制车辆转向和速度的准确性不高。尤其当道路环境较差或者相当恶劣时，车载系统对道路及其障碍物的识别容易出现误判，再加上驾驶员对路况把握的疏忽大意，会造成交通事故多发，安全性不佳。
发明内容
本发明提供一种道路障碍物识别的方法、装置及系统，以提高道路障碍物识别的精准度及识别效率，同时还可以获得道路障碍物结构化信息，提高车辆驾驶的安全性。
第一方面，本发明实施例提供的一种道路障碍物识别的方法，包括：
接收图像采集设备发送的图像；
对所述图像进行识别处理，得到所述图像中障碍物的识别信息、车道线信息；
根据所述障碍物的识别信息、车道线信息，判断所述障碍物是否为有效障碍物。
在一种可能的设计中，对所述图像进行识别处理，包括：
通过ResNet50主干网络提取所述图像的第一特征向量；
将所述第一特征向量作为FPN网络的输入，通过FPN网络提取特征金字塔各层的候选框proposals；
通过ROIAlign层获取所述候选框Proposals被缩放至预设尺寸后的第二特征向量；
将所述第二特征向量分别送入掩码识别分支、类别和位置识别分支，得到所述图像中至少一个障碍物的识别信息；所述识别信息包括：障碍物的类别信息、位置信息、掩码信息。
在一种可能的设计中，根据所述障碍物的识别信息、车道线信息，判断所述障碍物是否为有效障碍物，包括：
将所述图像中的车道线组合成完整车道线；
根据所述完整车道线，确定障碍物的感兴趣区域；
根据所述障碍物的感兴趣区域与障碍物的位置，判断所述障碍物是否为有效障碍物。
在一种可能的设计中，根据所述障碍物的感兴趣区域与障碍物的位置，判断所述障碍物是否为有效障碍物，包括：
根据所述完整车道线中最左车道线、最右车道线，以及所述最左车道线与所述最右车道线的延长消失点，确定所述障碍物的感兴趣区域；
获取所述障碍物的位置在图像中的覆盖区域；
若所述障碍物的覆盖区域与感兴趣区域的交集大于或等于预设面积阈值，则确定所述障碍物为有效障碍物；
若所述障碍物的覆盖区域与感兴趣区域的交集小于预设面积阈值，则确定所述障碍物为无效障碍物。
在一种可能的设计中，还包括：
若所述障碍物为有效障碍物，则获取所述障碍物的结构化信息；
按照预设的数据格式输出所述结构化信息。
在一种可能的设计中，获取所述障碍物的结构化信息，包括：
根据所述障碍物的识别信息，对障碍物进行分析处理，得到所述障碍物的结构化信息，所述结构化信息包括：质地信息、边界尺寸信息。
第二方面，本发明实施例提供的一种道路障碍物识别的装置，包括：
接收模块，用于接收图像采集设备发送的图像；
获得模块，用于对所述图像进行识别处理，得到所述图像中障碍物的识别信息、车道线信息；
判断模块，用于根据所述障碍物的识别信息、车道线信息，判断所述障碍物是否为有效障碍物。
在一种可能的设计中，对所述图像进行识别处理，包括：
通过ResNet50主干网络提取所述图像的第一特征向量；
将所述第一特征向量作为FPN网络的输入，通过FPN网络提取特征金字塔各层的候选框proposals；
通过ROIAlign层获取所述候选框Proposals被缩放至预设尺寸后的第二特征向量；
将所述第二特征向量分别送入掩码识别分支、类别和位置识别分支，得到所述图像中至少一个障碍物的识别信息；所述识别信息包括：障碍物的类别信息、位置信息、掩码信息。
在一种可能的设计中，所述判断模块，具体用于：
将所述图像中的车道线组合成完整车道线；
根据所述完整车道线，确定障碍物的感兴趣区域；
根据所述障碍物的感兴趣区域与障碍物的位置，判断所述障碍物是否为有效障碍物。
在一种可能的设计中，根据所述障碍物的感兴趣区域与障碍物的位置，判断所述障碍物是否为有效障碍物，包括：
根据所述完整车道线中最左车道线、最右车道线，以及所述最左车道线与所述最右车道线的延长消失点，确定所述障碍物的感兴趣区域；
获取所述障碍物的位置在图像中的覆盖区域；
若所述障碍物的覆盖区域与感兴趣区域的交集大于或等于预设面积阈值，则确定所述障碍物为有效障碍物；
若所述障碍物的覆盖区域与感兴趣区域的交集小于预设面积阈值，则确定所述障碍物为无效障碍物。
在一种可能的设计中，还包括：
输出模块，用于在所述障碍物为有效障碍物时，获取所述障碍物的结构化信息；
按照预设的数据格式输出所述结构化信息。
在一种可能的设计中，获取所述障碍物的结构化信息，包括：
根据所述障碍物的识别信息，对障碍物进行分析处理，得到所述障碍物的结构化信息，所述结构化信息包括：质地信息、边界尺寸信息。
第三方面，本发明实施例提供的一种道路障碍物识别的系统，包括：存储器和处理器，存储器中存储有所述处理器的可执行指令；其中所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的道路障碍物识别的方法。
第四方面，本发明实施例提供的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行实现第一方面中任一项所述的道路障碍物识别的方法。
本发明提供一种道路障碍物识别的方法、装置及系统，该方法包括：接收图像采集设备发送的图像；对所述图像进行识别处理，得到所述图像中障碍物的识别信息、车道线信息；根据所述障碍物的识别信息、车道线信息，判断所述障碍物是否为有效障碍物。本发明可以提高道路障碍物识别的精准度及识别效率，同时还可以获得道路障碍物结构化信息，提高车辆驾驶的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一应用场景示意图；
图2为本发明实施例一提供的道路障碍物识别的方法的流程图；
图3为本发明实施例二提供的道路障碍物识别的方法的流程图；
图4为本发明实施例三提供的道路障碍物识别的装置的结构示意图；
图5为本发明实施例四提供的道路障碍物识别的装置的结构示意图；
图6为本发明实施例五提供的道路障碍物识别的系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图1为本发明一应用场景示意图，如图1所示，车辆正常行驶时拍摄道路图像11，将该图像输入道路障碍物识别系统12，经道路障碍物识别系统中的算法平台处理分析，获得道路障碍物的结构化信息，并按照预设的数据格式在道路障碍物识别系统12输出该结构化信息。应用上述方法可以提高道路障碍物识别的精准度及识别效率，同时还可以获得道路障碍物结构化信息，提高车辆驾驶的安全性。
图2为本发明实施例一提供的道路障碍物识别的方法的流程图，如图2所示，本实施例中道路障碍物识别的方法可以包括：
S101、接收图像采集设备发送的图像。
具体的，道路障碍物识别系统的算法平台接收图像采集设备发送的图像，其中图像中可以包括车辆在道路上正常行驶时拍摄到的障碍物(例如，石块、饮料容器、废旧报纸、道路裂纹、凹坑、水坑、路面液体污渍、高架声屏障及其他抛洒物)及车道线等等。在一种可选的实施例中，图像采集设备可以包括智能摄像头，例如，单目摄像头、多目摄像头、双目摄像头及三目摄像头。在一种可选的实施例中，车载摄像头每秒可以处理20帧左右地图像。本实施例中主要通过单目摄像头采集道路图像。需要说明的是本发明不对采集设备作任何限定，本领域的技术人员可以根据实际情况进行具体限定。
本实施例中，道路障碍物识别系统通过车载单目摄像头采集道路图像，并将该道路图像传入算法平台，算法平台接收并获取该道路图像的存储路径，得到该道路图像。
S102、对图像进行识别处理，得到图像中障碍物的识别信息，车道线信息。
具体的，道路障碍物识别系统的算法平台接收图像采集设备发送的道路图像，通过ResNet50主干网络提取图像的第一特征向量；将第一特征向量作为FPN网络的输入，通过FPN网络提取特征金字塔各层的候选框proposals；通过ROIAlign层获取候选框Proposals被缩放至预设尺寸后的第二特征向量；将第二特征向量分别送入掩码识别分支、类别和位置识别分支，得到图像中至少一个障碍物的识别信息；识别信息包括：障碍物的类别信息、位置信息(于图像中的位置)、掩码信息。在一种可选的实施例中，道路障碍物识别系统的算法平台对道路图像进行识别处理，得到该图像中车道线的信息。车道线类别的设置主要是为了将道路可行驶区域与护栏、人行道等道路外区域进行区分，将障碍物聚焦于车辆的可行驶区域，可以避免道路以外区域障碍物的干扰。需要说明的是本实施例中不对预设尺寸进行具体限定，例如7x7固定尺寸。
本实施例中，道路障碍物识别系统的算法平台主要利用深度学习网络maskRCNN对接收的道路图像进行识别，maskRCNN的输出结果以[c,rect,mask]符号表示，其中c表示类别，rect表示障碍物相对于图像的位置信息，在一种可选的实施例中，rect可以包括左上角位置坐标x和y以及障碍物最大外界矩形的宽高width和height；mask表示为障碍物的轮廓信息，mask为0和1的掩码矩阵，矩阵的宽高与rect的宽高相同。具体的，该算法平台利用ResNet50主干网络提取道路图像的第一特征向量。在一种可选的实施例中，通过ResNet50主干网络提取道路图像的特征向量，需删除图像特征中的第一行(例如第一行为随机向量)，以得到道路图像的第一特征向量。将该第一特征向量作为FPN网络的输入，利用FPN网络提取特征金字塔各层的候选框proposals。在一种可选的实施例中，使用SelectiveSearch(选择性搜索)方法从该图像中生成许多小图，Selective Search是先用过分割手段将该图像分割成小图(小图生成途径1)，再通过一些合并规则，将小图均匀的合并，这些合并的小图相比原图还是小图(小图生成途径2)，这样合并若干次，直到合并成整张原图，至此，将所有生成小图途径过程中的小图全部输出，就产生了候选框proposals。为尽可能不遗漏候选区域，上述操作在多个颜色空间(例如RGB,HSV,Lab等)中同时进行。利用ROIAlign层获取候选框Proposals被缩放至7x7固定尺寸的第二特征向量。进而将该第二特征向量分别送入掩码识别分支、类别和位置识别分支，输出该道路图像中至少一个障碍物的识别信息，例如障碍物的类别信息：水坑，位置信息：rect1以及掩码信息为0和1的掩码矩阵。
在一种可选的实施例中，道路障碍物识别系统的算法平台还可以对识别的高架声屏障进一步分析处理，识别该高架声屏障上是否存在小广告等等，例如从道路图像中获取该高架声屏障在该道路图像中位置区域，并进行截取后重新输入该算法平台利用深度学习网络maskRCNN对接收的截取图像进行识别，其后续实现过程如上述相关描述，此处不再赘述。
在一种可选的实施例中，道路障碍物识别系统的算法平台可以根据多颜色空间，例如RGB,HSV,Lab等，对道路图像中的车辙(车轮印)进行识别，例如获得道路图像的第一特征向量输入FPN网络后，利用FPN网络提取特征金字塔各层的候选框proposals，为了识别该道路图像中的车辙或者车道线，提取特征金字塔各层候选框proposals的操作在多个颜色空间(例如RGB,HSV,Lab等)中同时进行，以提高对道路图像中车道线及车辙的识别精准度。其中，RGB(red,green,blue)颜色空间表示颜色的格式有RGB565,RGB555,RGB24,RGB32等，HSV(hue,saturation,value)表示色相、饱和度和亮度。hue表示颜色的相位角，取值范围是0-360；S表示颜色的饱和度；S为一比例值，范围从0到1，它表示成所选颜色的纯度和该颜色最大的纯度之间的比率，通常S取值越大，表示色彩越纯，取值越小，表示色彩越灰。V表示色彩的明亮程度，范围从0到1。Lab颜色空间中的L分量用于表示像素的亮度，取值范围是[0,100],表示从纯黑到纯白；a表示从红色到绿色的范围，取值范围是[127,-128]；b表示从黄色到蓝色的范围，取值范围是[127,-128]。在一种可选的实施例中，RGB颜色空间与HSV颜色空间可以互相转换，以产生更加精准的候选框proposals，进而可以提高道路图像中车道线及车辙的识别准确度。
S103、根据障碍物的识别信息、车道线信息，判断障碍物是否为有效障碍物。
具体的，将图像中的车道线组合成完整车道线；
根据完整车道线，确定障碍物的感兴趣区域；
根据障碍物的感兴趣区域与障碍物的位置，判断障碍物是否为有效障碍物。
本实施例中，道路障碍物识别系统的算法平台对maskRCNN输出的车道线信息进行处理，将识别出来的分段车道线组成完整的直线，并输出结果[c,rect,mask]，利用相同车道线分段的斜率一致原则，将不同分段的车道线组成一起。选择左右最外层的两条车道线left_lane和right_lane，两条车道线延长线的交点为消失点vanish point。以left_lane、right_lane以及vanish_point为边界划定障碍物的感兴趣区域drive_region。
在一种可选的实施例中，根据障碍物的感兴趣区域与障碍物的位置，判断障碍物是否为有效障碍物，包括：
根据完整车道线中最左车道线、最右车道线，以及最左车道线与最右车道线的延长消失点，确定障碍物的感兴趣区域；
获取障碍物的位置在图像中的覆盖区域；
若障碍物的覆盖区域与感兴趣区域的交集大于或等于预设面积阈值，则确定障碍物为有效障碍物；
若障碍物的覆盖区域与感兴趣区域的交集小于预设面积阈值，则确定障碍物为无效障碍物。
本实施例中，该算法平台根据完整车道线中最左车道线、最右车道线，以及最左车道线与最右车道线的延长消失点，确定障碍物的感兴趣区域。获取该障碍物的位置在图像中的覆盖区域。在一种可选的实施例中，障碍物的覆盖区域根据障碍物的位置信息及其掩码信息mask，mask为该障碍物的轮廓信息，可以为0和1的掩码矩阵，矩阵的宽高与障碍物位置的宽高相同来计算该障碍物的覆盖区域。进而计算障碍物的覆盖区域与感兴趣区域的交集IOU(Intersection over Union，重叠度)，若该障碍物的覆盖区域与感兴趣区域的交集为60％的共同面积，该交集面积大于预设的50％面积，则确定障碍物为有效障碍物。若障碍物的覆盖区域与感兴趣区域的交集为40％的共同面积，该交集面积小于预设的50％面积，则确定障碍物为无效障碍物。需要说明的是本实施例中不对预设面积阈值作具体限定，例如50％面积。
在一种可选的实施例中，道路障碍物识别系统的算法平台通过对道路图像进行识别处理，获得该道路障碍物的识别信息，例如类别信息为高架声屏障。进而根据该道路图像中完整车道线中最左车道线、最右车道线以外的区域来判断该高架声屏障是否为有效高架声屏障。
图3为本发明实施例二提供的道路障碍物识别的方法的流程图，如图3所示，本实施例中道路障碍物识别的方法可以包括：
S201、接收图像采集设备发送的图像。
S202、对图像进行识别处理，得到图像中障碍物的识别信息、车道线信息。
S203、根据障碍物的识别信息、车道线信息，判断障碍物是否为有效障碍物。
本实施例中，步骤S201～步骤S203的具体实现过程和技术原理请参见图2所示的方法中步骤S101～步骤S103中的相关描述，此处不再赘述。
S204、若障碍物为有效障碍物，则获取障碍物的结构化信息；按照预设的数据格式输出结构化信息。
具体的，若障碍物为有效障碍物，则根据障碍物的识别信息，对障碍物进行分析处理，得到障碍物的结构化信息，结构化信息包括：质地信息、边界尺寸信息；并且按照预设的数据格式输出该结构化信息。
本实施例中，利用算法平台获得识别结果[c,rect,mask]来提取有效障碍物的结构化描述信息。根据该障碍物的类别信息c，提取该障碍物的质地信息：固定或液体，柔软或坚硬。利用障碍物的位置信息rect；对mask进行膨胀腐蚀操作，使mask变成边界光滑的单连通域domain，然后利用微积分计算该单连通域domain的面积area，即获取障碍物的尺寸信息。将这些结构化描述信息输出按照下表1的格式输出。
表1
在一种可选的实施例中，道路障碍物识别系统采用大量的石头图像数据，通过监督学习或者半监督学习来训练类别和位置识别分支，以使得该类别和位置识别分支可以获取石头类别及对应的材质：固体。本发明对水坑类别以及进行液体材质识别的实现过程及原理如上述石头类别及对应固体材质的方法，在此不再赘述。
图4为本发明实施例三提供的道路障碍物识别的装置的结构示意图，如图4所示，本实施例中道路障碍物识别的装置可以包括：
接收模块31，用于接收图像采集设备发送的图像；
获得模块32，用于对图像进行识别处理，得到图像中障碍物的识别信息、车道线信息；
判断模块33，用于根据障碍物的识别信息、车道线信息，判断障碍物是否为有效障碍物。
在一种可能的设计中，对图像进行识别处理，包括：
通过ResNet50主干网络提取图像的第一特征向量；
将第一特征向量作为FPN网络的输入，通过FPN网络提取特征金字塔各层的候选框proposals；
通过ROIAlign层获取候选框Proposals被缩放至预设尺寸后的第二特征向量；
将第二特征向量分别送入掩码识别分支、类别和位置识别分支，得到图像中至少一个障碍物的识别信息；识别信息包括：障碍物的类别信息、位置信息、掩码信息。
在一种可能的设计中，判断模块33，具体用于：
将图像中的车道线组合成完整车道线；
根据完整车道线，确定障碍物的感兴趣区域；
根据障碍物的感兴趣区域与障碍物的位置，判断障碍物是否为有效障碍物。
在一种可能的设计中，根据障碍物的感兴趣区域与障碍物的位置，判断障碍物是否为有效障碍物，包括：
根据完整车道线中最左车道线、最右车道线，以及最左车道线与最右车道线的延长消失点，确定障碍物的感兴趣区域；
获取障碍物的位置在图像中的覆盖区域；
若障碍物的覆盖区域与感兴趣区域的交集大于或等于预设面积阈值，则确定障碍物为有效障碍物；
若障碍物的覆盖区域与感兴趣区域的交集小于预设面积阈值，则确定障碍物为无效障碍物。
本实施例的道路障碍物识别的装置，可以执行图2所示方法中的技术方案，其具体实现过程和技术原理参见图2所示方法中的相关描述，此处不再赘述。
图5为本发明实施例四提供的道路障碍物识别的装置的结构示意图，如图5所示，本实施例中道路障碍物识别的装置在图4所示的装置的基础上还可以包括：
输出模块34，用于在障碍物为有效障碍物时，获取障碍物的结构化信息；
按照预设的数据格式输出结构化信息。
在一种可能的设计中，获取障碍物的结构化信息，包括：
根据障碍物的识别信息，对障碍物进行分析处理，得到障碍物的结构化信息，结构化信息包括：质地信息、边界尺寸信息。
本实施例的道路障碍物识别的装置，可以执行图2、图3所示方法中的技术方案，其具体实现过程和技术原理参见图2、图3所示方法中的相关描述，此处不再赘述。
图6为本发明实施例五提供的道路障碍物识别的系统的结构示意图，如图6所示，本实施例的道路障碍物识别的系统40可以包括：处理器41和存储器42。
存储器42，用于存储计算机程序(如实现上述道路障碍物识别的方法的应用程序、功能模块等)、计算机指令等；
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器42中。并且上述的计算机程序、计算机指令、数据等可以被处理器41调用。
处理器41，用于执行存储器42存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器41和存储器42可以是独立结构，也可以是集成在一起的集成结构。当处理器41和存储器42是独立结构时，存储器42、处理器41可以通过总线43耦合连接。
本实施例的服务器可以执行图2、图3所示方法中的技术方案，其具体实现过程和技术原理参见图2、图3所示方法中的相关描述，此处不再赘述。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (14)
1.一种道路障碍物识别的方法，其特征在于，包括：
接收图像采集设备发送的图像；
对所述图像进行识别处理，得到所述图像中障碍物的识别信息、车道线信息；
根据所述障碍物的识别信息、车道线信息，判断所述障碍物是否为有效障碍物。
2.根据权利要求1所述的方法，其特征在于，对所述图像进行识别处理，包括：
通过ResNet50主干网络提取所述图像的第一特征向量；
将所述第一特征向量作为FPN网络的输入，通过FPN网络提取特征金字塔各层的候选框proposals；
通过ROIAlign层获取所述候选框Proposals被缩放至预设尺寸后的第二特征向量；
将所述第二特征向量分别送入掩码识别分支、类别和位置识别分支，得到所述图像中至少一个障碍物的识别信息；所述识别信息包括：障碍物的类别信息、位置信息、掩码信息。
3.根据权利要求1所述的方法，其特征在于，根据所述障碍物的识别信息、车道线信息，判断所述障碍物是否为有效障碍物，包括：
将所述图像中的车道线组合成完整车道线；
根据所述完整车道线，确定障碍物的感兴趣区域；
根据所述障碍物的感兴趣区域与障碍物的位置，判断所述障碍物是否为有效障碍物。
4.根据权利要求3所述的方法，其特征在于，根据所述障碍物的感兴趣区域与障碍物的位置，判断所述障碍物是否为有效障碍物，包括：
根据所述完整车道线中最左车道线、最右车道线，以及所述最左车道线与所述最右车道线的延长消失点，确定所述障碍物的感兴趣区域；
获取所述障碍物的位置在图像中的覆盖区域；
若所述障碍物的覆盖区域与感兴趣区域的交集大于或等于预设面积阈值，则确定所述障碍物为有效障碍物；
若所述障碍物的覆盖区域与感兴趣区域的交集小于预设面积阈值，则确定所述障碍物为无效障碍物。
5.根据权利要求1-4中任一项所述的方法，其特征在于，还包括：
若所述障碍物为有效障碍物，则获取所述障碍物的结构化信息；
按照预设的数据格式输出所述结构化信息。
6.根据权利要求5所述的方法，其特征在于，获取所述障碍物的结构化信息，包括：
根据所述障碍物的识别信息，对障碍物进行分析处理，得到所述障碍物的结构化信息，所述结构化信息包括：质地信息、边界尺寸信息。
7.一种道路障碍物识别的装置，其特征在于，包括：
接收模块，用于接收图像采集设备发送的图像；
获得模块，用于对所述图像进行识别处理，得到所述图像中障碍物的识别信息、车道线信息；
判断模块，用于根据所述障碍物的识别信息、车道线信息，判断所述障碍物是否为有效障碍物。
8.根据权利要求7所述的装置，其特征在于，对所述图像进行识别处理，包括：
通过ResNet50主干网络提取所述图像的第一特征向量；
将所述第一特征向量作为FPN网络的输入，通过FPN网络提取特征金字塔各层的候选框proposals；
通过ROIAlign层获取所述候选框Proposals被缩放至预设尺寸后的第二特征向量；
将所述第二特征向量分别送入掩码识别分支、类别和位置识别分支，得到所述图像中至少一个障碍物的识别信息；所述识别信息包括：障碍物的类别信息、位置信息、掩码信息。
9.根据权利要求7所述的装置，其特征在于，所述判断模块，具体用于：
将所述图像中的车道线组合成完整车道线；
根据所述完整车道线，确定障碍物的感兴趣区域；
根据所述障碍物的感兴趣区域与障碍物的位置，判断所述障碍物是否为有效障碍物。
10.根据权利要求9所述的装置，其特征在于，根据所述障碍物的感兴趣区域与障碍物的位置，判断所述障碍物是否为有效障碍物，包括：
根据所述完整车道线中最左车道线、最右车道线，以及所述最左车道线与所述最右车道线的延长消失点，确定所述障碍物的感兴趣区域；
获取所述障碍物的位置在图像中的覆盖区域；
若所述障碍物的覆盖区域与感兴趣区域的交集大于或等于预设面积阈值，则确定所述障碍物为有效障碍物；
若所述障碍物的覆盖区域与感兴趣区域的交集小于预设面积阈值，则确定所述障碍物为无效障碍物。
11.根据权利要求7-10中任一项所述的装置，其特征在于，还包括：
输出模块，用于在所述障碍物为有效障碍物时，获取所述障碍物的结构化信息；
按照预设的数据格式输出所述结构化信息。
12.根据权利要求11所述的装置，其特征在于，获取所述障碍物的结构化信息，包括：
根据所述障碍物的识别信息，对障碍物进行分析处理，得到所述障碍物的结构化信息，所述结构化信息包括：质地信息、边界尺寸信息。
13.一种道路障碍物识别的系统，其特征在于，包括：存储器和处理器，存储器中存储有所述处理起的可执行指令；其中所述处理器配置为经由执行所述可执行指令来执行权利要求1-6中任一项所述的道路障碍物识别的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行实现权利要求1-6中任一项所述的道路障碍物识别的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811607332.0A CN109740484A (zh) | 2018-12-27 | 2018-12-27 | 道路障碍物识别的方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811607332.0A CN109740484A (zh) | 2018-12-27 | 2018-12-27 | 道路障碍物识别的方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109740484A true CN109740484A (zh) | 2019-05-10 |
Family
ID=66361407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811607332.0A Pending CN109740484A (zh) | 2018-12-27 | 2018-12-27 | 道路障碍物识别的方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109740484A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110696826A (zh) * | 2019-10-09 | 2020-01-17 | 北京百度网讯科技有限公司 | 用于控制车辆的方法和装置 |
| CN111126493A (zh) * | 2019-12-25 | 2020-05-08 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的训练方法、装置、电子设备及存储介质 |
| CN111402326A (zh) * | 2020-03-13 | 2020-07-10 | 北京百度网讯科技有限公司 | 障碍物的检测方法、装置、无人车及存储介质 |
| CN111667706A (zh) * | 2020-06-05 | 2020-09-15 | 百度在线网络技术（北京）有限公司 | 车道级路面状况识别方法、路况提示方法和装置 |
| CN112163446A (zh) * | 2020-08-12 | 2021-01-01 | 浙江吉利汽车研究院有限公司 | 一种障碍物检测方法、装置、电子设备及存储介质 |
| CN112184700A (zh) * | 2020-10-21 | 2021-01-05 | 西北民族大学 | 基于单目相机的农业无人车障碍物感知方法及装置 |
| CN112330658A (zh) * | 2020-11-23 | 2021-02-05 | 丰图科技(深圳)有限公司 | 抛洒物检测方法、装置、电子设备及存储介质 |
| CN112424793A (zh) * | 2020-10-14 | 2021-02-26 | 深圳市锐明技术股份有限公司 | 一种物体识别方法、物体识别装置及电子设备 |
| CN114066842A (zh) * | 2021-11-12 | 2022-02-18 | 浙江托普云农科技股份有限公司 | 穗头数统计方法、系统、装置及存储介质 |
| CN114219791A (zh) * | 2021-12-17 | 2022-03-22 | 盛视科技股份有限公司 | 基于视觉的道路积水检测方法、电子设备及车辆报警系统 |
| WO2022089179A1 (zh) * | 2020-10-27 | 2022-05-05 | 华为技术有限公司 | 掉头车道线自动标注方法、装置、计算机可读存储介质及地图 |
| WO2022204905A1 (zh) * | 2021-03-30 | 2022-10-06 | 华为技术有限公司 | 一种障碍物检测方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485233A (zh) * | 2016-10-21 | 2017-03-08 | 深圳地平线机器人科技有限公司 | 可行驶区域检测方法、装置和电子设备 |
| CN107341454A (zh) * | 2017-06-21 | 2017-11-10 | 海信集团有限公司 | 一种场景中障碍物的检测方法及装置、电子设备 |
| CN108099957A (zh) * | 2017-12-14 | 2018-06-01 | 西北铁道电子股份有限公司 | 一种基于障碍物检测与识别的机车作业方法及系统 |
| CN108197569A (zh) * | 2017-12-29 | 2018-06-22 | 驭势科技（北京）有限公司 | 障碍物识别方法、装置、计算机存储介质和电子设备 |
| CN108549893A (zh) * | 2018-04-04 | 2018-09-18 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
| US20180292825A1 (en) * | 2017-04-07 | 2018-10-11 | Nvidia Corporation | Performing autonomous path navigation using deep neural networks |
| CN109034210A (zh) * | 2018-07-04 | 2018-12-18 | 国家新闻出版广电总局广播科学研究院 | 基于超特征融合与多尺度金字塔网络的目标检测方法 |
-
2018
- 2018-12-27 CN CN201811607332.0A patent/CN109740484A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485233A (zh) * | 2016-10-21 | 2017-03-08 | 深圳地平线机器人科技有限公司 | 可行驶区域检测方法、装置和电子设备 |
| US20180292825A1 (en) * | 2017-04-07 | 2018-10-11 | Nvidia Corporation | Performing autonomous path navigation using deep neural networks |
| CN107341454A (zh) * | 2017-06-21 | 2017-11-10 | 海信集团有限公司 | 一种场景中障碍物的检测方法及装置、电子设备 |
| CN108099957A (zh) * | 2017-12-14 | 2018-06-01 | 西北铁道电子股份有限公司 | 一种基于障碍物检测与识别的机车作业方法及系统 |
| CN108197569A (zh) * | 2017-12-29 | 2018-06-22 | 驭势科技（北京）有限公司 | 障碍物识别方法、装置、计算机存储介质和电子设备 |
| CN108549893A (zh) * | 2018-04-04 | 2018-09-18 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
| CN109034210A (zh) * | 2018-07-04 | 2018-12-18 | 国家新闻出版广电总局广播科学研究院 | 基于超特征融合与多尺度金字塔网络的目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| TSUNG-YI LIN ; PIOTR DOLLÁR ; ROSS GIRSHICK ; KAIMING HE ; BHARA: "《Feature Pyramid Networks for Object Detection》", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110696826A (zh) * | 2019-10-09 | 2020-01-17 | 北京百度网讯科技有限公司 | 用于控制车辆的方法和装置 |
| CN110696826B (zh) * | 2019-10-09 | 2022-04-01 | 北京百度网讯科技有限公司 | 用于控制车辆的方法和装置 |
| CN111126493B (zh) * | 2019-12-25 | 2023-08-01 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的训练方法、装置、电子设备及存储介质 |
| CN111126493A (zh) * | 2019-12-25 | 2020-05-08 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的训练方法、装置、电子设备及存储介质 |
| CN111402326A (zh) * | 2020-03-13 | 2020-07-10 | 北京百度网讯科技有限公司 | 障碍物的检测方法、装置、无人车及存储介质 |
| CN111402326B (zh) * | 2020-03-13 | 2023-08-25 | 北京百度网讯科技有限公司 | 障碍物的检测方法、装置、无人车及存储介质 |
| CN111667706A (zh) * | 2020-06-05 | 2020-09-15 | 百度在线网络技术（北京）有限公司 | 车道级路面状况识别方法、路况提示方法和装置 |
| CN112163446A (zh) * | 2020-08-12 | 2021-01-01 | 浙江吉利汽车研究院有限公司 | 一种障碍物检测方法、装置、电子设备及存储介质 |
| CN112163446B (zh) * | 2020-08-12 | 2023-04-28 | 浙江吉利汽车研究院有限公司 | 一种障碍物检测方法、装置、电子设备及存储介质 |
| CN112424793B (zh) * | 2020-10-14 | 2024-09-20 | 深圳市锐明技术股份有限公司 | 一种物体识别方法、物体识别装置及电子设备 |
| CN112424793A (zh) * | 2020-10-14 | 2021-02-26 | 深圳市锐明技术股份有限公司 | 一种物体识别方法、物体识别装置及电子设备 |
| CN112184700B (zh) * | 2020-10-21 | 2022-03-18 | 西北民族大学 | 基于单目相机的农业无人车障碍物感知方法及装置 |
| CN112184700A (zh) * | 2020-10-21 | 2021-01-05 | 西北民族大学 | 基于单目相机的农业无人车障碍物感知方法及装置 |
| WO2022089179A1 (zh) * | 2020-10-27 | 2022-05-05 | 华为技术有限公司 | 掉头车道线自动标注方法、装置、计算机可读存储介质及地图 |
| CN112330658A (zh) * | 2020-11-23 | 2021-02-05 | 丰图科技(深圳)有限公司 | 抛洒物检测方法、装置、电子设备及存储介质 |
| WO2022204905A1 (zh) * | 2021-03-30 | 2022-10-06 | 华为技术有限公司 | 一种障碍物检测方法及装置 |
| CN114066842A (zh) * | 2021-11-12 | 2022-02-18 | 浙江托普云农科技股份有限公司 | 穗头数统计方法、系统、装置及存储介质 |
| CN114219791A (zh) * | 2021-12-17 | 2022-03-22 | 盛视科技股份有限公司 | 基于视觉的道路积水检测方法、电子设备及车辆报警系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109740484A (zh) | 道路障碍物识别的方法、装置及系统 | |
| CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
| CN106203398B (zh) | 一种检测车道边界的方法、装置和设备 | |
| US10650257B2 (en) | Method and device for identifying the signaling state of at least one signaling device | |
| CN101950350B (zh) | 使用分级方法的畅通路径检测 | |
| CN103824066B (zh) | 一种基于视频流的车牌识别方法 | |
| WO2017041396A1 (zh) | 一种车道线数据的处理方法、装置、存储介质及设备 | |
| CN104899586B (zh) | 对图像中包含的文字内容进行识别方法及装置 | |
| CN105005778B (zh) | 一种基于视觉背景提取的高速公路车辆检测方法 | |
| CN107679508A (zh) | 交通标志检测识别方法、装置及系统 | |
| CN104217217B (zh) | 一种基于两层分类的车辆标志物检测方法与系统 | |
| KR102320985B1 (ko) | 멀티 카메라 시스템 내의 더블 임베딩 구성을 이용하여 도로 이용자 이벤트를 검출하기 위해 이용될 세그먼테이션 성능 향상을 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스팅 방법 및 테스팅 장치 | |
| CN106845453A (zh) | 基于图像的尾灯检测与识别方法 | |
| CN104376297A (zh) | 道路上的线型指示标志的检测方法和装置 | |
| CN111191611A (zh) | 基于深度学习的交通标志标号识别方法 | |
| CN107609555A (zh) | 车牌检测方法、应用其的车型识别方法及相关装置 | |
| CN109635737A (zh) | 基于道路标记线视觉识别辅助车辆导航定位方法 | |
| CN104700072A (zh) | 基于车道线历史帧的识别方法 | |
| CN110458050B (zh) | 基于车载视频的车辆切入检测方法及装置 | |
| CN101369312B (zh) | 检测图像中交叉口的方法和设备 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN111899515A (zh) | 一种基于智慧道路边缘计算网关的车辆检测系统 | |
| CN111191482B (zh) | 一种刹车灯识别方法、装置及电子设备 | |
| CN105426863A (zh) | 检测车道线的方法和装置 | |
| CN106022268A (zh) | 一种限速标识的识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190510 |