CN108647570B

CN108647570B - 斑马线检测方法、装置及计算机可读存储介质

Info

Publication number: CN108647570B
Application number: CN201810285322.3A
Authority: CN
Inventors: 刘新; 宋朝忠; 郭烽; 张新; 陈安东
Original assignee: Shenzhen Echiev Autonomous Driving Technology Co ltd
Current assignee: Shenzhen Echiev Autonomous Driving Technology Co ltd
Priority date: 2018-04-02
Filing date: 2018-04-02
Publication date: 2021-08-06
Anticipated expiration: 2038-04-02
Also published as: CN108647570A

Abstract

本发明公开了一种斑马线检测方法、装置及计算机可读存储介质，斑马线检测方法包括：获取路面图片对应的路面二值图，对所述路面二值图进行连通域提取，得到连通域图片；剔除所述连通域图片中的无效连通域图片，从路面图片中获取剩余连通域图片对应的区域图片；获取所述区域图片中的线条图片，检测所述线条图片中是否存在满足斑马线特性的目标图片组；若所述线条图片中存在满足斑马线特性的目标图片组，则所述路面图片中存在斑马线。通过本发明，从路面图片中获取线条图片，在获取到线条图片的基础上，根据获取的线条图片判断是否存在斑马线，消除了路面上其它路面标志线对检测结果的影响，提高了斑马线检测结果的准确性。

Description

斑马线检测方法、装置及计算机可读存储介质

技术领域

本发明涉及图像识别技术领域，尤其涉及斑马线检测方法、装置及计算机可读存储介质。

背景技术

随着自动驾驶技术的不断发展，斑马线检测在自动驾驶环境感知中变得越来越重要，而传统斑马线检测主要是通过投影的方法来进行斑马线检测。通过投影的方法来进行斑马线检测时，不区分直线还是其它路面标志统一投影到一个方向做直方图统计，根据统计直方图判定是否存在斑马线，这样很容易照成误判，因为统计直方图可能是其它路面标志形成的，而且假如斑马线存在缺失或者污点的存在又容易照成漏检。

发明内容

本发明的主要目的在于提供一种斑马线检测方法、装置及计算机可读存储介质，旨在解决现有技术中斑马线检测方法准确性差的技术问题。

为实现上述目的，本发明提供一种斑马线检测方法，所述斑马线检测方法包括：

获取路面图片对应的路面二值图，对所述路面二值图进行连通域提取，得到连通域图片；

剔除所述连通域图片中的无效连通域图片，从路面图片中获取剩余连通域图片对应的区域图片；

获取所述区域图片中的线条图片，检测所述线条图片中是否存在满足斑马线特性的目标图片组；

若所述线条图片中存在满足斑马线特性的目标图片组，则所述路面图片中存在斑马线。

可选的，所述获取路面图片对应的路面二值图包括：

根据预置语义分割模型对路面图片进行语义分割，获取路面图片对应的路面二值图。

可选的，所述剔除所述连通域图片中的无效连通域图片包括：

计算每一张连通域图片的面积值与预设标准值的差值；

将差值大于预设阈值的连通域图片标记为无效连通域图片，剔除所述无效连通域图片。

可选的，所述从路面图片中获取剩余连通域图片对应的区域图片包括：

获取剩余连通域图片在所述路面二值图中的位置信息；

从路面图片中抠取所述位置信息对应的区域图片。

可选的，所述获取所述区域图片中的线条图片包括：

通过预置神经网络模型对所述区域图片进行分类，得到各个区域图片的分类信息；

根据所述各个区域图片的分类信息，获取所述区域图片中的线条图片。

可选的，所述通过预置神经网络模型对所述区域图片进行分类包括：

将所述区域图片像素点数量调整为预设像素点个数，通过预置神经网络模型对像素点数量经过调整的区域图片进行分类。

可选的，所述检测所述线条图片中是否存在满足斑马线特性的目标图片组包括：

获取所述线条图片的尺寸信息，根据所述尺寸信息，确定目标线条图片；

检测目标线条图片的数量是否处于预设区间；

若目标线条图片的数量处于预设区间，则存在满足斑马线特性的目标图片组；

若目标线条图片的数量不处于预设区间，则不存在满足斑马线特性的目标图片组。

此外，为实现上述目的，本发明还提供一种斑马线检测装置，所述斑马线检测装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的斑马线检测程序，所述斑马线检测程序被所述处理器执行时实现如上所述的斑马线检测方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有斑马线检测程序，所述斑马线检测程序被处理器执行时实现如上所述的斑马线检测方法的步骤。

本发明中，获取路面图片对应的路面二值图，对路面二值图进行连通域提取，得到连通域图片；剔除连通域图片中的无效连通域图片，从路面图片中获取剩余连通域图片对应的区域图片；获取区域图片中的线条图片，检测线条图片中是否存在满足斑马线特性的目标图片组；若线条图片中存在满足斑马线特性的目标图片组，则所述路面图片中存在斑马线。通过本发明，从路面图片中获取线条图片，即使斑马线中线条上存在污点或部分缺失，也不会被漏检，在获取到线条图片的基础上，根据获取的线条图片判断是否存在斑马线，消除了路面上其它路面标志线对检测结果的影响，提高了斑马线检测结果的准确性。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的斑马线检测装置结构示意图；

图2为本发明斑马线检测方法第一实施例的流程示意图；

图3为本发明斑马线检测方法一实施例中路面二值图示意图；

图4为本发明斑马线检测方法一实施例中标号处理后的连通域图片示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的斑马线检测装置结构示意图。

本发明实施例斑马线检测装置可以是PC，也可以是智能手机、平板电脑、便携计算机等具有一定数据处理能力的终端设备。

如图1所示，该斑马线检测装置可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的斑马线检测装置结构并不构成对斑马线检测装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及斑马线检测程序。

在图1所示的斑马线检测装置中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的斑马线检测程序，并执行以下操作：

进一步地，所述获取路面图片对应的路面二值图包括：

进一步地，所述剔除所述连通域图片中的无效连通域图片包括：

计算每一张连通域图片的面积值与预设标准值的差值；

进一步地，所述从路面图片中获取剩余连通域图片对应的区域图片包括：

获取剩余连通域图片在所述路面二值图中的位置信息；

从路面图片中抠取所述位置信息对应的区域图片。

进一步地，所述获取所述区域图片中的线条图片包括：

进一步地，所述通过预置神经网络模型对所述区域图片进行分类包括：

进一步地，所述检测所述线条图片中是否存在满足斑马线特性的目标图片组包括：

检测目标线条图片的数量是否处于预设区间；

若目标线条图片的数量处于预设区间，则存在目标图片组；

若目标线条图片的数量不处于预设区间，则不存在目标图片组。

参照图2，图2为本发明斑马线检测方法第一实施例的流程示意图。

在一实施例中，斑马线检测方法包括：

步骤S10，获取路面图片对应的路面二值图，对所述路面二值图进行连通域提取，得到连通域图片；

本实施例中，获取路面图片对应的路面二值图的方式为：将路面图片输入预置语义分割模型，以供语义分割模型对路面图片进行语义分割处理，得到语义分割结果，即得到路面图片对应的路面二值图。

本实施例中，二值图是指图像上的每一个像素只有两种可能的取值或灰度等级状态，人们经常用黑白、B&W、单色图像表示二值图像。二值图像在图像中，灰度等级只有两种，也就是说，图像中的任何像素不是0就是1，再无其他过渡的灰度值。参照图3，图3为本发明斑马线检测方法一实施例中路面二值图示意图。如图3所示，图3所示的路面二值图中存在15个连通域，将这15个连通域从路面二值图中抠取出来，得到15张连通域图片。为便于后续描述，现对这15张连通域图片进行标号，参照图4，图4为本发明斑马线检测方法一实施例中标号处理后的连通域图片示意图。

步骤S20，剔除所述连通域图片中的无效连通域图片，从路面图片中获取剩余连通域图片对应的区域图片；

本实施例中，基于一般的斑马线中每条线段的面积大小，设定预设标准值。例如，根据实际经验可知，斑马线中每条线段的面积大小一般为1㎡至2㎡，则将预设标准值设为1.5㎡。计算每张连通域图片的实际面积大小，并计算每张连通域图片的实际面积大小与预设标准值的差值。本实施例中，差值指两数值之间的差距，取正值。若连通域图片的实际面积大小与预设标准值的差值大于预设阈值(本实施例中，预设阈值可取0.5。本实施例对预设阈值的取值不作限制，具体根据实际情况进行设置)，则将该连通域图片标记为无效连通域图片，并剔除该无效连通域图片。例如，在一实施例中，如图4所示，图4中标号为1和12的连通域图片的实际面积大小与预设标准值的差值大于预设阈值，则标号为1和12的连通域图片为无效连通域图片，将标号为1和12的连通域图片剔除。剩余的连通域图片包括：连通域图片2至11以及连通域图片13至15。

本实施例中，由于路面二值图是根据语义分割模型对路面图片进行语义分割处理得到的，连通域图片在路面二值图中的位置即该连通域图片的实际图像在路面图片中的位置。根据连通域图片2至11以及连通域图片13至15在路面二值图中的位置信息，获取各个位置信息在路面图片中的实际图像，即在路面图片中获取到剩余连通域图片对应的区域图片。

步骤S30，获取所述区域图片中的线条图片，检测所述线条图片中是否存在满足斑马线特性的目标图片组；

如上所述的实施例中，获取到连通域图片2至11以及连通域图片13至15对应的区域图片，将这些区域图片输入预置神经网络模型。本实施例中，预置神经网络模型用于对输入的区域图片进行分类。例如，将连通域图片2至11以及连通域图片13至15对应的区域图片输入预置神经网络模型后，预置神经网络模型对这些区域图片的分类结果为：连通域图片2至11对应的区域图片属于线条图片；连通域图片13至15对应的区域图片属于箭头图片。获取神经网络模型输出的各个区域图片的分类信息，根据各个区域图片的分类信息获取的线条图片即为连通域图片2至11对应的区域图片。

本实施例中，可以根据斑马线中各条线段长度、宽度大致一致、斑马线中相邻线段距离大致一致、斑马线数量一般在5条以上等特性来检测线条图片中是否存在满足斑马线特性的目标图片组。

步骤S40，若所述线条图片中存在满足斑马线特性的目标图片组，则所述路面图片中存在斑马线。

本发明一实施例中，检测是否存在5张(该数值根据实际情况进行设置，在此不作限制)以上的线条图片，且这些线条图片对应的线条长度、宽度大致一致(各个线条长度差值小于阈值1，宽度差值小于阈值2，阈值1和阈值2的大小根据实际情况进行设置)，若存在，则线条图片中存在满足斑马线特性的目标图片组，即识别到斑马线；否则，线条图片中不存在满足斑马线特性的目标图片组，未识别到斑马线。

本发明另一可选实施例中，检测是否存在5张(该数值根据实际情况进行设置，在此不作限制)以上的线条图片，且这些线条图片中每相邻两线条图片的距离大致相同，若存在，则线条图片中存在满足斑马线特性的目标图片组，即识别到斑马线；否则，线条图片中不存在满足斑马线特性的目标图片组，未识别到斑马线。

本实施例中，获取路面图片对应的路面二值图，对路面二值图进行连通域提取，得到连通域图片；剔除连通域图片中的无效连通域图片，从路面图片中获取剩余连通域图片对应的区域图片；获取区域图片中的线条图片，检测线条图片中是否存在满足斑马线特性的目标图片组；若线条图片中存在满足斑马线特性的目标图片组，则所述路面图片中存在斑马线。通过本实施例，从路面图片中获取线条图片，即使斑马线中线条上存在污点或部分缺失，也不会被漏检，在获取到线条图片的基础上，根据获取的线条图片判断是否存在斑马线，消除了路面上其它路面标志线对检测结果的影响，提高了斑马线检测结果的准确性。

进一步的，本发明斑马线检测方法一实施例中，所述获取路面图片对应的路面二值图包括：

本实施例中，图像语义分割，简单而言就是给定一张图片，对图片上的每一个像素点分类，不同颜色代表不同类别。获取路面图片对应的路面二值图的方式为：将路面图片输入预置语义分割模型，以供语义分割模型对路面图片进行语义分割处理，得到语义分割结果，即得到路面图片对应的路面二值图。

本实施例中，对路面图片进行语义分割，得到路面图片对应的路面二值图，后续从该路面二值图中进行连通域抠取，即使斑马线中线条上存在污点或部分缺失，其对应的连通域也会被抠取，即避免了因为斑马线中线条上存在污点或部分缺失而被漏检的情况发生。

进一步的，本发明斑马线检测方法一实施例中，所述剔除所述连通域图片中的无效连通域图片包括：

计算每一张连通域图片的面积值与预设标准值的差值；

本实施例中，二值图是指图像上的每一个像素只有两种可能的取值或灰度等级状态，人们经常用黑白、B&W、单色图像表示二值图像。二值图像在图像中，灰度等级只有两种，也就是说，图像中的任何像素不是0就是1，再无其他过渡的灰度值。参照图3，图3为本发明斑马线检测方法一实施例中路面二值图示意图。如图3所示，图3所示的路面二值图中存在15个连通域，将这15个连通域从路面二值图中抠取出来，得到15张连通域图片。为便于后续描述，现对这15张连通域图片进行标号，参照图4，图4为本发明斑马线检测方法一实施例中标号处理后的连通域图片示意图。本实施例中，基于一般的斑马线中每条线段的面积大小，设定预设标准值。例如，根据实际经验可知，斑马线中每条线段的面积大小一般为1㎡至2㎡，则将预设标准值设为1.5㎡。计算每张连通域图片的实际面积大小，并计算每张连通域图片的实际面积大小与预设标准值的差值。本实施例中，差值指两数值之间的差距，取正值。若连通域图片的实际面积大小与预设标准值的差值大于预设阈值(本实施例中，预设阈值可取0.5。本实施例对预设阈值的取值不作限制，具体根据实际情况进行设置)，则将该连通域图片标记为无效连通域图片，并剔除该无效连通域图片。例如，在一实施例中，如图4所示，图4中标号为1和12的连通域图片的实际面积大小与预设标准值的差值大于预设阈值，则标号为1和12的连通域图片为无效连通域图片，将标号为1和12的连通域图片剔除。剩余的连通域图片包括：连通域图片2至11以及连通域图片13至15。

本实施例中，将无效连通域图片剔除，消除了路面图片中其它路面标志线对检测结果的影响，提高了后续斑马线检测结果的准确性。

进一步的，本发明斑马线检测方法一实施例中，所述从路面图片中获取剩余连通域图片对应的区域图片包括：

获取剩余连通域图片在所述路面二值图中的位置信息；

从路面图片中抠取所述位置信息对应的区域图片。

本实施例中，使用区域图片进行后续的神经网络分类，得到的分类结果更加准确，从而提升后续斑马线检测结果的准确性。

进一步的，本发明斑马线检测方法一实施例中，所述获取所述区域图片中的线条图片包括：

本实施例中，基于预置神经网络模型获取线条图片，后续，在识别出的线条图片基础上在根据线条图片的数量，左右上下间距等信息做出是否存在斑马线的判断，出错概率更低。

进一步的，本发明斑马线检测方法一实施例中，所述通过预置神经网络模型对所述区域图片进行分类包括：

本实施例中，在将区域图片输入预置神经网络模型之前，将区域图片像素点数量调整为预设像素点个数，即将每张区域图片像素点数量调整为一致，可以提高预置神经网络模型对区域图片进行分类的准确性，从而提高后续斑马线检测的准确性。

进一步的，本发明斑马线检测方法一实施例中，所述检测所述线条图片中是否存在满足斑马线特性的目标图片组包括：

检测目标线条图片的数量是否处于预设区间；

本发明一实施例中，检测是否存在5张(该数值根据实际情况进行设置，在此不作限制)以上的线条图片，且这些线条图片对应的线条长度、宽度大致一致(各个线条长度差值小于阈值1，宽度差值小于阈值2，阈值1和阈值2的大小根据实际情况进行设置)，若存在，则线条图片中存在满足斑马线特性的目标图片组，即检测到斑马线，然后获取目标图片组在路面图片中的位置(即目标图片组中包含的线条图片在路面图片中的位置)，即得到斑马线在路面图片中的位置，否则，线条图片中不存在满足斑马线特性的目标图片组，未检测到斑马线。

本发明另一可选实施例中，检测是否存在5张(该数值根据实际情况进行设置，在此不作限制)以上的线条图片，且这些线条图片中每相邻两线条图片的距离大致相同，若存在，则线条图片中存在满足斑马线特性的目标图片组，即检测到斑马线，然后获取目标图片组在路面图片中的位置(即目标图片组中包含的线条图片在路面图片中的位置)，即得到斑马线在路面图片中的位置，否则，线条图片中不存在满足斑马线特性的目标图片组，未检测到斑马线。

通过本实施例，在识别出线条图片的基础上，只有在线条图片中存在满足斑马线特性的目标图片组时，才视为检测到斑马线，提高了检测结果的可靠度。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有斑马线检测程序，所述斑马线检测程序被处理器执行时实现如上所述的斑马线检测方法的步骤。

本发明计算机可读存储介质的具体实施例与上述斑马线检测方法的各个实施例基本相同，在此不做赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种斑马线检测方法，其特征在于，所述斑马线检测方法包括：

若所述线条图片中存在满足斑马线特性的目标图片组，则所述路面图片中存在斑马线；

所述剔除所述连通域图片中的无效连通域图片包括：

计算每一张连通域图片的面积值与预设标准值的差值；

2.如权利要求1所述的斑马线检测方法，其特征在于，所述获取路面图片对应的路面二值图包括：

3.如权利要求1所述的斑马线检测方法，其特征在于，所述从路面图片中获取剩余连通域图片对应的区域图片包括：

获取剩余连通域图片在所述路面二值图中的位置信息；

从路面图片中抠取所述位置信息对应的区域图片。

4.如权利要求1所述的斑马线检测方法，其特征在于，所述获取所述区域图片中的线条图片包括：

5.如权利要求4所述的斑马线检测方法，其特征在于，所述通过预置神经网络模型对所述区域图片进行分类包括：

6.如权利要求1所述的斑马线检测方法，其特征在于，所述检测所述线条图片中是否存在满足斑马线特性的目标图片组包括：

检测目标线条图片的数量是否处于预设区间；

7.一种斑马线检测装置，其特征在于，所述斑马线检测装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的斑马线检测程序，所述斑马线检测程序被所述处理器执行时实现如下步骤：

获取路面图片对应的路面二值图，对所述路面二值图进行连通域提取，得到若干连通域图片；

剔除所述若干连通域图片中的无效连通域图片，从路面图片中获取剩余连通域图片对应的区域图片；

所述剔除所述若干连通域图片中的无效连通域图片包括：

计算每一张连通域图片的面积值与预设标准值的差值；

8.如权利要求7所述的斑马线检测装置，其特征在于，所述斑马线检测程序被所述处理器执行时还实现如权利要求2至6中任一项所述的斑马线检测方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有斑马线检测程序，所述斑马线检测程序被处理器执行时实现如权利要求1至6中任一项所述的斑马线检测方法的步骤。