CN107066965A - 检测交通标识的方法及装置 - Google Patents

Abstract

本公开涉及一种检测交通标识的方法及装置，能够较为准确地对交通标识进行检测。所述方法包括：获取彩色图像以及所述彩色图像包括的像素点的深度信息；在所述彩色图像中，确定颜色与交通标识的颜色相匹配的子图像；基于所述深度信息，确定所述子图像包含的交通标识图像。

Description

检测交通标识的方法及装置

技术领域

本公开涉及图像处理技术，具体地，涉及一种检测交通标识的方法及装置。

背景技术

随着科学技术的不断发展，人们的出行也越来越便利，各种各样的汽车、电动车等已经成为人们生活中必不可少的交通工具。为了满足人们日益增长的出行需求，许多公司致力于研发车辆自动驾驶技术，自动驾驶的车辆需要自动对路上的交通标识进行检测，以及对检测到的交通标识进行识别，进而合理的控制车辆行驶。

目前，车辆检测交通标识的方式通常是用摄像头实时地采集彩色图像，然后对采集的彩色图像进行逐行扫描，以检测采集的彩色图像中是否包含有交通标识的图像。然而，由于需要在整个彩色图像中进行交通标识的检测，耗时较长，同时，在交通标识的颜色与背景的颜色相近时，可能出现无法识别或识别错误的情况。

发明内容

本公开的目的是提供一种检测交通标识的方法及装置，能够较为准确地对交通标识进行检测。

根据本发明实施例的第一方面，提供一种检测交通标识的方法，包括：

获取彩色图像以及所述彩色图像包括的像素点的深度信息；

在所述彩色图像中，确定颜色与交通标识的颜色相匹配的子图像；

基于所述深度信息，确定所述子图像包含的交通标识图像。

可选的，基于所述深度信息，确定所述子图像包含的交通标识图像，包括：

基于所述深度信息，检测所述子图像包含的平面子图像，其中，所述平面子图像为空间中的平面区域所对应的图像；

确定形状与交通标识的形状相匹配的平面子图像为交通标识图像。

可选的，在确定所述子图像包含的交通标识图像之后，还包括：

将包含所述交通标识图像的正方形图像输入神经网络，以通过所述神经网络识别所述交通标识图像。

可选的，在将包含所述交通标识图像的正方形图像输入神经网络之前，还包括：

对包含所述交通标识图像的正方形图像进行归一化处理。

可选的，所述神经网络包括一个输入层、两个卷积层、两个采样层、一个自适应采样层、一个全连接层及一个输出层。

可选的，所述自适应采样层设置在所述全连接层的上一层，用于将输入所述自适应采样层的图像调整为满足所述全连接层对图像尺寸的要求的图像。

根据本发明实施例的第二方面，提供一种检测交通标识的装置，包括：

获取模块，用于获取彩色图像以及所述彩色图像包括的像素点的深度信息；

第一确定模块，用于在所述彩色图像中，确定颜色与交通标识的颜色相匹配的子图像；

第二确定模块，用于基于所述深度信息，确定所述子图像包含的交通标识图像。

可选的，所述第二确定模块用于：

基于所述深度信息，检测所述子图像包含的平面子图像，其中，所述平面子图像为空间中的平面区域所对应的图像；

确定形状与交通标识的形状相匹配的平面子图像为交通标识图像。

可选的，所述装置还包括：

识别模块，用于在确定所述子图像包含的交通标识图像之后，将包含所述交通标识图像的正方形图像输入神经网络，以通过所述神经网络识别所述交通标识图像。

可选的，所述装置还包括：

归一化处理模块，用于在将包含所述交通标识图像的正方形图像输入神经网络之前，对包含所述交通标识图像的正方形图像进行归一化处理。

本公开实施例中，检测交通标识可以获取彩色图像以及彩色图像包括的像素点的深度信息，在彩色图像中，可以确定出颜色与交通标识的颜色相匹配的子图像，基于深度信息，可以进一步检测出颜色与交通标识的颜色匹配的子图像中包含的交通标识图像。可见，通过结合深度信息，可以较快地检测出采集的彩色图像中包含的交通标识图像，同时也避免了交通标识的背景与交通标识颜色相近而导致的识别错误，提高了交通标识的识别率。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种检测交通标识的方法的流程图。

图2是根据一示例性实施例示出的一种卷积神经网络的结构示意图。

图3是根据一示例性实施例示出的一种检测交通标识的装置的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

图1是根据一示例性实施例示出的一种检测交通标识的方法的流程图，如图1所示，该检测交通标识的方法可以应用于车辆中，包括以下步骤。

步骤S11：获取彩色图像以及彩色图像包括的像素点的深度信息。

彩色图像可以通过安装在车辆上的摄像头实时采集得到。深度信息可以用于表征空间中的点到摄像头之间的距离，对于获取深度信息的方式，本公开实施例不作限定，例如，可以在采集彩色图像时同时采集的深度图像，采集的深度图像包含有彩色图像中每个像素点的深度信息；或者例如，车辆上可以安装有双目立体相机，双目立体相机可以采集彩色图像，同时，通过双目立体相机采集的图像可以构建三维点云空间，进而得到彩色图像包括的像素点的深度信息，等等。

步骤S12：在彩色图像中，确定颜色与交通标识的颜色相匹配的子图像。

交通标识的颜色通常有红色、黄色及蓝色三种，因此，可以在获取的彩色图像中，确定出颜色为红色、黄色或蓝色的子图像。例如，可以对彩色图像进行基于颜色的图像分割，进而将彩色图像分割成多个子图像，然后再从中确定出颜色为红色、黄色或蓝色的子图像。

步骤S13：基于深度信息，确定子图像包含的交通标识图像。

基于彩色图像得到的颜色与交通标识的颜色相匹配的子图像有可能不是交通标识图像，也有可能是包含有相近颜色的背景的交通标识图像，因此，可以基于深度信息进一步确定子图像所包含的交通标识图像。对于如何基于深度信息确定交通标识图像，本公开实施例不作限定，以下对可能的方式进行说明。

可选的，可以基于深度信息，检测子图像包含的平面子图像，然后确定形状与交通标识的形状相匹配的平面子图像为交通标识图像。平面子图像可以是空间中的平面区域所对应的图像。

由于交通标识通常是整块平面的标志，因此，可以基于深度信息，检测子图像中是否包含有平面子图像。对于检测平面子图像的方式本公开实施例不作限定，例如，可以将子图像中深度信息相同的像素点组成的区域确定为平面子图像。或者例如，在采集图像时，有可能不是正对交通标识拍摄的，交通标识有可能呈一定的角度，那么可以将子图像中深度信息呈一定规律(比如等比递增或递减)的像素点组成的区域确定为平面子图像。

在检测到平面子图像后，可以进一步检测平面子图像的形状是否与交通标识的形状相匹配，比如，交通标识的形状有正三角形、正圆形、矩形等，那么可以看检测得到的平面子图像的形状是否为三角形、正圆形或矩形，如果是，便可以确定该平面子图像为交通标识图像，反之，则可以认为该屏幕子图像不是交通标识图像。

通过以上将深度信息与彩色图像结合的方式，可以快速地检测出采集的图像包括的交通标识图像，同时也提高了交通标识检测的准确度。

可选的，在确定子图像包含的交通标识图像之后，还可以将包含交通标识图像的正方形图像输入神经网络，以通过神经网络识别交通标识图像。

包含交通标识图像的正方形图像例如可以是交通标识图像的最小外接正方形图像，等等。神经网络可以是预先训练好的能够识别交通标识的神经网络，例如，经神经网络识别得到的圆形交通标识图像为禁止通行的交通标识图像，等等。通过神经网络可以实现对交通标识图像的识别，车辆可以基于识别的结果生成相应的控制车辆行驶的策略，比如，减速等等，有利于较好地实现车辆的自动化驾驶。

可选的，在将包含交通标识图像的正方形图像输入神经网络之前，还可以对包含交通标识图像的正方形图像进行归一化处理。

也就是说，输入神经网络的正方形图像可以是归一化处理后，比如限定在[0，1]之间的值，神经网络处理的是归一化后的数据，有利于提升识别图像的效率。

可选的，神经网络可以包括一个输入层、两个卷积层、两个采样层、一个自适应采样层、一个全连接层及一个输出层。

本公开实施例中，神经网络可以设计成八层，即一个输入层、两个卷积层、两个采样层、一个自适应采样层、一个全连接层及一个输出层。神经网络的结构可以参见图2所示的卷积神经网络结构图，那么比如可以将卷积层1的输出设置为108个特征图，卷积层2输出设置为200个特征图，每个卷积层采用5×5卷积核，每个采样层采用2×2大小的求最大值的核，自适应采样层根据输入图片大小动态设置核大小，从而可以自适应不同尺度的输入图片，全连接层采用将空间特征图转换为一维向量，输出层采用softmax(一种分类函数)进行回归分类，等等。通过上述的神经网络，可以较好地对检测到的交通标识图像进行识别，有利于更好地实现车辆的自动驾驶。

可选的，自适应采样层可以设置在全连接层的上一层，用于将输入自适应采样层的图像调整为满足全连接层对图像尺寸的要求的图像。

也就是说，在使用神经网络识别交通标识图像时，图像经输入层、卷积层、采样层后，会经自适应采样层的处理，处理之后再到全连接层。由于全连接层向量大小通常是固定的，而输入的图像经过一系列处理后不能与此向量大小一致，因此需要对输入的图像进行拉伸或切割处理。然而拉伸或切割的处理可能会导致图像失真，这将影响图像识别的准确度。本公开实施例加入的自适应采样层可以用来自适应不同尺度的输入图片，生成固定长度的向量，从而不再要求输入的图片具有固定尺度，避免了输入图片的缩放操作，可以提高检测精度。

自适应采样层可以通过滑动窗口对输入的图像进行采样，例如，可以设置自适应采样层的采样因子为n×n大小，输入图片尺度a×a大小，那么在特征图进行采样的滑动窗口大小可以设置为w×w，w＝round(n/a+0.5)，检测步长s＝round(n/a-0.5)，其中round()是四舍五入操作。

通过以上的方式，可以避免对输入的图片进行缩放或切割操作，保持了图片的原始大小，使训练的网络泛化能力增强，提高了识别精度，同时也提高了识别率。

在检测出交通标识并对检测到的交通标识进行识别后，可以将识别的结果发送给用于控制车辆自动驾驶的决策模块，决策模块可以根据交通标识识别的结果对车辆的驾驶进行控制。例如，识别结果表明采集到的图像中的交通标识为限速30公里/小时的标识，那么决策模块可以控制车辆以不超过30公里/小时的速度行驶，等等。可见，本公开实施例能够较为准确地检测并识别交通标识，较为准确的识别结果有利于更好地实现车辆的自动驾驶。

请参见图3，基于同一发明构思，本发明实施例提供一种检测交通标识的装置200，该装置200可以包括：

获取模块201，用于获取彩色图像以及彩色图像包括的像素点的深度信息；

第一确定模块202，用于在彩色图像中，确定颜色与交通标识的颜色相匹配的子图像；

第二确定模块203，用于基于深度信息，确定子图像包含的交通标识图像。

可选的，第二确定模块203用于：

基于深度信息，检测子图像包含的平面子图像，其中，平面子图像为空间中的平面区域所对应的图像；

确定形状与交通标识的形状相匹配的平面子图像为交通标识图像。

可选的，装置200还包括：

识别模块，用于在确定子图像包含的交通标识图像之后，将包含交通标识图像的正方形图像输入神经网络，以通过神经网络识别交通标识图像。

可选的，装置200还包括：

归一化处理模块，用于在将包含交通标识图像的正方形图像输入神经网络之前，对包含交通标识图像的正方形图像进行归一化处理。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以对本发明的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，不应理解为对本发明的限制。本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种检测交通标识的方法，其特征在于，所述方法包括：

获取彩色图像以及所述彩色图像包括的像素点的深度信息；

在所述彩色图像中，确定颜色与交通标识的颜色相匹配的子图像；

基于所述深度信息，确定所述子图像包含的交通标识图像。

2.根据权利要求1所述的方法，其特征在于，基于所述深度信息，确定所述子图像包含的交通标识图像，包括：

基于所述深度信息，检测所述子图像包含的平面子图像，其中，所述平面子图像为空间中的平面区域所对应的图像；

确定形状与交通标识的形状相匹配的平面子图像为交通标识图像。

3.根据权利要求1所述的方法，其特征在于，在确定所述子图像包含的交通标识图像之后，还包括：

将包含所述交通标识图像的正方形图像输入神经网络，以通过所述神经网络识别所述交通标识图像。

4.根据权利要求3所述的方法，其特征在于，在将包含所述交通标识图像的正方形图像输入神经网络之前，还包括：

对包含所述交通标识图像的正方形图像进行归一化处理。

5.根据权利要求3所述的方法，其特征在于，所述神经网络包括一个输入层、两个卷积层、两个采样层、一个自适应采样层、一个全连接层及一个输出层。

6.根据权利要求5所述的方法，其特征在于，所述自适应采样层设置在所述全连接层的上一层，用于将输入所述自适应采样层的图像调整为满足所述全连接层对图像尺寸的要求的图像。

7.一种检测交通标识的装置，其特征在于，所述装置包括：

获取模块，用于获取彩色图像以及所述彩色图像包括的像素点的深度信息；

第一确定模块，用于在所述彩色图像中，确定颜色与交通标识的颜色相匹配的子图像；

第二确定模块，用于基于所述深度信息，确定所述子图像包含的交通标识图像。

8.根据权利要求7所述的装置，其特征在于，所述第二确定模块用于：

基于所述深度信息，检测所述子图像包含的平面子图像，其中，所述平面子图像为空间中的平面区域所对应的图像；

确定形状与交通标识的形状相匹配的平面子图像为交通标识图像。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

识别模块，用于在确定所述子图像包含的交通标识图像之后，将包含所述交通标识图像的正方形图像输入神经网络，以通过所述神经网络识别所述交通标识图像。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

归一化处理模块，用于在将包含所述交通标识图像的正方形图像输入神经网络之前，对包含所述交通标识图像的正方形图像进行归一化处理。