CN105678318B

CN105678318B - 交通标牌的匹配方法及装置

Info

Publication number: CN105678318B
Application number: CN201511021556.XA
Authority: CN
Inventors: 姜雨; 何贝; 蒋昭炎; 宋良
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2015-12-31
Filing date: 2015-12-31
Publication date: 2019-03-08
Anticipated expiration: 2035-12-31
Also published as: CN105678318A

Abstract

本发明公开了一种交通标牌的匹配方法及装置。该方法包括：从道路图像中获取至少一个交通标牌图像区域；从点云数据中获取至少一个交通标牌超素体；将交通标牌超素体中至少一个空间点投影到所述至少一个交通标牌图像区域中，确定与所述交通标牌超素体匹配的交通标牌图像区域。本发明能够由机器从道路图像中获取至少一个交通标牌图像区域，然后从点云数据中获取至少一个交通标牌超素体；最后，将交通标牌超素体中至少一个空间点投影到所述至少一个交通标牌图像区域中，确定与所述交通标牌超素体匹配的交通标牌图像区域。本发明由机器对道路图像中交通标牌区域和交通标牌超素体进行匹配，提高匹配效率。

Description

交通标牌的匹配方法及装置

技术领域

本发明实施例涉及点云数据处理技术，尤其涉及一种交通标牌的匹配方法及装置。

背景技术

三维高精地图被工业界和学术界公认为下一代数字地图的主要发展方向，是实现汽车自动驾驶和辅助驾驶的前提条件，为自动驾驶汽车进行精确定位和正确决策提供主要依据。三维高精地图的一个重要环节为建立道路图像与交通标牌点云数据之间的映射关系，其中，交通标牌点云数据为逆向工程中通过测量仪器得到的交通标牌外观表面的点数据集合。

现有技术在建立道路图像与点云数据之间的映射关系时，首先由工程师人工的从点云数据中查找出形状与交通标牌类似的空间点集合，然后将该空间点集合投影到道路图像中，最后由工程师人工的判断该空间点集合是否与道路图像中的交通标牌区域相匹配，如果匹配则建立道路图像中的交通标牌区域的映射关系。

然而，由于每个路段由许多的单帧点云组合而成，而对于每个单帧点云均需要人工进行图像与点云数据的匹配，因此仅凭借工程师进行图像与点云数据的人工映射，匹配效率低。随着点云数据帧的帧数的增多，人工匹配效率低的缺陷将越发凸显。

发明内容

本发明提供一种交通标牌的匹配方法及装置，以实现通过机器对道路图像中交通标牌区域和点云数据进行匹配，提高匹配效率。

第一方面，本发明实施例提供了一种交通标牌的匹配方法，包括：

从道路图像中获取至少一个交通标牌图像区域；

从点云数据中获取至少一个交通标牌超素体；

将交通标牌超素体中至少一个空间点投影到所述至少一个交通标牌图像区域中，确定与所述交通标牌超素体匹配的交通标牌图像区域。

第二方面，本发明实施例还提供了一种交通标牌的匹配装置，包括：

图像区域获取单元，用于从道路图像中获取至少一个交通标牌图像区域；

超素体获取单元，用于从点云数据中获取至少一个交通标牌超素体；

匹配单元，用于将所述超素体获取单元得到的交通标牌超素体中至少一个空间点投影到所述至少一个交通标牌图像区域中，确定与所述交通标牌超素体匹配的交通标牌图像区域。

本发明能够由机器从道路图像中获取至少一个交通标牌图像区域，然后从点云数据中获取至少一个交通标牌超素体；最后，将交通标牌超素体中至少一个空间点投影到所述至少一个交通标牌图像区域中，确定与所述交通标牌超素体匹配的交通标牌图像区域。现有技术中需要由工程师人工的从点云数据中查找交通标牌对应的素体，并由人工判断该素体是否与道路图像匹配，匹配效率低。本发明能够由机器对道路图像中交通标牌区域和交通标牌超素体进行匹配，提高匹配效率。

附图说明

图1为本发明实施例一中的交通标牌的匹配方法的流程图；

图2是本发明实施例二中的交通标牌的匹配方法的流程图；

图3是本发明实施例三中的交通标牌的匹配方法的流程图；

图4是本发明实施例四中的交通标牌的匹配方法的流程图；

图5是本发明实施例五中的交通标牌的匹配装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的交通标牌的匹配方法的流程图，本实施例可适用于道路点云数据与道路图像进行匹配的情况，该方法可以由用于进行道路点云数据与道路图像进行匹配的终端来执行，该终端可以为服务器、个人电脑、笔记本电脑、平板电脑、汽车中控台、智能手机或智能可穿戴设备等，该方法包括：

S110、从道路图像中获取至少一个交通标牌图像区域。

道路图像可通过拍照设备对道路进行拍照获得。道路图像可以为彩色图像，也可为灰度图像。

通过对道路图像进行图像识别，从道路图像中查找到交通标牌图像区域。识别时，可按照交通标牌的形状特点和颜色特点进行查找。例如将具有蓝色的矩形闭合区域确定为交通标牌图像区域。

S120、从点云数据中获取至少一个交通标牌超素体。

其中，交通标牌超素体包括交通标牌素体和所述交通标牌素体中每个空间点的属性信息。点云数据由N个有向点组成，N为大于等于1的整数。可选的，在S110中进行拍摄的位置点设置点云获取设备，得到道路的点云数据。

素体为多个空间点形成的空间体。如果某素体中每个空间点附带有属性信息，则该素体称为超素体。属性信息如颜色参数、放射率等。交通标牌素体为多个空间点组成的具有交通标牌形状的素体。可使用预先生成的交通标牌超素体样本对点云数据进行扫描，找到与该样本相符的超素体。

S130、将交通标牌超素体中至少一个空间点投影到至少一个交通标牌图像区域中，确定与交通标牌超素体匹配的交通标牌图像区域。

对于任意一个交通标牌超素体，可以将该交通标牌超素体中的全部空间点投影到至少一个交通标牌图像区域中，也可将交通标牌超素体中一个或部分空间点投影到至少一个交通标牌图像区域中。投影的空间点越多，计算量越高，投影越全面。可选的，将交通标牌超素体中预设比例的空间点投影到至少一个交通标牌图像区域中，预设比例为20-80％，优选为50％或60％。如果交通标牌超素体中预设比例的空间点均在交通标牌图像中，则确定交通团中存在交通标牌点云。对每个交通标牌超速点均判断其是否与道路图片中的道路标牌区域匹配，如果匹配则建立交通标牌超素体和交通标牌区域的对应关系。

本实施例能够由机器从道路图像中获取至少一个交通标牌图像区域，然后从点云数据中获取至少一个交通标牌超素体；最后，将交通标牌超素体中至少一个空间点投影到所述至少一个交通标牌图像区域中，确定与所述交通标牌超素体匹配的交通标牌图像区域。现有技术中需要由工程师人工的从点云数据中查找交通标牌对应的素体，并由人工判断该素体是否与道路图像匹配，匹配效率低。本实施例由机器对道路图像中交通标牌区域和交通标牌超素体进行匹配，提高匹配效率。

实施例二

图2为本发明实施例二提供的交通标牌的匹配方法的流程图，其中，S110、从道路图像中获取至少一个交通标牌图像区域，可是通过下述方式实施：

S110＇、根据最稳定极值区域(Maximally Stable Extremal Regions，MSER)特征检测器从道路图像中获取至少一个交通标牌图像区域。

MSER特征检测器用于查找当使用不同的灰度阈值对图像进行二值化时，图像中最稳定的区域。MSER提取过程为：首先，使用一系列灰度阈值对图像进行二值化处理；然后，对于每个阈值得到的二值图像，得到相应的黑色区域与白色区域；最后，提取在比较宽的灰度阈值范围(如10-250)内保持形状稳定的区域，提取的区域为交通标牌图像区域。

在实际使用中，交通标牌应当适应于各种照明条件，例如白天、黑夜，又例如晴天、阴天、雨雪、扬沙、雾霾等情况。由于在使用MSER特征检测器进行区域检测时，会使用不同的灰度值对道路图像进行二值化，并对二值化后的图像区域进行比较，且一种灰度值相当于一种照明亮度，因此可得到在不同照明亮度下均能够被识别的交通标牌对一个的稳定区域。通过MSER提取的交通标牌图像区域对于图像灰度的仿射变化具有不变性，提高提取精确度。

可选的，在S110、从道路图像中获取至少一个交通标牌图像区域之后，还包括：

S140、获取交通标牌图像区域的特征向量。

每个交通标牌图像区域对应一个直方图，直方图用于表示交通标牌图像区域中的灰度值分布情况。交通标牌图像区域的协方差矩阵的生成过程如下：

首先，将交通标牌图像区域的直方图表达为一个长度为D的向量x_i。

根据获取N个交通标牌图像区域的直方图，得到N个向量x₁～x_n。

其次，计算N个直方图向量x₁～x_n的平均值平均值的计算公式如下：

再次，根据平均值得到每个向量x_i对应的增量向量x’_i，增量向量x’_i的计算公式如下：

N个D维的x’_i组成增量矩阵S^m，增量矩阵S^m。

最后，将增量矩阵S^m乘以增量矩阵S^m的转置矩阵(S^m)^T后可以得到一个D×D的协方差矩阵C^m。

特征向量用于描述协方差矩阵中的数据分布特征，进而描述交通标牌图像区域的颜色分部特征。通过计算协方差矩阵的特征值和特征向量，可得到交通标牌图像区域的特征向量。可将数值最大的特征值对应的特征向量确定为交通标牌图像区域的特征向量。

进一步的，S140、获取交通标牌图像区域的特征向量，还可通过下述方式实施：

S141、提取交通标牌图像区域对应的下述至少两个颜色特征：

交通标牌图像区域的红绿蓝RGB多通道特征、经色度饱和度纯度HSV模型转换得到的色度饱和度纯度HSV图像、经亮度色度YCrCb(又称YUV)模型转换得到的亮度色度YCrCb图像。

交通标牌图像区域通常为RGB格式的彩色图像。RGB多通道特征为RGB图像在红色、绿色和蓝色三个颜色通道上的颜色分量。

将RGB格式的图像转换为HSV格式的图像时，可使用下述公式对每个像素点的颜色分量进行转换：

首先求取像素点红色颜色分量R、绿色颜色分量G和蓝色颜色分量B中的最大值和最小值。如果红色颜色分量为最大值，则根据下述公式计算H分量，H＝(G-B)/(max-min)。如果绿色颜色分量为最大值，则根据下述公式计算H分量，H＝2+(B-R)/(max-min)。如果蓝色颜色分量为最大值，则根据下述公式计算H分量，H＝4+(R-G)/(max-min)。在确定H分量后，对H分量进行如下换算：H＝H*60，如果H分量小于0，则H＝H+360。通过下述公式计算S分量，S＝(max-min)/max，通过下述公式计算V分量，V＝max(R,G,B)。根据每个像素点对应的H分量、S分量和V分量，可得到HSV格式的图像。

将RGB格式的图像转换为YCrCb(又称YUV)格式的图像时，可使用下述公式对每个像素点的颜色分量进行转换：

根据下述公式分别计算YUV图像中的Y分量、U分量以及V分量：

Y＝0.299R+0.587G+0.114B；

U＝-0.147R-0.289G+0.436B；

V＝0.615R-0.515G-0.100B。

根据每个像素点对应的Y分量、U分量和V分量，可得到YUV格式的图像。

S142、将提取的至少两个颜色特征进行融合，得到融合后的交通标牌图像区域的特征向量。

融合时，将每个像素点对应的各个分量进行累加，再求取平均值，得到融合后的像素值。或者，融合时，根据每个像素点对应的不同权重的各个分两只进行累加，再求取平均值，得到融合后的像素值。

获取融合后的交通标牌图像区域的向量时，可参照S140中提供的计算方法。

经过融合后，得到颜色均衡的色彩值，基于均衡的色彩值获取的特征向量能够降低噪点对特征向量的影响。

S150、将至少一个交通标牌图像区域的特征向量代入到预设神经网络模型中进行筛选，得到符合交通标牌的标准特征向量的交通标牌图像区域。

可选的，预设神经网络还可以为前馈神经网络。示例性地，预设神经网络模型为卷积神经网络(Convolutional Neural Network，CNN)。

在执行S150之前，根据已知的多个(如1000个)交通标牌的特征向量进行训练，得到用于识别特征标牌的神经网络。然后，在执行S150时，将提取出的交通标牌图像区域的特征向量代入训练好的神经网络中，经神经网络的识别，输出一个0-1的数值。该数值越接近1，则提取的交通标牌图像区域的特征向量越接近真实的交通标牌的特征向量。

通过预设神经网络能够将人工识别与机器识别相结合。首先，根据人工输入的交通标牌的特征向量训练得到神经网络，然后将机器识别出的交通标牌的特征向量代入到训练得到的神经网络中进行识别，进一步提高交通标牌图像区域提取的准确性。

进一步的，在S110、从道路图像中获取至少一个交通标牌图像区域之后，该方法还包括：

S160、根据聚类算法将具有重叠区域的多个交通标牌图像区域进行合并。

聚类算法是一种用于聚类分析，聚类分析指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程。聚类算法可使用现有技术中的相关算法以及聚类分析模型。

通过聚类算法可从S110获取的至少一个交通标牌图像区域中，找到含有相同或相似图像的交通标牌图像区域。将含有相同或相似图像的交通标牌图像区域进行合并。合并后，能够减少交通标牌图像区域的数量，进而降低计算复杂度和计算量。

S170、根据交通标牌的矩特征对获取的至少一个交通标牌图像区域进行筛选。

首先根据已知的交通标牌图像确定交通标牌的矩特征，该矩特征用于表示交通标牌的颜色和形状特征。例如，图像具有白色边框。又例如，图像边框为圆形、三角形或矩形等。

通过矩特征对获取的至少一个交通标牌图像区域进行筛选，能够滤除不具有交通标牌矩特征的图像区域，进一步提高交通标牌图像区域的获取精确度。

进一步的，在S140、获取交通标牌图像区域的特征向量之前，还包括：

S180、对交通标牌图像区域进行尺度归一化。

尺度归一化用于将具有不同面积区域的图像区域的尺寸进行归一，得到具有相同外围尺寸的图像区域。

相应的，S140、获取交通标牌图像区域的特征向量，可实施为：

S140＇、获取尺度归一化的交通标牌图像区域的特征向量。

由于交通标牌图像区域进行了归一化，因此各交通标牌图像区域占用的像素相同，进而得到的特征向量的维度相同，提高特征向量的计算速度。同时，将维度相同的特征向量代入到预设神经网络模型中，能够简化识别，提高识别速度。

需要说明的是，本实施例提供的各附加方案可根据实际使用需求进行添加并调整相应的执行顺序，具体的执行顺序在此不做限定。图2中仅给出了一种实现流程，除图2所示的实现方式之外，S160和S170还可在S180之前执行，S160和170执行不分先后。S140至S180还可在S110之后执行。

实施例三

图3为本发明实施例三提供的交通标牌的匹配方法的流程图，S120、从点云数据中获取至少一个交通标牌超素体，可通过下述方式进行实施：

S121、根据反射率和平面特征提取交通标牌对应的空间点集合。

空间点除了具有位置信息还具有属性信息。属性信息包括：空间点的方向特征、颜色特征、反射率等。平面特征指能够形成平面的特征。由于交通标牌本身的形状特性，其形状为一个片状物。因此需从点云数据中查找形成平面的空间点集合。此外，交通标牌实物具有一定的放射特性，使得其在黑夜里能够为司机或行人提供必要的指示，因此可在空间点中查找具有一定反射率的空间点。如果一个空间点集合即能够形成一个平面，且空间点具有一定的反射率，则该空间点集合可初步判定为交通标牌对应的空间点集合。

S122、根据空间点集合构造交通标牌超素体集合。

S123、对交通标牌超素体集合进行分割，得到至少一个交通标牌超素体。

进行分割时，可根据聚类算法或图像分割算法将可能形成一整体的空间点集合分割出来，得到交通标牌超素体。其中，图像分割算法可以为Felzenszwalb和Huttenloch提出的图像分割算法(又称FH图像分割算法)。

根据反射率和平面特征能够得到符合交通标牌实际使用特性的空间点集合，提高交通标牌超素体的提起准确度。

进一步的，在S121、根据点云集合构造交通标牌超素体集合之后，还包括：

S124、对交通标牌超素体集合中的空间点进行高斯滤波。

在进行分割之前，对每个空间点进行高斯滤波。高斯滤波是一种线性平滑滤波，高斯滤波中每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。示例性地，用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

通过对交通标牌超素体集合进行高斯滤波，能够去除交通标牌超素体集合中的噪点，进一步提高交通标牌超素体的提起准确度。

进一步的，在S123、对交通标牌超素体集合进行分割，得到至少一个交通标牌超素体之后，还包括：

S125、使用预设转动惯量或预设旋转图像对至少一个交通标牌超素体进行筛选。

择一使用预设转动惯量或预设旋转图像对所述至少一个交通标牌超素体进行筛选。或者，使用预设转动惯量和预设旋转图像对所述至少一个交通标牌超素体进行筛选。

可根据交通标牌的实际尺寸确定预设转动惯量，预设转动惯量可以为一个阈值，即对应尺寸最大的交通标牌的转动惯量。根据交通标牌的实际形状确定预设旋转图像，对不同的交通标牌形成相应的预设旋转图像。

根据交通标牌的实物确定的预设转动惯量和预设旋转图像，能够进一步提高交通标牌超素体提取的准确度。

实施例四

图4为本发明实施例四提供的交通标牌的匹配方法的流程图，S130、将交通标牌超素体中至少一个空间点投影到至少一个交通标牌图像区域中，确定与交通标牌超素体匹配的交通标牌图像区域，包括：

S131、通过投影矩阵将交通标牌超素体投影到至少一个交通标牌图像区域中。

由于道路图像和点云数据是从同一个位置点获取到的，因此通过投影矩阵可将点云数据中的空间点映射到道路图像中。

S132、查找至少一个包含有交通标牌超素体的交通标牌图像区域。

当点云数据投影到交通图像后，判断S110得到的交通标牌图像区域中是否含有S120得到的交通标牌超素体。如果含有一个或多个交通标牌超素体，确定匹配，并建立交通标牌超素体与交通标牌图像区域的映射关系。如果交通标牌超素体在交通标牌图像区域的最小包围盒内，则确定交通标牌超素体与交通标牌图像区域匹配。

通过投影矩阵能够将交通标牌超素体投影到至少一个交通标牌图像区域中，进而查找匹配关系，提高匹配的准确度。

进一步的，S131、通过投影矩阵将交通标牌超素体投影到至少一个交通标牌图像区域中，可实施为：

S131＇、从交通标牌超素体中抽稀至少一个空间点，将抽稀的至少一个空间点投影到至少一个交通标牌图像区域中。

抽稀时可采用随机抽稀、平均抽稀或根据空间点的权重进行抽稀。

将抽稀的至少一个空间点投影到至少一个交通标牌图像区域中，能够减少投影的空间点数量，减少计算量，提高计算效率。

进一步的，S132、查找至少一个包含有交通标牌超素体的交通标牌图像区域，可实施为：

S132＇、如果多个交通标牌图像区域的外包盒中存在同一个交通标牌超素体，则将包含的空间点数量较多的交通标牌图像区域确定为目标图像区域，目标图像区域与交通标牌超素体匹配。

为了保证超素体与图像区域的一一对应关系，当有多个交通标牌图像区域的外包盒中存在同一个交通标牌超素体时，将包含的空间点数量较多的交通标牌图像区域确定为目标图像区域，提高匹配的准确性。

下面提供一个本发明的优选实施方式：

第一步，首先利用MSER特征检测器对全图进行扫描，留下所有的可能为道路交通标牌的区域；其次，通过聚类算法将类似区域进行合并；最后，根据交通标牌的矩特征对交通标牌图像区域进行筛选，进一步减少错误的区域数目。

第二步，首先，将MSER扫描后的所有备选道路交通标牌的区域进行尺度归一化；其次，提取RGB、HSV、YCrCb等多通道特征并进行融合；再次送入卷积神经网络进行训练和识别；最后，卷积神经网络以0～1的方式输出识别结果，其中越接近1，表示越可能为道路交通标牌区域；反之越可能为背景区域。

第三步，首先，使用反射率与平面特征在三维点云中提取道路交通标牌,使用反射率与平面特征构建超素体；其次，对构建的超素体进行高斯滤波；再次，用FH图像分割算法分割超素体，得到候选的道路交通标牌区域；最后，使用转动惯量、旋转图像等特征筛选出最终的道路交通标牌。

第四步，对提取的交通标牌超素体进行平均抽稀，通过标定的摄像机投影矩阵，把其投影到图像上，并判断投影得到的二维(2D)点是否在图像识别结果的外包盒内，以此类推，将交通标牌图像区域与交通标牌超素体进行匹配匹配。如果提取得到点云与多个图像识别的结果相匹配，只取包含投影点多的图像识别结果。

实施例五

图5为本发明实施例五提供的一种交通标牌的匹配装置1的结构示意图，所述装置1位于终端中，用于实现实施例一至实施例四所示的方法，所述装置1包括：

图像区域获取单元11，用于从道路图像中获取至少一个交通标牌图像区域；

超素体获取单元12，用于从点云数据中获取至少一个交通标牌超素体；

匹配单元13，用于将所述超素体获取单元12得到的交通标牌超素体中至少一个空间点投影到所述至少一个交通标牌图像区域中，确定与所述交通标牌超素体匹配的交通标牌图像区域。

进一步的，所述图像区域获取单元11具体用于，根据最稳定极值区域特征检测器从所述道路图像中获取至少一个交通标牌图像区域。

进一步的，所述装置1还包括特征向量提取单元和神经网络筛选单元；

所述特征向量提取单元用于，获取交通标牌图像区域的特征向量；

所述神经网络筛选单元用于，将所述特征向量提取单元得到的至少一个交通标牌图像区域的特征向量代入到预设神经网络模型中进行筛选，得到符合交通标牌的标准特征向量的交通标牌图像区域。

进一步的，所述装置1还包括重叠区域合并单元；

所述重叠区域合并单元用于，根据聚类算法将具有重叠区域的多个交通标牌图像区域进行合并。

进一步的，所述装置1还包括图像区域筛选单元；

所述图像区域筛选单元用于，根据交通标牌的矩特征对获取的少一个交通标牌图像区域进行筛选。

进一步的，所述特征向量提取单元具体用于：

提取交通标牌图像区域对应的下述至少两个颜色特征：

交通标牌图像区域的红绿蓝RGB多通道特征、经色度饱和度纯度HSV模型转换得到的色度饱和度纯度HSV图像、经亮度色度YCrCb模型转换得到的亮度色度YCrCb图像；

将提取的所述至少两个颜色特征进行融合，得到融合后的所述交通标牌图像区域的特征向量。

进一步的，所述装置1还包括归一化单元，所述归一化单元用于，对交通标牌图像区域进行尺度归一化；

相应的，所述特征向量提取单元具体用于，获取尺度归一化的交通标牌图像区域的特征向量。

进一步的，所述超素体获取单元12具体用于：

根据反射率和平面特征提取交通标牌对应的空间点集合；

根据所述空间点集合构造交通标牌超素体集合；

对所述交通标牌超素体集合进行分割，得到至少一个交通标牌超素体。

进一步的，所述超素体获取单元12还用于，对所述交通标牌超素体集合中的空间点进行高斯滤波。

进一步的，所述超素体获取单元12还用于，使用预设转动惯量或预设旋转图像对所述至少一个交通标牌超素体进行筛选。

进一步的，所述匹配单元13具体用于：

通过投影矩阵将交通标牌超素体投影到至少一个交通标牌图像区域中；

查找至少一个包含有所述交通标牌超素体的交通标牌图像区域。

进一步的，所述匹配单元13还用于，从交通标牌超素体中抽稀至少一个空间点，将抽稀的至少一个空间点投影到至少一个交通标牌图像区域中。

进一步的，所述匹配单元13还用于，如果多个交通标牌图像区域的外包盒中存在同一个交通标牌超素体，则将包含的空间点数量较多的交通标牌图像区域确定为目标图像区域，所述目标图像区域与所述交通标牌超素体匹配。

上述装置可执行本发明实施例一至实施例四所提供的方法，具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例一和实施例四所提供的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种交通标牌的匹配方法，其特征在于，包括：

从道路图像中获取至少一个交通标牌图像区域；

从道路点云数据中获取至少一个交通标牌超素体；

将交通标牌超素体中至少一个空间点投影到所述至少一个交通标牌图像区域中，将包括所述交通标牌超素体中的空间点的交通标牌图像区域确定为与所述交通标牌超素体匹配的交通标牌图像区域；

其中，所述交通标牌超素体包括交通标牌素体和所述交通标牌素体中每个空间点的属性信息；交通标牌素体为多个空间点组成的具有交通标牌形状的素体。

2.根据权利要求1所述的交通标牌的匹配方法，其特征在于，所述从道路图像中获取至少一个交通标牌图像区域，包括：

根据最稳定极值区域特征检测器从所述道路图像中获取至少一个交通标牌图像区域。

3.根据权利要求1所述的交通标牌的匹配方法，其特征在于，在从道路图像中获取至少一个交通标牌图像区域之后，还包括：

获取交通标牌图像区域的特征向量；

将至少一个交通标牌图像区域的特征向量代入到预设神经网络模型中进行筛选，得到符合交通标牌的标准特征向量的交通标牌图像区域。

4.根据权利要求1至3中任一项所述的交通标牌的匹配方法，其特征在于，在从道路图像中获取至少一个交通标牌图像区域之后，还包括：

根据聚类算法将具有重叠区域的多个交通标牌图像区域进行合并。

5.根据权利要求1至3中任一项所述的交通标牌的匹配方法，其特征在于，在从道路图像中获取至少一个交通标牌图像区域之后，还包括：

根据交通标牌的矩特征对获取的少一个交通标牌图像区域进行筛选。

6.根据权利要求3所述的交通标牌的匹配方法，其特征在于，所述获取交通标牌图像区域的特征向量，包括：

提取交通标牌图像区域对应的下述至少两个颜色特征：

7.根据权利要求3所述的交通标牌的匹配方法，其特征在于，在获取交通标牌图像区域的特征向量之前，还包括：

对交通标牌图像区域进行尺度归一化；

相应的，所述获取交通标牌图像区域的特征向量，包括：

获取尺度归一化的交通标牌图像区域的特征向量。

8.根据权利要求1所述的交通标牌的匹配方法，其特征在于，所述从点云数据中获取至少一个交通标牌超素体，包括：

根据反射率和平面特征提取交通标牌对应的空间点集合；

根据所述空间点集合构造交通标牌超素体集合；

9.根据权利要求8所述的交通标牌的匹配方法，其特征在于，在根据点云集合构造交通标牌超素体集合之后，还包括：

对所述交通标牌超素体集合中的空间点进行高斯滤波。

10.根据权利要求8所述的交通标牌的匹配方法，其特征在于，在对所述交通标牌超素体集合进行分割，得到至少一个交通标牌超素体之后，还包括：

使用预设转动惯量或预设旋转图像对所述至少一个交通标牌超素体进行筛选。

11.根据权利要求1所述的交通标牌的匹配方法，其特征在于，所述将交通标牌超素体中至少一个空间点投影到所述至少一个交通标牌图像区域中，确定与所述交通标牌超素体匹配的交通标牌图像区域，包括：

通过投影矩阵将交通标牌超素体投影到所述至少一个交通标牌图像区域中；

12.根据权利要求11所述的交通标牌的匹配方法，其特征在于，所述通过投影矩阵将交通标牌超素体投影到所述至少一个交通标牌图像区域中，包括：

从交通标牌超素体中抽稀至少一个空间点，将抽稀的至少一个空间点投影到所述至少一个交通标牌图像区域中。

13.根据权利要求11所述的交通标牌的匹配方法，其特征在于，所述查找至少一个包含有所述交通标牌超素体的交通标牌图像区域，包括：

如果多个交通标牌图像区域的外包盒中存在同一个交通标牌超素体，则将包含的空间点数量较多的交通标牌图像区域确定为目标图像区域，所述目标图像区域与所述交通标牌超素体匹配。

14.一种交通标牌的匹配装置，其特征在于，包括：

超素体获取单元，用于从道路点云数据中获取至少一个交通标牌超素体；

匹配单元，用于将所述超素体获取单元得到的交通标牌超素体中至少一个空间点投影到所述至少一个交通标牌图像区域中，将包括所述交通标牌超素体中的空间点的交通标牌图像区域确定为与所述交通标牌超素体匹配的交通标牌图像区域；

15.根据权利要求14所述的交通标牌的匹配装置，其特征在于，所述图像区域获取单元具体用于，根据最稳定极值区域特征检测器从所述道路图像中获取至少一个交通标牌图像区域。

16.根据权利要求14所述的交通标牌的匹配装置，其特征在于，所述装置还包括特征向量提取单元和神经网络筛选单元；

17.根据权利要求14所述的交通标牌的匹配装置，其特征在于，所述超素体获取单元具体用于：

根据反射率和平面特征提取交通标牌对应的空间点集合；

根据所述空间点集合构造交通标牌超素体集合；

18.根据权利要求14所述的交通标牌的匹配装置，其特征在于，所述匹配单元具体用于：

19.根据权利要求18所述的交通标牌的匹配装置，其特征在于，所述匹配单元还用于，从交通标牌超素体中抽稀至少一个空间点，将抽稀的至少一个空间点投影到所述至少一个交通标牌图像区域中。

20.根据权利要求18所述的交通标牌的匹配装置，其特征在于，所述匹配单元还用于，如果多个交通标牌图像区域的外包盒中存在同一个交通标牌超素体，则将包含的空间点数量较多的交通标牌图像区域确定为目标图像区域，所述目标图像区域与所述交通标牌超素体匹配。