CN108875454A - 交通标志识别方法、装置和车辆 - Google Patents

交通标志识别方法、装置和车辆 Download PDF

Info

Publication number
CN108875454A
CN108875454A CN201710330889.3A CN201710330889A CN108875454A CN 108875454 A CN108875454 A CN 108875454A CN 201710330889 A CN201710330889 A CN 201710330889A CN 108875454 A CN108875454 A CN 108875454A
Authority
CN
China
Prior art keywords
traffic sign
region
recognized
image
sift feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710330889.3A
Other languages
English (en)
Inventor
丁赞
徐波
杨青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Co Ltd
Original Assignee
BYD Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BYD Co Ltd filed Critical BYD Co Ltd
Priority to CN201710330889.3A priority Critical patent/CN108875454A/zh
Publication of CN108875454A publication Critical patent/CN108875454A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种交通标志识别方法、装置和车辆，其中，所述方法包括以下步骤：通过采集车辆前方的图像以获得待识别图像；根据待识别图像的颜色特征和形状特征定位待识别图像中的交通标志区域；获取交通标志区域的SIFT特征，并根据交通标志区域的SIFT特征对交通标志区域中的交通标志进行识别。根据本发明的方法，能够大大提高交通标志识别的准确性和实时性。

Description

交通标志识别方法、装置和车辆
技术领域
本发明涉及图像识别技术领域，特别涉及一种交通标志识别方法、一种计算机可读存储介质、一种交通标志识别装置和一种车辆。
背景技术
随着交通安全问题的日益显现，对智能辅助驾驶系统与无人驾驶汽车的研究受到越来越多的关注。对道路交通环境进行理解、获取实时准确的道路交通环境信息是智能驾驶辅助研究中面临的主要困难。在交通环境中，交通标志提供重要的道路交通信息，是实施交通管理、为行人和驾驶员提供交通行为规范以保证道路交通畅通与行车安全的重要设施。交通标志的自动检测与识别是智能辅助驾驶系统与无人驾驶汽车进行交通环境认知不可或缺的组成部分，具有切实的研究意义和使用需求。
目前，可通过模板匹配技术对交通标志进行识别，具体通过将采集的图像和所有模板图像逐一匹配，将相似度最高的模板作为识别结果。模板匹配技术的应用较为广泛，但是存在计算量大以及对部分遮挡及尺度变换等因素过于敏感等问题，因此目前对于交通标志识别的准确性和实时性都比较低。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种交通标志识别方法，能够大大提高交通标志识别的准确性和实时性。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种交通标志识别装置。
本发明的第四个目的在于提出一种车辆。
为达到上述目的，本发明第一方面实施例提出了一种交通标志识别方法，该方法包括以下步骤：通过采集车辆前方的图像以获得待识别图像；根据所述待识别图像的颜色特征和形状特征定位所述待识别图像中的交通标志区域；获取所述交通标志区域的SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)特征，并根据所述交通标志区域的SIFT特征对所述交通标志区域中的交通标志进行识别。
根据本发明实施例的交通标志识别方法，在获得待识别图像后，可根据待识别图像的颜色特征和形状特征定位待识别图像中的交通标志区域，并根据交通标志区域的SIFT特征对交通标志区域中的交通标志进行识别，由此，通过结合颜色特征和形状特征的交通标志区域定位，能够有效减小光照和遮挡带来的影响，基于SIFT特征进行最终识别，能够有效减小图像旋转、尺度变化及视角变化带来的影响，并且运算量较小，从而大大提高了交通标志识别的准确性和实时性。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，当所述一个或者多个程序被处理器执行时，使得所述处理器执行本发明第一方面实施例提出的交通标志识别方法。
根据本发明实施例的计算机可读存储介质，通过执行与上述交通标志识别方法相对应的程序以识别交通标志，能够提高交通标志识别的准确性和实时性。
为达到上述目的，本发明第三方面实施例提出了一种交通标志识别装置，该装置包括：采集模块，所述采集模块通过采集车辆前方的图像以获得待识别图像；定位模块，所述定位模块用于根据所述待识别图像的颜色特征和形状特征定位所述待识别图像中的交通标志区域；识别模块，所述识别模块用于获取所述交通标志区域的SIFT特征，并根据所述交通标志区域的SIFT特征对所述交通标志区域中的交通标志进行识别。
根据本发明实施例的交通标志识别装置，在通过采集模块获得待识别图像后，定位模块可根据待识别图像的颜色特征和形状特征定位待识别图像中的交通标志区域，识别模块可根据交通标志区域的SIFT特征对交通标志区域中的交通标志进行识别，由此，通过结合颜色特征和形状特征的交通标志区域定位，能够有效减小光照和遮挡带来的影响，基于SIFT特征进行最终识别，能够有效减小图像旋转、尺度变化及视角变化带来的影响，并且运算量较小，从而大大提高了交通标志识别的准确性和实时性。
为达到上述目的，本发明第四方面实施例提出了一种车辆，其包括本发明第三方面实施例提出的交通标志识别装置。
根据本发明实施例的车辆，对于交通标志识别的准确性和实时性较高。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过对本发明的实践了解到。
附图说明
图1为根据本发明实施例的交通标志识别方法的流程图；
图2为根据本发明一个实施例的获取交通标志区域的SIFT特征的方法的流程图；
图3为根据本发明一个实施例的特征点的主方向分配示意图；
图4为根据本发明一个实施例的对交通标志区域中的交通标志进行识别的方法的流程图；
图5为根据本发明实施例的交通标志识别装置的方框示意图；
图6为根据本发明一个实施例的交通标志识别装置的方框示意；
图7为根据本发明一个实施例的识别模块的方框示意；
图8为根据本发明另一个实施例的识别模块的方框示意；
图9为根据本发明实施例的车辆的方框示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面结合附图来描述本发明实施例的交通标志识别方法、装置和车辆。
图1为根据本发明实施例的交通标志识别方法的流程图。
如图1所示，本发明实施例的交通标志识别方法，包括以下步骤：
S1，通过采集车辆前方的图像以获得待识别图像。
具体地，可通过车辆的前视摄像头拍摄包含车辆前方道路信息的图像，然后可将前视摄像头获取的图像信号通过视频输入接口输入DSP(Digital Signal Processing，数字信号处理)芯片，并进行存储，以作为待识别图像。
S2，根据待识别图像的颜色特征和形状特征定位待识别图像中的交通标志区域。
在本发明的实施例中，可利用并行策略对交通标志区域进行定位。具体地，可将基于HSV(色调、饱和度、明度)颜色空间阈值化的图像分割和基于轮廓几何特征分析的交通标志形状检测过程并行进行，将两者分别从待识别图像中分割出的候选目标区域以“或”的形式取并集，根据取并集后的结果定位交通标志区域。
上述基于并行策略的定位综合利用了颜色和形状特征，通过两种特征之间的相互支持定位交通标志区域。由此，当光照、天气变化等因素影响基于颜色特征的图像分割，即基于HSV颜色空间阈值化的图像分割的效果时，仍可通过基于形状特征分析，即基于轮廓几何特征分析的方式取得正确的定位结果；而在交通标志区域被部分遮挡的情况下，当基于形状特征分析的方式失效时，仍可通过基于颜色特征的图像分割取得正确的定位结果。因此，上述基于并行策略的定位在光照变化和部分遮挡情况下具有更好的鲁棒性。
在本发明的一个实施例中，为了抑制虚检，还可利用区域面积、长宽以及位置等先验信息对取并集后的结果进行进一步的验证，将一些噪声区域滤除，并将保留下来的区域作为最终的定位结果。
在本发明的一个实施例中，由于车辆前方道路环境一般较为复杂，在定位待识别图像中的交通标志区域之前，还可对待识别图像进行中值滤波和直方图均衡化处理，以增强交通标志的对比度并降低待识别图像的噪声。在对待识别图像进行直方图均衡化处理的过程中，可先分别对原图像的RGB(红、绿、蓝)三个颜色平面进行直方图均衡化，然后再将增强处理后的三个颜色平面组合成三通道的直方图均衡化处理结果图像。
S3，获取交通标志区域的SIFT特征，并根据交通标志区域的SIFT特征对交通标志区域中的交通标志进行识别。
在本发明的一个实施例中，如图2所示，可通过以下步骤获取交通标志区域的SIFT特征：
S201，运用不同尺度大小的盒形滤波器与交通标志区域的积分图像的卷积建立图像尺度金字塔。
具体地，可先构建高斯差分尺度空间：
D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)
其中，(x，y)为空间坐标，I(x，y)表示像素位置，L表示图像的尺度空间，σ为像素I(x，y)所在尺度，其可决定图像的平滑程度，k＝21/S，S为尺度金字塔的层数，*表示卷积，G(x，y，σ)为尺度可变的高斯函数，其中，
可根据图片的大小确定每个图像尺度金字塔中尺度空间的层数，其中，第底层可为待识别图像的交通标志区域，向上每一层是对其下一层图像进行高斯卷积得到的。
S202，基于Hessian矩阵(一种多元函数的二阶偏导数构成的方阵)行列式的近似表达，在图像尺度金字塔的每一层尺度空间进行局部极值搜索以检测感兴趣区域特征点。
具体地，如果某个像素Hessian矩阵行列式的近似值比同一层尺度空间中的8个邻域像素点以及上下相邻尺度空间中对应的9*2个像素点的Hessian矩阵行列式近似值都大，则将此像素点作为候选特征点。为了获得更加稳定和精确的特征点，还可滤除候选特征点中对比度较小的特征点及边缘像素点，并且对保留下来的特征点在空域和尺度域进行插值以精确定位到亚像素精度，最终保留下来的候选特征点即为感兴趣区域特征点。
S203，通过对特征点的邻域像素的Haar小波响应进行统计分析以为特征点分配主方向。
在提取到感兴趣特征点之后，为了使提取的SIFT特征具有旋转不变性，在特征描述子生成之前可为每一个特征点分配主方向。
具体地，可以特征点为圆心，计算半径为6σ的圆形邻域里所有像素点沿x方向、y方向上的Haar小波响应，其中，σ为特征点所在尺度，Haar小波模板尺寸为4σ。
在计算出所有邻域像素点的Haar小波响应之后，用方差为2.5σ的高斯函数对响应值加权，离特征点距离越近的邻域像素被赋予更大权重，反之则越小。然后可用π/3大小的扇形区域遍历特征点的圆形邻域，将扇形区域内所有像素点沿x方向和y方向响应构成的和矢量中模值最大的和矢量方向作为该特征点的主方向。如图3所示，从左到右标示扇形区域遍历到不同位置时x方向和y方向响应构成的和矢量，该和矢量用箭头表示，其中，模值最大的和矢量的方向为特征点主方向。
S204，生成与每个特征点相对应的特征描述子，并对特征描述子进行归一化处理以得到SIFT特征向量。
具体地，可在特征点主方向上选取一个以特征点为中心、边长为20σ的正方形邻域，并且将该邻域划分为4*4个子区域。在每个子区域内均匀采样5*5个像素点，分别计算相对于主方向的水平方向和垂直方向的Haar小波响应并进行高斯加权。然后将子区域内所有采样点的Haar小波响应以及Haar小波响应的绝对值相加并组合成一个四维矢量，对于每一个特征点，都可据此生成一个4*(4*4)＝64维的特征描述子。最后，对向量进行归一化以消除光照的影响，得到最终的SIFT特征向量。
在本发明的一个实施例中，在获取到交通标志区域的SIFT特征后，如图4所示，可通过以下步骤对交通标志区域中的交通标志进行识别：
S401，通过从多帧待识别图像中的交通标志区域获取的SIFT特征向量进行匹配以获得待识别特征向量集。
在从两帧待识别图像中的交通标志区域提取SIFT特征构成各自的特征向量集之后，可根据特征向量间的相似度，确定某个特征向量在另一个特征集中与之匹配的特征向量，即确定特征集之间的特征配对关系，这个过程称为SIFT特征匹配。
在本发明的一个实施例中，可采用最近邻比次近邻方法进行SIFT特征匹配。举例而言，假设两个SIFT特征向量集B1和B2，对于B1中的第k个特征向量B1k，根据特征向量相似性度量准则在B2中与它距离最近和次近的两个特征向量分别为B2i和B2j，且对应距离分别为Di和Dj，若Di/Dj<T(T可取0.6)，则认为B1k和B2i匹配，二者构成一个特征匹配对。
在本发明的一个实施例中，可基于从多帧待识别图像中的交通标志区域提取的SIFT特征之间的匹配，以一种不断更新的方式建立待识别特征向量集。
具体地，对于存在交通标志区域，即通过上述步骤S2定位到交通标志区域的待识别图像，可提取交通标志区域的SIFT特征向量，建立特征向量集，并将新输入的待识别图像中提取的SIFT特征向量与前一帧待识别图像的特征向量集中的所有特征向量进行匹配，根据匹配对的数目更新特征向量集，最终获得待识别特征向量集。
下面结合具体参数来描述待识别特征向量集的建立过程。
可令M为建立特征向量集所需的存在交通标志区域的待识别图像帧数，特征向量集可表示为V＝{v1，v2，v3，…}，可用Ft＝{ft1，ft2，ft3，…}表示从第t帧存在交通标志区域的待识别图像中提取的特征向量集，其中vi和fti分别表示V和Ft中第i个特征向量，i＝1，2，…。此外，可通过Ci表示vi在M帧待识别图像中的出现次数。首先，可用F1＝{F11，F12，F13，…}初始化V，vi在M帧图像中的出现次数Ci初始化为1。然后，将第k帧提取的SIFT特征向量集Fk＝{Fk1，Fk2，Fk3，…}中的第j个特征向量fkj和V中现有的所有特征向量进行特征匹配，其中，k＝2，3，…，M；j＝1，2，3，…。若fkj和V中第i个特征向量vi匹配成功，则Ci递增1；若V中没有任何一个特征向量与fkj匹配成功，则将fkj添加到V中，Ci的值仍为1。由此，得到的V即为待识别特征向量集。
S402，获取多个交通标志的标准交通标志图像的SIFT特征向量，以得到模板特征向量集。
标准交通标志图像可为符合当前国家标准的交通标志的图像，通过与上述获取待识别图像中交通标志区域的SIFT特征相同的方式获取标准交通标志图像的SIFT特征向量，得到模板特征向量集O＝{O1，O2，…，OL}，其中，Oi表示第i个标准交通标志图像的SIFT特征向量，L表示标准交通标志图像的总数。
S403，将待识别特征向量集与模板特征向量集中的每个交通标志的标准交通标志图像的SIFT特征向量进行匹配，以识别出交通标志区域中的交通标志。
应当理解，对于从图像中提取的两个不同的特征点，若仅从空间上考虑，二者只存在空间位置以及特征描述子的差异。而在交通标志识别的应用中，输入数据通常是视频而非单张图像。相比单张图像而言，视频能够提供单张图像所不具有的时域信息。若从时间域上分析不同特征点之间的差别，则不同的特征点之间除了空间位置和特征描述子的差异之外还存在稳定性差异，也就是说，有些SIFT特征向量在多帧视频图像中出现次数较多，有些则出现次数较少。因此，在本发明实施例的交通标志识别方法中，可以根据上述的稳定性差异来区分从多帧视频图像中提取的不同SIFT特征向量对识别结果的影响。
具体地，在本发明的一个实施例中，可根据待识别特征向量集中每个SIFT特征向量在多帧待识别图像中出现的次数，结合与SIFT特征向量稳定性有关的权值函数，为待识别特征向量集中稳定性不同的SIFT特征向量赋予不同的权值。其中，特征向量越稳定，被赋予的权值越大。
在将待识别特征向量集与模板特征向量集中的每个交通标志的标准交通标志图像的SIFT特征向量进行匹配的过程中，可根据待识别特征向量集中每个SIFT特征向量对应的权值进行积分，以得到匹配分数，其中，特征向量的权值越大，则该特征向量对匹配分数的贡献越大。如果待识别特征向量集与某一交通标志的标准交通标志图像的SIFT特征向量进行匹配时所得到的匹配分数最高，则该交通标志即为最终的识别结果。
根据本发明实施例的交通标志识别方法，在获得待识别图像后，可根据待识别图像的颜色特征和形状特征定位待识别图像中的交通标志区域，并根据交通标志区域的SIFT特征对交通标志区域中的交通标志进行识别，由此，通过结合颜色特征和形状特征的交通标志区域定位，能够有效减小光照和遮挡带来的影响，基于SIFT特征进行最终识别，能够有效减小图像旋转、尺度变化及视角变化带来的影响，并且运算量较小，从而大大提高了交通标志识别的准确性和实时性。
对应上述实施例的交通标志识别方法，本发明还提出了一种计算机可读存储介质。
本发明实施例的计算机可读存储介质存储有一个或者多个程序，当该一个或者多个程序被处理器执行时，使得处理器执行上述实施例的交通标志识别方法。
根据本发明实施例的计算机可读存储介质，通过执行与上述交通标志识别方法相对应的程序以识别交通标志，能够提高交通标志识别的准确性和实时性。
为实现上述实施例的交通标志识别方法，本发明还提出了一种交通标志识别装置。
如图5所示，本发明实施例的交通标志识别装置，包括：采集模块10、定位模块20和识别模块30。
其中，采集模块10通过采集车辆前方的图像以获得待识别图像；定位模块20用于根据待识别图像的颜色特征和形状特征定位待识别图像中的交通标志区域；识别模块30用于获取交通标志区域的SIFT特征，并根据交通标志区域的SIFT特征对交通标志区域中的交通标志进行识别。
具体地，采集模块10可包括车辆的前视摄像头和DSP芯片，其中，可通过车辆的前视摄像头拍摄包含车辆前方道路信息的图像，然后可将前视摄像头获取的图像信号通过视频输入接口输入DSP芯片，并进行存储，以作为待识别图像。
在本发明的实施例中，定位模块20可利用并行策略对交通标志区域进行定位。具体地，可将基于HSV颜色空间阈值化的图像分割和基于轮廓几何特征分析的交通标志形状检测过程并行进行，将两者分别从待识别图像中分割出的候选目标区域以“或”的形式取并集，根据取并集后的结果定位交通标志区域。
上述基于并行策略的定位综合利用了颜色和形状特征，通过两种特征之间的相互支持定位交通标志区域。由此，当光照、天气变化等因素影响基于颜色特征的图像分割，即基于HSV颜色空间阈值化的图像分割的效果时，仍可通过基于形状特征分析，即基于轮廓几何特征分析的方式取得正确的定位结果；而在交通标志区域被部分遮挡的情况下，当基于形状特征分析的方式失效时，仍可通过基于颜色特征的图像分割取得正确的定位结果。因此，上述基于并行策略的定位在光照变化和部分遮挡情况下具有更好的鲁棒性。
在本发明的一个实施例中，为了抑制虚检，定位模块20还可利用区域面积、长宽以及位置等先验信息对取并集后的结果进行进一步的验证，将一些噪声区域滤除，并将保留下来的区域作为最终的定位结果。
在本发明的一个实施例中，如图6所示，交通标志识别装置还可包括图像处理模块40。由于车辆前方道路环境一般较为复杂，在定位模块20定位待识别图像中的交通标志区域之前，还可通过图像处理模块40对待识别图像进行中值滤波和直方图均衡化处理，以增强交通标志的对比度并降低待识别图像的噪声。在对待识别图像进行直方图均衡化处理的过程中，图像处理模块40可先分别对原图像的RGB(红绿蓝)三个颜色平面进行直方图均衡化，然后再将增强处理后的三个颜色平面组合成三通道的直方图均衡化处理结果图像。
在本发明的一个实施例中，如图7所示，识别模块30可包括：建立单元31、搜索单元32、分析单元33和生成单元34。
其中，建立单元31用于运用不同尺度大小的盒形滤波器与交通标志区域的积分图像的卷积建立图像尺度金字塔；搜索单元32用于基于Hessian矩阵行列式的近似表达，在图像尺度金字塔的每一层尺度空间进行局部极值搜索以检测感兴趣区域特征点；分析单元33通过对特征点的邻域像素的Haar小波响应进行统计分析以为特征点分配主方向；生成单元34用于生成与每个特征点相对应的特征描述子，并对特征描述子进行归一化处理以得到SIFT特征向量。
具体地，建立单元31可先构建高斯差分尺度空间：
D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)＝L(x，y，kσ)-L(x，y，σ)
其中，(x，y)为空间坐标，I(x，y)表示像素位置，L表示图像的尺度空间，σ为像素I(x，y)所在尺度，其可决定图像的平滑程度，k＝21/S，S为尺度金字塔的层数，*表示卷积，G(x，y，σ)为尺度可变的高斯函数，其中，
可根据图片的大小确定每个图像尺度金字塔中尺度空间的层数，其中，第底层可为待识别图像的交通标志区域，向上每一层是对其下一层图像进行高斯卷积得到的。
如果某个像素Hessian矩阵行列式的近似值比同一层尺度空间中的8个邻域像素点以及上下相邻尺度空间中对应的9*2个像素点的Hessian矩阵行列式近似值都大，则搜索单元32可将此像素点作为候选特征点。为了获得更加稳定和精确的特征点，搜索单元32还可滤除候选特征点中对比度较小的特征点及边缘像素点，并且对保留下来的特征点在空域和尺度域进行插值以精确定位到亚像素精度，最终保留下来的候选特征点即为感兴趣区域特征点。
在提取到感兴趣特征点之后，为了使提取的SIFT特征具有旋转不变性，在特征描述子生成之前可通过分析单元33为每一个特征点分配主方向。
具体地，分析单元33可以特征点为圆心，计算半径为6σ的圆形邻域里所有像素点沿x方向、y方向上的Haar小波响应，其中，σ为特征点所在尺度，Haar小波模板尺寸为4σ。
在计算出所有邻域像素点的Haar小波响应之后，分析单元33可用方差为2.5σ的高斯函数对响应值加权，离特征点距离越近的邻域像素被赋予更大权重，反之则越小。然后分析单元33可用π/3大小的扇形区域遍历特征点的圆形邻域，将扇形区域内所有像素点沿x方向和y方向响应构成的和矢量中模值最大的和矢量方向作为该特征点的主方向。如图3所示，从左到右标示扇形区域遍历到不同位置时x方向和y方向响应构成的和矢量，该和矢量用箭头表示，其中，模值最大的和矢量的方向为特征点主方向。
生成单元34可在特征点主方向上选取一个以特征点为中心、边长为20σ的正方形邻域，并且将该邻域划分为4*4个子区域。生成单元34可在每个子区域内均匀采样5*5个像素点，分别计算相对于主方向的水平方向和垂直方向的Haar小波响应并进行高斯加权。然后生成单元34将子区域内所有采样点的Haar小波响应以及Haar小波响应的绝对值相加并组合成一个四维矢量，对于每一个特征点，都可据此生成一个4*(4*4)＝64维的特征描述子。最后，生成单元34对向量进行归一化以消除光照的影响，得到最终的SIFT特征向量。
在本发明的一个实施例中，如图8所示，识别模块30还可包括：匹配单元35、获取单元36和识别单元37。
其中，匹配单元35通过将从多帧待识别图像中的交通标志区域获取的SIFT特征向量进行匹配以得到待识别特征向量集；获取单元36用于获取多个交通标志的标准交通标志图像的SIFT特征向量，以得到模板特征向量集；识别单元37用于将待识别特征向量集与模板特征向量集中的每个交通标志的标准交通标志图像的SIFT特征向量进行匹配，以识别出交通标志区域中的交通标志。
匹配单元35可进行SIFT特征匹配，具体地，在从两帧待识别图像中的交通标志区域提取SIFT特征构成各自的特征向量集之后，匹配单元35可根据特征向量间的相似度，确定某个特征向量在另一个特征集中与之匹配的特征向量，即确定特征集之间的特征配对关系。
在本发明的一个实施例中，匹配单元35可采用最近邻比次近邻方法进行SIFT特征匹配。举例而言，假设两个SIFT特征向量集B1和B2，对于B1中的第k个特征向量B1k，根据特征向量相似性度量准则在B2中与它距离最近和次近的两个特征向量分别为B2i和B2j，且对应距离分别为Di和Dj，若Di/Dj<T(T可取0.6)，则认为B1k和B2i匹配，二者构成一个特征匹配对。
在本发明的一个实施例中，匹配单元35可基于从多帧待识别图像中的交通标志区域提取的SIFT特征之间的匹配，以一种不断更新的方式建立待识别特征向量集。
具体地，对于存在交通标志区域，即通过定位模块20定位到交通标志区域的待识别图像，可提取交通标志区域的SIFT特征向量，建立特征向量集，并通过匹配单元35将新输入的待识别图像中提取的SIFT特征向量与前一帧待识别图像的特征向量集中的所有特征向量进行匹配，根据匹配对的数目更新特征向量集，最终获得待识别特征向量集。
下面结合具体参数来描述待识别特征向量集的建立过程。
可令M为建立特征向量集所需的存在交通标志区域的待识别图像帧数，特征向量集可表示为V＝{v1，v2，v3，…}，可用Ft＝{ft1，ft2，ft3，…}表示从第t帧存在交通标志区域的待识别图像中提取的特征向量集，其中vi和fti分别表示V和Ft中第i个特征向量，i＝1，2，…。此外，可通过Ci表示vi在M帧待识别图像中的出现次数。首先，可用F1＝{F11，F12，F13，…}初始化V，vi在M帧图像中的出现次数Ci初始化为1。然后，将第k帧提取的SIFT特征向量集Fk＝{Fk1，Fk2，Fk3，…}中的第j个特征向量fkj和V中现有的所有特征向量进行特征匹配，其中，k＝2，3，…，M；j＝1，2，3，…。若fkj和V中第i个特征向量vi匹配成功，则Ci递增1；若V中没有任何一个特征向量与fkj匹配成功，则将fkj添加到V中，Ci的值仍为1。由此，得到的V即为待识别特征向量集。
标准交通标志图像可为符合当前国家标准的交通标志的图像，获取单元36可通过与上述获取待识别图像中交通标志区域的SIFT特征相同的方式获取标准交通标志图像的SIFT特征向量，得到模板特征向量集O＝{O1，O2，…，OL}，其中，Oi表示第i个标准交通标志图像的SIFT特征向量，L表示标准交通标志图像的总数。
应当理解，对于从图像中提取的两个不同的特征点，若仅从空间上考虑，二者只存在空间位置以及特征描述子的差异。而在交通标志识别的应用中，输入数据通常是视频而非单张图像。相比单张图像而言，视频能够提供单张图像所不具有的时域信息。若从时间域上分析不同特征点之间的差别，则不同的特征点之间除了空间位置和特征描述子的差异之外还存在稳定性差异，也就是说，有些SIFT特征向量在多帧视频图像中出现次数较多，有些则出现次数较少。因此，在本发明的实施例中，可以根据上述的稳定性差异来区分从多帧视频图像中提取的不同SIFT特征向量对识别结果的影响。
具体地，在本发明的一个实施例中，识别单元37可根据待识别特征向量集中每个SIFT特征向量在多帧待识别图像中出现的次数，结合与SIFT特征向量稳定性有关的权值函数，为待识别特征向量集中稳定性不同的SIFT特征向量赋予不同的权值。其中，特征向量越稳定，被赋予的权值越大。
在将待识别特征向量集与模板特征向量集中的每个交通标志的标准交通标志图像的SIFT特征向量进行匹配的过程中，识别单元37可根据待识别特征向量集中每个SIFT特征向量对应的权值进行积分，以得到匹配分数，其中，特征向量的权值越大，则该特征向量对匹配分数的贡献越大。如果待识别特征向量集与某一交通标志的标准交通标志图像的SIFT特征向量进行匹配时所得到的匹配分数最高，则识别单元37可将该交通标志作为最终的识别结果。
根据本发明实施例的交通标志识别装置，在通过采集模块获得待识别图像后，定位模块可根据待识别图像的颜色特征和形状特征定位待识别图像中的交通标志区域，识别模块可根据交通标志区域的SIFT特征对交通标志区域中的交通标志进行识别，由此，通过结合颜色特征和形状特征的交通标志区域定位，能够有效减小光照和遮挡带来的影响，基于SIFT特征进行最终识别，能够有效减小图像旋转、尺度变化及视角变化带来的影响，并且运算量较小，从而大大提高了交通标志识别的准确性和实时性。
对应上述实施例，本发明还提出一种车辆。
如图9所示，本发明实施例的车辆1000，包括本发明上述实施例提出的交通标志识别装置100，其具体的实施方式可参照上述实施例，为避免冗余，在此不再赘述。
根据本发明实施例的车辆，对于交通标志识别的准确性和实时性较高。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种交通标志识别方法，其特征在于，包括以下步骤：
通过采集车辆前方的图像以获得待识别图像；
根据所述待识别图像的颜色特征和形状特征定位所述待识别图像中的交通标志区域；
获取所述交通标志区域的SIFT特征，并根据所述交通标志区域的SIFT特征对所述交通标志区域中的交通标志进行识别。
2.根据权利要求1所述的交通标志识别方法，其特征在于，在定位所述待识别图像中的交通标志区域之前，还包括：
对所述待识别图像进行中值滤波和直方图均衡化处理。
3.根据权利要求1或2所述的交通标志识别方法，其特征在于，获取所述交通标志区域的SIFT特征，包括：
运用不同尺度大小的盒形滤波器与所述交通标志区域的积分图像的卷积建立图像尺度金字塔；
基于Hessian矩阵行列式的近似表达，在所述图像尺度金字塔的每一层尺度空间进行局部极值搜索以检测感兴趣区域特征点；
通过对所述特征点的邻域像素的Haar小波响应进行统计分析以为所述特征点分配主方向；
生成与每个特征点相对应的特征描述子，并对所述特征描述子进行归一化处理以得到SIFT特征向量。
4.根据权利要求3所述的交通标志识别方法，其特征在于，根据所述交通标志区域的SIFT特征对所述交通标志区域中的交通标志进行识别，包括：
通过从多帧待识别图像中的交通标志区域获取的SIFT特征向量进行匹配以获得待识别特征向量集；
获取多个交通标志的标准交通标志图像的SIFT特征向量，以得到模板特征向量集；
将所述待识别特征向量集与所述模板特征向量集中的每个交通标志的标准交通标志图像的SIFT特征向量进行匹配，以识别出所述交通标志区域中的交通标志。
5.根据权利要求4所述的交通标志识别方法，其特征在于，根据所述待识别特征向量集中每个SIFT特征向量在所述多帧待识别图像中出现的次数为每个SIFT特征向量分配对应的权值，并在将所述待识别特征向量集与所述模板特征向量集中的每个交通标志的标准交通标志图像的SIFT特征向量进行匹配时，根据所述待识别特征向量集中每个SIFT特征向量对应的权值得到匹配分数，以根据所述匹配分数识别出所述交通标志区域中的交通标志。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，当所述一个或者多个程序被处理器执行时，使得所述处理器执行如权利要求1-5中任一项所述的交通标志识别方法。
7.一种交通标志识别装置，其特征在于，包括：
采集模块，所述采集模块通过采集车辆前方的图像以获得待识别图像；
定位模块，所述定位模块用于根据所述待识别图像的颜色特征和形状特征定位所述待识别图像中的交通标志区域；
识别模块，所述识别模块用于获取所述交通标志区域的SIFT特征，并根据所述交通标志区域的SIFT特征对所述交通标志区域中的交通标志进行识别。
8.根据权利要求7所述的交通标志识别装置，其特征在于，还包括：
图像处理模块，所述图像处理模块用于在所述定位模块定位所述待识别图像中的交通标志区域之前，对所述待识别图像进行中值滤波和直方图均衡化处理。
9.根据权利要求7或8所述的交通标志识别装置，其特征在于，所述识别模块包括：
建立单元，所述建立单元用于运用不同尺度大小的盒形滤波器与所述交通标志区域的积分图像的卷积建立图像尺度金字塔；
搜索单元，所述搜索单元用于基于Hessian矩阵行列式的近似表达，在所述图像尺度金字塔的每一层尺度空间进行局部极值搜索以检测感兴趣区域特征点；
分析单元，所述分析单元通过对所述特征点的邻域像素的Haar小波响应进行统计分析以为所述特征点分配主方向；
生成单元，所述生成单元用于生成与每个特征点相对应的特征描述子，并对所述特征描述子进行归一化处理以得到SIFT特征向量。
10.根据权利要求9所述的交通标志识别装置，其特征在于，所述识别模块还包括：
匹配单元，所述匹配单元通过将从多帧待识别图像中的交通标志区域获取的SIFT特征向量进行匹配以得到待识别特征向量集；
获取单元，所述获取单元用于获取多个交通标志的标准交通标志图像的SIFT特征向量，以得到模板特征向量集；
识别单元，所述识别单元用于将所述待识别特征向量集与所述模板特征向量集中的每个交通标志的标准交通标志图像的SIFT特征向量进行匹配，以识别出所述交通标志区域中的交通标志。
11.根据权利要求10所述的交通标志识别装置，其特征在于，所述识别单元根据所述待识别特征向量集中每个SIFT特征向量在所述多帧待识别图像中出现的次数为每个SIFT特征向量分配对应的权值，并在将所述待识别特征向量集与所述模板特征向量集中的每个交通标志的标准交通标志图像的SIFT特征向量进行匹配时，根据所述待识别特征向量集中每个SIFT特征向量对应的权值得到匹配分数，以根据所述匹配分数识别出所述交通标志区域中的交通标志。
12.一种车辆，其特征在于，包括根据权利要求7-11中任一项所述的交通标志识别装置。
CN201710330889.3A 2017-05-11 2017-05-11 交通标志识别方法、装置和车辆 Pending CN108875454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710330889.3A CN108875454A (zh) 2017-05-11 2017-05-11 交通标志识别方法、装置和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710330889.3A CN108875454A (zh) 2017-05-11 2017-05-11 交通标志识别方法、装置和车辆

Publications (1)

Publication Number Publication Date
CN108875454A true CN108875454A (zh) 2018-11-23

Family

ID=64319513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710330889.3A Pending CN108875454A (zh) 2017-05-11 2017-05-11 交通标志识别方法、装置和车辆

Country Status (1)

Country Link
CN (1) CN108875454A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597875A (zh) * 2020-04-01 2020-08-28 吉利汽车研究院（宁波）有限公司 一种交通标志识别方法、装置、设备及存储介质
CN112101283A (zh) * 2020-09-25 2020-12-18 深圳技术大学 一种交通标志智能识别方法及系统
CN112712066A (zh) * 2021-01-19 2021-04-27 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN112820130A (zh) * 2019-12-27 2021-05-18 李华 基于内容分析的模式转换平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799859A (zh) * 2012-06-20 2012-11-28 北京交通大学 一种交通标志识别方法
CN103544484A (zh) * 2013-10-30 2014-01-29 广东工业大学 一种基于surf的交通标志识别方法及系统
CN104008379A (zh) * 2014-06-16 2014-08-27 河南科技大学 一种基于surf特征的物体识别方法
US20160034769A1 (en) * 2014-07-29 2016-02-04 Magna Electronics Inc. Vehicle vision system with traffic sign recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799859A (zh) * 2012-06-20 2012-11-28 北京交通大学 一种交通标志识别方法
CN103544484A (zh) * 2013-10-30 2014-01-29 广东工业大学 一种基于surf的交通标志识别方法及系统
CN104008379A (zh) * 2014-06-16 2014-08-27 河南科技大学 一种基于surf特征的物体识别方法
US20160034769A1 (en) * 2014-07-29 2016-02-04 Magna Electronics Inc. Vehicle vision system with traffic sign recognition

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112820130A (zh) * 2019-12-27 2021-05-18 李华 基于内容分析的模式转换平台
CN111597875A (zh) * 2020-04-01 2020-08-28 吉利汽车研究院（宁波）有限公司 一种交通标志识别方法、装置、设备及存储介质
CN112101283A (zh) * 2020-09-25 2020-12-18 深圳技术大学 一种交通标志智能识别方法及系统
CN112712066A (zh) * 2021-01-19 2021-04-27 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
Maire et al. Using contours to detect and localize junctions in natural images
CN106529424B (zh) 一种基于选择性搜索算法的车标检测识别方法及系统
Zhang et al. Separate segmentation of multi-temporal high-resolution remote sensing images for object-based change detection in urban area
CN111340701B (zh) 一种基于聚类法筛选匹配点的电路板图像拼接方法
CN107463890B (zh) 一种基于单目前视相机的前车检测与跟踪方法
CN104751187B (zh) 抄表图像自动识别方法
CN103366154B (zh) 可重配置的畅通路径检测系统
CN110175576A (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
CN110197157B (zh) 一种基于历史裂纹数据的路面裂纹生长检测方法
CN106529559A (zh) 一种指针式圆形多仪表盘实时读数识别方法
CN103473551A (zh) 基于sift算子的台标识别方法及系统
CN103593832A (zh) 一种基于高斯二阶差分特征检测算子的图像拼接方法
CN108875454A (zh) 交通标志识别方法、装置和车辆
CN109800624A (zh) 一种基于行人重识别的多目标跟踪方法
JP2011517351A (ja) 物体検知及び認識システム
CN104102909B (zh) 基于多重视觉信息的车辆特征定位及匹配方法
CN108171247A (zh) 一种车辆再识别方法及系统
JP4946878B2 (ja) 画像識別装置及びプログラム
CN105069451B (zh) 一种基于双目摄像头的车牌识别与定位方法
CN105718882A (zh) 一种分辨率自适应特征提取与融合的行人重识别方法
CN107705301A (zh) 一种基于无人机航拍公路图像的公路标线破损检测方法
CN102903109A (zh) 一种光学影像和sar影像一体化分割配准方法
CN111487643A (zh) 一种基于激光雷达点云和近红外影像的建筑物检测方法
CN110675442A (zh) 一种结合目标识别技术的局部立体匹配方法及系统
CN109858310A (zh) 车辆和交通标志检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123