CN108509900A - 交通标志检测和识别方法、系统及存储介质 - Google Patents

交通标志检测和识别方法、系统及存储介质 Download PDF

Info

Publication number
CN108509900A
CN108509900A CN201810274788.3A CN201810274788A CN108509900A CN 108509900 A CN108509900 A CN 108509900A CN 201810274788 A CN201810274788 A CN 201810274788A CN 108509900 A CN108509900 A CN 108509900A
Authority
CN
China
Prior art keywords
traffic sign
target
candidate
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810274788.3A
Other languages
English (en)
Inventor
熊志亮
何健华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN FORWARD INNOVATION DIGITAL TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN FORWARD INNOVATION DIGITAL TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN FORWARD INNOVATION DIGITAL TECHNOLOGY Co Ltd filed Critical SHENZHEN FORWARD INNOVATION DIGITAL TECHNOLOGY Co Ltd
Priority to CN201810274788.3A priority Critical patent/CN108509900A/zh
Publication of CN108509900A publication Critical patent/CN108509900A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions

Abstract

本发明公开了一种交通标志检测和识别方法、系统及计算机可读存储介质，该方法包括以下步骤：在驾驶环境中，实时获取车辆周边环境的原始图像；根据预先设置的交通标志检测和识别系统处理图像的帧率，对所述原始图像进行预处理，去除所述原始图像中不感兴趣的区域，获得变换后的图像；利用预先训练过的级联检测器检测每幅变换后的图像在预设范围内的交通标志，获取候选交通标志目标；采用预设方式对所述候选交通标志目标进行识别；判断所述交通标志目标是否包含有交通标志；若有，则结合所述驾驶环境识别所述交通标志目标的类别和内容。本发明实现了简单、实时、可靠、稳健的检测和识别交通标志，提高了车辆行驶的安全性。

Description

交通标志检测和识别方法、系统及存储介质
技术领域
本发明涉及辅助驾驶技术领域，尤其涉及一种交通标志检测和识别方法、系统及计算机可读存储介质。
背景技术
驾驶环境下实时检测识别交通标志具有重要的意义。随着科技发展和生活水平提高，公路上车辆数目持续增加，增加了交通系统的压力和交通事故。交通标志包含了道路状况、驾驶速度限制以及驾驶行为限制等非常重要的信息。交通标志识别系统作为高级辅助驾驶系统的一种，可以提供给司机重要的驾驶和行车规划的参考，提高驾驶效率和安全；对于无人驾驶，交通标志检测和识别是必要的一个部分，因为其传感器比如Lidar和雷达都无法提供交通标志对应的具体内容。自动交通标志检测和识别可以有效提高智能交通系统的性能，提高驾驶安全性。
交通标志具有很显著的特征，比如特殊固定的形状和颜色等，有助于机器自动识别。但是，由于多种原因，比如成像角度和车辆运动带来的图像模糊、天气和光线、树枝遮挡以及交通标志褪色和变形等，极大地增加了可靠检测识别交通标志的难度。另外，嵌入式设备有限的计算处理能力和相对低成本的图像采集设备，也增加了实时检测识别交通标志的难度。
目前，已经有多种关于交通标志检测和识别的方法，通常都分为检测和识别两个主要环节，其中，交通标志的检测尤为重要和困难。对于交通标志的检测，一种传统方法是利用交通标志颜色进行检测，但是由于光线和褪色等原因，仅从颜色进行，需要复杂的人工设置颜色门限值，在准确率和定位方面都存在很大问题。另外一种方法是利用交通标志特定的形状，检测圆形或者三角形，或者利用交通标志模板在原始图像上进行滑动匹配，寻找交通标志。但是检测形状本身很费时，而且容易受到很大非交通标志的干扰。而交通标志模板匹配的方法则易受到多种因素影响，而且计算量大。结合采用颜色和形状的方法，先利用颜色过滤像素，然后结合形状对交通标志进行检测和定位。但是该方法在可靠性和计算速度方面仍然有很大的问题。西门子和Mobileye采用另外一种思路，先用多种滤波器提取特征，并综合记分。根据积分的情况，确定感兴趣区域。对于交通标志的识别，已有基于图像特征的SVM、Adaboost等方法被采用。随着机器学习技术的发展，目前已经有采用深度学习神经网络识别交通标志的方法，可以将检测和识别集成为一个步骤，但是深度学习的计算量和对内存的要求都非常高，不适合实时检测识别任务。
由此，有必要提出一种能简单、实时、可靠、稳健的检测和识别交通标志的解决方案。
发明内容
本发明的主要目的在于提出一种可以简单、实时、可靠、稳健的检测和识别交通标志的交通标志检测和识别方法、系统及计算机可读存储介质。
为实现上述目的，本发明提供一种交通标志检测和识别方法，所述方法应用于交通标志检测和识别系统，所述方法包括以下步骤：
在驾驶环境中，实时获取车辆周边环境的原始图像；
根据预先设置的交通标志检测和识别系统处理图像的帧率，对所述原始图像进行预处理，去除所述原始图像中不感兴趣的区域，获得变换后的图像；
利用预先训练过的级联检测器检测每幅变换后的图像在预设范围内的交通标志，获取候选交通标志目标；
采用预设方式对所述候选交通标志目标进行识别；
判断所述交通标志目标是否包含有交通标志；
若有，则结合所述驾驶环境识别所述交通标志目标的类别和内容。
可选地，所述采用预设方式对所述候选交通标志目标进行识别的步骤包括：
采用预先训练过的卷积神经网络对所述候选交通标志目标进行识别。
可选地，所述采用预先训练过的卷积神经网络对所述候选交通标志目标进行识别的步骤之前包括：
将所有候选交通标志目标归一化到相同尺寸，其中，所述尺寸与训练所述卷积神经网络的识别器训练师采用的图像尺寸相同；
所述采用预先训练过的卷积神经网络对所述候选交通标志目标进行识别的步骤包括：
采用预先训练过的卷积神经网络对每一个归一化的候选交通标志目标进行识别。
可选地，所述候选交通标志目标包括候选窗口和将所述候选交通标志目标检测为交通标志的置信度。
可选地，所述在驾驶环境中，实时获取车辆周边环境的原始图像的步骤之前包括：
在不同的驾驶环境中，采集有效图像样本；
根据所述有效图像样本对所述级联检测器以及所述卷积神经网络进行训练。
可选地，所述若有，则结合所述驾驶环境识别所述交通标志目标的类别和内容的步骤之后还包括：
输出所述交通标志目标的类别和内容。
此外，本发明还提出一种交通标志检测和识别系统，所述系统包括图像采集单元、交通标志检测单元、交通标志识别单元、交通标志信息输出单元、存储器、处理器、以及存储在所述处理器上的交通标志检测和识别程序，所述交通标志检测和识别程序被所述处理器运行时实现以下步骤：
在驾驶环境中，实时获取车辆周边环境的原始图像；
根据预先设置的交通标志检测和识别系统处理图像的帧率，对所述原始图像进行预处理，去除所述原始图像中不感兴趣的区域，获得变换后的图像；
利用预先训练过的级联检测器检测每幅变换后的图像在预设范围内的交通标志，获取候选交通标志目标；
采用预设方式对所述候选交通标志目标进行识别；
判断所述交通标志目标是否包含有交通标志；
若有，则结合所述驾驶环境识别所述交通标志目标的类别和内容。
可选地，所述交通标志检测和识别程序被所述处理器运行时还实现以下步骤：
采用预先训练过的卷积神经网络对所述候选交通标志目标进行识别。
可选地，所述交通标志检测和识别程序被所述处理器运行时还实现以下步骤：
将所有候选交通标志目标归一化到相同尺寸，其中，所述尺寸与训练所述卷积神经网络的识别器训练师采用的图像尺寸相同；
采用预先训练过的卷积神经网络对每一个归一化的候选交通标志目标进行识别。
此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有交通标志检测和识别程序，所述交通标志检测和识别程序被处理器运行时实现如上所述的方法的步骤。
本发明的有益效果是：本发明交通标志检测和识别方法、系统及计算机可读存储介质通过上述技术方案，在驾驶环境中，实时获取车辆周边环境的原始图像；根据预先设置的交通标志检测和识别系统处理图像的帧率，对所述原始图像进行预处理，去除所述原始图像中不感兴趣的区域，获得变换后的图像；利用预先训练过的级联检测器检测每幅变换后的图像在预设范围内的交通标志，获取候选交通标志目标；采用预设方式对所述候选交通标志目标进行识别；判断所述交通标志目标是否包含有交通标志；若有，则结合所述驾驶环境识别所述交通标志目标的类别和内容，实现了简单、实时、可靠、稳健的检测和识别交通标志，从而提高了车辆行驶的安全性。
附图说明
图1为本发明交通标志检测和识别方法第一实施例的流程示意图；
图2为本发明交通标志检测和识别方法第二实施例的流程示意图；
图3为本发明交通标志检测和识别方法第三实施例的流程示意图；
图4为本发明交通标志检测和识别方法第三实施例的流程示意图；
图5为采用本发明交通标志检测和识别方法识别出变形的限速为30的交通标志的效果图；
图6为采用本发明交通标志检测和识别方法识别出模糊的限速为80的交通标志的效果图；
图7为采用本发明交通标志检测和识别方法识别出颜色褪色的限速为60的交通标志的效果图；
图8为采用本发明交通标志检测和识别方法识别出被遮挡的限速为60的交通标志的效果图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：在驾驶环境中，实时获取车辆周边环境的原始图像；根据预先设置的交通标志检测和识别系统处理图像的帧率，对所述原始图像进行预处理，去除所述原始图像中不感兴趣的区域，获得变换后的图像；利用预先训练过的级联检测器检测每幅变换后的图像在预设范围内的交通标志，获取候选交通标志目标；采用预设方式对所述候选交通标志目标进行识别；判断所述交通标志目标是否包含有交通标志；若有，则结合所述驾驶环境识别所述交通标志目标的类别和内容。
具体地，请参照图1，图1是本发明交通标志检测和识别方法第一实施例的流程示意图。
如图1所示，本实施例提出的交通标志检测和识别方法包括以下步骤：
步骤S10，在驾驶环境中，实时获取车辆周边环境的原始图像。
可以理解的是，本发明交通标志检测和识别方法应用于交通标志检测和识别系统，具体实施时，所述交通标志检测和识别系统可以包括图像采集单元、交通标志检测单元、交通标志识别单元、以及交通标志信息输出单元。
其中，所述图像采集单元用于获取车辆周边环境的图像，具体实施时，可以采用安装在车辆上的摄像头拍摄车辆的周边环境，以实时获取车辆周边环境的原始图像。
步骤S20，根据预先设置的交通标志检测和识别系统处理图像的帧率，对所述原始图像进行预处理，去除所述原始图像中不感兴趣的区域，获得变换后的图像。
可以理解的是，具体实施时，可以根据系统处理性能和驾驶要求，设置交通标志检测和识别系统处理图像的帧率，对所述原始图像进行预处理，去除所述原始图像中不感兴趣的区域，降低计算量。
步骤S30，利用预先训练过的级联检测器检测每幅变换后的图像在预设范围内的交通标志，获取候选交通标志目标。
其中，所述候选交通标志目标包括候选窗口和将所述候选交通标志目标检测为交通标志的置信度。
具体地，将每幅变换后的图像生成多分辨率尺度的特征图，特征图分割成相同大小的区块，逐一进行检测，在不同分辨率的特征图上检测并输出候选目标(包括置信度和候选窗口)，每个候选交通标志目标均映射到原图像空间上，以获得每个候选交通标志目标的候选窗口。
步骤S40，采用预设方式对所述候选交通标志目标进行识别。
作为一种实施方式，可以采用预先训练过的卷积神经网络对所述候选交通标志目标进行识别。在其他实施方式中，也可以采用其他方式对所述候选交通标志目标进行识别，本发明对此不做限定。
步骤S50，判断所述交通标志目标是否包含有交通标志。
步骤S60，若有，则结合所述驾驶环境识别所述交通标志目标的类别和内容。
其中，所述驾驶环境例如可以为车辆所在车道、城市或高速环境等，所述交通标志目标的类别例如可以为限速标志等类别，所述交通标志目标的内容例如可以为限速信息等等内容。
相比现有技术，本实施例通过上述技术方案，在驾驶环境中，实时获取车辆周边环境的原始图像；根据预先设置的交通标志检测和识别系统处理图像的帧率，对所述原始图像进行预处理，去除所述原始图像中不感兴趣的区域，获得变换后的图像；利用预先训练过的级联检测器检测每幅变换后的图像在预设范围内的交通标志，获取候选交通标志目标；采用预设方式对所述候选交通标志目标进行识别；判断所述交通标志目标是否包含有交通标志；若有，则结合所述驾驶环境识别所述交通标志目标的类别和内容，实现了简单、实时、可靠、稳健的检测和识别交通标志，从而提高了车辆行驶的安全性。
请参照图2，图2为本发明交通标志检测和识别方法第二实施例的流程示意图。
如图2所示，本实施例与上述图1所示的第一实施例的区别在于，上述步骤S40，采用预设方式对所述候选交通标志目标进行识别的步骤包括：
步骤S401，采用预先训练过的卷积神经网络对所述候选交通标志目标进行识别。
采用卷积神经网络的方案不需要人工提取特征，直接利用候选交通标志目标的候选窗口从处理后的图像中提取目标区域，由训练好的卷积神经网络处理，输出交通标志内容和置信度。
本实施例通过采用预先训练过的卷积神经网络对所述候选交通标志目标进行识别，相对于现有技术，更进一步提高了检测和识别交通标志的可靠性和稳健性，并且更加简单。
请参照图3，图3为本发明交通标志检测和识别方法第三实施例的流程示意图。
本实施例与上述图2所示的第二实施例的区别在于，上述步骤S401，采用预先训练过的卷积神经网络对所述候选交通标志目标进行识别的步骤之前包括：
步骤S402，将所有候选交通标志目标归一化到相同尺寸，其中，所述尺寸与训练所述卷积神经网络的识别器训练师采用的图像尺寸相同；
上述步骤S401，采用预先训练过的卷积神经网络对所述候选交通标志目标进行识别的步骤包括：
步骤S403，采用预先训练过的卷积神经网络对每一个归一化的候选交通标志目标进行识别。
具体地，根据所述级联检测器输出的候选交通标志目标信息，利用置信度，结合驾驶环境信息和系统计算处理能力，选取一部分候选交通标志目标，进行交通标志识别。所选择的候选交通标志目标均归一化到相同尺寸，该尺寸与训练所述卷积神经网络的识别器训练师采用的图像尺寸相同。对于每一个归一化的候选交通标志目标，采用卷积神经网络的识别器或者其他方法进行识别，输出该候选标志是否为交通标志，以及该决定的置信度。如果某候选标志被判断为交通标志，则给出对应的交通标志类别和内容(例如限速标志和限速的速度)。
请参照图4，图4为本发明交通标志检测和识别方法第三实施例的流程示意图。
本实施例与上述图2所示的第二实施例的区别在于，上述步骤S10，在驾驶环境中，实时获取车辆周边环境的原始图像的步骤之前包括以下步骤：
步骤S00，在不同的驾驶环境中，采集有效图像样本。
步骤S01，根据所述有效图像样本对所述级联检测器以及所述卷积神经网络进行训练。
具体地，在驾驶环境中，实时获取车辆周边环境的原始图像之前，首先合理优化图像采集单元的参数，然后在不同场景中采集有效图像样本，用于训练所述级联检测器以及交通标志识别器，对于所述级联器和交通标志识别器，选取有效的特征和设置合适的参数。
此外，本实施例中，在上述步骤S60，若有，则结合所述驾驶环境识别所述交通标志目标的类别和内容的步骤之后还包括：
步骤S70，输出所述交通标志目标的类别和内容。
其中，可以由所述交通标志信息输出单元输出所述交通标志目标的类别和内容。
下面结合图5至图8对本发明交通标志检测和识别方法做进一步阐述，其中，图5是采用本发明交通标志检测和识别方法识别出变形的限速为30的交通标志的效果图，图6是采用本发明交通标志检测和识别方法识别出模糊的限速为80的交通标志的效果图，图7是采用本发明交通标志检测和识别方法识别出颜色褪色的限速为60的交通标志的效果图，图8是采用本发明交通标志检测和识别方法识别出被遮挡的限速为60的交通标志的效果图。
本发明首先利用图像采集设备采集多帧图像，然后选择一部分图像用于交通标志识别任务。对于每一帧选取的图像，先进行预处理，去除交通标志不会出现的区域。在处理后的图像基础上生成多幅不同分辨率的图像，并进行特征提取得到变换后的图像。然后用训练过的级联检测器在变换后的图像上检测在一定尺寸范围的交通标志，输出候选交通标志目标。每个候选交通标志目标包含一个水平放置的矩形框(即上述候选窗口)和该候选目标被检测为交通标志的置信度。利用候选目标的置信度，结合其它系统信息，排除一部分可能性较小的候选交通标志目标。对每个余留的候选交通标志目标，进行归一化，生成预设的图像大小，输入到交通标志识别模块进行分类识别，判断该候选交通标志目标是否包含交通标志，如果是，识别交通标志里面的内容，比如限速标志规定的速度和禁止停车等。交通识别单元可以采用小规模的卷积神经网络，但是不局限于此。采用卷积神经网络的方案不需要人工提取特征，直接利用候选交通标志附带的矩形框从处理后的图像里面提取出目标区域，由训练好的卷积神经网络处理，输出交通标志内容和置信度。根据交通标志识别的内容和置信度，结合前面图像处理和其它上下文信息，综合确定候选交通标志的类型(是否交通标志以及具体的内容)。比如根据前后帧图像的移动信息，可以排除移动目标为交通标志。根据最终识别的交通标志所处的空间位置和交通标志的类型，可以相应地选取使用本行驶车辆的交通标志。比如，同一幅图像里面可能识别出多个限速标志，可以根据本行驶车辆所在车道信息选取对应的限速速度。本发明同时采用级联检测器以及卷积神经网络，通过大量训练和算法优化实现，可以精确、快速、稳健地实现驾驶环境实时可靠的交通检测和识别，为辅助驾驶和无人驾驶提供重要的支持。
综上所述，本发明交通标志检测和识别方法，通过上述技术方案，在驾驶环境中，实时获取车辆周边环境的原始图像；根据预先设置的交通标志检测和识别系统处理图像的帧率，对所述原始图像进行预处理，去除所述原始图像中不感兴趣的区域，获得变换后的图像；利用预先训练过的级联检测器检测每幅变换后的图像在预设范围内的交通标志，获取候选交通标志目标；采用预设方式对所述候选交通标志目标进行识别；判断所述交通标志目标是否包含有交通标志；若有，则结合所述驾驶环境识别所述交通标志目标的类别和内容，实现了简单、实时、可靠、稳健的检测和识别交通标志，从而提高了车辆行驶的安全性。
为实现上述目的，本发明还提出一种交通标志检测和识别系统，所述系统包括图像采集单元、交通标志检测单元、交通标志识别单元、交通标志信息输出单元、存储器、处理器、以及存储在所述处理器上的交通标志检测和识别程序，所述交通标志检测和识别程序所述处理器执行时实现如上各实施例所述的方法的步骤。
综上所述，本发明交通标志检测和识别系统，通过上述技术方案，在驾驶环境中，实时获取车辆周边环境的原始图像；根据预先设置的交通标志检测和识别系统处理图像的帧率，对所述原始图像进行预处理，去除所述原始图像中不感兴趣的区域，获得变换后的图像；利用预先训练过的级联检测器检测每幅变换后的图像在预设范围内的交通标志，获取候选交通标志目标；采用预设方式对所述候选交通标志目标进行识别；判断所述交通标志目标是否包含有交通标志；若有，则结合所述驾驶环境识别所述交通标志目标的类别和内容，实现了简单、实时、可靠、稳健的检测和识别交通标志，从而提高了车辆行驶的安全性。
为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有交通标志检测和识别程序，所述交通标志检测和识别程序被处理器运行时实现如上各实施例所述的方法的步骤，在此不再赘述。
相比现有技术，本发明提出的交通标志检测和识别方法、系统及存储介质，通过上述技术方案，在驾驶环境中，实时获取车辆周边环境的原始图像；根据预先设置的交通标志检测和识别系统处理图像的帧率，对所述原始图像进行预处理，去除所述原始图像中不感兴趣的区域，获得变换后的图像；利用预先训练过的级联检测器检测每幅变换后的图像在预设范围内的交通标志，获取候选交通标志目标；采用预设方式对所述候选交通标志目标进行识别；判断所述交通标志目标是否包含有交通标志；若有，则结合所述驾驶环境识别所述交通标志目标的类别和内容，实现了简单、实时、可靠、稳健的检测和识别交通标志，从而提高了车辆行驶的安全性。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，电视机，电脑等)执行本发明各个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种交通标志检测和识别方法，其特征在于，所述方法应用于交通标志检测和识别系统，所述方法包括以下步骤：
在驾驶环境中，实时获取车辆周边环境的原始图像；
根据预先设置的交通标志检测和识别系统处理图像的帧率，对所述原始图像进行预处理，去除所述原始图像中不感兴趣的区域，获得变换后的图像；
利用预先训练过的级联检测器检测每幅变换后的图像在预设范围内的交通标志，获取候选交通标志目标；
采用预设方式对所述候选交通标志目标进行识别；
判断所述交通标志目标是否包含有交通标志；
若有，则结合所述驾驶环境识别所述交通标志目标的类别和内容。
2.根据权利要求1所述的交通标志检测和识别方法，其特征在于，所述采用预设方式对所述候选交通标志目标进行识别的步骤包括：
采用预先训练过的卷积神经网络对所述候选交通标志目标进行识别。
3.根据权利要求2所述的交通标志检测和识别方法，其特征在于，所述采用预先训练过的卷积神经网络对所述候选交通标志目标进行识别的步骤之前包括：
将所有候选交通标志目标归一化到相同尺寸，其中，所述尺寸与训练所述卷积神经网络的识别器训练师采用的图像尺寸相同；
所述采用预先训练过的卷积神经网络对所述候选交通标志目标进行识别的步骤包括：
采用预先训练过的卷积神经网络对每一个归一化的候选交通标志目标进行识别。
4.根据权利要求1所述的交通标志检测和识别方法，其特征在于，所述候选交通标志目标包括候选窗口和将所述候选交通标志目标检测为交通标志的置信度。
5.根据权利要求2所述的交通标志检测和识别方法，其特征在于，所述在驾驶环境中，实时获取车辆周边环境的原始图像的步骤之前包括：
在不同的驾驶环境中，采集有效图像样本；
根据所述有效图像样本对所述级联检测器以及所述卷积神经网络进行训练。
6.根据权利要求1-5任意一项所述的交通标志检测和识别方法，其特征在于，所述若有，则结合所述驾驶环境识别所述交通标志目标的类别和内容的步骤之后还包括：
输出所述交通标志目标的类别和内容。
7.一种交通标志检测和识别系统，其特征在于，所述系统包括图像采集单元、交通标志检测单元、交通标志识别单元、交通标志信息输出单元、存储器、处理器、以及存储在所述处理器上的交通标志检测和识别程序，所述交通标志检测和识别程序被所述处理器运行时实现以下步骤：
在驾驶环境中，实时获取车辆周边环境的原始图像；
根据预先设置的交通标志检测和识别系统处理图像的帧率，对所述原始图像进行预处理，去除所述原始图像中不感兴趣的区域，获得变换后的图像；
利用预先训练过的级联检测器检测每幅变换后的图像在预设范围内的交通标志，获取候选交通标志目标；
采用预设方式对所述候选交通标志目标进行识别；
判断所述交通标志目标是否包含有交通标志；
若有，则结合所述驾驶环境识别所述交通标志目标的类别和内容。
8.根据权利要求7所述的交通标志检测和识别系统，其特征在于，所述交通标志检测和识别程序被所述处理器运行时还实现以下步骤：
采用预先训练过的卷积神经网络对所述候选交通标志目标进行识别。
9.根据权利要求8所述的交通标志检测和识别系统，其特征在于，所述交通标志检测和识别程序被所述处理器运行时还实现以下步骤：
将所有候选交通标志目标归一化到相同尺寸，其中，所述尺寸与训练所述卷积神经网络的识别器训练师采用的图像尺寸相同；
采用预先训练过的卷积神经网络对每一个归一化的候选交通标志目标进行识别。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有交通标志检测和识别程序，所述交通标志检测和识别程序被处理器运行时实现如权利要求1-6任意一项所述的方法的步骤。
CN201810274788.3A 2018-03-29 2018-03-29 交通标志检测和识别方法、系统及存储介质 Pending CN108509900A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810274788.3A CN108509900A (zh) 2018-03-29 2018-03-29 交通标志检测和识别方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810274788.3A CN108509900A (zh) 2018-03-29 2018-03-29 交通标志检测和识别方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN108509900A true CN108509900A (zh) 2018-09-07

Family

ID=63379255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810274788.3A Pending CN108509900A (zh) 2018-03-29 2018-03-29 交通标志检测和识别方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN108509900A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334608A (zh) * 2019-06-12 2019-10-15 浙江亚太机电股份有限公司 一种车载图像的实时交通限速标志识别方法
CN112016514A (zh) * 2020-09-09 2020-12-01 平安科技（深圳）有限公司 一种交通标志识别方法、装置、设备及储存介质
CN113076800A (zh) * 2021-03-03 2021-07-06 惠州市博实结科技有限公司 一种道路标志牌检测方法及装置
WO2021134348A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 交通灯状态识别方法、装置、计算机设备和存储介质
CN113196357A (zh) * 2018-12-14 2021-07-30 伟摩有限责任公司 检测陌生标志

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022300A (zh) * 2016-06-02 2016-10-12 中国科学院信息工程研究所 基于级联深度学习的交通标志识别方法和系统
CN107273816A (zh) * 2017-05-24 2017-10-20 浙江零跑科技有限公司 基于车载前视单目相机的交通限速标识检测识别方法
CN107609485A (zh) * 2017-08-16 2018-01-19 中国科学院自动化研究所 交通标志的识别方法、存储介质、处理设备
CN107851191A (zh) * 2015-07-09 2018-03-27 高通股份有限公司 用于图像中的对象检测的基于上下文的先验

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107851191A (zh) * 2015-07-09 2018-03-27 高通股份有限公司 用于图像中的对象检测的基于上下文的先验
CN106022300A (zh) * 2016-06-02 2016-10-12 中国科学院信息工程研究所 基于级联深度学习的交通标志识别方法和系统
CN107273816A (zh) * 2017-05-24 2017-10-20 浙江零跑科技有限公司 基于车载前视单目相机的交通限速标识检测识别方法
CN107609485A (zh) * 2017-08-16 2018-01-19 中国科学院自动化研究所 交通标志的识别方法、存储介质、处理设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113196357A (zh) * 2018-12-14 2021-07-30 伟摩有限责任公司 检测陌生标志
CN113196357B (zh) * 2018-12-14 2022-06-14 伟摩有限责任公司 响应于检测和分析陌生交通标志来控制自主车辆的方法和系统
US11836955B2 (en) 2018-12-14 2023-12-05 Waymo Llc Detecting unfamiliar signs
CN110334608A (zh) * 2019-06-12 2019-10-15 浙江亚太机电股份有限公司 一种车载图像的实时交通限速标志识别方法
CN110334608B (zh) * 2019-06-12 2021-05-14 浙江亚太机电股份有限公司 一种车载图像的实时交通限速标志识别方法
WO2021134348A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 交通灯状态识别方法、装置、计算机设备和存储介质
CN112016514A (zh) * 2020-09-09 2020-12-01 平安科技（深圳）有限公司 一种交通标志识别方法、装置、设备及储存介质
CN113076800A (zh) * 2021-03-03 2021-07-06 惠州市博实结科技有限公司 一种道路标志牌检测方法及装置

Similar Documents

Publication Publication Date Title
CN108509900A (zh) 交通标志检测和识别方法、系统及存储介质
US11488392B2 (en) Vehicle system and method for detecting objects and object distance
CN111814621B (zh) 一种基于注意力机制的多尺度车辆行人检测方法及装置
CN103824066B (zh) 一种基于视频流的车牌识别方法
CN104751600B (zh) 基于虹膜识别的防疲劳驾驶安全设备及其使用方法
CN112307921A (zh) 一种车载端多目标识别跟踪预测方法
CN104809443A (zh) 基于卷积神经网络的车牌检测方法及系统
CN103605953A (zh) 基于滑窗搜索的车辆兴趣目标检测方法
CN105046206B (zh) 基于视频中运动先验信息的行人检测方法及装置
Mammeri et al. Design of traffic sign detection, recognition, and transmission systems for smart vehicles
CN106339657A (zh) 基于监控视频的秸秆焚烧监测方法、装置
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN115376108A (zh) 一种复杂天气下障碍物检测方法及装置
CN106919939A (zh) 一种交通标识牌跟踪识别方法及系统
CN112115800A (zh) 一种基于深度学习目标检测的车辆组合识别系统及方法
Arthi et al. Object detection of autonomous vehicles under adverse weather conditions
CN106340031A (zh) 一种检测运动物体的方法和装置
CN111339834B (zh) 车辆行驶方向的识别方法、计算机设备及存储介质
CN207115438U (zh) 用于车载鱼眼相机的图像处理装置
CN112347967B (zh) 一种复杂场景下融合运动信息的行人检测方法
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
Moorthy et al. Real time image and video semantic segmentation for self-driving cars
CN112926415A (zh) 一种行人避让系统和行人监测方法
Pan et al. Traffic Light Detection for Self-Driving Vehicles Based on Deep Learning
JP2021152826A (ja) 情報処理装置、被写体分類方法、及び被写体分類プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180907

WD01 Invention patent application deemed withdrawn after publication