CN109271934B - 用于交通标志识别的系统和方法 - Google Patents

Abstract

根据本发明的一个方面，在车辆中实施的交通标志识别系统从图像传感器接收一个或多个图像帧，并为每个图像帧定义感兴趣区域(ROI)，并且其中每个ROI调整大小到至少第一分辨率图像和第二分辨率图像；通过分析水平边缘图像和垂直边缘图像的各个像素的梯度值，基于对称点的确定来检测每个图像帧的ROI中的圆形物体，水平边缘图像和垂直边缘图像是从第一分辨率图像和第二分辨率图像的每个获得的；并且使用卷积神经网络(CNN)使用一个或多个分类器基于检测到的圆形物体来检测至少一个速度限制交通标志。

Description

用于交通标志识别的系统和方法

技术领域

本发明涉及图像处理领域。更具体地，本发明涉及用于识别交通标志的系统和方法。

背景

随着人口增加，车辆数量也显著增加。车辆数量的这种增加导致事故数量的显著增加。事故数量增加的众多原因可以追溯到车辆驾驶员。大多数情况下，由于部分车辆驾驶员的无知、疏忽、注意力不集中、鲁莽或仅仅是判断错误而导致车辆速度不合理而发生事故。通过使用可以检测和识别交通标志的系统所提供的早期预警，可以减少依赖于人为控制因素的事故。交通标志识别可以基于交通标志的特征形状和颜色，交通标志被严格地定位以便保持驾驶员的清晰视线。

用于检测交通标志的现有解决方案利用基于图像处理的若干技术。这些技术中的一些依赖于图像的灰度数据，而其他技术使用颜色信息。现有技术利用两步策略，其中首先，通过对诸如红绿蓝(RGB)表示的颜色的阈值操作采用预分割，并且执行RGB表示的线性或非线性变换。随后，从基于形状的特征获得最终检测决定，仅应用于预分割区域。此外，使用角落和边缘特征、遗传算法和模板匹配。然而，使用上述技术增加了系统的计算负荷，因为需要更多的处理能力，这反过来影响系统的整体性能。由于颜色随日光和反射率而变化，因此在基于颜色的分割中利用固定阈值的另一现有技术可能证明是低效的。

因此，本领域需要开发一种用于识别交通标志的系统和方法，尤其是速度限制交通标志，其克服了现有解决方案的上述和其他限制并且利用了技术，强大、准确、快速、高效和简单。

本发明目的

本发明的一些目的，其在本文中的至少一个实施例是满足如下文所列。

本发明的一个目的是提供一种用于识别交通标志的系统和方法。

本发明的一个目的是提供一种用于识别交通标志的系统和方法，其性能受到照明状况变化的影响最小。

本发明的一个目的是提供一种用于识别交通标志的系统和方法，其利用技术使处理器上的计算负荷最小化。

本发明的一个目的是提供一种用于识别交通标志的系统和方法，其具有自学能力。

本发明的一个目的是提供一种用于识别交通标志的系统和方法，其能够过滤可以在灌木丛和树木中形成的虚假圆形物体，使得仅处理真正的圆形物体。

概述

本发明涉及图像处理领域。更具体地，本发明涉及用于识别交通标志的系统和方法。

根据本发明的一方面，一种在车辆中实施的交通标志识别系统包括用于对车辆驾驶员的视野进行成像的图像传感器；和与存储器耦合的处理器，存储器存储可由处理器执行的指令：从图像传感器接收一个或多个图像帧，并对每个图像帧定义感兴趣区域(ROI)，所述接收的一个或多个图像帧中选择一组图像帧，其中，ROI是基于每个图像帧的一部分来定义的，并且其中每个ROI调整大小为至少第一分辨率图像和第二分辨率图像；通过分析水平边缘图像和垂直边缘图像的各个像素的梯度值，基于对称点的确定来检测每个图像帧的ROI中的圆形物体，水平边缘图像和垂直边缘图像是从第一分辨率图像和第二分辨率图像中每个获得；利用卷积神经网络(CNN)使用一个或多个分类器基于检测到的圆形物体检测至少一个速度限制交通标志。

在一个实施例中，处理器使用多级预分类器对包含在一组图像帧的至少一个图像帧中的至少一个误判对象进行分类和滤除。

在一个实施例中，处理器通过分析一组图像帧的每个图像帧中的所述圆形物体的检测，基于状态的确定来跟踪检测到的圆形物体。

在一个实施例中，状态是空闲状态、预跟踪状态、跟踪状态和取消状态中的任何一个，并且其中状态基于一组图像帧的一个或多个连续图像帧中的圆形物体的检测从第一状态改变到第二状态。

在一个实施例中，在跟踪状态中利用滤波器来估计和更新检测到的圆形物体在一组图像帧的一个或多个连续图像帧中的位置。

在一个实施例中，第一分辨率图像属于ROI的分辨率的一半，用于有效检测远侧区域中的至少一个速度限制交通标志，并且第二分辨率图像属于ROI的四分之一分辨率，用于有效检测近侧区域中的至少一个速度限制交通标志。

在一个实施例中，处理器通过多尺度多半径圆形物体检测器检测圆形物体，并且其中所述多尺度多半径圆形物体检测器利用投票技术用于第一分辨率图像和第二分辨率图像中的每一个的一个或多个预定半径，其中投票技术基于各个像素的梯度值。

在一个实施例中，多尺度多半径圆形物体检测器有助于使用具有一个或多个预定义半径的重叠半径的多个标度进行检测，以便有效地检测圆形物体并使处理负荷最小化。

在一个实施例中，投票技术是对一个或多个预定义半径的至少一个半径执行，通过：获得各个像素的梯度值，每个梯度值包括梯度幅度和梯度方向；确定包括正面影响点和负面影响点的至少两个梯度影响点，正面影响点位于沿中心点的梯度方向的至少一个半径的距离处，而负面影响点位于与中心点的梯度方向相反方向的距离至少一个半径处；在至少两个梯度影响点的每个正面影响点和负面影响点处基于梯度方向递增投票值；并且将中心点的梯度大小添加到每个受影响的点和负面影响点。

在一个实施例中，处理器识别并标记检测到的至少一个速度限制交通标志。

根据本发明的方法的另一方面，由根据存储在车辆中实施的计算机中的指令执行，包括：从与车辆可操作地耦合的图像传感器中接收一个或多个图像帧并且从所述接收的一个或多个图像帧中所选择的一组图像帧的每个图像帧中定义兴趣区域(ROI)，其中ROI是基于每个图像帧的一部分来定义的，并且其中每个ROI调整大小为至少第一分辨率图像和第二分辨率图像；通过分析水平边缘图像和垂直边缘图像的各个像素的梯度值，基于对称点的确定来检测每个图像帧的ROI中的圆形物体，水平边缘图像和垂直边缘图像是从第一分辨率图像和第二分辨率图像的每一个中所获得的；并且使用包括卷积神经网络(CNN)在内的一个或多个分类器，基于检测到的圆形物体来检测至少一个速度限制交通标志。

从以下优选实施例的详细描述以及附图中，本发明的各种目的、特征、方面和优点将变得更加明显，附图中相同的数字表示相同的特征。

在本申请的范围内，它是明确设想的，前述段落、权利要求和/或以下说明书和附图中阐述的各个方面、实施方案、实施例和替代方案，特别是其各自的特征，可以独立地或以任何组合方式进行。结合一个实施方案描述的特征适用于所有实施例，除非这些特征不兼容。

附图说明

包含附图以提供对本发明的进一步理解，并且附图并入本说明书中并构成本说明书的一部分。附图示出了本发明的示例性实施例，并且与说明书一起用于解释本发明的原理。这些图仅用于说明，因此并不是对本发明的限制。

图1示出了交通标志识别系统的示例性架构，以示出根据本发明的实施例的整体工作。

图2示出了根据本发明的实施例的处理单元的示例性模块。

图3示出了根据本发明的实施例的预处理模块的整体工作。

图4A-I示出了根据本发明的实施例的圆形物体检测模块的示例性实施方式。

图5A-I示出了根据本发明的实施例的预分类模块的示例性实施方式。

图6示出了根据本发明的实施例的跟踪模块的示例性实施方式。

图7A-B示出了根据本发明的实施例的交通标志分类模块的示例性实施方式。

图8示出了表示根据本公开的实施例的所提出的系统的示例性工作的高级流程图。

图9示出了根据本发明的示例性实施例所提出的系统的工作方法。

详细说明

以下是在附图中描绘的本发明的实施例的详细描述。实施例是详细的以便清楚地传达本发明。然而，所提供的细节数量并不旨在限制实施例的预期变化；相反，其目的是涵盖落入由所附权利要求限定的本发明的精神和范围内的所有修改、等同物和替代物。

在以下描述中，阐述了许多具体细节以便提供对本发明实施例的透彻理解。对于本领域技术人员显而易见的是，可以在没有这些具体细节中的一些的情况下实施本发明的实施例。

本发明的实施例包括各种步骤，下面将对其进行描述。这些步骤可以由硬件组件执行，或者可以包含在机器可执行指令中，其可以用于使用指令编程的通用或专用处理器以执行这些步骤。或者，可以通过硬件、软件和固件的组合和/或人工操作员来执行步骤。

可以通过将包含根据本发明的代码的一个或多个机器可读存储介质与适当的标准计算机硬件组合以执行其中包含的代码来实践本文描述的各种方法。用于实施本发明的各种实施例的装置可以包括一个或多个计算机(或单个计算机内的一个或多个处理器)和包含或具有对根据本文描述的各种方法编码的计算机程序的网络访问的存储系统，并且本发明的方法步骤可以通过计算机程序产品的模块、例程、子例程或子部分来完成。

如果说明书陈述了组件或特征“可以”、“能够”、“可以”或“可能”包括或具有特征，则不需要包括该特定组件或特征或具有该特征。

如本文的说明书和随后的权利要求中所使用的，“一”、“一个”和“该”的含义包括复数指代，除非上下文另有明确说明。此外，如在本文的描述中所使用的，除非上下文另有明确规定，否则“在...中”的含义包括“在...中”和“在......上”。

现将在下文中参考附图更全面地描述示例性实施例，其中示出了示例性实施例。提供这些示例性实施例仅用于说明目的，并且以使得本发明彻底和完整，并且将本发明的范围完全传达给本领域普通技术人员。然而，所公开的发明可以以许多不同的形式实施，并且不应该解释为限于本文中所阐述的实施例。对于本领域技术人员来说，各种修改是显而易见的。在不脱离本发明的精神和范围的情况下，本文定义的一般原理可以应用于其他实施例和应用。此外，本文叙述的本发明的实施例及其具体示例的所有陈述旨在涵盖其结构和功能等同物。另外，这些等同物旨在包括当前已知的等同物以及将来开发的等同物(即，开发的执行相同功能的任何元件，而不管结构如何)。而且，所使用的术语和措辞是出于描述示例性实施例的目的，而不应认为是限制性的。因此，本发明将被赋予最广泛的范围，包括与所公开的原理和特征一致的多种替换、修改和等同物。为了清楚起见，没有详细描述与本发明相关的技术领域中已知的技术材料的细节，以免不必要地模糊本发明。

因此，例如，本领域普通技术人员将理解，示意图、原理图，图示等表示体现本发明的系统和方法的概念视图或过程。可以通过使用专用硬件以及能够执行相关软件的硬件来提供图中所示的各种元件的功能。类似地，图中所示的任何开关仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或甚至手动地执行，特定技术可由实现本发明的实体选择。本领域普通技术人员应进一步理解，本文描述的示例性硬件、软件、过程、方法和/或操作系统是出于说明性目的，因此不旨在限于任何特定的所命名的元件。

本发明的实施例可以提供作为计算机程序产品，其可以包括有形地在其上实现指令的机器可读存储介质，其可以用于对计算机(或其他电子设备)进行编程以执行处理。术语“机器可读存储介质”或“计算机可读存储介质”包括但不限于固定(硬件)驱动器、磁带、软盘、光盘、光盘只读存储器(CD-ROM))和磁光盘、半导体存储器，例如ROM、PROMs、随机存取存储器(RAM)、可编程只读存储器(PROMs)、可擦除PROMs(EPROMs)、电可擦除PROMs(EEPROMs)、闪存、磁性或者光学卡，或适用于存储电子指令的其他类型的媒体/机器可读介质(例如，计算机编程代码，例如软件或固件)。机器可读介质可以包括非暂时性介质，其中数据可以存储并且不包括无线或有线连接传播的载波和/或瞬时电子信号。非暂时性介质的示例可以包括但不限于磁盘或磁带，光学存储介质诸如压缩盘(CD)或数字通用盘(DVD)，闪存，存储器或存储器设备。计算机程序产品可以包括代码和/或机器可执行指令，其可以表示过程、功能、子程序、程序、例程、子例程、模块、软件包、类或指令、数据结构或程序语句的任何组合。通过传递和/或接收信息、数据、变量、参数或存储器内容，代码段可以与另一代码段或者硬件电路耦合。信息、变量、参数、数据等可以通过任何合适的手段传递、转发或传输，包括存储器共享、消息传递、令牌传递、网络传输等。

此外，实施例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现。当在软件、固件、中间件或微代码中实现时，执行必要任务的程序代码或代码段(例如，计算机程序产品)可以存储在机器可读介质中。处理器可以执行必要的任务。

可以以各种配置提供一些附图中描绘的系统。在一些实施例中，系统可以配置为分布式系统，其中系统的一个或多个组件分布在云计算系统中的一个或多个网络上。

所附权利要求中的每一个限定了一项单独的发明，出于侵权目的，该发明认为包括权利要求中指定的各种元件或限制的等同物。根据上下文，以下对“发明”的所有引用在某些情况下可能仅指某些特定实施例。在其他情况下，应该认识到对“发明”的引用将指代一个或多个但不一定是所有权利要求中所述的主题。

除非本文另有说明或上下文明显矛盾，否则本文所述的所有方法可以以任何合适的顺序进行。关于本文的某些实施例提供的任何和所有示例或示例性语言(例如，“诸如”)的使用仅旨在更好地说明本发明，而不是对要求保护的本发明的范围构成限制。说明书中的任何语言都不应解释为表示对于本发明的实施必不可少的任何未要求保护的元件。

本文使用的各种术语如下所示。在下面没有定义权利要求中使用的术语的情况下，应该给出最广泛的定义，相关领域的人员已经给出了在提交申请时在印刷出版物和已授权专利中的反映的该术语。

本发明涉及图像处理领域。更具体地，本公开涉及用于识别交通标志的系统和方法。

根据本发明的一个方面，在车辆中实施的交通标志识别系统包括用于对车辆驾驶员的视野进行成像的图像传感器；及与存储器耦合的处理器，存储器存储由处理器执行的指令：从图像传感器接收一个或多个图像帧，并从所接收的一个或多个图像帧中所选择的一组图像帧中的每个图像帧定义感兴趣区域(ROI)，其中，ROI是基于每个图像帧的一部分来定义的，并且其中每个ROI调整大小为至少第一分辨率图像和第二分辨率图像；通过分析水平边缘图像和垂直边缘图像的各个像素的梯度值，基于对称点的确定来检测每个图像帧的ROI中的圆形物体，水平边缘图像和垂直边缘图像是从第一分辨率图像和第二分辨率图像中的每个所获得的；并且使用卷积神经网络(CNN)，使用一个或多个分类器，基于检测到的圆形物体来检测至少一个速度限制交通标志。

在一个实施例中，处理器使用多级预分类器对包含在该组图像帧的至少一个图像帧中的至少一个误判对象进行分类和滤除。

在一个实施例中，处理器通过分析该组图像帧的每个图像帧中的所述圆形物体的检测，基于状态的确定来跟踪所检测到的圆形物体。

在一个实施例中，状态是空闲状态、预跟踪状态、跟踪状态和取消状态中的任何一个，并且其中基于对在该组图像帧的一个或多个连续图像帧中圆形物体的检测，状态从第一状态改变到第二状态。

在一个实施例中，在跟踪状态中利用滤波器来估计和更新所检测到的圆形物体在该组图像帧的一个或多个连续图像帧中的位置。

在一个实施例中，第一分辨率图像属于ROI的分辨率的一半以用于有效检测在远侧区域中的至少一个速度限制交通标志，并且第二分辨率图像属于ROI的分辨率的四分之一以用于有效检测近侧区域中的至少一个速度限制交通标志。

在一个实施例中，处理器通过多尺度多半径圆形物体检测器来检测圆形物体，并且其中所述多尺度多半径圆形物体检测器利用投票技术用于第一分辨率图像和第二分辨率图像中的每一个的一个或多个预定半径，其中投票技术是基于各个像素的梯度值。

在一个实施例中，多尺度多半径圆形物体检测器便于使用具有一个或多个预定义半径的重叠半径的多个标度进行检测，以便有效地检测圆形物体并最小化处理负荷。

在一个实施例中，执行投票技术用于一个或多个预定义半径的至少一个半径，通过：获得各个像素的梯度值，每个梯度值包括梯度大小和梯度方向；；确定包括正面影响点和负面影响点的至少两个梯度影响点，正面影响点位于沿中心点的梯度方向的至少一个半径的距离处，并且负面影响点位于与中心点的梯度方向相反的至少一个半径的距离处；在至少两个梯度影响点的每个正面影响点和负面影响点处基于梯度方向递增投票值；并且将中心点的梯度大小添加到每个正面影响点和负面影响点。

在一个实施例中，处理器识别并标记所检测到的至少一个速度限制交通标志。

根据本发明的另一方面，执行根据存储在车辆中实施的计算机中的指令的方法，包括：从与车辆可操作地耦合的图像传感器中接收一个或多个图像帧并且对于从所述接收的一个或多个图像帧中所选择的一组图像帧的每个图像帧中定义感兴趣区域(ROI)，其中ROI是基于每个图像帧的一部分来定义，并且其中每个ROI调整大小为至少第一分辨率图像和第二分辨率图像；通过分析水平边缘图像和垂直边缘图像的各个像素的梯度值，基于对称点的确定来检测每个图像帧的ROI中的圆形物体，水平边缘图像和垂直边缘图像是从第一分辨率图像和第二分辨率图像中的每个所获得的；并且使用包括卷积神经网络(CNN)的一个或多个分类器，基于检测到的圆形物体来检测至少一个速度限制交通标志。

图1示出了交通标志识别系统的架构以示出根据本发明的实施例的其整体工作。

根据一个实施例，交通标志识别系统100(在下文中可互换地称为系统100)在车辆中实施。系统100包括输入单元102，处理单元104和输出单元106。输入单元102可包括配置在车辆中的一个或多个图像传感器或相机以捕获车辆视野的图像。在一种实施方式中，图像传感器或相机可以放置在车辆的外部镜子位置或前部。处理单元104可以包括处理器和存储器和/或可以与现有系统集成及控制车辆以形成高级驾驶员辅助系统(ADAS)，或者增强现有的ADAS。例如，由处理单元104产生的信号可以发送到车辆的发动机控制单元(ECU)并且可以辅助车辆的停放。输出单元106可以是显示设备或任何其他视听设备，其在当基于各种速度限制交通标志的检测和识别，他/她超过速度限制时向驾驶员提供警告。

根据一个实施例，在预处理108期间，处理单元104从输入单元102的图像传感器接收一个或多个图像帧，并且为从所述接收的一个或多个图像帧中所选择的一组图像帧中的每个图像帧来定义感兴趣区域(ROI)。ROI是基于每个图像帧的一部分来定义的，并且每个ROI调整大小为至少第一分辨率图像和第二分辨率图像。

在一个实施例中，第一分辨率图像属于ROI的分辨率的一半以用于有效检测远侧区域中的至少一个速度限制交通标志，并且第二分辨率图像属于ROI的分辨率的四分之一以用于有效检测近侧区域中的至少一个限速交通标志。

在一个实施例中，在圆形检测110期间，处理单元104通过分析水平边缘图像和垂直边缘的各个像素的梯度值，基于对称点的确定来检测每个图像帧的ROI中的圆形物体。水平边缘图像和垂直边缘图像是从第一分辨率图像和第二分辨率图像中的每一个中获得的。

在一个实施例中，处理单元104通过多尺度多半径圆形物体检测器来检测圆形物体，该检测器利用投票技术用于基于各个像素的梯度值的第一分辨率图像和第二分辨率图像中的每一个的一个或多个预定义半径。多尺度多半径圆形物体检测器便于使用具有一个或多个预定半径的重叠半径的多个尺度进行检测，以便有效地检测圆形物体并最小化处理负荷。

在一个实施例中，执行投票技术用于一个或多个预定义半径的至少一个半径，通过：获得各个像素的梯度值，每个梯度值包括梯度大小和梯度方向；确定包括正面影响点和负面影响点的至少两个梯度影响点，正面影响点位于沿中心点的梯度方向的至少一个半径的距离处，并且负面影响点位于与中心点的梯度方向相反的至少一个半径距离处；在至少两个梯度影响点的每个正面影响点和负面影响点处基于梯度方向递增投票值；并且将中心点的梯度大小添加到每个受影响的点和负面影响点。

在一个实施例中，在预分类112期间，处理单元104使用多级预分类器对包含在该组图像帧的至少一个图像帧中的至少一个误判对象进行分类和滤除。

在一个实施例中，在状态和机器跟踪114期间，处理单元104通过分析对该组图像帧的每个图像帧中的所述圆形物体的检测，基于状态的确定来跟踪检测到的圆形物体。状态可以是空闲状态、预跟踪状态、跟踪状态和取消状态中的任何一个，其基于在该组图像帧的一个或多个连续图像帧中的圆形物体的检测而改变。此外，在跟踪状态中利用滤波器来估计和更新检测到的圆形物体在该组图像帧的一个或多个连续图像帧中的位置。

在一个实施例中，在多级分类116期间，处理单元104使用卷积神经网络(CNN)通过一个或多个分类器基于检测到的圆形物体检测至少一个速度限制交通标志。

在一个实施例中，处理单元104识别并标记所检测的至少一个速度限制交通标志，使得通过输出单元106、响应于车辆的超速而产生适当的警告。

图2示出了根据本发明的实施例的处理单元的示例性模块。

在一个方面，处理单元104可以包括一个或多个处理器202。一个或多个处理器202可以实现为一个或多个微处理器、微计算机、微控制器、数字信号处理器、中央处理单元、逻辑电路、和/或基于操作指令来操纵数据的任何设备。在其他能力中，一个或多个处理器202配置为获取并执行存储在处理单元104的存储器206中的计算机可读指令。存储器206可以存储一个或多个计算机可读指令或例程，其中可以获取并执行以通过网络服务来创建或共享数据单元。存储器206可以包括任何非暂时性存储设备，包括例如诸如RAM的易失性存储器，或诸如EPROM的非易失性存储器，闪存等。

处理单元104还可以包括接口204。接口204可以包括各种接口，例如，用于数据输入和输出设备的接口，称为I/O设备、存储设备等。接口204可以促进处理单元104与耦合到处理单元104的各种设备(例如输入单元102和输出单元106)的通信。接口204还可以为处理单元104的一个或多个组件提供通信路径。这些组件的示例包括但不限于处理引擎208和数据210。

处理引擎208可以实现为硬件和编程的组合(例如，可编程指令)以实现处理引擎208的一个或多个功能。在本文描述的实施例中，硬件和编程这样的组合可以以几种不同的方式实现。例如，处理引擎208的编程可以是存储在非暂时性机器可读存储介质上的处理器可执行指令，并且用于处理引擎208的硬件可以包括处理源(例如，一个或多个处理器)，以执行这些指令。在本实施例中，机器可读存储介质可以存储指令，当由处理源执行时，实现处理引擎208。在这样的实施例中，处理单元104可以包括机器可读存储介质存储指令及处理源以执行指令，或机器可读存储介质可以是独立的，但可由处理单元104和处理源访问。在其他实施例中，处理引擎208可以由电子电路实现。

数据210可以包括作为由处理引擎208的任何组件实现的功能的结果而存储或生成的数据。

在示例性实施例中，处理引擎208可包括预处理模块212、圆形物体检测模块214、预分类模块216、跟踪模块218、交通标志分类模块218、和其他模块222。

应当理解，所描述的模块仅是示例性模块和任何其他模块或包含的子模块作为系统100或处理单元104的一部分。这些模块也可以合并或分成超级模，或者作为可以配置的子模块。

预处理模块212

图3示出了根据本发明的实施例的预处理模块212的整体工作。在一方面，在框302处，预处理模块212从输入单元102的图像传感器接收一个或多个图像帧。在框304处，将接收的图像帧转换为灰度以供进一步处理。

此外，在框306处，预处理模块212为从所述接收的一个或多个图像帧中选择的一组图像帧的每个图像帧中定义ROI。本领域技术人员应该理解，基于实验观察，已经推断出大多数交通速度符号出现在图像的上部。因此，根据本发明的实施例，预处理模块212基于每个图像帧的一部分来定义ROI。例如，可以定义每个图像帧的ROI以覆盖图像帧的图像行的上部35％和所有列。然后，定义的ROI可以由其他模块用于进一步处理。

在一个实施例中，将定义的ROI的大小调整为至少第一分辨率图像和第二分辨率图像。第一分辨率图像属于ROI的分辨率的一半，以用于有效检测车辆视野的远侧区域中的至少一个速度限制交通标志，并且第二分辨率图像属于ROI的分辨率的四分之一以用于有效检测车辆视野的近侧区域中的至少一个速度限制交通标志。应当理解，图像的ROI部分调整大小为其总大小的一半和四分之一，以确保更快地处理图像帧。通过考虑实施例，可以清楚大小调整操作块306的工作，例如，将尺寸(1280*960)的输入图像帧提供给预处理模块212，预处理模块212可以考虑尺寸(1280*336)的ROI，包含来自输入图像帧的所有列和上部行。此外，预处理模块212可以将ROI的大小调整为第一分辨率，其可以是半分辨率，例如，(640*168)和第二分辨率可以是分辨率的四分之一，例如(320*84)。然后可以利用第一分辨率图像和第二分辨率图像进行进一步处理。

在一个实施例中，为了确保更快的处理，预处理模块212在框308处执行对比度拉伸，这是一种有效的以及计算上廉价的技术，其可以实现增强图像质量。

本领域技术人员将理解，预处理模块212关注于增强并对输入图像帧执行某些操作，以确保在较少计算时间内执行各种其他模块的后续阶段中的处理实施。预处理模块212还在确保对大多数交通速度标志的检测方面起着至关重要的作用，尤其是在恶劣天气中。进一步优化图像帧的增强以避免浮点运算。

圆形物体检测模块214

在一个实施例中，圆形物体检测模块214利用多尺度多半径圆形物体检测器，通过分析水平边缘图像和垂直边缘图像的各个像素的梯度值，基于对称点的确定来检测每个图像帧的ROI中的圆形物体，水平边缘图像和垂直边缘图像从第一分辨率图像和第二分辨率图像中的每一个所获得。

图4A示出了表示圆形物体检测模块214的示例性工作的框图。

在框402处，圆形物体检测模块214接收来自预处理模块212的输入。在框404处，通过获得图像帧的梯度信息来执行用于梯度提取的处理。图4B和4C示出了表示示例性梯度提取过程的框图。参考图4B，在框422处，将预处理的第一分辨率图像作为输入。在框424处，使用经修改的Sobel算子从第一分辨率图像中提取出明显的边缘。因此，以大小和方向的值获得沿两个方向的边缘，以使得梯度提取处理的输出是水平边缘图像426和垂直边缘图像428。相似地，图4C的框图示出了在框434处使用Sobel算子以在框432处从第二分辨率图像处获得框436处的水平边缘图像和框438处的垂直边缘图像。

在框406处的实施例中，圆形物体检测模块212针对第一分辨率图像和第二分辨率图像中的每一个来执行用于一个或多个预定义半径的投票处理/技术。投票技术是基于各个像素的梯度值。

在一个实施例中，针对圆的半径的离散值执行圆的检测，例如，考虑10个这样的预定义半径值。在一半分辨率图像的第一分辨率图像中搜索位于车辆视野的远侧区域中的圆，而在四分之一分辨率图像的第二分辨率图像中搜索位于车辆视野的近侧区域中的圆。图4D和4E分别示出了分别在第一分辨率图像和第二分辨率图像上的半径的示例性分布。在一个实施例的上下文中，图4D示出了属于一半分辨率图像的的具有半径h1、h2、h3、h4和h5的圆。图4E示出了属于四分之一分辨率图像的具有半径q1、q2、q3、q4和q5的圆。

在一个实施例中，第一分辨率图像和第二分辨率图像的水平和垂直边缘图像认为是投票过程的输入。考虑特定范围之间的梯度值，使得高于该范围的梯度值四舍五入到更高的阈值，而不考虑具有更低值的像素。在投票过程中使用梯度的方向和大小来投票到像素位置。

在一个实施例中，针对圆半径的每个离散值执行投票过程。从每个像素位置的梯度图像获得梯度值(大小和方向)以确定两个受影响的点。两个梯度影响点包括正面影响点和负面影响点，正面影响点位于沿着中心点的梯度方向的半径距离处，而负面影响点位于与中心点的梯度方向相反的半径距离处。

图4F示出了中心点(p)的位置及其对应的梯度影响位置(p+ve和p-ve)，其位于沿中心点处的梯度方向并且与其相反的n(半径)距离处。对于n的范围，像素点p+ve和p-ve的位置受梯度元素g(p)的影响。虚线圆显示所有像素，对于范围n可能受p处的梯度影响。

在一个实施例中，基于在至少两个梯度影响点的正面影响点和负面影响点中的每一个处的梯度方向的投票值递增。因此，对于像素的投票值和像素的梯度的大小考虑用于梯度影响的位置。沿梯度方向的点(p+ve)和相反方向的点(p-ve)的投票值递增。这些更改在方向投影图像On中执行。因此，可以认为：

On(p+ve(p))＝On(p+ve(p))+1

On(p-ve(p))＝On(p-ve(p))+1

在一个实施例中，以类似的方式将中心点的梯度大小添加到正面影响点和负面影响点中的每一个。因此，在幅度投影图像Mn中，存储了中心点p的梯度幅度。梯度幅度值(||g(p)||)在正面和负面影响的位置都会加到现有值中。因此，可以认为：

Mn(p+ve(p))＝Mn(p+ve(p))+||g(p)||

Mn(p-ve(p))＝Mn(p-ve(p))+||g(p)||

在一个实施例中，实施快速径向对称变换(FRST)技术，其中在范围n中的点p的径向对称贡献由下式给出：

Sn＝Fn*An

在此术语Fn可以通过以下给出：

Fn(p)＝||On(p)||^(α)Mn(p)

其中，On(p)和Mn(p)包含投票和梯度幅度的归一化值。术语An表示应用于图像帧Fn的高斯核，以将像素的对称贡献的影响扩展到其附近。术语α表示径向严格度，其是用于检测对称点的技术的灵敏度的倒数。

在框408处，圆形物体检测模块214执行圆心的选择。在一个实施例中，卷积图像帧Sn中的像素值考虑用于选择过程。为了选择一个点作为中心位置，图像帧Sn中的梯度影响位置值应该大于特定阈值。对第一分辨率图像和第二分辨率图像中的所有半径离散值重复选择过程。

在一个实施例中，在找到圆心之后，将它们的坐标从第一分辨率图像和第二分辨率图像重新映射到作为输入图像帧的全分辨率图像。图4G和4H说明了圆选择过程的概述。如图4G中所示，对于第一分辨率图像的选择过程，在方框442处的卷积图像中考虑半径h1至h5的样本值的像素值，在方框444处检测一半分辨率的圆，并且圆映射到在框446处的属于输入图像帧的全分辨率中。参考图4H，在框452、454和456处遵循圆选择的类似过程，用于选择四分之一分辨率图像中q1至q5之间的半径的样本值的圆心选择。

本领域技术人员应该理解，由于用于检测圆的过程对于对称点非常敏感，因此通常为圆形物体选择多于一个中心点。因此，针对单个对象可以获得多个圆。因此，框410处的圆形物体检测模块214仅在重叠圆中选择一个圆。图4I示出了选择一个圆的实施例。如图所示，选择具有最大半径值的圆并用于进一步处理。例如，在重叠的圆C1、C2、C3和C4中，选择圆C3，其是具有最大半径的圆以用于进一步处理。

预分类模块216

在一个实施例中，预分类模块216使用多级预分类器对包含在该组图像帧的至少一个图像帧中的至少一个误判对象进行分类和滤除。

根据一个实施例，预分类模块216接收具有检测的圆的图像帧并且以具有唯一分辨率的样本工作。不管具有检测的圆的输入图像帧的原始分辨率(高度*宽度)，输入图像帧在进一步处理之前可以调整大小到独特的分辨率，例如(40*40)像素。

在一个实施例中，与预分类模块216相关联的多级预分类器包括用于移除误判对象的多个阶段。示例性阶段可以包括蓝色标志误判去除、禁止标志误判去除、禁止入内标志误判去除、高度/宽度标志误判去除、重量标志误判去除、发光二极管(LED)标志误判去除和高速公路编号误判去除。除了高速公路编号误判去除，可以在多级预分类器的所有级的唯一分辨率中执行对于误判对象的检测，其中可以以其原始分辨率处理样本。

图5A示出了根据本发明的实施例的用于蓝色标志误判去除的示例性过程。

根据一个实施例，通过在框504处使用RGB样本和对应的RGB信道信息来移除蓝色标志。在一个实施例中，对于样本图像帧中的给定像素，如果强度级别具有比其他两个通道显著的蓝色通道信息(在框506处表示)，则特定像素视为蓝色像素并且如果蓝色像素计数超过该特定样品的阈值，则将其视为蓝色标志样本(在框508处表示)并且将过滤掉以使得不会进一步跟踪样本。

图5B示出了根据本发明的实施例的用于禁止标志的误判去除的示例性过程。

根据一个实施例，通过使用框524处的标志样本的二进制图像来移除禁止标志。通常，禁止标志具有独特的图案，其是来自标志的右上角并且终止于左下角的对角线十字。在框526的预分类模块216检查该特定模式的所有标志样本，并且如果在样本中存在这样的模式，则在框528将其视为禁止符号并且将滤除以使得不进一步跟踪样本。

图5C示出了根据本发明的实施例的用于禁止进入标志误判去除的示例性过程。

根据一个实施例，在框534处通过使用标志样本的二进制图像来移除禁止进入标志。通常，禁止进入标志具有独特的图案，该图案是源自左边并且终止右边的横向十字。预分类模块216在框536处针对所有标志样本检查该特定模式，并且如果发现，则在框538处将其视为禁止进入符号并且将滤除以使得不进一步跟踪样本。

图5D示出了高度标志的示例性表示，而图5E示出了根据本发明的实施例的用于高度标志误判去除的示例性过程。

如图5D所示，高度标志具有独特的图案，其是出现在图像的顶部中间和底部中间部分的垂直缺口。根据一个实施例，在框554，通过对标志样本的执行二进制图像腐蚀操作来移除高度标志。此外，在框556，设置ROI以在框558处使得预分类模块216使用通过检查图像的上部和下部的水平轮廓的水平剖面分析技术来检查高度标志的特定模式。如果存在缺口，则在框560处将特定标志样本视为高度标志并且被滤除以使得不进一步跟踪样本。

图5F示出了根据本发明的实施例的用于宽度标志误判去除的示例性过程。

根据一个实施例，在框564处通过对标志的二进制图像执行腐蚀操作来移除宽度标志。通常，宽度标志具有独特的图案，其是出现在图像的左侧和右侧部分的水平缺口。在框566，设置ROI以使得预分类模块216通过检查二进制图像的左侧和右侧部分的垂直轮廓，在框568使用垂直轮廓分析技术来检查宽度的特定图案。如果存在缺口，则在框570处将特定标志样本视为宽度标志并滤除以使得不进一步跟踪样本。

图5G示出了根据本发明的实施例的用于重量标志误判去除的示例性过程。

根据一个实施例，在框574处通过使用标志样本的二进制图像来移除重量符号。通常，重量符号具有唯一的点，其在特定标志样本右下出现的后缀“t”或“m”。在框576处，预分类模块216使用连通分量分析来检查该特定点，并且如果存在点，则在框578处将特定标志样本视为重量符号并且将过滤掉以使得样本不会进一步跟踪。

图5H示出了根据本发明的实施例的用于LED标志误判去除的示例性过程。

根据本发明的实施例，在框584处通过使用标志样本的彩色图像来移除LED标志。通常，LED标志具有比普通速度标志更加丰富的黑色和黄色像素信息。在框586预分类模块216使用颜色剖面分析技术检查该特定图案，并且如果满足阈值，则在框588处将特定标志样本视为LED标志并且将滤除以使得不进一步跟踪样本。

图5I示出了根据本发明的实施例的高速公路编号标志牌的示例性表示。

根据一个实施例，移除高速公路编号标志牌，是基于交通标志在图像中的位置、水平和垂直梯度剖面、颜色信息和对象重叠检查来滤除误判的一组启发。

因此，预分类模块216丢弃包括除速度限制交通标志之外的各种交通标志的图像帧。

跟踪模块218

在一个实施例中，跟踪模块218通过分析在该组图像帧的每个图像帧中的所述圆形物体的检测基于状态的确定来跟踪检测到的圆形物体。该状态是空闲状态、预跟踪状态、跟踪状态和取消状态中的任何一个，其是基于对在该组图像帧的一个或多个连续图像帧中的圆形物体的检测而改变。

图6示出了能够由跟踪模块218确定检测到的圆形物体的状态的状态机。

根据一个实施例，状态机用于确定各种对象的状态并相应地做出各种决定。在一个实施例中，默认情况下，跟踪器处于空闲状态，并且一旦对象识别为潜在的交通标志，就启动跟踪器的新实例(如果不存在先前匹配的活动跟踪器)并且状态从空闲状态变为预先跟踪。在本实施例的上下文中，仅仅如果更连续地检测到预定义图像帧例如2个图像帧时，可以将预跟踪对象移动到跟踪状态。此外，如果对象没有检测到某些固定量的帧，则状态从预跟踪状态变为取消状态。

在本实施例的上下文中，在跟踪状态中，利用滤波器来估计和更新检测到的圆形物体在该组图像帧的一个或多个连续图像帧中的位置。因此，在跟踪状态中，使用滤波器例如卡尔曼滤波器对跟踪物体以执行连续预测和更新。如果跟踪的实例在特定图像帧中错过，则可以使用卡尔曼预测来显示边界框。此外，如果特定对象错过超过特定数量的帧，则它从跟踪状态移动到取消状态。

在一个实施例中，在跟踪状态下实施的典型卡尔曼跟踪器具有两个状态，即更新状态和预测状态。当检测到对象时，特定实例的更新/测量更新状态占优势，而当检测错过时，预测状态进入图像。跟踪器使用对象的边界框坐标作为跟踪参数。可以定义若干矩阵，例如测量、噪声协方差、误差协方差、主要过渡和过程噪声协方差，其有助于对与对象的运动和噪声相关联的不确定性进行建模。作为实验结果，可以用值初始化矩阵。在更新状态期间，协方差值得到更新，使得跟踪器能够模拟对象的运动。此外，在预测状态期间，卡尔曼跟踪器有助于估计对象的位置。

在实施例中，在取消状态中，如果发现与检测到的对象的任何匹配，则将对象移动到跟踪状态。然而，如果没有找到匹配并且对象在固定数量的帧中保持丢失，则对象移动到空闲状态，并且相应的跟踪器实例通过跟踪模块218清除。使用输出单元106处于活动状态的并且退出更多固定数量的帧的跟踪器数据显示出来。

交通标志分类模块220

在一个实施例中，交通标志分类模块220使用卷积神经网络(CNN)通过一个或多个分类器基于检测到的圆形物体来检测至少一个速度限制交通标志。

根据一个实施例，速度标志的检测和分类通过学习大数据集的可完全训练的CNN来执行。因此，代表性的训练数据集的收集是非常重要，因为它在很大程度上影响交通标志分类模块220的识别性能。图7A示出了用于训练和测试CNN的示例性过程。

在框702处，基于样本收集和数据集扩充来准备数据集。在一个实施例中，初始训练数据集的构建由自动化工具执行，以用于收集道路上所调查的速度标志等级的真实世界图像。

在一个实施例中，由于在白天和夜晚状况之间的颜色表示不一致，因此数据集会转换为灰度图像。此外，可以考虑以下因素来准备数据集：

1、考虑范围在21*21像素到88*88像素之间。

2、光强度修改，像素值乘以[0.8 0.9 1.0 1.1 1.2]。

3、x和y位置[-2 -1 0 +1 +2]移动像素位置。

4、缩放图像[0.93 1 1.05]。

5、考虑模糊和下雨的状况。

在一个实施例中，基于跟踪即相同物理标志的图像集，可以考虑以下因素来准备数据集：

1、丢弃少于30张图像的跟踪。

2、丢弃少于9个跟踪的类。

3、对于剩余的跟踪：如果跟踪包含超过30个图像，则等距采样30个图像。

在一个实施例中，一旦完成样本收集，数据集分成3个部分：

1、培训数据集：包含80％的样本。

2、验证数据集：包含15％的样本。

3、测试数据集：含有5％的样本。

在一个实施例中，在用于训练和验证的数据集扩充期间，隔离从自动化工具生成的原始数据集或收集的样本以去除误判和污染样本。可以使用Matlab\Python工具来增强隔离的数据集，以准备训练和验证所需的最终数据集。增强工具可以平移、旋转和缩放输入的图像，并可以输出增强数据集，如下所示：

1、平移变化[-2 0 2]像素。

2、旋转变化[-10 0 10]度。

3、缩放变化[0.9 1 1.1]比率。

在框706处，执行训练以在误差反向传播的在线模式下学习CNN的系数，因为它可以很好地适应训练数据的大数据集。本领域技术人员会理解，误差反向传播的基本思想是根据给定输入模式的权重去有效地计算输出误差的偏导数。这些偏导数用于对误差导数的负方向的权重进行小的校正。

在一个实施例中，交通标志分类模块220的输入是检测到的圆形物体的原始像素值，并且输出是表示速度标志的可能性的直接置信度值。使用完全可训练的CNN使得该特征能够通过对包含在数据集中的一组示例交通标志图像进行训练来修改感兴趣的对象。

根据一个实施例，CNN的体系结构的特征在于通过反复试验设置的许多构建块，但也受到数据的约束。CNN是一个生物学启发的架构，可以学习不变的特征并在每个特征提取阶段学习。多个特征提取阶段为多层分类器提供分层和稳健的表示。分类器的每个阶段由卷积、非线性和子采样组成。传统CNN中使用的非线性是tanh()sigmoid函数。然而，利用更复杂的非线性，例如修正的sigmoid和减法和分裂的局部归一化，强制相邻特征之间的竞争(在空间和功能上)。从多个阶段获得的输出也可以组合以丰富具有多尺度分量馈送到分类器的特征。

图7B示出了根据本发明的实施例的示例性CNN架构。

本领域技术人员应该理解，本发明的实施例利用差异化技术来收集和标记由速度标志图像组成的大型训练数据集，设计和离线训练CNN以用于速度标志识别申请以及将识别算法映射到可以以每秒20-25帧(fps)执行实时检测的图形处理单元(GPU)。

在一个实施例中，输入图像可以是具有1个灰度级通道的32×32大小，参见图7B，用于训练的CNN架构可以如下：

1、层C1是一个卷积层，具有6个特征映射及每个特征映射具有5×5内核。

2、层S1是子采样层，具有6个特征映射和每个特征映射具有2×2内核。

3、层C2是一个卷积层，具有16个特征映射和每个特征映射具有5×5内核。

4、层S2是子采样层，具有16个特征映射和每个特征映射具有2×2内核。

5、层n1是一个卷积层，具有120个特征映射和每个特征映射具有5×5内核。

6、层n2是完全连接的层添加偏差，并且在每层之后使用tanh非线性。

应当理解，网络C1直到S2的层，其功能用作可训练的特征提取器。所有网络层都包含神经元模型，如在经典的多层感知器(MLP)网络中那样。特征提取层C1到S2具有特定约束，例如局部连通性和权重共享及具有这些约束，并且这些层能够从二维形状来提取位置不变特征。此外，输出的分类层n1和n2是完全连接的MLP。利用提取的局部特征的分类层执行输入图像的分类。

在一个实施例中，CNN架构包括卷积层、子样本层和神经元层。卷积层的特征映射，例如C1和C2，包含从局部感受域获取其突触输入的神经元，从而检测局部特征。特征映射内的卷积神经元的权重是可以共享的，因此局部特征的位置变得不那么重要，从而产生移位不变性。计算卷积神经元输出的表达式可以通过以下定义：

其中，y表示特征映射输出

m、n是特征映射的位置索引

b是训练的偏差值

K指的是内核大小

v指卷积核

x指输入图像

等式(1)的表达式描述了使用卷积核v对输入图像x进行卷积运算。与标准卷积的唯一区别是阈值b加到获得的结果上。

在一个实施例中，卷积层由子采样层继续，以执行卷积层结果的数据减少操作。通过在预定义的非重叠窗口上进行局部平均来执行数据减少操作。平均窗口的大小可以通过子样本因子S来描述。用于计算子样本神经元的表达式可以由以下定义：

其中，y指的是子采样图像

m、n是特征映射的位置索引

Ф(p)是指sigmoid激活函数

你是可训练的系数

S指的是子采样因子

b指偏差值

x指输入特征映射

在一个实施例中，CNN的输入图像的分类是由诸如n1和n2的神经层执行。在这些层中，所有神经元都具有唯一的一组权重，这使得它们能够检测复杂的特征并执行分类。用于计算经典感知器的表达式可以通过以下定义：

其中，y指的是神经元层输出

n指位置指数

b指偏差值

K表示重量的量

w指重量矩阵

x是上一层输入

Ф(p)是指sigmoid激活函数

本领域技术人员将理解，CNN架构的重要特性是可以通过循环误差反向传播算法的简单且有效的随机模式通过训练样本来训练所有突触权重和偏差值。一旦CNN被训练，则在框708处执行离线测试，使得当实现对测试样本的期望结果时，在框710处集成CNN架构以检测速度限制交通标志。

在一个实施例中，基于通过使用上面定义的CNN架构执行的检测和分类，交通标志分类模块220识别并标记检测到的至少一个速度限制交通标志，使得可以在输出单元106处产生适当的警告。

图8示出了表示根据本公开的实施例的所提出的系统的示例性工作的高级流程图。

在一个实施例中，在框802处，预处理模块212读取包括由图像传感器捕获的一系列图像帧的输入视频。在框804处，在图像帧中定义ROI，其可以覆盖所接收图像的上部。例如，可以定义每个图像帧的ROI以覆盖图像帧的上部35％和图像帧的所有列。因此，如果输入图像帧具有尺寸(1280×960)，则ROI可以被定义为覆盖图像帧的上部的尺寸(1280X336)。在框808处，可以将图像帧转换为灰度级以供进一步处理。在框808，通过对灰度图像执行图像尺寸调整来获得第一(例如，一半)分辨率图像。因此，尺寸(1280X336)的灰度图像转换为尺寸(640×168)的尺寸灰度图像。在框810处，执行对比度拉伸以确保更快的处理。在框812处进一步调整第一分辨率的大小以获得可具有大小(320×84)的第二(例如四分之一)分辨率图像。

在一个实施例中，圆形物体检测模块214通过分别获得第一分辨率图像和第二分辨率图像中的每一个的梯度信息，在块810和816处执行梯度提取。此外，在方框818和820，通过对第一分辨率图像和第二分辨率图像中的每一个执行一个或多个预定半径的投票处理/技术，分别从第一分辨率图像和第二分辨率图像检测多半径圆。图片。在块822和824，将圆心的坐标分别从第一分辨率图像和第二分辨率图像重新映射到作为输入图像帧的全分辨率图像。此外，由于可以针对单个对象获得多个圆，因此可以分别从第一分辨率图像和第二分辨率图像中选择来自重叠圆的一个圆。此外，在框826，组合全分辨率图像中的圆，使得移除单个对象的多个候选，并且仅获得与每个对象有关的一个圆。在框828，预分类模块216利用多阶段预分类器来标记和分类各种误判对象，例如蓝色标志，禁止标志，无入口标志，高度/宽度标志，重量标志，发光二极管(LED))标志和公路号码。此外，在框830，执行对象匹配和关联以提供具有多次出现次数的检测到的对象。

在一个实施例中，跟踪模块218通过分析检测到的对象的出现次数来检查条件以使用跟踪器确定状态。状态可以是跟踪状态，预跟踪状态或取消状态，分别如框834,836和838所示。此外，状态可以是空闲状态，其是跟踪器的默认状态。在一个示例中，一旦对象被识别为潜在交通标志，就启动跟踪器的新实例并且状态从空闲变为预跟踪。可以考虑3个图像帧的预定义阈值；因此，在块834，只有在预定阈值为3的情况下连续检测到预跟踪对象时，才可以将预跟踪对象移动到跟踪状态。此外，如果对于某些固定数量的帧没有检测到对象，则状态在框838处，可以改变为取消状态。在框840,842和844处，例如，过滤器840可以改变为取消状态卡尔曼滤波器用于估计和更新检测到的圆形物体的位置。

在一个实施例中，交通标志分类模块220在框846使用卷积神经网络(CNN)检测限速交通标志，以提供表示速度标志和相关联的类ID的可能性的置信分数。在框848，确定置信度分数是否大于阈值，例如，0.9。如果置信度得分大于0.9，则在框850处为对象类ID和坐标分配提供类ID。此外，在框850，可以利用来自跟踪器和CNN的所有输出来分配类ID和坐标。

在一个实施例中，在框852，利用显示和决策逻辑在框854使用警告生成逻辑向驾驶员提供警告。例如，当驾驶员超过速度限制时，可以提供关于检测速度限制交通标志的警告。在框856，检查状况以确定它是否是视频的结束，例如，可以确定检测是否在视频或一系列图像帧的最后图像帧中执行。如果检测在最后一个图像帧中执行，则停止处理，相反，系统可以继续在后续图像帧中执行检测。

图9示出了根据本发明的示例性实施例的所提出的系统的工作方法。

在一个方面，可以在计算机可执行指令的一般上下文中描述所提出的方法。通常，计算机可执行指令可以包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、过程、模块、功能等。该方法还可以在分布式计算环境中实施，其中功能通过由通信网络链接的远程处理设备来执行。在分布式计算环境中，计算机可执行指令可以位于本地和远程计算机存储介质中，包括存储器存储设备。

所描述的方法的顺序不旨在解释为限制，并且可以组合任何数量的所描述的方法框以实现该方法或替代方法。另外，在不脱离本文描述的主题的精神和范围的情况下，可以从方法中删除各个框。此外，该方法可以以任何合适的硬件、软件、固件或其组合来实现。然而，为了便于解释，在下面描述的实施例中，可以认为该方法在上述系统中实现。

在一个方面，本发明详细阐述了一种用于识别交通标志的方法，包括在框902处从与车辆可操作地耦合的图像传感器接收一个或多个图像帧并且针对从所述接收的一个或多个图像帧中选择的一组图像帧的每个图像帧定义感兴趣区域(ROI)。ROI是基于每个图像帧的一部分来定义，并且每个ROI的大小调整为至少第一分辨率图像和第二分辨率图像。

在一个方面，该方法还包括在框904，通过分析水平边缘图像和垂直边缘图像的各个像素的梯度值，基于对称点的确定来检测每个图像帧的ROI中的圆形物体。水平边缘图像和垂直边缘图像是从从第一分辨率图像和第二分辨率图像中的每一个获得。

在一个方面，该方法还包括在框906，使用包括卷积神经网络(CNN)的一个或多个分类器，基于检测到的圆形物体来检测至少一个速度限制交通标志。

本领域技术人员应该理解，本发明的实施例利用各种新颖特征用于识别交通标志，例如，针对嵌入性能优化多尺度多半径物体检测器。使用具有重叠半径的多个尺度的过程确保检测所有感兴趣的圆形物体并且将处理负荷保持在最小。除了优化之外，该方法还提供了若干优点，例如，当分辨率导致尺寸减小时，图像帧中的圆边界变得更均匀，噪声减小并且分辨率的变化在相当大程度上降低了交通标志倾斜的影响。例如，由于它们相对于车辆的摄像机或图像传感器的方向，系统甚至可以识别交通标志当它们不是完全圆形时。因此，即使当交通标志非常靠近，当这种倾斜的交通标志有更高的可能性被拒绝时，该系统也能有效运行。

此外，本发明的实施例利用唯一投票过程用于圆检测，因为投票值在两个投影图像的正面和负面影响的位置中即(梯度投影图像和大小投影图像)中递增，这增加了圆形检测的数量。此外，本发明的实施例使用多分辨率图像作为预处理模块的输入以有效地检测远侧和近侧区域中的标记(例如，半分辨率图像和四分之一分辨率图像用作圆形物体检测模块214的输入)。与传统技术不同，利用多分辨率图像作为CNN的输入。

此外，本发明的实施例利用多级预分类器，其过滤掉所有不感兴趣的圆形物体并且减少分类器上的处理负荷而不损失性能。过滤后的标志是蓝色标志、禁止标志、禁止进入、高度、宽度、重量、LED和高速公路编号，它们具有相同的形状但包含限速标志以外的信息。此外，利用具有跟踪器的状态机来确保过滤在灌木丛和树木中形成的虚假圆形物体，并且仅处理真正的圆形物体。此外，利用使用CNN的多级分类器，其以极高的精度识别不同的交通标志，并且可以在帧中一起处理多个交通标志(例如，8个交通标志)而没有任何性能损失并且在DSP上约30FPS地实现了现实世界的性能。

本领域技术人员应该理解，由于颜色随日光和反射率变化而变化，因此各种技术使用的阈值可能不适用于所有场景，因此，本发明的实施例使用基于梯度的形状检测技术，其性能受光照状况变化的影响最小。此外，不同于使用诸如支持向量机(SVM)的浅层分类器的现有技术，其使用诸如定向梯度直方图(HOG)之类的手工制作特征，本发明的实施例利用深度学习CNN架构可以执行特征提取和识别。

应当理解，已经进行了许多实验以验证本发明的各种实施例的结果。表1表示当使用本文中公开的系统用于在各种状况下检测和识别道路中的七个速度标志时获得的示例性实验结果。

表1：实验结果

从表1中可以明显看出，本发明的实施例提供了高灵敏度和高精度值，从而提高了效率和可靠性。

如本文所使用的，并且除非上下文另有指示，否则术语“耦合到”旨在包括直接耦合(其中两个彼此耦合或彼此接触的元件)和间接耦合(其中至少一个附加元件位于两个元件之间)。因此，术语“耦合到”和“与......耦合”同义使用。在本文件的上下文中，术语“耦合到”和“与......耦合”也用于委婉地表示通过网络“通信地与......耦合”，其中两个或更多个设备能够通过网络彼此交换数据，可能通过一个或多个中间设备。

此外，在解释说明书和权利要求书时，所有术语应以与上下文一致的最广泛的可能方式解释。特别地，术语“包括”和“包含”应该解释为以非排他的方式指代元件、组件或步骤，指示所引用的元件、组件或步骤可以存在，或者利用、或与与未明确引用的其他元件、组件或步骤组合。如果说明书权利要求指的是从由A，B，C......和N组成的组中选择的至少一个，则该文本应解释为仅需要来自该组的一个元素，而不是A加N，或B加N等。

虽然已经说明和描述了本发明的一些实施例，但是这些实施例本质上是完全示例性的。本发明不限于本文中详细描述的实施例，并且对于本领域技术人员显而易见的是，在不脱离本文的发明构思的情况下，包括已经描述的之外的许多修改是可能的。所有这些修改、改变、变化、替换和等同物完全在本发明的范围内。因此，除了所附权利要求的精神之外，本发明的主题不受限制。

本发明的优点

本发明提供了用于识别交通标志的系统和方法。

本发明提供了一种用于识别交通标志的系统和方法，其性能受到照明状况的变化的影响最小。

本发明提供了一种用于识别交通标志的系统和方法，其利用技术来最小化处理器上的计算负荷。

本发明提供了一种用于识别交通标志的系统和方法，其具有自学能力。

本发明提供了一种用于识别交通标志的系统和方法，其能够过滤在灌木丛和树木中形成的虚假圆形物体，使得仅处理真正的圆形物体。

Claims (9)

1.一种在车辆中实现的交通标志识别系统，所述系统包括：图像传感器，用于对车辆驾驶员的视场进行成像；以及处理器，所述处理器与存储器耦合，所述存储器存储可由所述处理器执行以下操作的指令：从所述图像传感器接收一个或多个图像帧，并且为从所述接收的一个或多个图像帧中选择的一组图像帧中的每个图像帧定义感兴趣区域(ROI)，其中所述ROI基于每个图像帧的区段来定义，并且其中每个ROI的尺寸被调整为至少第一分辨率图像和第二分辨率图像；通过分析水平边缘图像和垂直边缘图像的相应像素的梯度值，基于对称点的确定来检测每个图像帧的ROI中的圆形对象，所述水平边缘图像和所述垂直边缘图像是从所述第一分辨率图像和所述第二分辨率图像中的每一个获得的；以及使用卷积神经网络(CNN)使用一个或多个分类器基于检测到的圆形对象来检测至少一个限速交通标志；

所述处理器通过多尺度多半径圆形对象检测器检测所述圆形对象，并且其中所述多尺度多半径圆形对象检测器针对所述第一分辨率图像和所述第二分辨率图像中的每一个的一个或多个预定义半径利用投票技术，其中所述投票技术基于相应像素的梯度值；

所述多尺度多半径圆形对象检测器促进使用所述一个或多个预定义半径中的具有重叠半径的多个尺度的检测，以便有效地检测所述圆形对象并最小化处理负荷。

2.如权利要求1所述的交通标志识别系统，其中，所述处理器使用多级预分类器对包含在所述一组图像帧中的至少一个图像帧中的至少一个假阳性对象进行分类和滤除。

3.如权利要求1所述的交通标志识别系统，其中，所述处理器通过分析所述一组图像帧中的每个图像帧中的所述圆形对象的检测，基于状态的确定来跟踪检测到的圆形对象。

4.如权利要求3所述的交通标志识别系统，其中，所述状态是空闲状态、预跟踪状态、跟踪状态和取消状态中的任何状态，并且其中，基于在所述一组图像帧中的一个或多个连续图像帧中检测到所述圆形对象，所述状态从第一状态改变为第二状态。

5.如权利要求4所述的交通标志识别系统，其中，在所述跟踪状态下利用滤波器来估计和更新所检测到的圆形对象在所述一组图像帧中的所述一个或多个连续图像帧中的位置。

6.如权利要求1所述的交通标志识别系统，其中，所述第一分辨率图像涉及所述ROI的分辨率的一半，用于有效检测远区域中的所述至少一个限速交通标志，并且所述第二分辨率图像涉及所述ROI的分辨率的四分之一，用于有效检测近区域中的所述至少一个限速交通标志。

7.如权利要求1所述的交通标志识别系统，其中，通过以下方式对所述一个或多个预定义半径中的至少一个半径执行所述投票技术：获得所述相应像素的梯度值，每个梯度值包括梯度幅度和梯度方向；确定包括正影响点和负影响点的至少两个梯度影响点，所述正影响点位于沿着梯度方向距中心点的所述至少一个半径的距离处，并且所述负影响点位于与所述中心点处的梯度方向相反的所述至少一个半径的距离处；基于所述至少两个梯度影响点中的所述正面影响点和所述负面影响点中的每一个处的梯度方向来递增投票值；以及将所述中心点的梯度幅度添加到所述正影响点和所述负影响点中的每一个。

8.如权利要求1所述的交通标志识别系统，其中，所述处理器识别并标记所检测到的至少一个限速交通标志。

9.一种根据存储在车辆中实现的计算机中的指令执行的方法，包括：

从与所述车辆可操作地耦合的图像传感器接收一个或多个图像帧，并且为从所述接收的一个或多个图像帧中选择的一组图像帧中的每个图像帧定义感兴趣区域(ROI)，其中所述ROI基于每个图像帧的区段来定义，并且其中每个ROI的尺寸被调整为至少第一分辨率图像和第二分辨率图像；

通过分析水平边缘图像和垂直边缘图像的相应像素的梯度值，基于对称点的确定来检测每个图像帧的ROI中的圆形对象，所述水平边缘图像和所述垂直边缘图像是从所述第一分辨率图像和所述第二分辨率图像中的每一个获得的，以及使用包括卷积神经网络(CNN)的一个或多个分类器，基于检测到的圆形对象来检测至少一个限速交通标志；针对所述第一分辨率图像和所述第二分辨率图像中的每一个的一个或多个预定义半径利用投票技术，其中所述投票技术基于相应像素的梯度值；使用所述一个或多个预定义半径中的具有重叠半径的多个尺度的检测，以便有效地检测所述圆形对象并最小化处理负荷。

Images