CN102194102A - 对交通标志进行分类的方法和装置 - Google Patents

对交通标志进行分类的方法和装置 Download PDF

Info

Publication number
CN102194102A
CN102194102A CN2011100520303A CN201110052030A CN102194102A CN 102194102 A CN102194102 A CN 102194102A CN 2011100520303 A CN2011100520303 A CN 2011100520303A CN 201110052030 A CN201110052030 A CN 201110052030A CN 102194102 A CN102194102 A CN 102194102A
Authority
CN
China
Prior art keywords
traffic sign
coefficient
straight line
fourier space
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100520303A
Other languages
English (en)
Other versions
CN102194102B (zh
Inventor
科巴·纳特罗什维利
阿亚潘·马尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman Becker Automotive Systems GmbH
Original Assignee
Harman Becker Automotive Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman Becker Automotive Systems GmbH filed Critical Harman Becker Automotive Systems GmbH
Publication of CN102194102A publication Critical patent/CN102194102A/zh
Application granted granted Critical
Publication of CN102194102B publication Critical patent/CN102194102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Abstract

描述了一种方法和装置,被配置成确立交通标志(21)是否具有至少一个在该交通标志上线性延伸的图形特征(22)。对图像数据的代表该交通标志(21)的至少一部分的部分进行识别。计算该图像数据的一部分的二维频谱表示的系数(32)。二维频谱表示的系数(32)是针对沿傅立叶空间(31)中的直线(33)布置的傅立叶空间坐标确定的。基于所确定的系数(32),确立该交通标志(21)是否具有至少一个在该交通标志(21)上线性延伸的图形特征(22)。

Description

对交通标志进行分类的方法和装置
技术领域
本发明涉及用于对交通标志进行分类的方法和装置。尤其地,本发明涉及被配置成确立交通标志是否包括一个或多个在该交通标志上线性延伸的条纹的方法和装置。
背景技术
当代的车辆装备了各种不同的传感器,车辆传感器包括对与车辆本身的状态有关的变化进行检测的传感器,以及对车辆周围的变化进行检测的传感器。第二种传感器包括温度传感器、距离传感器和,最近出现的,一个或若干个照相机。
车辆可装备被安装在不同位置上,被配置成监视车辆的周围的单个或多个照相机。这样的照相机可被专门设计成捕捉车辆的周围一定部分的图像。从照相机获得的数据被用于多种目的。可能采用照相机捕捉的图像数据的功能的基本类型是驾驶员辅助系统的领域。驾驶员辅助系统覆盖了很大范围的功能。系统的存在为驾驶员提供了特定信息,例如车内或车外可能发生的紧急状况下的警告。其它驾驶员辅助系统通过在复杂的或危急的驾驶状况下干预控制功能或部分地接管控制功能,进一步增加了驾驶员的舒适度。近来驾驶员辅助系统的种类的例子有防抱死系统(ABS)、牵引力控制系统(TCS),以及电子稳定程序(ESP)。进一步的系统包括自适应巡航控制、智能速度调整和安全性预测系统。
先进的驾驶员辅助系统(ADAS)中的一些功能可以基于交通标志的自动识别,允许在被照相机捕捉到图像数据中包括的交通标志被自动地识别。为了说明的目的,基于从限速标志和限制结束的标志中可获得的信息,可提供附加的支持功能以增加驾驶员舒适度。这样的支持功能可包括当出现违反限速时警告的输出、响应于被检测到的速度限制或其它辅助功能实施对车辆设置的自动调节。同时交通标志上的信息可被包括在车辆上存储的数字地图数据中。地图数据可能需要频繁更新以保持交通标志信息为最新的。而且,在有关交通标志的这样的信息可能不适合只在有限的一段时间内,例如在道路修建的情况下被设置的交通标志。因此,包括关于交通标志的信息的数字地图数据的供应不排除需要对交通标志进行分类的方法和装置。而且,如果数字地图数据是至少部分地基于记录的视频图像或类似信息生成的,则可能需要在生成数字地图数据的处理中执行交通标志的分类。
用于识别交通标志的方法可能采用,例如,基于Adaboost算法、神经中枢网络或支持矢量机(SVM)的分类方法。尽管分类可导致对交通标志的完全的识别,分类还可以实施成确立交通标志是否属于多类交通标志中的一类。针对依赖交通标志的自动识别的ADAS的某些功能,用于对交通标志进行分类所需的时间可能很严格。而且,对于依靠交通标志的自动识别的ADAS的某些功能,假正确检测,即交通标志被错误地分类为属于给定类别的交通标志的分类,应该为较少的。
因此,目前在本领域中需要对交通标志进行分类的改进的方法和装置。尤其是,在本领域中需要对交通标志进行分类的方法和装置,被配置成可靠地确立交通标志是否具有一个或多个在该交通标志上基本线性地延伸的条纹。本领域中对于这样的方法和装置的进一步需求是,适用于在短时间内对在其内部具有一个或多个条纹的交通标志进行分类。
发明内容
如在独立权利要求中限定的方法和装置解决了这种需求,从属权利要求限定了优选的或有利的实施例。
依据本发明的一个方面,提供了对交通标志进行分类的方法,该方法包括确立交通标志是否具有至少一个在该交通标志上线性延伸的图形特征。至少一个在该交通标志上线性延伸的图形特征可以是,例如一个或多个在该交通标志上线性延伸的直线或条纹。在该方法中,对图像数据的表示交通标志至少一部分的部分进行识别。计算该图像数据的部分的二维频谱表示。针对沿傅立叶空间中的一条直线布置的傅立叶空间坐标来确定二维频谱表示的系数,该直线在傅立叶空间中具有选定的方向。基于已确定的系数,确立了该交通标志是否具有至少一个在该交通标志上线性延伸的图形特征。
在这种方法中,在图像数据的那部分的频谱表示中包括的信息,被用于确立该交通标志是否具有至少一个在该交通标志上线性延伸的图形特征。对于通过第一图像坐标以及通过第二图像坐标识别的多个位置,该图像数据部分分别具有对应于颜色或亮度信息的值,该值与一对图像坐标相关联。为了说明的目的,图像数据的一部分的每对图像坐标可具有与之关联的灰度(greyscale)值。因此该图像数据的一部分可被当作表示第一和第二图像坐标的二维函数。对于该图像数据的一部分可计算二维频谱表示。频谱表示的系数是可在图像识别中利用、并可使用有效算法计算的图像的特征属性。
正如在此使用的,并且依据在图像识别领域中的术语,当被解释为二维函数时,图像数据的二维频谱表示提供了在正交基础函数中二维图像数据的级数展开(series expansion)的系数。这些正交基础函数可以使其作为具有被完全限定的空间频率的图像坐标的函数分别周期地变化。二维频谱表示的示例包括二维傅立叶变换、二维余弦变换和二维正弦变换。可以理解的是这样的变换具有离散和连续变量,并且该变换可使用例如快速傅立叶变换(FFT)或其它有效算法的多种算法来计算数值。
而且,正如在此使用的,依照图像识别本领域中的命名法,术语傅立叶空间指的是具有对应于正交基础函数的空间频率的坐标的空间,在正交基础函数中计算了图像数据的级数展开。术语傅立叶空间并不意味该二维频谱表示必须是图像数据的一部分的傅立叶变换,而是同样指的是具有与正交基础函数的空间频率相对应的坐标的空间,在正交基础函数中,当正交基础函数为,例如,余弦函数或正弦函数时,计算图像数据的级数展开。有时候,傅立叶空间还指的是图像识别的领域中的k-空间。为了说明的目的,在傅立叶空间中的一对坐标k1,k2与空间分解基础函数相关联,该空间分解基础函数具有沿由k1确定的第一图像坐标轴x1的第一空间频率,并具有沿由k2确定的第二图像坐标轴x2的第二空间频率。为说明的目的而非构成限制,在傅立叶空间中与一对坐标k1,k2关联的基础函数可能为作为k1·x1·π/N1的函数的余弦变化,和作为k2·x2·π/N2的函数的余弦变化的产物,其中N1和N2分别表示沿x1-方向和x2-方向的图像点的总数量。沿傅立叶空间中的直线求值的频谱表示系数可以是具有沿傅立叶空间中的线布置的k1和k2的频偏表示的一套系数U(k1,k2)。
在该方法中,确定二维频谱表示的系数所沿的傅立叶空间中的直线的方向,可基于至少一个图形特征(如果存在)在交通标志上延伸的方向来选择。多种交通标志,例如在德国使用的限制结束标志,具有在特定方向上线性延伸的图形特征(例如在德国限制结束标志上与正向水平方向成45度角延伸的五条线)。通过基于在交通标志上图形特征的在先已知可能方向来选择傅里叶空间中的直线的方向,该检测灵敏度可针对具有沿给定方向线性延伸的图形特征的交通标志,被选择性地增强。
在该方法中,在傅立叶空间中选择直线的方向可以例如按如下这样执行。如果意图确立交通标志是否具有在相对于图像空间中的第一方向成α角的方向上延伸的图形特征,角α是在现有技术中公知的。为了说明的目的,角α可以是由第一图像空间坐标轴和位于图像坐标系的象限I和IV中线性延伸的图形特征的一部分围成的角度。于是傅立叶空间中直线的方向可被选择成,使得其相对于傅立叶空间中的第一方向围出角β。为了说明的目的,角β可以是由第一傅立叶空间坐标轴和傅立叶空间中的直线的一部分围成的角,该直线位于傅立叶坐标系的象限I和IV中。可对傅立叶空间中直线的方向进行选择,使得85°≤|β-α|≤95°,尤其使得88°≤|β-α|≤92°,更尤其使得89°≤|β-α|≤91°。换句话说,可对傅立叶空间中直线的方向进行选择,使得该直线与在图像空间中在交通标志上延伸的图形特征(如果存在)所沿的方向成直角(误差在±5°以内)。从而,可提高识别具有沿特定方向布置的线性延伸的图形特征的交通标志的灵敏度。
在该方法中,可针对沿傅立叶空间中的直线布置的傅立叶空间坐标,确定二维频谱表示的系数,该傅立叶空间中的直线经过在傅立叶空间中与在图像空间中展示慢空间变化的频谱分解的基础函数,例如常数函数,相关联的点。取决于从图像空间向傅立叶空间的变换的特定实现,可将直线选择成,使其通过例如(k1,k2)=(0,0)、(k1,k2)=(0,N2-1)、(k1,k2)=(N1-1,0)或类似的函数。从而,沿傅立叶空间中的直线确定的二维频谱表示的系数可以由在图形数据的部分中获得的线积分指示。这样的直线积分可展示出明显的特征,例如,明显的顶峰或低限(dips),此处在交通标志上具有线性延伸的图形特征。
在该方法中,确立交通标志是否具有至少一个在其上线性延伸的图形特征的操作,可与二维频谱表示的系数无关地来执行,其中该二维频谱表示对应于傅立叶空间中偏离傅立叶空间中的直线的点。
在该方法中,确立交通标志是否具有至少一个线性图形特征可仅基于沿傅立叶空间中的直线布置的二维图形表示的系数执行。
在该方法中,可对图像数据的一部分执行二维离散的余弦变换、二维离散的正弦变换或二维离散的傅立叶变换,以计算二维频谱表示。使用这些变换中的任意一个确定的系数还可被用作在例如支持矢量机中的进一步的图像识别步骤中的特征属性。进一步的,这样的变换可以高效的方式计算。从而,确立交通标志是否具有至少一个在交通标志上线性延伸的图形特征需要的时间开销可以保持适中。
在该方法中,可基于所确定的系数来对在沿图像空间中的直线的位置处对图像数据的一部分的Radon变形求值所得到的值进行评价,以便确立交通标志是否具有至少一个在该交通标志上线性延伸的图形特征。图像数据的一部分的Radon变形指示了在图像数据的一部分上的线积分,并允许要被辨别的线性延伸的图形特征能够存在。
在该方法中,可通过将已确定的二维频谱表示的系数从傅立叶空间变换到图像空间来计算图像空间的函数,以便确立该交通标志是否具有至少一个在交通标志上线性延伸的图形特征。通过执行从傅立叶空间回到真实空间(即图像空间)的变形,许多线性延伸的图形特征和/或线性延伸的图形特征的位置可更易于被辨别。
在该方法中,可通过对沿傅立叶空间中的直线的傅立叶空间坐标确定的二维频谱表示的系数执行一维离散余弦逆变换、一维离散正弦逆变换或一维傅立叶逆变换来计算图像空间中的函数。因此,可产生对图像数据的一部分Radon变形的近似。
在该方法中,可针对图像空间函数执行阈值比较,以便确立交通标志是否具有至少一个在该交通标志上线性延伸的图形特征。使用阈值比较,可实现对交通标志上有无线性延伸的图形特征的鲁棒识别(robust identification)。
该方法可进一步包括针对沿傅立叶空间中的至少另一条直线布置的傅立叶空间坐标确定二维频谱表示的系数。确立交通标志是否具有至少一个在该交通标志上线性延伸的图形特征,于是可基于针对沿傅立叶空间中的直线布置的傅立叶空间坐标确定的系数,并基于针对沿傅立叶空间中的至少另一条直线布置的傅立叶空间坐标确定的系数来执行。通过利用针对沿傅立叶空间中的不同直线布置的傅立叶空间坐标确定的频谱表示的系数信息,可确立该交通标志上是否具有在其上沿多种方向线性延伸的图形特征。而且,图像数据中线性延伸的图形特征的显示特征可通过对沿傅立叶空间中的不同直线的傅立叶空间坐标确定的频谱表示系数的信息进行对比来辨别。再进一步,在图像化的交通标志中的偏移角可在利用关于沿傅立叶空间中的不同直线确定的频谱表示的系数的信息时被考虑,该偏移角可导致至少一个相对于水平轴所成方向不同于理论预期的方向的图形特征。
在该方法中,可基于沿傅立叶空间中的直线的二维频谱表示的系数,确立交通标志是否是限制结束标志。在许多国家,限制结束的标志是具有,作为共同特征的,一个或若干个线性延伸的特征的标志的类别。为了说明的目的,在德国,限制结束的标志是具有以相对于水平轴成45度角延伸的五条平行线的圆形交通标志。因此可利用该方法来辨别交通标志是否属于限制结束标志的类别。
该方法可进一步包括,为了进一步对交通标志进行分类,将图像数据的一部分提供给至少一个图像识别模块。被提供给图像数据的一部分的至少一个图像识别模块,可基于确立该交通标志是否具有至少一个在该交通标志上线性延伸的图形特征的结果,从多个图像识别模块中选出。因此,通过确立该交通标志是否具有至少一个在该交通标志上线性延伸的图形特征可有助于进一步的图像识别。
在该方法中,当为了进一步对交通标志进行分类,将图像数据的一部分提供给至少一个图像识别模块时,二维频谱表示的一个系数或多个系数也可被提供给各自的图像识别模块。该系数或这些系数可由相应的图像识别模块用作特征属性。相应的图像识别模块可被配置成,至少部分地,基于在先已经被利用来确立该交通标志是否具有一个或多个在该交通标志上线性延伸的特征的系数或多个系数,执行进一步的图像分类或图像识别。
依据本发明的另一个方面,提供了在其上已经存储了指令的计算机程序产品,这些指令在由电子装置的处理器执行时,指引该电子装置执行依据任意一个方面或实施例的方法。该计算机程序产品可包括存储介质,指令被存储在该存储介质上。该存储介质可选自于例如CD-ROM、CD-R/W、DVD、持久存储器、闪存、半导体存储器的可移除存储介质以及硬驱动存储器。
依据本发明的另一个方面,提供了对交通标志进行分类的装置。该装置包括被配制成接收图像数据的输入端和耦合到该输入端以接收图像数据的处理装置。该处理装置被配置成对图像数据的表示该交通标志的至少一部分的部分进行辨别,以计算该图像数据的该部分的二维频谱表示,针对沿傅立叶空间中的直线布置的傅立叶空间坐标确定二维频谱表示的系数,并且基于所确定的系数确立该交通标志是否具有至少一个在该交通标志上线性延伸的图形特征。
正如相对于依据以上多种方面和实施例的方法已经解释的,具有这种配置的装置适用于确立交通标志是否具有至少一个在该交通标志上线性延伸的图形特征,这种确立可基于图像数据的一部分的频谱表示,该频谱表示可被高效地计算。而且,在频谱表示中包括的信息可在进一步的图像识别中,例如,作为支持矢量机的特征属性被利用。
该装置可进一步包括被耦合到输入端的照相机,以向该输入端提供图像数据,因此,可对车辆周围的交通标志进行分类。
该装置可被配置成执行在此描述的任意一个方面或实施例的方法,尤其是,处理装置可被配置成执行参考依据多种方面或实施例的方法描述的多种变形和计算步骤。
依据本发明的另一个方面,提供了用于车辆的驾驶员辅助系统,其包括用于依据任意一个方面或实施例对交通标志进行识别的装置。从而,通过安装在车辆上的驾驶员辅助系统对交通标志的分类可以得到帮助。
依据本发明的多种方面和实施例的方法和装置可在期望或需要对交通标志进行分类或识别的所有应用领域中被利用。可以预计的是在车辆上安装的驾驶员辅助系统、或可用来生成数字地图的用于自动特征提取的方法和系统,是本发明可能的应用领域。然而,本发明不被限制在提及的特定应用中,这些特定应用是为了说明的目的而提及的,并不构成限制。
附图说明
参考附图,将更加详细地描述本发明的实施例。
图1是依据实施例装备了对交通标志进行分类的装置的车辆系统的框图表示;
图2A和图2B是交通标志的图像数据,以及一部分的这样的图像数据的示意性表示;
图3是依据实施例的方法和装置中利用的二维频谱表示的系数的示意性表示;
图4是在依据另一个实施例的方法和装置中利用的二维频谱表示的系数的示意性表示;
图5是在依据实施例的方法和装置中,基于二维频谱表示的系数计算的坐标空间函数的示意性表示;
图6是依据实施例的方法的流程图表示;
图7A说明了交通标志的示范性图像数据,并且图7B和图7C说明了使用依据实施例的方法和装置计算的示范性函数;
图8A说明了另一个交通标志的示范性图像数据,并且图8B说明了使用依据实施例的方法和装置计算的示范性函数;
图9说明了在依据实施例的方法和装置中利用的代表交通标志的图像数据的二维频谱表示的系数;
图10A、图10B和图10C是用于说明依据进一步实施例的方法的图形;
图11是依据另一个实施例的方法的流程图表示。
具体实施方式
将参考后面的附图描述本发明的示范性实施例。可理解的是本发明并非受限于特定实施例。为了说明的目的,尽管一些实施例将在车辆上提供的驾驶员辅助系统的前后文关系中被描述,但依据实施例的方法和装置还可在其它的应用领域中实施,例如用于生成数字地图的在先记录的图形序列的分析。进一步地,除非明确地说明,否则各种实施例的特征可与彼此相结合。
本发明提供了对交通标志进行分类的方法和装置。这些方法和装置被配置成确立交通标志是否具有至少一个在该交通标志上线性延伸的图形特性。为了说明的目的而非进行限制,这样的交通标志的示例包括在例如德国等不同国家的限制结束(end-of-restriction)标志。依据实施例,图像数据的一部分可以经受图像空间(即把图像像素作为坐标的空间)到傅立叶空间(即把一套周期变化的正交基础函数的空间频率作为坐标的空间)的变换。
在依据多种实施例的方法和装置中,图像数据或图像数据的一部分要经受各种操作,例如执行从图像空间到傅立叶空间的转变。图像数据的每个像素具有至少一个与之关联的值。图像数据可被解释为可经受以下详细解释的操作的二维数据域或信号。为了说明的目的,与图像数据的像素关联的值可以是灰度图像的灰度值,对于这些值可实行各种操作。如果图像数据具有色彩信息,对于每个像素例如RGB、CMYK或类似色彩模型的色彩要素(colour tuple),可在对其执行多种操作之前被转化成灰度。备选地,多种操作还可在色彩模型的色彩要素值中的一个上执行。
图1示出了被耦合到车辆仪表板网络10上的驾驶员辅助装置1的示意性表示。该驾驶员辅助装置1包括被配置成依据在此描述的方法中的任意一个对交通标志进行分类的图像识别装置2。该驾驶员辅助装置1进一步包括二维(2D)照相机6、三维(3D)照相机7和用户界面8。该图像识别装置2、2D照相机6和3D照相机7被彼此耦合并且经由总线9被耦合到车辆仪表板网络10上。该车辆仪表板网络10可包括适用于影响车辆行为的多种控制器或车辆系统11、12。这种控制器或车辆系统11、12的示例包括防抱死系统(ABS)、牵引力控制系统(TCS),以及电子稳定程序(ESP)。
2D照相机6适用于捕捉车辆周围的图像,在该车内安装有驾驶员辅助装置。该2D照相机可包括电荷耦合装置(CCD)传感器或适用于接收电磁辐射和将代表车辆周围图像的图像数据提供给图像识别装置2的另一个传感器。由2D照相机捕捉的图像,对于多个图像像素,至少包括灰度值或可转化成灰度或亮度信息的色彩要素。
3D照相机7适用于捕捉车辆周围的3D图像。3D图像是3D照相机7的可视领域(FOV)的深度图(depth map)。该深度图包括3D照相机FOV中多个方向的距离信息,被映射到3D图像的像素上。该3D照相机7可包括飞行时间(TOF)传感器,例如光子混合装置(PDM)传感器。尽管所示出的驾驶员辅助系统1具有3D照相机7,该3D照相机7可在对由2D照相机提供的对应于一交通标志的图像数据的一部分进行辨别时利用,在其它实施例中该3D照相机可被省略。
图像识别装置2具有耦合到总线9的接口3,以接收来自2D照相机6的图像数据以及,如果配备,接收来自3D照相机7的3D图像数据。该图像识别装置2进一步具有处理装置4,该处理装置4可包括一个或多个适用于处理图像数据的处理器。该图像识别装置2进一步具有存储介质5,在该存储介质5中可保存指令代码,当由处理装置4执行该指令代码时,致使处理装置4处理由2D照相机6提供的图像数据,以确立该交通标志是否具有至少一个在该交通标志上线性延伸的图像特征,例如直线或条纹或多个直线或多个条纹。该存储介质5可以是例如CD-ROM、CD-R/W、DVD、持久存储器、闪存、半导体存储器或硬盘存储器。
图像识别装置2被配置成,使得处理装置4在操作中接收表示2D图像的图像数据,并对图像数据进行处理,以辨别表示交通标志的至少一部分的图像数据的部分,并确立该交通标志是否包括一个或多个在该交通标志上线性延伸的图形特征。处理装置4可被配置成对图像数据的一部分执行变换,以便计算图像数据的一部分的二维频谱表示。该变换可以是,例如,离散余弦变换、离散正弦变换或离散傅立叶变换。处理装置4可被配置成使用例如离散傅立叶变换算法的快速算法计算该变换。处理装置4可被配置成沿傅立叶空间中一个或多个直线计算频谱表示,即,被转换成频域图像数据的一部分的系数。
处理装置4可被配置成使得,为了辨别表示交通的至少一部分的图像数据的一部分,形状识别被执行。在一个实施例中,可执行圆形霍氏(Hough)变换以辨别在图像数据中具有圆形的交通标志。在另一个实施例中,由3D照相机7提供的3D图像数据可被用来辨别交通标志。3D图像数据包括深度图,并因此提供了车辆周围环境的分割。可评价由3D照相机7提供的3D图像数据以辨别,由2D照相机6提供的图像数据中,具有对应于交通标志的大小和/或形状的基本上为平面的物体。
处理装置4可被配置成使得,为了计算该图像数据的一部分的二维频谱表示,计算离散余弦转换:
U ( k 1 , k 2 ) = Σ n 1 = 0 N 1 - 1 Σ n 2 = 0 N 2 - 1 u ( n 1 , n 2 ) · cos [ π N 1 · ( n 1 + 1 2 ) · k 1 ] · cos [ π N 2 · ( n 2 + 1 2 ) · k 1 ] - - - ( 1 )
此处,u(n1,n2)表示与在图像空间坐标为(n1,n2)的像素相关联的值,例如灰度值,N1表示图像数据在第一空间方向上的部分中的像素总数,N2表示图像数据在与第一空间方向垂直的第二空间方向上的那部分中的像素总数,k1和k2表示在等式(1)中频谱表示的余弦基准函数的空间变化频率,其中0≤k1≤N1-1且0≤k2≤N2-1,并且U(k1,k2)是与分别沿着x1轴和x2轴的空间频率k1和k2相关联的余弦函数中频谱表示的系数。离散余弦变换的其它变量是公知的,这些变量也可被采用。备选地或额外地,处理装置4可被配置成使得,为了计算图像数据的一部分的二维频谱表示,计算离散傅立叶变换:
U ( k 1 , k 2 ) = Σ n 1 = 0 N 1 - 1 Σ n 2 = 0 N 2 - 1 u ( n 1 , n 2 ) · exp [ - 2 π N 1 · i · n 1 · k 1 ] · exp [ - 2 π N 2 · i · n 2 · k 2 ] - - - ( 2 )
其中U(k1,k2)为具有虚自变数的指数的谱表示的系数,该虚自变数与分别沿x1轴和x2轴的空间频率k1和k2关联。等式(2)中的所有其它变量都定义为与参考等式(1)所解释的一样。
处理装置4可被配置成使得,为了确立交通标志是否具有一个或多个在该交通标志上线性延伸的图形特征,对沿傅立叶空间中的直线定位的值(k1,k2)分析频谱表示的系数U(k1,k2)。在一个实施例中,处理装置4可被配置成对于在0≤k1≤N1-1且k2=[p·k1+q]=floor(p·k1+q)的条件下,分析系数U(k1,k2),其中p和q为有理数值,表示对U(k1,k2)求值时所沿的傅立叶空间中的直线的特征。此处,floor(.)表示地板函数(floor function)。在另一个实施例中,处理装置4可被配置成对于在0≤k1≤N1-1且k2=[p·k1+q]=ceiling(p·k1+q)的条件下,对系数U(k1,k2)进行分析,其中p和q是有理数值,表示了对U(k1,k2)求值时所沿的傅立叶空间中的直线的特征。此处,ceiling(.)表示天棚函数(ceiling function)。将体会到的是,对于有限的图像空间坐标数量,以上表示的被定义成k2的值可能需要通过减少多个N2,才能被转换成范围从0到N2-1的域,以便满足0≤k2≤N2-1。这样的技术在图像识别领域是众所周知的,因此可省略详细解释。
可基于在交通标志相对于街道被正确定向时交通标志上线性延伸的图形特征的公知定向,来选择为进一步分析获取的频谱表示的系数U(k1,k2)所来自的傅立叶空间中的直线,即,参数p和q。为了说明的目的,如果期望通过确立交通标志是否具有一个或多个贯穿该交通标志在图像空间坐标系中以斜率的p’延伸的直线,对交通标志进行分类,参数p和q可被选择为p=-1/p’且q=0或q=N2-1,即,在傅立叶空间中的直线可被选择成经过傅立叶空间中与在实空间中的慢变化方程相关联的点,并且被定向成使得其与图形特征在图像空间中在交通标志上延伸所沿的方向基本垂直。对于傅立叶空间中这样的直线的选择,通过使用例如一维离散余弦逆变换(IDCT)或一维离散傅立叶逆变换,将沿傅立叶空间中的直线定位的具有(k1,k2)的值U(k1,k2)从傅立叶空间变换回到图像空间,在图像空间中获得的函数提供了对于图像数据一部分的Radon变换的评估,正如将参考图10详细解释的。在这样的实现中,对于该交通标志是否具有在其上线性延伸的特征的判定以沿傅立叶空间中的直线布置的点的傅立叶系数为依据,而与偏离傅立叶空间的直线的点相关联的傅立叶系数无关。
为进一步的说明,如果期望通过确立交通标志是否具有相对于第一图像空间坐标轴成45度角延伸的多条直线来对交通标志进行分类,正如在图2A中说明的在德国的限制结束标志的情况,可以分析与沿相对于第一傅立叶空间坐标轴成135度定向的直线布置的(k1,k2)的值相关联的频谱表示的系数U(k1,k2=N2-1-k1)。处理装置4可被配置成使用例如一维离散余弦逆变换(IDCT)或一维离散傅立叶逆变换,将U(k1,k2=N2-1-k1)从傅立叶空间变换到图像空间。如果存在一个或多个在交通标志上以45度角延伸的直线,在图像空间获得的函数将展示明显的低陷或尖峰,表示一个或多个在交通标志上以45度角延伸的直线。
处理装置4还可被配置成使得可分析对于置于两个或更多不同直线上的(k1,k2)值的频谱表示的系数U(k1,k2),以确定该交通标志是否具有一个或多个在该交通标志上线性延伸的图形特征,例如直线或条纹。从而,可依据具有以不同方向在其上线性延伸的图形特征的各种类别的交通标志对交通标志进行分类。
驾驶员辅助系统1的图像识别装置5可被配置成使得,取决于交通标志是否具有以给定方向在其上线性延伸的多个直线,处理装置4对图像数据作进一步分析。为说明的目的,如果已经确立交通标志为限制结束标志,可将图像数据提供给分类机,例如,支持矢量机、神经网络或Adaboost算法,以辨别该交通标志是哪类限制结束标志。在一个实施例中,处理装置4可被配置成确定限制结束标志是表示特定速度限制的结束还是所有限制的结束。通过处理装置4执行的进一步分析仍可基于已确定的图像数据的一部分的频谱表示,以确立该交通标志是否具有一个或多个在其上线性延伸的图形特征。
驾驶员辅助系统1的图像识别装置5可被配置成使得,取决于图像识别处理的结果,信号被输出到用户接口8。为了说明的目的,如果用户接口8包括显示器,在该显示器上示出当前速度限制,图像识别装置5可将信息提供给显示控制器,指示限制结束标志已经被检测的。响应于这种信号,该显示控制器可更新经由用户接口8输出的速度限制信息。
参考图2-5,将参考示范性交通标志更详细地解释图像识别2的处理装置4的操作。
图2A说明了代表交通标志21的图像数据。为了说明的目的而非进行限制,在图2A中说明了例如在德国使用的所有限制结束的交通标志。该交通标志21具有在该交通标志上以方向23延伸的多个条纹22。当该交通标志相对于街道成常规定向时,方向23与图像空间中的正向水平轴夹成一个45度的角α,在24处指示。该角度α是由第一图像空间坐标轴与该交通标志上的图形特征线性延伸所沿的方向夹成的角,该角是在图像空间坐标系的第I和IV象限(上半个平面)中取得的。图2B示出了对应于该交通标志内部的图像数据26的一部分。该交通标志和在其内部的一部分可使用例如基于3D照相机7提供的3D图像数据的圆形霍氏变换或图像分段,来在该图像数据中辨别。如果该图像数据包括色彩信息,则该图像数据可以,但不必须,被转化成灰度表示。在图2B中表示的多个直线可例如表示为函数:
u ( x 1 , x 2 ) = 1 - ( δ X 1 - X 2 + δ X 1 - X 2 + a + δ X 1 - X 2 - a + δ X 1 - X 2 + 2 · a + δ X 1 - X 2 - 2 · a ) - - - ( 3 )
离散狄拉克(Dirac)δ函数在其指数为零时其值为1,否则值为0,其中“a”表示在x2方向上相邻直线的间隔。该图像数据的部分26可被选择成具有矩形形状,该矩形在x1方向上具有N1个像素,而在x2方向上具有N2个像素。该图像数据的部分26可被选择成为具有正方形形状,其中N1=N2
图3说明了,在傅立叶空间31中示出的灰度表示中,图2B的图像数据的部分26的频谱表示的系数U(k1,k2)的模。在图3中,示出了由离散傅立叶变换确定的系数的模|U(k1,k2)|。在图3的灰度表示中,大的值由深颜色表示,同时零值被表示成白色。正如在傅立叶空间31中系数的表示中说明的,仅能在以与图像数据中的多个条纹22基本垂直的方向线性延伸的傅立叶空间的区域32中找到很大的频谱权重。因此可对于在傅立叶空间中沿直线33分布的(k1,k2)的值,例如k2=N2-1-k1,进一步分析系数U(k1,k2)。
傅立叶空间中的直线33被选择成使得,直线33基本垂直于在图像空间中条纹22在交通标志上延伸所沿的方向23。如图3说明的,在傅立叶空间中,直线33与正向k1轴围成角β,以34表示。在傅立叶空间中的正向k1-轴与傅立叶空间坐标系的象限I和IV中的直线33之间对角β进行测量。在傅立叶空间中的直线33具有使得85°≤|β-α|≤95°的方向,该方向尤其使得88°≤|β-α|≤92°,尤其使得89°≤|β-α|≤91°,尤其使得|β-α|≈90°。
虽然图3表示了在傅立叶空间中的一条直线33,从该条直线获得频谱表示的系数,以便进行进一步分析,可能期望辨别在该交通标志上是否存在至少一个在第一方向上线性延伸的图形特征,以及在该交通标志上是否存在至少一个在与第一方向不同的第二方向上线性延伸的图形特征。而且,尽管对于该交通标志被准确定向的情况下,交通标志上的图形特征相对于例如街道表面的方向在理论上可能是公知的,但照相机6与道路侧面相距的距离发生变化、图像拦截中的光学不理想,或交通标志本身的不正确定位,都可能产生交通标志的图像在图像数据中被角度偏移的效果。可能期望即使在这样的情况下也能够确立该交通标志是否具有一个或多个线性延伸的图形特性。在实施例中,可针对在傅立叶空间中沿着一条直线,以及沿多个直线布置的空间频率(k1,k2)的值,进一步分析频谱表示的系数。
图4是傅立叶空间31的图形表示,其示意性地说明了图2B中图像数据的部分26的离散傅立叶变换的系数的模。示意性地说明了傅立叶空间中的附加直线35和36,由这些直线可获得频谱表示的系数以便进行进一步分析。为了说明的目的,傅立叶空间中的直线35通过(k1,k2=k1)给定,其中0≤k1≤N1-1,而傅立叶空间中的直线36通过(0,k2)给定,其中0≤k2≤N2-1。为了说明的目的,因为在傅立叶空间中沿直线35的大部分只有小的频谱权重,处理装置4可确立在图像数据的部分26中,图像数据的该部分并不具有以135度角(即与傅立叶空间中的直线35的方向成直角地)线性延伸的图形特征。类似地,由于在傅立叶空间中沿直线36的大部分只有小的频谱权重,处理装置4可确立在图像数据的一部分26中图像数据的该部分不具有在水平方向上(即与傅立叶空间中的直线36的方向垂直)线性延伸的图形特征。
备选地或额外地,频谱表示的系数可从与傅立叶空间中的直线33角度偏离一个例如小于或等于5度的小角度的角度的直线获取,该直线33与图像空间中图形特征的预期方向相垂直地延伸,对该频谱表示的系数求值以确立在该交通标志上是否具有线性延伸的特征。在沿这样的直线布置的空间频率处对频谱表示的系数进行分析,可在该交通标志相对于其理论预期的定向有角度偏移的情况下帮助分类。
图5是图像空间中的函数37的图形表示。该函数f(X)通过将为沿傅立叶空间中的直线的空间频率(k1,k2)值确定的频谱表示的系数变换回到图像空间获得。图像空间中的函数37可由处理装置4通过执行例如一维离散傅立叶逆变换、一维离散余弦逆变换或一维离散正弦逆变换来计算。函数37在图像空间中展示了显著的低陷38。函数37中的低陷38表示沿图像数据中的图形特征的方向23的线积分,是为沿与图像数据的一部分26中的图形特征方向相垂直地延伸的直线25的不同位置计算的,当沿着图形特征22中的一个,即平行的五条条纹中的一条,执行积分时展示出显著的特征。根据从傅立叶空间转换回到的图像空间以便计算图像空间中的函数f(X)的特定实施,f(X)中的顶峰或低陷的数量和位置不需要与原始图像数据中线性延伸的图形特征的数量和位置一一对应。然而,显著的特征,例如顶峰或低陷,可在f(X)中被辨别出,这允许处理装置4确立:在图像数据的一部分中,即在该交通标志上存在一个或多个线性延伸的图形特征,该图形特征沿图像空间中的与傅立叶空间中的一定方向相关的方向延伸,从该傅立叶空间中的方向上获取频谱表示的系数,以便用来计算f(X)。
处理装置4可被配置成执行f(X)的阈值比较,以确立该交通标志是否落入具有在其上以给定方向线性延伸的图形特征的交通标志的类别中。为了说明的目的,可执行与阈值38的比较。如果对于X的至少一些值,即至少一些图像空间坐标,f(X)小于阈值38,处理装置4可确立该交通标志落入了具有在其上以给定方向线性延伸的图形特征的交通标志的类别中。
图6是依据实施例的方法的流程图表示。总体在41处表示的方法,可通过图1中的驾驶员辅助装置1的图像识别装置2执行。在该方法中,执行了对交通标志的分类。对该交通标志的分类包括确立该交通标志是否具有至少一个在其上线性延伸的图形特征。
在42处,图像数据被获取。可从2D照相机,例如驾驶员辅助装置1的2D照相机6,获取图像数据。备选地或额外地,例如当自动地评估先前记录的图像时,该图像数据可从存储介质中获取。
在43处,对代表交通标志的图像数据的一部分进行辨别。可使用适当的图像分段方法辨别代表交通标志的那部分。为了说明的目的,如果期望通过确立圆形交通标志是否具有至少一个在其上线性延伸的图形特征对交通标志进行分类,在43处的辨别可包括计算圆形霍氏变形。备选地或额外地,对图形数据的一部分的辨别可基于由3D照相机,例如驾驶员辅助装置1的3D照相机7,提供的3D图像数据。
在44处,计算图像数据的一部分的二维频谱表示的系数。对该二维频谱表示的计算可包括计算二维离散傅立叶变换、二维离散余弦变换或二维离散正弦变换。
在45处,针对沿傅立叶空间中的直线定位的傅立叶空间坐标,确定频谱表示的系数。由于这些系数在44处已经被在先计算,在45处的确定可通过辨别与沿傅立叶空间中的直线定位的给定傅立叶空间坐标关联的频谱表示的系数实施。可针对沿在傅立叶空间中具有预定方向的直线布置的傅立叶空间坐标,确定频谱表示的系数。该傅立叶空间中的预定方向可以是基于在该交通标志上,如果存在,至少一个图形特征的方向确定的方向。备选地或额外地,傅立叶空间中的预定方向可以是彼此不同的多个预定方向中的一个。该多个预定方向可以是使得,基于针对沿多个预定方向的傅立叶空间坐标的频谱表示的系数,可以确立该交通标志是否属于具有至少一个在其上以多个不同方向中的一个线性延伸的图形特征的交通标志的类别。
在46处,基于与沿傅立叶空间中的直线布置的傅立叶空间坐标关联的频谱表示的系数计算图像空间中的函数。为计算频谱表示,可计算系数的一维变换。为了说明的目的,系数可经受一维离散傅立叶逆变换、一维离散余弦逆变换或一维离散正弦逆变换的变换。在46处计算图像空间中的函数所采用的变换可以是在44处计算二维频谱表示的变换的逆变换,即使是在一维中。
在47处,可以确定是否将对傅立叶空间中的至少另一条直线确定系数。如果是这种情况,在48处选出该另一条直线,并且该方法返回45处。
在49处,确立该交通标志是否具有至少一个在其上线性延伸的图形特征。在49处该确立可基于在46处确定的图像空间中的函数执行。在49处该确立可包括确定在图像空间的函数是否具有一个或多个函数值的显著改变。可分别地执行阈值比较,以确立对于在46处确定的每一个函数,该函数是否具有至少一些小于或大于预定阈值的函数值。函数值发生显著改变的位置可与已知交通标志上直线的预期位置进行比较。
该方法中可包括额外的步骤。为了说明的目的,可在返回图像空间的一维变换计算之前,在傅立叶域中执行滤波。该滤波可被执行以补偿模糊(blurring)。该滤波可对44处计算的二维频谱变换执行,或对45处确定的沿傅立叶空间中的直线的系数执行。可使用|f|-斜坡滤波器。
为了进一步说明的目的,在执行阈值比较之前,归一化可被应用于在49处计算的图像空间中的函数。在49处计算的函数可被归一化,使得该归一化函数在执行阈值比较之前具有最大值1。
参考图7至图9,将在示范性交通标志的上下文关系中进一步解释依据实施例的方法和装置。
图7A说明了例如在德国使用的所有限制结束的标志51。图7B示出了图像空间中的函数54、55,该函数是通过将图6中的方法应用于代表交通标志51的图像数据确立的。函数54通过对图像数据的一部分执行二维离散余弦变换、针对沿相对于k1-轴成135度定向的直线布置的傅立叶空间坐标确定系数U(k1,k2),以及对这样确定的系数执行一维离散余弦逆变换以返回图像空间来确定。函数55通过针对沿以相对于k1-轴0度定向,即平行于k1-轴,的直线布置的傅立叶空间坐标来确定系数U(k1,k2)、对这样确定的系数执行一维离散余弦逆变换以返回图像空间来确定。函数54展示出显著的低陷56。该函数55不展示出类似的状况。通过对比函数54和55,可以确立交通标志具有垂直于图7A中在52处表示的直线延伸的直线,但是不具有在该交通标志上以与在图7A中53处表示的直线方向相垂直地线性延伸的直线。
在图7B中可以看出,依据为计算频谱表示的系数,在图像数据的一部分上执行的变换的特定实施,并依据一维逆变换,在图像空间中函数54中显著的顶峰或低陷的数量和位置不需要总是与图像数据中线性延伸的图形特征的数量和位置相等。尤其是,当采用余弦或正弦变换时,一些信息可能因为与原始数据的对比而被丢失,这可具有并非在图像数据中存在的每条直线都可被辨别成函数f(X)中分离的顶峰或低陷的结果。然而,这样的具有给定方向的图形特征的存在或不存在可基于图像空间中函数54确立。
图7C示出了当滤波和归一化被采用时,通过将图6的方法应用到代表交通标志51的图像数据而确定的图像空间中的函数57。更特定地,为标出模糊效应,通过将|f|-斜坡滤波器应用于针对沿相对于k1-轴以135度定向的直线布置的傅立叶空间坐标的系数U(k1,k2),通过将滤波系数变换到图像空间并通过对结果进行归一化,使得在图像空间中函数f(X)的最大值为1,计算了所说明的函数57。同时滤波抑制f(X)中的显著变化,垂直于图7A中示出的直线52延伸的五条条纹致使f(X)在至少一个区域中具有小的值,正如在59处指出的。在图像空间中函数f(X)的值可与阈值58比较,以确立该交通标志51是否具有垂直于图7A中示出的直线52定向的线性延伸的特征。
图8A说明了例如在德国使用的禁止超车结束的标志61。已经对该图像数据执行了灰度反转,白色与高灰度值相关联。图8B示出了通过将图6的方法应用于代表交通标志61的图像数据而确定的图像空间中的函数65-67。通过对图像数据的该部分执行二维离散傅立叶变换、针对沿相对于k1-轴以135度定向的直线布置的傅立叶空间坐标确定系数U(k1,k2)、以及对这样确定的系数执行一维离散傅立叶逆变换以返回到图像空间,来确定函数65。通过针对沿相对于k1-轴以90度定向,即平行于k2-轴的直线布置的傅立叶空间坐标确定系数U(k1,k2)、以及对这样确定的系数执行一维离散傅立叶逆变换以返回到图像空间,来确定函数66。通过为沿相对于k1-轴以0度定向,即平行于k1-轴的直线部署的傅立叶空间坐标确定系数U(k1,k2)、以及对则有确定的系数执行一维离散傅立叶逆变换以便返回到图像空间,来确定函数67。函数65展现出具有显著的顶峰68,显著的顶峰68的数量和位置与图像数据的一部分61中直线的数量和位置相对应。函数66和67也示出了一些变化,由于在交通标志中存在灰色的汽车图形,而不展现与函数65一样的显著顶峰。通过将函数65与函数66和67进行比较,可确立该交通标志具有与在图8A中62处示出的直线相垂直地延伸的直线,但是不具有在该交通标志上以垂直于图8A中63和64处示出的直线方向线性延伸的具有相当的亮度和长度的直线。
图9说明了通过对颜色反转的德国使用的全部限制结束标志71执行离散的二维傅立叶变换获得的系数的模|U(k1,k2)|。图像空间坐标系统已经被选成,使得图像空间坐标系统的原点在限制结束标志71的左上角,使得五条条纹相对于正向x1-轴以135度角延伸。正如在图9中可以看出的,傅立叶频谱表示的很大的频谱权重集中在傅立叶空间中的直线k1=k2上,其中|U(k1,k2)|值很大。通过分析沿傅立叶空间中的直线k1=k2的频谱表示的系数,可因此确定该交通标志是否具有一个或多个相对于正向x1-轴以135度角延伸的图形特征。
尽管在参考图2-图5以及图7-图9的示范性交通标志的上下文中解释方法和装置的操作,但这些方法和装置可广泛地被用于确立该交通标志是否具有一个或多个在其上线性延伸的图形特征。这些方法和装置可被配置成分析沿傅立叶空间中的直线的傅立叶空间坐标的频谱表示系数,正如将参考图10详细解释的。
图10A示出了代表交通标志上的图形特征的二维函数u(x1,x2)的示意图81。通过执行二维傅立叶变换,u(x1,x2)的频谱表示通过其傅立叶变换U(k1,k2)提供,该傅立叶变换U(k1,k2)可沿傅立叶空间中的直线被求值。假设沿傅立叶空间中相对k1-轴成φ角并穿过(k1,k2)=(0,0)的直线对傅立叶变换U(k1,k2)求值,该直线的傅立叶空间坐标可被参数化为(k1,k2)=k(cosφ,sinφ)。对于给定的φ值,该方程还可被称为Up(k,φ)。
依据所谓的中心滑动定理,也称为投影滑动定理,将这样确定的函数Up(k,φ)变换回真实空间,即图像空间,的傅立叶逆变换给出了函数up(R,φ),该函数up(R,φ)代表u(x1,x2)的Radon变形:
u p ( R , φ ) = 1 2 · π ∫ - ∞ ∞ U p ( k , φ ) · exp ( i · 2 · π · R · k ) · dk
= ∫ - ∞ ∞ u φ ( R , T ) · dT - - - ( 4 )
这里R和T定义了相对于x1-x2-轴-系统旋转的图像空间坐标系统,且R=cos(φ)·x1+sin(φ)·x2而T=cos(φ)·x2-sin(φ)·x1,并且其中
uφ(R,T)=u(cos(φ)·R-sin(φ)·T,sin(φ)·R-cos(φ)·T)    (5)
参考图10B,示意性地示出了R-轴82和T-轴。正如可从等式(4)和(5)中理解到,up(R,φ)代表在沿平行于T轴并经过R-轴上的点的直线取得的R轴82上的点上的线积分。即,up(R,φ)代表函数u(x1,x2)在R-轴82上的投影。例如,在R-轴上的点R083处取得的up(R0,φ)等于u(x1,x2)沿直线84的线积分。通过定义,up(R,φ)代表了u(x1,x2)的Radon变形。
图10C说明了这种沿T-方向的平行投影。为了清楚的原因,R-轴被示为偏离图像空间坐标系统的原点。在图10C中示意性示出的断线上分别取得的u(x1,x2)上的线积分,提供了在85出说明的函数up(R,φ),该函数可由沿傅立叶空间中的直线求值的u(x1,x2)的二维傅立叶变换确定。当线积分是沿交通标志上线性延伸并且在平行于投影T的直线的方向上延伸的图形特征获取的时,该线积分展现了显著的顶峰或低陷。因此,这样线性延伸的图形特征可由依据等式(4)计算的函数up(R,φ)确定。正如上面已经解释的,可替代等式(4)中使出的傅立叶变换而采用余弦和正弦变换,以确立在交通标志上是否存在线性延伸的图形特征,结果图像空间函数仍展示如能在Radon变形中发现的一样的顶峰或低陷。
将体会到的是,在以上等式(4)的上下文中提到的中心滑动原理可来源于,例如,Radon变形可被当作u(x1,x2)的卷积以及与图10B中示出的Dirac直线82关联的Dirac delta函数的事实。在傅立叶空间中,两个图像空间函数的卷积变换成傅立叶变换的产物。与直线82相对应的Dirac直线的傅立叶变换仍旧是Dirac直线,并且u(x1,x2)的Radon变形可因此通过对Up(k,φ)上执行从傅立叶空间到图像空间的一维变换来确定。
在这些方法和装置中,交通标志的分类可在已经确立该交通标志是否属于在其上具有线性延伸的图形特征的交通标志的类别之后继续。
图11是依据实施例的方法的流程图表示,该实施例的总体在91处示出。该方法可通过依据以上描述的任意一个实施例的驾驶员辅助装置执行。
在92处,确立了该交通标志是否具有至少一个在其上线性延伸的图形特征。在92处的确立可实施成使得只有沿一个给定方向,或多个给定方向中的一个延伸的图形特征的交通标志能被辨别。在92处的确立可通过使用例如依据图6描述的方法中的一个来实施。
如果在92处确立了该交通标志具有至少一个在其上以一个给定方向,或多个给定方向中的一个线性延伸的图形特征,则在93处,向第一图像识别模块或分类器提供图像数据的该部分。如果在92处确立了该交通标志不具有至少一个在其上以一个给定方向或多个给定方向中的一个线性延伸的图形特征,则在94处,向不同于第一图像识别模块或分类器的第二图像识别模块或分类器提供图像数据的该部分。第一和第二图像识别模块分别被配置成执行对该交通标志的进一步分类。第一和第二图像识别模块可分别使用支持矢量机、神经网络、或Adaboost算法实施。关于被求值的特征属性,和/或关于图像识别模块的具体实施,第一和第二图像识别模块可彼此不同。
在93或94处对图像数据的该部分的进一步分类,还可分别基于在92处预先计算出的频谱表示的系数中的至少一个。通过,例如,离散余弦变换或离散的傅立叶变换确立的频谱表示的系数,正如在92处确定的,是可在93和94处的分类中使用的特征属性。
在95处,可分别地基于在93或94处执行的进一步图像识别的结果启动在驾驶员辅助装置中的处理。
虽然通过参考附图对本发明的实施例进行了描述,但是各种变形和备选还可在其他实施例中实施。为了说明的目的,虽然已经描述的方法和装置通过执行傅立叶变换或离散傅立叶变换确定图像数据的一部分的频谱表示,但是其他变换,例如离散余弦变换,也可在其他实施例中利用,以确定频谱表示的系数。为了进一步说明,虽然从其中获取频谱表示的系数的傅立叶空间中的直线已经被示出经过了与频谱分析的慢变化基准函数关联的傅立叶空间中的点,但是傅立叶空间中的该直线也可以偏离这样的点,以便确立例如该交通标志是否在其上具有一个或多个分别地展现出给定周期的断条纹。
虽然期望本发明的实施例可以被有利地用在车辆上执行的图像识别中,但是应用的领域并不受限于此。而是,本发明的实施例可在任何期望或要求对交通标志进行分类的系统或应用中使用。

Claims (15)

1.一种对交通标志(21;51;61;71)进行分类的方法,所述方法包括确立所述交通标志(21;51;61;71)是否具有至少一个在所述交通标志(21;51;61;71)上线性延伸的图形特征(22),尤其是一个或多个在所述交通标志(21;51;61;71)上线性延伸的直线或条纹,
其中所述方法包括以下由电子装置(5)执行的步骤:
识别图像数据的表示所述交通标志(21;51;61;71)的至少一部分的部分(26);
计算所述图像数据的所述部分(26)的二维频谱表示的系数(32;72);
针对沿傅立叶空间(31)中的直线(33)布置的傅立叶空间坐标确定所述二维频谱表示的所述系数(32;72),所述直线(33)具有傅立叶空间(31)中选定的方向;以及
基于所述确定的系数(32;72),确立所述交通标志(21;51;61;71)是否具有所述至少一个在所述交通标志(21;51;61;71)上线性延伸的图形特征(22)。
2.如权利要求1所述的方法,其中傅立叶空间(31)中的所述直线(33)的所述方向是基于方向(23)选择的,所述至少一个图形特征(22)在如果存在的情况下在所述交通标志(21;51;61;71)上沿该方向(23)延伸。
3.如权利要求2所述的方法,
其中所述至少一个图形特征(22)在如果存在的情况下在所述交通标志(21;51;61;71)上以相对于图像空间中的第一方向成α角(24)的方向线性延伸,而傅立叶空间(31)中的所述直线(33)相对于傅立叶空间中第一方向成β角(34),
其中所述傅立叶空间中的所述第一方向表示与图像空间中的所述第一方向相关联的频谱分量,并且,
其中傅立叶空间(31)中的所述直线(33)的所述方向被选择成,使得85°≤|β-α|≤95°,尤其使得88°≤|β-α|≤92°,更尤其使得89°≤|β-α|≤91°。
4.如前述权利要求中的任一项所述的方法,
其中对所述图像数据的所述部分执行二维离散余弦变换、二维离散正弦变换或二维离散傅立叶变换,以计算所述二维频谱表示的所述系数(32,72)。
5.如前述权利要求中的任一项所述的方法,
其中在图像空间中沿直线(25;52;53;62-64)的位置处对所述图像数据的所述部分的Radon变形求值所获得的值,被基于所述确定的系数(32,72)进行评价,以便确立所述交通标志(21;51;61;71)是否具有所述至少一个在所述交通标志(21;51;61;71)上线性延伸的图形特征(22)。
6.如前述权利要求中的任一项所述的方法,
其中图像空间中的函数(37;54,55;65-67)是通过将所述确定的系数(32;72)从傅立叶空间(31)变换到图像空间计算的,以便确立所述交通标志(21;51;61;71)是否具有至少一个在所述交通标志(21;51;61;71)上线性延伸的图形特征(22)。
7.如权利要求6所述的方法,
其中图像空间中的所述函数(37;54,55;65-67)是通过对所述确定的系数(32;72)执行一维离散余弦逆变换、一维离散正弦逆变换或者一维傅立叶逆变换计算的。
8.如权利要求6或权利要求7所述的方法,
其中在图像空间中对所述函数(37;54,55;65-67)执行阈值比较,以便确立所述交通标志(21;51;61;71)是否具有至少一个在所述交通标志(21;51;61;71)上线性延伸的图形特征(22)。
9.如前述权利要求中的任一项所述的方法,进一步包括:
针对沿傅立叶空间(31)中的至少另一条直线(35,36)布置的傅立叶空间坐标,确定所述二维频谱表示的所述系数;
其中确立所述交通标志(21;51;61;71)是否具有所述至少一个在所述交通标志(21;51;61;71)上线性延伸的图形特征(22)的所述步骤,是基于针对沿傅里叶空间(31)中的所述直线(33)布置的傅立叶空间坐标确定的所述系数(32;72),并基于针对沿傅里叶空间(31)中的所述至少另一条直线(35,36)布置的傅立叶空间坐标确定的所述系数执行的。
10.如前述权利要求中的任一项所述的方法,
其中,基于所述确定的系数(32;72),确立所述交通标志(21;51;61;71)是否是限制结束的标志。
11.如前述权利要求中的任一项所述的方法,进一步包括:
将所述图像数据的所述部分(26)提供给至少一个图像识别模块,以便进一步对所述交通标志(21;51;61;71)进行分类,其中所述图像数据的所述部分(26)被提供给的所述至少一个图像识别模块,是基于确立所述交通标志(21;51;61;71)是否具有所述至少一个在所述交通标志(21;51;61;71)上线性延伸的图形特征(22)的所述步骤的结果,从多个图像识别模块中选出的。
12.一种计算机程序产品,
具有存储在其上的指令,当这些指令由电子装置(2)的处理器(4)执行时,指引该电子装置(2)执行依据前述权利要求中的任一项所述的方法。
13.一种用于对交通标志(21;51;61;71)进行分类的装置,包括
被配置成接收图像数据的输入端(3);以及
耦合到所述输入端(2)以接收所述图像数据的处理装置(4),所述处理装置被配置成
辨别所述图像数据的表示所述交通标志(21;51;61;71)的至少一部分的部分(26);
计算所述图像数据的所述部分(26)的二维频谱表示的系数(32;72);
针对沿傅立叶空间(31)中的直线(33)布置的傅立叶空间坐标,确定所述二维频谱表示的所述系数(32;72);以及
基于所述确定的系数(32;72)确立所述交通标志(21;51;61;71)是否具有所述至少一个在所述交通标志(21;51;61;71)上线性延伸的图形特征(22)。
14.如权利要求13中所述的装置,
其中所述设备(2)被配置成执行权利要求1至11中的任一项所述的方法。
15.一种用于车辆的驾驶员辅助系统,包括:
用于依据权利要求13或权利要求14识别交通标志(21;51;61;71)的装置(2)。
CN201110052030.3A 2010-03-04 2011-03-04 对交通标志进行分类的方法和装置 Active CN102194102B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP10002244.1 2010-03-04
EP10002244A EP2363827B1 (en) 2010-03-04 2010-03-04 Method and device for classifying a traffic sign

Publications (2)

Publication Number Publication Date
CN102194102A true CN102194102A (zh) 2011-09-21
CN102194102B CN102194102B (zh) 2017-05-10

Family

ID=42320381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110052030.3A Active CN102194102B (zh) 2010-03-04 2011-03-04 对交通标志进行分类的方法和装置

Country Status (4)

Country Link
US (1) US20110216202A1 (zh)
EP (1) EP2363827B1 (zh)
JP (1) JP2011187049A (zh)
CN (1) CN102194102B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722695A (zh) * 2012-05-11 2012-10-10 重庆邮电大学 缩微交通环境下的锥形标识别方法
CN109146958A (zh) * 2018-08-15 2019-01-04 北京领骏科技有限公司 一种基于二维图像的交通标志空间位置测量方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101312306B1 (ko) 2011-11-11 2013-09-27 서강대학교산학협력단 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법
FR3024573B1 (fr) * 2014-07-30 2016-09-30 Valeo Schalter & Sensoren Gmbh Detection de panneaux de signalisation d'entree et de sortie de zone a vitesse limitee dans des images
JP6561463B2 (ja) * 2014-12-25 2019-08-21 カシオ計算機株式会社 描画装置、描画装置の動作制御方法及び描画装置の動作制御プログラム
CN107111944B (zh) * 2014-12-30 2021-03-23 3M创新有限公司 车辆识别系统识别的标牌
CN107563404B (zh) * 2017-07-18 2021-02-02 北京工业大学 一种交通标志分类方法及装置
US10928828B2 (en) 2018-12-14 2021-02-23 Waymo Llc Detecting unfamiliar signs
US11380110B1 (en) * 2020-12-17 2022-07-05 GM Global Technology Operations LLC Three dimensional traffic sign detection
US11861915B2 (en) 2021-09-03 2024-01-02 Waymo Llc Pipeline architecture for road sign detection and evaluation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068844B1 (en) * 2001-11-15 2006-06-27 The University Of Connecticut Method and system for image processing for automatic road sign recognition
US20070092159A1 (en) * 2003-11-04 2007-04-26 Canon Kabushiki Kaisha Method of estimating an affine relation between images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068844B1 (en) * 2001-11-15 2006-06-27 The University Of Connecticut Method and system for image processing for automatic road sign recognition
US20070092159A1 (en) * 2003-11-04 2007-04-26 Canon Kabushiki Kaisha Method of estimating an affine relation between images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
R.ACH* ETC.: "《Classification of Traffic Signs in Real-Time on a Multi-Core Processor》", 《2008 IEEE INTELLIGENT VEHICLES SYMPOSIUM》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722695A (zh) * 2012-05-11 2012-10-10 重庆邮电大学 缩微交通环境下的锥形标识别方法
CN102722695B (zh) * 2012-05-11 2015-03-25 重庆邮电大学 缩微交通环境下的锥形标识别方法
CN109146958A (zh) * 2018-08-15 2019-01-04 北京领骏科技有限公司 一种基于二维图像的交通标志空间位置测量方法
CN109146958B (zh) * 2018-08-15 2022-05-10 北京领骏科技有限公司 一种基于二维图像的交通标志空间位置测量方法

Also Published As

Publication number Publication date
EP2363827A1 (en) 2011-09-07
CN102194102B (zh) 2017-05-10
JP2011187049A (ja) 2011-09-22
EP2363827B1 (en) 2012-10-10
US20110216202A1 (en) 2011-09-08

Similar Documents

Publication Publication Date Title
CN102194102A (zh) 对交通标志进行分类的方法和装置
EP2237988B1 (en) Object detection and recognition system
US8634593B2 (en) Pixel-based texture-less clear path detection
US8452053B2 (en) Pixel-based texture-rich clear path detection
US8699754B2 (en) Clear path detection through road modeling
Yan et al. A method of lane edge detection based on Canny algorithm
CN107392139B (zh) 一种基于霍夫变换的车道线检测方法及终端设备
JP5223675B2 (ja) 車両検知装置,車両検知方法並びに車両検知プログラム
US20100104137A1 (en) Clear path detection using patch approach
US20100166259A1 (en) Object enumerating apparatus and object enumerating method
Phung et al. Pedestrian lane detection in unstructured scenes for assistive navigation
CN106951898B (zh) 一种车辆候选区域推荐方法及系统、电子设备
CN108052904B (zh) 车道线的获取方法及装置
CN101383005B (zh) 一种利用辅助规则纹理的乘客目标图像和背景分离方法
CN102354457A (zh) 基于广义霍夫变换的交通信号灯位置检测方法
CN102243705A (zh) 基于边缘检测的车牌定位方法
CN102360503B (zh) 基于空间贴近度和像素相似性的sar图像变化检测方法
JP2009163682A (ja) 画像識別装置及びプログラム
KR101998584B1 (ko) 차선 검출 장치 및 차선 검출 방법
CN108268866B (zh) 一种车辆检测方法和系统
EP2889806A2 (en) Image processing device, image processing system, mobile object control apparatus, image recognition method, and carrier means
CN108460348A (zh) 基于三维模型的道路目标检测方法
US20090129632A1 (en) Method of object detection
Kanitkar et al. Vision based preceding vehicle detection using self shadows and structural edge features
CN110765877B (zh) 基于热像仪和双目相机的行人检测方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1162214

Country of ref document: HK

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1162214

Country of ref document: HK