CN105550632B - 交通标志牌识别装置及其工作方法 - Google Patents

交通标志牌识别装置及其工作方法 Download PDF

Info

Publication number
CN105550632B
CN105550632B CN201510696101.1A CN201510696101A CN105550632B CN 105550632 B CN105550632 B CN 105550632B CN 201510696101 A CN201510696101 A CN 201510696101A CN 105550632 B CN105550632 B CN 105550632B
Authority
CN
China
Prior art keywords
traffic mark
mark board
data
region
effective coverage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510696101.1A
Other languages
English (en)
Other versions
CN105550632A (zh
Inventor
郑惇旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Publication of CN105550632A publication Critical patent/CN105550632A/zh
Application granted granted Critical
Publication of CN105550632B publication Critical patent/CN105550632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种交通标志牌识别装置及其工作方法，本发明一个实施例的交通标志牌识别装置可包括：影像获取部，其利用摄像头获取从车辆至预定范围的影像；关心区域指定部，其识别所述影像内的交通标志牌，并将包括所述交通标志牌的预定区域指定为关心区域；有效区域提取部，其提取所述关心区域中除预先设定的第一颜色所占区域之外的有效区域并算出有效区域数据，所述有效区域数据为关于所述有效区域的数据；以及，近似度算出部，其利用所述有效区域数据算出从各影像识别到的所述交通标志牌之间的近似度。本发明的交通标志牌识别装置能够提高车辆行驶过程中对交通标志牌的识别性能。

Description

交通标志牌识别装置及其工作方法
技术领域
本发明涉及交通标志牌识别装置及其工作方法，尤其涉及一种能够提高车辆行驶过程中对交通标志牌的识别性能的交通标志牌识别装置及其工作方法。
背景技术
随着信息通信技术的快速发展，车辆相关各种电子设备技术开发也在加快。
随着分析摄像头拍摄的影像并提示相关信息的多种驾驶员辅助(DriverAssistant)技术的开发，不仅出现了车道偏离警报、车辆碰撞警报等警报功能，还出现了识别道路交通标志牌并将标志牌提供的信息传递给驾驶员，以预先防止超速等危险情况和辅助行驶路线的技术。
上述基于影像的交通标志牌识别技术是通过识别影像内特定图案的算法检测标志牌区域。另外，为了解决随道路总体情况发生未检测到或误检测的问题，还出现了对之前检测的关于预定客体的数据适用跟踪算法(tracking)算出近似度，以此提高识别交通标志牌等预定客体的识别率的技术。
大部分交通标志牌不同于其他物体，普遍都具有预定模型及形状。例如，圆形等特定形状或具有红色轮廓的颜色特征等，这种特殊的特征在实际检测标志牌、对检测到的标志牌适用跟踪算法方面作为比较部分，相比于其他物体更容易检测。
通常，识别影像内有关预定物体的特定图案时，已经识别到的客体在后续帧中一般不会发生有意义的变化，因此对适用跟踪算法不会造成太大困难。
但是，道路交通标志牌还存在不同于上述一般情况的特殊情况，即具有LED等光源的发光交通标志牌。
尤其在光源根据脉宽调制(Pulse Width Modulation)方式的控制工作的情况下，虽然肉眼看上去交通标志牌光源一直处于开启状态，而实际上处于以预定周期反复开关的状态。
在该状态分析摄像头生成的影像并识别交通标志牌的话出错可能性非常大。其具体原因在于摄像头拍摄车辆周边空间时，遮光器按预定速度反复通过或遮蔽光。即，摄像头实际生成的影像可能频繁发生交通标志牌的部分区域未充分显现的情况，即不同于肉眼识别。
【现有技术文献】
【专利文献】
韩国公开专利公报10-2012-0057351号：限速标志牌识别方法及装置、影像识别方法(公开日期：2012年06月15日)。
发明内容
技术问题
本发明的目的在于解决上述现有技术问题，根据本发明的实施例提供一种能够提高车辆行驶过程中对交通标志牌的识别性能的交通标志牌识别装置及其工作方法。
尤其，在识别交通标志牌时减少因发光交通标志牌中的光源周期性开关而产生的不利影响(如，未识别到或误识别交通标志牌)。
本发明的目的不限于以上提及的目的，本领域技术人员可通过以下记载明确理解未提及的其他目的。
技术方案
本发明的一个方面提供一种交通标志牌识别装置，包括：影像获取部，其利用摄像头获取从车辆至预定范围的影像；关心区域指定部，其识别所述影像内的交通标志牌，并将包括所述交通标志牌的预定区域指定为关心区域；有效区域提取部，其提取所述关心区域中除预先设定的第一颜色所占区域之外的有效区域并算出有效区域数据，所述有效区域数据为关于所述有效区域的数据；以及，近似度算出部，其利用所述有效区域数据算出从各影像识别到的所述交通标志牌之间的近似度。
本发明的另一方面提供一种交通标志牌识别装置的工作方法，其特征在于，包括：获取从车辆至预定范围的影像的步骤；将所述影像内包括交通标志牌的预定区域指定为关心区域的步骤；提取所述关心区域中除预先设定的第一颜色所占区域之外的有效区域的步骤；算出包括所述有效区域的大小、形状、颜色、清晰度及比例中至少一个信息的有效区域数据的步骤；以及，比较在预定时间点识别的交通标志牌的有效区域数据与预先存储的比较用数据算出两者之间的近似度的步骤。
其他实施例的具体内容参见下述具体说明及附图。
技术效果
根据本发明的实施例，提供一种不仅能够提高对非发光交通标志牌的识别性能，还能够提高对发光交通标志牌的识别性能的交通标志牌识别装置及其工作方法。
具体来讲，从影像内相当于交通标志牌的整个区域中以预定颜色为基准提取有效区域，利用该有效区域算出交通标志牌之间的近似度，因此相比于算出近似度时还考虑非有效区域的现有技术，能够显著提高交通标志牌识别性能。
并且，还能够利用交通标志牌的整个区域中除非有效区域之外的有效区域的信息算出近似度，因此相比于算出近似度时还考虑非有效区域的方式，能够大幅减少运算量。
并且，在识别交通标志牌时利用车辆的速度及方向相关信息，因此能够获得更加准确的识别结果。
并且，持续更新用于与依次识别到的标志牌进行比较的比较用数据，因此即使交通标志牌的种类、时间经过、道路情况等外部环境发生变化，仍能够提供稳定的标志牌识别结果。
本发明的技术效果不限于以上记载的效果，本领域技术人员可通过技术方案的记载明确理解未记载的其他技术效果。
附图说明
图1为显示常用交通标志牌的示意图；
图2为显示发光交通标志牌周期性开关时的影像变化的示意图；
图3为显示本发明实施例的交通标志牌识别装置的框图；
图4为显示本发明实施例在影像中指定关心区域的一个例子的示意图；
图5为显示根据本发明实施例从关心区域提取的有效区域的一个例子的示意图；
图6为根据本发明的实施例利用有效区域的比例更新比较用数据的一个例子的示意图；
图7为根据本发明的实施例利用有效区域的清晰度更新比较用数据的一个例子的示意图；
图8为根据本发明的实施例利用有效区域的清晰度更新比较用数据的另一例子的示意图；
图9为显示本发明实施例的交通标志牌识别装置的工作方法的流程图。
附图标记说明
10：交通标志牌识别装置 110：影像获取部
120：关心区域指定部 130：有效区域提取部
140：近似度算出部 150：车辆信息收集部
160：位置推定部 170：更新部
S1-S5：第一标识 S6-S10：第二标识
L1-L7：第一下位区域至第七下位区域 R：关心区域
VA：有效区域 NA：非有效区域
具体实施方式
参照附图及以下说明的实施例便可明确本发明的优点、特征及实现方法。但是，本发明并非限定于以下公开的实施例，而是还可以通过其他多种形态实现，本实施例只是使本发明的公开更加完整，使本发明所属技术领域的普通技术人员容易理解发明的范畴，本发明由技术方案的范畴定义。
另外，本说明书在无特殊记载的情况下单数型还包括复数型。说明书中使用的“包括(comprises)”及/或“包括的(comprising)”是指记载的构成要素、步骤、动作及/或元件不排除存在或还有一个以上的其他构成要素、步骤、动作及/或元件。
说明书将各构成要素的名称区分为第一、第二等，其原因在于这些构成要素的名称相同，从而为加以区分。以下说明中并不限定于其顺序。
以下参照附图进一步详细说明本发明实施例。
图1为显示常用交通标志牌的示意图。
常用交通标志牌有注意标志、限制标志、指示标志、辅助标志等。首先，图1中(a)表示注意标志中的“减速带”标志，图1中(b)表示限制标志中的“最高限速(50km/h)”标志，图1中(c)表示指示标志中的“右转”标志，图1中(d)表示辅助标志中的“路面状态(雪、雨)”标志。
交通标志牌可包括第一标识及第二标识。参照图1，第一标识是用图形、数字、文字或箭头等表示且具有关键信息的标识S1-S4，第二标识是具有环绕第一标识的三角形、圆、四角形等形状且具有关于标志类型信息的标识S6-S9。
为了向驾驶员传递准确信息，必须能够从交通标志检测出第一标识，并且为了生成较为准确的信息，优选的是同时检测出第二标识。
另外，发光交通标志牌是包括至少一个光源，通过光源输出的光起到交通标志牌功能的标志牌。此处，光源主要以发光二极管(Light Emitting Diode，LED)为主，但并不限于此，在能够发光为驾驶员提供预定信息的前提下不受特殊限定。
发光交通标志牌中相当于参照图1所述第一标识或第一标识及第二标识的区域配置有至少一个光源。例如，以图2中(b)所示限制标志为例，第一颜色(如，白色)的光源配置在相当于第一标识的区域可以显示有关最高限速的信息，与第一颜色不同的第二颜色(如，红色)的光源配置在相对于第二标识的区域可以表示该标志为限制标志。
以下以发光交通标志牌为近似图2中(b)表示限速的限制标志为基准说明本发明的实施例。但本领域技术人员应理解本发明除限速限制标志之外还可以适用于其他标志。
图2为显示发光交通标志牌周期性开关(on-off)时的影像变化的示意图。
首先参照图2中(a)可知设置于道路的结构物上具有用于提示限速信息的四个发光交通标志牌。道路上各指定位置都具有提示驾驶员安全驾驶或引导路线的交通标志牌。参照图2中(a)，四个车道的对应位置分别具有正在发光的发光交通标志牌，车辆的摄像头连续生成的三个帧中，沿箭头方向的各发光交通标志牌的形状发生变化。其原因如上，由于发光交通标志牌的光源周期性开关(on-off)，因此虽然是同一个发光交通标志牌，但摄像头生成的影像帧中的形状仍各异。
图2中(b)只单独显示图2中(a)的发光交通标志牌中的任意一个标志牌。沿箭头依次显示有连续生成的六个帧。通过观察可以发现，第一个帧中第一标识S5与第二标识S6均非常清晰，但第二个帧至第五个帧显示的第一标识S5与第二标识S6的清晰度低于第一个帧，而第六个帧显示的第一标识S5与第二标识S6的清晰度又再次接近第一个帧。连续生成的各影像中第一标识与第二标识的形状、大小、清晰度等发生变化的情况下，识别交通标志牌时可能会出错，甚至会出现根本不能识别出交通标志牌的情况。
图3为显示本发明实施例的交通标志牌识别装置的框图，图4为显示本发明实施例在影像中指定关心区域R的一个例子的示意图，图5为显示根据本发明实施例从关心区域R中提取有效区域VA的一个例子的示意图。
参照图3，本发明实施例的交通标志牌识别装置10可包括影像获取部110、关心区域指定部120、有效区域提取部130及近似度算出部140。根据需要，还可以包括车辆信息收集部150、位置推定部160、更新部170及比较数据存储部180中的至少一个。
首先对影像获取部110进行说明。影像获取部110获取从车辆到预定范围的影像。影像获取部110可包括至少一个摄像头。交通标志牌一般位于沿车辆行驶路线的车辆前方，因此可以以挡风板(wind screen)为基准将摄像头设置在车辆外部或内部或装配在前保险杠的一侧，以确保能够拍摄车辆前方。但摄像头装配位置不限于此，实际上可以根据需要改变装配位置。
关心区域指定部120识别影像获取部110获取的各影像整个区域内的交通标志牌。交通标志牌的第一标识与第二标识由数字、文字或图形等构成，因此关心区域指定部120可以利用图案识别算法识别交通标志牌。例如如图4左侧所示，可以识别车辆行驶车道上包括第一标识S5与第二标识S10的交通标志牌。
并且，关心区域指定部120可以将包括交通标志牌的预定区域指定为关心区域R。即，如图4右侧所示，从影像的整个区域中分离出包括交通标志牌的区域。具体来讲，关心区域指定部120可以只把交通标志牌指定为关心区域R，也可以把环绕交通标志牌的预定区域也指定为关心区域R。仅把交通标志牌指定为关心区域R的情况下，能够减少用于提取下述有效区域VA的运算量。与此相比，把环绕交通标志牌的预定区域也指定为关心区域R的情况下，可以利用交通标志牌之外区域的信息算出各影像中交通标志牌之间更为准确的近似度。有效区域提取部130可以将关心区域R区分为有效区域VA及非有效区域NA，以下另外对此进行说明。
另外，根据本发明一个实施例的交通标志牌识别装置10还可以包括车辆信息收集部150、位置推定部160。车辆信息收集部150收集包括车辆速度及行驶方向信息在内的车辆信息。影像获取部110获取的影像随车辆的速度及行驶方向变化，因此将该信息发送给位置推定部160。
位置推定部160根据从车辆信息收集部150接收的车辆信息推定影像中交通标志牌的位置。位置推定部160可以参照车辆的速度或行驶方向信息算出当前获取影像内的交通标志牌从之前影像中的位置发生多少变更即算出推定值。例如，车辆的速度越大、相同时间内行驶方向变化越大，之前影像与当前影像内交通标志牌的位置变化越大。
并且，位置推定部160可以算出推定得到的交通标志牌的位置坐标。推定得到的交通标志牌的坐标信息可用于提取下述有效区域VA。
有效区域提取部130从关心区域R除去预先设定的第一颜色所占区域提取有效区域VA。以发光交通标志牌为例，为提高第一标识及第二标识发出光的辨识性，可以使配置有光源的第一标识及第二标识之外的区域由与第一颜色不同的第三颜色(如，黑色)形成。这种情况下，有效区域提取部130可能会把配置于第一标识或第二标识的光源中处于关闭状态的部分光源所占区域的颜色处理为第三颜色。
以非发光交通标志牌为例，可以使相当于第一标识及第二标识的区域之外的区域由白色形成。这种情况下，有效区域提取部130可以将相当于第一标识及第二标识的区域中被污物等遮挡的区域处理为白色。
即，识别对象为发光交通标志牌的情况下，非有效区域NA可以是发光交通标志牌中第一标识与第二标识之外的区域及配置于第一标识或第二标识的光源中处于关闭状态的部分光源所占区域之和。
在识别对象为非发光交通标志牌的情况下，非有效区域NA可以是第一标识与第二标识之外的区域及相当于第一标识或第二标识的区域中被污物等遮挡区域之和。
参照图5可以看出从图4中(b)所示关心区域R提取的有效区域VA。有效区域VA可包括关于第一标识的第一有效区域VA1与关于第二标识的第二有效区域VA2。图4中(b)所示关心区域R是从部分光源处于关闭状态时获取的影像中提取的，因此相当于第一标识的第一颜色(如，白色)的数字及相当于第二标识的第二颜色(如，红色)圆形中部分具有第三颜色(如，黑色)。因此，有效区域提取部130提取的有效区域VA中不包括相当于正确的第一标识及第二标识的区域中第一颜色所占的区域，提取结果如图5所示。
并且，有效区域提取部130在从关心区域R提取出有效区域VA后算出有效区域数据，有效区域数据是指包括关于提取出的有效区域VA的至少一个以上信息的数据。例如，有效区域数据可包括有效区域VA的大小、形状、颜色、清晰度及比例中至少一个信息。有效区域VA的大小及形状可用于使各影像的有效区域VA之间相匹配的影像尺寸调整(Resizing)等，有效区域VA的颜色可用于判别交通标志牌的类型等，有效区域VA的比例可用于下述更新比较用数据。
近似度算出部140利用有效区域数据算出从各影像识别到的交通标志牌之间的近似度。可以算出相邻影像(如，第N个影像与第N-1个影像，N为大于2的正整数)之间的近似度，也可以算出不相邻影像(如，第N个影像与第N-2个影像，N为大于3的正整数)之间的近似度。以下说明以在特定时间点获取的影像为基准算出与之后获取的影像之间的近似度的实施例。
另外，本发明一个实施例的交通标志牌识别装置10还可以包括比较数据存储部180。比较数据存储部180可以存储之前识别的交通标志牌中任意一个交通标志牌的有效区域数据作为比较用数据。
近似度算出部140可以通过比较在预定时间点识别的交通标志牌的有效区域数据与存储于比较数据存储部180的比较用数据算出两者之间的近似度。其中，预定时间点可以表示识别到比较用数据相关交通标志牌的时间点之后的时间点。
并且，近似度算出部140可以在算出的近似度为预先设定临界值以上时判断为在预定时间点识别的交通标志牌与比较用数据所对应交通标志牌相同。即，近似度算出部140在不同时间点识别到的至少两个以上的交通标志牌的近似度为预先设定临界值以上时，可以将作为近似度算出对象的两个以上交通标志牌处理为相同交通标志牌。在此，可以根据有效区域数据的类型分别设定不同临界值。
例如，算出在预定时间点识别的交通标志牌的有效区域形状与比较用数据的有效区域形状之间的近似度为87％，有效区域VA形状的设定临界值为83％，这种情况下近似度算出部140可以将两个交通标志牌处理为相同交通标志牌。
这种情况下，近似度算出部140可以只对关心区域R中除非有效区域NA之外的有效区域VA执行模板匹配(template matching)等算出近似度。即，非有效区域NA是不包括判断在不同时间点获取的影像内的交通标志牌是否相同方面的有用信息的区域，因此可以只利用关心区域R中除非有效区域NA之外的有效区域VA的信息算出近似度。即，近似度算出对象不是两个时间点的整个关心区域R，而只是有效区域VA。因此能够提高交通标志牌识别性能、减少运算量。
根据本发明的一个实施例，更新部170可以更新比较用数据，以此提高交通标志牌识别性能。更新部170可以根据有效区域VA比例或有效区域VA清晰度更新比较用数据。
图6显示根据本发明的实施例利用有效区域VA的比例更新比较用数据的一个例子。具体来讲，图6为更新部170根据有效区域比例更新比较用数据的一个例子，可以看出最高限速(120km/h)的限制标志。
首先参照图6中(a)，左侧显示比较用数据所对应交通标志牌RC，右侧显示第N个影像的交通标志牌RN。比较用数据所对应交通标志牌RC中相当于第二标识的圆区域的一半左右区域相当于非有效区域NA，数字‘0’的局部相当于非有效区域NA。相反，第N个影像的交通标志牌RN中数字‘1’的上端局部相当于第一颜色，但相当于第一标识及第二标识的区域大部分被提取成有效区域VA。即，第N个影像的交通标志牌RN的有效区域比例大于比较用数据所对应交通标志牌RC的有效区域比例。这种情况下，更新部170如图6中(a)下端所示，更新之前比较用数据使得第N个影像的交通标志牌RN的有效区域数据成为比较用数据。其原因在于第N个影像的交通标志牌RN能够更为准确地提供最高限速(120km/h)信息。
图6中(b)显示不同于图6中(a)的例子，其左侧显示比较用数据所对应交通标志牌RC，右侧显示第N个影像的交通标志牌RN。比较用数据所对应交通标志牌RC中相当于第二标识的圆区域的局部与数字‘2’下端局部相当于非有效区域NA。相反，第N个影像的交通标志牌RN中相当于第一标识的区域大部分及数字‘12’相当于非有效区域NA。即，比较用数据所对应交通标志牌RC的有效区域比例大于第N个影像的交通标志牌RN的有效区域比例。因此，更新部170如图6中(b)下端所示，可以不更新比较用数据。其原因在于比较用数据所对应交通标志牌RC能够更为准确地提供最高限速(120km/h)信息。
另外，更新部170可以将在预定时间点识别的交通标志牌的有效区域VA中清晰度大于比较用数据所对应交通标志牌的有效区域VA的清晰度的区域设定为对象区域，更新比较用数据所对应交通标志牌的有效区域VA中对应于对象区域的区域的有效区域数据。
图7显示本发明的实施例利用有效区域VA的清晰度更新比较用数据的一个例子，图8显示本发明的实施例利用有效区域VA的清晰度更新比较用数据的另一例子。
图7中左侧显示比较用数据所对应交通标志牌RC，右侧显示第N个影像的交通标志牌RN，与图6中(a)相同。更新部170可以从第N个影像的交通标志牌RN中提取清晰度大于比较用数据所对应交通标志牌RC的区域并设定为对象区域。如图7所示情况下，比较用数据所对应交通标志牌RC中第二标识的缺少区域及第一标识数字‘0’的缺少区域的清晰度小于第N个影像的交通标志牌RN中相应区域的清晰度，因此可以将该区域设定为对象区域。这种情况下，更新部170如图7下端所示，可以更新比较用数据使得比较用数据所对应交通标志牌的第一标识及第二标识中相当于对象区域的区域的清晰度使得具有第N个影像的交通标志牌RN的清晰度。
与图7相比，图8的区别在于一个影像中有效区域VA内各区域具有不同清晰度。为便于说明，假设相当于第一标识及第二标识的整个区域被提取成了有效区域VA。
首先参照图8中(a)，左侧显示比较用数据所对应交通标志牌RC的第二标识的清晰度大于第一标识的清晰度，而右侧显示第N个影像的交通标志牌RN的第一标识的清晰度大于第二标识的清晰度。即，可以将第N个影像的交通标志牌RN中相当于第一标识的区域设定为对象区域。这种情况下，更新部170如图8中(a)下端所示，可以更新比较用数据使得比较用数据所对应交通标志牌的第一标识所对应的区域使得具有第N个影像的交通标志牌RN的第一标识所对应的区域的清晰度。
参照图8中(b)，左侧涉及比较用数据所对应交通标志牌RC，右侧涉及第N个影像的交通标志牌RN，为便于说明，只显示了表示最高限速(120km/h)的限制标志中第一标识内的数字‘1’区域。
更新部170将有效区域VA划分成多个下位区域(如，像素)，可以分别比较各下位区域的比较用数据所对应交通标志牌RC与第N个影像的交通标志牌RN之间的清晰度并确定是否要进行更新。
再次参照图8中(b)，为确定是否要对比较用数据所对应各下位区域进行更新，更新部170可以将有效区域VA中相当于‘1’的区域划分成多个下位区域L1至L7。比较用数据所对应交通标志牌RC中第一下位区域L1、第二下位区域L2、第四下位区域L4及第五下位区域L5具有第一清晰度，第三下位区域L3、第六下位区域L6及第七下位区域L7具有第二清晰度。与此相比，第N个影像的交通标志牌RN中第一下位区域L1、第三下位区域L3、第四下位区域L4及第七下位区域L7具有第一清晰度，第二下位区域L2及第五下位区域L5具有第二清晰度，第六下位区域L6具有第三清晰度。其中，第一清晰度大于第二清晰度，第二清晰度大于第三清晰度。这种情况下，更新部170将第N个影像的交通标志牌RN中具有大于比较用数据所对应交通标志牌RC的清晰度的第三下位区域L3及第七下位区域L7设为对象区域。此时如图8中(b)下端所示，可以更新使得比较用数据所对应交通标志牌RC的第一下位区域L1、第二下位区域L2、第三下位区域L3、第四下位区域L4、第五下位区域L5及第七下位区域L7具有第一清晰度，第六下位区域L6具有第二清晰度。
另外，图8中(b)只显示了有效区域VA中数字‘1’区域，但这只是为了便于说明，实际上同样可以适用于整个有效区域VA。
图9为显示本发明实施例的交通标志牌识别装置10的工作方法的流程图。
参照图9，步骤S910中，影像获取部110获取从车辆到预定范围的影像。
然后在步骤S930，关心区域指定部120将影像内包括交通标志牌的预定区域指定为关心区域R。
另外在步骤S930之前，步骤S921中，车辆信息收集部150收集包括车辆速度及行驶方向的车辆信息，步骤S922中，位置推定部160可以根据车辆信息推定影像中交通标志牌的位置。对此，关心区域指定部120可以在步骤S930指定关心区域R时利用位置推定部160推定的交通标志牌的位置信息(如，坐标)。
然后在步骤S940，有效区域提取部130提取关心区域指定部120指定的整个关心区域R中除预先设定的第一颜色所占区域之外的有效区域VA。有效区域VA是交通标志牌中包括有效信息的区域，可以是相当于上述第一标识及第二标识的区域，关心区域R中预先设定的第一颜色所占区域是非有效区域NA。
然后在步骤S950，有效区域提取部130算出有效区域数据。有效区域数据可包括有效区域VA的大小、形状、颜色、清晰度及比例中至少一个信息。
然后在步骤S960，近似度算出部140比较在预定时间点算出的有效区域数据与预先存储的比较用数据算出近似度。可通过相互比较比较用数据与在预定时间点算出的有效区域数据中有效区域VA的大小、形状、颜色、清晰度及比例等相关信息算出近似度。例如，可以仅比较有效区域VA的形状算出近似度或同时比较有效区域VA的大小及比例并对得到的结果分别赋予加权值算出近似度。
然后在步骤S970，近似度算出部140比较在步骤S960算出的近似度与预先设定的临界值。
当近似度为预先设定临界值以上时，步骤S972中，近似度算出部140可以处理为在预定时间点算出的有效区域数据所对应交通标志牌与比较用数据所对应交通标志牌相同。相反，近似度小于预先设定临界值时，步骤S974中，近似度算出部140可以处理为在预定时间点算出的有效区域数据所对应交通标志牌不同于比较用数据所对应交通标志牌。
近似度算出部140处理为与交通标志牌相同的情况下，更新部170可以确定是否更新比较用数据。
例如在步骤S982，更新部170比较在预定时间点识别的交通标志牌的有效区域VA的比例是否超过比较用数据的有效区域VA的比例，比较结果为在预定时间点识别的交通标志牌的有效区域VA的比例超过比较用数据的有效区域VA的比例时，可以在步骤S990更新比较用数据。即，步骤S990中，更新之前比较用数据使得在预定时间点识别的交通标志牌的有效区域数据设定为比较用数据。
又例如，步骤S984中，更新部170判断在预定时间点识别的交通标志牌的有效区域VA中是否存在清晰度大于比较用数据所对应交通标志牌的有效区域VA的区域，判断结果为存在该区域时，可以在步骤S986中将该区域设定为对象区域。然后在步骤S990，更新部170可以更新比较用数据。具体来讲，更新部170可以将关于对象区域的数据反映到比较用数据更新比较用数据。
以上说明的本发明实施例不仅可以通过装置及其方法实现，还可以通过实现对应于本发明实施例构成部分的功能的程序或具有该程序的存储介质实现，本发明所属领域的普通技术人员可基于上述实施例容易实现。
并且，本发明所属领域的普通技术人员在不脱离本发明技术方案的范围内可对本发明进行多种替换、变形及变更，因此并不限定于上述实施例及附图，可选择性地组合各实施例的全部或部分实现多种变形。

Claims (11)

1.一种交通标志牌识别装置，其特征在于，包括：
影像获取部，其利用摄像头获取从车辆至预定范围的影像；
关心区域指定部，其识别所述影像内的交通标志牌，并将包括所述交通标志牌的预定区域指定为关心区域；
有效区域提取部，其提取所述关心区域中除预先设定的第一颜色所占区域之外的有效区域并算出有效区域数据，所述有效区域数据为关于所述有效区域的数据；
近似度算出部，其利用所述有效区域数据算出从各影像识别到的所述交通标志牌之间的近似度，通过比较在预定时间点识别的交通标志牌的有效区域数据与比较用数据算出两者之间的近似度；
比较数据存储部，其存储所述比较用数据，所述比较用数据是之前识别到的交通标志牌中任意一个交通标志牌的有效区域数据；以及
更新部，其在所述预定时间点识别的交通标志牌的有效区域比例超过所述比较用数据的有效区域比例时，将所述比较用数据更新成在所述预定时间点识别的交通标志牌的有效区域数据，
所述更新部将在所述预定时间点识别的交通标志牌的有效区域中具有比所述比较用数据所对应交通标志牌的有效区域更大清晰度的区域设定为对象区域，并更新所述比较用数据所对应交通标志牌的有效区域中对应于所述对象区域的区域的有效区域数据。
2.根据权利要求1所述的交通标志牌识别装置，其特征在于：
所述交通标志牌是包括至少一个以上光源的发光交通标志牌，所述光源根据脉宽调制方式的控制按预定周期反复开关。
3.根据权利要求1所述的交通标志牌识别装置，其特征在于：
所述有效区域数据包括所述有效区域的大小、形状、颜色、清晰度及比例中至少一个信息。
4.根据权利要求1所述的交通标志牌识别装置，其特征在于，还包括：
车辆信息收集部，其收集包括关于所述车辆的速度及行驶方向的信息的车辆信息。
5.根据权利要求4所述的交通标志牌识别装置，其特征在于，还包括：
位置推定部，其根据所述车辆信息推定所述影像中的所述交通标志牌的位置，
其中，所述关心区域指定部参照推定得到的所述位置识别所述影像内的交通标志牌。
6.根据权利要求1所述的交通标志牌识别装置，其特征在于：
所述近似度算出部在所述近似度为预先设定的临界值以上时，判断为在所述预定时间点识别的交通标志牌与所述比较用数据所对应交通标志牌相同。
7.一种交通标志牌识别装置的工作方法，其特征在于，包括：
获取从车辆至预定范围的影像的步骤；
将所述影像内包括交通标志牌的预定区域指定为关心区域的步骤；
提取所述关心区域中除预先设定的第一颜色所占区域之外的有效区域的步骤；
算出包括所述有效区域的大小、形状、颜色、清晰度及比例中至少一个信息的有效区域数据的步骤；以及
比较在预定时间点识别的交通标志牌的有效区域数据与预先存储的比较用数据算出两者之间的近似度的步骤；
比较在所述预定时间点识别的交通标志牌的有效区域比例与所述比较用数据的有效区域比例的大小的步骤；以及
在所述预定时间点识别的交通标志牌的有效区域比例超过所述比较用数据的有效区域比例时，将所述比较用数据更新成在所述预定时间点识别的交通标志牌的有效区域数据的步骤，
其中，所述比较用数据是在所述预定时间点之前识别到的交通标志牌的有效区域数据。
8.根据权利要求7所述的交通标志牌识别装置的工作方法，其特征在于，还包括：
收集包括关于所述车辆的速度及行驶方向的信息的车辆信息的步骤。
9.根据权利要求8所述的交通标志牌识别装置的工作方法，其特征在于，还包括：
根据所述车辆信息推定所述影像中所述交通标志牌的位置的步骤，
指定所述关心区域的步骤具体是，参照推定得到的所述位置识别所述影像中的所述交通标志牌。
10.根据权利要求7所述的交通标志牌识别装置的工作方法，其特征在于，还包括：
比较所述近似度与预先设定的临界值的大小的步骤；以及
所述近似度超过预先设定的临界值时，判断为在所述预定时间点识别的交通标志牌与所述比较用数据所对应交通标志牌相同的步骤。
11.根据权利要求7所述的交通标志牌识别装置的工作方法，其特征在于，还包括：
将在所述预定时间点识别的交通标志牌的有效区域中具有比所述比较用数据所对应交通标志牌的有效区域更大清晰度的区域设为对象区域的步骤；以及
更新所述比较用数据所对应交通标志牌的有效区域中对应于所述对象区域的区域的有效区域数据的步骤。
CN201510696101.1A 2014-10-23 2015-10-23 交通标志牌识别装置及其工作方法 Active CN105550632B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140144322A KR101737791B1 (ko) 2014-10-23 2014-10-23 교통 표지판 인식 장치 및 그 동작 방법
KR10-2014-0144322 2014-10-23

Publications (2)

Publication Number Publication Date
CN105550632A CN105550632A (zh) 2016-05-04
CN105550632B true CN105550632B (zh) 2019-02-15

Family

ID=55792246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510696101.1A Active CN105550632B (zh) 2014-10-23 2015-10-23 交通标志牌识别装置及其工作方法

Country Status (3)

Country Link
US (1) US9489586B2 (zh)
KR (1) KR101737791B1 (zh)
CN (1) CN105550632B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6187534B2 (ja) * 2015-05-11 2017-08-30 トヨタ自動車株式会社 車両の規制速度表示装置
KR101678095B1 (ko) * 2015-07-10 2016-12-06 현대자동차주식회사 차량, 및 그 제어방법
US10691958B1 (en) * 2015-07-30 2020-06-23 Ambarella International Lp Per-lane traffic data collection and/or navigation
JP6552979B2 (ja) * 2016-02-16 2019-07-31 株式会社日立製作所 画像処理装置、警告装置、画像処理システム、画像処理方法
JP6607139B2 (ja) * 2016-04-26 2019-11-20 トヨタ自動車株式会社 情報収集システム
CN105956641A (zh) * 2016-05-14 2016-09-21 李华敏 一种远程智能识别交通标志牌的方法
CN106204800B (zh) * 2016-07-06 2018-08-07 福州瑞芯微电子股份有限公司 自动交通标志识别提醒的方法、装置及行车记录仪
CN107784042B (zh) * 2016-08-31 2021-02-05 阿里巴巴（中国）有限公司 一种对象匹配方法及装置
CN106557759B (zh) * 2016-11-25 2020-03-17 北京小米移动软件有限公司 一种标志牌信息获取方法及装置
US10276043B2 (en) * 2016-12-22 2019-04-30 GM Global Technology Operations LLC Vehicle system using vehicle-to-infrastructure and sensor information
DE102016015513A1 (de) * 2016-12-23 2018-06-28 Lucas Automotive Gmbh Fahrassistenz-System eines Kraftfahrzeugs
DE102016015514A1 (de) * 2016-12-23 2018-06-28 Lucas Automotive Gmbh Fahrassistenz für ein Kraftfahrzeug
US10607094B2 (en) * 2017-02-06 2020-03-31 Magna Electronics Inc. Vehicle vision system with traffic sign recognition
CN108985138A (zh) * 2017-06-02 2018-12-11 奥迪股份公司 信息提供系统和方法
WO2019030682A1 (en) 2017-08-08 2019-02-14 3M Innovative Properties Company AUTHENTICATION OF TRACK ARTICLES
US11341845B2 (en) 2018-12-12 2022-05-24 Here Global B.V. Methods and systems for roadwork zone identification
US10928828B2 (en) * 2018-12-14 2021-02-23 Waymo Llc Detecting unfamiliar signs
CN109782364B (zh) * 2018-12-26 2021-08-24 华设设计集团股份有限公司 基于机器视觉的交通标志牌缺失检测方法
CN111750880A (zh) * 2019-03-29 2020-10-09 上海擎感智能科技有限公司 一种辅助停车方法及其装置
CN110853180B (zh) * 2019-10-21 2021-11-09 中国第一汽车股份有限公司 一种识别交通标志牌发生变化的行车记录方法及系统
CN112906424B (zh) * 2019-11-19 2023-10-31 上海高德威智能交通系统有限公司 图像识别方法、装置及设备
CN112820130B (zh) * 2019-12-27 2022-03-29 四川九洲视讯科技有限责任公司 基于内容分析的模式转换平台
KR102311719B1 (ko) * 2020-11-16 2021-10-12 (주)에바 자율주행 차량의 제어를 위한 마커의 무결성 검증 방법, 서버 및 컴퓨터프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819728A (zh) * 2012-07-17 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 一种基于分类模板匹配的交通标志检测方法
EP2573711A2 (en) * 2011-09-23 2013-03-27 Ricoh Company, Ltd. Traffic sign detecting method and traffic sign detecing device
CN103971128A (zh) * 2014-05-23 2014-08-06 北京理工大学 一种面向无人驾驶车的交通标志识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040086153A1 (en) * 2002-10-30 2004-05-06 Yichang Tsai Methods and systems for recognizing road signs in a digital image
KR101014125B1 (ko) 2008-12-04 2011-02-14 재단법인대구경북과학기술원 지능형 자동차를 위한 교통 표지판 검출 방법 및 상기 방법을 실행하는 시스템
WO2011007484A1 (ja) * 2009-07-17 2011-01-20 パナソニック株式会社 運転支援装置、運転支援方法及びプログラム
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
KR101445739B1 (ko) 2012-11-13 2014-10-06 한국건설기술연구원 도로표지판의 위치검출 방법
KR101865958B1 (ko) 2012-11-22 2018-06-11 현대자동차주식회사 속도 제한 표지판 인식 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2573711A2 (en) * 2011-09-23 2013-03-27 Ricoh Company, Ltd. Traffic sign detecting method and traffic sign detecing device
CN102819728A (zh) * 2012-07-17 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 一种基于分类模板匹配的交通标志检测方法
CN103971128A (zh) * 2014-05-23 2014-08-06 北京理工大学 一种面向无人驾驶车的交通标志识别方法

Also Published As

Publication number Publication date
KR101737791B1 (ko) 2017-05-19
KR20160047864A (ko) 2016-05-03
US9489586B2 (en) 2016-11-08
US20160117562A1 (en) 2016-04-28
CN105550632A (zh) 2016-05-04

Similar Documents

Publication Publication Date Title
CN105550632B (zh) 交通标志牌识别装置及其工作方法
CN111212772B (zh) 用于确定车辆的驾驶策略的方法和设备
CN110197589B (zh) 一种基于深度学习的闯红灯违法检测方法
CN105260699B (zh) 一种车道线数据的处理方法及装置
CN104361350B (zh) 一种交通标识识别系统
CN102663743B (zh) 一种复杂场景中多摄影机协同的人物追踪方法
CN104574960B (zh) 一种交通灯识别方法
CN103345766B (zh) 一种信号灯识别方法及装置
US10496891B2 (en) Driver assistance system and method for object detection and notification
CN102789234A (zh) 基于颜色编码标识的机器人导航方法及系统
CN107577981A (zh) 一种道路交通标识识别方法及装置
CN104978560B (zh) 行车线标识识别装置
CN110659543A (zh) 基于手势识别的车辆控制方法、系统及车辆
CN102963294A (zh) 一种夜间行驶车辆远光灯开启状态的判别方法
CN101944176A (zh) 存在交通设施标识的更优畅通路径检测
CN103522970A (zh) 基于机器视觉的车辆行驶安全检测方法和系统
CN111009008B (zh) 一种基于自学习策略的机场飞机自动挂标方法
CN106446785A (zh) 基于双目视觉的可行道路检测方法
AU2021255130B2 (en) Artificial intelligence and computer vision powered driving-performance assessment
CN105864706A (zh) 投射系统和投射方法
CN103020930A (zh) 一种夜间监控视频增强方法
CN108932464A (zh) 客流量统计方法及装置
CN112528795A (zh) 信号灯的灯色识别方法、装置及路侧设备
KR20090093119A (ko) 움직이는 객체 추적을 위한 다중 정보의 융합 방법
CN117392611A (zh) 工地安全监测方法、系统、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant