CN104937637B - 用于识别交通标志牌的车辆用影像识别系统 - Google Patents

用于识别交通标志牌的车辆用影像识别系统 Download PDF

Info

Publication number
CN104937637B
CN104937637B CN201480005780.7A CN201480005780A CN104937637B CN 104937637 B CN104937637 B CN 104937637B CN 201480005780 A CN201480005780 A CN 201480005780A CN 104937637 B CN104937637 B CN 104937637B
Authority
CN
China
Prior art keywords
mentioned
exposure
frame
gain
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480005780.7A
Other languages
English (en)
Other versions
CN104937637A (zh
Inventor
朴光
朴光一
林详黙
金进赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLK Technologies Co Ltd
Original Assignee
PLK Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLK Technologies Co Ltd filed Critical PLK Technologies Co Ltd
Publication of CN104937637A publication Critical patent/CN104937637A/zh
Application granted granted Critical
Publication of CN104937637B publication Critical patent/CN104937637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals

Abstract

本发明涉及用于识别交通标志牌的车辆用影像识别系统,上述用于识别交通标志牌的车辆用影像识别系统可提高交通标志牌的识别性能,调节摄像机的曝光时间来提高反射型交通标志牌和发光型交通标志牌的识别性能,调节影像信号的增益来提高反射型交通标志牌和发光型交通标志牌的识别性能,并同时调节摄像机的曝光时间和影像信号的增益来提高反射型交通标志牌和发光型交通标志牌的识别性能。本发明的用于识别交通标志牌的车辆用影像识别系统可调节摄像机镜头的曝光时间或从图像传感器输出的影像的增益,来生成用于形成上述曝光时间和上述增益互不相同的多个帧的至少一个影像组,并对上述多个帧内的标志牌区域进行比较来选择最接近规定的设定值的影像。

Description

用于识别交通标志牌的车辆用影像识别系统
技术领域
本发明涉及汽车用驾驶员辅助系统(ADAS,Advanced Driver AssistanceSystems)影像识别技术,更详细地,涉及安装于汽车,并在行驶中识别设于路面的交通标志牌的驾驶员辅助系统影像识别系统。
背景技术
驾驶员辅助系统是指,包括可以在车辆的行驶中确认周边环境的传感器和可以判断车辆的行驶状况并决定车辆的行迹的控制装置,来增进驾驶员的方便及安全的技术。驾驶员辅助系统影像识别装置为利用影像识别技术来鉴定行驶中的道路的信息(车道线、其他车辆、光源、步行人员及交通标志牌)的装置。
以往,交通标识牌在圆形或三角形形态的板材画有特定形态的标准化记号来使用,并且不断进行了开发通过影响处理技术来鉴定上述交通标志牌的形态和记号的交通标志牌识别装置,来向驾驶人员告知当前道路中的行驶环境,从而提高行驶安全性和方便性的努力。
目前,以欧洲为中心,在交通标志牌适用发光二极管(LED),且在韩国国内也已部分导入。发光型标志牌可以很少受周边光照度的影响,且可变地表示标志牌的内容或改变亮度,因此,用于提高夜间的能见度和基于交通量、天气的限制速度的变更。
驾驶员辅助系统影像识别装置利用数值解释技术,通过摄像机来对以数码形态输入的影像进行处理,因此,可根据输入影像的特性而很大程度上影响性能。
在反射型交通标志牌的情况下,由于经过白天主要由太阳光在交通标志牌反射,夜间主要由路灯、自己的车辆及其他车辆的前照灯在交通标志牌反射来向驾驶员辅助系统影像识别装置的摄像机入射,并转换为数码影像的过程,因此,很大程度上受到周边光源的亮度或方向的影响。另一方面,在发光性标志牌的情况下,与其他光源无关,由于在自身光源中产生的光向影像识别装置的摄像机入射,因此,不受周边光源的影响。由于这种特性的差异,很难在相同摄像机中以可识别两种交通标志牌的方式进行拍摄。
即,为了实现可进行无人驾驶的智能型汽车系统而开发交通标志牌的检测乃至识别技术,但到目前为止,现有的文献中并未公开可同时识别反射型交通标识牌和发光型交通标志牌的控制技术。
发明内容
本发明提供用于提高交通标志牌识别性能的用于识别交通标志牌的车辆用影像识别系统。
并且,本发明提供调节摄像机的曝光时间来提高反射型交通标志牌和发光型交通标志牌的识别性能的用于识别交通标志牌的车辆用影像识别系统。
并且,本发明提供调节影像信号的增幅比来提高反射型交通标志牌和发光型交通标志牌的识别性能的用于识别交通标志牌的车辆用影像识别系统。
并且,本发明提供同时调节摄像机的曝光时间和影像信号的增幅比来提高反射型交通标志牌和发光型交通标志牌的识别性能的用于识别交通标志牌的车辆用影像识别系统。
本发明的用于识别交通标志牌的车辆用影像识别系统可调节摄像机镜头的曝光时间或从图像传感器输出的影像的增益,来生成用于形成上述曝光时间和上述增益互不相同的多个帧的至少一个影像组,并对上述多个帧内的标志牌区域进行比较来选择最接近规定的设定值的影像。
优选地,上述多个帧中的至少一个帧为使整个画面的亮度或上述画面内的关注区域的亮度维持恒定的自动曝光控制帧。
优选地,可以固定上述摄像机镜头的曝光时间,并调节上述影像的增益,来获得上述自动曝光控制帧。
优选地,可以固定上述影像的增益,并调节上述摄像机镜头的曝光时间,来获得上述自动曝光控制帧。
优选地,可以调节摄像机镜头的曝光时间和影像的增益来获得上述自动曝光控制帧。
优选地,上述多个帧中的至少一个帧为使上述影像的亮度以大于上述自动曝光控制帧的亮度的方式维持的过曝光控制帧。
优选地,可以使上述摄像机镜头的曝光时间以与上述自动曝光控制帧的曝光时间相同的方式维持,并提高上述影像的增益,来获得上述过曝光控制帧。
优选地,可以使上述影像的增益以与上述自动曝光控制帧的增益相同的方式维持,并延长上述摄像机镜头的曝光时间,来获得上述过曝光控制帧。
优选地,可以使上述影像的增益和上述摄像机镜头的曝光时间以大于上述自动曝光控制帧的增益和曝光时间的方式获得上述过曝光控制帧。
优选地,可以使上述影像的增益和上述摄像机镜头的曝光时间的乘积以大于上述自动控制帧的增益和曝光时间的乘积的方式获得上述过曝光控制帧。
优选地,上述多个帧中的至少一个帧为使上述影像的亮度以小于上述自动曝光控制帧的亮度的方式维持的低曝光控制帧。
优选地,可以使上述摄像机镜头的曝光时间以与上述自动曝光控制帧的时间相同的方式维持,并降低上述影像的增益,来获得上述低曝光控制帧。
优选地,可以使上述影像的增益以与上述自动曝光控制帧的增益相同的方式维持,并缩减上述摄像机镜头的曝光时间,来获得上述低曝光控制帧。
优选地,可以使上述影像的增益和上述摄像机镜头的曝光时间以小于上述自动曝光控制帧的增益和曝光时间的方式获得上述低曝光控制帧。
优选地,可以使上述影像的增益和上述摄像机镜头的曝光时间的乘积以小于上述自动曝光帧的增益和曝光时间的乘积的方式获得上述低曝光控制帧。
优选地,上述多个帧中的至少一个帧为恒定维持上述摄像机镜头的曝光时间和上述影像的增益的固定曝光帧。
优选地,上述多个帧中的至少一个帧为恒定维持上述摄像机镜头的曝光时间,并使关注区域的平均亮度以与所设定的基准值相同的方式控制上述影像的增益的帧。
优选地,可以对上述自动曝光控制帧的亮度和所输入的影像的亮度进行比较,若所输入的上述影像的亮度为上述自动曝光控制帧的亮度以上,则判断为白天,并针对形成上述影像组的多个帧中的至少一个帧变更上述曝光时间或上述增益来适用。
优选地,可以利用车辆的头灯信号,若头灯信号关闭(OFF),则判断为白天条件,若头灯信号开启(ON),则判断为夜间条件,从而对形成1组的多个帧中的至少一个帧的参数设定进行变更来适用。
并且,本发明的交通标志牌的识别方法包括:获得包括多个帧的影像组的步骤;在上述多个帧中的自动曝光控制帧中搜索具有规定颜色和规定形态的带的步骤;若存在具有上述规定颜色和规定形态的带,则对存在于上述影像组内的多个帧的上述带的亮度进行比较的步骤;在存在于上述多个帧中的带中选择包括最接近所设定的基准值的带的帧的步骤;以及对所选择的上述帧进行影像处理来识别标志牌的步骤。
并且,本发明的用于识别交通标志牌的车辆用影像识别系统包括:中央控制部,调节摄像机镜头的曝光时间或从图像传感器输出的影像的增益,来生成用于形成上述曝光时间和上述增益互不相同的帧的至少一个影像组;第一存储部,上述曝光时间和上述增益被设定为一个参数集,并存储多个上述参数集;以及第二存储部,用于存储互不相同的至少两种以上的影像帧。
根据本发明,可调节摄像机的曝光时间来提高反射型交通标志牌和发光型交通标志牌的识别性能,可调节影像信号的增幅比来提高反射型交通标志牌和发光型交通标志牌的识别性能,可调节摄像机的曝光时间和影像信号的增幅比来提高反射型交通标志牌和发光型交通标志牌的识别性能。
附图说明
图1为向影像识别装置的摄像机入射顺光的示意图。
图2为向影像识别装置的摄像机入射逆光的示意图。
图3为数码摄像机的影像生成概念图。
图4为影像画面中的道路上的关注区域显示照片。
图5为本发明一实施例的影像识别装置的框图。
图6为本发明一实施例的多个影像生成概念图。
图7为本发明一实施例的帧选择流程图。
具体实施方式
以下,参照附图对本发明的优选实施例进行详细说明。首先,需要留意的是,在向各附图中的结构要素赋予附图标记的过程中,对于相同结构要素而言,即使显示于不同的附图中,也尽可能地赋予相同的附图标记。并且,在以下的说明中示出了多种特定事项,而这仅仅为了容易地理解本发明而提供,即使没有这种特定事项也可以实施本发明,这对于本发明所属技术领域的普通技术人员而言是显而易见的。并且,在对本发明进行说明的过程中,在判断对相关公知功能或结构的具体说明会不必要地模糊本发明的要旨的情况下,将省略对此的详细说明。
若以在暗处容易地识别反射型交通标志牌的方式控制摄像机,则发光型标志牌变得非常亮,若在亮处容易地识别反射型交通标志牌的方式控制摄像机,则发光型标识牌变得非常暗。
在反射性标志牌的情况下,根据周边照度,呈现于画面上的特性变得不同,对光源为顺光和逆光的情况进行比较如下。
逆光意味着光源的光直接向摄像机入射的情况,顺光意味着光源的光并不直接向摄像机入射的情况。
图1作为向影像识别装置的摄像机入射顺光的情况,道路仅向摄像机入射光源的光中的一部分散射的光,相反,板形态的标志牌反射大部分的光来向摄像机入射,因此,与周边相比,标志牌相对要亮。
图2作为向影像识别装置的摄像机入射逆光的情况,道路反射光源的光中的大部分来入射,相反,在板形态的标志牌中,光源的散射的光中的一部分在标志牌反射并向摄像机入射,因此,与周边相比,相对更暗。
图3作为数码摄像机的影像生成概念图,摄像机的图像传感器由像素单位的光传感器以阵列形态排列,并且,若入射光,则借助光电效应来产生电荷(步骤S310),在规定时间内将其曝光于光来积累电荷(步骤S320),并重新增幅(步骤S330),生成由与各像素相对应的亮度构成的影像(步骤S340)。其中,为了积累电荷,借助曝光于光中的时间和信号的增幅比来决定影像的亮度。
另一方面,在影像过亮的情况下,车道线等所要识别的形状饱和而无法进行识别,在影像过暗的情况下,因车辆等所要识别的形状埋没于背景而很难进行识别。因此,为了提高影像识别性能,有必要适当维持画面的亮度。
并且,影像识别装置的摄像机以使整个画面的平均亮度或关注区域(ROI,Regionof Interest)的平均亮度维持恒定的方式调节曝光和增幅比,并将此称为自动曝光控制(auto-exposure control)。即,画面的目标亮度(Brightness)、关注区域的亮度(Inminance)、曝光(exposure)及增益(gain)之间成立数学式1的关系。
数学式1:
BrightnessTarget∝LuminanceROI×Exposure×Gain
即,可以与关注区域的亮度相对应地调节曝光、增益或同时调节曝光和增益来以恒定维持画面的亮度的方式进行控制。
然而,如图4的影响画面中的道路上的关注区域显示照片所示,影像识别装置的摄像机可以始终看到道路而可以预测,因此,可以指定为关注区域来对影像识别装置的摄像机进行自动曝光控制420,但在交通标志牌的情况下,当行驶时,由于短暂出现后消失,因此无法将交通标志牌指定为关注区域来对影像识别装置的摄像机进行自动曝光控制410。
因此,反射型标志牌沿着太阳的方向具有与道路不同的反射特性,因而在利用影像识别装置的摄像机来拍摄反射型标志牌的情况下,在利用摄像机来拍摄的影像中难以识别反射型标识牌的可能性较高。
本发明考虑到这种问题而提出。
图5作为本发明一实施例的影像识别装置的框图,包括摄像机部510和影像处理部520。
摄像机部510包括镜头511、图像传感器513、用于固定镜头和图像传感器的图像固定部515、动作控制存储器517及用于向图像传感器供电的第一电源部(未图示)。
动作控制存储器517按不同的影像帧分别存储用于摄像机动作的设定参数(曝光时间、增益)。
影像处理部520包括:中央处理器(CPU)521,按对应帧分别以规定时间间隔指定动作控制存储器517,并对从图像传感器513输出的影像进行处理;易失性存储器523,用于存储原有的影像数据和处理中的影像数据;非易失性存储器525;接口部527,用于与汽车的其他电子装置收发信号;以及供电部(未图示),用于向各个部供电。
图6作为本发明一实施例的多个影像生成概念图,可以反复生成多个影像帧,在上述多个影像帧中,通过影像识别装置的摄像机部510来调节画面的目标亮度的要素以互不相同的方式设定。
根据本发明的一实施例,影像识别系统可将四个帧(帧0至帧3)形成为一个组,并可周期性地生成四个帧。即,在相同时间段拍摄互不相同的特性的影像,并分析各影像来选择适合用于识别标志牌的影像,并分析对应影像的标志牌区域,来识别标志牌信息。
具体地,根据本发明的一实施例,影像识别系统在帧0中将道路区域或整个画面设为关注区域来适用自动曝光控制方式。并且,帧0中的摄像机镜头的曝光时间和影像的增益可存储于动作控制存储器517,并可以提供为用于调节其他帧的亮度的基准值。在并非为极端的区域或极端的顺光的情况下,帧0可用于识别标志牌。根据本发明的一实施例,影像识别系统可固定摄像机镜头的曝光时间,并调节影像的增益,来使整个画面的亮度或关注区域的亮度维持恒定。根据本发明的再一实施例,影像识别系统可固定影像的增益,并调节摄像机镜头的曝光时间,来使整个画面的亮度或关注区域的亮度维持恒定。根据本发明的另一实施例,影像识别系统可调节摄像机镜头的曝光时间和影像的增益,来使整个画面的亮度或关注区域的亮度维持恒定。
其中,极端的逆光意味着太阳位于摄像机的正面和标志牌的背面的情况,而极端的顺光意味着太阳位于摄像机的背面和标志牌的正面的情况。
在极端的逆光的情况下,参照数学式1来说明很难识别标志牌的理由如下。在恒定维持画面的目标亮度的状态下,若因逆光而使关注区域的亮度增加,则根据自动曝光控制功能,影像处理部520内的中央处理器521减少摄像机镜头的曝光时间和影像的增益。另一方面,由于逆光而减少标志牌的亮度,因此发生标志牌的亮度减少所引起的不可进行识别的状况。
因此,根据本发明的一实施例,与帧1相对应的摄像机镜头的曝光时间和影像的增益存储于动作控制存储器517,影像处理部520内的中央处理器521从动作控制存储器517读取适用过曝光控制方式的参数(曝光时间和/或增益)设定值来对影像进行处理,上述过曝光控制方式用于调节帧1中的画面的亮度大于帧0(自动曝光控制)的亮度。在帧1中,虽然其他部分得到饱和,但标志牌部分呈现得较亮,从而可识别标志牌。
根据本发明的一实施例,可以使摄像机镜头的曝光时间可以比帧0的曝光时间长规定时间且影像的增益与帧0的增益相同的方式进行设定并存储于影像识别系统内的动作控制存储器517中。
并且,根据本发明的再一实施例,可以使影像的增益比帧0的增益高规定比率,摄像机镜头的曝光时间以与帧0的曝光时间相同的方式进行设定并存储于影像识别系统内的动作控制存储器517中。
并且,根据本发明的另一实施例,可以使摄像机镜头的曝光时间和影像的增益以分别比帧0的曝光时间和增益高出规定值的方式设定并存储于影像识别系统内的动作控制存储器517中。
并且,根据本发明的还有一实施例,可以使摄像机镜头的曝光时间和影像的增益的乘积以大于帧0中的曝光时间和增益的乘积的方式设定并存储于影像识别系统内的动作控制存储器517中。
另一方面,在极端的顺光的情况下,参照数学式1来说明很难识别标志牌的理由如下。在恒定维持画面的目标亮度的状态下,若因顺光而使关注区域的亮度减少,则根据自动曝光控制功能,影像处理部520以恒定维持画面的目标亮度的方式增进摄像机镜头的曝光时间和影像的增益。另一方面,由于顺光而增加标识牌的亮度,因此,标识牌的亮度增加并饱和,从而发生无法识别的状况。
因此,根据本发明的一实施例,影像处理部520内的中央处理器521从动作控制存储器517读取在帧2中适用将画面的亮度调节为比帧0(自动曝光控制)的亮度暗的低曝光控制方式的参数(曝光时间和/或增益)设定值来对影像进行处理。在帧2中,其他部分虽然暗,但标志牌部分很亮,从而可识别标志牌。
根据本发明的一实施例,可以使摄像机镜头的曝光时间以比帧0的曝光时间短规定时间,且影像的增益与帧0的增益相同的方式进行设定并存储于影像识别系统内的动作控制存储器517中。
并且,根据本发明的再一实施例,可以使影像的增益以比帧0的增益低固定值,摄像机镜头的曝光时间与帧0的曝光时间相同的方式进行设定并存储于影像识别系统内的动作控制存储器517中。
并且,根据本发明的另一实施例,可以使摄像机镜头的曝光时间和影像的增益以分别比帧0的曝光时间和增益低规定值的方式进行设定并存储于影像识别系统内的动作控制存储器517中。
并且,根据本发明的还有一实施例,可以使摄像机镜头的曝光时间和影像的增益的乘积以小于帧0中的曝光时间和增益的乘积的方式进行设定并存储于影像识别系统内的动作控制存储器517中。
根据本发明的一实施例,影像处理部520内的中央处理器521从动作控制存储器517读取在帧3中适用与整个画面的亮度或关注区域的亮度无关地使摄像机镜头的曝光时间和影像的增益维持恒定的恒定曝光控制方式的参数(曝光时间和/或增益)设定值来对影像进行处理。根据本发明的一实施例,摄像机镜头的曝光时间和影像的增益与帧3相对应来固定地设定为规定值并存储于影像识别系统内的动作控制存储器517中。
发光型标志牌与周边的亮度无关地维持规定亮度,因此,与根据周边的亮度来以不同方式控制摄像机镜头的曝光时间或影像的增益的自动曝光控制方式的帧0相比,在帧3中更容易识别。
根据本发明的一实施例,形成一组的多个帧中的至少一个可以为恒定维持摄像机镜头的曝光时间,并使道路区域的平均亮度以与固定基准亮度相同的方式控制增益的帧。
并且,根据本发明的另一实施例,可以对帧0的亮度和所输入的影像的亮度进行比较,若在帧0的亮度以上,则判断为白天条件,若在帧0的亮度以下,则判断为夜间,从而可以对形成1组的多个帧中的至少一个帧的参数设定进行变更来适用。
并且,根据本发明的一实施例,可利用车辆的头灯信号,若头灯信号关闭,则判断为白天,若头灯信号开启,则判断为夜间,从而对形成1组的多个帧中的至少一个帧的参数设定进行变更来适用。
根据本发明的再一实施例,摄像机的影像处理控制部可将帧0至帧3中的两个以上的帧形成为一个组来周期性地生成。例如,在以逆光状态行驶于高速路的情况下,摄像机的影像处理控制部可周期性地生成帧0、帧1及帧3。并且,在以顺光状态行驶于高速路的情况下,摄像机的影像处理控制部可周期性地生成帧0、帧2及帧3。并且,在行驶于夜间道路的情况下,摄像机的影像处理控制部可周期性地生成帧0和帧3。
图7为本发明一实施例的帧选择流程图。
若获得1组的影像帧来开始选择帧(步骤S710),则搜索帧0(自动曝光控制帧)中红色的圆形带(步骤S720),若存在红色的圆形带(步骤S730),则与存在于组内的帧中的圆形带的亮度作比较(步骤S740),并选择包括最接近所设定的基准值的圆形带的帧(步骤S750),从而对所选择的帧进行影像处理来识别标志牌(步骤S760)并结束(步骤S770)。
另一方面,虽然例示成红色的圆形带,但交通标志牌并不局限于上述颜色及形状。例如,可以为矩形或三角形,也可以为蓝色或绿色。由于检测具有这种颜色及形状的交通标志牌的技术对于从事影像处理技术领域的普通技术人员而言是显而易见的,因此,将省略对此的详细说明。

Claims (17)

1.一种用于识别交通标志牌的车辆用影像识别系统,其特征在于,调节摄像机镜头的曝光时间或从图像传感器输出的影像的增益,来生成用于形成上述曝光时间和上述增益互不相同的多个帧的至少一个影像组,并对上述多个帧内的标志牌区域进行比较来选择最接近规定的设定值的影像,
上述多个帧中的至少一个帧为使整个画面的亮度或上述画面内的关注区域的亮度维持恒定的自动曝光控制帧,
上述多个帧中的至少一个帧为使上述影像的亮度以大于上述自动曝光控制帧的亮度的方式维持的过曝光控制帧,
上述多个帧中的至少一个帧为使上述影像的亮度以小于上述自动曝光控制帧的亮度维持的低曝光控制帧。
2.根据权利要求1所述的用于识别交通标志牌的车辆用影像识别系统,其特征在于,固定上述摄像机镜头的曝光时间,并调节上述影像的增益,来获得上述自动曝光控制帧。
3.根据权利要求1所述的用于识别交通标志牌的车辆用影像识别系统,其特征在于,固定上述影像的增益,并调节上述摄像机镜头的曝光时间,来获得上述自动曝光控制帧。
4.根据权利要求1所述的用于识别交通标志牌的车辆用影像识别系统,其特征在于,调节摄像机镜头的曝光时间和影像的增益来获得上述自动曝光控制帧。
5.根据权利要求1所述的用于识别交通标志牌的车辆用影像识别系统,其特征在于,使上述摄像机镜头的曝光时间以与上述自动曝光控制帧的曝光时间相同的方式维持,并提高上述影像的增益,来获得上述过曝光控制帧。
6.根据权利要求1所述的用于识别交通标志牌的车辆用影像识别系统,其特征在于,使上述影像的增益以与上述自动曝光控制帧的增益相同的方式维持,并延长上述摄像机镜头的曝光时间,来获得上述过曝光控制帧。
7.根据权利要求1所述的用于识别交通标志牌的车辆用影像识别系统,其特征在于,使上述影像的增益和上述摄像机镜头的曝光时间大于上述自动曝光控制帧的增益和曝光时间,来获得上述过曝光控制帧。
8.根据权利要求1所述的用于识别交通标志牌的车辆用影像识别系统,其特征在于,使上述影像的增益和上述摄像机镜头的曝光时间的乘积大于上述自动控制帧的增益和曝光时间的乘积,来获得上述过曝光控制帧。
9.根据权利要求1所述的用于识别交通标志牌的车辆用影像识别系统,其特征在于,使上述摄像机镜头的曝光时间以与上述自动曝光控制帧的时间相同的方式维持,并降低上述影像的增益,来获得上述低曝光控制帧。
10.根据权利要求1所述的用于识别交通标志牌的车辆用影像识别系统,其特征在于,使上述影像的增益以与上述自动曝光控制帧的增益相同的方式维持,并缩减上述摄像机镜头的曝光时间,来获得上述低曝光控制帧。
11.根据权利要求1所述的用于识别交通标志牌的车辆用影像识别系统,其特征在于,使上述影像的增益和上述摄像机镜头的曝光时间小于上述自动曝光控制帧的增益和曝光时间,来获得上述低曝光控制帧。
12.根据权利要求1所述的用于识别交通标志牌的车辆用影像识别系统,其特征在于,使上述影像的增益和上述摄像机镜头的曝光时间的乘积小于上述自动曝光帧的增益和曝光时间,来获得上述低曝光控制帧。
13.根据权利要求1所述的用于识别交通标志牌的车辆用影像识别系统,其特征在于,上述多个帧中的至少一个帧为使上述摄像机镜头的曝光时间和上述影像的增益维持恒定的固定曝光帧。
14.根据权利要求1所述的用于识别交通标志牌的车辆用影像识别系统,其特征在于,上述多个帧中的至少一个帧使上述摄像机镜头的曝光时间维持恒定,并以使关注区域的平均亮度与所设定的基准值相同的方式控制上述影像的增益。
15.根据权利要求1所述的用于识别交通标志牌的车辆用影像识别系统,其特征在于,对上述自动曝光控制帧的亮度和所输入的影像的亮度进行比较,若所输入的上述影像的亮度为上述自动曝光控制帧的亮度以上,则判断为白天,并针对形成上述影像组的多个帧中的至少一个帧变更上述曝光时间或上述增益来适用。
16.根据权利要求1所述的用于识别交通标志牌的车辆用影像识别系统,其特征在于,利用车辆的头灯信号,若头灯信号关闭,则判断为白天条件,若头灯信号开启,则判断为夜间条件,从而对形成1组的多个帧中的至少一个帧的参数设定进行变更来适用。
17.一种交通标志牌的识别方法,其特征在于,包括:
获得包括多个帧的影像组的步骤;
在上述多个帧中的自动曝光控制帧中搜索具有规定颜色和规定形态的带的步骤;
若存在上述具有规定颜色和规定形态的带,则对存在于上述影像组内的多个帧的上述带的亮度进行比较的步骤;
在存在于上述多个帧中的带中选择包括最接近所设定的基准值的带的帧的步骤;以及
对所选择的上述帧进行影像处理来识别标志牌的步骤,
上述多个帧中的至少一个帧为使整个画面的亮度或上述画面内的关注区域的亮度维持恒定的自动曝光控制帧,
上述多个帧中的至少一个帧为使上述影像的亮度以大于上述自动曝光控制帧的亮度的方式维持的过曝光控制帧,
上述多个帧中的至少一个帧为使上述影像的亮度以小于上述自动曝光控制帧的亮度维持的低曝光控制帧。
CN201480005780.7A 2013-07-31 2014-05-01 用于识别交通标志牌的车辆用影像识别系统 Active CN104937637B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2013-0090630 2013-07-31
KR1020130090630A KR101353052B1 (ko) 2013-07-31 2013-07-31 교통표지판 인식을 위한 차량용 영상인식시스템
PCT/KR2014/003902 WO2015016461A2 (ko) 2013-07-31 2014-05-01 교통표지판 인식을 위한 차량용 영상인식시스템

Publications (2)

Publication Number Publication Date
CN104937637A CN104937637A (zh) 2015-09-23
CN104937637B true CN104937637B (zh) 2017-09-15

Family

ID=50145938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480005780.7A Active CN104937637B (zh) 2013-07-31 2014-05-01 用于识别交通标志牌的车辆用影像识别系统

Country Status (5)

Country Link
US (1) US9639764B2 (zh)
EP (1) EP3029632A4 (zh)
KR (1) KR101353052B1 (zh)
CN (1) CN104937637B (zh)
WO (1) WO2015016461A2 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102174000B1 (ko) * 2014-05-30 2020-11-04 주식회사 만도 차량 표지판 인식 시스템 및 그를 위한 방법
DE102015207902A1 (de) 2015-04-29 2016-11-03 Mando Corporation Verfahren und Vorrichtung zur Bestätigung des relevanten inneren weißen Kreises bei der Erkennung des Umfelds eines kreisförmigen Verkehrszeichens
KR102465335B1 (ko) * 2015-11-19 2022-11-11 주식회사 에이치엘클레무브 헤드램프 인식 장치 및 방법
US10325339B2 (en) * 2016-04-26 2019-06-18 Qualcomm Incorporated Method and device for capturing image of traffic sign
US10169649B2 (en) 2016-07-28 2019-01-01 International Business Machines Corporation Smart image filtering method with domain rules application
KR20180097966A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치
US10453208B2 (en) * 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
WO2018225516A1 (ja) * 2017-06-07 2018-12-13 日立オートモティブシステムズ株式会社 画像処理装置
KR102519662B1 (ko) 2017-07-31 2023-04-07 삼성전자주식회사 영상 획득 방법 및 영상 획득 장치
DE102017119394A1 (de) * 2017-08-28 2019-02-28 HELLA GmbH & Co. KGaA Verfahren zur Ansteuerung mindestens eines Lichtmoduls einer Leuchteinheit eines Fahrzeugs, Leuchteinheit, Computerprogrammprodukt und computerlesbares Medium
WO2019111309A1 (ja) * 2017-12-05 2019-06-13 日産自動車株式会社 車両の制御方法及び制御装置
JP6868932B2 (ja) * 2018-01-12 2021-05-12 日立Astemo株式会社 物体認識装置
KR101900073B1 (ko) 2018-01-15 2018-09-19 김홍진 정보 생성 기능을 갖는 반사체
JP7289723B2 (ja) * 2019-05-23 2023-06-12 日立Astemo株式会社 物体認識装置
CN110519526B (zh) * 2019-09-09 2021-02-26 Oppo广东移动通信有限公司 曝光时长控制方法、装置、存储介质及电子设备
US11702140B2 (en) 2019-11-19 2023-07-18 Robert Bosch Gmbh Vehicle front optical object detection via photoelectric effect of metallic striping
KR20210079638A (ko) 2019-12-20 2021-06-30 한국건설기술연구원 영상 자료를 활용한 교통표지의 인식장치 및 인식방법
CN111212223B (zh) * 2020-01-10 2021-01-22 奥比中光科技集团股份有限公司 一种设定成像参数的方法、系统及计算机可读存储介质
KR102538104B1 (ko) * 2022-06-17 2023-05-31 한국건설기술연구원 라이다 검지형 도로 시설물

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6295415B1 (en) * 1995-06-01 2001-09-25 Canon Kabushiki Kaisha Camera
JP4498135B2 (ja) 2002-08-05 2010-07-07 エルビット・システムズ・リミテッド 車両搭載用ナイトビジョン画像処理システム及びその方法
US20050128063A1 (en) * 2003-11-28 2005-06-16 Denso Corporation Vehicle driving assisting apparatus
JP2008028957A (ja) * 2006-07-25 2008-02-07 Denso Corp 車両用画像処理装置
EP1930863B1 (en) * 2006-12-06 2011-08-03 Mobileye Technologies Limited Detecting and recognizing traffic signs
JP2008187317A (ja) * 2007-01-29 2008-08-14 Fujifilm Corp 撮影装置およびその制御方法並びにプログラム
JP4987573B2 (ja) * 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置
CN101359148B (zh) 2007-08-03 2011-04-06 深圳艾科创新微电子有限公司 一种用于自动曝光调节的方法及控制系统
US8254635B2 (en) * 2007-12-06 2012-08-28 Gideon Stein Bundling of driver assistance systems
JP4433046B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
US8441535B2 (en) * 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
JP5499039B2 (ja) * 2008-09-22 2014-05-21 フリーダム サイエンティフィック インコーポレイテッド 対象物を撮像するためのシステムおよび方法
JP4666049B2 (ja) * 2008-10-17 2011-04-06 株式会社デンソー 光源識別装置、光源識別プログラム、車両検出装置、およびライト制御装置
JP5294995B2 (ja) * 2009-06-03 2013-09-18 パナソニック株式会社 距離計測装置及び距離計測方法
CN102598650A (zh) * 2009-11-04 2012-07-18 丰田自动车株式会社 摄像装置、调整装置和摄像装置的光轴调整系统
US8558913B2 (en) * 2010-02-08 2013-10-15 Apple Inc. Capture condition selection from brightness and motion
JP5246254B2 (ja) * 2010-12-24 2013-07-24 株式会社デンソー 車載カメラの露出制御値の決定方法
JP2012221103A (ja) * 2011-04-06 2012-11-12 Denso Corp 車両用画像処理装置
KR101259836B1 (ko) * 2011-08-08 2013-05-02 주식회사 피엘케이 테크놀로지 우적 감응형 와이퍼 장치
KR20130030667A (ko) * 2011-09-19 2013-03-27 최재순 증강 현실을 이용한 자동차 운행 보조 시스템
JP5832855B2 (ja) * 2011-11-01 2015-12-16 クラリオン株式会社 画像処理装置、撮像装置および画像処理プログラム
KR101298937B1 (ko) * 2011-11-11 2013-08-23 서강대학교산학협력단 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법
JP5937832B2 (ja) * 2012-01-30 2016-06-22 クラリオン株式会社 車載カメラ用露出制御装置
CN102819728A (zh) * 2012-07-17 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 一种基于分类模板匹配的交通标志检测方法

Also Published As

Publication number Publication date
EP3029632A4 (en) 2017-03-29
US9639764B2 (en) 2017-05-02
KR101353052B1 (ko) 2014-01-20
WO2015016461A3 (ko) 2015-04-09
US20150371097A1 (en) 2015-12-24
EP3029632A2 (en) 2016-06-08
CN104937637A (zh) 2015-09-23
WO2015016461A2 (ko) 2015-02-05

Similar Documents

Publication Publication Date Title
CN104937637B (zh) 用于识别交通标志牌的车辆用影像识别系统
JP4853437B2 (ja) 車両周辺監視システム
CN106454145B (zh) 一种具有场景自适应的自动曝光方法
KR100682067B1 (ko) 차량 전조등들이나 또는 타의 차량 장비를 제어하기 위한 영상 처리 시스템
CN105635597A (zh) 车载相机的自动曝光方法及系统
KR101688695B1 (ko) 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
CN102197418B (zh) 车辆周围监测装置
US20090015683A1 (en) Image processing apparatus, method and program, and recording medium
CN105308649B (zh) 机动车底部异形表面的检查
US20080024606A1 (en) Image processing apparatus
WO2006098360A1 (ja) 画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体
KR101723401B1 (ko) 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
JP2010223685A (ja) 車両用撮像装置
JP5501477B2 (ja) 環境推定装置及び車両制御装置
CN106575349A (zh) 控制成像读取器的目标照明的系统及方法
CN105933610B (zh) 一种车牌拖尾优化曝光的方法及装置
CN101571999A (zh) 红外拍摄装置和交通信息系统
JP2014158262A (ja) 車両照度環境認識装置及びその方法
CN101646021A (zh) 曝光确定装置和图像处理设备
JP2016196233A (ja) 車両用道路標識認識装置
JP2016096417A (ja) 車載カメラシステム
CN102968177B (zh) 手势感测方法
JP2003078908A (ja) 車両における視界を改善する方法および装置
KR102155374B1 (ko) 자동차용 야간 화상들을 형성하는 시스템 및 방법
JP4328865B2 (ja) 赤外線照明内蔵型監視用デイナイトカメラ

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant