CN102745134A - 检测装置以及检测方法 - Google Patents

检测装置以及检测方法 Download PDF

Info

Publication number
CN102745134A
CN102745134A CN2012101134540A CN201210113454A CN102745134A CN 102745134 A CN102745134 A CN 102745134A CN 2012101134540 A CN2012101134540 A CN 2012101134540A CN 201210113454 A CN201210113454 A CN 201210113454A CN 102745134 A CN102745134 A CN 102745134A
Authority
CN
China
Prior art keywords
exposure time
view data
detecting device
image
camera head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012101134540A
Other languages
English (en)
Inventor
长谷川敬一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidec Elesys Corp
Original Assignee
Nidec Elesys Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidec Elesys Corp filed Critical Nidec Elesys Corp
Publication of CN102745134A publication Critical patent/CN102745134A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Abstract

提供一种检测装置以及检测方法。检测装置包括:控制部,在预先决定的定时切换摄像装置的曝光时间;图像取得部,取得以不同的曝光时间拍摄的图像数据;以及对象物检测部,根据所述图像取得部取得的不同的曝光时间的各个图像数据,检测各个对象物。

Description

检测装置以及检测方法
技术领域
本发明涉及在行驶的车辆中搭载的检测装置以及检测方法。
背景技术
车辆的行驶路区分线(道路上的白线)的检测装置,从通过在车辆中搭载的摄像装置拍摄的图像中提取规定的特征点,并基于提取出的特征点来提取相当于行驶路区分线的线段。此外,检测装置通过比较预先存储的行驶路区分线的模型和提取出的相当于行驶路区分线的线段,从而选择与模型相匹配的线段。然后,检测装置通过将与选择的线段对应的特征点近似化而计算行驶路区分线,从而检测对象物(例如,参照日本特开平8-315125号公报(专利文献1))。
在这样的检测装置中,在白天拍摄而检测对象物的情况下,将摄像装置的曝光时间设得短而进行拍摄,使得拍摄到的图像不会饱和。此外,在晚上拍摄而检测对象物的情况下,为了清晰地拍摄作为对象物的行驶路区分线,将曝光时间尽可能设得长而进行拍摄。
但是,在专利文献1的以往技术中,由于在晚上拍摄而检测对象物的情况下,将曝光时间设得长,所以在点亮了前大灯的对头车的识别中,前大灯的光源的光量过于强烈,拍摄到的图像被饱和。为了防止该拍摄到的图像的饱和,假设将曝光时间设得短的情况下,拍摄到行驶路区分线等的对象物的图像得不到充分的亮度而只能获得模糊的图像数据。因此,不能适当地识别行驶路区分线等的对象物。
发明内容
本发明是鉴于上述的问题点而完成的,其目的在于,提供一种检测装置以及检测方法,其即使在晚上,也能够适当地进行行驶路区分线的检测以及前大灯的检测。
本发明是为了解决上述课题而完成的,本发明的第1方式的检测装置包括:控制部,在预先决定的定时切换摄像装置的曝光时间;图像取得部,取得以不同的曝光时间拍摄的图像数据;以及对象物检测部,根据所述图像取得部取得的不同的曝光时间的各个图像数据,检测各个对象物。
也可以在上述的检测装置中,所述控制部在预先决定的定时切换所述摄像装置的放大灵敏度,所述图像取得部取得以不同的曝光时间且不同的放大灵敏度拍摄的图像数据,所述对象物检测部根据所述图像取得部取得的不同的曝光时间且不同的放大灵敏度的各个图像数据,检测各个对象物。
也可以在上述的检测装置中包括:区域提取部,从以不同的曝光时间拍摄的图像数据中提取所述对象物的候选区域的图像数据;绝对亮度计算部,计算所述区域提取部提取出的所述对象物的候选区域的图像数据中的绝对亮度;以及校正部,基于所述绝对亮度计算部计算出的所述对象物的候选区域的图像数据中的绝对亮度,校正所述曝光时间和所述放大灵敏度中的至少一个,所述控制部将所述摄像装置的曝光时间或者放大灵敏度切换为由所述校正部校正的曝光时间或者放大灵敏度。
也可以在上述的检测装置中,所述不同的曝光时间由第一曝光时间和比所述第一曝光时间短的第二曝光时间构成。
也可以在上述的检测装置中,所述第一曝光时间是至少用于发光的对象物的检测的曝光时间,所述第二曝光时间是至少用于反射的对象物的检测的曝光时间。
也可以在上述的检测装置中,所述发光的对象物至少是前大灯,所述反射的对象物是至少包括车辆的行驶路面上的行驶路区分线、车辆以及人中的其中一个的物体。
本发明的第2方式是一种检测装置中的检测方法,包括:控制步骤,控制部在预先决定的定时切换摄像装置的曝光时间;图像取得步骤,图像取得部取得以不同的曝光时间拍摄的图像数据;以及对象物检测步骤,对象物检测部根据在所述图像取得步骤中取得的不同的曝光时间的各个图像数据,检测各个对象物。
根据本发明,由于从以不同的曝光时间拍摄到的图像数据中检测对象物,所以即使是在晚上,也能够检测亮度低的行驶路区分线,且能够不会产生饱和地适当进行前大灯检测。
附图说明
图1是表示本发明的第一实施方式的识别装置的结构的一例的方框图。
图2是说明第一实施方式的摄像对象和曝光时间的关系的图。
图3是表示在第一实施方式的检测装置中,以相对长的曝光时间A拍摄的帧图像的一例的示意图。
图4是表示在第一实施方式的检测装置中,以相对短的曝光时间B拍摄的帧图像的一例的示意图。
图5是用于说明第一实施方式的检测装置的动作的流程图。
图6是用于说明在以往的检测装置中使用的IRIS的概念图。
图7是表示本发明的第二实施方式的检测装置的结构的一例的方框图。
图8是说明第二实施方式的摄像对象、曝光时间以及增益的关系的图。
图9是用于说明第二实施方式的检测装置的动作的流程图。
具体实施方式
以下,使用附图说明本发明的实施方式。另外,本发明并不限定于以下的实施方式,在其技术思想的范围内可进行各种变更。此外,在以下的附图中,为了容易理解各个结构,实际的结构与各个结构中的缩小比例等不同。
首先,说明本发明的检测装置的动作的概略。本发明的检测装置通过一台摄像装置交替地切换曝光时间A、B的2个时间而拍摄,从而清楚地拍摄晚上路面的行驶路区分线(曝光时间A:曝光时间长),还通过同一个摄像机拍摄对头车(曝光时间B:曝光时间短)。由此,使用以2个曝光时间拍摄的图像数据,检测路上的对象物。
晚上,在通过安装在车辆的前方的前大灯而照亮前方且通过摄像装置拍摄的图像数据中,除了行驶路区分线以外,还照出路灯等。为了从拍摄到这些状况的图像数据中提取出行驶路区分线,需要某种程度的亮度差。尤其,由于晚上的亮度差减少,所以需要将曝光时间设得长。此外,在下雨时,整体发光,难以获得与行驶路区分线的亮度差。此外,在画出行驶路区分线之后经过了时间的行驶路区分线中,也仍然难以获得亮度差。此时,也需要将曝光时间设得长。
一方面,前大灯的亮度被设定为能看到晚上的行驶路区分线的程度的亮度。另一方面,在摄像装置为CMOS摄像机的情况下,动态范围只有12位、66dB(分贝)左右,所以能够拍摄最亮的部位和最暗的部位的亮度的范围受到限制。因此,白天在测出亮的亮度的范围中使用,晚上在连暗的部位也能够测出的范围中使用。
(第一实施方式)
接着,使用图1说明本发明的第一实施方式的识别装置的结构。图1是表示第一实施方式的识别装置的结构的一例的方框图。
如图1所示,识别装置1由摄像装置10和检测装置20构成。
首先,说明摄像装置10的结构。摄像装置10包括曝光时间切换部11和摄像部13。
曝光时间切换部11基于检测装置20输出的表示曝光时间的信息,切换摄像部13的曝光时间。
摄像部13例如是CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化膜半导体)摄像机。摄像部13以由曝光时间切换部11切换的曝光时间拍摄,并将拍摄到的图像数据输出到检测装置20。
接着,说明检测装置20的结构。检测装置20包括定时信号生成部21、控制部22、存储部23、图像取得部24、图像处理部25以及检测部26。
定时信号生成部21生成预先决定的周期的定时信号,并将生成的定时信号输出到控制部22和图像取得部24。另外,预先决定的周期例如是1秒。
控制部22读出在存储部23中存储的2个曝光时间A和曝光时间B。控制部22在定时信号生成部21输出的定时信号的定时,将表示曝光时间A的信息和表示曝光时间B的信息交替地输出到摄像装置10。
在存储部23中预先存储有表示曝光时间A的信息和表示曝光时间B的信息。曝光时间A设定得相对长,其在晚上的对象物(包括行驶路区分线、车辆、人等)检测中拍摄行驶路区分线等时使用。另一方面,曝光时间B设定得比曝光时间A短,其在避免饱和而拍摄作为强的光源的前大灯时使用。
图像取得部24在定时信号生成部21输出的定时信号的定时取得摄像装置10输出的图像数据,并将取得的图像数据变换为数字数据。图像取得部24将变换后的图像数据输出到图像处理部25。另外,在摄像装置10输出的图像数据为数字信号的情况下,图像取得部24将取得的图像数据不变换而直接输出到图像处理部25。
图像处理部25对图像取得部24输出的图像数据进行预先决定的图像处理。预先决定的图像处理是指,在检测出反射的对象物(行驶路区分线、车辆、人等)的情况下,进行与在专利文献1中记载的处理相同的处理。即,图像处理部25例如对图像数据,首先检测边缘点而检测边缘图像数据,接着对边缘图像数据进行霍夫变换而检测直线分量。接着,图像处理部25从检测出的直线分量中将连续的线段作为行驶路区分线的候选而检测。此外,在检测前大灯的情况下,图像处理部25例如对图像数据,首先检测边缘点而检测边缘图像数据,接着对边缘图像数据进行霍夫变换而检测圆形分量。接着,图像处理部25将检测出的圆形分量作为前大灯的候选而检测。
图像处理部25将表示这样检测出的对象物的候选区域的信息输出到检测部26。
检测部26基于图像处理部25输出的表示对象物的候选区域的信息,检测发光的对象物以及反射的对象物。检测部26将检测出的结果输出到在未图示的仪表板(dash board)中安装的显示部或未图示的车辆的行驶控制部等。未图示的车辆的行驶控制部基于检测装置20输出的表示检测结果的信息,控制车辆的行驶等。
另外,在第一实施方式中,由图像处理部25和检测部26构成对象物检测部。
接着,使用图2~图4说明摄像对象和曝光时间。图2是说明第一实施方式的摄像对象和曝光时间的关系的图。图3是表示在第一实施方式的检测装置中,以相对长的曝光时间A拍摄的帧图像的一例的示意图。此外,图4是表示在第一实施方式的检测装置中,以相对短的曝光时间B拍摄的帧图像的一例的示意图。
如图2所示,摄像装置10通过检测装置20的控制,在时刻t1~t2的期间,以曝光时间A拍摄第1帧的图像数据。此时,由于以长的曝光时间即曝光时间A拍摄,所以摄像装置10拍摄用于检测路面的图像。
接着,摄像装置10通过检测装置20的控制,在时刻t2~t3的期间,以短的曝光时间即曝光时间B拍摄第2帧的图像数据。此时,由于以短的曝光时间B拍摄,所以摄像装置10拍摄用于检测前大灯等的灯的图像。之后,摄像装置10交替地重复曝光时间A和曝光时间B而进行拍摄。另外,作为黑白的图像数据来说明了通过摄像装置10拍摄的图像数据,但图像数据也可以是彩色图像数据。
在图2的第1帧、第3帧、第5帧、......中,在以长的曝光时间A拍摄的情况下,如图3所示,在图像数据300中,由于作为检测对象的行驶路区分线310、315以及320、路灯330~350的亮度高,所以被拍摄成较白。
相对于此,在图2的第2帧、第4帧、第6帧、......中,在以短的曝光时间B拍摄的情况下,如图4所示,在图像数据400中,由于表示作为检测对象的前大灯的圆形的区域470~485的亮度高,所以被拍摄成较白。即,由于图像数据400是以曝光时间B拍摄的,所以不会产生饱和地拍摄到对头车的前大灯。
接着,使用图5说明第一实施方式的动作。图5是用于说明第一实施方式的检测装置的动作的流程图。
(步骤S1)检测装置20的控制部22首先将用于区分要使用曝光时间A、B中的哪一个的变量i设为“1”。另外,以下说明的步骤S2之后的处理在每一帧执行。在步骤S1结束之后,处理进入步骤S2。
(步骤S2)控制部22取得定时信号生成部21输出的定时信号。在步骤S2结束之后,处理进入步骤S3。
(步骤S3)控制部22判别变量i是否为1。在判别为变量i为1的情况下(在步骤S3中“是”),处理进入步骤S4。在判别为变量i不是1的情况下(在步骤S3中“否”),处理进入步骤S5。
(步骤S4)在判别为变量i为1的情况下(在步骤S3中“是”),控制部22将在从存储部23读出的曝光时间中的曝光时间A输出到摄像装置10。在步骤S4结束之后,处理进入步骤S6。
(步骤S5)在判别为变量i不是1的情况下(在步骤S3中“否”),控制部22将在从存储部23读出的曝光时间中的曝光时间B输出到摄像装置10。在步骤S5结束之后,处理进入步骤S6。
(步骤S6)摄像装置10的曝光时间切换部11取得检测装置20输出的表示曝光时间A或者B的信息,并将取得的表示曝光时间的信息输出到摄像部13。
接着,摄像部13基于曝光时间切换部11输出的表示曝光时间的信息,进行拍摄。摄像部13将拍摄到的图像数据输出到检测装置20。在步骤S6结束之后,处理进入步骤S7。
(步骤S7)检测装置20的图像取得部24根据定时信号生成部21输出的定时信号的定时,取得摄像装置10输出的图像数据,并将取得的图像数据输出到图像处理部25。在步骤S6结束之后,处理进入步骤S7。
(步骤S8)控制部22判别变量i是否为1。在判别为变量i为1的情况下(在步骤S8中“是”),处理进入步骤S9。在判别为变量i不是1的情况下(在步骤S8中“否”),处理进入步骤S11。
(步骤S9)在判别为变量i为1的情况下(在步骤S8中“是”),图像处理部25进行用于检测行驶路区分线或物体的图像处理。图像处理部25对图像数据,首先检测边缘点而检测边缘图像数据,接着对边缘图像数据进行霍夫变换而检测直线分量。接着,图像处理部25从检测出的直线分量中将连续的线段作为行驶路区分线的候选而检测。图像处理部25将表示这样检测出的对象物的候选区域的信息输出到检测部26。在步骤S9结束之后,处理进入步骤S10。
(步骤S10)控制部将变量i设为“2”。在步骤S10结束之后,处理进入步骤S13。
(步骤S11)在判别为变量i不是1的情况下(在步骤S8中“否”),图像处理部25进行用于检测前大灯的图像处理。图像处理部25对图像数据,首先检测边缘点而检测边缘图像数据,接着对边缘图像数据进行霍夫变换而检测圆形分量。接着,图像处理部25将检测出的圆形分量作为前大灯的候选而检测。图像处理部25将表示这样检测出的对象物的候选区域的信息输出到检测部26。在步骤S11结束之后,处理进入步骤S12。
(步骤S12)控制部22将变量i设为“1”。在步骤S12结束之后,处理进入步骤S13。
(步骤S13)检测部26基于图像处理部25输出的表示对象物的候选区域的信息,检测前大灯等的发光的对象物以及行驶路区分线等的反射的对象物。检测部26将检测出的结果输出到在未图示的仪表板中安装的显示部或未图示的车辆的行驶控制部等。
摄像装置10和检测装置20根据定时信号生成部21输出的定时信号的定时,在每个帧重复步骤S2~S13。
之后,摄像装置10和检测装置20在每个帧交替地切换2个曝光时间而进行拍摄,并从拍摄到的图像数据中检测发光的对象物或者反射的对象物。其结果,从以相对长的曝光时间A拍摄到的帧中能够检测行驶路区分线,从以相对短的曝光时间B拍摄到的帧中能够检测对头车的前大灯。
另外,也可以通过在上述的专利文献1、参考文献1(日本特开2009-271908号公报)、参考文献2(日本特开2010-44445号公报)等中记载的公知的方法进行从拍摄到的图像中提取规定的特征点并基于该特征点而提取行驶路区分线的方法。
根据上述的本发明的第一实施方式,由于交替地切换,以便为了拍摄白线,以相对长的曝光时间A拍摄,接着,为了拍摄前大灯,以相对短的曝光时间B拍摄,从而能够适当地进行晚上的行驶路区分线的检测以及对头车的前大灯(对头灯、背光灯)的检测。
此外,通过以相对短的曝光时间B进行拍摄,不仅能够在晚上检测行驶路区分线和对头车的前大灯(对头灯、背光灯),还能够防止在市区等行驶时,拍摄到路灯、商店的光、信号机的光等原本不想要检测的光源的情况。
此外,若在白天也使用相对长的曝光时间A以及相对短的曝光时间B,则在下雨的情况下,如在画出之后经过了时间的行驶路区分线那样亮度差较少的状况下,也能够适当地检测出行驶路区分线。
(第二实施方式)
在第一实施方式中,说明了切换摄像装置10的曝光时间而进行拍摄的例子,但在第二实施方式中,说明除了曝光时间之外还切换放大灵敏度的例子。
图6是用于说明在以往的检测装置中使用的IRIS(Intelligent coopeRativeIntersection Safety system:智能协作交叉安全系统)的概念图。另外,IRIS是在SAFESPOT综合项目内,进行红信号警告、左转支援、右转时步行者保护、紧急车辆支援的基于基础设施的交叉点安全系统。此外,SAFESPOT是由欧盟信息社会技术项目(European Commission Information SocietyTechnologies)提供了共同资金的综合项目,由8种子项目构成。
如图6所示,IRIS在通过摄像装置拍摄的区域中对道路面区域100进行图像判定而提取范围。然后,计算作为横穿在提取出的范围中相当于行驶路区分线的区域210和220的区域、即计算线110~160的绝对亮度,并改变作为开闭器速度的曝光时间和放大灵敏度(增益)而进行反馈控制,使得绝对亮度的值成为一定。另外,增益是指,在摄像装置为COMS摄像机中,例如放大CMOS摄像机的电荷而提高摄像灵敏度时的放大率。
接着,使用图7说明第二实施方式的识别装置的结构。图7是表示第二实施方式的识别装置的结构的一例的方框图。
如图7所示,识别装置1a由摄像装置10a和检测装置20a构成。
摄像装置10a包括曝光时间切换部11、增益切换部12以及摄像部13a。检测装置20a包括定时信号生成部21、控制部22a、存储部23a、图像取得部24a、图像处理部25a、检测部26、区域提取部27、绝对亮度计算部28、增益/曝光时间校正部29。另外,关于与第一实施方式中的识别装置1具有相同的功能的功能部,使用相同的标号并省略说明。
首先,说明摄像装置10a的结构。
增益切换部12基于检测装置20a输出的表示增益的信息,切换摄像部13a的曝光时间。
摄像部13a以由曝光时间切换部11切换的曝光时间且由增益切换部12切换的增益进行拍摄,并将拍摄到的图像数据输出到检测装置20a。
接着,说明检测装置20a的结构。
控制部22a读出在存储部23a中存储的2个曝光时间和2个增益值。控制部22在定时信号生成部21输出的定时信号的定时,将表示曝光时间A的信息和表示增益C的信息或者表示曝光时间B的信息和表示增益D的信息交替地输出到摄像装置10a。
在存储部23a中预先存储有表示曝光时间A的信息、表示曝光时间B的信息、表示增益C的信息、表示增益D的信息。增益C是在摄像装置10a的摄像时,与曝光时间A一同使用的增益。此外,增益D是在摄像装置10a的摄像时,与曝光时间B一同使用的增益。
图像取得部24a在定时信号生成部21输出的定时信号的定时取得摄像装置10a输出的图像数据,并将取得的图像数据变换为数字数据。图像取得部24a将变换后的图像数据输出到图像处理部25a和区域提取部27。另外,在摄像装置10a输出的图像数据为数字信号的情况下,图像取得部24a将取得的图像数据不变换而直接输出到图像处理部25a和区域提取部27。
图像处理部25a对图像取得部24a输出的图像数据进行预先决定的图像处理。图像处理部25a将表示通过预先决定的图像处理而检测出的对象物的候选区域的信息输出到检测部26和区域提取部27。
区域提取部27基于图像处理部25a输出的表示对象物的候选区域的信息,从图像取得部24a输出的图像数据中提取要检测的对象物候选的图像区域,并将提取出的图像区域的图像数据输出到绝对亮度计算部28。
绝对亮度计算部28计算图像区域的图像数据的绝对亮度值(实际的亮度),并将表示计算出的绝对亮度值的信息输出到增益/曝光时间校正部29。
增益/曝光时间校正部29(校正部)基于绝对亮度计算部28输出的表示绝对亮度值的信息,校正在拍摄中使用的增益和曝光时间,并将校正后的增益和曝光时间存储在存储部23a中。
接着,使用图8说明摄像对象和曝光时间。图8是说明第二实施方式的摄像对象、曝光时间以及增益的关系的图。
如图8所示,摄像装置10a通过检测装置20a的控制,在时刻t1~t2的期间,以曝光时间A且增益C拍摄第1帧的图像数据。此时,由于以长的曝光时间、即曝光时间A进行拍摄,所以摄像装置10a拍摄到用于检测路面的图像。
接着,摄像装置10a通过检测装置20a的控制,在时刻t2~t3的期间,以短的曝光时间、即曝光时间B且增益D拍摄第2帧的图像数据。此时,由于以短的曝光时间B进行拍摄,所以摄像装置10a拍摄到用于检测前大灯等的图像。
摄像装置10a通过检测装置20a的控制,在时刻t3~t4的期间,以曝光时间A’且增益C’拍摄第3帧的图像数据。另外,如后所述,曝光时间A’是曝光时间A基于拍摄到的图像数据而校正后的曝光时间。此外,增益C’是增益C基于拍摄到的图像数据而校正后的增益。
接着,摄像装置10a通过检测装置20a的控制,在时刻t4~t5的期间,以短的曝光时间、即曝光时间B’且增益D’拍摄第4帧的图像数据。
另外,如后所述,曝光时间B’是曝光时间B基于拍摄到的图像数据而校正后的曝光时间。此外,增益D’是增益D基于拍摄到的图像数据而校正后的增益。
之后,摄像装置10a交替地切换校正后的曝光时间A且增益C、校正后的曝光时间B且增益D进行拍摄。
接着,使用图9说明第二实施方式的动作。
图9是用于说明第二实施方式的检测装置的动作的流程图。
(步骤S101)检测装置20a的控制部22a首先将用于区分是否使用曝光时间A、B、增益C、D的变量i设为“1”。另外,以下说明的步骤S102之后的处理在每一帧执行。在步骤S101结束之后,处理进入步骤S102。
(步骤S102)控制部22a取得定时信号生成部21输出的定时信号。在步骤S102结束之后,处理进入步骤S103。
(步骤S103)控制部22a判别变量i是否为1。在判别为变量i为1的情况下(在步骤S103中“是”),处理进入步骤S104。在判别为变量i不是1的情况下(在步骤S103中“否”),处理进入步骤S106。
(步骤S104)在判别为变量i为1的情况下(在步骤S103中“是”),控制部22a将在从存储部23a读出的增益值中的增益C输出到摄像装置10a。在步骤S104结束之后,处理进入步骤S105。
(步骤S105)控制部22a将在从存储部23a读出的曝光时间中的曝光时间A输出到摄像装置10a。在步骤S105结束之后,处理进入步骤S108。
(步骤S106)在判别为变量i不是1的情况下(在步骤S103中“否”),控制部22a将在从存储部23a读出的增益值中的增益D输出到摄像装置10a。在步骤S106结束之后,处理进入步骤S107。
(步骤S107)控制部22a将在从存储部23a读出的曝光时间中的曝光时间B输出到摄像装置10a。在步骤S107结束之后,处理进入步骤S108。
(步骤S108)摄像装置10a的增益切换部12取得检测装置20a输出的表示增益C或者D的信息,并将取得的表示增益值的信息输出到摄像部13a。
接着,曝光时间切换部11取得检测装置20a输出的表示曝光时间A或者B的信息,并将取得的表示曝光时间的信息输出到摄像部13a。
接着,摄像部13a基于曝光时间切换部11输出的表示曝光时间的信息和增益切换部12输出的表示增益值的信息,进行拍摄。摄像部13a将拍摄到的图像数据输出到检测装置20a。在步骤S108结束之后,处理进入步骤S109。
(步骤S109)检测装置20a的图像取得部24a根据定时信号生成部21输出的定时信号的定时,取得摄像装置10a输出的图像数据,并将取得的图像数据输出到图像处理部25a。在步骤S109结束之后,处理进入步骤S110。
(步骤S110)控制部22a判别变量i是否为1。在判别为变量i为1的情况下(在步骤S110中“是”),进入步骤S111。在判别为变量i不是1的情况下(在步骤S110中“否”),处理进入步骤S117。
(步骤S111)在判别为变量i为1的情况下(在步骤S110中“是”),图像处理部25a进行用于检测行驶路区分线或物体的图像处理。图像处理部25a将表示对象物的候选区域的信息输出到检测部26。在步骤S111结束之后,处理进入步骤S112。
(步骤S112)区域提取部27基于图像取得部24a输出的图像数据和图像处理部25a输出的表示对象物的候选区域的信息,从取得的图像数据中提取对象物的候选区域的图像数据。从取得的图像数据中提取出的区域是如图3的区域310~355那样表示行驶路区分线、路灯的形状等的区域。
区域提取部27将提取出的图像区域的图像数据输出到绝对亮度计算部28。在步骤S112结束之后,处理进入步骤S113。
(步骤S113)绝对亮度计算部28计算区域提取部27输出的图像区域的图像数据中的绝对亮度,并将表示计算出的绝对亮度的信息输出到增益/曝光时间校正部29。在步骤S113结束之后,处理进入步骤S114。
(步骤S114)增益/曝光时间校正部29基于绝对亮度计算部28输出的表示绝对亮度的信息,校正在用于进行行驶路区分线或物体等的对象物的检测的拍摄中使用的增益值。增益/曝光时间校正部29校正在步骤S104中设定的增益C,并将校正后的增益C’存储在存储部23a中。在步骤S114结束之后,处理进入步骤S115。
(步骤S115)增益/曝光时间校正部29基于绝对亮度计算部28输出的表示绝对亮度的信息,校正在用于进行行驶路区分线或物体等的对象物的检测的拍摄中使用的曝光时间。增益/曝光时间校正部29校正在步骤S105中设定的曝光时间A,并将校正后的曝光时间A’存储在存储部23a中。在步骤S115结束之后,处理进入步骤S116。
(步骤S116)控制部22a将变量i设为“2”。在步骤S116结束之后,处理进入步骤S123。
(步骤S117)在判别为变量i不是1的情况下(在步骤S110中“否”),图像处理部25a进行用于检测前大灯的图像处理。图像处理部25a将表示对象物的候选区域的信息输出到检测部26。在步骤S117结束之后,处理进入步骤S118。
(步骤S118)区域提取部27基于图像取得部24a输出的图像数据和图像处理部25a输出的表示对象物的候选区域的信息,从取得的图像数据中提取候选区域的图像数据。从取得的图像数据中提取出的区域是如图4的区域470~485那样表示前大灯的形状的区域。区域提取部27将提取出的图像区域的图像数据输出到绝对亮度计算部28。在步骤S118结束之后,处理进入步骤S119。
(步骤S119)绝对亮度计算部28计算区域提取部27输出的图像区域的图像数据中的绝对亮度,并将表示计算出的绝对亮度的信息输出到增益/曝光时间校正部29。在步骤S119结束之后,处理进入步骤S120。
(步骤S120)增益/曝光时间校正部29基于绝对亮度计算部28输出的表示绝对亮度的信息,校正在用于进行前大灯等的对象物的检测的拍摄中使用的增益值。增益/曝光时间校正部29校正在步骤S106中设定的增益D,并将校正后的增益D’存储在存储部23a中。在步骤S120结束之后,处理进入步骤S121。
(步骤S121)增益/曝光时间校正部29基于绝对亮度计算部28输出的表示绝对亮度的信息,校正在用于进行前大灯等的对象物的检测的拍摄中使用的曝光时间。增益/曝光时间校正部29校正在步骤S107中设定的曝光时间B,并将校正后的曝光时间B’存储在存储部23a中。在步骤S121结束之后,处理进入步骤S122。
(步骤S122)控制部22a将变量i设为“1”。在步骤S122结束之后,处理进入步骤S123。
(步骤S123)检测部26基于图像处理部25a输出的表示对象物的候选区域的信息,检测发光的对象物以及反射的对象物。检测部26将检测出的结果输出到在未图示的仪表板中安装的显示部或未图示的车辆的行驶控制部等。
摄像装置10a和检测装置20a根据定时信号生成部21输出的定时信号的定时,在每个帧重复步骤S102~S123。
之后,摄像装置10a和检测装置20a在每个帧交替地切换2个曝光时间和2个增益而进行拍摄,并从拍摄到的图像数据中提取包括想要检测的对象物的区域。然后,基于提取出的区域的绝对亮度,校正了所设定的曝光时间和增益。其结果,由于从以适当的曝光时间和增益拍摄到的图像数据中检测想要检测的对象物,所以即使是在白天、晚上、下雨天,也能够高精度地进行对象物的检测。
另外,在第二实施方式中,说明了在步骤S114、S115、S120以及S121中,将增益和曝光时间作为一组来进行校正的例子,但也可以根据在步骤S113或者S119中计算出的绝对亮度,仅校正增益或者仅校正曝光时间。
此时,检测装置20a例如基于在图8中在时刻t1~t2拍摄到的第1帧的图像数据,仅校正曝光时间A,基于在时刻t3~t4拍摄到的第3帧的图像数据,在步骤S113中再次计算绝对亮度。基于在步骤S113中计算出的绝对亮度,检测装置20a的增益/曝光时间校正部29判别通过仅校正曝光时间A,想要检测的对象物的绝对亮度是否合适。在判别为曝光时间合适的情况下,增益/曝光时间校正部29仅将校正后的曝光时间A’存储在存储部23a中。另一方面,在判别为绝对亮度不合适的情况下,增益/曝光时间校正部29基于计算出的绝对亮度,还校正增益C。
或者,检测装置20a例如基于在图8中在时刻t1~t2拍摄到的第1帧的图像数据,仅校正增益C,基于在时刻t3~t4拍摄到的第3帧的图像数据,在步骤S113中再次计算绝对亮度。基于在步骤S113中计算出的绝对亮度,检测装置20a的增益/曝光时间校正部29判别通过仅校正增益C,想要检测的对象物的亮度是否合适。在判别为曝光时间A且增益C合适的情况下,增益/曝光时间校正部29仅将校正后的增益C’存储在存储部23a中。另一方面,在判别为亮度不合适的情况下,增益/曝光时间校正部29基于计算出的绝对亮度,还校正曝光时间A。由此,校正增益,在仅校正增益还不能对想要检测的对象物获得合适的亮度的情况下校正曝光时间的效果在于,能够减少预先决定的曝光时间的开闭器速度的变化。在摄像装置10a进行拍摄的情况下,例如在图8中,在每个第1帧、第3帧、第5帧改变曝光时间的情况下,有时会产生拍摄到的图像数据的对象物(背光灯或行驶路区分线等)飘动的现象。在产生了飘动的现象的情况下,有时还会降低对象物的检测精度。因此,通过减少曝光时间的校正,得到减轻这样的图像数据内的对象物的飘动现象的效果。
此外,为了减轻这样的图像数据内的飘动现象,例如图像处理部25a也可以在检测出想要检测的对象物的区域之后,通过图案匹配等的公知的图像识别方法来判别在检测出的区域的对象物的候选中是否产生了飘动现象。并且,也可以在判别为产生了飘动现象的情况下,重新设定为预先决定的曝光时间,在步骤S114或者S120中校正增益。
另外,在上述实施方式中,说明了如图2和图8所示,交替地进行长的曝光时间A的拍摄和短的曝光时间B的拍摄的例子,但也可以根据摄像装置10或者10a的帧率等,例如以曝光时间A拍摄了2帧之后以曝光时间B拍摄2帧。此外,也可以根据想要检测的对象,例如以曝光时间A拍摄了2帧之后以曝光时间B拍摄1帧。此外,以曝光时间A拍摄的期间Δt1(=t1~t2)和以曝光时间B拍摄的期间Δt2(=t2~t3)既可以是相同的期间,或者也可以根据曝光时间,将期间Δt2设得比Δt1短。
此外,在上述实施方式中,说明了从交替地切换2个不同的曝光时间A和B而拍摄到的图像数据中检测对象物的例子,但也可以根据想要检测的对象,曝光时间不限定于2个而是3个以上。此时,也可以依次切换第1曝光时间、第2曝光时间、第3曝光时间而进行拍摄,并从拍摄到的各个图像数据中检测对象物。此外,在第1曝光时间、第2曝光时间、第3曝光时间中,也可以是第1曝光时间比第2曝光时间和第3曝光时间长,第2曝光时间比第3曝光时间长。或者,在第1曝光时间、第2曝光时间、第3曝光时间中,也可以是第1曝光时间比第2曝光时间和第3曝光时间长,第3曝光时间比第2曝光时间长。同样地,增益值也并不限定于2个,也可以是3个以上。
此外,在上述实施方式中,说明了切换摄像装置10a的增益值的例子,但也可以在图像处理部25a进行的图像处理时,通过控制部22a的控制而切换图像数据的灵敏度。
另外,也可以将用于实现上述实施方式的图1或者图7中的检测装置20或者20a的各个部分的功能的程序记录在计算机可读取的记录介质中,并将在该记录介质中记录的程序读入到计算机系统中执行,从而进行各个部分的处理。另外,这里所称的“计算机系统”包括OS或周边设备等的硬件。
此外,若是利用WWW系统的情况下,“计算机系统”还包括主页提供环境(或者显示环境)。
此外,“计算机可读取的记录介质”是指,软盘、光磁盘、ROM(只读存储器)、CD-ROM等的可移动介质、经由USB(通用串行总线)I/F(接口)而连接的USB存储器、在计算机系统中内置的硬盘等的存储装置。此外,“计算机可读取的记录介质”还包括如成为服务器或客户机的计算机系统内部的易失性存储器那样一定时间保持程序的介质。此外,上述程序既可以用于实现上述的功能的一部分,也可以与已经在计算机系统中记录的程序进行组合而实现上述的功能。

Claims (7)

1.一种检测装置,包括:
控制部,在预先决定的定时切换摄像装置的曝光时间;
图像取得部,取得以不同的曝光时间拍摄的图像数据;以及
对象物检测部,根据所述图像取得部取得的不同的曝光时间的各个图像数据,检测各个对象物。
2.如权利要求1所述的检测装置,其中,
所述控制部在预先决定的定时切换所述摄像装置的放大灵敏度,
所述图像取得部取得以不同的曝光时间且不同的放大灵敏度拍摄的图像数据,
所述对象物检测部根据所述图像取得部取得的不同的曝光时间且不同的放大灵敏度的各个图像数据,检测各个对象物。
3.如权利要求1所述的检测装置,包括:
区域提取部,从以不同的曝光时间拍摄的图像数据中提取所述对象物的候选区域的图像数据;
绝对亮度计算部,计算所述区域提取部提取出的所述对象物的候选区域的图像数据中的绝对亮度;以及
校正部,基于所述绝对亮度计算部计算出的所述对象物的候选区域的图像数据中的绝对亮度,校正所述曝光时间和所述放大灵敏度中的至少一个,
所述控制部将所述摄像装置的曝光时间或者放大灵敏度切换为由所述校正部校正的曝光时间或者放大灵敏度。
4.如权利要求1至3的任一项所述的检测装置,其中,
所述不同的曝光时间由第一曝光时间和比所述第一曝光时间短的第二曝光时间构成。
5.如权利要求4所述的检测装置,其中,
所述第一曝光时间是至少用于发光的对象物的检测的曝光时间,
所述第二曝光时间是至少用于反射的对象物的检测的曝光时间。
6.如权利要求5所述的检测装置,其中,
所述发光的对象物至少是前大灯,
所述反射的对象物是至少包括车辆的行驶路面上的行驶路区分线、车辆以及人中的其中一个的物体。
7.一种检测装置中的检测方法,包括:
控制步骤,控制部在预先决定的定时切换摄像装置的曝光时间;
图像取得步骤,图像取得部取得以不同的曝光时间拍摄的图像数据;以及
对象物检测步骤,对象物检测部根据在所述图像取得步骤中取得的不同的曝光时间的各个图像数据,检测各个对象物。
CN2012101134540A 2011-04-19 2012-04-17 检测装置以及检测方法 Pending CN102745134A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011092843A JP2012226513A (ja) 2011-04-19 2011-04-19 検知装置、及び検知方法
JP2011-092843 2011-04-19

Publications (1)

Publication Number Publication Date
CN102745134A true CN102745134A (zh) 2012-10-24

Family

ID=47025758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012101134540A Pending CN102745134A (zh) 2011-04-19 2012-04-17 检测装置以及检测方法

Country Status (3)

Country Link
US (1) US20120300074A1 (zh)
JP (1) JP2012226513A (zh)
CN (1) CN102745134A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144325A (zh) * 2014-07-08 2014-11-12 北京汉王智通科技有限公司 一种监控方法及监控设备
CN106183988A (zh) * 2015-05-27 2016-12-07 福特全球技术公司 无功用前照灯报警
CN107528998A (zh) * 2016-06-17 2017-12-29 松下知识产权经营株式会社 摄像装置
CN108182400A (zh) * 2017-12-27 2018-06-19 成都理工大学 数码管动态显示识别方法及系统
CN108664889A (zh) * 2017-03-28 2018-10-16 卡西欧计算机株式会社 对象物检测装置、对象物检测方法以及记录介质
CN112364732A (zh) * 2020-10-29 2021-02-12 浙江大华技术股份有限公司 图像处理方法及装置、存储介质和电子装置
CN113875217A (zh) * 2019-05-30 2021-12-31 索尼半导体解决方案公司 图像识别装置和图像识别方法
CN114500870A (zh) * 2021-12-30 2022-05-13 北京罗克维尔斯科技有限公司 图像处理方法、装置及电子设备

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011084762A1 (de) * 2011-10-19 2013-04-25 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung einer Position eines Objektes in einem Umfeld eines Fahrzeugs
JP5680573B2 (ja) * 2012-01-18 2015-03-04 富士重工業株式会社 車両の走行環境認識装置
US9307207B2 (en) * 2013-01-07 2016-04-05 GM Global Technology Operations LLC Glaring reduction for dynamic rearview mirror
KR101723401B1 (ko) * 2013-08-12 2017-04-18 주식회사 만도 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
KR101511853B1 (ko) * 2013-10-14 2015-04-13 영남대학교 산학협력단 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법
JP6644509B2 (ja) * 2015-10-01 2020-02-12 アルパイン株式会社 車両検知警報装置および車両検知警報方法
US9898676B2 (en) * 2016-01-13 2018-02-20 I-Shou University Method for determining the level of degradation of a road marking
US9866718B1 (en) * 2016-09-06 2018-01-09 Kabushiki Kaisha Toshiba Light source unit, image processing apparatus, image processing system and image processing method
DE102020100122A1 (de) 2020-01-07 2021-07-08 HELLA GmbH & Co. KGaA Vorrichtung und Verfahren zur Funktionsüberwachung von Lichtquellen
JP7468228B2 (ja) 2020-07-30 2024-04-16 株式会社タダノ クレーン

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11258654A (ja) * 1998-03-12 1999-09-24 Fuji Heavy Ind Ltd カメラのシャッタ速度制御装置
CN1607818A (zh) * 2003-10-15 2005-04-20 富士通天株式会社 图像处理装置、驾驶支援装置和驾驶支援系统
CN1638437A (zh) * 2003-12-25 2005-07-13 耐劳赐株式会社 摄像系统
CN101032169A (zh) * 2005-05-20 2007-09-05 丰田自动车株式会社 车辆用图像处理装置
CN101047786A (zh) * 2006-03-27 2007-10-03 精工爱普生株式会社 摄像装置、摄像系统以及摄像方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8120652B2 (en) * 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
JP3570198B2 (ja) * 1998-01-07 2004-09-29 オムロン株式会社 画像処理方法およびその装置
JP2000217100A (ja) * 1999-01-25 2000-08-04 Matsushita Electric Ind Co Ltd 車載カメラシステム
JP3949903B2 (ja) * 2001-04-09 2007-07-25 東芝エルエスアイシステムサポート株式会社 撮像装置及び撮像信号処理方法
JP4984915B2 (ja) * 2006-03-27 2012-07-25 セイコーエプソン株式会社 撮像装置、撮像システム及び撮像方法
JP2008158674A (ja) * 2006-12-21 2008-07-10 Toyota Motor Corp 道路区画線認識装置
JP2010272067A (ja) * 2009-05-25 2010-12-02 Hitachi Automotive Systems Ltd 画像処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11258654A (ja) * 1998-03-12 1999-09-24 Fuji Heavy Ind Ltd カメラのシャッタ速度制御装置
CN1607818A (zh) * 2003-10-15 2005-04-20 富士通天株式会社 图像处理装置、驾驶支援装置和驾驶支援系统
CN1638437A (zh) * 2003-12-25 2005-07-13 耐劳赐株式会社 摄像系统
CN101032169A (zh) * 2005-05-20 2007-09-05 丰田自动车株式会社 车辆用图像处理装置
CN101047786A (zh) * 2006-03-27 2007-10-03 精工爱普生株式会社 摄像装置、摄像系统以及摄像方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144325A (zh) * 2014-07-08 2014-11-12 北京汉王智通科技有限公司 一种监控方法及监控设备
CN106183988A (zh) * 2015-05-27 2016-12-07 福特全球技术公司 无功用前照灯报警
CN107528998A (zh) * 2016-06-17 2017-12-29 松下知识产权经营株式会社 摄像装置
CN107528998B (zh) * 2016-06-17 2020-10-02 松下知识产权经营株式会社 摄像装置
CN108664889A (zh) * 2017-03-28 2018-10-16 卡西欧计算机株式会社 对象物检测装置、对象物检测方法以及记录介质
CN108182400A (zh) * 2017-12-27 2018-06-19 成都理工大学 数码管动态显示识别方法及系统
CN113875217A (zh) * 2019-05-30 2021-12-31 索尼半导体解决方案公司 图像识别装置和图像识别方法
CN112364732A (zh) * 2020-10-29 2021-02-12 浙江大华技术股份有限公司 图像处理方法及装置、存储介质和电子装置
CN114500870A (zh) * 2021-12-30 2022-05-13 北京罗克维尔斯科技有限公司 图像处理方法、装置及电子设备

Also Published As

Publication number Publication date
US20120300074A1 (en) 2012-11-29
JP2012226513A (ja) 2012-11-15

Similar Documents

Publication Publication Date Title
CN102745134A (zh) 检测装置以及检测方法
CN109377469B (zh) 一种热成像融合可见光图像的处理方法、系统及存储介质
CN101937563B (zh) 一种目标检测方法和设备及其使用的图像采集装置
JP5031617B2 (ja) 関連領域特定装置及び方法、並びに画像認識装置及び方法
US20120008021A1 (en) Shadow Removal in an Image Captured by a Vehicle-Based Camera for Clear Path Detection
WO2016206004A1 (zh) 一种获取深度信息的拍照设备和方法
KR20000071087A (ko) 옥외용 거리 계측 장치
US20120008020A1 (en) Shadow Removal in an Image Captured by a Vehicle Based Camera Using a Non-Linear Illumination-Invariant Kernel
CN102342090A (zh) 图像拍摄设备、操作员监视设备、测量到面部的距离的方法和程序
CN110135235B (zh) 一种眩光处理方法、装置及车辆
CN102542251B (zh) 被摄体检测装置以及被摄体检测方法
JP2803313B2 (ja) 指紋照合装置
JP2004086417A (ja) 横断歩道等における歩行者検出方法及び同装置
JP2000306097A (ja) 道路領域判定装置
KR20210098594A (ko) 차량 위치 정보 획득 장치 및 제어 방법
JP6825299B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2003329780A (ja) 夜間雲量測定方法および夜間雲量測定装置
JP6874315B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2008108118A (ja) 画像処理装置
JP2008028478A (ja) 障害物検出システム、及び障害物検出方法
CN110235178B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
JPH11219493A (ja) 交通情報処理方法
JP2010250710A (ja) 物体認識装置、ナンバープレート認識装置および物体の色判定装置
JP2001350576A (ja) ビジュアルインターフェイス
RU2483354C1 (ru) Способ выделения объекта в изображении

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121024