CN102074007A - 车辆用图像处理装置 - Google Patents

车辆用图像处理装置 Download PDF

Info

Publication number
CN102074007A
CN102074007A CN2010106234160A CN201010623416A CN102074007A CN 102074007 A CN102074007 A CN 102074007A CN 2010106234160 A CN2010106234160 A CN 2010106234160A CN 201010623416 A CN201010623416 A CN 201010623416A CN 102074007 A CN102074007 A CN 102074007A
Authority
CN
China
Prior art keywords
camera
frame
image
white line
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010106234160A
Other languages
English (en)
Other versions
CN102074007B (zh
Inventor
宇佐美祐之
玉置友康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2005148097A external-priority patent/JP4797441B2/ja
Priority claimed from JP2006132205A external-priority patent/JP5017921B2/ja
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN102074007A publication Critical patent/CN102074007A/zh
Application granted granted Critical
Publication of CN102074007B publication Critical patent/CN102074007B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种车辆用图像处理装置，照相机(17)将以适于白线检测的方式计算出的照相机控制值，适用于每一帧进行拍摄，并且，将以适于立体物检测的方式计算出的照相机控制值，适用于每一帧进行拍摄。在赋予了帧计数和拍摄时适用的照相机控制值的基础上，所拍摄的帧被发送给立体ECU(20)，立体ECU(20)根据其赋予的帧计数对白线用帧和立体物用帧进行区分。立体ECU(20)根据所区分的帧，进行白线用检测或者立体物用检测，并且，计算出白线用照相机控制值或者立体物用照相机控制值，将其计算出的照相机控制值发送给照相机(17)。

Description

车辆用图像处理装置
本申请为，国际申请号为PCT/JP2006/309965、中国国家申请号为200680000897.1、国际申请日为2006年5月18日，最早优先权日为2005年5月20日、发明名称为车辆用图像处理装置的发明专利申请的分案申请。
技术领域
本发明涉及一种根据拍摄图像检测路面上的白线以及立体物的车辆用图像处理装置。
背景技术
一直以来，利用根据照相机所拍摄的图像的亮度分布而作成的亮度直方图，来控制照相机的快门速度的控制装置已是众所周知(例如，参照专利文献1)。专利文献1所记载的控制装置对快门速度进行调节，使得在将亮度分布直方图的度数从亮度低的一侧按顺序相加所得的累加值与从亮度高的一侧按顺序相加所得的累加值超过各自的设定值时，低侧和高侧的区间长度互相相等。
在车辆上，通过这样控制快门速度的照相机对车辆的周边进行拍摄，并根据所拍摄的图像来帮助驾驶者。例如，已出现一种可根据所拍摄的车辆周围的图像检测行驶路线、障碍物，从而帮助驾驶者进行车辆操作的车辆用图像处理装置(例如，参照专利文献2)。专利文献2的车辆用图像处理装置，根据一对立体照相机中的一个照相机所获得图像检测白线，并且将由双方照相机所获得的图像与每个矩形区域进行比较，根据其关联性检测立体物。
专利文献1：日本特开平11-258654号公报
专利文献2：日本特开平11-14346号公报
但是，检测路面上的白线的场合与检测立体物的场合，各自所适用的快门速度不同。因此，如果如专利文献1记载的那样，如果不区分白线检测与立体物检测而根据拍摄的图像整体的亮度分布来控制快门速度，则不能拍摄适合于白线与立体物的各自检测的图像。另外，如专利文献2所记载的那样，即使单纯地将一对立体照相机共用于白线检测用与立体物检测用，也难于高精度地分别检测出白线与立体物。
发明内容
因此，本发明的目的在于提供一种车辆用图像处理装置，其可以共用照相机，获得分别适合于立体物检测处理和白线检测处理的图像。
为了解决上述问题，本发明的车辆用图像处理装置包括：计算处理单元，计算处理用于调节帧曝光的照相机控制值；拍摄单元，利用计算处理单元计算出的照相机控制值进行拍摄；以及检测处理单元，对通过拍摄单元所拍摄的帧进行白线检测处理和立体物检测处理，其特征在于，拍摄单元将通过所述计算处理单元计算处理的、分别适于检测白线和立体物的照相机控制值适用于每个帧，进行拍摄；检测处理单元对适用白线用照相机控制值而拍摄的帧进行白线检测处理，对适用立体物用照相机控制值而拍摄的帧进行立体物检测处理。
另外，为了解决上述课题，本发明提供一种车辆用图像处理装置，其特征在于，包括：第1拍摄单元，可进行平面物检测用的快门控制以及立体物检测用的快门控制；第2拍摄单元，进行立体物检测用的快门控制；以及图像处理部，对通过第1和第2拍摄单元的至少一个所拍摄的图像，进行平面物检测或者立体物检测。
根据本发明，提供一种车辆用图像处理装置，其可以共用照相机，获得分别适于立体物检测处理和白线检测处理的图像。
附图说明
图1为表示利用本发明的车辆用图像处理装置的系统结构的一个例子的示意图。
图2为在照相机ECU与立体照相机ECU之间进行的图像处理时序的部分示意图。
图3为立体物检测处理的流程图。
图4为白线检测处理的流程图。
图5为以一定频率发送照相机控制值的时间程序。
图6为照相机ECU进行照相机控制时的流程图。
图7为表示在路面上设定了光度标准窗口的示意图。
图8为表示在立体物周围设定了光度标准窗口的示意图。
图9为本实施方式的车辆用图像处理装置的系统结构图的一个例子。
图10为在图像获取部与立体ECU之间进行的图像处理时序的部分示意图。
图11为根据这样的时序处理而控制左右照相机的控制顺序流程图。
图12为表示立体ECU对应帧编号进行白线检测或立体物检测的图像处理顺序的流程图。
符号说明
10        照相机ECU
11、12    拍摄元件
13        照相机CPU
14        图像输出部
15、16    镜头
17        照相机模块
18、25、26存储器
20        立体ECU
21        图像输入部
22        图像转换处理部
23        SV-CPU
24        图像识别处理部
具体实施方式
以下，参照附图，例举实施例对本发明的最佳实施方式进行说明。
实施例1
图1为表示利用了本发明的车辆用图像处理装置的系统结构一个例子的图。本图像处理系统具有照相机ECU(Electric Control Unit)10、和立体ECU20。各个ECU都是将中央处理装置(CPU)、存储程序的ROM、暂时存储数据的RAM、输入接口、输出接口等的多个电路元件作为一个单元而构成的。也可称为计算机。
照相机ECU10作为拍摄手段，包括：拍摄元件11、12和镜头15、16等构成立体照相机的照相机模块17；照相机CPU13；以及图像输出部14等。拍摄元件11、12由例如CCD(Charge Coupled Device)、或者CMOS(Complementary Metal Oxide Semiconductor)等的光电转换元件构成。从车辆前方照射到照相机模块17中的光，通过拍摄元件11、12进行光电转换，将储存的电荷作为电压读出放大，并进行A/D转换后，转换成具有预定亮度色调(例如256色调)的数字图像。
照相机CPU13对根据来自于立体ECU20的后述的照相机控制值，而进行调节照相机的帧曝光的照相机控制。照相机CPU13经由作为输出接口的图像输出部14，将照相机模块17所拍摄的帧、拍摄时适用的照相机控制值、帧计数等作为图像信号发送给立体ECU20。另外，拍摄元件不限于2个，也可以为2个以上。
立体ECU20包括：作为输入接口的图像输入部21、具有几何转换LSI等的几何转换处理部22、具有图像处理LSI等的图像识别处理部24、以及用于监控各处理部的SV-CPU23。
从照相机ECU10的图像输出部14输出的图像信号被发送到作为立体ECU20的输入接口的图像输入部21。图像输出部14与图像输入部21为预定的数字传送方式的接口。
接受了图像信号的图像输入部21，将图像信号的图像数据发送至几何转换处理部22。几何转换处理部22进行下述已知的处理，即，利用校准数据，从照相机模块17所拍摄的被用于立体运算处理的帧中，消除拍摄元件11、12或者镜头15、16等的硬件的内部误差因素(镜头歪斜、光轴偏移、焦距偏移以及拍摄元件歪斜等)的影响，并使核线(Epipolar Line)与图像水平线重合。几何转换处理部22根据存储于存储器25中的几何转换用的LUT(Look Up Table：查阅表)来转换输入图像。
图像识别处理部24根据来自几何转换处理部22并经过了几何转换的图像数据，进行立体物检测处理、白线检测处理和快门控制。用于这些处理和控制的图像处理程序和需要进行处理的图像数据被储存在存储器26中，图像识别处理部24读取这些程序/数据，进行上述处理/控制。
图像识别处理部24实施的立体物检测处理是，例如通过从立体视觉技术所拍摄的帧中检测立体物的图像处理程序而进行处理。立体物检测处理为，例如求出通过配置于左右的拍摄元件11、12所拍摄的一对图像的相关性，根据对同一物体的视差，利用三角测量的原理计算出到该物体的距离。
也就是说，图像识别处理部24从通过拍摄元件11、12所拍摄的一组立体图像中提取出照有相同拍摄对象物的部分，在一组立体拍摄图像之间，对应其拍摄对象物的相同点，并通过求出所对应的点(对应点)的偏移量(视差)来计算出到拍摄对象物的距离。在拍摄对象物位于前方的情况下，如果将由拍摄元件11所拍摄的图像与由拍摄元件12所拍摄的图像重合，则拍摄对象物沿左右横方向偏移。并且把一侧图像一个一个像素地进行位移，直到求出最重合的位置。此时位移了的像素数为n。如果设镜头的焦距为f，光轴间的距离为m，像素间距为d，则到拍摄对象物的距离L满足L＝(f·m)/(n·d)的关系式。该(n·d)为视差。
另外，图像识别处理部24实施的白线检测处理为，通过从拍摄的帧中检测路面白线的图像处理程序而进行的处理。在白线检测处理中，首先从根据亮度分为2值的拍摄的帧中选择出被认为是相当于路面上的白线的像素(白线后补点)。并且，如果白线后补点是直线排列的，则判断为所选择出的白线后补点就是路面白线。
另外，白线检测处理也可以如下述那样进行。根据所拍摄帧的例如亮度，从帧底部向上方寻找具有预定阈值以上亮度的区域。由于白线在其两端具有高频率成分的边缘，所以如果将车辆前方的帧沿水平方向进行微分，则在白线的两端可得到峰值，该峰值在白线的线内、从白线外到白线、从白线到白线外可以得到正负相反的值，由此可以推算出白线部分。通过在帧上施加进行此种处理的强调白线滤光器，可以强调白线部分，这样，在经过白线强调的帧中，通过对具有白线特征的、即亮度高、线形状等特征的区域进行匹配的方法，检测出白线。
另外，图像识别处理部24实施的快门控制，计算处理并调节适当的照相机控制值(快门速度S或控制增益值K)。帧的曝光根据快门的速度S而变化，如果快门速度S较慢，则由于能保持通过的光，所以在较暗的场所也可以拍摄。图像识别处理部24根据预定的函数，从拍摄的帧的目标光度DR和拍摄的帧的实际光度DA中计算出适当的照相机控制值。例如，将快门速度S的此次值作为SN，将快门速度S的上一次值作为SN-1、控制增益值K，根据预定函数F[SN＝SN-1+K·(DR-DA)]计算出照相机控制值。
SV-CPU23是监控(supervisor)各处理部的CPU。也可以由图像识别处理部24兼任。SV-CPU23将来自图像识别处理部24的快门控制结果、即照相机控制值发送给照相机ECU10内的照相机CPU13并进行指示。
通过在车辆上搭载这样的照相机ECU10和立体ECU20，可以在利用路上的障碍物等的图像识别信息的控制中使用。例如，SV-CPU23经由车内LAN，可以将其结果发送给需要图像识别处理结果的其他的ECU。所谓其他的ECU是指例如对躲避冲撞·减轻冲撞系统进行控制的ECU、对车路线维持支援系统或车路线脱离警报系统进行控制的ECU、车间距ECU、制动器ECU等。
下面，参照附图对本实施例的车辆用图像处理装置的动作进行说明。
在利用图像处理检测某对象物时，优选通过调节快门速度等的照相机控制值，使该对象物具有最适合的光度，来控制照相机的曝光。其方法之一是将作为照相机控制值决定标准的窗口，设定在拍摄图像上。如图7所示，为了能正确检测出在白线检测处理中所检测的白线30，可以在路面上设定光度标准窗口33。另一方面，如图8所示，在立体物检测处理中，为了能正确检测出所检测的以前行车辆或者障碍物为主的立体物32，可以在立体物32周围设定光度标准窗口34。但是，在同时进行白线检测与立体物检测的情况下，如何设定光度标准就变得重要。
在检测立体物时，如果使用白线用照相机控制值，则会产生图像饱和(saturation)，而不能收集到立体物的信息。进一步，即使照相机ECU10一侧可以简单地将正确使用了白线用照相机控制值的白线用图像和正确使用了立体物用照相机控制值的立体物用图像进行切换，但是如果不能在照相机ECU10与立体ECU20之间对拍摄的帧进行很好的整合，则立体ECU20有可能错过图像处理的时机，或者取错应该进行图像处理的图像。
因此，本发明的车辆用图像处理装置为了得到分别适用于立体物检测处理和白线检测处理的图像，进行如下动作。
图2是在照相机ECU10与立体ECU20之间进行的图像处理时序的部分示意图。
立体ECU20内的SV-CPU23与照相机ECU10内的照相机CPU13进行串行通信。SV-CPU23通过串行通信，必须交替地将通过图像识别处理部24的快门控制计算出的白线用照相机控制值(位于图2上方的符号a1、a2、a3的实线箭头)和立体物用照相机控制值(位于图2上方的符号b1、b2、b3的虚线箭头)发送给照相机CPU13。例如，以50ms的发送周期，发送白线用照相机控制值和立体物用照相机控制值(参照图5)。另外，白线用照相机控制值与立体物用照相机控制值的发送顺序被固定，当通信计数为奇数时(图2中的符号(i)、(iii)、(v))发送白线用照相机控制值，为偶数时(图2中的符号(ii)、(iv)、(vi))就发送立体物用照相机控制值。
另外，SV-CPU23在发送照相机控制值时，与图像识别处理部24照相机控制值的起算时间(timing)无关，而是发送在该发送时段的最新计算结果的照相机控制值。即，通过图像识别处理部24进行的照相机控制值的计算处理如果由于高负荷等原因，而没有赶上发送时间，则发送上次计算出的照相机控制值。
另一方面，照相机ECU10以2帧为最小单位进行白线用照相机控制，以1帧为最小单位进行立体物用照相机控制。即，来自于SV-CPU23的白线用照相机控制值适用于每2帧，来自于SV-CPU23的立体物用照相机控制值适用于每1帧。
在这里，照相机的1帧由2个叫做半帧(field)的要素构成。即，在扫描线的第奇数条处进行扫描的“奇数(ODD)半帧”，和扫描线的第偶数条处进行扫描的“偶数(EVEN)半帧”。照相机ECU10对所拍摄的每1帧按顺序赋予帧计数N(N＝1、2、3、...)。为了能进一步对半帧加以区别，也可以赋予“1o、1e”、“2o、2e”、...。
在这样的条件下，由照相机ECU10进行的照相机控制按照下述方式进行。图6是照相机ECU10进行照相机控制时的流程图。照相机ECU10根据帧计数N来决定是进行白线用照相机控制，还是进行立体物用照相机控制(步骤70)。对于用3除以帧计数N的余数为0的计数的帧，使用白线用照相机控制值来进行白线用照相机控制(步骤72)。另一方面，对于用3除以帧计数N的余数为1的计数的帧，使用立体物用照相机控制值来进行立体物用照相机控制(步骤74)。
因此，在图2中，照相机ECU10在各“帧计数3”、“6”、“9”使用白线用照相机控制值进行拍摄，在各“帧计数4”、“7”、“10”使用立体物用照相机控制值进行拍摄。
照相机ECU10将接收到的最新的立体物用照相机控制值或者白线用照相机控制值分别适用于每个最小单位进行拍摄。即，照相机控制值的接收时间与拍摄时间可以不同步。
因此，如上所述，照相机ECU10，在对帧计数为3的帧进行照相机控制时，使用白线用照相机控制值a1，在对帧计数为7的帧进行照相机控制时，使用立体物用照相机控制值b1。相对于此，在对帧计数为5的帧进行照相机控制时，由于还没有接收到白线用照相机控制值a2，所以使用作为此时最新的照相机控制值的白线用照相机控制值a1。对于帧计数为2或8的帧也同样。
接着，进行了上述的照相机控制的照相机ECU10，将所拍摄的帧的图像数据与该帧的照相机控制值以及帧计数一起发送给立体ECU20。此时，要预先设定通信定义，该通信定义为“1、用3除以帧计数N的余数为0(N mod 3＝0)的帧是通过白线用照相机控制进行拍摄的白线用帧”，“2、用3除帧计数N的余数为1或2(N mod 3＝1、2)的帧是通过立体物用照相机控制进行拍摄的立体物用帧”。照相机ECU10按照该通信定义将这些数据发送给立体ECU20。
从照相机ECU10接受了图像数据的立体ECU20，根据赋予给帧的帧计数将白线用帧与立体物用帧区分开来。立体ECU20按照上述通信定义，在应处理的帧的帧计数N满足“N mod 3＝0”时，认定是白线用照相机控制拍摄的白线用帧，并进行白线检测处理。另一方面，待处理的帧的帧计数N满足“N mod 3＝1、2”时，认定是立体物用照相机控制拍摄的立体物用帧，进行立体物检测处理。并且，在白线检测处理之后，进行白线用照相机控制值计算等的白线检测后处理，在立体物检测处理之后，进行立体物用照相机控制值计算等的立体物检测后处理。
在这里，图3以及图4是从照相机ECU10接受了图像数据的立体ECU20进行处理的流程图。在图3中，立体ECU20按照上述通信定义，对于待处理帧的帧计数N进行确认(步骤10、12)。如果“N mod 3＝1”，立体ECU20内的图像识别处理部24则进行立体物检测处理(步骤14)。并且，图像识别处理部24根据进行了立体物检测处理的帧，计算出立体物用照相机控制值(步骤16)。另一方面，在步骤12，如果不是“Nmod 3＝1”，则进行无效处理(步骤18)。
在图4中也同样，立体ECU20按照上述通信定义，确认应处理帧的帧计数N(步骤30、32)。如果“N mod 3＝0”，立体ECU20内的图像识别处理部24则进行白线检测处理(步骤34)。并且，图像识别处理部24根据进行了白线检测处理的帧，计算出白线用照相机控制值(步骤36)。另一方面，如果在步骤32中不是“N mod 3＝0”，则进行无效处理(步骤38)。
在这里，如步骤12和步骤32那样，立体ECU20按照帧计数来切换控制。当由于处理负荷增大等原因使白线检测处理或者立体物检测处理的时间增加而错过时机的情况下，就放弃该次的主循环(步骤18、38的无效处理)，改变时间重新开始。作为处理时间的限制，例如，预先设定白线检测处理在16.7ms以内，立体物检测处理在83.3ms以内。另外，立体ECU20内的图像识别处理部24的启动时间是，白线检测时为EVEN启动，立体物检测时为ODD启动，所以为了在初期启动时帧计数与ODD/EVEN启动定时相一致，必须空循环。例如，有时以EVEN启动接受立体物图像，或者以ODD启动接受白线图像。在这种情况下，必须放弃该次处理，以对准SV-CPU23的白线用照相机控制值与立体物用照相机控制值发送给照相机ECU10的发送时间。
如上所述，立体ECU20根据所赋予的帧计数，将应进行白线检测处理的帧与应进行立体物检测处理的帧区别开来，由此，可以防止在白线用与立体物用时错取应进行检测处理的帧。并且，进行了帧区分的立体ECU20根据区分为白线检测处理用的帧，进行白线检测处理和白线用照相机控制值的计算处理，且根据区分为立体物检测处理用的帧，进行立体物检测处理和立体物用照相机控制值的计算处理。
对于如上述进行了计算处理的白线用照相机控制值和立体物用照相机控制值，设定其发送顺序，该发送顺序为“通信计数为奇数时发送白线用照相机控制值，为偶数时发送立体物用照相机控制值”。据此，立体ECU20向照相机ECU10发送信息。因此，照相机ECU10通过接受以该发送顺序发送的照相机控制值，可以防止将白线用照相机控制值和立体物用照相机控制值错误地适用于帧。
进一步地，对于上述顺序的来自立体ECU20的各照相机控制值，照相机ECU10对其计数为用3除以帧计数N的余数为0的帧，适用白线用照相机控制值以执行白线用照相机控制。另一方面，对其计数为用3除以帧计数N的余数为1的帧，适用立体物用照相机控制值以执行立体物用照相机控制。实施了各照相机控制的照相机ECU10，在所拍摄的帧的图像数据赋予该帧的照相机控制值与帧计数后，将其发送给立体ECU20。在照相机ECU10与立体ECU20之间反复进行这样的流程，可以获得分别适用于立体物检测处理与白线检测处理的图像。
以上，对本发明的最佳实施例进行了详细说明，但本发明并不限于上述实施例，可以在不脱离本发明的范围内，对上述实施例施加各种变形与置换。例如，本实施例的扫描方式不作特别限定，可以是交替的方式，也可以是非交替方式。
实施例2
在本实施例中，对如下的车辆用图像处理装置进行说明，即，该车辆用图像处理装置将一对立体照相机的一个的快门控制交替切换为白线检测用与立体物检测用，分别高精度地检测白线与立体物。并且，通过显示装置上一直显示由一对立体照相机中的一个进行拍摄的图像，从而在不增加车载照相机的情况下，也可帮助驾驶。
图9(a)是本实施方式的车辆用图像处理装置的系统结构图的一个例子。另外，在图9(a)中，对于与图1相同的结构标注相同的符号并省略其说明。
照相机模块17为由右照相机17R和左照相机17L构成的立体照相机，并且，一个照相机(本实施例中为右照相机17R)兼作夜视用(NightView)照相机。由于夜视用的帧可以不经过立体摄像ECU20的图像处理，直接在显示装置上显示，所以在夜视装置工作期间(以下简称为NV装置工作时)，图像输出部14向例如HUD(Head Up Display：抬头显示器)输出右照相机17R的帧，并且将左右照相机17R、17L所拍摄的帧输出到图像输入部21。
下面，对本实施例的快门控制进行说明。如实施例1所说明的那样，对最适合拍摄对象物的快门速度、增益值等的照相机控制值进行调节。另外，在夜间由于不能获得充分的光量，所以必须通过将快门速度设定为较慢，并将增益值设定为较高，而成为适合夜视的照相机控制值。
这样，车辆根据目的的不同而利用较多图像，如，用于检测立体物的图像、用于检测白线的图像、夜视用的图像，但是对应于目的分别装载各种照相机，在成本和车辆空间方面都具有困难。因此，在本实施例中，通过将一个检测立体物的照相机用于夜视，并将另一个用于检测白线，而可以利用一对立体照相机实现立体物检测、白线检测以及夜视用的图像拍摄。
图9(b)表示立体照相机共用系统的概略图。另外，在图9(b)中，对与图9(a)相同的部分赋予相同的符号。照相机17R通常根据夜视型用的照相机控制值(以下简称为NV用照相机控制值)进行拍摄，照相机17L交替切换NV用照相机控制值和用于检测白线的照相机控制值(以下简称为白线用照相机控制值)进行拍摄。因此，照相机17L利用NV用照相机控制值进行拍摄时，立体ECU20可以使用一对帧进行立体物检测，在照相机17L利用白线用照相机控制值进行拍摄时，立体ECU20可以进行白线检测。
图像获取部10即使可以简单地对使用了白线用照相机控制值的白线检测用帧和恰当使用了夜视用照相机控制值的立体物检测用帧进行切换，如果不在图像获取部10与立体ECU20之间对拍摄帧进行整合，立体ECU20侧就可能错过图像处理定时，或者错取应进行图像处理的图像。
因此，本实施例的车辆用图像处理装置1为了获得分别适合于立体物检测处理和白线检测处理的图像，进行如下动作。
图10为在图像获取部10与立体ECU20之间进行的图像处理时序的部分示意图。
立体ECU20的SV-CPU23与图像获取部10的照相机CPU13进行串行通信。SV-CPU23通过串行通信将通过图像识别处理部24的快门控制计算出的照相机控制值分别发送给照相机17R和17L。SV-CPU23通常向照相机17R发送NV用照相机控制值，必须交替地向照相机17L发送NV用照相机控制值和白线用照相机控制值。
因此，按预定间隔T(例如50ms)的发送周期，将白线用照相机控制值和NV用照相机控制值发送给照相机17L。另外，白线用照相机控制值和NV照相机控制值的发送顺序为，在通信计数(图10的(i)～(vi))为奇数时发送白线用照相机控制值，为偶数时发送NV用照相机控制值。
在根据NV用照相机控制值控制照相机17R、17L的循环中，使用一对帧，通过图像识别处理部24进行立体物检测处理。在通过白线用照相机控制值控制照相机的循环中，使用由照相机17L拍摄的帧，通过图像识别处理部24进行白线检测处理。
SV-CPU23在发送照相机控制值时，在该发送时段中，发送图像识别处理部24最后计算出的照相机控制值。即，图像识别处理部24进行的照相机控制值的计算处理在由于高负荷等原因没有赶上照相机的发送时段的情况下，就发送上一次计算出的照相机控制值。
另一方面，图像获取部10以预定的帧数为最小单位进行白线检测和NV用照相机控制。在图10中，来自于SV-CPU23的白线用照相机控制值以及NV用照相机控制值适用于每1帧。另外，白线用照相机控制值的适用帧数与NV用照相机控制值的适用帧数也可以不同。
图11为表示通过这样时序处理控制照相机17L和照相机17R的控制顺序的流程图。图11(a)表示照相机17L的照相机控制，图11(b)表示照相机17R的照相机控制。
照相机CPU13根据帧编号判断对照相机17L的照相机控制是为NV用还是为白线用(S1)。在帧编号为偶数时(S1中的是)，照相机ECU13就根据NV用照相机控制值对照相机17L进行控制(S2)。
在图10中，相当于帧编号“0o、2o、4o、6o、...”，照相机17L的这些帧通过NV用照相机控制值进行拍摄。
NV用照相机控制值对快门速度设定下限，对增益值设定上限，由此，即使拍摄前面行使车辆或路灯等的光源，也可以防止成晕现象。另外，NV装置工作时照射接近红外区域波长的光，并拍摄立体物的反射光，从而不眩晃对面车辆，但是为了高效照射近红外光，而在照相机17R上安装可见光截止滤波器。另外，如果在一对帧上具有除了视差以外的差异，就不能进行立体物的检测。因此，在照相机17L上也安装可见光截止滤波器。因此，至少在NV装置工作时，照射近红外线，并且在左右照相机上安装有可见光截止滤波器。
在帧编号为奇数时(S3中的是)，照相机CPU13根据白线用照相机控制值控制照相机17L(S4)。
在图10中，相当于帧编号“1o1e、3o3e、5o5e、...”，照相机17L的这些帧根据白线用照相机控制值进行拍摄。
白线用照相机控制值在检测时白线明亮(亮度较大)为好，因此对快门速度不设下限，对增益值不设上限。由于白线没有光源，所以即使不设置这样的限制，也不会产生成晕现象。另外，由于前照灯(包含有若干近红外光)以及近红外光在白线上反射，所以即使安装着可见光截止滤波器，照相机17L也可拍摄具有足够亮度的白线。
另外，如上所述，在图像获取部10没有从立体ECU20接收照相机控制值的循环中，此时适用最新的照相机控制值对照相机17L、17R进行控制。
对于夜视用，由于持续向HUD投影图像的右侧照相机17R一直由NV用照相机控制值进行控制，所以与帧编号无关，而根据NV用照相机控制值进行控制(S5)。
在图10中，相当于帧编号“0o～6e...”，照相机17R的这些帧根据NV用照相机控制值进行拍摄。
如图10所示，照相机17L交替切换白线用照相机控制值和NV用照相机控制值，进行快门控制，照相机17R只利用NV用照相机控制值进行快门控制。
这样的流程在照相机ECU10与立体ECU20之间反复进行，利用照相机17R可以获得适于立体物检测处理以及夜视的图像，利用照相机17L可以交替得到分别适于立体物检测处理与白线检测处理的图像。
另外，图像获取部10将已经接收到的最后的白线用照相机控制值或者NV用照相机控制值分别适用于每个最小帧单位而进行拍摄，因此，照相机控制值的接收时间与拍摄时间可以不同步。
图12为表示立体ECU20根据帧编号进行白线检测或立体物检测的图像处理顺序的流程图。
所拍摄的帧与该帧的照相机控制值以及帧编号一起被发送给立体ECU20。
立体ECU20根据帧编号判断是进行立体物检测的图像处理、还是进行白线检测的图像处理(S10)。
从图像获取部10接收了帧的立体ECU20，根据赋予给帧的帧编号对白线用帧和立体物帧进行区分。立体ECU20在待处理帧的帧编号为偶数时(S10中的是)，认定为通过立体物用照相机控制拍摄的立体物用帧，并进行立体物检测处理(S20)。
另一方面，在待处理帧的帧编号为奇数时(S30为是)，立体ECU20认定为通过白线用照相机控制拍摄的帧，并进行白线检测处理(S40)。
即使待处理帧的帧编号为奇数时，图像输出部14也一直向HUD输出照相机17R所拍摄的帧。另外，在立体ECU20进行白线检测处理时，不进行基于该帧(帧编号为奇数的帧)的立体物检测。这种情况下，照相机17R进行拍摄并输入给立体ECU20的帧不被使用或者被废弃。
并且，在白线检测处理之后，进行白线用照相机控制值计算等的白线检测后处理，在立体物检测之后，进行立体物用照相机控制值计算等的立体物检测后处理。
另外，由于处理负荷增大等原因，使白线检测处理或者立体物检测处理的时间增加而错过时间的情况下，就改变时间重新开始。作为处理时间的限制，例如白线检测处理预先设定在16.7ms以内，立体物检测处理预先设定在83.3ms以内。
在立体ECU20内的图像识别处理部24最初启动时，为了使帧编号与ODD/EVEN启动时间相一致，所以与实施例1同样需要进行空循环。
如上所述，立体ECU20根据被赋予的帧编号，区分开应进行白线检测处理的帧和应进行立体物检测处理的帧，由此，可以防止在白线检测用与立体物检测用时错误读取应进行检测处理的帧。并且，对帧进行了区分的立体ECU20，根据区分为白线检测处理用的帧，进行白线检测处理和白线用照相机控制值的计算处理，而根据区分为立体物检测处理用的帧，进行立体物检测处理和立体物用(NV用)照相机控制值的计算处理。
并且，对于这样计算处理的白线用照相机控制值和NV用照相机控制值，在照相机CPU13与SV-CPU23之间设定发送顺序为，“在通信计数为奇数时发送白线用照相机控制值，在偶数时发送NV用照相机控制值”，立体ECU20按照该预定顺序向照相机ECU10发送信息。因此，照相机ECU10可以按照该发送顺序接收照相机控制值，并适用于照相机17L的照相机控制值。
实施了各照相机控制的照相机ECU10，将所拍摄的帧在赋予了该帧的照相机控制值与帧编号后，发送给立体ECU20。在照相机ECU10与立体ECU20之间反复进行这样处理的循环，可以获得分别适于立体物检测处理与白线检测处理的图像。
以上，对本发明最佳实施例进行了说明，但是本发明并不限于上述实施例，在不脱离本发明的保护范围内，可对上述实施例施加各种变形与置换。例如，本实施例的扫描方式不做特别限定，可以是交替的方式，也可以是非交替的方式。
本国际申请主张的优先权基于2005年5月20日提出的日本国发明专利申请第2005-148097号以及2006年5月11日提出的日本国发明专利申请第2006-132205号，在本国际申请中引用第2005-148097号以及第2006-132205号专利申请的全部内容。

Claims (6)

1.一种车辆用图像处理装置，其特征在于，包括：
第1拍摄单元，其在基于平面物检测用的快门控制而计算出的照相机控制值、以及基于立体物检测用的快门控制而计算出的照相机控制值之间进行交替切换，从而进行拍摄；
第2拍摄单元，其根据基于立体物检测用的快门控制而计算出的照相机控制值，从而进行拍摄；以及
图像处理部，其根据赋予给帧的帧编号对平面物检测用的帧和立体物检测用的帧进行区分，从而对通过第1和第2拍摄单元的至少一个所拍摄的图像，进行平面物检测或者立体物检测。
2.如权利要求1所述的车辆用图像处理装置，其特征在于，
对每个帧，第1拍摄单元以在平面物检测用的快门控制和立体物检测用的快门控制之间切换的方式而进行拍摄。
3.如权利要求1或2所述的车辆用图像处理装置，其特征在于，
具有将第2拍摄单元拍摄的图像输出到显示装置的图像输出部。
4.如权利要求3所述的车辆用图像处理装置，其特征在于，
即使第1拍摄单元通过平面物检测用的快门控制进行拍摄，所述图像输出部也将第2拍摄单元通过立体物检测用的快门控制所拍摄的图像输出到所述显示装置。
5.如权利要求3所述的车辆用图像处理装置，其特征在于，
当第1拍摄单元通过平面物检测用的快门控制进行拍摄，并且第2拍摄单元通过立体物检测用的快门控制进行拍摄时，所述图像输出部将第2拍摄单元拍摄的图像输出到所述显示装置，所述图像处理部进行平面物检测。
6.如权利要求1或2所述的车辆用图像处理装置，其特征在于，
立体物检测用的快门控制在快门速度上具有下限，在增益值上具有上限，平面物检测用的快门控制可以设定比所述下限小的快门速度，以及比所述上限大的增益值。
CN2010106234160A 2005-05-20 2006-05-18 车辆用图像处理装置 Expired - Fee Related CN102074007B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005-148097 2005-05-20
JP2005148097A JP4797441B2 (ja) 2005-05-20 2005-05-20 車両用画像処理装置
JP2006-132205 2006-05-11
JP2006132205A JP5017921B2 (ja) 2006-05-11 2006-05-11 車両用画像処理装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2006800008971A Division CN101032169B (zh) 2005-05-20 2006-05-18 车辆用图像处理装置

Publications (2)

Publication Number Publication Date
CN102074007A true CN102074007A (zh) 2011-05-25
CN102074007B CN102074007B (zh) 2012-07-18

Family

ID=37431326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010106234160A Expired - Fee Related CN102074007B (zh) 2005-05-20 2006-05-18 车辆用图像处理装置

Country Status (4)

Country Link
US (1) US20080094471A1 (zh)
EP (2) EP2109061B1 (zh)
CN (1) CN102074007B (zh)
WO (1) WO2006123754A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106183989A (zh) * 2014-12-10 2016-12-07 Lg电子株式会社 车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4433046B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
JP4433045B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
JP4389999B2 (ja) * 2007-12-26 2009-12-24 株式会社デンソー 露出制御装置及び露出制御プログラム
DE102008022064A1 (de) 2008-05-03 2009-11-05 Adc Automotive Distance Control Systems Gmbh Verfahren zur Belichtungssteuerung für eine Kamera in einem Kraftfahrzeug
KR101638919B1 (ko) * 2010-09-08 2016-07-12 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어방법
JP6023216B2 (ja) * 2012-11-27 2016-11-09 クラリオン株式会社 車載画像処理装置
JP5833268B1 (ja) * 2015-06-25 2015-12-16 株式会社城南製作所 車両用窓ガラス昇降装置及び車両
DE102016125075B3 (de) * 2016-12-21 2018-05-03 Carl Zeiss Meditec Ag Verfahren zur Reduktion von Wahrnehmungskonflikten in stereomikroskopischen Bilddaten

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0888017A2 (en) * 1993-08-26 1998-12-30 Matsushita Electric Industrial Co., Ltd. Stereoscopic image display apparatus and related system
JPH08240833A (ja) * 1995-03-02 1996-09-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
WO1996034363A1 (fr) * 1995-04-26 1996-10-31 Hitachi, Ltd. Processeur d'images pour vehicule
JPH1114346A (ja) 1997-06-19 1999-01-22 Nissan Motor Co Ltd 車両用障害物検出装置
JP2986439B2 (ja) * 1998-01-12 1999-12-06 松下電器産業株式会社 車両用画像処理装置
JPH11258654A (ja) 1998-03-12 1999-09-24 Fuji Heavy Ind Ltd カメラのシャッタ速度制御装置
JP4111592B2 (ja) * 1998-06-18 2008-07-02 コニカミノルタセンシング株式会社 ３次元入力装置
JP3092105B1 (ja) * 1999-07-30 2000-09-25 富士重工業株式会社 フェールセーフ機能を有する車外監視装置
CN1224824C (zh) * 2000-03-23 2005-10-26 捷装技术公司 自校准、多相机机器视觉测量系统
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP3747866B2 (ja) * 2002-03-05 2006-02-22 日産自動車株式会社 車両用画像処理装置
JP3797949B2 (ja) * 2002-03-28 2006-07-19 株式会社東芝 画像処理装置及びその方法
JP3793487B2 (ja) * 2002-07-12 2006-07-05 ナイルス株式会社 撮像システム
CN100536970C (zh) * 2002-11-20 2009-09-09 世嘉股份有限公司 游戏图像的显示控制方法和游戏装置
EP1637837A1 (en) * 2003-05-29 2006-03-22 Olympus Corporation Stereo camera system and stereo optical module
EP1637836A1 (en) * 2003-05-29 2006-03-22 Olympus Corporation Device and method of supporting stereo camera, device and method of detecting calibration, and stereo camera system
JP4265756B2 (ja) * 2003-07-02 2009-05-20 富士重工業株式会社 車載カメラの取り付け構造
WO2005006756A1 (ja) * 2003-07-11 2005-01-20 Hitachi, Ltd. 画像処理カメラシステム及び画像処理カメラ制御方法
JP4253271B2 (ja) * 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
AU2003262075A1 (en) * 2003-09-11 2005-04-06 Cubic, Inc. Three-dimensional measuring equipment

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106183989A (zh) * 2014-12-10 2016-12-07 Lg电子株式会社 车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法
CN106183989B (zh) * 2014-12-10 2018-12-18 Lg电子株式会社 车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法

Also Published As

Publication number Publication date
EP2109061B1 (en) 2013-02-27
EP2109061A3 (en) 2010-02-17
EP1883242A1 (en) 2008-01-30
WO2006123754A1 (ja) 2006-11-23
CN102074007B (zh) 2012-07-18
EP2109061A2 (en) 2009-10-14
US20080094471A1 (en) 2008-04-24
EP1883242B1 (en) 2014-09-17
EP1883242A4 (en) 2009-06-03

Similar Documents

Publication Publication Date Title
CN102074007B (zh) 车辆用图像处理装置
CN113271400B (zh) 成像装置和电子设备
JP5761601B2 (ja) 物体識別装置
CN103440702B (zh) 一种基于cis的多光谱票据图像采集装置和处理方法
EP2234086A1 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
EP1408446A1 (en) Authentication object image-pickup method and device therefor
CN108496056B (zh) 摄像装置
CN104380167A (zh) 焦点检测装置、焦点调节装置及相机
JP4666062B2 (ja) 画像撮影装置および方法
US20090206235A1 (en) Method and device for adjusting flash intensity
CN103916610B (zh) 用于动态后视镜的眩光减少
KR101974105B1 (ko) 차량번호 인식률을 높인 차량 촬영시스템 및 방법
WO2013172398A1 (ja) 車両の灯火を検出する装置及びその方法
JP2008060873A (ja) 複数画角カメラ
CN103238098A (zh) 成像设备和对焦位置检测方法
CN101032169B (zh) 车辆用图像处理装置
CN102959942A (zh) 立体观看用图像拍摄装置及其控制方法
JP4973341B2 (ja) ナンバープレート読取装置
JP2001174696A (ja) カラー撮像装置
JP2006254318A (ja) 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
JPH07244717A (ja) 車両用走行環境認識装置
JP4088182B2 (ja) 画像情報処理システム
CN113329168B (zh) 拍摄装置、拍摄系统、拍摄方法及存储介质
JP5017921B2 (ja) 車両用画像処理装置
JP2007156919A (ja) 道路区画線検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120718

Termination date: 20180518