CN105313778B - 摄像头及具有该摄像头的车辆 - Google Patents

摄像头及具有该摄像头的车辆 Download PDF

Info

Publication number
CN105313778B
CN105313778B CN201510284433.9A CN201510284433A CN105313778B CN 105313778 B CN105313778 B CN 105313778B CN 201510284433 A CN201510284433 A CN 201510284433A CN 105313778 B CN105313778 B CN 105313778B
Authority
CN
China
Prior art keywords
mentioned
image
exposure
brightness
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510284433.9A
Other languages
English (en)
Other versions
CN105313778A (zh
Inventor
韩钟祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN105313778A publication Critical patent/CN105313778A/zh
Application granted granted Critical
Publication of CN105313778B publication Critical patent/CN105313778B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0092Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及摄像头及具有该摄像头的车辆。本发明实施例的摄像头具有:镜头;图像传感器,基于从镜头入射的光取得图像;以及处理器,用于进行控制,以基于由图像传感器拍摄到的图像的亮度等级和亮度的分散值,改变由图像传感器取得的图像的曝光时间。由此,能够在低照度环境下降低动态模糊。

Description

摄像头及具有该摄像头的车辆
技术领域
本发明涉及摄像头及具有该摄像头的车辆,更详细地涉及能够在低照度环境下降低动态模糊的摄像头及具有该摄像头的车辆。
背景技术
车辆为搭乘的使用人员向所需的方向进行移动的装置。代表性地,可例举汽车。
另一方面,为了利用车辆的使用人员的便利,正处于设置各种传感器和电子装置等的趋势。尤其,为了使用人员的驾驶的便利,正开发出多种装置。
尤其,车辆行驶时,用于防止事故的车辆的安全控制一直是驾驶人员的责任。但在多种行驶条件下,安全地控制车辆仅靠人类的认知能力是有限的。尤其,在高速行驶时,若稍晚认知前方的障碍物,则会直接联系到大型事故,在低速行驶时,也难以回避突然出现的障碍物。为了应对这种问题,并实现更安全的车辆而努力,其代表性的方法为利用影像的障碍物的检测方法。为了检测这种障碍物,呈现着在车辆安装摄像头的趋势。
另一方面,在韩国公开特许公报第2008-00548881号中公开了与普通摄像头相关的自动曝光装置及其工作方法。尤其,公开了如下内容,即,在低照度状态下通过快门宽度的扩张、自动曝光区(AE zone)的扩张及彩度调节执行光校正。
另一方面,安装于车辆的摄像头与普通的摄像头不同,存在拍摄到的图像具有高的动态范围(dynamic range)的倾向。因此,仅用亮度成分来决定图像的自动曝光时间等的情况下,在低照度环境下发生动态模糊(motion blur)的可能性高。
发明内容
本发明的目的在于,提供能够在低照度环境下降低动态模糊的摄像头及具有该摄像头的车辆。
用于实现上述目的的本发明实施例的摄像头具有:镜头;图像传感器,基于从镜头入射的光取得图像;以及处理器,用于进行控制,以基于由图像传感器拍摄到的图像的亮度等级和亮度的分散值,改变由图像传感器取得的图像的曝光时间。
另一方面,用于实现上述目的的本发明实施例的车辆具有:转向驱动部,用于驱动转向装置,制动器驱动部,用于驱动制动装置,动力源驱动部,用于驱动动力源,控制部,生成用于控制车辆的转向驱动部、制动器驱动部、动力源驱动部中的至少一种的控制信号,以及摄像头,安装于车辆;摄像头具有:镜头,图像传感器,基于从镜头入射的光取得图像,以及处理器,用于进行控制,以基于由图像传感器拍摄到的图像的亮度等级和亮度的分散值,改变由图像传感器取得的图像的曝光时间。
根据本发明实施例的摄像头及具有该摄像头的车辆,能够基于由图像传感器拍摄到的图像的亮度等级和亮度的分散值,改变由图像传感器取得的图像的曝光时间,从而能够防止在低照度环境下发生的动态模糊。
尤其,在低照度环境下,考虑亮度的分散值,从而能够防止因曝光时间过长而发生的动态模糊。
另一方面,当车辆在夜间行驶时,因从对面靠近的车辆灯光而使亮度瞬间变高的情况下,也考虑亮度的分散值,从而能够稳定地检测出位于车辆前方的远距离的物体。
另一方面,改变曝光时间,从而能够使拍摄到的基于图像的物体的检测容易又迅速地执行。
附图说明
图1为示出本发明一实施例的设有立体摄像头的车辆外观的图。
图2为示出附着于图1的车辆的立体摄像头的外观的图。
图3a至图3b例示了本发明一实施例的车辆驾驶辅助装置的内部框图的多种例。
图4a至图4b例示了图3a至图3b的处理器的内部框图的多种例。
图5a至图5b为图4a至图4b的处理器的工作说明所参照的图。
图6a至图6b为图3a至图3b的车辆驾驶辅助装置的工作说明所参照的图。
图7为图1的车辆的电子控制装置的内部框图的一例。
图8a至图8b例示了图2的立体摄像头的内部框图。
图9a至图9d为图8a或图8b的立体摄像头的工作说明所参照的图。
图10a至图13b为本发明一实施例的摄像头的工作说明所参照的图。
具体实施方式
以下,参照附图对本发明进行详细说明。
对于在以下说明中使用的结构要素的词尾“模块”及“部”仅是考虑本说明书的制作便利性而赋予的词,其本并不赋予特别重要的意义或作用。因此,也能以相互混用的方式使用上述“模块”及“部”。
在本说明书中记述的车辆可为包括汽车、摩托车的概念。以下,以汽车作为主要的车辆进行记述。
另一方面,在本说明中记述的车辆可为包括具有引擎的车辆、具有引擎和电机的混合动力车辆、具有电机的电动车辆等的概念。以下,以具有引擎的车辆为主进行记述。
另一方面,在本说明中记述的车辆驾驶辅助装置可以被称为先进驾驶辅助系统(ADAS,Advanced Driver Assistance Systems)或先进驾驶辅助装置(ADAA,AdvancedDriver Assistance Apparatus)。以下,对本发明的多种实施例的车辆的车辆驾驶辅助装置及具有该摄像头的车辆进行记述。
图1为示出本发明一实施例的设有立体摄像头的车辆外观的图。
参照图,车辆200可包括:轮胎103FR、103FL、103RL…,借助动力源来进行旋转;转向盘150,用于调整车辆200的前进方向;以及立体摄像头195,设置于车辆200的内部。
立体摄像头195可具有多个摄像头,而通过多个摄像头来取得的立体图像可在车辆驾驶辅助装置100(图3)内得到信号处理。
另一方面,附图例示了立体摄像头195具有两个摄像头。
图2为示出附着于图1的车辆的立体摄像头的外观的图。
参照图,立体摄像头模块195可包括:第一摄像头195a,设有第一镜头193a;以及第二摄像头195b,设有第二镜头193b。
另一方面,立体摄像头模块195可包括分别用于遮蔽向第一镜头193a和第二镜头193b入射的光的第一光遮蔽部(light shield)192a、第二光遮蔽部192b。
图中的立体摄像头模块195可以为能够在顶部或前表面玻璃进行装拆的结构。
具有这种立体摄像头模块195的车辆驾驶辅助装置100(图3)可从立体摄像头模块195取得车辆前方的立体图像,基于立体图像来执行视差(disparity)检测,并基于视差信息来对至少一个立体图像执行对象检测,在完成对象检测之后,继续跟踪对象的移动。
图3a至图3b例示了本发明一实施例的车辆驾驶辅助装置的内部框图的多种例。
图3a至图3b的车辆驾驶辅助装置100能够基于计算机视觉(computer vision)来对从立体摄像头195接收的立体图像进行信号处理,从而生成与车辆相关的信息。其中,与车辆相关的信息可包括用于直接控制车辆的车辆控制信息或用于引导车辆驾驶人员进行驾驶的车辆驾驶辅助信息。
首先,参照图3a,图3a中的车辆驾驶辅助装置100可包括通信部120、接口部130、存储器140、处理器170、电源供给部190及立体摄像头195。
通信部120能够以无线(wireless)方式与移动终端600或服务器500进行数据交换。尤其,通信部120能够以无线方式与车辆驾驶人员的移动终端进行数据交换。作为无线数据通信方式,可进行蓝牙(Bluetoote)、WiFi Direct、WiFi、APIX等多种数据通信方式。
通信部120可从移动终端600或服务器500接收天气信息、道路交通情况信息,例如传输协议专家组(TPEG,Transport Protocol Expert Group)信息。另一方面,可向移动终端600或服务器500传输基于立体图像来从车辆驾驶辅助装置100掌握的实时交通信息。
另一方面,在使用人员搭乘车辆的情况下,使用人员的移动终端600和车辆驾驶辅助装置100能够自动或借助使用人员的应用执行来执行相互配对(pairing)。
接口部130可接收与车辆相关的数据或向外部传输由处理器170处理或生成的信号。为此,接口部130可借助有线通信或无线通信的方式来与车辆的电子控制单元(ECU)770、音视频导航(AVN,Audio Video Navigation)装置400、传感部760等执行数据通信。
接口部130科借助与音视频导航装置400之间的数据通信来接收与车辆的行驶相关的图像(map)信息。
另一方面,接口部130可从电子控制单元770或传感部760接收传感器信息。
在此,传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一个。
这种传感器信息可从航向传感器(heading sensor)、偏航传感器(yaw sensor)、陀螺传感器(gyro sensor)、定位模块(position module)、车辆前进/后退传感器、车轮传感器(wheel sensor)、车辆速度传感器、自身倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于转向盘旋转的转向盘传感器、车辆内部温度传感器及车辆内部湿度传感器等取得。另一方面,定位模块可包括用于接收GPS信息的GPS模块。
另一方面,在传感器信息中,可将与车辆行驶相关的车辆方向信息、车辆位置信息、车辆角度信息、车辆速度信息、车辆倾斜度信息等命名为车辆行驶信息。
存储器140可存储用于处理或控制处理器170的程序等、用于车辆驾驶辅助装置100的整个动作的多种数据。
音频输出部(未图示)将从处理器170接收的电信号转换为音频信号并输出。为此,可设置扬声器等。音频输出部(未图示)可输出与输入部110,即,按钮的工作相对应的声音。
音频输入部(为图示)可接收使用人员的语音信息。为此,可设置麦克风。所接收的语音信息能够变换为电信号来向处理器170传递。
处理器170控制车辆驾驶辅助装置100的各单元的整个动作。
尤其,处理器170执行基于计算机视觉(computer vision)的信号处理。由此,处理器170可从立体摄像头195取得车辆前方的立体图像,基于立体图像来执行对车辆前方的视差计算,并基于所计算的视差信息来对立体图像中的至少一个的执行对象检测,在完成对象检测后,继续跟踪对象的移动。
尤其,当进行对象检测时,处理器170可执行车道检测(LD,Lane Detection)、周边车辆检测(VD,Vehicle Detection)、行人检测(PD,Pedestrian Detection)、灯光检测(BD,Brightspot Detection)、交通标志牌检测(TSR,Traffic Sign Recognition)及路面检测等。
并且,处理器170可执行对所检测的周边车辆距离的计算、对所检测的周边车辆的速度的计算及对与所检测的周边车辆之间的速度差的计算等。
另一方面,处理器170可通过通信部120来接收天气信息、道路的交通情况信息,例如,传输协议专家组信息。
另一方面,处理器170可实时掌握基于立体图像来掌握的车辆驾驶辅助装置100中的车辆周边交通情况信息。
另一方面,处理器170可通过接口部130来从音视频导航装置400接收图像信息。
另一方面,处理器170通过接口部130,可从电子控制单元770或传感部760接收传感器信息。其中,传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一个。
电源供给部190可通过处理器170的控制来提供各结构要素的工作所需的电源。尤其,电源供给部190可从车辆的电池等接收电源。
立体摄像头195可包括多个摄像头。以下,如图2等所述,具有两个摄像头。
立体摄像头195以可在车辆200的顶部或前表面玻璃进行装拆,并能包括设有第一镜头193a的第一摄像头195a、设有第二镜头193b的第二摄像头195b。
另一方面,立体摄像头195可包括用于遮蔽分别向第一镜头193a和第二镜头193b入射的光的第一遮蔽部192a、第二遮蔽部192b。
然后,参照图3b,与图3a的车辆驾驶辅助装置100相比,图3b的车辆驾驶辅助装置100还可包括输入部110、显示器180及音频输出部185。以下,仅对输入部110、显示器180及音频输出部185进行记述。
输入部110可具有附着于车辆驾驶辅助装置100,尤其,附着于立体摄像头195的多个按钮或触摸屏。可通过多个按钮或触摸屏来使车辆驾驶辅助装置100的电源开启并工作。除此之外,也可执行多种输入工作。
音频输出部185基于在处理器170中处理的音频信号来向外部输出声音。为此,音频输出部185可包括至少一个扬声器。
显示器180可显示与车辆行驶辅助装置相关的图像。为了表示这种图像,显示器180可包括车辆的内部前表面的辅音群(cluster)或平视显示器(HUD,Head Up Display)。另一方面,在显示器180为平视显示器的情况下,可在车辆200的前表面玻璃设有用于透视图像的透视模块。
图4a至图4b例示了图3a至图3b的处理器的内部框图的多种例,图5a至图5b为图4a至图4b的处理器的工作说明所参照的图。
首先,参照图4a,图4a作为处理器170的内部框图的一例,车辆驾驶辅助装置100的处理器170可包括影像预处理部410、视差计算部420、对象检测部434、对象跟踪部440及应用程序部450。
影像预处理部(image preprocessor)410从立体摄像头195接收立体图像,来执行预处理(preprocessor)。
具体地,影像预处理部410可执行对立体图像的降低噪音(noise reduction)、整流(rectification)、校准(calibration)、颜色增强(color enhancement)、颜色空间转变(CSC,color space conversion)、插补(interpolation)、摄像头增益控制(camera gaincontrol)等。与此同时,可取得比在立体摄像头195拍摄的立体图像更鲜明的立体图像。
视差计算部(disparity calculator)420接收由影像预处理部410进行信号处理的立体图像,执行对所接收的立体图像的立体匹配(stereo matching),并取得基于立体匹配的视差图(dispartiy map)。即,可取得对车辆前方的、对立体图像的视差信息。
此时,立体匹配能够以立体图像的像素单位或规定块单位执行。另一方面,视差图可意味着以数值方式呈现立体图像,即,左右图像的时差信息(binocular parallaxinformation)的图。
分割部(segmentation unit)432可基于视差计算部420的视差信息来对立体图像中至少一个执行分割(segment)及聚类(clustering)。
具体地,分割部432可基于视差信息来对立体图像中的至少一个进行背景(background)和前景(foreground)的分离。
例如,在视差图中,可由视差信息将规定值以下的区域作为背景来计算,并除去对应部分。由此,可使前景相对分离。
作为另一例,在视差图中,可由视差信息将规定值以上的区域作为前景来计算,并抽取相应部分。由此,可使前景分离。
像这样,基于立体图像抽取的视差信息为基础来分离前景和背景,由此在之后进行对象检测时,可缩短信号处理速度、信号处理量等。
然后,对象检测部(object detector)434可基于分割部432的图像分割来进行对象检测。
即,对象检测部434可基于视差信息来对立体图像中的至少一个进行对象检测。
具体地,对象检测部434可对立体图像中的至少一个进行对象检测。例如,可从通过图像分割来分离的前景进行对象检测。
然后,对象确认部(object verification unit)436对被分离的对象进行分类(classify)并确认(verify)。
为此,对象确认部436可使用利用神经式网络(neural network)的识别法、支持向量机(SVM,Support Vector Machine)方法、利用Haar-like特征的通过AdaBoost来识别的方法或梯度方向直方图(HOG,Histograms of Oriented Gradients)方法等。
另一方面,对象确认部436可通过比较存储于存储器140的对象和所检测的对象来确认。
例如,对象确认部436可确认位于车辆周边的周边车辆、车道、路面、标志牌、危险地带及隧道等。
对象跟踪部(object tracking unit)440,执行对确认对象的跟踪。例如,可依次确认所取得的立体图像中的对象,计算所确认的对象的移动或移动向量,并基于所计算的移动或移动向量来跟踪对应对象的移动等。由此,可跟踪位于车辆周边的周边车辆、车道、路面、标志牌、危险地带及隧道等。
然后,应用程序部450可基于位于车辆周边的多种对象,例如其他车辆、车道、路面及标志牌等来计算车辆的危险度等。并且,可计算与前方车辆的碰撞可能性、车辆是否滑动等。
并且,应用程序部450能够能够基于所计算的危险度、碰撞可能性或是否滑动等来向使用人员输出用于告知这种信息的消息等作为车辆驾驶辅助信息。并且,能够生成用于控制车辆200的姿势或行驶的控制信号作为车辆控制信号。
图4b为处理器的内部框图的另一例。
参照图,图4b的处理器170与图4a的处理器170相比,在内部结构单元相同,但信号处理顺序不同方面存在差异。以下,仅对差异进行记述。
对象检测部434可接收立体图像,并对立体图像中的至少一个进行对象检测。与图4a不同,可从立体图像直接检测对象,而不是对基于视差信息来分割的图像进行对象检测。
然后,对象确认部436基于分割部432的图像分割及由对象检测部434检测的对象来对所检测及分离的对象进行分类并确认。
为此,对象确认部436可使用利用神经式网络的识别法、支持向量机方法、利用Haar-like特征的通过AdaBoost来识别的方法或梯度方向直方图方法等。
图5a和图5b为为了基于分别从第一帧区间及第二帧区间取得的立体图像来说明图4a的处理器170的工作方法而参照的图。
首先,参照图5a,在第一帧区间段中,立体摄像头195取得立体图像。
处理器170内的视差计算部420接收由影像预处理部410进行信号处理的立体图像FR1a、FR1bm,并对所接收的图像FR1a、RF1b执行立体匹配,来取得视差图520。
视差图520作为对立体图像FR1a、FR1b之间的时差进行等级化的图,视差等级越大,与车辆之间的距离越短,而视差等级越小,与车辆之间的距离越长。
另一方面,在显示这种视差图的情况下,视差等级越大,具有越高的亮度,而视差等级越小,具有越低的亮度。
附图示例出在视差图520中,第一车道528a、第二车道528b、第三车道528c、第四车道528d等分别具有对应的等级,施工区域522、第一前方车辆524、第二前方车辆526分别具有对应的视差等级。
分割部432、对象检测部434及对象确认部436基于视差图520来执行对立体图像FR1a、FR1b中的至少一个的分割、对象检测及对象确认。
附图示例出使用视差图520来执行对第二立体图像FR1b的对象检测及确认。
即,在图像530中,第一车道538a、第二车道538b、第三车道538c、第四车道538d、施工区域532、第一前方车辆534及第二前方车辆536可执行对象检测及确认。
然后,参照图5b,在第二帧区间内,立体摄像头195取得立体图像。
处理器170内的视差计算部420接收由影像预处理部410进行信号处理的立体图像FR2a、FR2b,执行对所接收的立体图像FR2a、FR2b的立体匹配,并取得视差图540。
附图示例出在视差图540中,第一车道548a、第二车道548b、第三车道548c、第四车道548d等分别具有对应的等级,施工区域542、第一前方车辆524、第二前方车辆546分别具有对应的视差等级。
分割部432、对象检测部434及对象确认部436基于视差图520来执行对立体图像FR2a、FR2b中的至少一个的分割、对象检测及对象确认。
附图示例出使用视差图540来执行对第二立体图像FR2b的对象检测及确认。
即,在图像550中,第一车道558a、第二车道558b、第三车道5358c、第四车道558d、施工区域552、第一前方车辆554级第二前方车辆556可执行对象检测及确认。
另一方面,将图5a和图5b作比较,对象跟踪部440可执行对所确认的对象的跟踪。
具体地,对象跟踪部440可基于在图5a和图5b中确认的各对象的移动或移动向量来跟踪对应对象的移动等。由此,可执行对位于车辆周边的车道、施工区域、第一前方车辆及第二前方车辆等的跟踪。
图6a至图6b为图3a至图3b的车辆驾驶辅助装置的工作说明所参照的图。
首先,图6a为例示设于车辆的立体摄像头195所拍摄的车辆前方情况的图。尤其,以鸟瞰图(bird eye view)表示车辆前方的情况。
参照附图可知,从左向右依次具有第一车道642a、第二车道644a、第三车道646a、第四车道648a,在第一车道642a和第二车道644a之间具有施工区域610a,而第一前方车辆620a位于第二车道644a和第三车道646a之间,第二前方车辆630a配置于第三车道646a和第四车道648a之间。
然后,图6b例示了与各种信息一同显示借助车辆驾驶辅助装置来掌握的车辆前方情况。尤其,如图6b的图像可显示于由车辆驾驶辅助装置提供的显示器180或音视频导航装置400。
与图6a不同,图6b例示了基于立体摄像头195所拍摄的图像显示信息。
参照图可知,从左向右依次具有第一车道642b、第二车道644b、第三车道646b、第四车道648b,在第一车道642b和第二车道644b之间具有施工区域610b,而第一前方车辆620b位于第二车道644b和第三车道646b之间,第二前方车辆630b配置于第三车道646b和第四车道648b之间。
车辆辅助装置100可基于立体摄像头195所拍摄的立体图像来进行信号处理,从而确认对施工区域610b、第一前方车辆620b及第二前方车辆630b的对象。并且,可确认第一车道642b、第二车道644b、第三车道646b及第四车道648b。
另一方面,附图例示出为了呈现对施工区域610b、第一前方车辆620b及第二前方车辆630b的对象确认而分别向边缘突出。
另一方面,车辆驾驶辅助装置100可基于立体摄像头195所拍摄的立体图像来计算对施工区域610b、第一前方车辆620b及第二前方车辆630b的距离信息。
附图例示了显示分别与施工区域610b、第一前方车辆620b及第二前方车辆630b对应的已计算的第一距离信息611b、第二距离信息621b及第三距离信息631b。
另一方面,车辆驾驶辅助装置100可从电子控制单元770或传感部760接收有关车辆的传感器信息。尤其,可接收用于表示车辆速度信息、齿轮信息及车辆的旋转角(凹角)发生变化的速度的偏航角速度(yaw rate)信息、车辆的角度信息,且能够显示这种信息。
附图例示了在车辆前方图像的上部670显示车辆速度信息672、齿轮信息671及偏航角速度信息673,且例示了在车辆前方图像的下部680显示车辆角度信息682,但可具有多种例。除此之外,可与车辆的角度信息一同显示车辆的幅度信息683、道路的曲率信息681。
另一方面,车辆驾驶辅助装置100可通过通信部120或接口部130来接收车辆行驶中的道路的速度限制信息等。附图例示了显示速度限制信息640b。
车辆驾驶辅助装置100可通过显示器180来显示图6a所示的多种信息,但不同的是,可以在无需额外的显示的情况下,也能存储各种信息。并且,可利用这种信息来利用于多种应用。
图7为图1的车辆的电子空间装置的内部框图的一例。
参照附图,车辆200可具有用于控制车辆的电子控制装置700。电子控制装置700能够与上述车辆驾驶辅助装置100及音视频导航装置400交换数据。
电子控制装置700可包括输入部710、通信部720、存储器740、灯驱动部751、转向驱动部752、制动器驱动部753、动力源驱动部754、天窗驱动部755、悬架驱动部760、电子控制单元770、显示部780、音频输出部785及电源供给部790。
输入部710可具有配置于车辆200的多个按钮或触摸屏。可通过多个按钮或触摸屏来执行多种输入动作。
通信部720能够以无线方式与移动终端600或服务器500进行数据交换。尤其,通信部720能够以无线方式与车辆驾驶人员的移动终端进行数据交换。作为无线数据通信方式,可进行蓝牙、WiFi Direct、WiFi、APIX等多种数据通信方式。
通信部720可从移动终端600或服务器500接收天气信息、道路的交通情况信息,例如,传输协议专家组信息。
另一方面,在使用人员搭乘车辆的情况下,使用人员的移动终端600和电子控制装置100能够自动或借助使用人员的应用执行来执行相互配对。
存储器740可存储用于进行电子控制单元770的处理或控制的程序等用于电子控制装置700整个动作的多种数据。
灯驱动部751可控制配置于车辆的内外部的灯的开启/关闭。并且,能够控制灯光的强度、方向等。例如,可执行对方向指示灯、制动灯等的控制。
转向驱动部752可对车辆200的转向装置(steering apparatus)(未图示)执行电子式控制。以此,可变更车辆的前进方向。
制动器驱动部753可对车辆200的制动装置(未图示)执行电子式控制。例如,可通过控制配置于轮胎的制动的动作,来减小车辆200的速度。作为另一例,能够通过使分别配置于左侧轮胎和右侧轮胎的制动的工作不同,来将车辆200的前进方向调整为左侧或右侧。
动力源驱动部754可对车辆200的动力源执行电子式控制。
例如,在基于天然燃料的引擎(未图示)为动力源的情况下,动力源驱动部754可执行对引擎的电子式控制。由此,可控制引擎的输出扭矩等。
作为另一例,在基于电的电机(未图示)为动力源的情况下,动力源驱动部754可执行对电机的控制。由此,可控制电机的转速、扭矩等。
天窗驱动部755可对车辆200的天窗装置(sunroof apparatus)执行电子式控制。例如,可控制天窗的开放或封闭。
悬架驱动部756可对车辆200的悬架装置(suspension apparatus)(未图示)执行电子式控制。例如,在路面存在弯曲的情况下,可通过控制悬架装置来以降低车辆200的振动的方式控制。
空调驱动部757可对车辆200的空调装置(air cinditioner)(未图示)执行电子式控制。例如,在车辆的温度高的情况下,能够以空调装置工作,并使冷气向车辆的内部供给的方式进行控制。
车窗驱动部758可对车辆200的悬架装置(window apparatus)执行电子式控制。例如,可控制对车辆的侧面的左右窗的开放或封闭。
气囊驱动部759可对车辆200的悬架装置(airbag apparatus)执行电子式控制。例如,当遇到危险时,能够以使气囊弹出的方式进行控制。
传感部760取得与车辆100行驶等相关的信号。为此,传感部760可具有航向传感器、偏航传感器、陀螺传感器、定位模块、车辆前进/后退传感器、车轮传感器、车辆速度传感器、自身倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于转向盘旋转的转向盘传感器、车辆内部温度传感器及车辆内部湿度传感器等。
由此,传感部760可取得对车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息及车辆内部湿度信息的取得信号。
另一方面,除此之外,传感部760还可包括加速踏板传感器、压力传感器、引擎转速传感器(engine speed sensor)、空气流量传感器(AFS)、吸气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(TPS)、上止点(TDC)传感器及曲轴角度传感器(CAS)等。
电子控制单元770可控制电子控制装置700的各单元的整个动作。
可借助基于输入部710的输入来执行特定工作,或者接收传感器760所取得的信号来向车辆驾驶辅助装置100传输,可从音视频导航装置400接收图像信息,并能控制各种驱动部751、752、753、754、756的动作。
并且,电子控制单元770可从通信部720接收天气信息、道路交通情况信息,例如,传输协议专家组信息。
显示部780可显示与车辆驾驶辅助装置的动作相关的图像。为了显示这种图像,显示部780可包括车辆的内部前表面的辅音群或平视显示器。另一方面,在显示部780为平时显示器的情况下,可包括向车辆200的前表面玻璃投射图像的投射模块。另一方面,显示部780可包括能够用于输入的触摸屏。
音频输出部785将从电子控制单元770接收的电信号变换为音频信号来输出。为此,可具有扬声器等。音频输出部785可输出与输入部710,即,按钮的工作相对应的声音。
电源供给部790可借助电子控制单元770的控制来提供各结构要素的工作所需的电源。尤其,电源供给部790可从车辆的电池等接收电源。
另一方面,如图2等所述,以下,参照图8a记述用于拍摄车辆前方图像的立体摄像头195的内部结构。
图8a至图8b例示了图2的立体摄像头的内部框图。
首先,参照图8a,立体摄像头195可具有第一摄像头195a、第二摄像头195b及图像处理器830。
另一方面,车辆驾驶辅助装置100(图3)与图8a的图像处理器830单独地可具有如图的处理器170。
第一摄像头195a可具有第一镜头193a和第一图像传感器820,第二摄像头195b可具有第二镜头193b和第二图像传感器825。
第一镜头193a和第二镜头193b能够以大致200mm至400mm的间隔隔开配置。
根据本发明的实施例,第一图像传感器820可取得与至少一个曝光时间相对应的图像。并且,第二图像传感器825可取得与多个曝光时间相对应的图像。
另一方面,图像处理器830可基于借助第一图像传感器820及第二图像传感器825取得的图像生成视差图及RGB图像。此时所生成的RGB图像可以为基于高动态范围(Highdynamic range)图像的RGB图像。
尤其,根据本发明的实施例,优选地,由第一图像传感器820取得的图像的曝光时间和由第二图像传感器825取得的图像的曝光时间相互不同。
图像处理器830可基于来自第一图像传感器820及第二图像传感器825的、与相互不同的曝光时间相对应的图像生成视差图及RGB图像。
具体地,图像处理器830当取得RGB图像时,可基于来自第一图像传感器820及第二图像传感器825的、与相互不同的曝光时间相对应的图像生成RGB图像,当取得视差图时,可执行与相互不同的曝光时间相对应的图像相关的信号处理,从而以具有相同的曝光时间的方式进行信号处理,并基于具有相同曝光时间的图像生成视差图。
由此,图像处理器830可取得灵敏度损失和伪像所降低的视差图及RGB图像。
另一方面,图像处理器830作为以具有相同曝光时间的方式进行信号处理的一例,可生成将由第一图像传感器820取得的图像结合而成的第一结合图像,并生成将由第二图像传感器825取得的图像结合而成的第二结合图像。并且,可基于所生成的第一结合图像及第二结合图像生成视差图。
另一方面,第一图像传感器及第二图像传感器825可基于电信号调节曝光时间。
例如,在第一帧区间内,在第一图像传感器820中,可输出与第一帧区间相对应的第一图像,在第一帧区间内,在第二图像传感器825中,可输出具有相当于第一帧区间的一部分的第二图像和具有相当于第二帧区间的另一部分的曝光时间的第三图像。
尤其,第二图像传感器825可借助电信号的开或闭输出具有互不相同的曝光时间的第二图像和第三图像。
另一方面,图像处理器830可执行与第一图像传感器820及第二图像传感器825相关的曝光时间的设定,也可根据所设定的曝光时间进行控制,使得第一图像传感器及第二图像传感器825工作。
另一方面,立体摄像头195为了调节第一图像传感器820及第二图像传感器825相关的曝光时间,还可具有用于开闭向第一镜头193a入射的光的第一光圈194a(图9a)和用于开闭向第二镜头193b入射的光的第二光圈194b(图9a)。并且,可基于第一光圈194a及第二光圈194b(图9a)的开闭取得具有相互不同的曝光时间的图像。
另一方面,图像处理器830也能够以如下方式进行控制:在多个帧中,在第一帧期间由第一图像传感器820及第二图像传感器825取得的图像的曝光时间和由第二帧期间在第一图像传感器820及第二图像传感器825取得的图像的曝光时间不同。即,图像处理器830也能够以帧为单位进行控制,以改变第一图像传感器820及第二图像传感器825的曝光时间。
例如,图像处理器830也可基于由第一图像传感器820及第二图像传感器825取得的、曝光时间互不相同的图像取得RGB图像,并基于在第二帧期间由第一图像传感器820及第二图像传感器825取得的、曝光时间相同的图像生成视差图。
另一方面,图像处理器830当进入隧道时,可进行控制,使得第一图像传感器820及第二图像传感器825中的至少一种曝光时间增加,图像处理器830当离开隧道时,可进行控制,使得第一图像传感器820及第二图像传感器825中的至少一种曝光时间减少。
另一方面,车辆驾驶辅助装置100(图3)的处理器170可接收在立体摄像头195的图像处理器830中所生成的、视差图及RGB图像,并执行与其相关的信号处理。
例如,处理器170可基于视差图及RGB图像执行与车辆前方的RGB图像相关的对象检测,在检测对象之后,可继续跟踪对象的移动。并且,可执行对周边车辆的距离计算,检测到的周边车辆的速度计算,检测到的与周边车辆之间的速度差异计算等。
或者,处理器170可基于经计算而得的周边车辆的速度、与周边车辆之间的距离等,生成用于控制车辆200的姿势或行驶的控制信号并输出。例如,可生成用于控制车辆的转向驱动部752、制动器驱动部753、动力源驱动部754、悬架驱动部756中的至少一种的控制信号。
另一方面,与上述内容不同,除了生成视差图及RGB图像之外,图像处理器830还可基于视差图及RGB图像执行与车辆前方的RGB图像相关的对象检测,在检测对象之后,可继续跟踪对象的移动。并且,可执行对周边车辆的距离计算,检测到的周边车辆的速度计算,检测到的与周边车辆之间的速度差异计算等。
此时,处理器170可从图像处理器830接收与周边车辆相关的距离信息、检测到的周边车辆的速度信息,检测到的与周边车辆之间的速度差异信息,并基于此生成用于控制车辆的转向驱动部752、制动器驱动部753、动力源驱动部754、悬架驱动部756中的至少一种的控制信号。
另一方面,与上述内容不同,图像处理器830也可生成视差图及RGB图像,检测对象,跟踪对象的移动,计算对周围车辆的距离,计算检测到的周边车辆的速度,计算检测到的与周边车辆之间的速度差异,并生成用于控制车辆的转向驱动部752、制动器驱动部753、动力源驱动部754、悬架驱动部756中的至少一种的控制信号。
即,如图8b所示,立体摄像头195具有第一摄像头195a、第二摄像头195b及图像处理器830,此时的车辆驾驶辅助装置100(图3)可不具有单独的如图8a所示的处理器170。即,立体摄像头195内的图像处理器830均可执行处理器170的功能。
此时的图8b的立体摄像头195可以为与上述的车辆驾驶辅助装置100(图3)相同的概念。
图9a至图9d为图8a或图8b的立体摄像头的工作说明所参照的图。
首先,图9a为立体摄像头900a内的、与第一摄像头195a和第二摄像头195b相关的剖视图的一例。
第一摄像头195a可具有第一光圈194a、第一镜头820a、第一图像传感器820a,第二摄像头195b可具有第二光圈194b、第二镜头820b、第二图像传感器820b。
第一光圈194a可开闭向第一镜头820a入射的光,第二光圈194b可开闭向第二镜头820b入射的光。
第一图像传感器820a为了取得RGB颜色,可具有RGB过滤器910a和将光信号转换为电信号的传感器阵列911a。
第二图像传感器825a为了取得RGB颜色,可具有RGB过滤器915a和将光信号转换为电信号的传感器阵列911b。
由此,第一图像传感器820a和第二图像传感器815a可分别取得RGB图像来输出。
图9b例示了图9a的第一传感器阵列911a的简要电路图。
参照图,第一传感器阵列911a可具有像素电路部1010和行译码器(row decoder)1013和列译码器(column decoder)1016。
像素电路部1010内的每个像素可分别具有光电二极管和电路元件,上述光电二极管用于检测光,上述电路元件用于以行和列的方式传输由光电二极管检测到的信号。并且,在各像素中取得到的电信号可通过行译码器1013、列译码器1016向外部输出。
图9c为用于说明基于在第一图像传感器820a和第二图像传感器825a分别取得到的第一图像920a和第二图像925a的图像处理器830的工作的参照图。
由第一图像传感器820a取得到的第一图像920a可以为基于RGB颜色的图像,由第二图像传感器825a取得到的第二图像925a可以为基于RGB颜色的图像。
另一方面,根据本发明的实施例,第一图像传感器820可取得与至少一种曝光时间相对应的图像,第二图像传感器825可取得与多种曝光时间相对应的图像。
图像处理器830可基于借助第一图像传感器820及第二图像传感器825取得的图像生成视差图940及RGB图像950。此时,所生成的RGB图像950可以为基于高动态范围(HDR,High dynamic range)图像的RGB图像。
尤其,根据本发明的实施例,优选地,由第一图像传感器820取得的图像的曝光时间和由第二图像传感器825取得的图像的曝光时间相互不同。
图像处理器830可基于来自第一图像传感器820及第二图像传感器825的、与相互不同的曝光时间相对应的图像生成视差图940及RGB图像950。
由此,图像处理器830可取得灵敏度损失和伪像所降低的视差图940及RGB图像950。
另一方面,图9d例示了图像处理器内部框图的一例。
上述的图像处理器830可单独具有生成视差图940的立体图像生成部832及生成RGB图像950的高动态范围图像生成部834。
具体地,立体图像生成部832可取得来自第一图像传感器820及第二图像传感器825的、图像920a、925a之间的视差(disparity),并生成基于视差的视差图。尤其,可具有图像920a、925a之间的与亮度成分相关的视差,并生成基于亮度成分的视差的视差图。
尤其,可对具有互不相同的曝光时间的图像以成为相同的曝光时间的方式执行信号处理之后,基于具有相同曝光时间的图像生成视差图。
即,立体图像生成部832可生成将由第一图像传感器820取得的图像结合而成的第一结合图像,并生成将由第二图像传感器825取得的图像结合而成的第二结合图像。并且,可基于第一结合图像和第二结合图像生成视差图(disparity map)。此时的第一结合图像和第二结合图像可以为与相同的第一帧区间相对应的图像。
高动态范围图像生成部834可基于具有互不相同的曝光时间的图像生成基于RGB的图像。具体地,在与各个曝光时间相对应的图像中,可提取一部分区域,并组合提取到的一部分区域来生成新的RGB图像。尤其,可提取与各个曝光时间相对应的亮度区域,并组合提取到的亮度区域来生成新的RGB图像。由此,可生成基于高动态范围(High dynamicrange)图像的RGB图像。即,能够取得可实现对比和动态范围的高动态范围图像。
另一方面,安装于车辆的摄像头195a、195b与普通的摄像头不同,存在拍摄到的图像具有高的动态范围(dynamic range)的倾向。因此,仅用亮度成分来决定图像的自动曝光时间等的情况下,在低照度环境下发生动态模糊(motion blur)的可能性高。
在本发明的实施例中,提出用于在低照度环境下降低动态模糊等的技法。对此,参照以下图10a至图13b进行详细记述。
图10a至图13b的内容均可适用于立体摄像头195a、195b。以下,为了便于说明,以由安装于车辆的立体摄像头195a、195b中的一种摄像头中取得的图像为中心进行记述。
图10a的(a)部分例示了实际图像1010的一例。图像1010可区分为低照度的第一区域1012和亮度高于第一区域1012的第二区域1014。在第一区域1012的大小相当大于第二区域1014的情况下,整体图像1010的亮度从第一区域1012的亮度成分受到更多影响,因此,图像1010具有低照度亮度。在图中,例示了图像1010的亮度GR为La的情况。
此时,如图10a的(b)部分所示,第一摄像头195a的图像传感器820a基于亮度成分具有Ta作为曝光时间Tex的情况下,如图10a的(c)所示,取得的图像1015有可能发生动态模糊。具体地,亮度GR基于La,借助作为设定的曝光时间Tex的Ta,第二区域1012清晰,但第一区域1016中发生模糊(blur)。
为了改善这些问题,在本发明的实施例中,为了在低照度环境下降低动态模糊等,基于由图像传感器拍摄到的图像的亮度等级和亮度的分散值,改变由图像传感器取得的图像的曝光时间。
尤其,处理器830进行控制,以基于由图像传感器820a拍摄到的图像的亮度等级和亮度的分散值,改变由图像传感器820a取得的图像的曝光时间。
图10b的(a)部分例示了与图10a的(a)部分相同的实际图像1010的一例。
处理器830可基于由图像传感器820a拍摄到的图像,计算出拍摄到的图像的亮度平均等级和亮度的分散值。并且,可进行控制,以基于经计算而得的亮度平均等级和亮度的分散值,改变由图像传感器820a取得的图像的曝光时间。
在图10b的(a)部分的实际图像1010中,作为平均亮度GR的La低于第一等级L1,但作为亮度的分散值Va的Lv1具有相对大于第二等级L2的值,因而处理器830可设定更小于作为图10a的(b)部分的曝光时间的Ta的曝光时间Tb。
由于曝光时间变得更短,因而如图10b的(c)部分所示,通过调整曝光时间来取得的图像1020可使动态模糊相当地被降低。在图中,例示了不仅第二区域1012清晰,而且第一区域1017也清晰的情况。
像这样,在平均亮度为低照度的情况下,还可利用亮度的分散值来调整曝光时间,以降低动态模糊。
另一方面,就这种技法而言,不执行拍摄到的图像的亮度对其他区域的检测,而利用亮度的分散值来使数据计算量相当地被降低。
另一方面,处理器830除了图像的曝光时间之外,可利用进行图像信号处理时的不同频率的各增益(gain)度、亮度的等级及亮度的分散值来进行调整。由此,可取得更清晰的图像。
另一方面,这种技法还可适用于除了低照度之外具有高的动态范围(dynamicrange)的图像。
另一方面,在拍摄到的图像的亮度等级La为第一等级L1以下的状态下亮度的分散值Lv1为第二等级L2以下的情况下,处理器830控制上述曝光时间比在亮度的等级La为第一等级L1以下的状态且上述亮度的分散值Lv2小于第二等级L2的情况下的曝光时间更短。
图10c的(a)部分例示了实际图像1011,上述实际图像1011比图10b的(a)部分的实际图像1010,亮度平均等级更低,且亮度的分散值也更低。尤其,例示了亮度平均等级La1小于L1,分散值Lv2小于L2的情况。
在图中,例示了图像1011具有第一区域1014和第二区域1013,尤其,第二区域1013的大小比图10b大ΔA的情况。
处理器830可进行控制,从而在亮度平均等级为低照度,而分散值相对小的情况下,图像的曝光时间更增加。
即,如图10c的(b)部分所示,可设定更大于作为图10b的(b)部分的曝光时间的Tb的曝光时间Tc。只是,优选地,小于图10a的(b)部分的曝光时间Ta。
由此,通过调整曝光时间来取得的图像1021如图10c的(c)部分所示,可相当地降低动态模糊。在图中,例示了不仅第二区域1013清晰,而且第一区域1018也清晰的情况。
另一方面,当比较图10c和图10b时,以图10b为基准进行观察,在低照度条件下,亮度的分散值更大的情况下,处理器830可设定更小于作为图10c的(b)部分的曝光时间的Tc的曝光时间Tb。
另一方面,处理器830以如下方式进行控制:在亮度等级超过第一等级L1的状态下,若上述亮度等级越高则曝光时间就越短。
另一方面,在亮度等级在超过第一等级L1的状态且亮度的分散值为第二等级L2以上的情况下,处理器830控制上述曝光时间比在亮度的等级为超过第一等级L1的状态且亮度的分散值小于第二等级的L2情况下的曝光时间更长。
图10d和图10e例示了比图10b和图10c,亮度平均等级更大的情况。
在图10d的(a)部分的实际图像1030中,作为平均亮度GR的Lb高于第一等级L1,作为亮度的分散值Va的Lv11具有高于第二等级L2的值,因而处理器830可设定更小于作为图10b的(b)部分的曝光时间的曝光时间Td。
由于曝光时间变得更短,因而如图10d的(c)部分所示,通过调整曝光时间来取得的图像1040可清晰。在图中,例示了不仅第二区域1032清晰,而且第一区域1017也清晰的情况。
像这样,在平均亮度为高照度的情况下,还可利用亮度的分散值来调整曝光时间,以取得清晰的图像。
图10e的(a)部分例示了实际图像1031,上述实际图像1031比图10d的(a)部分的实际图像1030,亮度平均等级更低,且亮度的分散值也更低。尤其,例示了亮度平均等级Lb1大于L1,分散值Lv12小于L2的情况。
在图中,例示了图像1031具有第一区域1014和第二区域1033,尤其,作为灰色区域的第二区域1033的大小比图10d大ΔA。
处理器830能够以如下方式进行控制:在亮度平均等级为高照度且分散值相对小的情况下图像的曝光时间更减少。
即,如图10e的(b)部分所示,可设定比作为图10d的(b)部分的曝光时间的Tb更小的曝光时间Te。
由此,通过调整曝光时间来取得的图像1041如图10e的(c)部分,可清晰。在图中,例示了不仅第二区域1033清晰,而且第一区域1018也清晰的情况。
另一方面,当比较图10e和图10d时,以图10d为基准进行观察,在高照度条件下,亮度的分散值更大的情况下,处理器830可设定更长于作为图10e的(b)部分的曝光时间的Te的曝光时间Tb。
另一方面,处理器830也能够以如下方式进行控制:以基于由第一图像传感器820a取得的图像或由第二图像传感器820b取得的图像的、亮度等级和亮度的分散值,改变第二图像传感器820b的曝光时间。
另一方面,处理器830以如下方式进行控制:在第一时刻拍摄到的图像的亮度等级和在第一时刻以后的第二时刻拍摄到的图像的亮度等级的差异为规定值以上的情况下,在第二时刻以后,可依次改变由图像传感器820a取得的图像的曝光时间。
另一方面,在处理器830中,在第一时刻拍摄到的图像的亮度等级小于在第二时刻拍摄到的图像的亮度等级的情况下,可依次减少曝光时间。
尤其,处理器830可根据进入隧道时、隧道内、离开隧道时等情况调整各个曝光时间。对此,参照图11a至图12b进行记述。
首先,图11a例示了车辆200拍摄包括前方车辆1800的图像,且进入隧道之前的情况。
图11b例示了车辆200拍摄包括前方车辆1800的图像,车辆200为进入隧道之前,前方车辆1800为进入隧道的情况。
图11c例示了车辆200拍摄包括前方车辆1800的图像,且车辆200和前方车辆1800均位于隧道内的情况。
图11b例示了车辆200拍摄包括前方车辆1800的图像,车辆200位于隧道内,且前方车辆1800向隧道外部离开的情况。
在图11a和图11c的情况下,车辆200和前方车辆1800分别位于隧道外部或隧道内部,因而处理器830可基于由摄像头拍摄到的图像的平均亮度等级和亮度的分散值决定曝光时间。
车辆在白天行驶的情况下,能够以使图11c的曝光时间更长的方式设定,车辆在夜间行驶的情况下,能够以使图11a的曝光时间更长的方式设定。
另一方面,车辆在白天行驶的过程中,依次发生从图11a到图11b的情况下,在处理器830中,在第一时刻拍摄到的图像的亮度等级和在第一时刻以后的第二时刻拍摄到的图像的亮度等级的差异为规定值以上的情况下,在第二时刻以后,可依次改变由图像传感器820a取得的图像的曝光时间。
即,在图11b的情况下,包括进入隧道内的前方车辆1800的图像的平均亮度相当小于在图11a的情况下的平均亮度,因而如图12a所示,能够以使曝光时间变长的方式进行控制。
图12a的(a)部分例示了与图11a的情况相对应的曝光时间Texm和根据曝光时间Texm的图像1910,图12a的(b)部分例示了与图11b相对应的曝光时间Texn和根据曝光时间Texn的图像1911。即,如图12a的(c)部分所示,可依次增加曝光时间Tex。
另一方面,车辆在白天行驶的过程中,依次发生从图11c到图11d的情况下,在处理器830中,在第一时刻拍摄到的图像的亮度等级和在第一时刻以后的第二时刻拍摄到的图像的亮度等级的差异为规定值以上的情况下,在第二时刻以后,可依次改变由图像传感器820a取得的图像的曝光时间。
即,在图11d的情况下,包括向隧道外部离开的前方车辆1800的图像的平均亮度相当大于在图11c的情况下的平均亮度,因而如图12a所示,能够以使曝光时间变短的方式进行控制。
图12b的(a)部分例示了与图11c的情况相对应的曝光时间Texn和根据曝光时间Texn的图像1911,图12b的(b)部分例示了与图11d相对应的曝光时间Texm和根据曝光时间Texm的图像1910。即,如图12b的(c)部分所示,可依次减少曝光时间Tex。
另一方面,车辆在夜间行驶的过程中,依次发生从图11a到图11b的情况下,如图12b所示,可依次减少曝光时间,车辆在夜间行驶的过程中,依次发生从图11c到图11d的情况下,可依次增加曝光时间。
另一方面,安装于车辆的摄像头195a、195b取得包括位于前方的前方车辆的图像。并且,处理器830、170基于前方图像执行对象检测及确认等。
另一方面,车辆在夜间行驶的情况下,由于从相反车道靠近的车辆的灯光,摄像头本身拍摄到的影像平均亮度瞬间增加。这种情况下,根据本发明的实施例,处理器830也可利用图像的亮度的平均等级和亮度和分散值来决定图像传感器的曝光时间,并根据决定的曝光时间来检测清晰的图像。
图13a的(a)部分例示了车辆200在夜间行驶,由前方灯引起的前方灯区域1210发生在前方车辆1800周边的情况。摄像头195a、195b可取得考虑了前方灯区域1210的、包括前方车辆1800的图像。
另一方面,图13a的(b)部分例示了由基于从相反车道靠近的车辆1810的前方灯的前方灯区域1220和基于车辆200的前方灯区域1210部分重叠而产生重叠区域1215的情况。
这种情况下,如图13b的(a)部分所示,若只考虑取得的图像的亮度成分来决定曝光时间Tk,则与短的曝光时间Tk相对应的图像1950可对前方车辆区域发生模糊。
因此,若考虑取得的图像的亮度平均等级及分散而以使曝光时间Tm长于曝光时间Tk的方式进行设定,则与曝光时间Tm相对应的图像1955可对前方车辆区域清晰。因此,可容易执行在夜间对前方车辆的对象检测及确认。
另一方面,本发明的摄像头及车辆的工作方法能够在设置于摄像头或车辆的处理器可读的记录介质中由处理器可读的代码实现。处理器可读的记录介质包括用于存储处理器可读的数据的所有种类的记录装置。处理器可读的记录介质的例有只读存储器(ROM)、随机存取存储器(RAM)、光盘只读存储器(CD-ROM)、磁带、软盘、光数据存储装置等,并且,也包括由通过互联网的传输等的载波形态实现的。并且,处理器可读的记录介质可分散于利用网络来连接的计算机系统,以分散方式存储处理器可读的代码并执行。
并且,以上,图示并说明了本发明的优选实施例,但本发明并不局限于上述的特定实施例,能够在不脱离发明要求保护范围的本发明要旨的情况下,由本发明所属技术领域的普通技术人员进行多种变形实施,而这种变形实施不应从本发明的技术思想或前景中个别地被理解。

Claims (18)

1.一种摄像头,其特征在于,具有:
镜头;
图像传感器,基于从上述镜头入射的光取得图像;以及
处理器,用于进行控制,基于由上述图像传感器拍摄到的图像的亮度等级和亮度的分散值,改变由上述图像传感器取得的图像的曝光时间,
在拍摄到的上述图像的亮度等级为第一等级以下的状态且上述亮度的分散值为第二等级以上的情况下,上述处理器控制上述曝光时间比在上述亮度的等级为第一等级以下的状态且上述亮度的分散值小于第二等级的情况下的曝光时间更短。
2.根据权利要求1所述的摄像头,其特征在于,上述处理器以如下方式进行控制:
在上述亮度等级超过上述第一等级的状态下,若上述亮度等级越高则上述曝光时间越短。
3.根据权利要求2所述的摄像头,其特征在于,上述处理器以如下方式进行控制:
在上述亮度等级为超过上述第一等级的状态且上述亮度的分散值为上述第二等级以上的情况下,上述曝光时间比在上述亮度的等级为超过上述第一等级的状态且上述亮度的分散值小于第二等级的情况下的曝光时间更长。
4.一种摄像头,其特征在于,具有:
镜头;
图像传感器,基于从上述镜头入射的光取得图像;以及
处理器,用于进行控制,基于由上述图像传感器拍摄到的图像的亮度等级和亮度的分散值,改变由上述图像传感器取得的图像的曝光时间,
上述处理器以如下方式进行控制:
在第一时刻拍摄到的图像的亮度等级和在上述第一时刻以后的第二时刻拍摄到的图像的亮度等级的差异为规定值以上的情况下,在上述第二时刻以后,依次改变由上述图像传感器取得的图像的曝光时间。
5.根据权利要求4所述的摄像头,其特征在于,上述处理器以如下方式进行控制:
在上述第一时刻拍摄到的图像的亮度等级大于在上述第二时刻拍摄到的图像的亮度等级的情况下,依次增加上述曝光时间。
6.根据权利要求4所述的摄像头,其特征在于,上述处理器以如下方式进行控制:
在上述第一时刻拍摄到的图像的亮度等级小于在上述第二时刻拍摄到的图像的亮度等级的情况下,依次减少上述曝光时间。
7.根据权利要求1或4所述的摄像头,其特征在于,上述图像传感器基于来自上述处理器的电信号调节上述曝光时间。
8.根据权利要求1或4所述的摄像头,其特征在于,
还包括用于开闭向上述镜头入射的光的光圈;
上述处理器控制上述光圈的开闭时间,以改变由上述图像传感器取得的图像的曝光时间。
9.根据权利要求1或4所述的摄像头,其特征在于,
还包括:
第二镜头,与上述镜头隔开配置,以及
第二图像传感器,基于从上述第二镜头入射的光取得第二图像;
上述处理器进行控制,以改变由上述第二图像传感器取得的第二图像的曝光时间。
10.一种车辆,其特征在于,
具有:
转向驱动部,用于驱动转向装置,
制动器驱动部,用于驱动制动装置,
动力源驱动部,用于驱动动力源,
控制部,生成用于控制上述车辆的转向驱动部、制动器驱动部、动力源驱动部中的至少一种的控制信号,以及
摄像头,安装于车辆;
上述摄像头具有:
镜头,
图像传感器,基于从上述镜头入射的光取得图像,以及
处理器,用于进行控制,以基于由上述图像传感器拍摄到的图像的亮度等级和亮度的分散值,改变在上述图像传感器中取得的图像的曝光时间,
在拍摄到的上述图像的亮度等级为第一等级以下的状态且上述亮度的分散值为第二等级以上的情况下,上述处理器控制上述曝光时间比在上述亮度的等级为第一等级以下的状态且上述亮度的分散值小于第二等级的情况下的曝光时间更短。
11.根据权利要求10所述的车辆,其特征在于,上述处理器以如下方式进行控制:
在上述亮度等级超过上述第一等级的状态下,若上述亮度等级越高则上述曝光时间就越短。
12.根据权利要求11所述的车辆,其特征在于,
在上述亮度等级在超过上述第一等级的状态且上述亮度的分散值为上述第二等级以上的情况下,上述处理器控制上述曝光时间比在上述亮度的等级在超过上述第一等级的状态且上述亮度的分散值小于第二等级的情况下的曝光时间更长。
13.一种车辆,其特征在于,
具有:
转向驱动部,用于驱动转向装置,
制动器驱动部,用于驱动制动装置,
动力源驱动部,用于驱动动力源,
控制部,生成用于控制上述车辆的转向驱动部、制动器驱动部、动力源驱动部中的至少一种的控制信号,以及
摄像头,安装于车辆;
上述摄像头具有:
镜头,
图像传感器,基于从上述镜头入射的光取得图像,以及
处理器,用于进行控制,以基于由上述图像传感器拍摄到的图像的亮度等级和亮度的分散值,改变在上述图像传感器中取得的图像的曝光时间,
上述处理器以如下方式进行控制:
在第一时刻拍摄到的图像的亮度等级和在上述第一时刻以后的第二时刻拍摄到的图像的亮度等级的差异为规定值以上的情况下,在上述第二时刻以后,依次改变由上述图像传感器取得的图像的曝光时间。
14.根据权利要求13所述的车辆,其特征在于,上述处理器以如下方式进行控制:
在上述第一时刻拍摄到的图像的亮度大于在上述第二时刻拍摄到的图像的亮度等级的情况下,依次增加上述曝光时间。
15.根据权利要求13所述的车辆,其特征在于,上述处理器以如下方式进行控制:
在上述第一时刻拍摄到的图像的亮度等级小于在上述第二时刻拍摄到的图像的亮度等级的情况下,依次减少上述曝光时间。
16.根据权利要求10或13所述的车辆,其特征在于,
上述摄像头还包括:
第二镜头,与上述镜头隔开配置,以及
第二图像传感器,基于从上述第二镜头入射的光取得第二图像;
上述处理器进行控制,以改变在上述第二图像传感器中取得的第二图像的曝光时间。
17.根据权利要求16所述的车辆,其特征在于,
上述处理器基于来自上述图像传感器和上述第二图像传感器的立体图像生成视差图及RGB图像。
18.根据权利要求16所述的车辆,其特征在于,
还包括第二处理器,上述第二处理器基于来自上述图像传感器和上述第二图像传感器的立体图像生成视差图及RGB图像;
上述第二处理器或上述控制部基于上述视差图及上述RGB图像,生成用于控制上述车辆的上述转向驱动部、上述制动器驱动部、上述动力源驱动部中的至少一种的上述控制信号。
CN201510284433.9A 2014-05-29 2015-05-28 摄像头及具有该摄像头的车辆 Expired - Fee Related CN105313778B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140065435A KR101631439B1 (ko) 2014-05-29 2014-05-29 카메라, 및 이를 구비한 차량
KR10-2014-0065435 2014-05-29

Publications (2)

Publication Number Publication Date
CN105313778A CN105313778A (zh) 2016-02-10
CN105313778B true CN105313778B (zh) 2018-05-11

Family

ID=53432916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510284433.9A Expired - Fee Related CN105313778B (zh) 2014-05-29 2015-05-28 摄像头及具有该摄像头的车辆

Country Status (4)

Country Link
US (1) US9736364B2 (zh)
EP (1) EP2950521B1 (zh)
KR (1) KR101631439B1 (zh)
CN (1) CN105313778B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017109521A (ja) * 2015-12-14 2017-06-22 豊田合成株式会社 ステアリングホイール
JP6786279B2 (ja) * 2016-07-05 2020-11-18 日立オートモティブシステムズ株式会社 画像処理装置
US10386792B2 (en) * 2016-10-19 2019-08-20 Ants Technology (Hk) Limited Sensory systems for autonomous devices
DE102016221123A1 (de) * 2016-10-26 2018-04-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
KR20180097966A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 자율 주행을 위한 영상 처리 방법 및 장치
JP6439233B2 (ja) * 2017-03-31 2018-12-19 マツダ株式会社 車両用画像表示装置及び画像処理方法
US10453208B2 (en) 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
JP7059522B2 (ja) * 2017-06-09 2022-04-26 ソニーグループ株式会社 制御装置、制御方法、プログラム及び撮像システム
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
KR102521656B1 (ko) 2018-01-03 2023-04-13 삼성전자주식회사 객체를 인식하는 방법 및 장치
KR102569375B1 (ko) 2018-10-24 2023-08-22 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20200053125A (ko) * 2018-11-08 2020-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2020223519A1 (en) 2019-04-30 2020-11-05 Axon Enterprise, Inc. License plate reading system with enhancements
US11030472B2 (en) * 2019-04-30 2021-06-08 Axon Enterprise, Inc. Asymmetrical license plate reading (ALPR) camera system
US10715738B1 (en) * 2019-04-30 2020-07-14 Axon Enterprise, Inc. Asymmetrical license plate reading (ALPR) camera system
CN110177222B (zh) * 2019-06-26 2021-02-05 湖北亿咖通科技有限公司 一种结合车机闲散资源的摄像头曝光参数调整方法及装置
US11238292B2 (en) * 2019-11-26 2022-02-01 Toyota Research Institute, Inc. Systems and methods for determining the direction of an object in an image
CN112735141B (zh) * 2020-12-09 2022-08-02 浙江大华技术股份有限公司 视频数据处理方法和装置
CN112884848B (zh) * 2021-03-05 2022-06-28 河北工业大学 一种基于双目视觉的智能天车控制系统、方法、终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11258654A (ja) * 1998-03-12 1999-09-24 Fuji Heavy Ind Ltd カメラのシャッタ速度制御装置
CN101119439A (zh) * 2007-08-22 2008-02-06 东风汽车有限公司 车载摄像机拍摄清晰车道图像的自动控制方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4206085C2 (de) 1992-02-27 1994-06-09 Linde Ag Hydromechanisches Antriebsaggregat für den hydrostatischen Fahrantrieb eines Fahrzeugs
JP3217489B2 (ja) * 1992-09-25 2001-10-09 株式会社ニコン カメラの露出演算装置
JP3337197B2 (ja) * 1997-04-04 2002-10-21 富士重工業株式会社 車外監視装置
US6859230B2 (en) * 2001-11-07 2005-02-22 Omnivision Technologies, Inc. Method of fast automatic exposure or gain control in a MOS image sensor
KR100488728B1 (ko) * 2003-05-15 2005-05-11 현대자동차주식회사 자동차의 2중 노출 카메라 시스템 및 영상 취득방법
KR20060127522A (ko) 2005-06-07 2006-12-13 삼성전자주식회사 반도체소자의 트렌치 소자분리 방법
JP4685562B2 (ja) * 2005-09-13 2011-05-18 クラリオン株式会社 移動体撮像装置
KR101231474B1 (ko) 2006-12-14 2013-02-07 엘지이노텍 주식회사 카메라의 자동노출 장치 및 그 동작 방법
JP4987573B2 (ja) * 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置
EP2026567B1 (en) 2007-07-31 2010-10-06 Ricoh Company, Ltd. Imaging device and imaging method
JP4990806B2 (ja) * 2008-01-22 2012-08-01 富士重工業株式会社 撮像手段の調整装置および車外監視装置
US20100142445A1 (en) 2008-09-04 2010-06-10 Ludger Schlicht Environments for a mobile, broadband, routable internet
JP5526950B2 (ja) 2009-05-29 2014-06-18 株式会社リコー 画像処理装置及び方法、並びに撮像装置
JP5968068B2 (ja) 2011-05-24 2016-08-10 キヤノン株式会社 露出制御を行う撮像装置、撮像装置の制御方法、プログラム及び記録媒体
US8649940B2 (en) 2012-02-10 2014-02-11 Deere & Company Method and stereo vision system for managing the unloading of an agricultural material from a vehicle
US20140309863A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Parental control over vehicle features and child alert system
WO2014070448A1 (en) 2012-10-31 2014-05-08 Tk Holdings, Inc. Vehicular path sensing system and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11258654A (ja) * 1998-03-12 1999-09-24 Fuji Heavy Ind Ltd カメラのシャッタ速度制御装置
CN101119439A (zh) * 2007-08-22 2008-02-06 东风汽车有限公司 车载摄像机拍摄清晰车道图像的自动控制方法

Also Published As

Publication number Publication date
KR101631439B1 (ko) 2016-06-17
KR20150137488A (ko) 2015-12-09
EP2950521A2 (en) 2015-12-02
EP2950521B1 (en) 2018-09-05
EP2950521A3 (en) 2015-12-09
CN105313778A (zh) 2016-02-10
US9736364B2 (en) 2017-08-15
US20150350510A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
CN105313778B (zh) 摄像头及具有该摄像头的车辆
CN105083122B (zh) 立体摄像头、车辆驾驶辅助装置及车辆
CN105270263B (zh) 车辆驾驶辅助装置及车辆
CN105270179B (zh) 车辆驾驶辅助装置及车辆
EP3088268B1 (en) Vehicle driving aid device and vehicle having same
CN105270261B (zh) 车辆用全景环视装置及具有该装置的车辆
EP3009302B1 (en) Under vehicle image provision apparatus and vehicle including the same
CN105313779B (zh) 车辆用全景环视装置及具有该装置的车辆
CN105691299B (zh) 车辆驾驶辅助装置及车辆
KR102309316B1 (ko) 차량용 디스플레이 장치 및 이를 구비한 차량
KR102043060B1 (ko) 자율 주행 장치 및 이를 구비한 차량
EP2955690B1 (en) Around view provision apparatus and vehicle including the same
KR102117598B1 (ko) 차량 운전 보조 장치 및 차량
US10005473B2 (en) Stereo camera, vehicle driving auxiliary device having same, and vehicle
US20150343916A1 (en) Vehicle charge assistance device and vehicle including the same
KR101632179B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
KR101641491B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
KR101980547B1 (ko) 차량 운전 보조 장치 및 차량
KR20160092403A (ko) 차량 운전 보조 장치 및 차량 운전 보조 장치의 제어 방법
KR102302574B1 (ko) 스테레오 카메라 모듈 및 스테레오 카메라의 캘리브레이션 방법
KR20170033195A (ko) 차량 운전 보조 장치 및 차량

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180511

Termination date: 20210528

CF01 Termination of patent right due to non-payment of annual fee