CN105083122A - 立体摄像头、车辆驾驶辅助装置及车辆 - Google Patents

Abstract

本发明涉及立体摄像头、车辆驾驶辅助装置及车辆。根据本发明的实施例的立体摄像头包括：第一图像传感器，用于取得与至少一个曝光时间相对应的图像；第二图像传感器，用于取得与多个曝光时间相对应的多个图像；以及处理器，基于由上述第一图像传感器和第二图像传感器取得的图像来生成视差图及RGB图像。由此，能够取得视差图及RGB图像。

Description

立体摄像头、车辆驾驶辅助装置及车辆

技术领域

本发明涉及立体摄像头、具有该立体摄像头的车辆驾驶辅助装置及车辆，更详细地涉及能够取得视差图及RGB(红、绿、蓝)图像的立体摄像头、具有该立体摄像头的车辆驾驶辅助装置及车辆。

背景技术

车辆为搭乘的使用人员向所需的方向进行移动的装置。代表性地，可例举汽车。

另一方面，为了利用车辆的使用人员的便利，正处于设置各种传感器和电子装置等的趋势。尤其，为了使用人员的驾驶的便利，正开发出多种装置。

尤其，一直以来，在车辆运行时为了防止事故发生而进行车辆的安全控制的行为都是驾驶员的职责。但是，在各种运行条件下，仅以人类的认知能力，在对车辆进行安全控制方面存在局限性。尤其，在高速行驶的情况下，一旦稍晚发现前方的障碍物，也会导致大型事故的发生，即便在低速行驶的情况下，对于突然出现的障碍物，也会来不及躲避。为了应对这种问题，并制造出更加安全的车辆，一直以来做出了不懈的努力，其中，具有代表性的就是利用视频的障碍物检测方法。

利用视频的障碍物检测方法有2D摄像头技术，根据2D摄像头技术，利用仅一个视频，来检测事物的形状，并与车辆的安全控制联动，但是根据这种技术，无法取得对事物距离的正确的信息，因此，在高速行驶的情况下，很难应用于车辆的安全控制。

发明内容

本发明的目的在于，提供能够取得视差图及RGB图像的立体摄像头、具有该立体摄像头的车辆驾驶辅助装置及车辆。

为了实现上述目的的本发明的实施例的立体摄像头包括：第一图像传感器，用于取得与至少一个曝光时间相对应的图像；第二图像传感器，用于取得与多个曝光时间相对应的多个图像；以及处理器，基于由上述第一图像传感器和第二图像传感器取得的图像来生成视差图及RGB图像。

一方面，为了实现上述目的的本发明的实施例的车辆包括：传感部，用于取得车辆状态；转向驱动部，用于驱动转向装置；制动器驱动部，用于驱动制动装置；动力源驱动部，用于驱动动力源；悬架驱动部，用于驱动悬挂装置；第一图像传感器，用于取得与至少一个曝光时间相对应的图像；第二图像传感器，用于取得与多个曝光时间相对应的图像；处理器，基于上述第一图像传感器及第二图像传感器来生成视差图及RGB图像；以及控制部，基于上述视差图及上述RGB图像来生成用于控制车辆的转向驱动部、制动器驱动部、动力源驱动部、悬架驱动部中的至少一种的控制信号。

根据本发明的实施例的立体摄像头、具有该立体摄像头的车辆驾驶辅助装置及车辆包括：第一图像传感器，用于取得与至少一个曝光时间相对应的图像；第二图像传感器，用于取得与多个曝光时间相对应的图像；以及处理器，基于由上述第一图像传感器和第二图像传感器取得的图像来生成视差图及RGB图像。由此，能够简单地生成视差图及RGB图像。

通过利用与互不相同的曝光时间相对应的图像，可取得感光度损失和生成物(Artifact)降低的视差图及鲜明的RGB图像。尤其，可取得能够实现反差(Contrast)和动态范围(dynamicrange)的高动态范围图像。

附图说明

图1为示出本发明的一实施例的设有立体摄像头的车辆外观的图。

图2为示出附着于图1的车辆的立体摄像头的外观的图。

图3a至图3b例示本发明一实施例的车辆驾驶辅助装置的内部框图的多种例。

图4a至图4b例示图3a至图3b的处理器的内部框图的多种例。

图5a至图5b为图4a至图4b的处理器的工作说明所参照的图。

图6a至图6b为图3a至图3b的车辆驾驶辅助装置的工作说明所参照的图。

图7为图1的车辆内部的电子控制装置的内部框图的一例。

图8a至图8b例示图2的立体摄像头的内部框图。

图9a至图9d以及图10为图8a或图8b的立体摄像头的工作说明所参照的图。

图11a至图18c为图8a或图8b的图像处理器的工作说明所参照的图。

具体实施方式

以下，参照附图对本发明进行详细说明。

对于在以下说明中使用的结构要素的词尾“模块”及“部”仅是考虑本说明书的制作便利性而赋予的词，其本并不赋予特别重要的意义或作用。因此，也能以相互混用的方式使用上述“模块”及“部”。

在本说明书中记述的车辆可为包括汽车、摩托车的概念。以下，以汽车作为主要的车辆进行记述。

另一方面，在本说明书中记述的车辆可为包括具有引擎的车辆、具有引擎和电机的混合动力车辆、具有电机的电动车辆等的概念。以下，以具有引擎的车辆为主进行记述。

另一方面，在本说明书中记述的车辆驾驶辅助装置可以被称为先进驾驶辅助系统(ADAS，AdvancedDriverAssistanceSystems)或先进驾驶辅助装置(ADAA，AdvancedDriverAssistanceApparatus)。以下，对本发明的多种实施例的车辆的车辆驾驶辅助装置及具有该车辆驾驶辅助装置的车辆进行记述。

图1为示出本发明一实施例的设有立体摄像头的车辆外观的图。

参照图，车辆200可包括：轮胎103FR、103FL、103RL…，借助动力源来进行旋转；方向盘150，用于调整车辆200的前进方向；以及立体摄像头195，设置于车辆200的内部。

立体摄像头195可具有多个摄像头，而通过多个摄像头来获得的立体图像可在车辆驾驶辅助装置(图3的100)内得到信号处理。

另一方面，附图例示出立体摄像头195具有两个摄像头。

图2为示出附着于图1的车辆的立体摄像头的外观的图。

参照图，立体摄像头模块195可包括：第一摄像头195a，设有第一镜头193a；以及第二摄像头195b，设有第二镜头193b。

另一方面，立体摄像头模块195可包括分别用于遮蔽向第一镜头193a和第二镜头193b入射的光的第一光遮蔽部(lightshield)192a、第二光遮蔽部192b。

图中的立体摄像头模块195可以为能够在顶部或前表面玻璃进行装拆的结构。

具有这种立体摄像头模块195的车辆驾驶辅助装置(图3中的100)可从立体摄像头模块195获得车辆前方的立体图像，基于立体图像来执行视差(disparity)检测，并基于视差信息来执行对至少一个立体图像的目标检测，在完成目标检测之后，继续跟踪目标的移动。

图3a至图3b例示本发明一实施例的车辆驾驶辅助装置的内部框图的多种例。

图3a至图3b的车辆驾驶辅助装置100能够基于计算机视觉(computervision)来对从立体摄像头195接收的立体图像进行信号处理，从而生成与车辆相关的信息。其中，与车辆相关的信息可包括用于直接控制车辆的车辆控制信息或用于引导车辆驾驶人员进行驾驶的车辆驾驶辅助信息。

首先，参照图3a，图3a中的车辆驾驶辅助装置100可包括通信部120、接口部130、存储器140、处理器170、供电部190及立体摄像头195。

通信部120能够以无线(wireless)方式与移动终端600或服务器500进行数据交换。尤其，通信部120能够以无线方式与车辆驾驶人员的移动终端进行数据交换。作为无线数据通信方式，可进行蓝牙(Bluetooth)、WiFiDirect、WiFi、APIX等多种数据通信方式。

通信部120可从移动终端600或服务器500接收天气信息、道路交通情况信息，例如传输协议专家组(TPEG，TransportProtocolExpertGroup)信息。另一方面，可向移动终端600或服务器500传输基于立体图像来从车辆驾驶辅助装置100来掌握的实时交通信息。

另一方面，在使用人员搭乘车辆的情况下，使用人员的移动终端600和车辆驾驶辅助装置100能够自动或借助使用人员的应用执行来执行相互配对(pairing)。

接口部130可接收与车辆相关的数据或向外部传输在处理器170中处理或生成的信号。为此，接口部130可借助有线通信或无线通信的方式来与车辆的电子控制单元(ECU)770、音视频导航(AVN，AudioVideoNavigation)装置400、传感部760等执行数据通信。

接口部130科借助与音视频导航装置400之间的数据通信来接收与车辆的行驶相关的图像(map)信息。

另一方面，接口部130可从电子控制单元770或传感部760接收传感器信息。

在此，传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一种。

这种传感器信息可从航向传感器(headingsensor)、偏航传感器(yawsensor)、陀螺传感器(gyrosensor)、定位模块(positionmodule)、车辆前进/后退传感器、车轮传感器(wheelsensor)、车辆速度传感器、自身倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的方向盘传感器、车辆内部温度传感器及车辆内部湿度传感器等获得。另一方面，定位模块可包括用于接收GPS信息的GPS模块。

另一方面，在传感器信息中，可将与车辆行驶相关的车辆方向信息、车辆位置信息、车辆角度信息、车辆速度信息、车辆倾斜度信息等命名为车辆行驶信息。

存储器140可存储用于处理或控制处理器170的程序等、用于车辆驾驶辅助装置100的整个动作的多种数据。

音频输出部(未图示)将从处理器170接收的电信号转换为音频信号并输出。为此，可设置扬声器等。音频输出部(未图示)可输出与输入部110，即，按钮的工作相对应的声音。

音频输入部(为图示)可接收使用人员的语音信息。为此，可设置麦克风。所接收的语音信息能够变换为电信号来向处理器170传递。

处理器170控制车辆驾驶辅助装置100的各单元的整个动作。

尤其，处理器170执行基于计算机视觉(computervision)的信号处理。由此，处理器170可从立体摄像头195获得车辆前方的立体图像，基于立体图像来执行对车辆前方的视差计算，并基于所计算的视差信息来执行对立体图像中的至少一个的目标检测，在完成目标检测后，继续跟踪目标的移动。

尤其，当进行目标检测时，处理器170可执行车道检测(LD，LaneDetection)、周边车辆检测(VD，VehicleDetection)、行人检测(PD，PedestrianDetection)、灯光检测(BD，BrightspotDetection)、交通标志牌检测(TSR，TrafficSignRecognition)及路面检测等。

并且，处理器170可执行对所检测的周边车辆距离的计算、对所检测的周边车辆的速度的计算及对与所检测的周边车辆之间的速度差的计算等。

另一方面，处理器170可通过通信部120来接收天气信息、道路的交通情况信息，例如，传输协议专家组信息。

另一方面，处理器170可实时掌握基于立体图像来掌握的车辆驾驶辅助装置100中的车辆周边交通情况信息。

另一方面，处理器170可通过接口部130来从音视频导航装置400接收图像信息。

另一方面，处理器170通过接口部130，可从电子控制单元770或传感部760接收传感器信息。其中，传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一种。

供电部190可通过处理器170的控制来提供各结构要素的工作所需的电源。尤其，供电部190可从车辆的电池等接收电源。

立体摄像头195可包括多个摄像头。以下，如图2等所述，具有两个摄像头。

立体摄像头195以可在车辆200的顶部或前表面玻璃进行装拆，并能包括设有第一镜头193a的第一摄像头195a、设有第二镜头193b的第二摄像头195b。

另一方面，立体摄像头195可包括用于遮蔽分别向第一镜头193a和第二镜头193b入射的光的第一遮蔽部192a、第二遮蔽部192b。

接着，参照图3b，与图3a的车辆驾驶辅助装置100相比，图3b的车辆驾驶辅助装置100还可包括输入部110、显示器180及音频输出部185。以下，仅对输入部110、显示器180及音频输出部185进行记述。

输入部110可具有附着于车辆驾驶辅助装置100，尤其，附着于立体摄像头195的多个按钮或触摸屏。可通过多个按钮或触摸屏来使车辆驾驶辅助装置100的电源开启并工作。除此之外，也可执行多种输入工作。

音频输出部185基于在处理器170中处理的音频信号来向外部输出声音。为此，音频输出部185可包括至少一个扬声器。

显示器180可显示与车辆行驶辅助装置相关的图像。为了表示这种图像，显示器180可包括车辆的内部前表面的辅音群(cluster)或平视显示器(HUD，HeadUpDisplay)。另一方面，在显示器180为平视显示器的情况下，可在车辆200的前表面玻璃设有用于透视图像的透视模块。

图4a至图4b例示图3a至图3b的处理器的内部框图的多种例，图5a至图5b为图4a至图4b的处理器的工作说明所参照的图。

首先，参照图4a，图4a作为处理器170的内部框图的一例，车辆驾驶辅助装置100的处理器170可包括影像预处理部410、视差计算部420、目标检测部434、目标跟踪部440及应用部450。

影像预处理部(imagepreprocessor)410从立体摄像头195接收立体图像，来执行预处理(preprocessor)。

具体地，影像预处理部410可执行对立体图像的降低噪音(noisereduction)、整流(rectification)、校准(calibration)、颜色增强(colorenhancement)、颜色空间转变(CSC，colorspaceconversion)、插补(interpolation)、摄像头增益控制(cameragaincontrol)等。与此同时，可获得比在立体摄像头195拍摄的立体图像更鲜明的立体图像。

视差计算部(disparitycalculator)420接收在影像预处理部410中进行信号处理的立体图像，执行对所接收的立体图像的立体匹配(stereomatching)，并获得基于立体匹配的视差图(dispartiymap)。即，可获得对车辆前方的、对立体图像的视差信息。

此时，立体匹配能够以立体图像的像素单位或规定块单位执行。另一方面，视差图可意味着以数值方式呈现立体图像，即，左右图像的时差信息(binocularparallaxinformation)的图。

分割部(segmentationunit)432可基于视差计算部420的视差信息来对立体图像中至少一个执行分割(segment)及聚类(clustering)。

具体地，分割部432可基于视差信息来对立体图像中的至少一个进行背景(background)和前景(foreground)的分离。

例如，在视差图中，可由视差信息将规定值以下的区域作为背景来计算，并除去对应部分。由此，可使前景相对分离。

作为另一例，在视差图中，可由视差信息将规定值以上的区域作为前景来计算，并抽取相应部分。由此，可使前景分离。

像这样，基于立体图像抽取的视差信息为基础来分离前景和背景，由此在之后进行目标检测时，可缩短信号处理速度、信号处理量等。

接着，目标检测部(objectdetector)434可基于分割部432的图像分割来进行目标检测。

即，目标检测部434可基于视差信息来对立体图像中的至少一个进行目标检测。

具体地，目标检测部434可对立体图像中的至少一个进行目标检测。例如，可从通过图像分割来分离的前景进行目标检测。

接着，目标确认部(objectverificationunit)436对被分离的目标进行分类(classify)并确认(verify)。

为此，目标确认部436可使用利用神经式网络(neuralnetwork)的识别法、支持向量机(SVM，SupportVectorMachine)方法、利用Haar-like特征的通过AdaBoost来识别的方法或梯度方向直方图(HOG，HistogramsofOrientedGradients)方法等。

另一方面，目标确认部436可通过比较存储于存储器140的目标和所检测的目标来确认。

例如，目标确认部436可确认位于车辆周边的周边车辆、车道、路面、标志牌、危险地带及隧道等。

目标跟踪部(objecttrackingunit)440，执行对确认目标的跟踪。例如，可依次确认所获得的立体图像中的目标，计算所确认的目标的移动或移动向量，并基于所计算的移动或移动向量来跟踪对应目标的移动等。由此，可跟踪位于车辆周边的周边车辆、车道、路面、标志牌、危险地带及隧道等。

接着，应用部450可基于位于车辆周边的多种目标，例如其他车辆、车道、路面及标志牌等来计算车辆的危险度等。并且，可计算与前方车辆的碰撞可能性、车辆是否滑动等。

并且，应用部450能够能够基于所计算的危险度、碰撞可能性或是否滑动等来向使用人员输出用于告知这种信息的消息等作为车辆驾驶辅助信息。并且，能够生成用于控制车辆200的姿势或行驶的控制信号作为车辆控制信号。

图4b为处理器的内部框图的另一例。

参照图，图4b的处理器170与图4a的处理器170相比，在内部结构单元相同，但信号处理顺序不同方面存在差异。以下，仅对差异进行记述。

目标检测部434可接收立体图像，并对立体图像中的至少一个进行目标检测。与图4a不同，可从立体图像直接检测目标，而不是对基于视差信息来分割的图像进行目标检测。

接着，目标确认部436基于分割部432的图像分割及在目标检测部434中检测的目标来对所检测及分离的目标进行分类并确认。

为此，目标确认部436可使用利用神经式网络的识别法、支持向量机方法、利用Haar-like特征的通过AdaBoost来识别的方法或梯度方向直方图方法等。

图5a和图5b为为了基于分别从第一帧区间及第二帧区间获得的立体图像来说明图4a的处理器170的工作方法而参照的图。

首先，参照图5a，在第一帧区间段中，立体摄像头195获得立体图像。

处理器170中的视差计算部420接收在影像预处理部410中进行信号处理的立体图像FR1a、FR1bm，并对所接收的图像FR1a、RF1b执行立体匹配，来获得视差图520。

视差图520作为对立体图像FR1a、FR1b之间的时差进行等级化的图，视差等级越大，与车辆之间的距离越短，而视差等级越小，与车辆之间的距离越长。

另一方面，在显示这种视差图的情况下，视差等级越大，具有越高的亮度，而视差等级越小，具有越低的亮度。

附图示例出在视差图520中，第一车道528a、第二车道528b、第三车道528c、第四车道528d等分别具有对应的等级，施工区域522、第一前方车辆524、第二前方车辆526分别具有对应的视差等级。

分割部432、目标检测部434及目标确认部436基于视差图520来执行对立体图像FR1a、FR1b中的至少一个的分割、目标检测及目标确认。

附图示例出使用视差图520来执行对第二立体图像FR1b的目标检测及确认。

即，在图像530中，第一车道538a、第二车道538b、第三车道538c、第四车道538d、施工区域532、第一前方车辆534及第二前方车辆536可执行目标检测及确认。

接着，参照图5b，在第二帧区间，立体摄像头195获得立体图像。

处理器170中的视差计算部420接收在影像预处理部410中进行信号处理的立体图像FR2a、FR2b，执行对所接收的立体图像FR2a、FR2b的立体匹配，并获得视差图540。

附图示例出在视差图540中，第一车道548a、第二车道548b、第三车道548c、第四车道548d等分别具有对应的等级，施工区域542、第一前方车辆524、第二前方车辆546分别具有对应的视差等级。

分割部432、目标检测部434及目标确认部436基于视差图520来执行对立体图像FR2a、FR2b中的至少一个的分割、目标检测及目标确认。

附图示例出使用视差图540来执行对第二立体图像FR2b的目标检测及确认。

即，在图像550中，第一车道558a、第二车道558b、第三车道5358c、第四车道558d、施工区域552、第一前方车辆554级第二前方车辆556可执行目标检测及确认。

另一方面，将图5a和图5b作比较，目标跟踪部440可执行对所确认的目标的跟踪。

具体地，目标跟踪部440可基于在图5a和图5b中确认的各目标的移动或移动向量来跟踪对应目标的移动等。由此，可执行对位于车辆周边的车道、施工区域、第一前方车辆及第二前方车辆等的跟踪。

图6a至图6b为图3a至图3b的车辆驾驶辅助装置的工作说明所参照的图。

首先，图6a为例示出设于车辆的立体摄像头195所拍摄的车辆前方情况的图。尤其，以鸟瞰图(birdeyeview)表示车辆前方的情况。

参照附图可知，从左向右依次具有第一车道642a、第二车道644a、第三车道646a、第四车道648a，在第一车道642a和第二车道644a之间具有施工区域610a，而第一前方车辆620a位于第二车道644a和第三车道646a之间，第二前方车辆630a配置于第三车道646a和第四车道648a之间。

接着，图6b例示了与各种信息一同显示借助车辆驾驶辅助装置来掌握的车辆前方情况。尤其，如图6b的图像可显示于由车辆驾驶辅助装置提供的显示器180或音视频导航400。

与图6a不同，图6b例示了基于立体摄像头195所拍摄的图像显示信息。

参照图可知，从左向右依次具有第一车道642b、第二车道644b、第三车道646b、第四车道648b，在第一车道642b和第二车道644b之间具有施工区域610b，而第一前方车辆620b位于第二车道644b和第三车道646b之间，第二前方车辆630b配置于第三车道646b和第四车道648b之间。

车辆辅助装置100可基于立体摄像头195所拍摄的立体图像来进行信号处理，从而确认对施工区域610b、第一前方车辆620b及第二前方车辆630b的目标。并且，可确认第一车道642b、第二车道644b、第三车道646b及第四车道648b。

另一方面，附图例示出为了呈现对施工区域610b、第一前方车辆620b及第二前方车辆630b的目标确认而分别向边缘突出。

另一方面，车辆驾驶辅助装置100可基于立体摄像头195所拍摄的立体图像来计算对施工区域610b、第一前方车辆620b及第二前方车辆630b的距离信息。

附图例示了显示分别与施工区域610b、第一前方车辆620b及第二前方车辆630b对应的已计算的第一距离信息611b、第二距离信息621b及第三距离信息631b。

另一方面，车辆驾驶辅助装置100可从电子控制单元770或传感部760接收有关车辆的传感器信息。尤其，可接收用于表示车辆速度信息、齿轮信息及车辆的旋转角(凹角)发生变化的速度的偏航角速度(yawrate)信息、车辆的角度信息，且能够显示这种信息。

附图例示了在车辆前方图像的上部670显示车辆速度信息672、齿轮信息671及偏航角速度信息673，且例示了在车辆前方图像的下部680显示车辆角度信息682，但可具有多种例。除此之外，可与车辆的角度信息一同显示车辆的幅度信息683、道路的曲率信息681。

另一方面，车辆驾驶辅助装置100可通过通信部120或接口部130来接收车辆行驶中的道路的速度限制信息等。附图例示了显示速度限制信息640b。

车辆驾驶辅助装置100可通过显示器180来显示图6a所示的多种信息，但不同的是，可以在无需额外的显示的情况下，也能存储各种信息。并且，可利用这种信息来利用于多种应用。

图7为图1的车辆的电子空间装置的内部框图的一例。

参照附图，车辆200可具有用于控制车辆的电子控制装置700。电子控制装置700能够与上述车辆驾驶辅助装置100及音频视频装置400交换数据。

电子控制装置700可包括输入部710、通信部720、存储器740、灯驱动部751、转向驱动部752、制动器驱动部753、动力源驱动部754、天窗驱动部755、悬架驱动部760、电子控制单元770、显示部780、音频输出部785及供电部790。

输入部710可具有配置于车辆200的多个按钮或触摸屏。可通过多个按钮或触摸屏来执行多种输入动作。

通信部720能够以无线方式与移动终端600或服务器500进行数据交换。尤其，通信部720能够以无线方式与车辆驾驶人员的移动终端进行数据交换。作为无线数据通信方式，可进行蓝牙、WiFiDirect、WiFi、APIX等多种数据通信方式。

通信部720可从移动终端600或服务器500接收天气信息、道路的交通情况信息，例如，传输协议专家组信息。

另一方面，在使用人员搭乘车辆的情况下，使用人员的移动终端600和电子控制装置100能够自动或借助使用人员的应用执行来执行相互配对。

存储器740可存储用于进行电子控制单元770的处理或控制的程序等用于电子控制装置700整个动作的多种数据。

灯驱动部751可控制配置于车辆的内外部的灯的开启/关闭。并且，能够控制灯光的强度、方向等。例如，可执行对方向指示灯、制动灯等的控制。

转向驱动部752可对车辆200的转向装置(steeringapparatus)(未图示)执行电子式控制。以此，可变更车辆的前进方向。

制动器驱动部753可对车辆200的制动装置(未图示)执行电子式控制。例如，可通过控制配置于轮胎的制动的动作，来减小车辆200的速度。作为另一例，能够通过使分别配置于左侧轮胎和右侧轮胎的制动的工作不同，来将车辆200的前进方向调整为左侧或右侧。

动力源驱动部754可对车辆200的动力源执行电子式控制。

例如，在基于天然燃料的引擎(未图示)为动力源的情况下，动力源驱动部754可执行对引擎的电子式控制。由此，可控制引擎的输出扭矩等。

作为另一例，在基于电的电机(未图示)为动力源的情况下，动力源驱动部754可执行对电机的控制。由此，可控制电机的转速、扭矩等。

天窗驱动部755可对车辆200的天窗装置(sunroofapparatus)执行电子式控制。例如，可控制天窗的开放或封闭。

悬架驱动部756可对车辆200的悬架装置(suspensionapparatus)(未图示)执行电子式控制。例如，在路面存在弯曲的情况下，可通过控制悬架装置来以降低车辆200的振动的方式控制。

空调驱动部757可对车辆200的空调装置(airconditioner)(未图示)执行电子式控制。例如，在车辆的内部的温度高的情况下，能够以空调装置工作，并使冷气向车辆的内部供给的方式进行控制。

窗驱动部758可对车辆200的悬架装置(windowapparatus)执行电子式控制。例如，可控制对车辆的侧面的左右窗的开放或封闭。

气囊驱动部759可对车辆200的悬架装置(airbagapparatus)执行电子式控制。例如，当遇到危险时，能够以使气囊弹出的方式进行控制。

传感部760取得与车辆100行驶等相关的信号。为此，传感部760可具有航向传感器、偏航传感器、陀螺传感器、定位模块、车辆前进/后退传感器、车轮传感器、车辆速度传感器、自身倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的方向盘传感器、车辆内部温度传感器及车辆内部湿度传感器等。

由此，传感部760可获得对车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息及车辆内部湿度信息的取得信号。

另一方面，除此之外，传感部760还可包括加速踏板传感器、压力传感器、引擎转速传感器(enginespeedsensor)、空气流量传感器(AFS)、吸气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(TPS)、上止点(TDC)传感器及曲轴角度传感器(CAS)等。

电子控制单元770可控制电子控制装置700的各单元的整个动作。

可借助基于输入部710的输入来执行特定工作，或者接收传感器760所取得的信号来向车辆驾驶辅助装置100传输，可从音视频导航装置400接收图像信息，并能控制各种驱动部751、752、753、754、756的动作。

并且，电子控制单元770可从通信部720接收天气信息、道路交通情况信息，例如，传输协议专家组信息。

显示部780可显示与车辆驾驶辅助装置的动作相关的图像。为了显示这种图像，显示部780可包括车辆的内部前表面的辅音群或平视显示器。另一方面，在显示部780为平时显示器的情况下，可包括向车辆200的前表面玻璃投射图像的投射模块。另一方面，显示部780可包括能够用于输入的触摸屏。

音频输出部785将从电子控制单元770接收的电信号变换为音频信号来输出。为此，可具有扬声器等。音频输出部785可输出与输入部710，即，按钮的工作相对应的声音。

供电部790可借助电子控制单元770的控制来提供各结构要素的工作所需的电源。尤其，供电部790可从车辆的电池等接收电源。

另一方面，如在图2等中所述，对于用于拍摄车辆前方图像的立体摄像头195的内部结构，也将参照图8a以下进行记述。

图8a至图8b例示图2的立体摄像头的内部框图。

首先，参照图8a，立体摄像头195可具有第一摄像头195a、第二摄像头195b及图像处理器830。

另一方面，车辆驾驶辅助装置100(图3)可具有独立于图8a的图像处理器830的如图所示的处理器170。

第一摄像头195a可具有第一镜头193a和第一图像传感器820，第二摄像头195b可具有第二镜头193b和第二图像传感器825。

第一镜头193a和第二镜头193b可大致以200mm～400mm的间距分隔。

根据本发明的实施例，第一图像传感器820可取得与至少一个曝光时间相对应的图像。并且，第二图像传感器825可取得与多个曝光时间相对应的图像。

另一方面，图像处理器830可基于由第一图像传感器及第二图像传感器820、825取得的图像来生成视差图及RGB图像。此时，所生成的RGB图像可以是基于高动态范围(Highdynamicrange)图像的RGB图像。

尤其，根据本发明的实施例，优选地，由第一图像传感器820取得的图像的曝光时间与由第二图像传感器825取得的图像的曝光时间互不相同。

图像处理器830可基于由第一图像传感器及第二图像传感器820、825取得的、与互不相同的曝光时间相对应的图像，来生成视差图及RGB图像。

具体而言，当取得RGB图像时，图像处理器830基于由第一图像传感器及第二图像传感器820、825取得的、与互不相同的曝光时间相对应的图像，来生成RGB图像；当取得视差图时，图像处理器830对与互不相同的曝光时间相对应的图像执行信号处理，以具有相同的曝光时间，并基于具有相同的曝光时间的图像，来生成视差图。

由此，图像处理器830可取得感光度损失和生成物减少的视差图及RGB图像。

另一方面，作为以使具有相同的曝光时间的方式进行信号处理的例，图像处理器830可生成将由第一图像传感器820取得的图像相结合而成的第一结合图像，可生成将由第二图像传感器825取得的图像相结合而成的第二结合图像。并且，可基于所生成的第一结合图像及第二结合图像，来生成视差图。

另一方面，第一图像传感器及第二图像传感器825可基于电信号来调节曝光时间。

例如，在第一帧区间内，由第一图像传感器820输出具有与第一帧区间相对应的曝光时间的第一图像，在第一帧区间内，可由第二图像传感器825输出具有相当于第一帧区间的一部分的曝光时间的第二图像和具有相当于第二帧区间的另一部分的曝光时间的第三图像。

尤其，第二图像传感器825可借助电信号的开闭，来输出具有互不相同的曝光时间的第二图像和第三图像。

另一方面，图像处理器830可执行对第一图像传感器及第二图像传感器820、825的曝光时间的设定，并可进行控制，使得第一图像传感器及第二图像传感器825根据所设定的曝光时间来运行。

另一方面，立体摄像头195还可具有第一光圈194a(图9a)，用于开闭向第一镜头193a入射的光；第二光圈194b(图9a)，用于开闭向第二镜头193b入射的光，以对第一图像传感器及第二图像传感器820、825进行曝光时间的调节。并且，可随着第一光圈及第二光圈194a、194b(图9a)的开闭，来取得具有互不相同的曝光时间的图像。对此，将参照图9a在后面进行记述。

另一方面，图像处理器830可进行控制，使得在多个帧期间的第一帧期间由第一图像传感器及第二图像传感器820、825取得的图像的曝光时间互不相同，并且在第二帧期间由第一图像传感器及第二图像传感器820、825取得的图像的曝光时间互不相同。即，图像处理器830能够以按帧为单位使第一图像传感器及第二图像传感器820、825的曝光时间发生变化的方式进行控制。

例如，图像处理器830可基于由第一图像传感器及第二图像传感器820、825取得的曝光时间互不相同的图像来取得RGB图像，在第二帧期间可基于由第一图像传感器及第二图像传感器820、825取得的曝光时间相同的图像来生成视差图。对此，将在说明图16～图17时进行详述。

另一方面，若进入隧道，则图像处理器830可进行控制，使得第一图像传感器及第二图像传感器820、825中的至少一个图像传感器的曝光时间增加；若离开隧道，则图像处理器830可进行控制，使得第一图像传感器及第二图像传感器820、825中的至少一个图像传感器的曝光时间减少。对此，将在说明图18a～图18c时进行详述。

另一方面，车辆驾驶辅助装置100(图3)的处理器170可接收由立体摄像头195的图像处理器830生成的视差图及RGB图像并执行与此相关的信号处理。

例如，处理器170可基于视差图及RGB图像来执行对RGB图像的对象检测，在完成对象检测之后，继续跟踪对象的动向。并且，可执行对周边车辆的距离计算、所检测的周边车辆的速度计算、与所检测的周边车辆的速度差异计算等。

或者，处理器170可基于所计算的周边车辆的速度、与周边车辆的距离等，来生成并输出用于控制的车辆200的姿势或行驶的控制信号。例如，处理器170可生成用于控制车辆的转向驱动部752、制动器驱动部753、动力源驱动部754、悬架驱动部756中的至少一种的控制信号。

另一方面，不同于上述内容，图像处理器830除了可生成视差图及RGB图像之外，还可以进一步地，基于视差图及RGB图像来执行对车辆前方的RGB图像的对象检测，在完成对象检测之后，继续跟踪对象动向。并且，上述图像处理器830可执行对周边车辆的距离计算、所检测的周边车辆的速度计算、与所检测的周边车辆的速度差异计算等。

此时，处理器170从图像处理器830接收对周边车辆的距离信息、所检测的周边车辆的距离信息、所检测的周边车辆的速度信息、与所检测的周边车辆的速度差异信息，并基于上述信息来生成用于控制车辆的转向驱动部752、制动器驱动部753、动力源驱动部754、悬架驱动部756中的至少一种的控制信号。

另一方面，不同于上述内容，图像处理器830可以生成视差图及RGB图像、检测对象、跟踪对象的定向、进行对周边车辆的距离计算、所检测的周边车辆的速度计算、与所检测的周边车辆的速度差异计算，以及生成用于控制车辆的转向驱动部752、制动器驱动部753、动力源驱动部754、悬架驱动部756中的至少一种的控制信号。

即，如图8b所示，立体摄像头195可具有第一摄像头195a、第二摄像头195b及图像处理器830，此时的车辆驾驶辅助装置100(图3)可不另行具有如图8a所示的处理器170。即，立体摄像头195的图像处理器830可执行上述处理器170的全部功能。

此时的图8b的立体摄像头195可以是与上述的车辆驾驶辅助装置100(图3)相同的概念。

图9a～图9d及图10为图8a或图8b的立体摄像头的工作说明所参照的图。

首先，图9a为立体摄像头900a的第一摄像头195a和第二摄像头195b的剖视图的一例。

第一摄像头195a可具有第一光圈194a、第一镜头820a、第一图像传感器820a，第二摄像头195b可具有第二光圈194b、第二镜头820b、第二图像传感器820b。

第一光圈194a可开闭向第一镜头820a入射的光，第二光圈194b可开闭向第二镜头820b入射的光。

第一图像传感器820a可具有RGB过滤器910a以及用于将光信号转换为电信号的传感器阵列911a，以取得RGB颜色。

第二图像传感器825a可具有RGB过滤器915a以及用于将光信号转换为电信号的传感器阵列911b，以取得RGB颜色。

由此，第一图像传感器820a和第二图像传感器815a可分别取得并输出RGB图像。

图9b例示图9a的第一传感器阵列911a的简要电路图。

参照附图，第一传感器阵列911a可具有像素电路部1010、行译码器1013、列译码器1016。

像素电路部1010内的每个像素可具有用于检测光的光电二极管和用于向列和行传输由光电二极管所检测的信号的电路元件。并且，由各像素所取得的电信号可通过行译码器1013和列译码器1016向外部输出。

图9c用于说明基于由第一图像传感器820a和第二图像传感器825a分别取得的第一图像920a和第二图像925a的图像处理器830的动作的参照图。

由第一图像传感器820a取得的第一图像920a可以是基于RGB颜色的图像，由第二图像传感器825a取得的第二图像925a可以是基于RGB颜色的图像。

另一方面，根据本发明的实施例，第一图像传感器820可取得与至少一个曝光时间相对应的图像，第二图像传感器825可取得与多个曝光时间相对应的图像。

图像处理器830可基于由第一图像传感器及第二图像传感器820、825取得的图像来生成视差图940及RGB图像950。此时，所生成的RGB图像950可以是基于高动态范围(Highdynamicrange)图像的RGB图像。

尤其，根据本发明的实施例，优选地，由第一图像传感器820取得的图像的曝光时间与由第二图像传感器825取得的图像的曝光时间互不相同。

图像处理器830可基于由第一图像传感器及第二图像传感器820、825取得的、与互不相同的曝光时间相对应的图像，来生成视差图940及RGB图像950。

由此，图像处理器830可取得感光度损失和生成物减少的视差图940及RGB图像950。

另一方面，图9d例示图像处理器的内部框图的一例。

上述的图像处理器830可另行具有生成视差图940的立体图像生成部832及生成RGB图像950的高动态范围图像生成部834。

具体而言，立体图像生成部832可求出由第一图像传感器及第二图像传感器820、825取得的图像920a、925a之间的视差(disparity)，并生成基于视差的视差图。尤其，可生成具有图像920a、925a之间的亮度成分的视差的、基于亮度成分的视差的视差图。

尤其，对于具有互不相同的曝光时间的图像，以使得具有相同的曝光时间的方式执行信号处理之后，基于具有相同的曝光时间的图像，来生成视差图。

即，立体图像生成部832可生成由第一图像传感器820取得图像相结合而成的第一结合图像，由第二图像传感器825取得图像相结合而成的第二结合图像。并且，基于所生成的第一结合图像及第二结合图像，可生成视差图(disparitymap)。此时的第一结合图像和第二结合图像可以是与相同的第一帧区间相对应的图像。

高动态范围图像生成部834可基于具有互不相同的曝光时间的图像来生成基于RGB的图像。具体而言，在与各曝光时间相对应的图像中，提取部分区域，并组合所提取的部分区域，来生成新的RGB图像。尤其，提取与各曝光时间相对应的亮度区域，组合所提取的亮度区域，来生成新的RGB图像。由此，可生成基于高动态范围(Highdynamicrange)图像的RGB图像。即，可取得实现反差和动态范围的高动态范围图像。

另一方面，图10例示了由第一图像传感器195a取得第一图像1010，由第二图像传感器195b取得第二图像1012。尤其，例示了第一图像的曝光时间为TEXk，第二图像的曝光时间为远远小于TEXk的TEXl。

由此，由于曝光时间差异大，在第一图像1010和第二图像1012中的至少一个中，将发生饱和(saturation)或因过暗导致未能正常拍摄的部分。因此，当生成基于亮度的视差图时，品质将严重低下。

在本发明中，为了解决这种存在问题，使用如图11a～图18c所示的方法。

图11a～图18c为图8a或图8b的图像处理器的工作说明所参照的图。

首先，图11a例示了在第一帧区间Tex内由第一图像传感器820取得的图像1110和由第二图像传感器825取得的图像1111、1113。

参照附图，图像1110的曝光时间Tex1、图像1111的曝光时间Tex2、图像1113的曝光时间Tex3均不同。例如，图像1111的曝光时间Tex2可以是0.4Tex1，图像1113的曝光时间Tex3可以是0.6Tex1。

接着，图11b例示了基于图11a的图像来生成视差图1311。

图像处理器830能够结合以第一帧区间Tex为基准由第二图像传感器825的取得的图像1111、1113。由此，可生成第二结合图像1212。

另一方面，图像处理器830可将图像1110生成为第一结合图像1211。另一方面，第一结合图像1211和第二结合图像1212具有几乎类似的曝光时间，因此，可以是相似亮度的RGB视频。

并且，图像处理器830可利用所生成的第一结合图像及第二结合图像1211、1212，来生成感光度损失和生成物减少的视差图1311。

另一方面，所生成的视差图1311可参照于RGB图像1220的生成。

接着，图11c例示了基于图11a的图像来生成RGB图像1220。

图像处理器830可从具有互不相同的曝光时间的图像1110、1111、1113来生成基于高动态范围的RGB图像。

具体而言，在曝光时间最长的图像1110中，亮的区域为主，因此，暗的区域会变得模糊，而在曝光时间最短的图像1111中，暗的区域为主，因此，亮的区域会变得模糊。

图像处理器830可从曝光时间最长的图像1110中提取亮的区域，从曝光时间最短的图像1111中提取暗的区域，从曝光时间适当的图像1113中提取中间区域，利用所提取的亮的区域、暗的区域、中间区域，来生成基于高动态范围的鲜明的RGB图像。

接着，图12a～图12c与图11a～图11c类似，例示了基于第一帧区间内的由第一图像传感器820取得的一个图像1110和由第二图像传感器825取得的、与互不相同的曝光时间相对应的三个图像1121、1123、1125来生成视差图及RGB图像。

首先，图12a例示了在第一帧区间Tex内由第一图像传感器820取得的图像1110和由第二图像传感器825取得的图像1121、1123、1125。

参照附图，图像1110的曝光时间Tex1、图像1121的曝光时间Tex4、图像1123的曝光时间Tex5、图像1125的曝光时间Tex6均不同。例如，图像1121的曝光时间Tex4可以是0.2Tex1，图像1123的曝光时间Tex5可以是0.3Tex1，图像1125的曝光时间Tex6可以是0.5Tex1。

接着，图12b例示了基于图12a的图像来生成视差图1313。

图像处理器830能够结合以第一帧区间Tex为基准由第二图像传感器825取得的图像1121、1123、1125。由此，可生成第二结合图像1214。

另一方面，图像处理器830可将图像1110生成为第一结合图像1213。另一方面，第一结合图像1213和第二结合图像1214具有几乎类似的曝光时间，因此，可以是相似亮度的RGB视频。

并且，图像处理器830可利用所生成的第一结合图像及第二结合图像1213、1214，来生成感光度损失和生成物减少的视差图1313。

接着，图12c例示了基于图12a的图像来生成RGB图像1230。

图像处理器830可从具有互不相同的曝光时间的图像1110、1211、1213、1215来生成基于高动态范围的RGB图像。

图像处理器830可从曝光时间最长的图像1110中提取亮的区域，从曝光时间最短的图像1121中提取暗的区域。基于这种方法，可生成基于高动态范围的鲜明的RGB图像。

接着，图13a～图13c与图11a～图11c类似，例示了基于第一帧区间内的由第一图像传感器820取得的一个图像1110和由第二图像传感器825取得的、与互不相同的曝光时间相对应的两个图像1131、1133来生成视差图及RGB图像。

尤其，图13a例示了在第一帧区间Tex内由第一图像传感器820取得的图像1110和由第二图像传感器825取得的图像1131、1133。

参照附图，图像1110的曝光时间Tex1、图像1131的曝光时间Tex7、图像1133的曝光时间Tex8均不同。例如，图像1131的曝光时间Tex4可以是0.7Tex1，图像1133的曝光时间Tex5可以是0.3Tex1。

图像处理器830可基于这种图像1110、1131、1133来生成视差图1315及RGB图像1240，如图13b及图13c所示。尤其，当生成视差图1315时，可生成第一结合图像1215和第二结合图像1216。

接着，图14a～图14c不同于图11a～图13c，例示了第一图像传感器820在第一帧区间内取得多个图像。

首先，图14a例示了在第一帧区间Tex内由第一图像传感器820取得的图像1141、1143和由第二图像传感器825取得的图像1147、1149。

参照附图，图像1141的曝光时间Texa、图像1143的曝光时间Texb、图像1147的曝光时间Texc、图像1149的曝光时间Texd均不同。

例如，图像1141的曝光时间Texa可以是0.1Tex1，图像1143的曝光时间Tex3可以是0.9Tex1，图像1147的曝光时间Texc可以是0.8Tex1，图像1149的曝光时间Texd可以是0.2Tex1。

接着，图14b例示了基于图14a的图像来生成视差图1317。

图像处理器830能够结合以第一帧区间Tex为基准的由第一图像传感器820取得的图像1111、1113，由第二图像传感器825取得的图像1111、1113。

由此，图像处理器830可生成第一结合图像1217和第二结合图像1218。另一方面，第一结合图像1217和第二结合图像1218具有几乎类似的曝光时间，因此，可以是相似亮度的RGB视频。

并且，图像处理器830可利用所生成的第一结合图像及第二结合图像1217、1218来生成感光度损失和生成物减少的视差图1317。

接着，图14c例示了基于图14a的图像来生成RGB图像1250。

图像处理器830可基于具有互不相同的曝光时间的图像1141、1143、1147、1149来生成基于高动态范围的RGB图像。即，可取得实现反差和动态范围的高动态范围图像。

图像处理器830可从曝光时间最长的图像1143中提取亮的区域，从曝光时间最短的图像1141中提取暗的区域，从曝光时间适中的图像1147、1149提取中间区域，并利用所提取的亮的区域、暗的区域、中间区域，来生成基于高动态范围的鲜明的RGB图像1250。

另一方面，如上所述，图8a的处理器170或图8b的图像处理器830可基于视差图及RGB图像来执行对象检测。

尤其，图8a的处理器170或图8b的图像处理器830在进行对象检测时，可执行车道检测(LaneDetection，LD)、周边车辆检测(VehicleDetection，VD)、行人检测(PedestrianDetection，PD)、灯光检测(BrightspotDetection，BD)、交通标志牌检测(TrafficSignRecognition，TSR)、道路面检测等。

另一方面，图8a的处理器170或图8b的图像处理器830可根据所检测的对象的类型，分别对第一图像传感器及第二图像传感器820、825进行曝光时间的调节。

具体而言，在周边车辆(Vehicle)、行人(Pedestrian)、车道(Lane)中的至少一个被检测的情况下，图8a的处理器170或图8b的图像处理器830可进行控制，以将第一图像传感器及第二图像传感器820、825中的至少一个图像传感器的曝光时间设为第一曝光时间。

在灯光(Brightspot)被检测的情况下，图8a的处理器170或图8b的图像处理器830可进行控制，以将第一图像传感器及第二图像传感器820、825中的至少一个图像传感器的曝光时间设为短于第一曝光时间的第二曝光时间。

在标志牌(TrafficSign)被检测的情况下，图8a的处理器170或图8b的图像处理器830可进行控制，以将第一图像传感器及第二图像传感器820、825中的至少一个图像传感器的曝光时间设为短于上述第二曝光时间的第三曝光时间。

曝光时间越短，所拍摄的图像中不易产生模糊部分(blur)，在亮的区域中也不易饱和，但是，对于所拍摄的图像中的噪音的抵抗性弱，在暗的区域中，也很难检测出边缘成分。

另一方面，曝光时间越长，对于所拍摄的图像中的噪音的抵抗性强，并且在暗的区域中可以检测边缘成分，但是，对于移动的对象，产生模糊部分(blur)，并且在亮的区域中会变饱和(saturation)。

利用这种曝光时间的特性，可根据所检测的对象的类型来设定曝光时间。

图15为用于说明各对象的曝光时间设定的参照图。

图15的(a)部分例示根据第一曝光时间Texg1所取得的图像1510，图15的(b)部分例示根据第二曝光时间Texg2所取得的图像1520，图15的(c)部分例示根据第三曝光时间Texg3所取得的图像1530。

具体而言，当检测对象时，图8a的处理器170或图8b的图像处理器830可对前方的远距离进行检测，对于移动模糊部分相对较少的周边车辆(Vehicle)、行人(Pedestrian)、车道(Lane)，可设定曝光时间最长的第一曝光时间Texg1。尤其，将第一图像传感器及第二图像传感器820、825中的至少一个图像传感器的曝光时间设为第一曝光时间Texg1。由此，可应对低照度。

另一方面，当检测对象时，图8a的处理器170或图8b的图像处理器830只能对前方的近距离进行检测，对于移动模糊部分相对较多的交通标志牌(TrafficSign)，可设定曝光时间最短的第三曝光时间Texg3。尤其，可将第一图像传感器及第二图像传感器820、825中的至少一个图像传感器的曝光时间设为第三曝光时间Texg3。由此，可最小化因移动模糊部分导致的图像劣化。

另一方面，当夜间行驶过程中检测对象时，对于相当于暗的区域中的亮的部分的灯光(Brightspot)，图8a的处理器170或图8b的图像处理器830可设定曝光时间介于第一曝光时间和第二曝光时间中间的第二曝光时间Texg2，以避免亮的部分变得饱和(saturation)。尤其，可将第一图像传感器及第二图像传感器820、825中的至少一个图像传感器的曝光时间设为第二曝光时间Texg2。由此，避免对所检测的灯光(Brightspot)产生饱和(saturation)。

图8a的处理器170或图8b的图像处理器830可按照设定的曝光时间来取得视差图及RGB图像之后，基于视差图及RGB图像来执行对象检测。借此，由于按各对象设定了适当的曝光时间，因此，可容易地执行对象检测。

图16～图17例示了以帧为单位第一图像传感器及第二图像传感器820、825的曝光时间发生变化。

首先，图16的(a)部分例示了在第一帧区间FR1内由第一图像传感器820取得的图像1610和由第二图像传感器825取得的图像1615的曝光时间均为Texf1。

并且，图16的(b)部分例示了在第二帧区间FR2内由第一图像传感器820取得的图像1620和由第二图像传感器825取得的图像1625的曝光时间为短于第一帧区间FR1内的曝光时间Texf1的Texf2。

图像处理器830可基于由第一图像传感器及第二图像传感器820、825取得的、曝光时间互不相同的图像来取得RGB图像，还可基于在第二帧期间由第一图像传感器及第二图像传感器820、825取得的、曝光时间相同的图像来生成视差图。

如图所示，图像处理器830可利用在第一帧区间FR1内由第一图像传感器820取得的图像1610和由第一图像传感器820取得的图像1620来生成鲜明的RGB图像1650。

或者，不同于图示，图像处理器830还可利用在第一帧区间FR1内由第二图像传感器825取得的图像1615和由第二图像传感器825取得的图像1625来生成鲜明的RGB图像。

并且，图像处理器830可利用在第一帧区间FR1内取得的图像1610和图像1615来生成视差图1617。或者，图像处理器830可利用在第二帧区间FR2内取得的图像1620和图像1625来生成视差图1627。

另一方面，可在第一帧区间FR1内取得具有多个曝光时间的图像，在第二帧区间FR2内取得具有一个曝光时间的图像。

图17的(a)部分示出了在第一帧区间FR1内由第一图像传感器820取得的图像1141、1143和由第二图像传感器825取得的图像1147、1149。参照附图，图像1141、1143、1147、1149的曝光时间各不相同。

例如，图像1141的曝光时间可以是0.1Tex1，图像1143的曝光时间可以是0.9Tex1，图像1147的曝光时间可以是0.8Tex1，图像1149的曝光时间可以是0.2Tex1。

另一方面，图17的(b)部分能够与图16的(b)部分相同。

在这种情况下，图像处理器830可分别基于在第一帧区间FR1内取得的互不相同的曝光时间的图像1141、1143、1147、1149来生成鲜明的RGB图像1250。

并且，图像处理器830可利用在第二帧区间FR2内取得的、具有相同的曝光时间的图像1620、1625来生成视差图1627。

另一方面，若进入隧道，则图像处理器830可进行控制，使得第一图像传感器及第二图像传感器820、825中的至少一个图像传感器的曝光时间增加；若离开隧道，则图像处理器830可进行控制，使得第一图像传感器及第二图像传感器820、825中的至少一个图像传感器的曝光时间减少。

图18a例示了车辆200进入隧道1100和车辆200离开隧道1100的情况。

车辆200在白天行驶的情况下，相比于道路的其他部分，隧道1100的入口1150变暗，隧道1100的出口1955比隧道的内部亮。

因此，当车辆200在白天进入隧道时，为了取得更加鲜明的图像，图像处理器830可进行控制，使得第一图像传感器及第二图像传感器820、825中的至少一个图像传感器的曝光时间增加，而车辆200在白天离开隧道时，图像处理器830可进行控制，使得第一图像传感器及第二图像传感器820、825中的至少一个图像传感器的曝光时间减少。

图18b示出了由第一图像传感器820取得具有Texm的曝光时间的图像1910和由第二图像传感器825取得具有Texo的曝光时间的图像1912、具有Texp的曝光时间的图像1913，随着车辆进入隧道，第一图像传感器820的曝光时间增加，进而取得具有大于曝光时间Texm的曝光时间Texn的图像1911。在这里，优选地，Texm、Texo、Texp为互不相同的曝光时间。

另一方面，曝光时间的可变能够在除第一图像传感器820之外的第二图像传感器825中执行。

图18c例示了图18b的逆序，由第一图像传感器820取得具有Texn的曝光时间的图像1911，随着车辆离开隧道，第一图像传感器820的曝光时间减少，进而取得具有小于曝光时间Texn的曝光时间Texm的图像1910。

另一方面，如图18b或图18c所示，图像处理器830可利用曝光时间可变的图像，来生成鲜明的RGB图像和视差图，如山所述。

另一方面，车辆在夜间行驶的情况下，当进入隧道时，如图18c所示，曝光时间减少，当离开隧道时，如图18b所示，曝光时间增加。

另一方面，本发明的车辆驾驶辅助装置或车辆的工作方法能够在设置于车辆驾驶辅助装置或车辆的处理器能够读取的记录介质中，以处理器可读的代码体现。处理器可读取的记录介质包括存储有可被处理器读取的数据的所有种类的记录装置。作为处理器可读的记录介质的例，具有ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等，并且，也包括如通过网络传输等以载波形态体现的。并且，处理器可读取的记录介质分散于利用网络来连接的电脑系统，能够以分散方式存储处理器可读取的代码并执行。

并且，以上虽然对本发明的优选实施例进行了示出和说明，但本发明并不局限于上述的特定实施例，能够在不脱离发明要求保护范围的本发明要旨的情况下，可由本发明所属技术领域的普通技术人员进行多种变形，而这种变形实施不应从本发明的技术思想或前景中单独理解。

Claims (20)

1.一种立体摄像头，其特征在于，包括：

第一图像传感器，用于取得与至少一个曝光时间相对应的图像；

第二图像传感器，用于取得与多个曝光时间相对应的多个图像；以及

处理器，基于由上述第一图像传感器和第二图像传感器取得的图像来生成视差图及RGB图像。

2.根据权利要求1所述的立体摄像头，其特征在于，

上述第一图像传感器用于取得与多个曝光时间相对应的多个图像，

由上述第一图像传感器和第二图像传感器取得的图像的曝光时间互不相同。

3.根据权利要求1所述的立体摄像头，其特征在于，上述处理器基于由上述第一图像传感器和第二图像传感器取得的、曝光时间互不相同的多个图像来取得RGB图像。

4.根据权利要求1所述的立体摄像头，其特征在于，上述处理器以使由上述第一图像传感器取得的图像和由上述第二图像传感器取得的多个图像具有相同的曝光时间的方式进行信号处理，并基于具有相同的曝光时间的多个上述图像来生成上述视差图。

5.根据权利要求4所述的立体摄像头，其特征在于，上述处理器生成将由上述第一图像传感器取得的图像相结合而成的第一结合图像，生成将由上述第二图像传感器取得的多个图像相结合而成的第二结合图像，并基于上述第一图像和第二结合图像来生成上述视差图。

6.根据权利要求1所述的立体摄像头，其特征在于，上述处理器进行控制，使得在多个帧期间的第一帧期间由上述第一图像传感器和第二图像传感器取得的图像的曝光时间互不相同，并且在第二帧期间由上述第一图像传感器和第二图像传感器取得的图像的曝光时间互不相同。

7.根据权利要求6所述的立体摄像头，其特征在于，

上述处理器在上述第一帧期间基于由上述第一图像传感器和第二图像传感器取得的、曝光时间互不相同的图像来取得RGB图像；

上述处理器在上述第二帧期间基于由上述第一图像传感器和第二图像传感器取得的、曝光时间相同的图像来生成上述视差图。

8.根据权利要求1所述的立体摄像头，其特征在于，

还包括：

第一镜头，配置在上述第一图像传感器的前方，

第一光圈，用于开闭向上述第一镜头入射的光，

第二镜头，配置在上述第二图像传感器的前方，

第二光圈，用于开闭向上述第二镜头入射的光；

上述第一图像传感器和第二图像传感器基于上述第一光圈及第二光圈的动作来取得曝光时间互不相同的图像。

9.根据权利要求1所述的立体摄像头，其特征在于，上述处理器基于上述视差图及上述RGB图像来生成用于控制车辆的转向驱动部、制动器驱动部、动力源驱动部、悬架驱动部中的至少一种的控制信息。

10.根据权利要求1所述的立体摄像头，其特征在于，上述处理器基于上述视差图及上述RGB图像来检测周边车辆、行人、车道、灯光、交通标志牌中的至少一种。

11.根据权利要求10所述的立体摄像头，其特征在于，

若检测到上述周边车辆、行人、车道中的至少一种，则上述处理器进行控制，以将上述第一图像传感器和第二图像传感器中的至少一个图像传感器的曝光时间设为第一曝光时间；

若检测到上述灯光，则上述处理器进行控制，以将上述第一图像传感器和第二图像传感器中的至少一个图像传感器的曝光时间设为比第一曝光时间短的第二曝光时间；

若检测到上述标志牌，则上述处理器进行控制，以将上述第一图像传感器和第二图像传感器中的至少一个图像传感器的曝光时间设为比第二曝光时间短的第三曝光时间。

12.根据权利要求1所述的立体摄像头，其特征在于，

若进入隧道，则上述处理器进行控制，使得上述第一图像传感器及第二图像传感器中的至少一个图像传感器的曝光时间增加；

若离开隧道，则上述处理器进行控制，使得上述第一图像传感器及第二图像传感器中的至少一个图像传感器的曝光时间减少。

13.一种车辆，其特征在于，包括：

传感部，用于取得车辆状态；

转向驱动部，用于驱动转向装置；

制动器驱动部，用于驱动制动装置；

动力源驱动部，用于驱动动力源；

悬架驱动部，用于驱动悬挂装置；

第一图像传感器，用于取得与至少一个曝光时间相对应的图像；

第二图像传感器，用于取得与多个曝光时间相对应的图像；

处理器，基于上述第一图像传感器及第二图像传感器来生成视差图及RGB图像；以及

控制部，基于上述视差图及上述RGB图像来生成用于控制车辆的转向驱动部、制动器驱动部、动力源驱动部、悬架驱动部中的至少一种的控制信号。

14.根据权利要求13所述的车辆，其特征在于，

上述第一图像传感器取得与多个曝光时间相对应的图像；

由上述第一图像传感器及第二图像传感器取得的图像的曝光时间互不相同。

15.根据权利要求13所述的车辆，其特征在于，

上述处理器基于由上述第一图像传感器及第二图像传感器取得的、曝光时间互不相同的图像来取得RGB图像；

上述处理器以能够使由上述第一图像传感器取得的图像和由上述第二图像传感器取得的图像具有相同的曝光时间的方式进行信号处理，并基于具有相同的曝光时间的上述图像来生成上述视差图。

16.根据权利要求15所述的车辆，其特征在于，上述处理器生成将由上述第一图像传感器取得的图像相结合而成的第一结合图像，生成将由上述第二图像传感器取得的图像相结合而成的第二结合图像，并基于上述第一图像和第二结合图像来生成上述视差图。

17.根据权利要求13所述的车辆，其特征在于，上述处理器进行控制，使得在多个帧期间的第一帧期间由上述第一图像传感器和第二图像传感器取得的图像的曝光时间互不相同，并且在第二帧期间由上述第一图像传感器和第二图像传感器取得的图像的曝光时间互不相同。

18.根据权利要求17所述的车辆，其特征在于，

上述处理器在上述第一帧期间基于由上述第一图像传感器和第二图像传感器取得的、曝光时间互不相同的图像来取得RGB图像；

上述处理器在上述第二帧期间基于由上述第一图像传感器和第二图像传感器取得的、曝光时间相同的图像来生成上述视差图。

19.根据权利要求13所述的车辆，其特征在于，

若检测到上述周边车辆、行人、车道中的至少一种，则上述处理器进行控制，以将上述第一图像传感器和第二图像传感器中的至少一个图像传感器的曝光时间设为第一曝光时间；

若检测到上述灯光，则上述处理器进行控制，以将上述第一图像传感器和第二图像传感器中的至少一个图像传感器的曝光时间设为比第一曝光时间短的第二曝光时间；

若检测到上述标志牌，则上述处理器进行控制，以将上述第一图像传感器和第二图像传感器中的至少一个图像传感器的曝光时间设为比第二曝光时间短的第三曝光时间。

20.根据权利要求13所述的车辆，其特征在于，

若进入隧道，则上述处理器进行控制，使得上述第一图像传感器及第二图像传感器中的至少一个图像传感器的曝光时间增加；

若离开隧道，则上述处理器进行控制，使得上述第一图像传感器及第二图像传感器中的至少一个图像传感器的曝光时间减少。