CN1607818A - 图像处理装置、驾驶支援装置和驾驶支援系统 - Google Patents

图像处理装置、驾驶支援装置和驾驶支援系统 Download PDF

Info

Publication number
CN1607818A
CN1607818A CNA2004100850731A CN200410085073A CN1607818A CN 1607818 A CN1607818 A CN 1607818A CN A2004100850731 A CNA2004100850731 A CN A2004100850731A CN 200410085073 A CN200410085073 A CN 200410085073A CN 1607818 A CN1607818 A CN 1607818A
Authority
CN
China
Prior art keywords
exposure value
image
during
processing apparatus
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004100850731A
Other languages
English (en)
Other versions
CN100391237C (zh
Inventor
本田加奈子
岛伸和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN1607818A publication Critical patent/CN1607818A/zh
Application granted granted Critical
Publication of CN100391237C publication Critical patent/CN100391237C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供一种图像处理装置，具有摄像机(11)、识别来自摄像机的图像浓度的图像识别单元(12)、和根据图像识别单元的识别结果控制曝光值的曝光值控制单元(13)，曝光值控制单元(13)，在根据自动控制曝光值的通常曝光值的摄像中，插入用最大曝光值和最小曝光值进行摄像的期间，图像识别单元(12)，根据该识别结果，判断为摄像机(11)发生异常或环境处于不适合摄像的状态。这样，能够在短时间中判断拍摄到不能够进行图像处理的图像的原因是摄像机发生异常还是环境处于不适合摄像的状态。

Description

图像处理装置、驾驶支援装置和驾驶支援系统
技术领域
本发明涉及图像处理装置、驾驶支援装置和驾驶支援系统，特别是涉及能够在短时间中判断拍摄到不能够进行图像处理的图像的原因是否是摄像部件发生异常或环境处于不适合摄像的状态的图像处理装置，利用该图像处理装置的驾驶支援装置和驾驶支援系统。
背景技术
近年来，正在开发拍摄与车辆行驶有关的各种信息，防止车辆事故、对车辆行驶和停车给予帮助的技术。通过在车辆中安装摄像机等的摄像装置取得与车辆行驶有关的各种信息，通过计算、加工处理由该摄像机等拍摄的图像，得到用于防止车辆事故的信息。当将摄像机安装在汽车等的车辆中时，因为摄像机受到阳光的影响，所以光源的状况经常在变化。因此，发生摄像机的快门速度和光圈等的控制跟不上光源状况变化的情形。又，存在着在快门速度和光圈等的控制范围内产生不能对应的发白和发黑的情形。
当这种摄像机的控制跟不上光源状况变化时和当在摄像机的控制范围内产生不能对应的发白和发黑时，因为不能够对拍摄到的图像信号进行处理，所以需要判断“由摄像机得到的图像是在异常状态中拍摄到的图像不能够进行图像处理”。在即便当在异常状态中拍摄图像时摄像机也没有发生故障的情形中，经过给定时间后就能够拍摄正常状态的图像，但是当摄像机发生故障时等，即便经过给定时间也不能够拍摄正常状态的图像。因此，当拍摄了发白和发黑的图像时需要判断摄像机是否发生故障。
又，因为车辆高速行驶，或转换方向，所以摄像机的光源也在高速变化。因此，既需要高速进行由摄像机拍摄的图像的信息处理，也需要对于在上述异常状态中拍摄的图像，快速地判断该异常状态是与暂时的环境变化有关还是与摄像机自身的故障有关，并通知车辆的驾驶员。
在专利文献1中记载的摄像机用的曝光控制装置中，设置当输入的被拍摄物体图像的亮度信号在预先设定的削波电平以上时，使被拍摄物体图像的亮度信号成为同一亮度信号的高亮度削波电路。高亮度削波电路，在为了在逆光场景中得到适当的测光信息的低削波电平和为了在逆光场景以外的摄影场景中得到适当的测光信息的高削波电平之间变更削波电平。而且，根据来自通过高亮度削波电路的亮度信息的测光信息对可变光阑进行控制。又，当在低削波电平和高削波电平之间变更削波电平时，徐徐地或延迟给定时间地变更削波电平。
但是，如果根据上述已有技术，则通过使预先设定的削波电平以上的亮度信号成为同一亮度信号能够得到在逆光场景中的适当的测光信息，但是存在着不能够判断预先设定的削波电平以上的亮度信号是与暂时的环境变化有关还是与摄像机自身的故障有关那样的问题。
专利文献：日本特开平5-122600号专利公报。
发明内容
本发明就是鉴于上述问题提出的，本发明的目的是得到能够在短时间中判断拍摄到不能够进行图像处理的图像的原因是否是摄像机发生异常或环境处于不适合摄像的状态的图像处理装置，利用它的驾驶支援装置和驾驶支援系统。
为了解决上述课题，达到本发明的目的，本发明之一，提供一种图像处理装置(与图2所示的图像处理装置1对应)，具有摄像单元(与图2所示的摄像机11对应)、识别来自上述摄像单元的图像的浓度的图像识别单元(与图2所示的图像识别单元12对应)、和根据上述图像识别单元的识别结果控制曝光值的曝光值控制单元(与图2所示的曝光值控制单元13对应)。上述曝光值控制单元，在自动控制上述曝光值的曝光值自动控制期间中(与图7-1所示的通常曝光值图像A1～A4对应)，插入将曝光值设置成最大曝光值的最大曝光值期间(与图7-1所示的最大曝光值图像B1～B3对应)和设置成最小曝光值的最小曝光值期间(与图7-1所示的最小曝光值图像C1～C3对应)。上述图像识别单元，根据该识别结果，判断是摄像机发生异常还是环境处于不适合摄像的状态。
依据本发明之一，则因为曝光值控制单元，在曝光值自动控制期间中，插入最大曝光值期间和最小曝光值期间，图像识别单元判断为摄像机发生异常或环境处于不适合摄像的状态，所以在曝光值控制期间中能够一面拍摄图像，一面判断为摄像部件发生异常或环境处于不适合摄像的状态。
本发明之二，是在本发明之一所述的图像处理装置中，上述曝光值控制单元，以相同的时间、按照给定顺序控制曝光值自动控制期间、最大曝光值期间和最小曝光值期间。
依据本发明之二，则因为曝光值控制单元，以相同的时间、按照给定顺序控制曝光值自动控制期间、最大曝光值期间和最小曝光值期间，所以能够在与曝光值自动控制期间的摄像相同的时间间隔中进行最大曝光值、最小曝光值的摄像。
本发明之三，是在本发明之一所述的图像处理装置中，上述曝光值控制单元，按照使曝光值自动控制期间比最大曝光值期间和最小曝光值期间长那样进行控制。
依据本发明之三，则因为曝光值控制单元，使曝光值自动控制期间比最大曝光值期间和最小曝光值期间长地进行控制，所以曝光值自动控制期间的摄像比最大曝光值期间和最小曝光值期间的摄像长。
本发明之四，是在本发明之一所述的图像处理装置中，上述图像识别单元，在识别到在上述曝光值自动控制期间拍摄的图像中发生了拟似信号的拖尾或重影的情形，而识别到在上述最小曝光值期间拍摄的图像中没有发生拖尾或重影时，判断在上述曝光值自动控制期间中的曝光值不合适。
依据本发明之四，则因为图像识别单元，当识别到在最小曝光值期间拍摄的图像中不发生拖尾或重影时，判断在上述曝光值自动控制期间中的曝光值是不合适的，所以通过只判断在用最小曝光值拍摄的图像中是否发生拖尾或重影，就能够容易地判断拍摄图像的曝光值是否合适。
本发明之五，是在本发明之一所述的图像处理装置中，上述图像识别单元，当在最大曝光值期间拍摄的图像为发黑状态时或当在最小曝光值期间拍摄的图像为发白状态时，判断为摄像部件发生异常或环境处于不适合摄像的状态。
依据本发明之五，则因为图像识别单元，当在最大曝光值期间拍摄的图像为发黑状态时或当在最小曝光值期间拍摄的图像为发白状态时，判断为摄像部件发生异常或环境处于不适合摄像的状态，所以通过只识别在最大曝光值期间拍摄的图像为发黑状态、在最小曝光值期间拍摄的图像为发白状态，就能够容易地判断是否摄像部件发生异常或环境处于不适合摄像的状态。
本发明之六，是在本发明之一所述的图像处理装置中，上述图像识别单元，当在最大曝光值期间拍摄的图像为发黑状态时，改变摄像环境以使曝光值成为最大而拍摄的图像不成为发黑状态，之后当在最大曝光值期间拍摄的图像是发黑状态时判断为摄像部件发生异常，当不是发黑状态时判断为环境处于不适合摄像的状态。
依据本发明之六，则因为图像识别单元，当在最大曝光值期间拍摄的图像为发黑的状态时，在改变摄像环境后，当在最大曝光值期间拍摄的图像是发黑的状态时判断为摄像部件发生异常，当不是发黑的状态时判断为环境处于不适合摄像的状态，所以能够用在最大曝光值期间中的2次摄像判断摄像部件发生异常。
本发明之七，是在本发明之一所述的图像处理装置中，使上述曝光值成为最大而拍摄的图像不成为发黑状态那样的摄像环境是上述摄像部件拍摄给定光源的摄像环境。
依据本发明之七，则因为使曝光值最大而拍摄的图像不成为发黑状态那样的摄像环境是摄像部件拍摄给定光源的摄像环境，所以通过只拍摄给定光源，就能够判断摄像部件发生异常。
本发明之八，是在本发明之一所述的图像处理装置中，上述图像识别单元，当在最小曝光值期间拍摄的图像为发白状态时，改变摄像环境以使曝光值成为最小而拍摄的图像不成为发白状态，之后当在最小曝光值期间拍摄的图像是发白状态时判断为摄像部件发生异常，当不是发白状态时判断为环境处于不适合摄像的状态。
依据本发明之八，则因为图像识别单元，当在最小曝光值期间拍摄的图像为发白状态时，在改变摄像环境后，当在最小曝光值期间拍摄的图像是发白状态时判断为摄像部件发生异常，当不是发白状态时判断为环境处于不适合摄像的状态，所以能够用在最小曝光值期间中的2次摄像判断摄像部件发生异常。
本发明之九，是在本发明之一所述的图像处理装置中，使上述曝光值成为最小而拍摄的图像不成为发白状态的摄像环境是不让光源进入到上述摄像部件中而进行摄像的摄像环境。
依据本发明之九，则因为使曝光值为最小而拍摄的图像不成为发白状态的摄像环境是不让光源进入到上述摄像部件中而进行摄像的摄像环境，所以通过只进行没有光源进入的摄像，就能够判断摄像部件发生异常。
本发明之十，是在本发明之一所述的图像处理装置中，上述图像识别单元，当由上述摄像部件进行的摄影是分成奇数段和偶数段的2次扫描进行的隔行扫描方式时，用1次扫描得到的图像进行浓度识别。
依据本发明之十，则因为图像识别单元，通过摄像部件以隔行扫描方式进行摄像，用1次扫描得到的图像进行浓度识别，所以能够缩短到图像的浓度识别结束的时间。
本发明之十一，是在本发明之一所述的图像处理装置中，上述图像识别单元，在是上述隔行扫描方式的情形中，用第1次扫描得到的图像判断是否为发黑状态，用第2次扫描得到的图像判断是摄像部件发生异常或摄像环境处于不适合的状态。
依据本发明之十一，则因为图像识别单元，在摄像是隔行扫描方式的情形中，用第1次扫描得到的图像判断是否为发黑状态，用第2次扫描得到的图像判断是摄像部件发生异常或摄像环境处于不适合的状态，所以能够缩短到发黑状态、摄像部件发生异常、摄像环境处于不适合的状态的判断结束的时间。
本发明之十二，是在本发明之一所述的图像处理装置中，上述图像识别单元，在是上述隔行扫描方式的情形中，用第1次扫描得到的图像判断是否为发白状态，用第2次扫描得到的图像判断是摄像部件发生异常或摄像环境处于不适合的状态。
依据本发明之十二，则因为图像识别单元，在摄像是隔行扫描方式的情形中，用第1次扫描得到的图像判断是否为发白状态，用第2次扫描得到的图像判断是摄像部件发生异常或摄像环境处于不适合的状态，所以能够缩短到发白状态、摄像部件发生异常、摄像环境处于不适合的状态的判断结束的时间。
本发明之十三，是在本发明之一所述的图像处理装置中，包括通知单元，当在上述图像识别单元中判断摄像部件发生异常时，通知上述摄像部件发生异常一事。
依据本发明之十三，则因为备有通知摄像部件发生异常的通知单元，所以当摄像部件发生异常时，图像处理装置的使用者能够知道摄像部件发生异常。
本发明之十四，提供一种图像处理装置，包括：图像取得部件，其拍摄车辆周边的图像或从外部装置接收拍摄车辆周边的图像；曝光控制部件，其根据上述图像取得部件取得的图像的浓度分布，控制摄影时的曝光值，并且在该曝光值自动控制期间中插入强制让曝光值成为最大值的最大曝光值期间和强制让曝光值成为最小值的最小曝光值期间；和判定部件，其根据在上述曝光值自动控制期间、上述最大曝光值期间和/或上述最小曝光值期间拍摄的图像，判定摄像部件中有无异常和/或环境是否处于不适合摄像的状态。
依据本发明之十四，则图像处理装置，当根据图像的浓度分布控制曝光值时，插入强制让曝光值成为最大值的最大曝光值期间和强制让曝光值成为最小值的最小曝光值期间，根据在该最大曝光值期间和最小曝光值期间拍摄的图像，判定摄像部件中有无异常和/或环境是否处于不适合摄像的状态。
本发明之十五，是在本发明之十四所述的图像处理装置中，进一步备有定时变更单元，变更控制由上述曝光控制部件产生的上述最大曝光值期间和上述最小曝光值期间的插入定时和/或插入间隔。
依据本发明之十五，则图像处理装置，当根据在最大曝光值期间和最小曝光值期间拍摄的图像判定摄像部件的状态时，可变控制最大曝光值期间和最小曝光值期间的插入定时和插入间隔。
本发明之十六，是在本发明之十五所述的图像处理装置中，进一步备有定时设定单元，其根据自己车辆的车辆状态、自己车辆周边的周边状况、摄影图像的使用用途中的至少任一个，设定由上述定时变更单元进行的变更控制的内容。
依据本发明之十六，则图像处理装置，当根据在最大曝光值期间和最小曝光值期间拍摄的图像判定摄像部件的状态时，根据自己车辆的车辆状态、自己车辆周边的周边状况、摄影图像的使用用途等，可变控制最大曝光值期间和最小曝光值期间的插入定时和插入间隔。
本发明之十七，是在本发明之十四所述的图像处理装置中，进一步备有输出部件，其将由上述判定部件产生的判定结果输出到外部的车辆控制装置。
依据本发明之十七，则图像处理装置，当根据图像的浓度分布控制曝光值时，插入强制让曝光值成为最大值的最大曝光值期间和强制让曝光值成为最小值的最小曝光值期间，根据在该最大曝光值期间和最小曝光值期间拍摄的图像，判定摄像部件中有无异常和/或环境是否处于不适合摄像的状态，输出到外部的车辆控制装置。
本发明之十八，提供一种驾驶支援装置，包括：图像信息取得部件，其取得由图像处理装置实施了处理的图像信息；支援部件，其通过至少用上述图像信息控制车辆动作或向驾驶员提供信息，支援车辆行驶；和支援动作变更部件，其当接收到表示在上述图像处理装置使用的摄影单元中发生异常的通知时，变更上述支援部件的动作内容。
依据本发明之十八，则驾驶支援装置，通过用图像处理装置施加了处理的图像信息控制车辆动作或向驾驶员提供信息，支援车辆行驶，并且当在图像处理装置使用的摄影单元中发生异常时，变更支援的动作内容。
本发明之十九，是在本发明之十八所述的驾驶支援装置中，进一步备有定时设定部件，其对于在根据图像的浓度分布的曝光值自动控制期间中插入强制让曝光值成为最大值的最大曝光值期间和强制让曝光值成为最小值的最小曝光值期间，并用在该最大曝光值期间和最小曝光值期间拍摄的图像进行摄影单元的异常判定的图像处理装置，根据自己车辆的车辆状态、自己车辆周边的周边状况、上述图像信息的使用用途中的至少任一个，设定并传送上述最大曝光值期间和最小曝光值期间的插入定时和/或插入间隔。
依据本发明之十九，则驾驶支援装置，根据自己车辆的车辆状态、自己车辆周边的周边状况、上述图像信息的使用用途等，设定最大曝光值期间和最小曝光值期间的插入定时和插入间隔并发送给根据图像的浓度分布在曝光值自动控制期间中插入最大曝光值期间和最小曝光值期间，用拍摄的图像判定摄像单元中发生异常的图像处理装置。
本发明之二十，是在本发明之十九所述的驾驶支援装置中，上述定时设定部件，至少用自己车辆与其它车辆的车间距离、自己车辆的行驶速度、用于车辆的动作控制的传动机构的应答速度中的任一个设定上述插入定时和/或插入间隔。
依据本发明之二十，则驾驶支援装置，根据自己车辆与其它车辆的车间距离、自己车辆的行驶速度、用于车辆的动作控制的传动机构的应答速度等设定最大曝光值期间和最小曝光值期间的插入定时和插入间隔并发送给根据图像的浓度分布在曝光值自动控制期间中插入最大曝光值期间和最小曝光值期间，用拍摄的图像判定摄像单元中发生异常的图像处理装置。
本发明之二十一，是在本发明之十八所述的驾驶支援装置中，上述支援部件至少实施防止脱离行车线的保持行车线支援、支援调节车间距离的调节车间距离支援、避免车辆冲撞事故的避免冲撞支援、减轻发生冲撞事故时的损伤的缓和冲撞支援、使停车动作简易化的停车支援中的任一个。
依据本发明之二十一，则驾驶支援装置，用图像处理装置施加了处理的图像信息，进行保持行车线支援、调节车间距离支援、避免冲撞支援、缓和冲撞支援、停车支援等的支援，并且当在图像处理装置使用的摄像单元中发生异常时，变更支援的动作内容。
本发明之二十二，是在本发明之十八所述的驾驶支援装置中，上述支援动作变更部件，当接收到表示上述摄影单元中发生异常的通知时，中止上述支援部件的动作。
依据本发明之二十二，则驾驶支援装置，用图像处理装置施加了处理的图像信息控制车辆动作或向驾驶员提供信息，支援车辆行驶，并且当在图像处理装置使用的摄影单元中发生异常时，中止支援动作。
本发明之二十三，是在本发明之十八所述的驾驶支援装置中，上述支援部件实施由车辆的动作控制产生的支援，上述支援动作变更部件，当接收到表示上述摄影单元中发生异常的通知时、将其它检测部件用作上述图像处理部件的替代部件使上述支援部件动作。
依据本发明之二十三，则驾驶支援装置，用图像处理装置施加了处理的图像信息控制车辆动作或向驾驶员提供信息，支援车辆行驶，并且当在图像处理装置使用的摄影单元中发生异常时，将其它检测部件作为替代部件进行支援动作。
本发明之二十四，提供一种驾驶支援系统，包括：图像取得部件，其取得摄影单元拍摄的图像；曝光控制部件，其根据上述图像取得部件取得的图像的浓度分布，控制摄影时的曝光值，并且在该曝光值自动控制期间中插入强制让曝光值成为最大值的最大曝光值期间和强制让曝光值成为最小值的最小曝光值期间；判定部件，其根据在上述曝光值自动控制期间、上述最大曝光值期间和/或上述最小曝光值期间拍摄的图像，判定摄像部件中有无异常和/或环境是否处于不适合摄像的状态；和支援部件，其通过至少用上述图像控制车辆动作或向驾驶员提供信息，支援车辆行驶。
依据本发明之二十四，则驾驶支援系统，当根据图像的浓度分布控制曝光值时，插入强制让曝光值成为最大值的最大曝光值期间和强制让曝光值成为最小值的最小曝光值期间，根据在该最大曝光值期间和最小曝光值期间拍摄的图像，判定摄像部件中有无异常和/或环境是否处于不适合摄像的状态，并且进行利用图像的车辆行驶的支援。
依据本发明之一，则因为在曝光值控制期间中能够一面拍摄图像，一面判断为摄像部件发生异常或环境处于不适合摄像的状态，所以收到能够判断是即便拍摄到的图像是不能够进行画面处理的图像，如果成为适合于拍摄图像的摄像环境则也能够拍摄能够进行画面处理的图像，还是摄像机发生故障即便成为适合于拍摄图像的摄像环境，也不能够拍摄能够进行画面处理的图像的效果。
依据本发明之二，则因为能够在与曝光值自动控制期间的摄像相同的时间间隔中进行最大曝光值、最小曝光值的摄像，所以收到能够得到通过曝光值自动控制期间的摄像在与拍摄通常图像的时间间隔相同的时间间隔中，能够判断为摄像部件发生异常或环境处于不适合摄像的状态的图像处理装置那样的效果。
依据本发明之三，则因为曝光值自动控制期间的摄像比最大曝光值期间和最小曝光值期间的摄像长，所以收到能够得到与在与曝光值自动控制期间的摄像相同的时间间隔中进行最大曝光值、最小曝光值的摄像的情形比较，由曝光值自动控制期间的摄像得到的图像增多，能够用于画面处理的图像的摄像增多的图像处理装置的效果。
依据本发明之四，则通过只判断在最小曝光值期间拍摄的图像中是否发生拖尾或重影，就能够容易地判断拍摄图像的曝光值是否不合适，如果将在曝光值自动控制期间的曝光值控制在适合的值，则能够在曝光值自动控制期间拍摄不发生拖尾和重影的图像。所以，收到能够得到能够判断即便不等待摄像环境变化也能够继续拍摄图像的图像处理装置的效果。
依据本发明之五，则收到能够得到通过只识别在最大曝光值期间拍摄的图像为发黑状态、在最小曝光值期间拍摄的图像为发白状态，就能够容易地判断是否摄像部件发生异常或环境处于不适合摄像的状态的图像处理装置的效果。
依据本发明之六，则因为能够通过在最大曝光值期间中的2次摄像判断摄像部件发生异常，所以收到能够得到能够在短时间中判断摄像部件发生异常的图像处理装置的效果。
依据本发明之七，则因为通过只拍摄给定光源，就能够判断摄像部件发生异常，所以收到能够得到能够用简易的构成判断摄像部件发生异常的图像处理装置的效果。
依据本发明之八，则因为能够通过在最小曝光值期间中的2次摄像判断摄像部件发生异常，所以收到能够得到能够在短时间中判断摄像部件发生异常的图像处理装置的效果。
依据本发明之九，则因为通过只进行没有光源放入的摄像，就能够判断摄像部件发生异常，所以收到能够得到能够用简易的构成判断摄像部件发生异常的图像处理装置的效果。
依据本发明之十，则因为通过在以隔行扫描方式拍摄的图像中，用1次扫描得到的图像进行浓度识别，所以收到能够得到能够缩短到图像的浓度识别结束的时间的图像处理装置的效果。
依据本发明之十一，则因为在摄像是隔行扫描方式的情形中，用第1次扫描得到的图像判断是否为发黑状态，用第2次扫描得到的图像判断是摄像部件发生异常或摄像环境处于不适合的状态，所以收到能够得到能够缩短到发黑状态、摄像部件发生异常、摄像环境处于不适合的状态的判断结束的时间的图像处理装置的效果。
依据本发明之十二，则因为在摄像是隔行扫描方式的情形中，用第1次扫描得到的图像判断是否为发白状态，用第2次扫描得到的图像判断是摄像部件发生异常或摄像环境处于不适合的状态，所以收到能够得到能够缩短到发白状态、摄像部件发生异常、摄像环境处于不适合的状态的判断结束的时间的图像处理装置的效果。
依据本发明之十三，则因为当摄像部件发生异常时，图像处理装置的使用者能够知道摄像部件发生异常，所以收到能够得到对于摄像部件发生异常可以迅速作出对应的图像处理装置的效果。
依据本发明之十四，则因为图像处理装置，当根据图像的浓度分布控制曝光值时，插入强制让曝光值成为最大值的最大曝光值期间和强制让曝光值成为最小值的最小曝光值期间，根据在该最大曝光值期间和最小曝光值期间拍摄的图像，判定摄像部件中有无异常和/或环境是否处于不适合摄像的状态，所以收到能够得到可以迅速实施摄像部件的异常检测的图像处理装置的效果。
依据本发明之十五，则因为图像处理装置，当根据在最大曝光值期间和最小曝光值期间拍摄的图像判定摄像部件的状态时，可变控制最大曝光值期间和最小曝光值期间的插入定时和插入间隔，所以收到能够得到可以在任意的定时和间隔实施摄像部件的异常检测的图像处理装置的效果。
依据本发明之十六，则因为图像处理装置，当根据在最大曝光值期间和最小曝光值期间拍摄的图像判定摄像部件的状态时，与自己车辆的车辆状态、自己车辆周边的周边状况、摄影图像的使用用途等对应地可变控制最大曝光值期间和最小曝光值期间的插入定时和插入间隔，所以收到能够得到可以在适应状况的定时和间隔实施摄像部件的异常检测的图像处理装置的效果。
依据本发明之十七，则因为图像处理装置，当根据图像的浓度分布控制曝光值时，插入强制让曝光值成为最大值的最大曝光值期间和强制让曝光值成为最小值的最小曝光值期间，根据在该最大曝光值期间和最小曝光值期间拍摄的图像，判定摄像部件中有无异常和/或环境是否处于不适合摄像的状态，输出到外部的车辆控制装置，所以收到能够得到可以迅速实施摄像部件的异常检测，并通知其它装置的图像处理装置的效果。
依据本发明之十八，则因为驾驶支援装置，通过用图像处理装置施加了处理的图像信息控制车辆动作或向驾驶员提供信息，支援车辆行驶，并且当在图像处理装置使用的摄影单元中发生异常时，变更支援的动作内容，所以收到能够得到即便当在摄像部件中发生异常时也可以确实地防止误动作的驾驶支援装置的效果。
依据本发明之十九，则因为驾驶支援装置，根据自己车辆的车辆状态、自己车辆周边的周边状况、上述图像信息的使用用途等，设定最大曝光值期间和最小曝光值期间的插入定时和插入间隔并发送给根据图像的浓度分布在曝光值自动控制期间中插入最大曝光值期间和最小曝光值期间，用拍摄的图像判定摄像单元中发生异常的图像处理装置，所以收到可以用必要的定时以及间隔在图像处理装置中执行摄像装置的异常检测的驾驶支援装置的效果。
依据本发明之二十，则因为驾驶支援装置，根据自己车辆的车辆状态、自己车辆周边的周边状况、上述图像信息的使用用途等，设定最大曝光值期间和最小曝光值期间的插入定时和插入间隔并发送给根据图像的浓度分布在曝光值自动控制期间中插入最大曝光值期间和最小曝光值期间，用拍摄的图像判定摄像单元中发生异常的图像处理装置，所以收到能够得到在需要的定时和间隔在图像处理装置中实施摄像部件的异常检测的驾驶支援装置的效果。
依据本发明之二十一，则因为驾驶支援装置，当用图像处理装置施加了处理的图像信息，进行保持行车线支援、调节车间距离支援、避免冲撞支援、缓和冲撞支援、停车支援等的支援，并且当在图像处理装置使用的摄像单元中发生异常时，变更支援的动作内容，所以收到能够得到即便当在摄像部件中发生异常时也可以确实地防止误动作的驾驶支援装置的效果。
依据本发明之二十二，则因为驾驶支援装置，用图像处理装置施加了处理的图像信息控制车辆动作或向驾驶员提供信息，支援车辆行驶，并且当在图像处理装置使用的摄影单元中发生异常时，中止支援动作，所以收到能够得到即便当在摄像部件中发生异常时也可以确实地中止支援动作的驾驶支援装置的效果。
依据本发明之二十三，则因为驾驶支援装置，用图像处理装置施加了处理的图像信息控制车辆动作或向驾驶员提供信息，支援车辆行驶，并且当在图像处理装置使用的摄影单元中发生异常时，将其它检测部件作为替代部件进行支援动作，所以收到能够得到即便当在摄像部件中发生异常时也可以用替代部件继续进行支援的驾驶支援装置的效果。
依据本发明之二十四，则因为驾驶支援系统，当根据图像的浓度分布控制曝光值时，插入强制让曝光值成为最大值的最大曝光值期间和强制让曝光值成为最小值的最小曝光值期间，根据在该最大曝光值期间和最小曝光值期间拍摄的图像，判定摄像部件中有无异常和/或环境是否处于不适合摄像的状态，并且进行利用图像的车辆行驶的支援，所以收到能够得到可以迅速实施摄像部件的异常检测的驾驶支援系统的效果。
附图说明
图1是表示有关实施例1的图像处理装置的概要构成图。
图2是表示图1所示的图像处理装置的构成的图。
图3是表示当图像过亮时的浓度直方图的一个例子的图。
图4是用于说明检测图像中发生的拖尾的图。
图5是表示当图像过暗时的浓度直方图的一个例子的图。
图6是表示当曝光平衡良好时的浓度直方图的一个例子的图。
图7-1是用于说明摄像机用通常曝光值进行摄像的情形的图。
图7-2是用于说明以通常曝光值、曝光最大值、曝光最小值的顺序控制摄像机11进行摄像的情形的图。
图8是表示图像处理装置的处理动作的流程图。
图9-1是表示变更用于拍摄通常曝光值图像的曝光值的顺序的流程图。
图9-2是表示根据最大曝光值图像的浓度识别判定摄像机发生故障的顺序的流程图。
图9-3是表示根据最小曝光值图像的浓度识别判定摄像机发生故障的顺序的流程图。
图10是表示有关实施例2的图像处理装置的构成的构成图。
图11是表示有关实施例2的驾驶支援系统的概要构成图。
图12是说明设定故障判定定时的说明图。
图中：1、2-图像处理装置，3-图像处理ECU，4-控制ECU，5-信息提供系统，6-动作控制系统，11、31-摄像机、12、22-图像识别单元、13、23-曝光值控制单元、14-监视器、15-故障判定单元、16-报知单元、21-故障判定定时变更单元、32-激光雷达、33-超声波传感器、34-车速传感器、41-支援处理单元、42-支援动作变更单元、43-故障判定定时设定单元、51-显示器、52-扬声器、61-方向盘控制传动机构、62-油门控制传动机构、63-刹车控制传动机构、64-安全带控制传动机构、A1～A7-通常曝光值图像、B1～B3-最大曝光值图像、C1～C3-最小曝光值图像、X1～X3、Y1～Y3、Z1、Z2-图像识别、Ta-可以使用时间、Tb-传动机构应答所要时间、Tm-全部时间。
具体实施方式
下面，参照附图说明与本发明有关的图像处理装置、驾驶支援装置和驾驶支援系统的优选实施例。此外，本发明不受该实施例的限定。
(实施例1)
首先，说明本实施例1中的图像处理装置的概要构成。图1表示作为本发明的实施例1的图像处理装置的概要构成图。如图1所示，曝光值控制单元13按照预先设定摄像机11的曝光值的给定周期，用通常曝光值、最大曝光值、最小曝光值进行控制。这里的曝光值由曝光时间决定，当曝光时间长时曝光值增大，当曝光时间短时曝光值减小。曝光时间由快门速度决定，能够阶梯地进行控制。例如，阶梯地将快门速度控制在1/60秒、1/120秒、1/240秒。所以，也阶梯地控制曝光值。此外，曝光值也可以由光圈进行控制。
这里，通常曝光值，是指与紧接之前拍摄的图像的曝光值比较，以使图像曝光值接近最佳值的方式一面随时变更一面设定控制曝光值得到的曝光值。最大曝光值，是指在摄像机11中可以控制的曝光值的最大值。最小曝光值，是指在摄像机11中可以控制的曝光值的最小值。例如，每100msec以通常曝光值、最大曝光值、最小曝光值的顺序控制曝光值控制单元13，变更曝光值。最大曝光值表示将曝光时间设定为最长的状态，当用最大曝光值进行摄像时，容易发生后述的发白状态。另一方面，最小曝光值表示将曝光时间设定为最短的状态，当用最小曝光值进行摄像时，容易发生后述的发黑状态。
图像识别单元12，从由摄像机11供给的图像和在摄像机11中拍摄该图像时的摄像机11的曝光值，判定在摄像机11中拍摄该图像是否存在失去明亮部分的浓度灰度等级的发白、当高亮度的点光入射到摄像机11的摄像画面上时，在摄像机11的画面上发生明亮的纵方向的带的拖尾、存在失去黑暗部分的浓度灰度等级的发黑等。又，这时也判定摄像机11是否发生故障。
而且，当判定在摄像机11中拍摄的图像存在发白、拖尾、发黑时，判断这种图像的拍摄是与暂时的环境变化有关还是与摄像机11自身的故障有关。
例如，当在通常曝光值得到的图像发白时，此后在给定条件下确认在最小曝光值得到的图像是否发白。而且，当在最小曝光值得到的图像发白时，判定摄像机11发生故障。
另一方面，当在通常曝光值得到的图像发黑时，此后在给定条件下确认在最大曝光值得到的图像是否发黑。而且，当在最大曝光值得到的图像发黑时，判定摄像机11发生故障。此外，根据图像的浓度灰度等级和每个浓度灰度等级的画面上的象素数判定这里的发白、发黑。
图2是表示作为本发明的实施例1的图像处理装置的构成图。如图2所示图像处理装置1由摄像机11、图像识别单元12、曝光值控制单元13、监视器14、故障判定单元15和报知单元16构成。此外，为了达到本发明的目的，并不一定需要监视器14和报知单元16，只要是能输出图像识别单元中的计算结果和判定结果的装置即可。摄像机11用给定曝光值拍摄车辆的前方和后方等给定方向，将拍摄的图像作为图像数据供给图像识别单元12。
图像识别单元12备有故障判定单元15，与摄像机11、曝光值控制单元13、监视器14和报知单元16连接。图像识别单元12对来自摄像机11的图像数据进行计算处理供给监视器14，并且求得从摄像机11供给的图像的灰度等级和每个灰度等级的画面上的象素数。而且，根据图像的每个灰度等级的象素数和从曝光值控制单元13供给的曝光值信息，判定从摄像机11供给的图像是否发白、具有拖尾、发黑。
故障判定单元15，根据图像的每个灰度等级的象素数和从曝光值控制单元13供给的曝光值信息，判定摄像机11是否发生故障。曝光值控制单元13以预先设定的给定周期控制摄像机11的曝光值。按照给定周期变更这时的曝光值，使其成为通常曝光值、最大曝光值、最小曝光值这样3个曝光值地进行控制。
监视器14将在图像识别单元12中经过计算处理的图像数据作为图像显示出来。报知单元16，当在故障判定单元15中判定摄像机11发生故障时，通过警告灯、警告声、警告显示等将摄像机11发生故障一事通知图像处理装置1的使用者。此外，在本实施例1中，虽然分离构成监视器14和报知单元16，但也可以是监视器14备有报知单元16的构成。
下面，我们说明在图2所示的图像识别单元中识别的图像的灰度等级与各灰度等级中的象素数的关系。图3～5是表示浓度直方图的图。浓度直方图表示图像的亮度分布。横轴是表示数字变换图像数据时的亮度的浓度的灰度等级，例如，表示为0(黑)～255(白)。纵轴是表示该浓度的象素数。
图3是表示当图像过亮时的浓度直方图的一个例子的图。例如，当逆光时和摄像机11的曝光值比适当值大时，浓度高的象素数增多。例如，将浓度在201以上的象素数在全体象素数中所占的比例为给定值以上时的图像判断为发白。又，也可以根据图像全体浓度的平均值，判断图像是否发白。例如，当图像全体浓度的平均值在201以上时判断为发白。
现在我们说明当在图像中发生拖尾时的图像浓度。通过用垂直方向的直线分割图像将图像的水平方向的位置相同的象素作为1个块，求得每个块的象素浓度的合计值。例如，当在图像的水平方向中并列300个象素时，通过用垂直方向的直线将图像分割成300等分，分割成300个块。而且，求得各块内的象素浓度的合计值。
图4是用于说明检测图像中发生的拖尾的图。在图4中，横轴表示图像的水平方向的位置，纵轴表示每个块的各象素浓度的合计值。在图4中判断是否存在浓度峰值，当存在浓度峰值时，提取它作为第1峰值。判断在第1峰值两侧与±n个象素相当的距离(n是给定自然数)的位置上是否存在浓度峰值，当存在浓度峰值时提取它作为第2峰值。而且，当第1峰值的浓度合计值和第2峰值的浓度合计值之差的绝对值在给定值以上时，将第1峰值和第2峰值中浓度合计值大的一方判断为拖尾。
图5是当图像过暗时的浓度直方图的一个例子。例如，当完全没有光源时和当摄像机11的曝光值比适当值小时，浓度低的象素数增多。例如，将浓度不到51的象素数在全体象素数中所占的比例为给定值以上时的图像判断为发黑。又，也可以根据图像全体浓度的平均值，判断图像是否发黑。例如，当图像全体浓度的平均值在51以下时判断为发黑。
图6是当曝光平衡良好时的浓度直方图的一个例子。当使对于光源的摄像机11的曝光值为适当值进行摄像时，浓度高的象素数和浓度低的象素数的比例不发生偏离地分布。
下面，我们说明曝光值控制单元13中的曝光值控制顺序。图7-1是用于说明摄像机11用通常曝光值进行摄像的情形的图。图7-2是用于说明以通常曝光值、曝光最大值、曝光最小值的顺序控制摄像机11进行摄像的情形的图。曝光值控制单元13以给定时间间隔变更曝光值，进行控制。这里，我们说明摄像机11以在33msec中1次的比例拍摄1个图像，图像识别单元12识别图像的浓度需要100msec的情形。
在图7-1中，表示每经过33msec拍摄在通常曝光值上的图像(以下，称为通常曝光值图像)(在1秒中拍摄30张图像)，识别每经过100msec拍摄的图像浓度的情形。每次进行图像识别时以使曝光值与紧接之前拍摄的图像的曝光值比较更接近最佳值的方式进行变更。这里，因为为了识别图像的浓度需要100msec，所以为了变更图像的曝光值延迟100msec。
在图像识别X1所示的期间浓度识别通常曝光值图像A1，在图像识别X2所示的期间浓度识别通常曝光值图像A2。下面，同样在图像识别X3所示的期间浓度识别通常曝光值图像A3，在图像识别X4所示的期间浓度识别通常曝光值图像A4，在图像识别X5所示的期间浓度识别通常曝光值图像A5。
当由图像识别X1识别通常曝光值图像A1的浓度时，根据该浓度识别，以使摄像机11的通常曝光值接近最佳值的方式变更该通常曝光值，拍摄通常曝光值图像A5。又，当由图像识别X2识别通常曝光值图像A2的浓度时，根据该浓度识别，以使摄像机11的通常曝光值接近最佳值的方式变更该通常曝光值，拍摄通常曝光值图像A6。进一步，当由图像识别X3识别通常曝光值图像A3的浓度时，根据该浓度识别，以使摄像机11的通常曝光值接近最佳值的方式变更该通常曝光值，拍摄通常曝光值图像A7。下面，同样地当进行图像的浓度识别时，根据该浓度识别，以使摄像机11的曝光值接近最佳值的方式变更该曝光值，重复拍摄通常曝光值图像的动作。
这里表示判断拍摄到的通常曝光值图像A1的浓度分布在图像识别X1中偏向暗浓度的情形。因此，以在通常曝光值图像A5中与通常曝光值图像A1～A4比较曝光值高出1个阶梯的方式变更曝光值进行摄像。
进一步，表示判断拍摄到的通常曝光值图像A2的浓度分布在图像识别X2中偏向暗浓度的情形。因此，以在通常曝光值图像A6中与通常曝光值图像A5比较曝光值高出1个阶梯的方式变更曝光值进行摄像。
进一步，表示判断拍摄到的通常曝光值图像A3的浓度分布在图像识别X3中偏向暗浓度的情形。因此，即便在判断这种图像的浓度分布偏向暗浓度的情形中，因为在最大曝光值拍摄通常曝光值图像A5，所以在与通常曝光值图像A5相同的最大曝光值拍摄通常曝光值图像A6。
这样，当判断拍摄到的图像的浓度分布偏向暗浓度时，以在每个给定阶梯使曝光值增大的方式变更曝光值。而且，即便在由于摄像机11发生故障使输出的图像处于发黑状态的情形中，也进行这种阶梯的曝光值变更。因此，即便在摄像机11发生故障的情形中，在拍摄通常曝光值图像A1后，到拍摄通常曝光值图像A6之前，也都不是在曝光的最大值进行摄像。
进一步，在拍摄通常曝光值图像A1后也在给定时间中，继续在曝光的最大值进行摄像，并且如果从在该期间中拍摄的图像的浓度分布不继续判断图像发黑，则不能够检测出摄像机11发生故障。
进一步，要判定尽管图像发黑但是图像发黑与环境的变化有关是暂时的，能够预测经过给定时间后图像处理装置1恢复，还是与摄像机11发生故障有关即便经过给定时间后图像处理装置1也不会恢复也是困难的。
此外，当由图像识别单元12判断图像的浓度分布偏向亮浓度时，使下一个摄像的曝光值降低1个阶梯地变更。又，当由图像识别单元12判断图像的浓度分布适当时，不变更下一次摄像的曝光值。
图7-2表示每经过33msec顺序拍摄通常曝光值图像、在最大曝光值的图像(以下，称为最大曝光值图像)、在最小曝光值的图像(以下，称为最小曝光值图像)，每经过100msec识别通常曝光值图像的浓度的情形。
每次进行通常曝光值图像的图像识别时以使通常曝光值与就在前面拍摄的通常曝光值图像的通常曝光值比较更接近最佳值的方式变更通常曝光值。这里，因为为了每经过33msec顺序地拍摄通常曝光值图像、最大曝光值图像、最小曝光值图像，识别图像的浓度，需要100msec，所以为了变更图像的曝光值延迟167msec。
在图像识别X1所示的期间浓度识别通常曝光值图像A1，在图像识别X2所示的期间浓度识别通常曝光值图像A2，在图像识别X3所示的期间浓度识别通常曝光值图像A3。下面，同样地在拍摄图像后100msec期间浓度识别通常曝光值图像。
当由图像识别X1识别通常曝光值图像A1的浓度时，根据该浓度识别，以使摄像机11的通常曝光值接近最佳值的方式变更该通常曝光值，拍摄通常曝光值图像A3。又，当由图像识别X2识别通常曝光值图像A2的浓度时，根据该浓度识别，以使摄像机11的通常曝光值接近最佳值的方式变更该通常曝光值，拍摄通常曝光值图像A4。进一步，当由图像识别X3识别通常曝光值图像A3的浓度时，根据该浓度识别，以使摄像机11的通常曝光值接近最佳值的方式变更该通常曝光值，拍摄通常曝光值图像A5(图中未画出)。下面，同样地当进行通常曝光值图像的浓度识别时，根据该浓度识别，以使摄像机11的通常曝光值接近最佳值的方式变更该通常曝光值，重复拍摄通常曝光值图像的动作。
又，在通常曝光值图像A1的后面拍摄最大曝光值图像B1和最小曝光值图像C1。进一步，在通常曝光值图像A2的后面拍摄最大曝光值图像B2和最小曝光值图像C2。
在图像识别Y1所示的期间浓度识别最大曝光值图像B1，在图像识别Y2所示的期间浓度识别最大曝光值图像B2，在图像识别Y3所示的期间浓度识别最大曝光值图像B3。下面，同样地在拍摄最大曝光值图像后100msec期间浓度识别最大曝光值图像。
又，在图像识别Z1所示的期间浓度识别最小曝光值图像C1，在图像识别Z2所示的期间浓度识别最小曝光值图像C2。下面，同样地在拍摄最小曝光值图像后100msec期间浓度识别最小曝光值图像。
由图像识别Y1识别最大曝光值图像B1的浓度和由图像识别Y2识别最大曝光值图像B2的浓度，根据该浓度识别判定摄像机11发生故障。下面，同样地通过2次识别最大曝光值图像的浓度判定摄像机11发生故障。
这里表示判断拍摄到的通常曝光值图像A1的浓度分布在图像识别X1中偏向暗浓度的情形。因此，以在通常曝光值图像A3中与通常曝光值图像A1、A2比较曝光值高出1个阶梯的方式变更曝光值进行摄像。
即便在因为设定小的曝光值所以通常曝光值图像A1成为发黑状态的图像的情形中，如果最大曝光值图像B1不处于发黑状态，则因为当拍摄通常曝光值图像A2时通过使通常曝光值最佳化能够拍摄不处于发黑状态的图像，所以图像处理装置1一面变更以后的通常曝光值一面进行摄像，并且继续以最大曝光值、最小曝光值的顺序进行摄像的通常的动作。这样，用第1次的最大曝光值图像B1判定如果使曝光值最佳化则是否能够拍摄不处于发黑状态的图像(以下称为发黑判定)。此外，为了提高拍摄到的图像是否处于发黑状态的判定精度，也可以在拍摄了多张最大曝光值图像后，进行发黑判定。
另一方面，当在最大曝光值拍摄的最大曝光值图像B1处于发黑状态时，判断是处在用可以由摄像机11控制的曝光值不能拍摄的不适合摄像的环境下(以下，称为界限环境)还是摄像机11发生故障中的某一个。
当判断处在界限环境下或摄像机11发生故障中的某一个时，用下一个最大曝光值图像B2判断两者中哪一个是原因(以下，称为故障判定)。这里，作为区别是处在界限环境下还是摄像机11发生故障的方法，例如将即便在多么暗的环境中当摄像机11为最大曝光值时也能够图像不发黑地摄像的光源搭载在摄像机11的前面。
而且，当拍摄作为下一个最大曝光值图像的最大曝光值图像B2时，拍摄该光源。当用最大曝光值能够不处于发黑状态地拍摄该光源时，判断为处于界限环境下，当即便是最大曝光值也在发黑状态中拍摄该光源时，判断为摄像机11发生故障。
此外，不限于将光源搭载在摄像机11的前面的情形，当能够浓度识别由搭载在车辆上的头灯产生的亮度时，判断为处于界限环境下，当不能够浓度识别由搭载在车辆上头灯产生的亮度时，判断为摄像机11发生故障。
进一步，也可以考虑车辆正在行驶的时间带(昼和夜等)、车辆正在行驶的环境(雨、雪、雾、隧道内等)的信息，判断是处于界限环境下还是摄像机11发生故障。此外，为了提高摄像机11是否发生故障的判定精度，也可以在拍摄了多张最大曝光值图像后，判断是处于界限环境下还是摄像机11发生故障。
当判断是处于界限环境下时，等待变化到在可以由摄像机11控制的曝光值的范围内能够进行摄像的摄像环境。另一方面，当判断是与摄像机11发生故障有关的摄像时，图像处理装置1通过报知单元16将摄像机11发生故障一事通知图像处理装置1的使用者。此外，也可以通过报知单元16将处于界限环境下一事通知图像处理装置1的使用者。
这样，即便当通常曝光值图像A1是发黑状态的图像时，在拍摄通常曝光值图像A1后，因为拍摄了最大曝光值图像B1，所以能够判断是否是由于曝光值小引起发黑状态。
进一步，将即便在多么暗的环境中当摄像机11为最大曝光值时能够使图像不发黑地拍摄的光源搭载在摄像机11的前面，因为当拍摄最大曝光值图像B2时，拍摄该光源，所以即便最大曝光值图像B1是发黑状态的图像，也能够进行是否摄像机11发生故障是原因的判定。
接着，由图像识别Z1识别最小曝光值图像C1的浓度，由图像识别Z2识别最小曝光值图像C2的浓度，根据该浓度识别判定摄像机11发生故障。下面，同样地通过2次识别最小曝光值图像的浓度判定摄像机11发生故障。
即便在因为设定大的曝光值所以通常曝光值图像A1成为发白状态的图像情形中，如果最小曝光值图像C1不处于发白状态，则因为当拍摄通常曝光值图像A2时通过使通常曝光值最佳化能够拍摄不处于发白状态的图像，所以图像处理装置1一面变更以后的通常曝光值一面进行摄像，并且继续以最大曝光值、最小曝光值的顺序进行摄像的通常的动作。这样，用第1次的最小曝光值图像C1判定如果使曝光值最佳化则是否能够拍摄不处于发白状态的图像(以下称为发白判定)。此外，为了提高拍摄到的图像是否处于发白状态的判定精度，也可以在拍摄了多张最小曝光值图像后，进行发白判定。
另一方面，当在最大曝光值拍摄的最小曝光值图像C1处于发白状态时，判断是处在界限环境下还是摄像机11发生故障中的某一个。当判断处在界限环境下或摄像机11发生故障中的某一个时，用下一个最小曝光值图像C2进行故障判定。
这里，作为区别是处在界限环境下还是摄像机11发生故障的方法，例如能够设定通过使曝光值无限地接近0秒和用黑色的板等遮盖摄像机11的前方使来自外部的一切光都不能进入，当即便在逆光等的明亮环境下摄像机11也处于最小曝光值时，能够图像不发白地进行摄像的状态。
而且，当拍摄作为下一个最小曝光值图像的最小曝光值图像C2时，在即便由于逆光等也能够图像不发白地进行摄像的状态中进行摄像。当用最小曝光值能够在不处于发白状态中拍摄该光源时，判断为处于界限环境下，当即便是最小曝光值由于该设定在发白状态中进行摄像时，判断为摄像机11发生故障。
进一步，也可以考虑车辆正在行驶的时间带(昼和夜等)、车辆正在行驶的环境(雨、雪、雾、隧道内等)的信息，判断是处于界限环境下还是摄像机11发生故障。此外，为了提高摄像机11是否发生故障的判定精度，也可以在拍摄了多张最小曝光值图像后，判断是处于界限环境下还是摄像机11发生故障。
当判断是处于界限环境下时，等待变化到在可以由摄像机11控制的曝光值的范围内能够进行摄像的摄像环境。另一方面，当判断是与摄像机11发生故障有关的摄像时，图像处理装置1通过报知单元16将摄像机11发生故障一事通知图像处理装置1的使用者。
这样，即便当通常曝光值图像A1是发白状态的图像时，在拍摄通常曝光值图像A1后，因为拍摄了最小曝光值图像C2，所以能够判断发白状态是否是由曝光值小引起的。
进一步，因为在即便在多么明亮的环境下当摄像机11为最小曝光值时也能够图像不发白地进行摄像的状态中拍摄最小曝光值图像C2，所以即便最小曝光值图像C1是发白状态的图像，也能够进行是否摄像机11发生故障是原因的判定。
又，当判断在通常曝光值图像A1中发生拖尾和重影时，如果最小曝光值图像C1也是发白状态的图像，则通过使曝光值最佳化，为了能够拍摄不发生拖尾和重影的图像，图像处理装置1原封不动的继续以后的动作。
此外，当在最小曝光值图像C1也发生拖尾和重影时，判断是处于界限环境下还是摄像机11发生故障。而且，根据最小曝光值图像C2的摄像判断摄像机11是否发生故障。此外，因为存在着发生拖尾和重影的图像错误地将拖尾等识别为道路上的白线等的情形，所以通过计算处理来自图像处理装置1的图像数据，在引导车辆的装置等中不用发生拖尾等的图像。
下面，我们说明图8所示的图像处理装置的处理动作。图8是表示图像处理装置的处理动作的流程图。在曝光值控制单元13中进行控制使摄像机11的曝光值成为通常曝光值。摄像机11用通常的曝光值拍摄图像得到通常曝光值图像(步骤S100)。在图像识别单元12中对拍摄到的通常曝光值图像进行浓度识别。
其次，在曝光值控制单元13中进行控制使摄像机11的曝光值成为最大曝光值，摄像机11用最大的曝光值拍摄图像得到最大曝光值图像(步骤S110)。在图像识别单元12中对拍摄到的最大曝光值图像进行浓度识别。
接着，在曝光值控制单元13中进行控制使摄像机11的曝光值成为最小曝光值，摄像机11用最小的曝光值拍摄图像得到最小曝光值图像(步骤S120)。在图像识别单元12中对拍摄到的最小曝光值图像进行浓度识别。
此后，同样地在曝光值控制单元13中，以通常曝光值、最大曝光值、最小曝光值的顺序控制曝光值。而且，摄像机11以通常曝光值图像、最大曝光值图像、最小曝光值图像的顺序拍摄图像。
图9-1是表示变更用于拍摄通常曝光值图像的通常曝光值的顺序的流程图。在图像识别单元12中对用摄像机11拍摄的通常曝光值图像进行浓度识别(步骤S200)。而且，当根据该浓度识别，判断拍摄通常曝光值图像的通常曝光值小时(步骤S210中“是”)，当在该图像的浓度识别后，接着拍摄通常曝光值图像时，使通常曝光值增大1个阶梯，拍摄通常曝光值图像(步骤S220)。
另一方面，当根据浓度识别，判断拍摄通常曝光值图像的通常曝光值大时(步骤S230中“是”)，当在该图像的浓度识别后，接着拍摄通常曝光值图像时，使通常曝光值减小1个阶梯，拍摄通常曝光值图像(步骤S240)。又，当根据浓度识别，判断拍摄通常曝光值图像的通常曝光值适合时，当接着拍摄通常曝光值图像时，不变更曝光值地拍摄通常曝光值图像(步骤S250)。
图9-2是表示根据最大曝光值图像的浓度识别判定摄像机发生故障的顺序的流程图。在图像识别单元12中对用摄像机11拍摄的最大曝光值图像进行浓度识别。而且，根据浓度识别，进行最大曝光值图像是否发黑的发黑判定(步骤S300)。当判定最大曝光值图像发黑时(步骤S310中“是”)，当在该图像的浓度识别后，接着拍摄最大曝光值图像时，判定摄像机11发生故障(步骤S320)。另一方面，在步骤S310，当判定最大曝光值图像不发黑时，当在该图像的浓度识别后，接着拍摄最大曝光值图像时，也进行同样的发黑判定。此外，摄像机11发生故障的判定是通过拍摄安装在摄像机11的前方的光源等进行的。
在摄像机11发生故障的判定中当判定摄像机11没有发生故障时(步骤S330中“否”)，因为是与界限环境下有关的摄像所以接下来当用最大曝光值摄像时，不拍摄安装在摄像机11前方的光源等而对摄像对象进行拍摄的最大曝光值图像是否发黑的发黑判定。另一方面，在摄像机11发生故障的判定中当判定摄像机11发生故障时(步骤S330中“是”)，通过报知单元16将摄像机11发生故障一事通知图像处理装置的使用者(步骤S340)。
图9-3是表示根据最小曝光值图像的浓度识别判定摄像机发生故障的顺序的流程图。在图像识别单元12中对用摄像机11拍摄的最小曝光值图像进行浓度识别。而且，根据浓度识别，进行最小曝光值图像是否发白的发白判定(步骤S400)。当判定最小曝光值图像发白时(步骤S410中“是”)，当在该图像的浓度识别后，接着拍摄最小曝光值图像时，判定摄像机11发生故障(步骤S420)。另一方面，在步骤S410，当判定最小曝光值图像不发白时，当在该图像的浓度识别后，接着拍摄最小曝光值图像时，也进行同样的发白判定。此外，通过在来自外部的光源等不进入摄像机11的状态中进行拍摄，进行摄像机11发生故障的判定。
在摄像机11发生故障的判定中当判定摄像机11没有发生故障时(步骤S430中“否”)，因为是与界限环境下有关的摄像所以当接着用最小曝光值拍摄时，不是不让光源等进入摄像机11的状态而是对摄像对象进行拍摄的最小曝光值图像是否发白的发白判定。另一方面，在摄像机11发生故障的判定中当判定摄像机11发生故障时(步骤S430中“是”)，通过报知单元16将摄像机11发生故障一事通知图像处理装置的使用者(步骤S440)。
此外，在本实施例1中，在拍摄图像后进行图像的浓度识别，但是在将1次摄像和画面显示分成奇数段和偶数段的2次扫描进行的隔行扫描方式的情形中，也可以用只1次扫描得到的图像进行浓度识别和判定摄像机11发生故障。例如，当第1次扫描是奇数段的扫描，第2次扫描是偶数段的扫描时，用第1次扫描得到的图像进行浓度识别。因此，能够缩短到图像的浓度识别结束的时间。
又，当用最大曝光值摄像时，也能够以用第1次扫描得到的图像进行发黑判定，用第2次扫描得到的图像进行摄像机11发生故障判定的方式，在第1次摄像和第2次摄像变更摄像环境。同样地，当用最小曝光值摄像时，也能够以用第1次扫描得到的图像进行发白判定，用第2次扫描得到的图像进行摄像机11发生故障判定的方式，在第1次摄像和第2次摄像变更摄像环境。
此外，在本实施例1中，我们说明了摄像机11以在33msec中1次的比例拍摄1个图像的情形，但是摄像机11拍摄图像的间隔不限于在33msec中1次的比例，也可以用比它长的时间间隔和比它短的时间间隔进行摄像。又，我们说明了图像识别单元12为了识别图像浓度需要100msec的情形，但是图像识别单元12为了识别图像浓度需要的时间不限于100msec，识别图像浓度需要的时间既可以比它短也可以比它长。当识别图像浓度需要的时间比它短时，在拍摄图像后到变更通常曝光值的延迟时间缩短。
此外，在本实施例1中，以通常曝光值图像、最大曝光值图像、最小曝光值图像的顺序拍摄图像，但是摄像的顺序不限于该顺序，例如也能够以通常曝光值图像、最小曝光值图像、最大曝光值图像的顺序进行摄像。
又，在本实施例1中，使通常曝光值图像、最大曝光值图像、最小曝光值图像的摄像间隔为时间上相等的间隔进行摄像，但是摄像间隔不限于时间上相等的间隔。例如，也可以在拍摄10张等多张的通常曝光值图像后，再拍摄1张最大曝光值图像和最小曝光值图像。因此，与摄像间隔为时间上相等的间隔的情形比较，因为能够拍摄很多的通常曝光值图像所以能够提高通常曝光值图像的图像浓度的识别精度。因此，使用于拍摄到的图像的计算处理的图像数据增多。
此外，在本实施例1中，在进行发黑判定和发白判定后，进行是处于界限环境下还是摄像机11发生故障的故障判定，但是也可以在进行是处于界限环境下还是摄像机11发生故障的故障判定后，当判断处于界限环境下时进行发黑判定和发白判定。
此外，在本实施例1中，以通常曝光值图像、最大曝光值图像、最小曝光值图像的顺序拍摄图像，但是也可以只有当通常曝光值图像的浓度不能收敛于给定值的状况持续给定次数的情况下，才拍摄最大曝光值图像和最小曝光值图像，进行发黑判定、发白判定和摄像机11发生故障判定。
这样如果根据实施例1，则因为在拍摄通常曝光值图像后，拍摄最大曝光值图像、最小曝光值图像，所以即便在图像的摄像环境容易变化的状况中也能够在短时间内进行发黑判定、发白判定、是否处于界限环境下的判定和摄像机11是否发生故障的判定。
(实施例2)
在本实施例2中，说明将与本发明有关的图像处理装置编入驾驶支援系统时的构成。首先，在实施例1中以给定周期切换通常曝光值、最大曝光值、最小曝光值这样3个曝光值，但是在本实施例2中，可以可变地控制切换到最大曝光值和最小曝光值的定时和间隔。
与本实施例2有关的图像处理装置2的构成如图10所示。如图10所示，图像处理装置2在其内部备有故障判定定时变更单元21。该故障判定定时变更单元21接受来自外部的控制信号控制曝光值控制单元23的动作，即，通常曝光值、最大曝光值、最小曝光值的切换动作。进一步，故障判定定时变更单元21将在什么定时插入最大曝光值和最小曝光值一事通知图像识别单元22。
而且，图像识别单元22根据来自故障判定定时变更单元21的通知，将取得的图像用于由故障判定单元15进行的故障判定。又，图像识别单元22对用通常曝光值拍摄的图像施加给定图像处理并输出到外部，并且将由故障判定单元15产生的判定结果输出到外部。
因为其它构成和动作都与图2所示的图像处理装置1相同，所以在相同的构成要素上采用相同的标号并省略对它们的说明。
下面，编入与本发明有关的图像处理装置的驾驶支援系统的构成例如图11所示。在图11所示的驾驶支援系统中，与图像处理装置对应的图像处理ECU(Electrical Control Unit：电控制单元)3，取得外部摄像机31拍摄的图像，进行图像处理和故障判定并输出到控制ECU4，同时接受来自控制ECU4的控制信号控制最大曝光值和最小曝光值的切换动作。
控制ECU4起着作为取得各种信息，控制车辆动作或向驾驶员提供信息，支援车辆行驶的驾驶支援装置的作用。具体地说，控制ECU4，除了图像处理ECU3外，还与激光雷达32、超声波传感器33、车速传感器34等的检测部件、向驾驶员提供信息的信息提供系统5和控制车辆动作的动作控制系统6连接。
信息提供系统5包含显示器51和扬声器52。该信息提供系统5适于由导航系统和车辆音响系统等其它的车载系统共用。
又，动作控制系统6包含控制方向盘动作的方向盘控制传动机构61、控制油门开启度的油门控制传动机构62、控制刹车动作的刹车控制传动机构63、控制安全带卷起机构的安全带控制传动机构64等。
控制ECU4在其内部具有支援处理单元41、支援动作变更单元42、故障判定定时设定单元43。支援处理单元41根据各种信息判断状况，进行实施支援处理的处理。
具体地说，支援处理单元41实施保持行车线支援、调节车间距离支援、避免冲撞支援、缓和冲撞支援、停车支援等的支援。这里，保持行车线支援是通过图像识别对路上的白线进行识别，当发生脱离行车线的危险时用信息提供系统5通知驾驶员、和用动作控制系统6(特别是方向盘控制传动机构61等)实施动作控制，防止自己车辆脱离行车线的支援处理。
又，调节车间距离支援是通过从图像处理和激光雷达32的输出测定与前行车辆的车间距离，为了使车间距离保持在适当的范围内而实施用信息提供系统5进行的通知和用动作控制系统6(特别是油门控制传动机构62等)的动作控制，支援车间距离调节的支援处理。
同样地，避免冲撞支援是通过从图像处理和激光雷达32、超声波传感器33的输出检测发生冲撞事故的危险性，实施给驾驶员的通知和回避动作(刹车控制传动机构63等的自动操作)，支援避免冲撞事故的处理。
又，缓和冲撞支援是通过从图像处理和激光雷达32、超声波传感器33的输出预测冲撞事故的发生，由刹车控制传动机构63进行减速和由安全带控制传动机构64事先卷起安全带，事先展开气囊等，进行缓和事故冲击的支援等的处理。
进一步，停车支援是通过从图像处理和超声波传感器33的输出判定停车空间的状态，实施用信息提供系统5给驾驶员的通知和用动作控制系统6(特别是方向盘控制传动机构61等)的动作控制，使停车动作简易化的支援处理。
当图像处理ECU3通知在摄像机31中发生故障时，支援动作变更单元42进行变更由支援处理单元41进行的支援处理的动作内容的处理。具体地说，关于在各支援处的通知(用信息提供系统5的信息提供支援)，通知由于摄像机31发生故障不可能提供利用图像处理的信息。
另一方面，关于在各支援处理中的动作控制，如果可以通过动作控制中止支援自身或者由其它传感器(例如激光雷达32和超声波传感器33)替代图像处理，则切换到用这些替代功能的动作控制。
故障判定定时设定单元43，根据自己车辆的车辆状态、自己车辆周边的周边状况、图像信息的使用用途，设定故障判定的定时，进行发送到图像处理ECU3的处理。
这里，能够从车速传感器34等的传感器和动作控制系统6取得自己车辆的车辆状态。又，能够从激光雷达32和超声波传感器33、图像处理ECU3的输出判断自己车辆周边的周边状况。进一步，由提供的支援处理和使用的传动机构等改变图像信息的使用用途。
而且，当需要早期检测摄像机31的异常状态时，故障判定定时设定单元43使故障判定的定时，即最大曝光值和最小曝光值的插入定时提前，又，设定短的插入间隔(故障判定间隔)。另一方面，当早期检测异常状态的必要性小时，延迟地设定故障判定的定时，又，设定长的故障判定间隔。
例如，当进行根据提供信息的处理时，因为早期检测异常状态的必要性比较小，所以使故障判定的定时延迟，设定长的间隔。另一方面，在避免冲撞支援、缓和冲撞支援等，紧急需要动作控制的支援中，因为为了高速并正确地实施某种支援，需要早期检测出摄像机31的异常状态，所以要使故障判定的插入定时提前，设定短的间隔。
这样，当图像的使用用途是动作控制时，在该动作控制中使用的传动机构的应答时间具有很大的影响。例如，在缓和冲撞支援中，当预测冲撞的发生，安全带控制传动机构64事前卷起安全带时，如图12所示，当令从现在时刻到预测冲撞时刻的全部时间为Tm时，需要使传动机构(这里是安全带控制传动机构64)的动作在预测冲撞时刻前完成。
如果该传动机构所要的应答时间为“Ta”，则可以用于图像处理和摄像机31的故障判定的时间成为“Tb＝Tm-Ta”。因此，故障判定定时设定单元43，以将摄像机31的异常状态的检测收入可以使用时间“Tb”内的方式，设定故障判定的定时和间隔。
而且，因为传动机构应答速度“Ta”对于每个传动机构都是不同的，所以故障判定定时设定单元43，与使用的传动机构的种类对应地变更故障判定的定时和间隔。
又，全部时间“Tm”，即到动作完成还富余多少时间与自己车辆的状态和周边状况有关地变化。例如，在调节车间距离支援中，前行车辆与自己车辆的车间距离越小，全部时间“Tm”越短。因为在调节车间距离支援中使用的传动机构的应答速度不变、所以可以使用时间“Tb”变短，需要使故障判定的定时提前，设定短的间隔。
同样地，用车速传感器34测定的自己车辆的行驶速度越大，全部时间“Tm”越短。因此，可以使用时间“Tb”变短，需要使故障判定的定时提前，设定短的间隔。
如上所述，在与本实施例2有关的图像处理装置(图像处理ECU)、驾驶支援装置(驾驶支援ECU)和驾驶支援系统中，适应车辆状态和周边状况、图像信息的使用用途，可变地控制切换到最大曝光值和最小曝光值的定时和间隔，进行摄像机的故障判定。
因此，能够得到即便当在摄像机中发生故障时，也能够确实地防止在驾驶支援系统中发生误动作，可以稳定动作的可靠性高的驾驶支援系统。
此外，本实施例2中的驾驶支援系统是应用本发明的一个例子，能够适当地变更构成加以实施。例如，在本实施例2中在作为驾驶支援装置的控制ECU4中具有通过判定车辆状态和周边状况、图像信息的使用用途，设定故障判定的定时的故障判定定时设定单元，但是也可以是该故障判定定时设定单元由图像处理ECU3具有的构成，也可以是使图像处理ECU3和控制ECU4一体化的构成。
如上所述，与本发明有关的图像处理装置，适用于能够在短时间中判断拍摄图像的环境是不适合的环境和摄像机发生故障的图像处理装置，能够对实现可靠性高的驾驶支援装置和驾驶支援系统作出贡献。

Claims (24)

1、一种图像处理装置，具有摄像单元、识别来自所述摄像单元的图像的浓度的图像识别单元、和根据所述图像识别单元的识别结果控制曝光值的曝光值控制单元，其特征在于，
所述曝光值控制单元，在自动控制所述曝光值的曝光值自动控制期间中，插入将曝光值设置成最大曝光值的最大曝光值期间和设置成最小曝光值的最小曝光值期间；
所述图像识别单元，根据该识别结果，判断是摄像机发生异常还是环境处于不适合摄像的状态。
2、根据权利要求1所述的图像处理装置，其特征在于，
所述曝光值控制单元，以相同的时间、按照给定顺序控制曝光值自动控制期间、最大曝光值期间和最小曝光值期间。
3、根据权利要求1所述的所述的图像处理装置，其特征在于，
所述曝光值控制单元，按照使曝光值自动控制期间比最大曝光值期间和最小曝光值期间长那样进行控制。
4、根据权利要求1所述的图像处理装置，其特征在于，
所述图像识别单元，在识别到在所述曝光值自动控制期间拍摄的图像中发生了拟似信号的拖尾或重影的情形，而识别到在所述最小曝光值期间拍摄的图像中没有发生拖尾或重影时，判断在所述曝光值自动控制期间中的曝光值不合适。
5、根据权利要求1所述的图像处理装置，其特征在于，
所述图像识别单元，当在最大曝光值期间拍摄的图像为发黑状态时或当在最小曝光值期间拍摄的图像为发白状态时，判断为摄像部件发生异常或环境处于不适合摄像的状态。
6、根据权利要求1所述的图像处理装置，其特征在于，
所述图像识别单元，当在最大曝光值期间拍摄的图像为发黑状态时，改变摄像环境以使曝光值成为最大而拍摄的图像不成为发黑状态，之后当在最大曝光值期间拍摄的图像是发黑状态时判断为摄像部件发生异常，当不是发黑状态时判断为环境处于不适合摄像的状态。
7、根据权利要求1所述的图像处理装置，其特征在于，
使所述曝光值成为最大而拍摄的图像不成为发黑状态那样的摄像环境是所述摄像部件拍摄给定光源的摄像环境。
8、根据权利要求1所述的图像处理装置，其特征在于，
所述图像识别单元，当在最小曝光值期间拍摄的图像为发白状态时，改变摄像环境以使曝光值成为最小而拍摄的图像不成为发白状态，之后当在最小曝光值期间拍摄的图像是发白状态时判断为摄像部件发生异常，当不是发白状态时判断为环境处于不适合摄像的状态。
9、根据权利要求1所述的图像处理装置，其特征在于，
使所述曝光值成为最小而拍摄的图像不成为发白状态的摄像环境是不让光源进入到所述摄像部件中而进行摄像的摄像环境。
10、根据权利要求1所述的图像处理装置，其特征在于，
所述图像识别单元，当由所述摄像部件进行的摄影是分成奇数段和偶数段的2次扫描进行的隔行扫描方式时，用1次扫描得到的图像进行浓度识别。
11、根据权利要求1所述的图像处理装置，其特征在于，
所述图像识别单元，在是所述隔行扫描方式的情形中，用第1次扫描得到的图像判断是否为发黑状态，用第2次扫描得到的图像判断是摄像部件发生异常或摄像环境处于不适合的状态。
12、根据权利要求1所述的图像处理装置，其特征在于，
所述图像识别单元，在是所述隔行扫描方式的情形中，用第1次扫描得到的图像判断是否为发白状态，用第2次扫描得到的图像判断是摄像部件发生异常或摄像环境处于不适合的状态。
13、根据权利要求1所述的图像处理装置，其特征在于，
包括通知单元，当在所述图像识别单元中判断摄像部件发生异常时，通知所述摄像部件发生异常一事。
14、一种图像处理装置，其特征在于，包括：
图像取得部件，其拍摄车辆周边的图像或从外部装置接收拍摄车辆周边的图像；
曝光控制部件，其根据所述图像取得部件取得的图像的浓度分布，控制摄影时的曝光值，并且在该曝光值自动控制期间中插入强制让曝光值成为最大值的最大曝光值期间和强制让曝光值成为最小值的最小曝光值期间；和
判定部件，其根据在所述曝光值自动控制期间、所述最大曝光值期间和/或所述最小曝光值期间拍摄的图像，判定摄像部件中有无异常和/或环境是否处于不适合摄像的状态。
15、根据权利要求14所述的图像处理装置，其特征在于，
进一步备有定时变更单元，变更控制由所述曝光控制部件产生的所述最大曝光值期间和所述最小曝光值期间的插入定时和/或插入间隔。
16、根据权利要求15所述的图像处理装置，其特征在于，
进一步备有定时设定单元，其根据自己车辆的车辆状态、自己车辆周边的周边状况、摄影图像的使用用途中的至少任一个，设定由所述定时变更单元进行的变更控制的内容。
17、根据权利要求14所述的图像处理装置，其特征在于，
进一步备有输出部件，其将由所述判定部件产生的判定结果输出到外部的车辆控制装置。
18、一种驾驶支援装置，其特征在于，包括：
图像信息取得部件，其取得由图像处理装置实施了处理的图像信息；
支援部件，其通过至少用所述图像信息控制车辆动作或向驾驶员提供信息，支援车辆行驶；和
支援动作变更部件，其当接收到表示在所述图像处理装置使用的摄影单元中发生异常的通知时，变更所述支援部件的动作内容。
19、根据权利要求18所述的驾驶支援装置，其特征在于，
进一步备有定时设定部件，其对于在根据图像的浓度分布的曝光值自动控制期间中插入强制让曝光值成为最大值的最大曝光值期间和强制让曝光值成为最小值的最小曝光值期间，并用在该最大曝光值期间和最小曝光值期间拍摄的图像进行摄影单元的异常判定的图像处理装置，根据自己车辆的车辆状态、自己车辆周边的周边状况、所述图像信息的使用用途中的至少任一个，设定并传送所述最大曝光值期间和最小曝光值期间的插入定时和/或插入间隔。
20、根据权利要求19所述的驾驶支援装置，其特征在于，
所述定时设定部件，至少用自己车辆与其它车辆的车间距离、自己车辆的行驶速度、用于车辆的动作控制的传动机构的应答速度中的任一个设定所述插入定时和/或插入间隔。
21、根据权利要求18所述的驾驶支援装置，其特征在于，
所述支援部件至少实施防止脱离行车线的保持行车线支援、支援调节车间距离的调节车间距离支援、避免车辆冲撞事故的避免冲撞支援、减轻发生冲撞事故时的损伤的缓和冲撞支援、使停车动作简易化的停车支援中的任一个。
22、根据权利要求18所述的驾驶支援装置，其特征在于，
所述支援动作变更部件，当接收到表示所述摄影单元中发生异常的通知时，中止所述支援部件的动作。
23、根据权利要求18所述的驾驶支援装置，其特征在于，
所述支援部件实施由车辆的动作控制产生的支援，所述支援动作变更部件，当接收到表示所述摄影单元中发生异常的通知时、将其它检测部件用作所述图像处理部件的替代部件使所述支援部件动作。
24、一种驾驶支援系统，其特征在于，包括：
图像取得部件，其取得摄影单元拍摄的图像；
曝光控制部件，其根据所述图像取得部件取得的图像的浓度分布，控制摄影时的曝光值，并且在该曝光值自动控制期间中插入强制让曝光值成为最大值的最大曝光值期间和强制让曝光值成为最小值的最小曝光值期间；
判定部件，其根据在所述曝光值自动控制期间、所述最大曝光值期间和/或所述最小曝光值期间拍摄的图像，判定摄像部件中有无异常和/或环境是否处于不适合摄像的状态；和
支援部件，其通过至少用所述图像控制车辆动作或向驾驶员提供信息，支援车辆行驶。
CNB2004100850731A 2003-10-15 2004-10-12 图像处理装置 Expired - Fee Related CN100391237C (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2003355476 2003-10-15
JP2003355476 2003-10-15
JP355476/2003 2003-10-15
JP2004257454A JP4738778B2 (ja) 2003-10-15 2004-09-03 画像処理装置、運転支援装置および運転支援システム
JP257454/2004 2004-09-03
JP2004257454 2004-09-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CNA2008100818147A Division CN101309363A (zh) 2003-10-15 2004-10-12 图像处理装置、驾驶支援装置和驾驶支援系统

Publications (2)

Publication Number Publication Date
CN1607818A true CN1607818A (zh) 2005-04-20
CN100391237C CN100391237C (zh) 2008-05-28

Family

ID=34525399

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100850731A Expired - Fee Related CN100391237C (zh) 2003-10-15 2004-10-12 图像处理装置

Country Status (3)

Country Link
US (1) US7557858B2 (zh)
JP (1) JP4738778B2 (zh)
CN (1) CN100391237C (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079957B (zh) * 2006-05-22 2010-10-13 富士通半导体股份有限公司 图像处理系统
CN101256713B (zh) * 2007-03-02 2010-12-08 富士通株式会社 驾驶支援系统及车载装置
CN102745134A (zh) * 2011-04-19 2012-10-24 株式会社本田艾莱希斯 检测装置以及检测方法
CN103227905A (zh) * 2012-01-30 2013-07-31 歌乐牌株式会社 车载摄像机用曝光控制装置
CN106030679A (zh) * 2014-01-23 2016-10-12 丰田自动车株式会社 车辆周围监视装置
CN107826038A (zh) * 2016-09-15 2018-03-23 株式会社小糸制作所 摄像机监视系统
CN109478233A (zh) * 2017-07-07 2019-03-15 丰田汽车欧洲股份有限公司 识别图像序列中的遮挡的原因的方法、执行所述方法的计算机程序，包含这种计算机程序的计算机可读记录介质、能够执行所述方法的驾驶辅助系统
CN111429369A (zh) * 2020-03-16 2020-07-17 北京迈格威科技有限公司 高动态范围图像生成方法、装置、电子设备及存储介质
CN113966526A (zh) * 2019-06-14 2022-01-21 马自达汽车株式会社 外部环境识别装置

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7616256B2 (en) * 2005-03-21 2009-11-10 Dolby Laboratories Licensing Corporation Multiple exposure methods and apparatus for electronic cameras
JP4598653B2 (ja) * 2005-05-13 2010-12-15 本田技研工業株式会社 衝突予知装置
JP2007088650A (ja) * 2005-09-21 2007-04-05 Noritsu Koki Co Ltd 画像処理装置及び画像処理方法
JP2007102417A (ja) * 2005-10-03 2007-04-19 Fujitsu Ten Ltd 画像処理装置
JP4738973B2 (ja) * 2005-10-17 2011-08-03 富士フイルム株式会社 画像の表示処理方法、画像処理装置及びプログラム
JP2007318558A (ja) * 2006-05-26 2007-12-06 Fujitsu Ten Ltd 画像処理装置
JP4950570B2 (ja) * 2006-06-20 2012-06-13 本田技研工業株式会社 撮像画像を基に照度を測定する車室内観測装置
JP4987573B2 (ja) * 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置
DE102008022064A1 (de) * 2008-05-03 2009-11-05 Adc Automotive Distance Control Systems Gmbh Verfahren zur Belichtungssteuerung für eine Kamera in einem Kraftfahrzeug
US8284250B2 (en) * 2009-01-16 2012-10-09 Microsoft Corporation Determining trigger rate for a digital camera
JP5386382B2 (ja) * 2010-01-18 2014-01-15 株式会社日立ハイテクインスツルメンツ 搭載カメラのチェック機能を有する電子部品装着装置
US9594956B2 (en) 2010-05-10 2017-03-14 Park Assist Llc. Method and system for managing a parking lot based on intelligent imaging
CA2858309C (en) * 2012-07-10 2015-08-18 Honda Motor Co., Ltd. Failure-determination apparatus
US8698896B2 (en) * 2012-08-06 2014-04-15 Cloudparc, Inc. Controlling vehicle use of parking spaces and parking violations within the parking spaces using multiple cameras
JP2014052811A (ja) * 2012-09-06 2014-03-20 Toshiba Tec Corp 情報処理装置及びプログラム
JP5940480B2 (ja) * 2013-03-13 2016-06-29 公益財団法人鉄道総合技術研究所 カメラ装置、正常性検出装置および映像表示システムならびに正常性検出方法
JP6253175B2 (ja) * 2013-03-14 2017-12-27 株式会社Ｓｕｂａｒｕ 車両の外部環境認識装置
KR101511853B1 (ko) * 2013-10-14 2015-04-13 영남대학교 산학협력단 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법
JP6060282B2 (ja) * 2014-01-10 2017-01-11 日立オートモティブシステムズ株式会社 車載カメラ画像処理装置
WO2015107928A1 (ja) * 2014-01-17 2015-07-23 ソニー株式会社 撮影システム、警告発生装置および方法、撮像装置および方法、並びにプログラム
JP5991332B2 (ja) * 2014-02-05 2016-09-14 トヨタ自動車株式会社 衝突回避制御装置
JP6273979B2 (ja) * 2014-04-01 2018-02-07 株式会社デンソー 制御装置、又は、制御システム
KR102310280B1 (ko) * 2014-10-23 2021-10-07 현대모비스 주식회사 차량 자율 주행 장치 및 차량 자율 주행 방법
JP6465055B2 (ja) * 2015-05-19 2019-02-06 株式会社デンソー 衝突回避支援装置、衝突回避支援方法
WO2016186175A1 (ja) * 2015-05-19 2016-11-24 株式会社デンソー 制動解除手段を備えた衝突回避支援装置および衝突回避支援方法
JP6407176B2 (ja) * 2016-01-22 2018-10-17 三菱電機株式会社 撮像装置及び故障検出方法、並びにプログラム及び記録媒体
EP3422187B1 (en) * 2016-02-24 2020-05-13 Sony Corporation Signal processing device, signal processing method, and program
US10706512B2 (en) * 2017-03-07 2020-07-07 Adobe Inc. Preserving color in image brightness adjustment for exposure fusion
JP2019217970A (ja) * 2018-06-21 2019-12-26 日本電産コパル株式会社 電子ミラー装置及び画像表示方法
JP7262044B2 (ja) * 2019-02-13 2023-04-21 パナソニックＩｐマネジメント株式会社 異常検出システム、移動体、異常検出方法、及びプログラム
WO2020189806A1 (ko) * 2019-03-15 2020-09-24 엘지전자 주식회사 차량 제어 장치
KR102266453B1 (ko) * 2020-09-18 2021-06-17 한국광기술원 용접 공정에서의 객체 트래킹 장치 및 방법
FR3128843B1 (fr) * 2021-11-03 2023-09-29 Psa Automobiles Sa Procédé et système pour gérer le fonctionnement d’une caméra et d’une interface homme-machine d’un véhicule automobile

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2817820B2 (ja) * 1991-09-04 1998-10-30 富士写真フイルム株式会社 ビデオカメラ用露出制御装置
JP3229049B2 (ja) * 1992-12-22 2001-11-12 富士写真フイルム株式会社 ビデオ・カメラ，プリンタ装置およびそれらの制御方法ならびにプリント禁止信号の検出装置および方法
KR0185909B1 (ko) * 1994-07-11 1999-05-01 김광호 비데오 카메라의 노출 조절장치
JPH08186761A (ja) * 1994-12-30 1996-07-16 Sony Corp ビデオカメラ装置及びビデオカメラ露出制御方法
JPH08240833A (ja) * 1995-03-02 1996-09-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
US6061091A (en) * 1996-05-30 2000-05-09 Agfa Gevaert N.V. Detection of and correction for specular reflections in digital image acquisition
JP3440722B2 (ja) * 1996-09-20 2003-08-25 ソニー株式会社 固体撮像装置およびその駆動方法並びにカメラ
JP2001527372A (ja) * 1997-12-31 2001-12-25 ジェンテクス・コーポレーション 車両視覚システム
JP2000207563A (ja) * 1999-01-20 2000-07-28 Fujitsu Ten Ltd 画像認識装置
JP3272694B2 (ja) * 1999-07-14 2002-04-08 富士重工業株式会社 フェールセーフ機能を有する車外監視装置
TW500971B (en) * 2000-06-28 2002-09-01 Sony Corp Exposure control device for camera mounted on electronic apparatus
JP4143279B2 (ja) * 2001-05-29 2008-09-03 富士フイルム株式会社 画像欠陥の検出方法および画像読取装置
JP3901573B2 (ja) * 2002-04-25 2007-04-04 富士通テン株式会社 画像認識システムにおける異常の診断装置
JP2005073296A (ja) * 2004-10-27 2005-03-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079957B (zh) * 2006-05-22 2010-10-13 富士通半导体股份有限公司 图像处理系统
CN101256713B (zh) * 2007-03-02 2010-12-08 富士通株式会社 驾驶支援系统及车载装置
CN102745134A (zh) * 2011-04-19 2012-10-24 株式会社本田艾莱希斯 检测装置以及检测方法
CN103227905A (zh) * 2012-01-30 2013-07-31 歌乐牌株式会社 车载摄像机用曝光控制装置
CN103227905B (zh) * 2012-01-30 2016-04-27 歌乐牌株式会社 车载摄像机用曝光控制装置
CN106030679B (zh) * 2014-01-23 2018-04-27 丰田自动车株式会社 车辆周围监视装置
CN106030679A (zh) * 2014-01-23 2016-10-12 丰田自动车株式会社 车辆周围监视装置
CN107826038A (zh) * 2016-09-15 2018-03-23 株式会社小糸制作所 摄像机监视系统
CN109478233A (zh) * 2017-07-07 2019-03-15 丰田汽车欧洲股份有限公司 识别图像序列中的遮挡的原因的方法、执行所述方法的计算机程序，包含这种计算机程序的计算机可读记录介质、能够执行所述方法的驾驶辅助系统
CN109478233B (zh) * 2017-07-07 2023-08-08 丰田汽车欧洲股份有限公司 识别图像序列中的遮挡的原因的方法、计算机可读记录介质、驾驶辅助系统
CN113966526A (zh) * 2019-06-14 2022-01-21 马自达汽车株式会社 外部环境识别装置
CN111429369A (zh) * 2020-03-16 2020-07-17 北京迈格威科技有限公司 高动态范围图像生成方法、装置、电子设备及存储介质
CN111429369B (zh) * 2020-03-16 2023-07-28 北京迈格威科技有限公司 高动态范围图像生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2005143083A (ja) 2005-06-02
JP4738778B2 (ja) 2011-08-03
US7557858B2 (en) 2009-07-07
US20050083432A1 (en) 2005-04-21
CN100391237C (zh) 2008-05-28

Similar Documents

Publication Publication Date Title
CN1607818A (zh) 图像处理装置、驾驶支援装置和驾驶支援系统
CN113271400B (zh) 成像装置和电子设备
CN1212724C (zh) 图像合成装置和方法
CN1607452A (zh) 用于监控车辆周围的摄像单元和装置
CN1941025A (zh) 通知控制装置和方法、记录介质及程序
CN1123211C (zh) 具有插值功能的图像拾取设备和插值方法
US8031261B2 (en) Image pickup apparatus with backlight correction and a method therefor
CN1673679A (zh) 前视监视设备
CN1909603A (zh) 图像处理方法和摄像设备
CN1922055A (zh) 车载显示装置、车载显示系统和车辆
JP2007142624A (ja) 車両搭載撮像装置
JP2009171122A (ja) 光源色温度推定方法、ホワイトバランス調整装置、及び画像認識装置
CN1670612A (zh) 投影机和图案图像显示方法
CN1812901A (zh) 碰撞安全车辆控制系统
CN1713742A (zh) 摄像装置
CN1858551A (zh) 基于全方位计算机视觉的工程车防盗报警系统
CN1492380A (zh) 使用了图像生成历史信息的图像的逆光处理
JP2007189369A (ja) カメラのレンズ汚れ検出装置及び画像表示システム
CN1756309A (zh) 图像捕获设备及控制方法、使计算机执行该方法的程序、图像处理设备
JP2010257282A (ja) 障害物検知装置、および当該装置を搭載した車両
US20200154083A1 (en) Image processing device, image processing method, program, and imaging device
JP2008053901A (ja) 撮像装置および撮像方法
CN1886983A (zh) 成像系统
CN1727987A (zh) 投影机和投影机的控制方法
CN1638437A (zh) 摄像系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080528

Termination date: 20171012