CN109195849B

CN109195849B - 摄像装置

Info

Publication number: CN109195849B
Application number: CN201780033000.3A
Authority: CN
Inventors: 野中进一; 门司龙彦
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi anstamo Co., Ltd
Priority date: 2016-08-05
Filing date: 2017-07-19
Publication date: 2021-09-07
Anticipated expiration: 2037-07-19
Also published as: US10810448B2; US20190303690A1; JPWO2018025632A1; CN109195849A; WO2018025632A1; EP3495222A1; JP6663622B2; EP3495222A4

Abstract

本发明提供在车辆行为传感器发生问题时能够发挥其补充作用的摄像装置。本发明的特征在于，包括：获取车辆的周围的图像的图像获取部；基于由上述图像获取部获取的图像推算上述车辆的行为信息的车辆行为推算部；获取由车辆行为传感器检测的上述车辆的行为信息的车辆行为获取部；和异常检测部，其通过对由上述车辆行为获取部获取的行为信息与由上述车辆行为推算部推算出的行为信息进行比较，检测上述车辆行为传感器的异常。

Description

摄像装置

技术领域

本发明涉及装载于车辆、能够掌握车辆的行为的摄像装置。

背景技术

在现有车辆中，车速传感器、转向传感器、横摆角速度(旋转角速度)传感器等测量车辆内部的状态、表示行为的传感器作为车辆行为传感器被普遍广泛利用。由于存在从这些车辆行为传感器获得的车辆行为信息中存在相关性的情况，所以已知有在任一车辆行为传感器发生问题的情况时、使用来自其它车辆行为传感器的信息对发生问题的情况的传感器进行补足的技术。

例如，在日本特开平11-59461号公报中，记载有在横摆角速度传感器变得异常的情况下，根据由检测轮速的速度传感器求取的左右的轮速之差(即，左右车轮的单位时间的移动距离之差)计算横摆角速度以代替的方法。

现有技术文献

专利文献

专利文献1：日本特开平11-208939号公报

发明内容

发明要解决的课题

但是存在如下问题，即，存在使用左右轮速之差不能反映安装于车轮的轮胎与路面的打滑，在如日本特开平11-59461号公报那样以轮速的速度传感器替代横摆角速度传感器时，不能计算实际的横摆角速度的情况。

特别是在轮胎与路面的摩擦系数变小的环境下打滑量变大，利用作为替代方式的轮速的速度传感器求得的横摆角速度与实际的横摆角速度的误差会增大。因此存在如下问题，即，如果将以替代方式获取的信息直接利用于例如车辆的轨道预测，则存在得到错误的轨道预测结果的情况，存在不能在用于事先基于轨道预测结果进行预测以避免冲突和脱轨的驾驶辅助和自动驾驶中获得充分的效果的情况。

本发明的目的在于提供在车辆行为传感器发生问题时能够发挥其补充作用的摄像装置。

用于解决课题的方法

本发明是为了达到上述的目的而完成的，其特征在于，包括：获取车辆的周围的图像的图像获取部；基于由上述图像获取部获取的图像推算上述车辆的行为信息的车辆行为推算部；获取由车辆行为传感器检测到的上述车辆的行为信息的车辆行为获取部；和异常检测部，其通过对由上述车辆行为获取部获取的行为信息与由上述车辆行为推算部推算出的行为信息进行比较，检测上述车辆行为传感器的异常。

发明效果

根据本发明，能够提供在车辆行为传感器发生问题时能够发挥其补充作用的摄像装置。

上述以外的问题、结构和效果能够通过以下的实施方式的说明而明了。

附图说明

图1是表示本发明的实施例1的摄像装置的结构的框图。

图2是表示捕捉到2个静止物体时的静止物体与车辆的位置关系的图。

图3是表示图1所示的车辆行为传感器信息诊断和行为信息选择部108的处理之一例的流程图。

图4是表示利用图1所示的车辆行为传感器信息诊断和行为信息选择部108的诊断结果的、车辆控制方法决定部109的处理之一例的流程图。

图5是表示本发明的实施例2的摄像装置的结构的框图。

具体实施方式

以下，使用附图对本发明的实施例的摄像装置进行详细说明。

(实施例1)

图1是表示本发明的实施例1的摄像装置的结构的框图。

本实施例的摄像装置100包括摄像部101a和101b、物体提取部102、障碍物和车道信息提取部103、地图信息生成和障碍物相对速度信息提取部104、静止物体信息提取部105、车辆行为信息推算部106、车辆行为传感器信息获取接口107、车辆行为传感器信息诊断和行为信息选择部108、车辆控制方法决定部109和车辆控制命令接口110。物体提取部102、障碍物和车道信息提取部103、地图信息生成和障碍物相对速度信息提取部104、静止物体信息提取部105、车辆行为信息推算部106、车辆行为传感器信息诊断和行为信息选择部108和车辆控制方法决定部109还存在由执行预先存储在未图示的存储部的软件的微型计算机(未图示)构成的情况，此外，还存在由各种逻辑电路(未图示)的组合、各种IC构成的情况。

该摄像装置100例如装载于车辆的前方，识别信号和标识、障碍物等，作为实现驾驶辅助和自动驾驶的系统的一部分来利用。该摄像装置100通过具有摄像部101a和摄像部101b这2个摄像部，能够作为能够立体地获取外界信息的立体摄像机进行动作。

作为立体摄像机的摄像装置100既可以如图1所示那样为具有摄像部101a和101b、物体提取部102、障碍物和车道信息提取部103、地图信息生成和障碍物相对速度信息提取部104、静止物体信息提取部105、车辆行为信息推算部106、车辆行为传感器信息获取接口107、车辆行为传感器信息诊断和行为信息选择部108、车辆控制方法决定部109和车辆控制命令接口110，也可以为车辆控制方法决定部109和车辆控制命令接口110设置在摄像装置100的外部的结构。在这种情况下，摄像装置100将地图信息生成和障碍物相对速度信息提取部104的输出和车辆行为传感器信息诊断和行为信息选择部108的输出通过未图示的接口(例如CAN)向外部输出。

摄像部101a和摄像部101b具有将光转换为电信号的摄像元件(未图示)和使光的像在摄像元件的摄像面成像的光学透镜(未图示)，输出在摄像部101a和摄像部101b分别每隔规定的时间间隔重复拍摄的图像。此外，摄像部101a与摄像部101b以按规定的距离分离的状态、朝向获取外界信息的方向(进行拍摄的方向，例如车辆的行进方向)固定于车辆。

物体提取部102通过对在相同时刻在摄像部101a拍摄的图像与在摄像部101b拍摄的图像这2个图像进行比较，观察偏差量(所谓的视差)的分布，从而获取在摄像部101a和摄像部101b拍摄的区域内存在物体的区域的提取和表示到达该物体的距离的距离信息。

障碍物和车道信息提取部103提取物体存在的图像区域的图像特征量，调查与预先登记的物体的特征量(可能成为车辆、步行者、其它交通上的障害的物体的图像的特征)的相似性，由此确定可能成为障碍物的物体，并且从表示道路的白线及缘石等的特征的特征量提取表示路面及路端的车道信息。

地图信息生成和障碍物相对速度信息提取部104根据由障碍物和车道信息提取部103得到的可能成为障碍物的物体的位置和车道信息，生成表示车道上或在其周边存在的可能成为障碍物的物体的配置和车道的信息的地图信息，并且根据过去的地图信息的上述物体的配置与当前的地图信息的上述物体的配置的变化提取上述物体的相对速度信息。

另一方面，静止物体信息提取部105提取由物体提取部102提取的物体存在的图像区域的图像特征量，调查与预先登记的静止物体的特征量(例如除了道路标识、前方道路标示、信号灯等立体物以外，在道路上用涂料等表示的人行横道、表示速度及方向限制等的道路标示、护栏及建筑物等道路周边的结构物等图像的特征)的相似性，由此确定静止物体，对所确定的静止物体进行距离及方位等位置信息的关联。

车辆行为信息推算部106通过追溯与由静止物体信息提取部105提取的静止物体相关联的距离及方位的位置信息的时间变化，推算迄今为止的车辆的行为(例如车速、横摆角速度等)。例如，根据静止物体的距离及方位的位置信息的时间变化进行的车辆的行为的推算能够通过利用以下的方法实现。

在图2中，G0和G1表示捕捉到的静止物体的位置，T0表示时刻0的车辆的位置，T1表示从时刻0起1秒后的车辆的位置，从车辆延伸出的箭头(以一点划线表示)的朝向表示各时刻的车辆朝着的方向。关于此时横摆角速度，各个箭头的朝向之差、即在连结G0和G1的直线与箭头交叉的点以正交于连结G0和G1的直线的方式引出的直线与箭头的交叉的角度即“e”和“e’”的和成为1秒左右转角。此外，以T0的坐标和T1的坐标为弦的圆弧的长度成为1秒左右的移动量、即速度，因此，能够通过从弦的长度和横摆角速度计算该圆弧的长度来计算速度，其中，该弦的长度由原点G0至T0的矢量T0(x0，y0)与G0至T1的矢量T1(x1，y1)之差的绝对值求取。G0至T0的矢量T0(x0，y0)和角度“e”能够利用以下的方法计算。B是G0至T0的距离。d是连结G0和G1的直线与连结G0和T0的直线形成的角度。A是G1至T0的距离。c是连结G0和G1的直线与连结G1和T0的直线形成的角度。a是T0的箭头与连结G1和T0的直线形成的角度。b是T0的箭头与连结G0和T0的直线形成的角度。B’是G0至T1的距离。d’是连结G0和G1的直线与连结G0和T1的直线形成的角度。A’是G1至T1的距离。c’是连结G0和G1的直线与连结G1和T1的直线形成的角度。a’是T1的箭头与连结G1和T1的直线形成的角度。b’是T1的箭头与连结G0和T1的直线形成的角度。

G0至T0的矢量T0(x0，y0)和角度“e”使用三角函数如以下那样用x0＝B×SIN[d]y0＝B×COS[d]d＝arcTAN{A×{SIN[a+b]}÷{B-A{COS[a+b]}}e＝0.5×π-b-d求取。

G0至T1的矢量T1(x1，y1)和角度“e’”使用三角函数如以下那样用x1＝B’×SIN[d’]y1＝B’×COS[d’]d’＝arcTAN{A’×{SIN[a’+b’]}÷{B’-A’{COS[a’+b’]}}e’＝0.5×π-b’-d’求取。

进一步，关于连结T0和T1的圆弧的长度(＝V)，能够由横摆角速度(＝Yr)和旋转半径(＝R)计算，如以下那样，V＝{e+e’}×R的关系式成立。

上述R能够由以直线连结T0和T1的弦的长度(L＝)和横摆角速度计算，计算式如以下那样，为R＝0.5×L÷COS[0.5×{e+e’}]L＝√{(x1-x0)×(x1-x0)+(y1-y0)×(y1-y0)}。在车辆行为信息推算部106，如上述那样推算车辆行为信息。

返回图1的说明，车辆行为传感器信息获取接口107是用于获取来自配置在车辆各处的未图示的车辆行为传感器(例如车速传感器、转向传感器、横摆角速度传感器、右轮速传感器、左轮速传感器)的信息的接口，例如利用CAN等通信方式，将由车辆行为传感器获得的车速信息、横摆角速度信息、转向信息等转入摄像装置100。

车辆行为传感器信息诊断和行为信息选择部108通过对由车辆行为信息推算部106推算的车辆行为信息与经由车辆行为传感器信息获取接口107得到的来自车辆行为传感器的车辆行为信息进行比较，诊断从车辆行为传感器得到的信息的正确性，选择与诊断结果相应的车辆行为信息而输出，并且将关于输出数据的组成进行通知的信息一并输出。

例如，在车辆行为传感器信息诊断和行为信息选择部108，在令由车辆行为信息推算部106推算的横摆角速度信息为Yrp、令由车辆行为传感器得到的横摆角速度信息为Yrs时，如果Yrp与Yrs的误差的比例Yrr(＝“例如{1-Yrs÷Yrp}的绝对值”)比预先设定的任意的判定阈值Dy小则判断车辆行为传感器中的横摆角速度传感器的状态为良好，作为车辆行为信息将车辆行为传感器的信息直接向车辆控制方法决定部109输出，并且作为诊断结果将车辆行为传感器的状态为良好的意思通知给车辆控制方法决定部109。

此外，在车辆行为传感器信息诊断和行为信息选择部108，在误差的比例Yrr为判定阈值Dy以上的情况下，判断为在车辆行为传感器(例如横摆角速度传感器)的输出值存在异常，将根据具有相关性的其它车辆行为传感器(例如，左右的轮速传感器)的检测结果计算出的替代横摆角速度信息Yrsp或由车辆行为信息推算部106推算的车辆行为信息即横摆角速度信息Yrp向车辆控制方法决定部109输出，并且作为诊断结果将车辆行为传感器的状态中存在问题的意思通知给车辆控制方法决定部109。

此外，在车辆行为传感器信息诊断和行为信息选择部108，在车辆行为传感器的状态中存在问题的情况下，关于是将根据其它车辆行为传感器的检测结果计算出的替代横摆角速度信息Yrsp向车辆控制方法决定部109输出还是将由上述车辆行为信息推算部106推算的车辆行为信息即横摆角速度信息Yrp向车辆控制方法决定部109输出的判断，与由上述的车辆行为传感器(横摆角速度传感器)获得的横摆角速度信息Yrs的诊断一样，对由车辆行为信息推算部106推算的车辆行为信息即横摆角速度信息Yrp与根据其它车辆行为传感器的检测结果计算出的替代横摆角速度信息Yrsp的误差的比例(第二误差的比例)进行评价，如果该第二误差的比例Yrr2比预先设定的任意的第二判定阈值Dy2小则向车辆控制方法决定部109输出替代横摆角速度信息Yrsp，如果第二误差的比例Yrr2比第二判定阈值Dy2大则向车辆控制方法决定部109输出横摆角速度信息Yrp。不过，即使在处于向车辆控制方法决定部109输出由车辆行为信息推算部106推算的横摆角速度信息Yrp的状态的情况下，也存在由于静止物体的捕捉状况等原因而不能计算出横摆角速度信息Yrp的情况，因此，在这种情况下将替代横摆角速度信息Yrsp的值向车辆控制方法决定部109输出。

参照图3的流程图，对车辆行为传感器信息诊断和行为信息选择部108的、基于上述的车辆行为传感器的诊断处理和诊断结果的输出处理进行进一步说明。

在步骤301中，判定误差的比例Yrr是否小于阈值Dy，在小于的情况下，前进至步骤310，将由横摆角速度传感器获得的横摆角速度信息Yrs向车辆控制方法决定部109输出，作为诊断结果将横摆角速度传感器的状态为良好的意思通知给车辆控制方法决定部109。此外，在步骤310中，将阈值A设定为初始值。之后，在步骤311中，等待触发输入、即例如参照图2说明的图像处理(例如通过计时器中断执行)的执行周期的经过，如果已经经过则返回步骤301。

在步骤301中，在误差的比例Yrr为阈值Dy以上的情况下，前进至步骤302。在步骤302中，NO(否)的比例是指在步骤301的判定中成为YES(是)(误差的比例Yrr小于阈值Dy)的次数与成为NO(误差的比例Yrr为阈值Dy以上)的次数的比例，成为NO的次数越增加NO的比例就越大。在步骤302中，判定该NO的比例是否小于阈值A。这是为了将由横摆角速度传感器获得的横摆角速度信息Yrs由于噪声等而临时表示异常的值的情况除外。

在步骤302中，在NO的比例小于阈值A的情况下前进至步骤310，将由横摆角速度传感器获得的横摆角速度信息Yrs向车辆控制方法决定部109输出，作为诊断结果将横摆角速度传感器的状态为良好的意思通知给车辆控制方法决定部109。此外，在步骤310中，将阈值A设定为初始值。之后，在步骤311中，等待触发输入、即例如参照图2说明的图像处理(例如通过计时器中断执行)的执行周期的经过，如果已经经过则返回步骤301。

在步骤302中，在NO的比例为阈值A以上的情况下前进至步骤303。

在步骤303中，将阈值A变更为小于初始值的值，之后前进至步骤304。

接着，在步骤304中，判定误差的比例Yrr2是否小于阈值Dy2，在小于的情况下，前进至步骤312，将根据其它车辆行为传感器(例如，左右的轮速传感器)的检测结果计算出的替代横摆角速度信息Yrsp向车辆控制方法决定部109输出，作为诊断结果，将根据其它车辆行为传感器的检测结果计算出的替代横摆角速度信息Yrsp为良好的意思通知给车辆控制方法决定部109，此外，将已经输出根据其它车辆行为传感器的检测结果计算出的替代横摆角速度信息Yrsp的意思通知给车辆控制方法决定部109。此外，在步骤312中，将阈值B设定为初始值。之后，在步骤313中，等待触发输入、即例如参照图2说明的图像处理(例如，通过计时器中断执行)的执行周期的经过，如果已经经过则返回步骤301。

在步骤304中，在误差的比例Yrr2为阈值Dy2以上的情况下前进至步骤305。在步骤305中，NO的比例是指步骤304的判定中成为YES(误差的比例Yrr2小于阈值Dy2)的次数与成为NO(误差的比例Yrr2为阈值Dy2以上)的次数的比例，成为NO的次数越增加NO的比例就越大。在步骤305中，判定该NO的比例是否小于阈值B。这是为了将替代横摆角速度信息Yrsp由于噪声等而临时表示异常的情况除外。

在步骤305中，在NO的比例小于阈值B的情况下前进至步骤312，将替代横摆角速度信息Yrsp向车辆控制方法决定部109输出，作为诊断结果，将根据其它车辆行为传感器的检测结果计算出的替代横摆角速度信息Yrsp为良好的意思通知给车辆控制方法决定部109，此外，将已经输出根据其它车辆行为传感器的检测结果计算出的替代横摆角速度信息Yrsp的意思通知给车辆控制方法决定部109。此外，在步骤312中，将阈值B设定为初始值。之后，在步骤313中，等待触发输入、即例如参照图2说明的图像处理(例如，通过计时器中断执行)的执行周期的经过，如果已经经过则返回步骤301。

在步骤305中，在NO的比例为阈值B以上的情况下前进至步骤306。

在步骤306中，将阈值B变更为小于初始值的值，之后前进至步骤307。

接着，在步骤307中，判定是否能够计算出由车辆行为信息推算部106推算的车辆行为信息即横摆角速度信息Yrp。如上所述，根据由摄像部101a和101b拍摄到的图像，存在由于静止物体的捕捉状况等原因而不能计算出横摆角速度信息Yrp的情况。在步骤307中，在不能计算出横摆角速度信息Yrp的情况下前进至步骤312。在该步骤312中，将替代横摆角速度信息Yrsp向车辆控制方法决定部109输出，作为诊断结果将不能计算出横摆角速度信息Yrp的意思通知给车辆控制方法决定部109，此外，将输出根据其它车辆行为传感器的检测结果计算出的替代横摆角速度信息Yrsp的意思通知给车辆控制方法决定部109。此外，在该步骤312中，将阈值B设定为初始值。之后，在步骤313中，等待触发输入、即例如参照图2说明的图像处理(例如，通过计时器中断执行)的执行周期的经过，如果已经经过则返回步骤301。

在步骤307中，在能够计算出横摆角速度信息Yrp的情况下前进至步骤308，在步骤308中，将横摆角速度信息Yrp向车辆控制方法决定部109输出，作为诊断结果将能够计算出横摆角速度信息Yrp的意思通知给车辆控制方法决定部109，此外，将输出横摆角速度信息Yrp的意思通知给车辆控制方法决定部109。此外，在步骤308中，既存在可以将阈值B设定为初始值的情况，也存在可以不改变阈值B的情况。之后，在步骤309中，等待触发输入、即例如参照图2说明的图像处理(例如，通过计时器中断执行)的执行周期的经过，如果已经经过则返回步骤301。

另外，在本实施例中，以由横摆角速度传感器检测到的横摆角速度为例进行了说明，但是本发明并不限定于此，车辆行为传感器信息诊断和行为信息选择部108能够对来自车速传感器、加速度传感器等其它车辆行为传感器的信息也利用由车辆行为信息推算部106推算的车辆行为信息进行同样的诊断，与诊断结果相应的行为信息的输出也同时进行。

返回图1的说明，车辆控制方法决定部109将由地图信息生成和障碍物相对速度信息提取部104生成的地图信息、放在地图上的障碍物的相对速度信息与根据车辆行为信息推算的将来的车辆的轨道进行对照，评价自车道的脱轨和与障碍物的冲突的可能性。在该评价的结果是判断在继续当前的车辆的行为状态的情况下会从车道脱轨、或者存在与障碍物冲突的危险的情况下，生成表示用于避免该情况的车辆控制方法(转向调节和速度调节)的控制命令、表示向驾驶者输出警报的命令的信息。

进一步，车辆控制方法决定部109同时实现如下功能：从上述地图信息提取可行驶区域，进行转向调节、速度调节并同时生成表示用于自动地在可行驶区域行驶的车辆控制方法的控制命令。

此处，关于上述生成表示用于自动地在可行驶区域行驶的车辆控制方法的控制命令时的速度调节的调节量，参照由车辆行为传感器信息诊断和行为信息选择部108诊断的车辆行为传感器的状态，由与车辆行为传感器的状态相应地任意设定的限制值限制。例如，在所有车辆行为传感器的状态为良好的情况下(例如，到步骤310的情况下)，采取常规行驶状态(例如，如果是高速道路则令最高速度以100km/h＝道路规章的最高限制速度为目标)。此外，在判断为虽然在所有车辆行为传感器中至少一个车辆行为传感器的状态中存在问题但是由具有相关性的其它车辆行为传感器计算出的替代信息的精度高的情况下(例如，在步骤304为YES而前进至步骤312的情况下)，以通过采取中速行驶状态(例如，如果是高速道路则令最高速度以50km/h＝的最低限制速度为目标)，使由于车辆行为信息的不确定性而产生的将来的车辆的预测轨道与实际的轨道偏离量在一次处理单位时间的观点上小，从而吸收偏离量的方式，调节控制量，由此能够容易地进行修正。进一步，在判断为由车辆行为传感器计算出的替代信息的精度低的状态下(例如，在步骤307为NO而前进至步骤312的情况下和前进至步骤308的情况下)，通过使危险警示灯点亮等促使其它交通注意并采取低速行驶状态(例如，令最高速度为10km/h＝徐行程度)，与上述中速行驶状态相比能够更加容易地修正轨道的偏离。参照图4对该处理进行进一步说明。

首先，在步骤401，判定车辆行为传感器(例如横摆角速度传感器)的状态是否良好、即是否收到了图3的步骤310的车辆行为传感器的状态为良好的意思的通知。在步骤401判定为良好的情况下，前进至步骤410。在步骤410中，以进行上述的常规行驶状态的控制的方式进行设定，此外，将阈值C设定为初始值。之后，在步骤411中，等待触发输入、即例如参照图2说明的图像处理(例如，通过计时器中断执行)的执行周期的经过，如果已经经过则前进至步骤409。在步骤409中，判定是否为自动控制的结束(例如，是否有了驾驶者的自动控制结束指示)，在步骤409中，如果为自动控制的结束则结束处理，如果不是自动控制的结束则返回步骤401。

在步骤401判定为不是良好的情况下，前进至步骤402。在步骤402中，NO次数是指在步骤401的判定中成为NO(车辆行为传感器的状态不是良好)的次数。在步骤402中，判定该NO次数是否少于阈值C。这是为了使得不会由于噪声的影响而频繁地发生常规行驶状态、中速行驶状态、低速行驶状态的转变而在控制状态的判定中设置迟滞。

在步骤402中，在NO次数少于阈值C的情况下前进至步骤410。在步骤410中，以进行上述的常规行驶状态的控制的方式进行设定，此外，将阈值C设定为初始值。之后，在步骤411中，等待触发输入、即例如参照图2说明的图像处理(例如，通过计时器中断执行)的执行周期的经过，如果已经经过则前进至步骤409。在步骤409中，判定是否为自动控制的结束(例如，是否有了驾驶者的自动控制结束指示)，在步骤409中，如果为自动控制的结束则结束处理，如果不是自动控制的结束则返回步骤401。

在步骤402中，在NO次数为阈值C以上的情况下前进至步骤403。

在步骤403中，将阈值C变更为小于初始值的值，之后前进至步骤404。

接着，在步骤404中，判定根据作为替代传感器的其它车辆行为传感器(例如，左右的轮速传感器)的检测结果计算出的替代信息(例如，替代横摆角速度信息Yrsp)是否为良好、即是否收到了在图3的步骤304判定为YES而前进至步骤312的情况下或在图3的步骤305判定为YES而前进至步骤312的情况下的步骤312的根据其它车辆行为传感器的检测结果计算出的替代信息(例如，替代横摆角速度信息Yrsp)为良好的意思的通知。在步骤404中判定为良好的情况下前进至步骤412。在步骤412中，以进行上述的中速行驶状态的控制的方式进行设定，此外，将阈值D设定为初始值。之后，在步骤413中，等待触发输入、即例如参照图2说明的图像处理(例如，通过计时器中断执行)的执行周期的经过，如果已经经过则前进至步骤409。在步骤409中，判定是否为自动控制的结束(例如，是否有了驾驶者的自动控制结束指示)，在步骤409中，如果为自动控制的结束则结束处理，如果不是自动控制的结束则返回步骤401。

在步骤404中判定为不是良好的情况下，前进至步骤405。在步骤405中，NO次数是指在步骤404的判定成为NO(根据其它车辆行为传感器的检测结果计算出的替代信息不是良好)的次数。在步骤405中，判定该NO次数是否少于阈值D。这是为了使得不会由于噪声的影响而频繁地发生常规行驶状态、中速行驶状态、低速行驶状态的转变而在控制状态的判定中设置迟滞。

在步骤405中，在NO次数少于阈值D的情况下前进至步骤412。在步骤412中，以进行上述的中速行驶状态的控制的方式进行设定，此外，将阈值D设定为初始值。之后，在步骤413中，等待触发输入、即例如参照图2说明的图像处理(例如，通过计时器中断执行)的执行周期的经过，如果已经经过则前进至步骤409。在步骤409中，判定是否为自动控制的结束(例如，是否有了驾驶者的自动控制结束指示)，在步骤409中，如果为自动控制的结束则结束处理，如果不是自动控制的结束则返回步骤401。

在步骤405中，在NO次数为阈值D以上的情况下前进至步骤406。

在步骤406中，将阈值D变更为小于初始值的值，之后前进至步骤407。

在步骤407中，以进行上述的低速行驶状态的控制的方式进行设定。之后，在步骤408中，等待触发输入、即例如参照图2说明的图像处理(例如，通过计时器中断执行)的执行周期的经过，如果已经经过则前进至步骤409。在步骤409中，判定是否为自动控制的结束(例如，是否有了驾驶者的自动控制结束指示)，在步骤409中，如果为自动控制的结束则结束处理，如果不是自动控制的结束则返回步骤401。

另外，在上述低速行驶状态下，设想利用由车辆行为信息推算部106推算的车辆行为信息作为主要的车辆行为信息，在用于生成由车辆行为信息推算部106推算的车辆行为信息的静止物体的捕捉状态良好而能够稳定地获取车辆行为信息的情况下，也可以在能够以对车辆的控制的反馈充分发挥作用的频度更新车辆行为信息(即，能够以高帧率驱动摄像部101a、101b，以与之相称的频度获取车辆行为信息)范围内，变更上述低速行驶状态下的最高速度的设定。

此外，在车辆的自动控制中，关于转向的控制量的限制，考虑车辆固有的转向性能地设置与行驶速度相应的转向的限制值。

返回图1的说明，车辆控制命令接口110是用于将表示由车辆控制方法决定部109生成的车辆控制方法的控制命令、表示向驾驶者输出警报的命令的信息向外部(例如，未图示的各种电子控制装置)输出的接口，例如与CAN等通信网络连接，遵照网络的协议输出表示由车辆控制方法决定部109生成的车辆控制方法的控制命令、表示向驾驶者输出警报的命令的信息。在各种电子控制装置中，能够遵照通过该车辆控制命令接口110获得的各种命令执行车辆的自动控制。

在上述的摄像装置100，关于摄像部101a、101b，对于由光学透镜与摄像元件的组合构筑，进行对摄像部101a、101b的摄像结果(拍摄图像)进行分析的外界识别处理(例如，物体提取部102、障碍物和车道信息提取部103、地图信息生成和障碍物相对速度信息提取部104、静止物体信息提取部105)、对利用由外界识别结果得到的从过去至现在的实际的车辆行为信息(例如，通过车辆行为信息推算部106获得)后的行为传感器的状态进行诊断处理(例如，车辆行为传感器信息诊断和行为信息选择部108)、恰当的车辆行为信息的选择处理(例如，车辆行为传感器信息诊断和行为信息选择部108)、将来的行为预测处理(例如，车辆控制方法决定部109)、与车辆行为传感器的状态相应的恰当的车辆控制命令的生成处理(例如，车辆控制方法决定部109)这一系列处理，通过将进行运算处理的硬件逻辑和微型计算机等运算单元与运算处理程序进行组合而构筑。

根据上述的摄像装置100，能够根据通过对摄像部101a、101b的摄像结果(拍摄图像)进行分析而获得的外界识别结果把握从过去至现在的实际的车辆行为信息，使用实际的车辆行为信息诊断车辆行为传感器的状态。

进一步，根据上述的摄像装置100，能够通过基于诊断结果选择恰当的车辆行为信息，恰当地进行将来的行为预测，因此能够生成与车辆行为传感器的状态相应的恰当的车辆控制命令。

(实施例2)

图5是表示本发明的实施例2的摄像装置的结构的框图。在图5中，对与图1所示的实施例1相同的结构，标注相同的附图标记，省略详细的说明。

在实施例2的摄像装置500中，代替实施例1的摄像装置100的摄像部101a和101b设置有主动雷达部501和摄像部502。

摄像部502为与摄像部101b相同的结构。主动雷达部501是照射电磁波、激光等，通过接收其反射波而获取到达对象物的距离信息的装置。

在实施例1中，为了把握外界信息而设置摄像部101a和101b这2个摄像部进行立体匹配处理，不过本发明并不限定于此，只要具有能够把握外界信息的结构即可，例如，也可以如图5所示那样，作为用于物体提取的外界传感器具备主动雷达部501。

在摄像装置500中，利用通过主动雷达部501获得的距离信息，提取到达对象物的距离、与对象物的相对速度信息，根据由摄像部502获取的图像信息进行对象物的存在方向和物体的识别。

＜附录1＞

另外，以上说明的实施例为

1.一种摄像装置，其特征在于，包括：获取车辆的周围的图像的图像获取部(例如，摄像部101a、101b，502)；

基于由上述图像获取部获取的图像推算上述车辆的行为信息的车辆行为推算部(例如，车辆行为信息推算部106)；

获取由车辆行为传感器(例如，横摆角速度传感器，车速传感器，加速度传感器)检测到的上述车辆的行为信息的车辆行为获取部(例如，车辆行为传感器信息获取接口107)；和

通过对由上述车辆行为获取部获取的行为信息与由上述车辆行为推算部推算出的行为信息进行比较，检测上述车辆行为传感器的异常的异常检测部(例如，车辆行为传感器信息诊断和行为信息选择部108)，因此，能够提供在车辆行为传感器发生问题时能够通过检测其异常而发挥其补充作用的摄像装置。

此外，以上说明的实施例为

2.如1.中记载的摄像装置，其特征在于：

包括车辆行为信息选择部(例如，车辆行为传感器信息诊断和行为信息选择部108)，其在由上述异常检测部检测到异常的情况下，选择由上述车辆行为获取部获取的行为信息或由上述车辆行为推算部推算出的行为信息，因此，存在能够通过不选择存在异常的行为信息以不进行错误的控制的情况。

此外，以上说明的实施例为

3.如2.中记载的摄像装置，其特征在于，包括：

从由上述图像获取部获取的图像提取外界信息的外界信息提取部(例如，物体提取部102，障碍物和车道信息提取部103，地图信息生成和障碍物相对速度信息提取部104，静止物体信息提取部105)；和

基于由上述车辆行为信息选择部选择的行为信息和由上述外界信息提取部提取的外界信息，决定上述车辆的控制内容的控制方法决定部(例如，车辆控制方法决定部109)，因此，存在能够通过不选择存在异常的行为信息而决定正确的控制内容的情况。

此外，以上说明的实施例为

4.如3.中记载的摄像装置，其特征在于：

上述车辆行为传感器为多个车辆行为传感器，

上述车辆行为获取部获取由上述多个车辆行为传感器分别检测到的上述车辆的行为信息的单元，

上述异常检测部为如下单元：在检测到上述多个车辆行为传感器中的一个车辆行为传感器的异常的情况下，通过对由上述车辆行为获取部获取的、由上述多个车辆行为传感器中的与上述一个车辆行为传感器不同的其它车辆行为传感器检测到的上述车辆的行为信息与由上述车辆行为推算部推算出的行为信息进行比较，来进行上述其它车辆行为传感器的诊断，

上述控制方法决定部基于上述异常检测部的上述其它车辆行为传感器的诊断结果，决定上述控制内容，因此，存在能够还考虑替代传感器(其它车辆行为传感器)的异常地执行正确的控制的情况。

此外，以上说明的实施例为

5.如4.中记载的摄像装置，其特征在于：

上述控制方法决定部在上述异常检测部的上述其它车辆行为传感器的诊断结果为良好的情况下，基于由上述其它车辆行为传感器检测到的上述车辆的行为信息决定上述控制内容，因此，存在能够与替代传感器(其它车辆行为传感器)的异常相应地执行正确的控制的情况。

此外，以上说明的实施例为

6.如4.中记载的摄像装置，其特征在于：

上述控制方法决定部在上述异常检测部的上述其它车辆行为传感器的诊断结果表示良好的情况下，基于由上述车辆行为推算部推算出的行为信息决定上述控制内容，因此，存在能够与替代传感器(其它车辆行为传感器)的异常相应地执行正确的控制的情况。

此外，以上说明的实施例为

7.如3.中记载的摄像装置，其特征在于：

上述图像获取部为多个摄像部，

上述外界信息提取部从上述多个摄像部获取的图像提取外界信息，因此，存在能够利用具有多个摄像部的简单的结构进行立体拍摄，以高精度提取外界信息的情况。

此外，以上说明的实施例为

8.如1.中记载的摄像装置，其特征在于：

上述图像获取部为多个摄像部，

上述车辆行为推算部基于上述多个摄像部获取的图像推算上述车辆的行为信息，因此，存在能够利用具有多个摄像部的简单的结构进行立体拍摄，以高精度推算车辆的行为信息的情况。

另外，本发明并不限定于上述的实施例，也包括各种变形例。

例如，上述实施例是为了易于理解地说明本发明而详细说明的，并不限定于必须包括说明的所有结构。此外，能够将一个实施例的结构的一部分替换到另一个实施例的结构，此外，还能够在一个实施例的结构中加入另一个实施例的结构。此外，能够对各实施例的结构的一部分进行其它结构的追加、删除、替换。

附图标记的说明

101a…摄像部

101b…摄像部

102…物体提取部

103…障碍物和车道信息提取部

104…地图信息生成和障碍物相对速度信息提取部

105…静止物体信息提取部

106…车辆行为信息推算部

107…车辆行为传感器信息获取接口

108…车辆行为传感器信息诊断和行为信息选择部

109…车辆控制方法决定部

110…车辆控制命令接口

501…主动雷达部

502…摄像部。

Claims

1.一种摄像装置，其特征在于，包括：

检测车辆的周围的物体而将所述车辆与物体的距离和方位的位置关系作为物体信息获取的物体提取部；

获取拍摄所述车辆的周围的物体而得的图像的图像获取部；

静止物体信息提取部，其从由所述图像获取部获取的图像基于其特征量确定静止物体，对所述确定的静止物体进行由所述物体提取部获取的所述物体信息的关联，由此按任意的时刻生成表示所述车辆与周围的静止物体的位置的位置关系的相对位置信息；

基于所述相对位置信息的每任意时刻的变化量推算所述车辆的行为信息的车辆行为推算部；

获取由多个车辆行为传感器分别检测到的所述车辆的行为信息的车辆行为获取部；

从由所述图像获取部获取的图像提取外界信息的外界信息提取部；

异常检测部，其通过对由所述车辆行为获取部获取的行为信息与由所述车辆行为推算部推算出的行为信息进行比较，来检测所述车辆行为传感器的异常；

车辆行为信息选择部，其在由所述异常检测部检测到异常的情况下，选择由所述车辆行为获取部获取的行为信息或者由所述车辆行为推算部推算出的行为信息；和

控制方法决定部，其基于由所述车辆行为信息选择部选择出的行为信息和由所述外界信息提取部提取出的外界信息，决定所述车辆的控制内容，

所述异常检测部在检测到所述多个车辆行为传感器中的一个车辆行为传感器的异常的情况下，通过对由所述车辆行为获取部获取的、由所述多个车辆行为传感器中的与所述一个车辆行为传感器不同的其它车辆行为传感器检测到的所述车辆的行为信息与由所述车辆行为推算部推算出的行为信息进行比较，来进行所述其它车辆行为传感器的诊断，

所述控制方法决定部，

在所述异常检测部的所述车辆行为传感器的诊断结果为全部的所述车辆行为传感器都是良好的情况下，不用限制值限制所述车辆的控制内容地进行控制，

在所述异常检测部的所述车辆行为传感器的诊断结果中的至少一个所述车辆行为传感器的状态存在问题、但是判断为从具有相关性的其它所述车辆行为传感器计算出的代替信息的精度高的情况下，用第1限制值限制所述车辆的控制内容地进行控制，

在所述异常检测部的所述车辆行为传感器的诊断结果中的至少一个所述车辆行为传感器的状态存在问题、且判断为从具有相关性的其它所述车辆行为传感器计算出的代替信息的精度低的情况下，用第2限制值限制所述车辆的控制内容地进行控制。

2.如权利要求1所述的摄像装置，其特征在于：

所述图像获取部为多个摄像部，

所述外界信息提取部从由所述多个摄像部获取的图像提取外界信息。

3.如权利要求1所述的摄像装置，其特征在于：

所述图像获取部为多个摄像部，

所述车辆行为推算部基于由所述多个摄像部获取的图像推算所述车辆的行为信息。

4.如权利要求1所述的摄像装置，其特征在于：

所述异常检测部，求取由所述车辆行为获取部获取的行为信息与由所述车辆行为推算部推算出的行为信息的误差，在误差为规定的阈值以下时判断为相应的所述车辆行为传感器的状态为良好，在误差大于所述阈值时判断为相应的所述车辆行为传感器的状态存在问题。

5.如权利要求4所述的摄像装置，其特征在于：

所述异常检测部，基于过去求得的所述误差成为所述阈值以下的次数与成为大于所述阈值的次数的比率，判断相应的所述车辆行为传感器的状态。