CN111971528B

CN111971528B - 车载摄像机装置

Info

Publication number: CN111971528B
Application number: CN201980026003.3A
Authority: CN
Inventors: 大场卫
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-04-23
Filing date: 2019-04-12
Publication date: 2022-06-03
Anticipated expiration: 2039-04-12
Also published as: JP6877636B2; JPWO2019208257A1; CN111971528A; WO2019208257A1

Abstract

本发明的目的在于提供一种即便在先行车辆的一部分进入了车载摄像机装置的死角的情况下也能继续车间距离的准确的测定的车载摄像机装置。本发明的车载摄像机装置具备：两个摄像部，它们左右靠近配置；视差测距部，其根据这两个摄像部拍摄到的一对拍摄图像的视差来测定与该拍摄图像中的障碍物的距离；特征点提取部，其从一摄像部的拍摄图像中提取所述障碍物的特征点；单眼测距部，其根据所述视差测距部测定出的距离和所述视差测距部测定出距离之后的所述特征点的移动距离来测定与所述拍摄图像中的障碍物的距离；以及距离输出部，其选择所述视差测距部和所述单眼测距部测定出的与所述障碍物的距离中的一方来输出。

Description

车载摄像机装置

技术领域

本发明涉及根据拍摄图像来测定与先行车辆的车间距离的车载摄像机装置。

背景技术

作为根据拍摄图像来测定与先行车辆的车间距离的车载摄像机装置，已知有通过利用靠近配置的两个摄像机(立体摄像机)的视差的多眼视角来测定车间距离的装置。

例如，专利文献1的权利要求1中记载了“一种车辆用距离检测装置，其特征在于，具备针对车外的设定范围内的对象而从互不相同的方向拍摄多张图像的摄像系统，并且在图像处理单元中配备有一致度计算部和偏移量决定部，所述图像处理单元对上述摄像系统拍摄到的多张图像进行处理而输出整个图像上的距离分布，所述一致度计算部对应于上述摄像系统拍摄到的多张图像而针对每一规定区域来高速地计算一致度，所述偏移量决定部根据上述一致度计算部计算出的一致度的最小值来决定上述多张图像的对应的像素位置的偏移量作为上述距离分布相关的信息”。

现有技术文献

专利文献

专利文献1：日本专利特开平5-114099号公报

发明内容

发明要解决的问题

在将拍摄车辆前方的车载摄像机装置安装在车室内的情况下，根据其安装位置的不同，有时会在车辆前方产生死角。通常而言，摄像机的仰角方向的视场角是固定的，因此，车载摄像机装置的安装位置越高，车辆前方的死角便越是增加。

于是，越接近先行车辆，先行车辆进入死角的可能性就越高，在利用立体摄像机来检测先行车辆的专利文献1的方式中，大多情况下无法检测车间距离。

尤其是车高较高的厢式车辆，除了因车载摄像机装置的设置位置的高度的影响而导致死角较大这一结构以外，即便是在与普通乘用车相同的车间距离的情况下，由于短车头的影响，先行车辆与车载摄像机装置的距离也会缩短，因此，即便确保了一定程度的车间距离，先行车辆的一部分进入死角的可能性也较高。由于这样的结构上的问题，厢式车辆与普通乘用车相比，无法利用立体摄像机来测定车间距离的情况要多一些。

本发明是立足于这些问题而成，其目的在于提供一种即便在先行车辆的一部分进入了车载摄像机装置的死角的情况下也能继续车间距离的准确的测定的车载摄像机装置。

解决问题的技术手段

为了解决上述问题，本发明的车载摄像机装置具备：两个摄像部，它们左右靠近配置；视差测距部，其根据这两个摄像部拍摄到的一对拍摄图像的视差来测定与该拍摄图像中的障碍物的距离；特征点提取部，其从一摄像部的拍摄图像中提取所述障碍物的特征点；单眼测距部，其根据所述视差测距部测定出的距离和所述视差测距部测定出距离之后的所述特征点的移动距离来测定与所述拍摄图像中的障碍物的距离；以及距离输出部，其选择所述视差测距部和所述单眼测距部测定出的与所述障碍物的距离中的一方来输出。

发明的效果

根据本发明，即便在自身车辆接近先行车辆、且先行车辆的一部分进入了车载摄像机装置的死角的情况下，也能准确地测定车间距离。

附图说明

图1为表示实施例1的车载摄像机装置的概略构成的框图。

图2为说明车载摄像机装置的安装位置与死角的关系的概略图。

图3为对先行车辆为普通车的情况下的视差检测极限前后的拍摄图像进行比较的图。

图4为对先行车辆为卡车的情况下的视差检测极限前后的拍摄图像进行比较的图。

图5为表示实施例1中的先行车辆的特征点的提取方法的图。

图6为说明实施例1中的车间距离测定处理的流程图。

图7为表示图6的两阈值的大小关系的图。

图8为说明实施例2中的车间距离测定处理的流程图。

具体实施方式

下面，使用附图，对本发明的实施例进行说明。

实施例1

首先，使用图2，对自身车辆10与先行车辆20的位置关系以及本实施例的车载摄像机装置1的安装位置与其死角的关系进行说明。此处例示的自身车辆10为车高较高、车头较短的厢式车辆，先行车辆20为车高较低的普通车，但两车辆的组合并不限定于该例。

车载摄像机装置1是用于测定先行车辆20到车载摄像机装置1的距离(以下称为“距离R”)的立体摄像机，设置在自身车辆10的车室内而且是距自身车辆10的前端为距离r1、距地面为高度h的位置上。在自身车辆10为厢式的情况下，距离r1约为20cm左右，而在普通车辆的情况下，距离r1也有约为2m左右的情况。

车载摄像机装置1所测定的距离R是前文所述的距离r1与先行车辆20的后端到自身车辆10的前端的距离(以下称为“车间距离r2”)的和，因此，通过用距离R减去已知的距离r1，可以算出车间距离r2。再者，如上所述，车载摄像机装置1的安装位置越高，此外，距离r1越短，自身车辆前方的死角区域(图2的斜线区域)就越有扩大的倾向，因此，在像本实施例这样车载摄像机装置1的安装位置高、距离r1短的厢式自身车辆10中，在已接近先行车辆20的情况下，大多无法利用视差来测定距离R。

接着，使用图1的框图，对本实施例的车载摄像机装置1的概要进行说明。如此处所示，车载摄像机装置1主要包括右摄像部2R、左摄像部2L以及测距装置3，测定出的距离R从测距装置3输出至ECU 8。该测距装置3根据摄像部拍摄到的拍摄图像来运算距离R，作为用以实现这一目的的硬件，配备有未图示的CPU、主存储装置、辅助存储装置、通信装置等。于是，通过由CPU执行加载到主存储装置中的程序来实现后文叙述的视差测距部4、特征点提取部5、单眼测距部6、距离输出部7的各功能，但下面会在酌情省略这样的公知技术的情况下进行说明。再者，图1中展示的是测距装置3与ECU 8分离开来的构成，但也可采用将本实施例的测距装置3统合在ECU 8中的构成。下面，对各构成进一步进行详细说明。

右摄像部2R和左摄像部2L经由镜头等而以图像形式来获得摄像机前方的状态，由靠近配置的两个摄像部构成立体摄像机。

视差测距部4具有根据右摄像部2R和左摄像部2L拍摄到的一对拍摄图像的视差来求图像内立体物的纵深方向的距离的、立体视角下的距离测定功能。此处，立体视角下的距离测定方法是着眼于构成图像内立体物的竖边而利用右摄像部2R和左摄像部2L将该竖边的像素上的偏移换算为纵深方向的距离的方法，而这是公知技术，因此其具体说明从略。

特征点提取部5根据从右摄像部2R或左摄像部2L输入的拍摄图像来提取先行车辆20的特征性部分(以下称为“特征点20a”)。此处，所谓特征点20a，例如是像对比度的浓淡的交界部(车顶与后挡玻璃的交界线、车顶本身)、特征性形状部(车顶天线等突起)那样在拍摄图像的像素级别上较为独特的部分，是从不同时刻拍摄到的拍摄图像中也能容易地提取到同一部分这样的特征性部分。此处，在特征点20a的候选有多个的情况下，较理想为尽可能提取图像上部的候选。提取到的特征点20a以拍摄图像上的坐标y的形式随时输出至单眼测距部6。再者，图1中例示的特征点提取部5是得到左摄像部2L的拍摄图像的输入，但也可采用得到右摄像部2R的拍摄图像的输入的构成。

单眼测距部6根据视差测距部4测定出的立体视角下的距离R和特征点提取部5提取到的特征点20a的坐标y的变化，利用一摄像部(以下称为“单眼”)的拍摄图像来算出距离R'。

距离输出部7选择视差测距部4测定出的距离R和单眼测距部6测定出的距离R'中的某一方来输出至ECU 8。在测定出距离R和距离R'双方的情况下，距离输出部7是选择原理上精度较高的视差测距部4得到的距离R来输出，但在视差测距部4无法进行测定的情况下，是选择单眼测距部6得到的距离R'来输出。

接着，使用图3和图4，对视差测距部4无法进行测定的状况进行说明。

图3为对先行车辆20为普通车时的视差测距部4的视差检测极限距离前后的拍摄图像进行比较的图。对图3的(a)、(b)进行比较，图3的(a)中显示有表示先行车辆20的后端位置的带阴影的先行车辆检测框30和相当于视差测距部4测定出的距离R的“测定距离2m”，相对于此，图3的(b)中没有显示这些内容。

产生这样的差异的原因在于，在确保了一定程度的车间距离的图3的(a)中，虽然先行车辆20的一部分(后保险杠、后轮等)进入死角而没有被拍摄到，但包括车辆的横向部分在内的先行车辆20的大部分都被拍摄到了，可以检测到构成立体物的竖边部，因此能进行视差下的先行车辆20的检测和距离测定，相对于此，图3的(b)中，自身车辆10进一步接近先行车辆20，先行车辆20的大部分都进入了死角，结果，无法再检测到竖边部，从而无法进行视差下的先行车辆20的检测和距离测定。

此外，图4为对先行车辆20为具有货箱的卡车21时的视差测距部4的视差检测极限距离前后的拍摄图像进行比较的图。对图4的(a)、(b)进行比较，图4的(a)中正常显示有表示卡车21的后端位置的先行车辆检测框30和“测定距离2m”，相对于此，图4的(b)中，在卡车21的驾驶室部分错误地显示出先行车辆检测框30，明明原本的车间距离不到1m，但视差测距部4却作出了“测定距离3m”这一误检测。

产生这样的差异的原因在于，在确保了充分的车间距离的图4的(a)中，看得见整个车辆，能够正确地检测到卡车21的货箱后方部，而在像图4的(b)那样货箱后方部进入死角的情况下，货箱不见了，另一方面，将驾驶室部分检测为先行车辆，从而错误地测定与驾驶室部分的距离。

图3的(b)和图4的(b)的状况是在多眼视角下丢失先行车辆20、距离测定失败的状况，因此，在利用多眼视角下的测定距离的现有技术中，无法正常利用跟随行驶、先行车辆20的起步通知等应用。

因此，在本实施例中，在视差测距部4的距离测定失败的情况下，切换至单眼测距部6的距离测定，可以继续利用所期望的应用。单眼测距部6对距离R'的测定有各种方法，下面，使用对视差检测极限距离前后的拍摄图像进行比较的图5等对距离R'的算出方法的一例进行说明。再者，视差检测极限距离可以根据车载摄像机装置1在自身车辆10上的安装位置预先计算出来，例如，在将只能看见普通乘用车的车顶部的车间距离设为视差检测极限距离的情况下为2m左右。

图5的(a)为确保了视差检测极限距离以上的距离、视差测距部4的距离测定成功的时间点的拍摄图像。此处图示有视差测距部4测定出的距离R₀和特征点提取部5提取到的该时间点的特征点20a在拍摄图像上的高度方向的坐标y₀。另一方面，图5的(b)展示了车间距离缩小、结果视差测距部4的距离测定失败的状况，图示有特征点提取部5提取到的该时间点的特征点20a在拍摄图像上的高度方向的坐标y₁和图5的(a)的特征点20a到图5的(b)的特征点20a'的移动距离R₁。在该情况下，单眼测距部6所测定的距离R'可以使用视差测距部4测定出的距离R₀和特征点20a的移动距离R₁而根据以下式1来算出。

[数式1]

R′＝R₀-R₁…(式1)

此处，单眼测距部6中执行的特征点20a的移动距离R₁的算出有多种方法，例如可以使用以下式2、式3中的任一方(其中，式2、式3中的R₁的最大值为R₀)。

[数式2]

[数式3]

再者，式2、式3中例示的是简化后的运算公式，而实际上，也可实施像素的距离上的权重相关的修正来更高精度地求出距离。

图7展示本实施例的车载摄像机装置1所执行的距离测定处理的流程图。

视差测距部4的距离测定精度比单眼测距部6的距离测定精度高，因此，此处所示的流程图通常是利用视差测距部4进行测定、在其失败时利用单眼测距部6进行测定。

在自身车辆10开始行驶而发现先行车辆20、执行跟随等利用车间距离信息的控制的情况下，首先执行使用精度好的视差测距部4的距离测定(S61)。继而，判定视差测距部4测定出的距离是否为视差检测极限距离(阈值，例如2m)以下(S62)。在否定的情况(确保有充分的车间距离的情况)下，照原样继续视差下的距离测定(S61)。另一方面，在肯定的情况下，准备单眼测距部6的距离测定。即，特征点提取部5从拍摄图像中提取先行车辆20的特征点20a，此外，单眼测距部6存储图像上的特征点20a的坐标y₀和当前时间点上的视差下的测定距离R₀(S63)。

继而，在经过规定时间后，再次执行视差测距部4的距离测定(S64)，并判断其成功与否(S65)。在视差测距部4的距离测定成功的情况下(S65中为“是”)，由于确保有可实现视差下的距离测定的距离，因此返回至S61，继续视差测距部4的距离测定。另一方面，在自身车辆10进一步接近了先行车辆20等情况下，由于无法进行视差下的距离测定(S65中为“否”)，因此从视差测距部4的距离测定转移至利用单眼测距部6的距离测定的控制(S66)。

然后，对单眼测距部6再测定出的测定距离R'与视差检测极限距离(阈值)进行比较(S67)，继续单眼测距部6的距离测定直至测定距离R'变为视差检测极限距离(阈值)以上为止(S66)。另一方面，在单眼测距部6测定出的测定距离R'变成视差检测极限距离(阈值)以上的情况下，再次恢复到视差测距部4的距离测定(S61)。

接着，使用图7，对到先行车辆20的距离与用于距离测定的测距部的关系进行说明。图7的图表中，横轴为时间，纵轴为与先行车辆20的距离，展示了自身车辆10接近先行车辆20、与先行车辆20的距离随时间缩短的情形。

如此处所示，在距离变成视差检测极限距离(阈值)的时刻T₁，开始特征点提取部5对特征点20a的提取和单眼测距部5对坐标y₀和距离R₀的存储，开始单眼下的距离测定所需的准备。即，在该时刻T₁之前，可将特征提取部5和单眼测距部6停止，能够抑制车载摄像机装置1的CPU的处理能力。在自身车辆10进一步接近先行车辆20、视差下的距离检测结果消失的时刻T₂之后，停止视差测距部4，执行使用单眼测距部6的距离测定结果的控制。

根据以上实施例，即便在因先行车辆20等的接近而无法进行利用视差的距离测定的情况下，也可以通过切换至单眼视角下的距离测定来继续利用所期望的应用。这时，由于会以单眼视角下的距离信息的形式继承视差下的距离测定结果，因此能实现精度比仅执行单眼视角下的距离测定的情况好的距离测定。此外，在通过单眼视角进行距离测定时，是仅着眼于提取到的特征点来推断先行车辆20的移动量，因此还能降低CPU的处理负荷。

实施例2

接着，使用图8，对本发明的实施例2的车载摄像机装置1进行说明。再者，与实施例1的共通点将省略重复说明。

像实施例1中也说明过的那样，要通过立体视角来测定距离，需要同时拍摄到的两个拍摄图像。但在实际使用时，也存在一侧的摄像部发生故障或者一侧的镜头被遮挡、从而突发性地只能获得一个拍摄图像的情况。

在实施例1中，为减轻CPU的处理负荷，采用的是仅在车间距离变成不到规定距离时才运行特征点提取部5和单眼测距部6的构成。但是，在具有更高性能的CPU的系统的情况下，通过始终运行特征点提取部5和单眼测距部6而不设置上述的处理开始相关的限制，即便在突然只能正常地拍摄到一张图像的情况下，也能继续距离测定。

图8展示始终实施这些处理的情况下的流程图。此处所示的本实施例的流程图相对于图7所示的流程图而言，取消了判定距先行车辆是否已接近到视差检测极限距离附近的处理(S62等)，代之以始终执行先行车辆20的特征点20a的提取、存储处理(S81)、视差测距部4的距离测定、存储处理(S82)以及单眼测距部6的距离测定、存储处理(S83)，还进行两测定距离的比较(S84)。

通常而言，视差测距部4与单眼测距部6的测定距离虽然不一致，但能够测定出大致相同程度的距离，因此，距离输出部7选择精度更高的视差测距部4的测定距离来输出(S85)。另一方面，在因某种原因导致一侧的拍摄图像产生了突发性的不良情况的情况下，视差测距部4与单眼测距部6的测定距离的误差会增大，因此，在该误差超过规定值(例如±5％)的情况下，距离输出部7判断一侧的拍摄图像产生了不良情况，从而选择单眼测距部6的测定距离R'来输出(S86)。

通过这种处理，在本实施例的车载摄像机装置中，即便一侧的摄像部突发性地发生了不良状况，也可以随时从视差测距部4切换至单眼测距部6，因此能继续先行车辆20等前方障碍物的距离测定。此外，在视差、单眼两方都能进行距离测定的状态下，通过对两者的测定结果进行比较，可以进一步提高系统的可靠性。

符号说明

10 自身车辆，1 车载摄像机装置，2R 右摄像部，2L 左摄像部，3 测距装置，4 视差测距部，5 特征点提取部，6 单眼测距部，7 距离输出部，8 ECU，20 先行车辆，20a 特征点，21 卡车，30 先行车辆检测框。

Claims

1.一种车载摄像机装置，其特征在于，具备：

两个摄像部，它们左右靠近配置；

视差测距部，其根据这两个摄像部拍摄到的一对拍摄图像的视差来测定与该拍摄图像中的障碍物的距离；

特征点提取部，其从一摄像部的拍摄图像中提取所述障碍物的特征点；

单眼测距部，其根据所述视差测距部测定出的距离和所述视差测距部测定出距离之后的所述特征点的移动距离来测定与所述拍摄图像中的障碍物的距离，所述单眼测距部所测定的距离是通过数学式R'=R₀-R₁计算而得到的，所述R'表示所述单眼测距部所测定的距离、所述R₀表示所述视差测距部所测定出的距离、所述R₁表示所述视差测距部测定出距离之后的所述特征点的移动距离；以及

距离输出部，其选择所述视差测距部和所述单眼测距部测定出的与所述障碍物的距离中的一方来输出，在可以进行所述视差测距部的距离测定且测定出的距离为视差检测极限距离以上的情况下，所述距离输出部输出所述视差测距部测定出的与所述障碍物的距离，

在无法进行所述视差测距部的距离测定的情况下，所述距离输出部输出所述单眼测距部测定出的与所述障碍物的距离。

2.根据权利要求1所述的车载摄像机装置，其特征在于，

在所述视差测距部测定出的与所述障碍物的距离为规定阈值以上的情况下，停止所述特征点提取部和所述单眼测距部的处理，而且，

在所述视差测距部测定出的与所述障碍物的距离不到规定阈值的情况下，执行所述特征点提取部和所述单眼测距部的处理。

3.根据权利要求1所述的车载摄像机装置，其特征在于，

在所述障碍物进入了根据所述两个摄像部的安装高度、所述两个摄像部到自身车辆的车头前端的长度以及所述车载摄像机装置的视场角计算的车辆附近的死角的情况下，

所述单眼测距部根据所述障碍物进入死角前由所述视差测距部测定出的距离和所述特征点提取部提取到的所述障碍物进入死角前后的特征点的移动距离来测定到所述障碍物的距离。

4.一种车载摄像机装置，其特征在于，具备：

两个摄像部，它们左右靠近配置；

距离输出部，其选择所述视差测距部和所述单眼测距部测定出的与所述障碍物的距离中的一方来输出，在所述视差测距部与所述单眼测距部测定出的与所述障碍物的距离的误差不到规定值的情况下，所述距离输出部输出所述视差测距部测定出的与所述障碍物的距离，

在所述视差测距部与所述单眼测距部测定出的与所述障碍物的距离的误差为规定值以上的情况下，所述距离输出部输出所述单眼测距部测定出的与所述障碍物的距离。