CN110088803B

CN110088803B - 摄像装置

Info

Publication number: CN110088803B
Application number: CN201780071990.XA
Authority: CN
Inventors: 堤大; 多田直也; 永崎健; 三苫宽人
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2016-12-26
Filing date: 2017-12-15
Publication date: 2023-05-12
Anticipated expiration: 2037-12-15
Also published as: JP6841553B2; CN110088803A; JPWO2018123640A1; WO2018123640A1

Abstract

本发明实现了一种即使车辆等移动体在不具有以白线为首的基准直线的道路等上行驶期间也能够判定自身车辆是否正在直行的摄像装置。在本发明中，摄像部(101、101')连续拍摄自身车辆(300)周围所存在的静止对象物(302)，并使用以自身车辆(300)的引擎盖的前端为原点的坐标，根据对象物(302)在所拍摄的图像中的轨迹是否为直线来判定自身车辆(300)是否正在直行。由此，即使车辆等移动体在不具有以白线为首的基准直线的道路等上行驶期间，也能够判定自身车辆是否正在直行。

Description

摄像装置

技术领域

本发明涉及一种搭载于车辆等移动体上的、用于进行舵角校正的摄像装置。

背景技术

近年来，以自动驾驶为首的车辆控制技术备受关注。为了进行准确的车辆控制，需要实时更新的大量车载传感器输出值，尤其是计算自身车辆行为时所利用的操舵角传感器值要求高精度。

但是，由于随时间流逝而产生的劣化，操舵角传感器值的零点会加上偏移量。因此，为了高精度地获得无延迟的操舵角值，进行操舵角校正值计算至关重要。

另外，为了降低成本，优选在接收操舵角传感器值的一侧(例如，车载立体摄像机等用于进行车辆控制的摄像装置)进行操舵角校正值计算。

因此，一直以来，提出了各种进行操舵角校正值计算的技术及摄像装置。

例如，专利文献1中记载了着眼于车载摄像机所拍摄的图像上的白线来进行操舵角校正值计算的摄像装置。

【现有技术文献】

【专利文献】

【专利文献1】：日本特开2006-199242号公报

发明内容

【发明要解决的问题】

但是，在专利文献1等中所记载的现有技术中，若未拍摄以白线为首的图像上的基准线，则不能设置目标行驶路线，进而不能进行舵角校正值计算。

即使在不具有白线等基准线的道路上，如果能够进行舵角校正值计算，也能够提高车辆控制的精度。

因此，期待其的实现。

本发明的目的在于，实现即使车辆等移动体在不具有以白线为首的基准直线的道路等上行驶期间也能够判断自身车辆是否正在直行的摄像装置。

【解决问题的技术手段】

为了实现上述目的，本发明如下构成。

本发明的摄像装置具备：

摄像部，其具有获取多个图像的多个摄像元件；

视差图像生成部，其由所获取的上述多个图像生成作为静止物的摄像对象物的视差图像；

三维位置信息提取部，其基于由上述视差图像生成部所生成的上述视差图像，获取上述摄像对象物的按时间顺序的多个三维位置信息；以及

直行判定部，其基于由上述三维位置信息提取部所获取的上述多个三维位置信息，进行移动体的直行判定。

【发明的效果】

根据本发明，能够实现即使车辆等移动体在不具有以白线为首的基准直线的道路等上行驶期间也能够判定自身车辆是否正在直行的摄像装置，能够进行不依赖路况的舵角校正值的计算。

前述以外的课题、构成、效果将在下面的实施方式的说明中进行叙述。

附图说明

图1为作为本发明的一个实施例的摄像装置的概略构成图，它表示搭载于车辆的摄像装置的例子。

图2为表示图1所示的三维位置信息提取部的内部构成的图。

图3为在对本发明的一个实施例进行说明时，用于定义自身车辆所行驶的路面的状况的图。

图4为表示俯瞰图3时的图像的俯瞰图。

图5为基于本发明的一个实施例中的静止立体物的三维位置轨迹的直行判定逻辑的概略说明图。

图6为直行判定部进行自身车辆的直行判定时的处理流程。

图7为表示在图6的步骤605中判定绘制结果是否为直线的流程的一个例子的图。

图8为图1所示的摄像装置的构成中具备舵角校正值运算部而成的摄像装置的构成图。

具体实施方式

下面，参考附图，对本发明的实施方式进行说明。

【实施例】

图1为作为本发明的一个实施例的摄像装置的概略构成图，它是搭载于车辆的摄像装置的例子。

图1中，构成摄像部的多个CMOS元件(摄像元件)101及101’构成立体摄像机，并拍摄输入图像(获取输入图像)。视差图像生成部103使用CMOS元件101及101’所拍摄的输入图像来生成视差。

三维位置信息提取部105使用视差图像生成部103所生成的视差，提取(获取)作为特征的三维位置信息。直行判定部107基于三维位置信息提取部105所输出的三维位置信息来进行自身车辆的直行判定。

图2为表示图1所示的三维位置信息提取部105的内部构成的图。

图2中，三维位置信息提取部105具备识别部113和三维位置轨迹生成部115。

识别部113使用视差图像生成部103所生成的视差图像，识别摄像对象物(例如，静止立体物或路面纹理)，并将其结果输出给三维位置轨迹生成部115。三维位置轨迹生成部115针对每一帧摄影图像来绘制识别部113所识别的对象(例如，静止立体物或路面纹理)的三维位置，从而生成对象的三维位置的时序迁移(三维位置轨迹)。

并且，三维位置轨迹生成部115将所生成的三维位置轨迹输出给直行判定部107。

图3为在对本发明的一个实施例进行说明时，用于定义路面301的状况的图。本次所说明的一个实施例假设路面301上存在前方车辆303(参见图4)、左右白线301L、301R、路面纹理(图示省略)、标识(静止立体物)302。

另外，图3所示的例子仅为一个例子，实际上，只要存在一个以上静止立体物或能够检测到的纹理，则本发明能够起作用并实施。

图4为表示俯瞰图3时的图像的俯瞰图。图4中，利用虚线记载摄像装置的摄像部101、101’所摄影的范围。在图4所示的例子中，自身车辆300的前方存在前方车辆303，前方左侧存在标识302。自身车辆300的前方部上配置有摄像部101、101’。

图5为基于本发明的一个实施例中的静止立体物的三维位置轨迹的直行判定逻辑的概略说明图。图5的(a)为自身车辆300在一帧之间从图4所示的状态移动后的状态的俯瞰图，图5的(b)为形象地说明直行判定的图。

图3、图4、图5中，考虑如下情况：将摄像图像的当前帧设为n时，在该帧n处将标识302检测为静止立体物。

当将位于自身车辆300的长度方向的中心线上且处于自身车辆300的前方部的引擎盖的前端设为原点O时，将标识302的三维位置设为(x,y,z)。

并且，在n帧的下一帧即n+1帧中，将该标识302移动后的三维位置设为(x’,y’,z’)。

基于三维位置信息提取部105的识别部113所识别出的信息，三维位置轨迹生成部115在n帧和n+1帧的多个帧之间检测标识302的三维位置，并算出标识302的三维位置轨迹501。图5的(b)中的箭头500表示自身车辆300的前进方向。

在直行判定部107根据三维位置轨迹生成部115所生成的轨迹判定标识302的三维位置轨迹绘制了直线的情况下，则判断自身车辆300正在直行。

通过采用上面的方式，即使在不具有以白线为首的基准直线的路面，只要具有对象(例如，静止立体物(作为一个例子的标识302)或路面纹理，则能够判定是否直行。

图6为直行判定部107进行自身车辆300的直行判定时的处理流程的一个例子的图。

图6中，获取静止立体物(标识302)的三维位置坐标(步骤601)。接着，在多帧之间绘制过去所获取的静止立体物302的三维位置信息和当前时刻所提取的静止立体物302的三维位置信息(步骤603)。

接下来，判定绘制结果是否为直线(步骤605)。在该步骤605中，判定是直线的情况下，判定自身车辆300正在直行(步骤607)。在步骤605中，判定不是直线的情况下，判定自身车辆300不是正在直行(609)。

图7为示出在图6的步骤605中判定绘制结果是否为直线的流程的一个例子的图。

图7中，在获得n个(例如三点)三维位置坐标的情况下，从三点的坐标(x,y,z)中提取三点的二维坐标(x,y)(步骤701)。

使用所提取的三点的二维坐标，例如，使用下式(1)，解出未知数a、b、R的联立方程式，从而求得半径R(步骤703)。

(x-a)²+(y-b)²＝R²···(1)

判断上述式(1)中求得的半径R是否为阈值(例如R＝1000m)以上(步骤705)。如果半径R为阈值(例如R＝1000m)以上，则判定是直线并结束处理(步骤707)。

接下来，如果半径R低于阈值，则判定不是直线，并结束处理(步骤709)。

图8为图1的摄像装置的构成中具备舵角校正值运算部809而成的摄像装置的构成图。

当由直线判定部807判定为正在直行时，舵角校正值运算部809进行舵角校正。舵角校正能够使用公知的方式来进行。

也能够构成为，不仅在由直线判定部807判定为正在直行的情况下，即使在判定为不是正在直行的情况下，舵角校正值运算部809也能够使用通过直行判定部807所求得的R的曲率或偏差来统一运算舵角校正值。

如上所述，根据本发明的一个实施例，能够实现如下构成摄像装置：摄像部101、101’连续拍摄自身车辆300的周围所存在的静止对象物302，根据对象物302在所拍摄的图像中的轨迹是否为直线来判定自身车辆300是否正在直行，因此，即使车辆等移动体在不具有以白线为首的基准直线的道路等上行驶期间，也能够判定自身车辆是否正在直行。

另外，虽然上述的例子将静止对象物作为标识302，但也可以为建筑物、树木等其它静止物。静止物能够从多个存在的物品中自动确定。例如，也可以将从得到的图像中最初判定为静止物的物体作为对象物。

而且，也可以将多个静止立体物作为对象，并根据各自的轨迹进行自身车辆300的直行判定。

而且，如果摄像元件拍摄对象的距离在例如0.1m～300m之间，则能够判定正在直行。

而且，虽然上述的例子将自身车辆300的前方所存在的静止物作为直行判定的对象物，但也可以将以自身车辆为中心的全方位的静止物作为对象。例如，也可以将自身车辆的后方所存在的静止物作为直行判定的对象物。在该情况下，需要在自身车辆300的后方部配置有具有多个摄像元件的摄像部。

而且，也可以配置用于拍摄自身车辆300的周围的多个摄像部。例如，也可以在自身车辆300的前方及后方配置摄像部，并将所摄像的静止物作为直行判定的对象物。

进一步地，虽然在上述的例子中，对将本发明应用于搭载于车辆的摄像装置中的情况进行了说明，但不限定于车辆，只要为移动体，且识别外界并进行操舵及移动，则能够应用本发明。

例如，本发明也可以应用于将货物等搬运至目标位置的货物搬运机器人等，在该情况下，即使不存在白线等基准线，也能够在行驶期间进行直行判定。

符号说明

101、101’···摄像部、

103···视差图像生成部、

105···三维位置信息提取部、

107···直行判定部、

113···识别部、

115···三维位置轨迹生成部、

300···自身车辆、

301···路面、

302···标识(静止对象物)、

303···前方车辆、

301L、301R···白线、

500···自身车辆前进方向、

501···静止对象物的轨迹、

809···舵角校正值运算部。

Claims

1.一种摄像装置，其特征在于，具备：

摄像部，其具有用于获取多个图像的多个摄像元件；

视差图像生成部，其由所获取的所述多个图像生成作为静止物的摄像对象物的视差图像；

三维位置信息提取部，其基于由所述视差图像生成部所生成的所述视差图像，获取所述摄像对象物的按时间顺序的多个三维位置信息；以及

直行判定部，其基于由所述三维位置信息提取部所获取的所述多个三维位置信息，进行移动体的直行判定，

所述三维位置信息提取部具有：

识别部，其基于由所述视差图像生成部所生成的所述视差图像，识别所述摄像对象物；以及

三维位置轨迹生成部，其获取由所述识别部识别出的所述摄像对象物的三维位置信息，并由过去所获取的三维位置信息和当前时刻所提取的三维位置信息生成所述摄像对象物的三维位置轨迹，

所述直行判定部基于所述三维位置轨迹生成部所生成的三维位置轨迹是否为规定曲率以上来进行直行判定。

2.根据权利要求1所述的摄像装置，其特征在于，具有舵角校正值运算部，所述舵角校正值运算部基于所述三维位置轨迹生成部所生成的三维位置轨迹，进行所述移动体的舵角校正。

3.根据权利要求2所述的摄像装置，其特征在于，

所述直行判定部将用于所述直行判定的信息输出至所述舵角校正值运算部，所述舵角校正值运算部基于从所述直行判定部所输出的所述信息来进行舵角校正。

4.根据权利要求1所述的摄像装置，其特征在于，

所述三维位置信息提取部算出表示所述移动体的三点间的移动轨迹的二次方程式，所述直行判定部根据由所述三维位置信息提取部所算出的所述二次方程式而算出的曲率是否为预定曲率以上来进行所述移动体的直行判定。

5.根据权利要求1所述的摄像装置，其特征在于，

所述摄像部配置于所述移动体的前方部。

6.根据权利要求1所述的摄像装置，其特征在于，

所述摄像部配置于所述移动体的后方部。