CN103109522B - 车载摄像头位置变化量检测装置 - Google Patents

Abstract

本发明提供一种车载摄像头位置变化量检测装置，具有：参照值求出部(12)，对由车载摄像头(20)所拍到的拍摄图像，将测定用区域(Ea)划为多个测定单位区域(D0～DN)，并将各测定单位区域内的像素的灰度值的平均值作为各测定单位区域的参照值re(0、t)、re(1、t)、...、re(N、1)，且设定表示各参照值在垂直方向上的分布状态的灰度矢量VEC(t)；摄像头位置变化量求出部(13)，将t₂时刻的拍摄图像的灰度矢量VEC(t₂)在垂直方向(y方向)上移动以求出t₁时刻的拍摄图像的灰度矢量VEC(t₁)和该t₂时刻的拍摄图像的灰度矢量VEC(t₂)之间的相关度，根据相关度最大时的移动量求出t₁～t₂的摄像头(20)的位置变化量。

Description

车载摄像头位置变化量检测装置

技术领域

本发明涉及一种利用车载摄像头拍到的拍摄图像来检测该车载摄像头位置变化量的装置。

背景技术

作为检测车载摄像头位置变化量的方法之一，例如有人提出如下一种方法：为了修正因摄像头摇动而产生的画面的错位，在车载摄像头拍到的拍摄图像中设定错位检测区域，检测按照时间序列拍到的各拍摄图像中的错位检测区域的亮度的重心位置，根据该重心位置的变化情况来计算因摇动而产生的摄像头位置变化量(例如参照专利文献1)。

专利文献1：日本发明专利公开公报特开平4-287579号

由上述专利文献1记载的方法可知，在检测车载摄像头位置变化量时，在车辆行驶时，尤其是受到车辆的纵摇(纵向摇动)的影响时，利用摄像头按照时间序列拍到的各拍摄图像中的错位检测区域内的拍摄对象会有不同。

而且在此时，若各拍摄图像中的错位检测区域的亮度的重心位置对应的是不同物体的拍摄部分，会出现无法精准地检测出摄像头位置变化量的问题。

发明内容

鉴于上述情况，本发明的目的在于提供如下一种车载摄像头位置变化量检测装置：其能利用车载摄像头拍到的拍摄图像来精准地检测出摄像头位置变化量。

为实现上述目的，本发明所述的车载摄像头位置变化量检测装置具有：参照值求出部，对由车载摄像头所拍到的拍摄图像，将规定的测定用区域划分为多个测定单位区域，并将各测定单位区域内的像素的灰度值或色饱和度值的总和或平均值作为各测定单位区域的参照值，其中，该测定单位区域是在与实际空间中的铅垂方向相当的特定方向上，以规定像素数为宽度将车载摄像头所拍到的拍摄图像划分而成的区域；摄像头位置变化量求出部，由上述摄像头所拍到的第1图像中由上述参照值求出部求出的各参照值在上述特定方向上的分布状态为第1分布状态，以及由上述摄像头在不同于上述第1图像的拍摄时刻时所拍到的第2图像中由上述参照值求出部求出的各参照值在上述特定方向上的分布状态为第2分布状态，所述摄像头位置变化量求出部将该第1分布状态或该第2分布状态在上述特定方向上进行移动，而求出两者的相关度，并且根据相关度最大时的移动量来求出从上述第1图像的拍摄时刻到第2图像的拍摄时刻的上述摄像头位置变化量(技术方案1)。

由技术方案1可知，对由上述摄像头所拍到的拍摄图像，能够由上述参照值求出部求出上述测定用区域中，各上述测定单位区域的参照值。该参照值表示各测定单位区域的灰度或色饱和度的整体变化倾向，由于各测定单位区域是在特定方向上，以上述宽度将上述测定用区域划分而得的，所以各参照值在上述特定方向上的分布状态表示上述测定用区域中，在上述特定方向上的灰度或色饱和度的整体分布状态。

另外，对由不同时刻所拍到的上述第1图像和上述第2图像，根据上述第1图像中的上述第1分布状态以及上述第2图像中的上述第2分布状态，由上述摄像头位置变化量求出部将上述第1分布状态或上述第2分布状态在上述特定方向上进行移动，求出两者的相关度。还有，上述摄像头位置变化量求出部根据相关度最大时两者的移动量来求出上述摄像头位置变化量。

此时，上述第1分布状态和上述第2分布状态可以是表示上述测定用区域中整体的灰度或色饱和度的分布状态。因此，上述摄像头位置变化量求出部能够通过降低由于上述摄像头位置变化而产生的、在上述第1图像和上述第2图像中，因上述测定用区域中的拍摄对象的改变而带来的影响，求出上述测定用区域的被拍摄物在上述特定方向上的移动量。另外，因上述特定方向相当于实际空间中的铅垂方向，所以上述摄像头位置变化量求出部能根据该移动量精准地求出上述摄像头在铅垂方向上的位置变化量。

另外，在技术方案1的基础上，上述摄像头的拍摄范围包括搭载有该摄像头的车辆前方的道路，根据由上述摄像头拍到的拍摄图像中道路的图像部分的位置来设定上述测定用区域(技术方案2)。

由技术方案2可知，通过设定上述测定用区域，能提高由上述摄像头位置变化量求出部所求出的上述摄像头位置变化量精度，其中，所述测定用区域包括灰度或色饱和度的分布状态平稳的道路的图像部分。

另外，在技术方案2的基础上，还具有测定用区域变更部，其根据由上述摄像头拍到的拍摄图像中的道路的图像部分的位置，或道路周围的所在物的位置来变更上述测定用区域(技术方案3)。

由技术方案3可知，由上述测定用区域变更部根据由上述摄像头拍到的拍摄图像中的道路的图像部分的位置，或道路周围的所在物的位置来变更上述测定用区域，变更结果为或加大上述测定用区域内的道路的图像部分所占的比例，或去除其他车辆的图像部分。这样通过变更上述测定用区域，可以防止因道路的图像部分以外的图像部分的影响而减少由上述摄像头位置变化量求出部求出的上述摄像头位置变化量精度的情况出现。

附图说明

图1是用于说明摄像头和车辆行驶辅助装置安装在车辆上的方式的图。

图2是表示车辆行驶辅助装置的构成的图。

图3是由车辆行驶辅助装置求出垂直灰度矢量的处理流程图。

图4是用于说明垂直灰度矢量的图。

图5是用于说明根据时序图像中的垂直灰度矢量的相关度来求出摄像头位置变化量的图。

图6是用于说明变更测定用区域的例子的图。

具体实施方式

下面，参照图1～图5说明本发明的实施方式。参照图1可知，在本实施方式中，由本发明的车载摄像头位置变化量检测装置构成车辆行驶辅助装置10的一部分，该车辆行驶辅助装置10搭载在车辆1(自己车辆)上。在车辆1上搭载有摄像头20(车载摄像头)和车辆行驶辅助装置10。

摄像头20安装在车内，能透过前挡风玻璃来拍摄车辆1的前方，实际空间中的坐标系是这样定义的：以摄像头20的安装部位原点，以车辆1左右方向(车宽方向)为X轴、上下方向(铅垂方向)为Y轴、前后方向(行进方向)为Z轴。

参照图2可知，车辆1除了车辆行驶辅助装置10以外，还具有速度传感器21、加速度传感器22、横向角速度传感器23、转向装置30和制动装置31。由速度传感器21来输出车辆1的速度检测信号，由加速度传感器22来输出车辆1的加速度检测信号，由横向角速度传感器23来输出车辆1的横向角速度检测信号。

车辆行驶辅助装置10是由CPU、存储器等构成的电子单元，来自摄像头20的影像信号和各传感器21、22、23的检测信号输入其中。由车辆行驶辅助装置10来检测出摄像头20因车辆1在上下方向上的摇动而在Y轴方向上的位置变化量，并由车辆行驶辅助装置10修正(差值修正)由摄像头20拍到的拍摄图像的错位，用于检测该位置变化量的装置相当于本发明的车载摄像头位置变化量检测装置。

车辆行驶辅助装置10中，用于对差值进行修正的、测定用区域变更部11、参照值求出部12、摄像头位置变化量求出部13和差值修正部14的功能，通过使CPU中运行存储在存储器中的车辆行驶辅助用控制程序来实现。由车辆行驶辅助装置10对由摄像头20拍到的拍摄图像进行差值修正，再从经过差值修正之后的拍摄图像中检测出设在道路上的行车道标记以感知车辆1的行车道位置。

车辆1上还搭载有转向装置30和制动装置31，由车辆行驶辅助装置10来控制转向装置30和制动装置31之一或两者的工作状况时，就能进行驶辅助控制而不会使车辆1偏离行车道。

下面根据图3所示的流程来说明由参照值求出部12完成的处理。在STEP(步骤、下同)10中，由摄像头20拍到的图像(彩色图像)输入车辆行驶辅助装置10，此时在STEP20中，对由摄像头20输出的像素进行图像重组处理(demosaicing)(亦称逆马赛克变换处理)以求出各像素的RGB颜色数据。还有，由于本实施方式中的摄像头20采用拜耳(Bayer)排列的单片感光元件，因此在STEP20中进行了图像重组处理，如果使用三片独立型RGB感光元件，则无需进行图像重组处理。

STEP30～STEP50是由参照值求出部12进行的处理。如图4所示，由摄像头20拍到的图像是垂直坐标(y坐标)为0～N(像素)、水平坐标(x坐标)为0～M(像素)的(N+1)×(M+1)像素的图像Im。另外，y轴方向相当于实际空间中的铅垂方向，该实际空间中的铅垂方向又相当于本发明中的特定方向。

由参照值求出部12执行STEP30中的循环程序1，在STEP31中，将图像Im的各坐标(x、y)(x＝0、1、2、...、M，y＝0、1、2、...、N)的像素的R、G、B数据变换为灰度值，得到各像素的灰度值I(x、y、t)(t为拍摄时刻)。还有，也可选择各像素的R、G、B数据中的一个以得到各像素的灰度值。

在接下来的STEP40的循环程序中，由参照值求出部12将图像Im划分为y坐标相同x坐标为0～M的、具有1×(M+1)像素的N+1个测定单位区域。还有，测定单位区域在y轴方向上的宽度也可以不是1个像素(1条线)而是多个像素。

接下来，由参照值求出部12按照下式(1)求出各测定单位区域的像素的灰度值的平均值，将其作为各测定单位区域的参照值re(y、t)(y＝0、1、2、...、N，t为图像Im的拍摄时刻)。

[式1]

$\mathrm{re}(y,t)=\frac{\underset{x=0}{\overset{M}{\mathrm{\Σ}}}I(x,y,t)}{M+1}\·\·\·\·\·\left(1\right)$

y＝0，1，2，…，N

在接下来的STEP50中，由参照值求出部12按照下式(2)，将各测定单位区域的参照值re(y、t)(y＝0、1、2、...、N)中的、范围(s～s+w、1＜s，w＜N)至少比后述的移动量(例如30像素)N还窄的成分，构成垂直灰度矢量VEC(t)，进入STEP60而结束处理。

[式2]

VEC(t)＝{re(s，t)，ve(s+1，t)，re(s+2，t)，…，re(s+w，t)}·····(2)

按照以上说明的处理，参照值求出部12分别对由摄像头20依次(例如每隔33msec)拍到的图像Im设定垂直灰度矢量VEC(t)。其中，垂直灰度矢量VEC(t)表示参照值re(y、t)在垂直方向(y方向)上的y＝s～s+w的范围内的分布状态。

接下来，如图5所示，由参照值求出部12对不同时刻t₁、t₂(＝t₁+33msec)拍到的图像Im1和Im2求出的、图像Im1的垂直灰度矢量VEC(t₁)和图像Im2的垂直灰度矢量VEC(t₂)之间的相关度，将垂直灰度矢量VEC(t₂)的成分在y方向上进行移动边求出摄像头20在垂直方向(Y方向)上的位置变化量。

对于图5中的VEC(t₂)的成分的分布，VEC(t₁)的成分的分布呈逐渐向上移动的倾向，对于这种情况可以推定摄像头位置，相对于t₁时的位置，在t₂时的位置向下发生了变化。

如下式(3)所示，由摄像头位置变化量求出部13在规定的移动范围内依次求出将灰度矢量VEC(t₂)上下移动而得的灰度矢量VEC(t₂、i)(i表示移动值，i＝±1、±2、...、+为上移，-为下移)，进而求出与灰度矢量VEC(t₁)之间的相关度。

[式3]

VEC(t，i)＝{re(s+i，t)，re(s+1+i，t)，re(s+2+i，t)，…，re(s+w+i，t)}·····(3)

图5中例示有向下移动1个像素后的灰度矢量VEC(t₂、-1)。像这样将第2图像Im2的灰度矢量VEC(t₂)上下移动数值i而依次求出VEC(t₂、i)，进而求出与第1图像Im1的灰度矢量VEC(t₁)之间的相关度。

接着，摄像头位置变化量求出部13根据与第1图像Im1的灰度矢量VEC(t₁)之间的相关度最大时的移动值i，来求出t₁和t₂之间的摄像头20在垂直方向上的位置变化量Δy。摄像头20的位置变化量Δy与移动值i成比例。

由差值修正部14使第2图像Im2移动用以对位置变化量Δy进行修正(差值修正)，移动量为抵消该位置变化量Δy的量，由车辆行驶辅助装置10对经过该差值修正处理后的第2图像Im2进行行车道标记的物体的图像部分的检测处理。这样，可以防止第1图像和第2图像之间的行车道标记的检测位置的推移、因受车辆1的纵向摇动(铅垂方向上的摇动)的影响而从原来的位置错开的情况发生。另外，通过上述处理能起到防止因错位而导致行车道标记的位置的感知精度的下降。

还有，本实施方式中，如图4所示，以整个由摄像头20拍到的拍摄图像Im为测定用区域而设定了测定单位区域D(D0～DN)，但是如图6中(a)所示，也可以由测定用区域变更部11按照道路的图像部分的形状设定梯形的测定用区域Ea1。

通过这样设定测定用区域Ea1，可以避开存在于道路周围的标识或构筑物等的影响而求出灰度矢量VEC。

另外，在求出摄像头20的位置变化量时，如果利用靠近车辆1的物体的图像部分，即使车辆1只有微小的纵向摇动图像部分的位置变化也较大，所以此时可能会出现摄像头20的位置变化量检测误差变大的问题。对此，通过设定测定用区域Ea1就能提高摄像头20的位置变化量检测精度，其中，所述测定用区域Ea1包含远离车辆1的地平线附近的位置。

另外，如图6中(b)所示，如果检测出由摄像头20拍到的拍摄图像Im中包含有其他车辆的图像部分50、51，也可以由测定用区域变更部11将测定用区域变更为去除了上述图像部分的测定用区域Ea2。

另外，本实施方式中，利用由摄像头20拍到的拍摄图像Im的各像素的灰度来求出灰度矢量VEC，但是也可以这样做：利用拍摄图像Im的各像素的色饱和度来求出色饱和度矢量VEC，再求出不同时刻的拍摄图像的色饱和度矢量之间的相关度而求出摄像头位置变化量。

另外，本实施方式中，根据上式(1)将各测定单位区域的像素的灰度值的平均值作为各测定单位区域的参照值，但是也可以将各测定单位区域的像素的灰度值的合计值作为各测定单位区域的参照值。

还有，也可以在测定用区域中分开使用平均值和合计值。例如，可以是测定用区域的上半部分使用合计值来求出参照值，测定用区域的下半部分则用平均值来求出参照值。另外，还可求出使用了平均值的参照值和使用了合计值的参照值而采用特征量较多的一方(缘自灰度矢量的灰度曲线的峰值较大的一方)。

另外，本实施方式中，由摄像头位置变化量求出部13来求出不同时刻拍到的图像的灰度矢量之间的相关度时，只将灰度矢量在上下方向上移动了1个像素单位，但是以不足1的单位(例如0.1个像素单位)进行移动时，能够提高位置变化量的求出精度。此时，对上式(2)中的离散函数进行线性插值等处理而使其连续(亚像素处理)。

另外，本实施方式中，例举了使用彩色摄像头的例子，但也可以使用黑白摄像头。使用黑白摄像头时，无需进行图3中的STEP20、STEP30的循环程序1来完成的将彩色成分变换为灰度值的处理。

【工业实用性】

如上所述，当采用本发明的车载摄像头位置变化量检测装置时，能够根据由车载摄像头拍到的拍摄图像精准地求出车载摄像头位置变化量，因此本发明能用于对由车载摄像头拍到的拍摄图像进行差值修正。

【附图标记说明】

1车辆；10车辆行驶辅助装置；11测定用区域变更部；12参照值求出部；13摄像头位置变化量求出部；14差值修正部；20摄像头；21速度传感器；22加速度传感器；23横向角速度传感器；30转向装置；31制动装置。

Claims (3)

1.一种车载摄像头位置变化量检测装置，其特征在于，具有：

参照值求出部，对由车载摄像头所拍到的拍摄图像，将规定的测定用区域划分为多个测定单位区域，并将各测定单位区域内的像素的灰度值或色饱和度值的总和或平均值作为各测定单位区域的参照值，其中，所述测定单位区域是在与实际空间中的铅垂方向相当的特定方向上，以规定像素数为宽度将车载摄像头所拍到的拍摄图像划分而成的区域；

摄像头位置变化量求出部，由上述摄像头拍到的第1图像中由上述参照值求出部求出的各参照值在上述特定方向上的分布状态为第1分布状态，以及由上述摄像头在不同于上述第1图像的拍摄时刻时所拍到的第2图像中由上述参照值求出部求出的各参照值在上述特定方向上的分布状态为第2分布状态，所述摄像头位置变化量求出部将该第1分布状态或者该第2分布状态在上述特定方向上进行移动，求出两者的相关度，根据相关度最大时的移动量来求出从上述第1图像的拍摄时刻到第2图像的拍摄时刻的上述摄像头位置变化量，

所述测定单位区域设定在包含道路图像部分的图像区域，但是该道路图像部分中不包含其他车辆的图像部分。

2.根据权利要求1所述的车载摄像头位置变化量检测装置，其特征在于，

上述摄像头的拍摄范围包括搭载有该摄像头的车辆前方的道路，

根据由上述摄像头拍到的拍摄图像中的道路的图像部分的位置来设定上述测定用区域。

3.根据权利要求2所述的车载摄像头位置变化量检测装置，其特征在于，

还具有测定用区域变更部，其根据由上述摄像头拍到的拍摄图像中的道路的图像部分的位置，或道路周围的所在物的位置来变更上述测定用区域。