CN102187377A - 车辆的周围监测装置 - Google Patents

Abstract

本发明的目的在于判断出存在于车辆前方的自行车。为达到这样的目的，本发明的车辆周围监测装置对所述车辆的周围进行拍摄并取得拍摄图像，该拍摄图像中的辉度值由对象物的温度决定，并且，从拍摄图像中提取出辉度值比背景温度高出规定值以上的图像区域。如果从被提取出的该图像区域中检测出了下述的一对第1对象物部分，并且在该一对对象物部分之间存在下述的第2对象物部分的话，则将包含该一对第1对象物部分与第2对象物部分的对象物判定为自行车。所述一对第1对象物部分各自的竖直方向上的长度比水平方向上的宽度大，并且，一个第1对象物部分与另一个第1对象物部分之间在水平方向上的距离处于规定值以下。第2对象物部分具有不同于第1对象物部分的辉度，并且在竖直方向上具有规定值以上的长度。

Description

车辆的周围监测装置

技术领域

本发明涉及一种对车辆的周围进行监测以识别存在于车辆周边的自行车。

背景技术

现有技术中有一种通过照相机对车辆的周围进行拍摄从而识别出存在于该车辆周围的物体的方法。例如，在日本发明专利公开公报特开2005-165422号(专利文献1)中记载有这样一种方法，即，识别出存在于本车前方的自行车等的物体，并确定该自行车的骑乘者的视线方向，在该骑乘者的视线方向未朝向本车时，发出警报。

现有技术文献

专利文献

专利文献1：日本发明专利公开公报特开2005-165422号

发明内容

发明所要解决的技术问题

与车辆有可能产生接触的对象物不仅有行人，还包括自行车。自行车一般是行驶在车行道上的，因而，自行车的存在有可能对自身车辆的行驶带来影响。所以，最好是能够将自行车与其他物体区别出来，使本车的驾驶员能够获知。在上述专利文献1中，虽然记载了将自行车作为对象物识别出来，但是并没有记载具体的识别方法，并且也没有得出这样的方法的任何启示。

因而，本发明的目的在于提供一种从拍摄到的图像中判别出自行车的方法。

解决技术问题的技术方案

本发明涉及一种车辆周围监测装置，其配备在车辆上，用于识别出位于车辆周围的、由骑乘者骑乘的自行车。该车辆周围监测装置对所述车辆的周围进行拍摄并取得拍摄图像，该拍摄图像中的辉度值由对象物的温度决定。并且，从所述拍摄图像中提取出辉度值比背景温度高出规定值以上的图像区域。如果从被提取出的该图像区域中检测出了下述的一对第1对象物部分，并且在该一对对象物部分之间存在下述的第2对象物部分的话，则将包含该一对第1对象物部分与第2对象物部分的对象物判定为自行车。所述一对第1对象物部分各自的竖直方向上的长度比水平方向上的宽度大，并且，一个第1对象物部分与另一个第1对象物部分之间在水平方向上的距离处于规定值以下。所述第2对象物部分具有不同于所述第1对象物部分的辉度，并且在竖直方向上具有规定值以上的长度。

采用本发明，能够根据拍摄图像上的对象物的形状与配置判断是否为自行车。即，如果检测出上述的一对第1对象物部分，并且在该一对第1对象物部分之间存在上述第2对象物部分，则说明检测到了两条腿并且在两条腿之间存在自行车的车轮，因而可以判断该对象物为自行车。如此，能够使驾驶员意识到在车辆周围存在自行车。另外，由于是根据形状与配置进行的判断，所以使用一个图像即可完成判断，不需要用多个图像进行时间跟踪，从而能够降低自行车判定的图像所需要的处理时间以及计算负担。

关于本发明的其他特征以及优点将在下面详细说明。

附图说明

图1为表示本发明的一个实施方式的周围监测装置的结构的框图；

图2为为了说明本发明一个实施方式的照相机的安装位置的附图；

图3为表示本发明的一个实施方式的图像处理单元中的程序的流程图；

图4为为了说明本发明一个实施方式的、对游程编码数据进行变换处理以及附带标签处理的附图；

图5为表示本发明一个实施方式的真实空间坐标系与图像坐标系的附图；

图6用于说明本发明一个实施方式的相对移动矢量的计算方法；

图7表示的是本发明一个实施方式的车辆前方区域的划分；

图8为用于说明本发明一个实施方式的自行车判定原理的附图；

图9为本发明一个实施方式的自行车判定程序的流程图；

图10为用于说明本发明一个实施方式的自行车判定程序的附图；

图11为本发明一个实施方式的警报输出的一个例子的说明图。

具体实施方式

下面参照附图对本发明的具体实施方式进行说明。

图为表示本发明一个实施方式的车辆的周围监测装置的结构的框图。该装置配备在车辆上，具有：能够检测出远红外线的两个红外线照相机1R与1L、检测车辆的偏航角速度的偏航角速度传感器5、用于检测刹车的操作量的制动传感器7、用于根据由照相机1R与1L拍摄到的图像数据检测车辆前方的对象物的图像处理单元2、根据该图像处理单元2的检测结果而产生声音警报的扬声器3、平视显示器4。其中，平视显示器4显示由照相机1R或1L而得到的图像，并且进行规定的显示以使驾驶员能够认识到被识别到碰撞可能性较高的对象物，在下面将该平视显示器4称为HUD4。

如图2所示，照相机1R与1L配置在车辆10的前部，并且相对于通过车辆的中心的中心轴互相对称。两个照相机1R与1L固定在车辆上，二者的光轴互相平行，并且二者距地面的高度相等。红外线照相机1R与1L具有对象物的温度越高其输出信号的等级也越高(即，拍摄的图像的辉度较大)的特性。

图像处理单元2具有A/D变换电路、图像存储器、中央运算处理装置(CPU)、RAM(随机存储器)、ROM(只读存储器)、输出电路。其中，A/D变换电路将模拟输入信号变换为数字信号，图像存储器存储数字化的图像信号，中央运算处理装置(CPU)用于进行各种运算处理，RAM用于在CPU进行运算时存储数据，ROM用于存储CPU所执行的程序以及所使用的数据(包括表格、图)，输出电路用于对扬声器3输出驱动信号以及对HUD4输出显示信号。照相机1R与1L的输出信号以及各传感器5、6、7的输出信号被变换为数字信号而输入到CPU中。如图2所示，HUD4用于在驾驶员前方的车前窗位置上显示出画面4a，从而使驾驶员能够看到由HUD4显示的画面。

图3为表示由图像处理单元2所执行的程序的流程图。该程序按照规定的时间间隔执行。

在步骤S11～S13中，接收照相机1R与1L的输出信号(即，拍摄图像的数据)，对其进行A/D变换，存储在图像存储器中。关于被存储的图像数据，在灰度图像上，对象物的温度比背景温度越高则其具有的辉度值也越高(辉度值接近白色)。在拍摄同一对象物时，由照相机1R拍摄到的图像即右侧图像与由照相机1L拍摄到的图像即左侧图像这二者在图像的水平位置上有偏差，根据该偏差(视差)能够计算出照相机到对象物的距离。

在步骤S14中，以右侧图像为基准图像(以左侧图像为基准图像也可以)，对该图像信号进行二值化处理。具体为，比预先通过模拟实验等方法确定的辉度阈值1TH明亮的区域为“1”(白)，比该辉度阈值1TH暗的区域为“0”(黑)。该阈值1TH设定为能够将人与动物等比特定温度值高的对象物与背景(包括路面)区别开来的值。从而，高温的对象物区域能够以白色区域的形式提取出来。

在步骤S15中，将二值化的图像数据变换为游程编码格式(run length)数据。图4为用于说明步骤S15中的处理的示意图。在图4的(a)中，用线L1～L8表示经过二值化处理而变为白色的区域。线L1～L8在y方向上的宽度都为一个像素。实际上，线L1～L8在y方向上并无间隙，但为了便于说明，在图中使它们之间具有间隙。此外，线L1～L8在x方向上的长度分别为2个像素、2个像素、3个像素、8个像素、7个像素、8个像素、8个像素、8个像素。游程编码格式数据是用各个线的起始点(左端的像素)的坐标以及从起始点到终点(右端的像素)的长度(用像素数表示)来表征各个线L1～L8。例如，线L3由(x3，y5)、(x4，y5)、(x5，y5)这三个像素构成，因而，表征线L3的游程编码格式数据为(x3，y5，3)。

在步骤S16与步骤S17中，如图4中的(b)所示，给对象物(数据)附上标签，并提取出对象物(数据)。具体而言，即，被游程编码格式数据化的线L1～L8中，在y方向上叠加的线L1～L3作为一个对象物1，线L4～L8作为一个对象物2，给游程编码格式数据附上对象物标签1与2。

如图4中的(c)所示，在步骤S18中，计算出提取出的对象物的重心G、面积S、以及如虚线所示的、对象物的外接四边形的纵横比(纵向长度与横向长度之比)ASPECT。其中，通过对游程编码格式数据中同一对象物的长度数值求积而计算出面积S。关于重心G的坐标的计算方法，以将面积S在x方向上平分的线的x轴坐标为重心G的x轴坐标，以将面积S在y方向上平分的线的y轴坐标为重心G的y轴坐标。用外接四边形在y方向上的长度Dy与在x方向上的长度Dx计算二者的比值Dy/Dx从而得到对象物的外接四边形的纵横比ASPECT。另外，也可以用外接四边形的重心位置来代替对象物的重心G。

在步骤S19中，对对象物进行时间跟踪(tracking)，即，在每个规定的采样周期对同一对象物进行识别。采样周期可以与图3中的程序的执行周期相同。具体而言，以采样周期为单位将模拟量(连续量)的时间t离散化成多个时刻，假定在时刻k提取出了对象物A，则判断该对象物A与在下一个采样周期即时刻k+1提取出的对象物B的同一性。统一性判断按照规定的条件进行。例如，如果(1)、对象物A与B二者的图像上的重心G的位置的x坐标值与y坐标值的差在规定的允许值范围内；(2)、对象物B的图像面积与对象物A的图像面积之比在规定的允许值范围内；(3)、对象物B的外接四边形的纵横比与对象物A的外接四边形的纵横比在规定的允许值范围内这三个条件得到满足的话，那么判断为对象物A与对象物B为同一对象物。

这样，在各采样周期，提取出的对象物的位置(在本实施方式中为重心G的位置坐标)被附加上了标签，提取出的对象物数据以时间序列数据的形式存储在存储器中。

另外，在以上所说明的步骤S14～S19中的处理是对二值化后的基准图像(在本实施方式中为右侧图像)进行的。

在步骤S20中，读取由车速传感器6检测出的车速VCAR以及由偏航角速度传感器5检测出的偏航角速度YR，并对偏航角速度YR进行时间积分从而计算出转向角θr(将在后面叙述)。

另外，在步骤S31～S33中，与步骤S19以及S20中的处理并行地，计算出从车辆10到对象物之间的距离z。该运算所需要的时间比步骤S19与S20中的处理所需的时间长，所以可以用比步骤S19与S20长的周期(例如，步骤S11～S20的运行周期的3倍)进行该运算。

在步骤S31中，由基准图像(本实施方式中为右侧图像)的二值化图像选择出所跟踪的对象物中的一个，将其作为搜索用图像R1(在此，以被外接四边形所围成的图像区域为搜索用图像)。在步骤S32中，在左侧图像中搜索与该搜索用图像R1相同的对象物的图像(以下称为相应图像)。具体为，在搜索用图像R1与左侧图像之间进行如下的相关运算。该相关运算按照下式(1)进行。并且，该相关运算使用的不是二值化图像，而是灰度图像。

$C(a,b)=\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}|\mathrm{IL}(a+m-M,b+n-N)-\mathrm{IR}(m,n)|---\left(1\right)$

其中，搜索用图像R1具有M×N个像素数，IR(m，n)为搜索用图像R1内坐标(m，n)处位置的灰度值，IL(a+m-M，b+n-N)为以左侧图像内的规定坐标(a，b)为原点的、与搜索用图像R1的形状相同的局部区域内的坐标(m，n)处位置的灰度值。改变原点的坐标(a，b)而求出灰度差分总和值C(a，b)为最小的位置，从而确定相应图像的位置。

此外，作为代替上述的相关运算的方法，也可以在左侧图像中预先设定应该搜索的区域，在搜索用图像R1与该区域之间进行相关运算。

在步骤S33中，求出搜索用图像R1的重心位置与拍摄图像的图像中心线(将拍摄图像在x方向上平分的线)LCTR这二者之间的距离dR(像素数)以及相应图像的重心位置与图像中心线LCTR这二者之间的距离dL(像素数)，并利用下式(2)计算车辆10到对象物的距离z。

$z=\frac{B\×F}{(\mathrm{dL}+\mathrm{dR})\×p}=\frac{B\×F}{\mathrm{\Δd}\×p}---\left(2\right)$

其中，B表示的是基线长即照相机1R的拍摄元件的中心位置与照相机1L的拍摄元件的中心位置在x方向(水平方向)上的距离(即，两个照相机的光轴之间的间隔)，F表示的是照相机1R与1L上设定的镜头12R与12L的焦点距离，p表示的是拍摄元件11R与11L的像素间隔。Δd(＝dR+dL)表示的是视差的大小。

在步骤S21中，运用下式(3)将对象物的位置(如上所述，在本实施方式中为重心G的位置)在图像内的坐标(x、y)以及通过式(2)计算出的距离z变换为真实空间坐标(X，Y，Z)。其中，如图5中的(a)所示，真实空间坐标(X，Y，Z)的坐标系为，以照相机1R与1L的安装位置的中点(车辆上的固定位置)为原点O，以车辆10的车宽方向为X轴，车辆10的车高方向为Y轴，车辆10的行驶方向为Z轴。如图5中的(b)所示，图像上的坐标的坐标系为，以图像的中心为原点，以水平方向为x轴，以垂直方向为y轴。

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}\mathrm{xc}\×z/f\\ \mathrm{yc}\×z/f\\ z\end{array}\right]---\left(3\right)$

f＝F/p

其中，(xc，yc)为，根据照相机1R的安装位置与真实空间坐标系的原点O的相对位置关系，将右侧图像上的坐标(x，y)变换为使真实空间原点O与图像的中心一致的假想图像内的坐标。另外，f为焦点距离F与像素间隔p之比。

在步骤S22中，进行转向角修正处理，以修正因车辆10转向而带来的图像上的位置偏差。从时刻k到k+1的期间内，车辆10向左转，转向角为θr，则，在由照相机所得到的图像上，在x方向(正向)偏移Δx。因而，要将其修正。

具体而言，在下式(4)中利用真实空间坐标系(X，Y，Z)计算出修正坐标(Xr，Yr，Zr)。计算出的真实空间数据(Xr，Yr，Zr)对应于每个对象物按照时间序列存储在存储器中。另外，在下面的说明中，将修正后的坐标表示为(X，Y，Z)。

$\left[\begin{array}{c}\mathrm{Xr}\\ \mathrm{Yr}\\ \mathrm{Zr}\end{array}\right]=\left[\begin{array}{ccc}\cos \mathrm{\θr}& 0& -\sin \mathrm{\θr}\\ 0& 1& 0\\ \sin \mathrm{\θr}& 0& \cos \mathrm{\θr}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]---\left(4\right)$

在步骤S23中，针对同一对象物计算其相对移动矢量。具体为，由在ΔT的期间内得到的进行转向角修正后的N个(例如，N＝10)真实空间位置数据即时间序列数据，求得对象物相对于车辆10的相对移动矢量所对应的近似直线LMV。表示近似直线LMV的方向的方向矢量L＝(lx，ly，lz)(|L|＝1)，则求出下式(5)所表示的直线。

X＝u·lx+Xav

Y＝u·ly+Yav        (5)

Z＝u·lz+Zav

$\mathrm{Xav}=\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}X\left(j\right)/N$

$\mathrm{Yav}=\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}Y\left(j\right)/N$

$\mathrm{Zav}=\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}Z\left(j\right)/N$

其中，u为可取任意值的参变量。Xav、Yav与Zav分别为真实空间位置数据序列的X坐标平均值、Y坐标平均值、Z坐标平均值。从式(5)中消去参变量u，则得到下式(5a)。

(X-Xav)/lx＝(Y-Yav)/ly＝(Z-Zav)/lz            (5a)

图6为用于说明近似直线LMV的附图。P(0)、P(1)、P(2)、…、P(N-2)、P(N-1)表示的是转向角修正后的时间序列数据，近似直线LMV为使这些时间序列数据的位置平均坐标Pav(＝(Xav，Yav，Zav))到各数据点的距离的乘方为最小的直线。其中，表示各数据点的坐标的P所附带的括号中的数值表示的是之前的时间数据，例如，P(0)表示最新的位置坐标，P(1)表示一个采样周期前的位置坐标，P(2)表示两个采样周期前的坐标。下面说明的X(j)、Y(j)、Z(j)等也与此相同。另外，关于计算近似直线LMV的具体方法，在日本发明专利公开公报特开2001-6096中有记载。

然后，在近似直线LMV上，修正最新的位置坐标P(0)＝(X(0)，Y(0)，Z(0))以及N-1个采样周期前(即，时间ΔT之前)的位置坐标P(N-1)＝(X(N-1)，Y(N-1)，Z(N-1))。具体而言，在式(5a)中利用Z坐标Z(0)与Z(n-1)，根据式(6)求出修正后的位置坐标Pv(0)＝(Xv(0)，Yv(0)，Zv(0))以及Pv(N-1)＝(Xv(N-1)，Yv(N-1)，Zv(N-1))。

$\mathrm{Xv}\left(j\right)=(Z\left(j\right)-\mathrm{Zav})\×\frac{\mathrm{lx}}{\mathrm{lz}}+\mathrm{Xav}$

$\mathrm{Yv}\left(j\right)=(Z\left(j\right)-\mathrm{Zav})\×\frac{\mathrm{ly}}{\mathrm{lz}}+\mathrm{Yav}---\left(6\right)$

Zv(j)＝Z(j)

j＝0，N-1

将根据式(6)计算出的位置坐标Pv(N-1)到Pv(0)的矢量作为相对移动矢量。

如此，由在监测时间ΔT内的多个(N个)数据计算出对象物相对于车辆10的相对移动轨迹的近似直线LMV而求出相对移动矢量，从而能够降低位置检测误差的影响，更准确地预测车辆10与对象物发生碰撞的可能性。

返回图3，在步骤S24中，判断对象物是否有与车辆碰撞的可能性，即进行碰撞可能性判断处理。该处理中，根据下式(7)计算出Z方向的相对速度Vs，并判断下式(8)与式(9)是否成立。

Vs＝(Zv(N-1)-Zv(0))/ΔT                (7)

Zv(0)/Vs≤T                            (8)

|Yv(0)|≤H                             (9)

其中，Zv(0)为最新的距离检测值(v表示该距离检测值是由近似直线LMV修正后的数据，然而，Z坐标值与修正前的数值相同)，Zv(N-1)为ΔT时间前的距离检测值。T为余量时间，表示的是在预测发生碰撞的时刻的T时间之后发生实际碰撞，例如可以设定为2～5秒。H为规定Y方向即高度方向的范围的规定高度，例如可以设定为本车10的高度的2倍左右。

若式(8)与(9)成立，则进行接近判断处理。在接近判断处理中，判断对象物是否位于规定的接近判断区域中(即对象物的最新位置Pv(0)是否位于接近判断区域内)，如果“是”，则判断为对象物与本车10有碰撞的可能性。参照图7，照相机1R与1L能够监测到的区域为AR0。接近判断区域AR1为，在区域AR0中，车辆10的车宽α的两侧分别加上余量β(例如，可以为50～100cm)所得到的区域，也就是在车辆10的车宽方向的中心轴两侧的尺寸分别为(α/2+β)的区域，若在此区域中存在有对象物，则发生碰撞的可能性较高。

若判断为对象物不存在于接近判断区域AR1中，则进行进入判断处理，即，判断位于进入判断区域内的对象物是否会移动到接近判断区域AR1中并与车辆发生碰撞的可能性。若该判断结果为“是”，则判断为对象物与本车10有碰撞的可能性。再参照图7，进入判断区域AR2与AR3为X坐标值的绝对值比接近判断区域大的区域(接近判断区域AR1横向外侧的区域)。另外，如式(8)与(9)所示，这些区域AR1、ZR2、AR3在Z方向具有规定距离Z1＝Vs×T，在Y方向具有规定高度。该进入判断处理，可以由任意的合适方法实现，例如，可参见日本发明专利公开公报特开2001-6069号中的详细记载。

如此，若判断为对象物与本车10有碰撞的可能性，则进入步骤S25，进行判断该对象物的处理。若判断结果为对象物是提醒注意对象(应该提醒驾驶员等注意的对象)，则进入步骤S26，进行警报判断处理。在警报判断处理中，判断是否需要给驾驶员发出警报，若判断结果为“是”，则发出警报。

本发明涉及的是判断存在于车辆前方的自行车的技术，对自行车的判断处理在步骤S25中实施。若步骤S25中判断的结果为“是自行车”，则将其判断为是上述的提醒注意的对象。不言而喻，在步骤S25中，除了自行车以外，也可以实施对行人等的判断。此时，如果判断结果为“是行人”，则将其判断为是上述的提醒注意的对象。此外，在步骤S25中，也可以判断对象物是否为人造物。此时，若判断结果为“是人造物”，则将其从提醒注意的对象中排除。针对行人以及人造物的判断处理可以利用任意的适当方法进行，例如，参照日本发明专利公开公报特开2006-185434号中的记载。

作为本发明的一个实施例，接下来对车辆前方存在的自行车的判断进行说明。在说明具体的判断方法之前，先参照图8对自行车判断的原理进行说明。

图8中的(a)为拍摄到的骑乘者骑着自行车的灰度图像(在图3的步骤S13中获得)的示意图，(b)为该灰度图像的二值化图像的示意图(在图3的步骤S14中获得)。在灰度图像中，利用不同的剖面线来表示不同的灰度。在二值化图像中，剖面线区域表示的是黑色区域。在本实施方式中，对骑乘者面对着车辆10骑乘的自行车进行判断。

用两腿111A与111B操作自行车103的骑乘者101的温度较高，因而在灰度图像中具有很高的辉度值，即，在灰度图像中具有较高辉度的区域对应的是骑乘者。背景105(包括路面)温度较低，因而在拍摄到的灰度图像中为灰度值较低的图像区域。

自行车103包括沿水平方向(x方向)配置的车把103a、位于骑乘者的两腿之间且沿竖直方向(y方向)配置的车轮103b、位于车把与车轮之间的车架103c。其中，车轮103b比骑乘者101的温度低且比背景105的温度低，因而，在图像上，自行车103的至少车轮103b的部分为比骑乘者101的辉度值低且比背景105的辉度值低的区域。另外，自行车的车轮103b是始终与路面接触的，而整个路面温度可认为大致相同，所以整个路面具有大致相同的辉度值。

在二值化图像上，骑乘者101为白色区域，背景105为黑色区域。自行车103的车轮103b的部分比背景105的温度低，显示为黑色区域。在本实施方式中，自行车103的除车轮103b以外的部分显示为黑色区域，然而，也可以根据二值化处理所用到的阈值ITH的值将其以白色区域的形式提取。

参照图8中的(a)与(b)可知，所拍摄到的骑乘者骑着自行车的图像中，骑乘者101的两腿对应的部分111A与111B为一对纵长的图像区域，二者相互离开且在离开方向上的最大距离大致不超过骑乘者的躯干宽度(对骑乘者的两脚与两脚所对应的一对图像区域使用相同的符号即111A与111B表示)，而且，在该一对图像区域111A、111B之间具有沿着竖直方向细长的区域，该区域显示的是自行车103的车轮103b。

本发明是基于如下思想作出的，即，一对纵长的(即，竖直方向上的长度比水平方向上的宽度大)图像区域在水平方向上相互离开，二者之间存在一个被视为车轮区域的图像区域，如果检测到这样的图像区域，则判断为对象物是骑乘者骑着自行车。

图9所示为，在图3的步骤S25中执行的、基于上述思想而进行的自行车判断处理的流程图。下面结合图10对该判断处理进行说明。

在步骤S41中，从拍摄图像(拍摄到的图像)中，将满足以下条件(1)与(2)的图像区域(在本实施例中为图10中的(a)中图像区域111A)作为骑乘者的两腿中的一个所对应的图像区域检测出来。

(1)所具有的辉度值比背景的辉度值高规定值以上；

(2)纵长的区域。

可以在上述的二值化处理中(图3的步骤S14)，将阈值ITH设定为比背景的辉度值高出规定值以上的值，从而能够实现上述条件(1)的判断。这一条件的判断是为了将骑乘者101这一高温对象物与背景(包括路面)105区别开来。因而，使用这样设定的阈值ITH在步骤S14中进行二值化处理，则被提取出的图像区域(白色区域)中包含骑乘者所对应的图像区域。

另外，背景的辉度值可以通过模拟实验等方法预先设定，也可以将拍摄到的灰度图像的辉度值的直方图中像素数最多处的辉度值作为背景的辉度值。这是因为一般在拍摄图像中背景所占的面积最大。另外，上一段所述的规定值也可以通过模拟实验等方法预先设定，例如，利用公知的模型法，确定规定值，使阈值ITH被设定在辉度值直方图上的表示背景的峰值与表示高温对象物的峰值之间(关于该方法的详细内容，例如可参见日本发明专利公开公报特开2003-216949号中的记载)。

如上所述，参照图8，骑自行车的骑乘者的腿在图像上为纵长的区域，根据这样的思想而设定了上述条件(2)。图像区域在竖直方向(y方向)上的尺寸大于在水平方向(x方向)的尺寸即满足该条件。

为了提高检测精度，在本实施方式中，还设定有下述条件(3)～(5)，在步骤S41中，在满足条件(1)与(2)的基础上，从拍摄图像中检测出还满足这些条件的图像区域。

(3)在竖直方向上的长度在规定值以下；

(4)在水平方向上的幅度位于规定范围内；

(5)在竖直方向上呈直线特性。

上述条件(3)中的规定值根据一般的行人的腿的部分(腰以下的部分)距路面的高度预先设定(例如，可以根据成人的标准体型设定)。由于骑乘者是屈膝骑车的，所以拍摄到的腿的部分的长度在行走的人的腿的长度以下。上述条件(3)就是基于这样的思想设定的。

上述条件(4)中的规定范围根据一般的行人的腿的部分的幅度预先设定(例如，可以根据成人的标准体型设定)。例如，可以在成人标准体型的膝部的幅度上加上规定的余量值。通过该条件的判断，能够很好地将骑乘者的腿的部分区分于腿以上的躯干部分并被提取出来。

上述条件(5)是基于骑自行车的人的腿的轮廓大致垂直于路面这样的思想设定的。如图8所示，腿部分的图像区域为如图像区域111A与111B所示的大致为四边形的形状，该四边形的平行于y轴的边表示的是腿的轮廓。通过检测这条边即该四边形的竖直边从而能够检测到直线性。

上述5个条件可以用任意的适当方法进行判断。其一例为，如图3的步骤S14所示，对灰度图像进行二值化处理以满足上述条件(1)。参照图4，通过二值化处理而提取出的对象物的图像区域被游程编码格式数据化。因而，检测宽度方向(x方向)的行程编码格式数据从而能够从该提取出的对象物图像区域中检测出所具有的宽度位于规定范围内的区域。进而，检测具有这样的宽度的区域在y方向上的连续程度。若具有这样的宽度的区域在y方向上的长度大于该宽度，则提取出该区域。计算这样提取出的区域的数值边(例如，区域的右端以及/或者左端的像素的y方向的排列)相对于y轴的倾斜度，若该倾斜度的大小在规定值范围内，则判断为具有直线性。

另外，可以用图像坐标系(图5中(b))或者真实空间坐标系(图5中(a))进行条件(3)中的规定值的比较与条件(4)中的规定范围的比较。关于这一点，在以下的步骤中也一样。在本实施方式中，采用前者，即，根据对象物在图像区域的距离值z将真实空间坐标系中的值变换为图像坐标系的值(可以根据前述的式(3)进行变换)，条件(3)与(4)中的判断所使用的规定值与规定范围即采用这样的图像坐标系值。另外，如果车辆转向的话，那么可以在根据式(4)修正转向角后，根据式(3)进行变换。

另一方面，若采用后者，上式(3)与(4)中的判断所使用的规定值与规定范围分别设定为上述行人的腿部分距路面的高度以及腿部分的宽度所对应的值。根据式(3)将对象物在图像区域的y方向的长度以及在x方向的宽度(皆用像素数表示)变换为真实空间坐标系的y方向的长度与x方向的宽度，之后分别对规定值与规定范围进行相应的比较。此时，也可以根据式(4)进行转向角修正。

如图10中(a)所示，骑乘者的一条腿(第1对象物部分中的一个)所对应的图像区域111A与背景以及自行车部分区别开来并被检测出。若检测出了第1对象物部分中的一个，则进入步骤S42。

在步骤S42中，判断是否在由步骤S41所检测出的图像区域111A起算的水平方向(x方向)的规定范围内检测出了满足上述条件(1)～(5)的图像区域。如图10中(b)所示，这样的处理是为了检测出骑乘者的另一条腿(第1对象物部分中的另一个)所对应的图像区域111b。

在此，“水平方向的规定范围”根据一般的行人的躯干的宽度预先设定(例如，可以根据成人标准体型设定)。即，骑乘者的一条腿与另一条腿在相离开的方向上的最大距离(最远点距离)大致等于躯干的宽度，因而，利用这一点检测出图像区域111B。

可以利用任意的合适方法来检测出图像区域111B。例如，如图10中(b)所示，在满足条件(1)的二值化图像中，从图像区域111A的右端的x坐标值xa(例如，可以为构成图像区域111A的右边的像素的平均值)位置，在x方向上检测规定范围区域，用与步骤S41相同的方法，判断是否检测到了满足上述条件(2)～(5)的图像区域。

另外，关于检测图像区域111B的条件，可以在“存在于图像区域111A起算的规定范围内”这样的条件的基础上，再加上“与图像区域111A在竖直方向(y方向)上有重叠”这样的条件。这是考虑到两条腿在竖直方向上应该位于大致相同的范围。

如此，如图10中(b)所示，若检测出了另一条腿(第1对象物部分的另一个)所对应的图像区域111b，则进入步骤S43。

在本实施方式中，为了提高检测精度，而全部使用了上述的条件(3)～(5)，然而，也可以选择使用它们的任意之一或组合。另外，在步骤S41与S42中所使用的条件最好是相同。

如图10中(c)所示，在步骤S43中，判断在由步骤S41与S42检测出的一对第1对象物部分(图像区域111A与111B)之间是否存在这样一个区域，即，辉度值与这一对第1对象物部分不同且在竖直方向上具有规定的长度的图像区域R。这样的处理是为了检测在骑乘者的两腿之间是否存在被视为自行车的车轮103b(图8中称为第2对象物部分)所对应的部分。若存在这样的图像区域R，则判断为存在被视为车轮103b所对应的部分，因而，将由图像区域R与一对图像区域111A、111B构成的对象物视为自行车。

在本实施方式中，为了进一步提高检测精度，将辉度值比背景105低的图像区域R检测出来。这样做所依据的思想为，参照图8以及上述内容，车轮103的温度比背景105的温度低。利用这样的条件能够将车轮103所对应的图像区域R更好地与背景区别并提取出来。

这样的处理是针对灰度图像进行的。作为一个具体的例子，检测一对图像区域111A与111B之间的区域的辉度值，提取出辉度值比前述的背景105低的图像区域。检测这样提取出的图像区域的y方向的长度，若在规定值以上则视为检测出了表示车轮部分的图像区域R。在此，该“规定值”例如可以估计一般的自行车的大小后根据该自行车的车轮的顶部到路面的高度设定。

如此，如图10中(c)所示，提取出能够视为自行车的车轮103b的区域R。

在本实施方式中，为了提高对自行车的判断精度，还具有步骤S44与S45，其中的处理为考虑到路面107的情况而进行的判断。

在步骤S44中，判断区域R在竖直方向上的最低点(最低位置处的点)是否比图像区域111A竖直方向上的最低点以及图像区域111B在竖直方向上的最低点低。这样做的思想依据是，如果区域R表示车轮，则由于和路面接触，所以区域R的底边应该位于比两腿对应的图像区域111A与111B的底边低的位置。

作为这样的处理的一个具体的例子，在本实施方式中，如图5中(b)所示，设定的xy坐标系使得y坐标值向拍摄图像的下方增大，因而，“最低点”为y坐标值为最大的点。在区域R的底边的像素中选择最大的y坐标值(如图10中(d)所示，y坐标值为yr)。同样地，在图像区域111A的底边的像素中选择最大的y坐标值(y坐标值为ya)，在图像区域111B的底边的像素中选择最大的y坐标值(y坐标值为yb)。

若yr＞ya且yr＞yb，则步骤S44中的判断结果为“是”，则进入步骤S45。此外，也可以取构成底边的像素的y坐标值的平均值来进行比较。

在步骤S45中，判断在区域R的最低点附近是否存在面积在规定值以上且辉度值相同的图像区域存在。这样做的思想依据是，如果区域R表示车轮，那么在车轮的最低点附近应该存在辉度值大致相同的路面所对应的图像区域S。

作为这样的处理的一个具体的例子，如图10中(e)所示，在灰度图像中检测区域R的底边(y坐标值为yr)与从该底边向下规定值h1位置之间的区域的辉度值。该规定值h1可以设定为相当于真实空间坐标系中的数公分左右的值。在x方向上于多大的范围内检测辉度值可以任意设定。如果在该检测区域中检测出辉度值位于规定范围内的像素的面积达到了规定面积以上，则判断为存在辉度值相同的区域S即表示路面的图像区域S。在此，该“规定范围”设定为能够使辉度值被视为相同的大小。

由于区域R的最低点(y坐标值为yr)在y方向上的上方部分区域也是路面，所以，也可以设定规定值h1，使区域R的下端部分也被包括在辉度检测的区域(图10中的(f)中的虚线所围成的区域Sa)之内。因而，这里的“最低点附近”意为，不仅是最低点下方的部分区域，也包括最低点上方的部分区域。

另外，如上所述，由于车轮的温度比背景的温度低，所以在判断是否存在表示路面的图像区域S时，也可以加上“辉度值比背景的辉度值低”这一条件。

如此，若在步骤S41～S45中的判断结果全为“是”，则将具有一对第1对象物部分(图像区域111A与111B)与第2对象物部分(图像区域R)的对象物判定为“是自行车”，并判定为“是提醒注意对象”(S46)。另外，若步骤S41～S45中有任一个判断为“否”，则判定为“不是自行车”(S47)。在判定为“不是自行车”时，还可以用其他的方法判断对象物是不是行人。

如上所述，若判定为“是自行车”，则在图3的步骤S26的警报判断处理中判断是否输出实际警报。下面对这一判断处理进行说明。

在本实施方式中，根据制动传感器7的输出信号判别车辆10的驾驶员是否进行刹车操作，若没有进行刹车操作，则输出(发出)警报。若进行了刹车操作，计算出在这样的条件下的加速度Gs(减速方向为正)，在加速度Gs处于规定的阈值GTH以下(Gs≤GTH)时发出警报。若判断为由刹车操作能够避免碰撞时，不发出警报从而不会产生显得多余的警报而给驾驶员带来不快。然而，也可以不针对刹车操作进行判断而是直接发出警报。

该处理中，阈值GTH按照下式(10)确定。这样的阈值GTH为，在维持刹车加速度Gs时，用距离Zv(0)以下的行驶距离使车辆10停下的条件所对应的值。

$\mathrm{GTH}=\frac{V{s}^2}{2\×\mathrm{Zv}\left(0\right)}---\left(10\right)$

关于警报输出，通过扬声器3发出声音警报，并且，如图11所示，由HUD4使照相机1R拍摄到的图像显示在显示画面4a上，并突出显示自行车。突出显示可以采用任意的方法实现，例如，可以用带颜色的边框包围从而使其突出。可以旋转声音警报与图像显示这二者的任一个来进行警报输出。如此，能够可靠地使驾驶员认识到与车辆发生碰撞的可能性较高的移动物。

采用本发明，利用一个简单的图像进行判断处理，判断是否从其中提取出了骑乘者的两腿的形状、自行车的形状以及二者的配置关系这些特征，根据该判断结果判断是否为自行车，因而，对于这样的对自行车的判断处理(自行车判定)而言，不需要对按照时间序列拍摄的图像进行时间跟踪(追踪)，所以，在进行自行车判定时，能够降低图像处理所需的时间以及计算的负担。

不过，作为其他实施方式，也可以在上述实施方式所述的自行车判定处理中并用时间跟踪方法。例如，对不同时刻拍摄到的图像分别进行上述的自行车判定处理，如果在连续的规定数量的图像中皆判断为“是自行车”，则将对象物最终判定为自行车。也可以按照这样的方法进行提醒注意处理。

另外，在上述实施方式中，在图3的步骤S23与S24中计算出相对移动矢量而判断是否为有碰撞可能性的对象物，对该对象物进行步骤S25中的对象物判定处理。另外，在图9的步骤S41中，将满足条件(1)的图像区域从灰度图像中提取出来，从而进行步骤S41与S42中的处理，此时，也可以在图3的步骤S13的灰度图像的获取之后，进行图9的自行车判定处理。

在上述实施方式中，对自行车的骑乘者面对着车辆10而骑乘着自行车的情况进行判定处理，在该判定处理中，包括骑乘者骑着自行车使其行驶的情况，也包括自行车停止的情况。在停止时，与车轮相同，骑乘者的至少一条腿会与路面接触，因而，在此时也可以按照是否满足步骤41中说明的条件而提取出两腿部分。另外，由于自行车的车轮部分位于两腿之间且为沿竖直方向的细长状，因而能够检测出在竖直方向上具有规定长度的图像区域R。

另外，对于自行车的骑乘者背对着车辆10而行驶或者停止的自行车，由于也能够拍摄到车轮(后轮)位于两腿之间这样的图像，因而这样的情况也能够适用本发明。

此外，本发明并不限于上述实施方式，可以对其进行各种变更。例如，在上述实施方式中，摄像机构为红外线照相机，然而也可以采用仅能够检测出通常的可视光线的摄像机(television camera)(例如，可参照日本发明专利公开公报特开平2-26490号)。不过，采用红外线照相机能够简化对象物的提取处理，降低运算负担。

在上面对本发明的一些特定的实施方式进行了说明，然而本发明并不限于这些实施方式。

附图标记说明

1R，1L 红外线照相机(摄像机构)

2 图像处理单元

3 扬声器

4 平视显示器

Claims (4)

1.一种车辆周围监测装置，其配备在车辆上，用于识别出位于车辆周围的、由骑乘者骑乘的自行车，其特征在于，

包括摄像机构、提取机构、自行车判定机构，

所述摄像机构对所述车辆的周围进行拍摄并取得拍摄图像，该拍摄图像中的辉度值与对象物的温度对应，

所述提取机构从所述拍摄图像中提取出辉度值比背景温度高出规定值以上的图像区域，

如果从被提取出的该图像区域中检测出了下述的一对第1对象物部分，并且在该一对对象物部分之间存在下述的第2对象物部分的话，则自行车判定机构将包含该一对第1对象物部分与第2对象物部分的对象物判定为自行车，所述一对第1对象物部分各自的竖直方向上的长度比水平方向上的宽度大，并且，一个第1对象物部分与另一个第1对象物部分之间在水平方向上的距离处于规定值以下，

所述第2对象物部分具有不同于所述第1对象物部分的辉度，并且在竖直方向上具有规定值以上的长度。

2.根据权利要求1所述的车辆周围监测装置，其特征在于，如果所述第2对象物部分所具有的辉度值所表示的温度比所述背景的温度低，则所述自行车判定机构将包含所述第1对象物部分与所述第2对象物部分的对象物判定为自行车。

3.根据权利要求1或2所述的车辆周围监测装置，其特征在于，如果还检测出在垂直方向上所述第2对象物部分的最低点的位置比所述一对第1对象物部分的最低点位置低，则所述自行车判定机构将所述对象物判定为自行车。

4.根据权利要求1～3中任一项所述的车辆周围监测装置，其特征在于，如果还检测出在所述第2对象物部分的最低点附近存在面积在规定值以上且其辉度值相同的图像区域，则所述自行车判定机构将所述对象物判定为自行车。

Images