CN102855774B - 车辆周围监视装置 - Google Patents

Abstract

本发明提供一种车辆周围监视装置。基于由车载照相机(111)在每隔预先设定的时间间隔而拍摄的拍摄图像间的观测对象的图像的大小的变化率、以及拍摄图像间的观测对象的图像的变形的有无，来判定观测对象是否为向本车相对地接近移动的行人。由此，得到以简单的构成而能容易地检测存在与本车接触的可能性的行人的车辆周围监视装置。

Description

车辆周围监视装置

技术领域

本发明涉及从由车载照相机拍摄的车辆周围的图像中检测存在接近本车的可能性的行人的车辆周围监视装置。

背景技术

现有技术中，提出了一种车辆周围监视装置，在车辆搭载2台照相机，基于从由各照相机拍摄的车辆周围的图像中所提取的同一监视对象物的图像部分的偏差(视差)，通过三角测量的原理来对监视对象物与车辆的距离进行检测(例如，参照专利文献1)。

根据该现有的车辆周围监视装置，计算车辆周边的监视对象物与车辆的距离，根据该距离来进行从监视对象物的位置的图像坐标向现实空间坐标的变换处理，并求取现实空间中的监视对象物的移动向量，来判定监视对象物与车辆的接触可能性。

专利文献1：日本特开2001-6096号公报

然而，在基于视差来检测与监视对象物之间的距离的情况下，不仅伴随因具备2台照相机而带来的成本上升，还存在必须严格地进行两照相机的光轴调节等麻烦的设置作业的不良状况。

发明内容

本发明鉴于上述的问题点而提出，其目的在于，提供能以简单的构成容易地检测存在与本车接触的可能性的行人的车辆周围监视装置。

解决上述课题的本发明的车辆周围监视装置基于由车载照相机在不同的时刻拍摄的多个拍摄图像间的观测对象的图像的大小的变化率、以及拍摄图像间的观测对象的图像的变形的有无，来判定观测对象是否为向本车相对地接近移动的行人。

根据本发明，能以简单的构成来容易地检测存在与本车接触的可能性的行人。此外，上述以外的课题、构成以及效果通过以下的实施方式的说明而明确。

附图说明

图1是本实施方式所涉及的车辆周围监视装置的系统构成图。

图2是表示从拍摄装置得到的图像的例子的图。

图3是说明各时刻上的本车周围与对象的相对关系的图。

图4是用于说明处理区域设定的假定的图。

图5是表示一维的亮度值波形的图。

图6是说明根据一维的亮度值波形来计算扩大率的方法的图。

符号说明

100  车辆周围监视装置

101  图像取得单元

102  处理区域设定单元

103  变化率计算单元

104  外观变形判定单元

104a 腿部变形判定单元

104b 臂部变形判定单元

105  对象行为解析单元

106  警报输出判定单元

111  车载照相机

M    行人

具体实施方式

接下来，使用附图来说明本实施方式所涉及的车辆周围监视装置。

图1是说明本实施方式所涉及的车辆周围监视装置的构成的图。

车辆周围监视装置100用于监视行人是否在向本车相对地接近的方向上移动，且构成在未图示的图像处理ECU内。车辆周围监视装置100不局限于构成在图像处理ECU内，还能构成在专用的ECU、车载照相机111的ECU等其他的车载ECU内，另外，还可以通过多个ECU的组合来构成。

车辆周围监视装置100如图1所示具有：拍摄图像取得单元101，其取得由车载照相机111在不同的时刻拍摄的多个拍摄图像；处理区域设定单元102，其在由拍摄图像取得单元101取得的拍摄图像内设定用于探测观测对象的处理区域；变化率计算单元103，其在所述拍摄图像间计算所述处理区域内的观测对象的图像的大小的变化率；外观变形判定单元104，其在所述拍摄图像间判定所述处理区域内的观测对象的图像有无变形；对象行为解析单元105，其基于由变化率计算单元103计算出的变化率和由外观变形判定单元104提供的外观变形判定的判定结果，来判定观测对象是否为在向本车相对地接近的方向上移动的行人；以及警报输出判定单元106，其基于对象行为解析单元105的解析结果来判定是否进行警报输出。

在车辆周围监视装置100的输入侧连接有：用于观测车辆前方或后方等本车辆周边的车载照相机111、获取车辆的各车轮的旋转速度的车轮速度传感器121、获取方向盘的旋转角度的舵角传感器122、对驾驶员的注视方向进行检测的视线传感器123，在输出侧连接有：用于输出警报音的扬声器112、用于对输出了警报的对象进行显示的监视器113。车载照相机111是所谓的单眼照相机，为了拍摄本车的周围而安装于车辆。车载照相机111不局限于拍摄车辆后方的后置照相机，也可以是拍摄车辆前方的前置照相机、或拍摄车辆侧方的侧置照相机照相机，还可以全部具备。

接下来，详细说明车辆周围监视装置100的各构成。

拍摄图像取得单元101将从车载照相机111输出的模拟的影像信号变换成数字数据并放入到图像存储器。此时，通过将进行拍摄的时刻或放入图像存储器的时刻(以下，称为拍摄时刻)与放入到图像存储器中的图像数据建立对应地保持，从而具备如下效果：能不受计算负荷所带来的处理周期的变动的影响地计算每单位时间的图案的扩大率。此外，还能不考虑计算负荷而每隔预定的时间间隔来以恒定周期进行拍摄，在此情况下，可以省略拍摄时刻的保持。通过省略拍摄时刻的保持，能期待存储器使用量的削减和影像取得处理的高速化的效果。在为BT601标准等的一般的模拟影像信号的情况下，变换到数字数据的规格确定，A/D变换IC芯片等也是市场流通品，因此在此省略详细的变换方法的说明。

图2是在拍摄时刻t1、t2由车载照相机拍摄的图像，图3是在从上方俯瞰图2的状况的情况下的示意图。行人M在拍摄时刻t1，如图3(a)的状况301所示，站在远离本车311的后方的位置，且在图2(a)的图像201中被拍摄得较小，而在拍摄时刻t2，如图3(b)的状况302所示，在向着本车311相对地接近的方向上移动，且在图2(b)的图像202中被拍摄得比图像201大。

处理区域设定单元102在图像存储器上设定多个处理区域。若给出想要探测的行人的距离以及大小，则能计算能在图像上观测的观测对象的大小。将具有该观测对象的大小的处理区域按照彼此一点点重合的方式排列在画面上来进行设定。处理区域设定单元102基于来自后述的车辆行为解析单元105a的车辆行为解析的结果，来使各处理区域的位置变化。例如当本车处于转弯中，与设定于图像中的处理区域对应的三维空间中的位置、以及与本车辆的相对关系发生变化，因此配合转弯量来重设先前所设定的处理区域。

使用图4来说明观测对象的大小的计算方法。

图4是说明处理区域设定方法的图，图4(a)是从侧面表示车辆与行人的位置关系的图，图4(b)是表示从上方俯瞰图4(a)所示的状况的图。

车辆401具有后置照相机402作为图1的车载照相机111的例子。假设行人M站在车辆401的后方。如图4(a)、(b)所示，将从后置照相机402到行人M的距离设为D，将行人M的大小假设为宽度W、高度H，将后置照相机402的焦距设为f，且将现实世界的距离与图像上的距离的变换系数设为cu、cv。另外，若将图像上的行人M的大小设为宽度u、高度v，则以下的式子成立。

W：D＝u：f    H：D＝v：f

由此，

u＝f×W÷D×cu

v＝f×H÷D×cv

将该u×v设为1个处理区域的尺寸。

将像这样所确定的尺寸的处理区域按照一部分彼此重合的方式配置在拍摄图像内。将该处理区域的重合量例如设定为行人M的宽度u的50％。通过这样，即使在行人没有精确地位于处理区域的中央的情况下，由于至少区域的50％以上由行人区域的纹理占据，因此行人后方的背景图案的影响变小，从而也能方便地计算图案的扩大率。

另外，前述的处理区域设定单元102在基于车辆行为解析的结果来使各处理区域的位置变化时，以将基于行人M的移动量和本车的移动量而计算出的相对的移动量投影到图像平面上的量，来移动处理区域进行设定。通过这样，即使本车处于移动中，也能在同一处理区域中连续捕捉到行人。

此外，在假设行人M在现实环境中的移动量非常少的情况下，相对于相对的移动量，因本车行为而引起的比率变大，因此可以仅配合本车的移动量来移动并设定处理区域。另外，在将处理区域配置得足够密集的情况下，可以取代改变各处理区域的位置自身，而配合所计算的相对的移动量来计算在彼此不同的处理区域间的扩大率。

车辆行为解析单元105a将由舵角传感器122检测出的操舵角、以及由车轮速度传感器121检测且计算出的车速/各车轮速/各轮胎的旋转量等作为输入，使用车轴长度/轴距等的知识，来计算伴随行驶的本车位置以及转弯角度的变化量。通过蓄积该计算结果，能计算从世界坐标系上的基准点起的本车位置。此外，重置世界坐标系上的基准点以使系统起动时或图像识别动作开始时等的地点成为坐标系原点，或使用基于GPS系统的本车定位结果来对地球上的纬度经度进行设定即可。

通过如前所述来设定处理区域，至少在假定的距离中，成为探测对象的行人的图像以足够的大小被包含在所排列的处理区域的任一者中，因此由后述的单元进行探测变得容易。

另外，由于能以最低限度的处理区域个数来覆盖想要探测的范围，因此能减少处理所花的计算成本。即，不仅能提高在所设定的距离附近的探测性能，还能优化计算量。

另外，在像鱼眼镜头或变形镜头那样，在假定某距离时每1像素所反映的实际的物体的大小在图像上的中央部和周边部不同的情况下，能取代统一设定处理区域，而使处理区域与图像上的部位相适应地变化，由此能进一步改善在所设定的距离附近的探测性能。

变化率计算单元103对于由车载照相机111在不同的时刻拍摄且由拍摄图像取得单元101取得的多个拍摄图像，在其图像间计算在对应的处理区域内的观测对象的大小的变化率。变化率的计算例如能使用动态规划法。

动态规划法是取2个图案的对应关系的手法。假定适当的1轴来将二维的图像图案的亮度值分布投影至一维，并对该投影后的一维波形应用动态规划法。

在基于图像的行人的探测中，外观的形状根据腿部开闭或臂的挥舞状况、行李的携带的步行状态而时刻变化，因此仅取图像间的对应关系来计算变化率是困难的。因此，通过将二维的图像图案的亮度值分布投影至一维(例如参照图5)，能相对于图像的变形实现健壮的对应关系，能对在建立了对应的时刻的不同的图像间的变化率进行计测。

在此，行人的身高方向的纵向宽度比肩或腰的横向宽度长，因此在图像上计测时，通过投影到图像的纵轴(Y轴)上能实现更稳定且高精度的变化率的计测。即，例如在扩大率为2％那样的情况下，若较之在图像上的肩宽(水平)方向上50像素的行人变为51像素时的1像素的变化，针对图像上的身高(垂直)方向上200像素的行人变为204像素时的4像素份的变化，来考虑拍摄时的量化误差，则观测稳定且误差变少。因此，在计算观测对象的变化率的情况下，通过将作为身高方向的纵轴(Y轴)作为适合投影的轴，并对到纵轴的投影进行组合，从而具有改善变化率计测的稳定性和改善精度的效果。

此外，在本车的加减速时或在有凹凸的路面、有斜率变化的路面上行驶等从而车辆的俯仰角变化、在图像上对象在上下方向上移动那样的情况下，投影到图像的横轴(X轴)上来仅观测宽度的变化更能改善变化率计测的稳定性和精度。投影到哪一个轴更好是通过判断车辆的俯仰角度是否处于变化状态来决定的。

例如，在时间序列上观测从油门踏板开度的传感器或制动装置的传感器、加速度传感器、车高传感器等的传感器信息而得到的车辆状态，在车辆状态的变化量大于事先所设定的阈值的情况下，能判断为俯仰角处于变化状态。另外，还能从图像上提取例如白线或称为博茨点(botts dots)的车道边界，从根据它们而计算出的消失点坐标的偏差来估计车辆的俯仰角处于变化状态。

进而，在像卷帘方式的CMOS传感器那样不在画面整体中同时进行快门控制、而是拍摄定时按画面的每条扫描线而不同那样的拍摄设备中，步行中的行人被观测的位置扭曲地被拍摄，因此通过投影到与扫描线正交的轴上，从而存在能进行减少了时间序列的偏差的扩大率的计算那样的效果。

使用图5、图6来说明变化率的计算方法的一例。

图5是表示一维的亮度值波形的图，图6是说明根据一维的亮度值波形来计算扩大率的方法的图。图5(a)是将拍摄时刻t1的图像的处理区域内的亮度值投影到Y轴的波形图，图5(b)是将比拍摄时刻t1后的时刻，即作为与拍摄时刻t1不同的时刻的拍摄时刻t2的图像的处理区域内的亮度值投影到Y轴的波形图。

变化率计算单元103如图5(a)、(b)所示，对图像的Y轴投影在拍摄时刻t1以及拍摄时刻t2上的处理区域内的各图像501、502的亮度值，来生成一维的亮度值波形521、522。若将大小为u×v的处理区域内的各点的亮度值设为I(x，y)，则亮度值波形J(y)由下式求取。

J(y)＝∑I(i，j)(1≤x≤u，j＝y)

若将针对拍摄时刻t1以及拍摄时刻t2的图像的亮度值波形设为J1、J2，则成为：

(rxi，ryi)＝argmin∑(J1(xm)-J2(yn))²

1≤m≤u，1≤n≤v，xm∈rxi，yn∈ryi。

此时的rxi、ryi的斜度φ′表征在拍摄时刻t1以及拍摄时刻t2的各图像间对应的处理区域内的行人的大小的变化率。能根据该斜度φ′来计算单位时间间隔(T-t1)下的斜度φ，计算单位时间间隔(T-t1)下的变化率(变化率＝1/斜度φ)。

将拍摄时刻t1以及拍摄时刻t2时的至行人为止的距离设为d1、d2，将行人在图像上的大小设为s1、s2，将时刻T时的至行人为止的距离设为dT，且将行人的图像上的大小设为sT。另外，若假设在t1和t2行人的移动速度变化不大，则下面的式子成立。

d1×s1＝d2×s2＝dT×sT

φ＝sT/s1

φ′＝s2/s1

进一步成为：

φ＝1/{1+{(T-t1)/(t2-t1)}×(s1/s2-1)}φ′。

此外，对应的处理区域，例如在本车处于静止中的情况下可以是图像的同一坐标，而在本车处于转弯移动中的情况下可以对应于本车转弯角度来使坐标移动。

例如，如图6(a)所示，若创建在纵轴上取拍摄时刻t1的亮度值521、在横轴上取拍摄时刻t2的亮度值522的曲线图，则能创建向右不断增长的曲线线图。该曲线线图的任意的近似直线的倾斜角φ成为变化率。例如在拍摄时刻t1和t2行人M的大小完全不变的情况下，倾斜角φ成为45度，而在随着行人M接近车载照相机111，倾斜角φ变小，变化率变大。

外观变形判定单元104具备：腿部变形观测单元104a，其对观测对象的图像中的腿部的外观的变形进行观测；以及臂部变形观测单元104b，其对观测对象的图像中的臂部的外观的变形进行观测。外观的变形是指，在将实际未变形的三维空间中的物体以不同的多个视点进行观测时，在投影至由照相机拍摄时的拍摄平面上的过程中，作为具有放射变换的关系的不同的多个形状而被观测。腿部或臂部在关节以外不弯曲且各关节间连接部分长度也不变，但若拍摄且投影至图像平面，则在图像上可见角度或长度根据照相机与人物的位置关系而变化。

在腿部变形观测单元104a中，在拍摄时刻t1和拍摄时刻t2对处理区域内的下半部分的外观的变形进行观测。在处理区域内含有行人的情况下，处理区域的下半部分相当于腿部，因此通过判定该下半分的外观的变形的有无，能区分出行人不是处于静止，而是在使腿部运动来进行步行。

在为行人的情况下，腿部会变形，因此通过取处理区域的下半分的图像的差分，对差分的亮度值进行累积，且与阈值进行比较，能判定外观是否发生了变形。即，若将拍摄时刻t1和拍摄时刻t2的大小设为u×v的处理区域内的各点的亮度值I1(x，y)、I2(x，y)，且将判定为变形的阈值设为Thr1，则在发生变形的情况下，下式成立。

∑|I1(i，j)-I2(i，j)|≥Thr1

1≤i≤u，v/2≤j≤v

在腿部变形观测单元104a中，依照上述的式子，针对处理区域的下半部分，将亮度值差分绝对值的累积与阈值Thr1进行比较，在式子成立的情况下，判定为腿部发生了变形，在式子不成立的情况下，判定为腿部未变形。

在臂部变形观测单元104b中，与腿部变形观测单元104a类似，但取差分的区域不同，对从处理区域的上部1/8至1/2的间的区域累积差分的亮度值。若将判定为变形的阈值设为Thr2，则在发生了变形的情况下，下式成立。

∑|I1(i，j)-I2(i，j)|≥Thr2

1≤i≤u，v/8≤j≤v/2

在臂部变形观测单元104b中，依照上述的式子，针对处理区域的上部区域，将亮度值差分绝对值的累积与阈值Thr2进行比较，在式子成立的情况下，判定为臂部发生了变形，在式子不成立的情况下，判定为臂部未变形。此外，尽管在前述的式子中使用了处理区域的下半部分的区域和从上部1/8至1/2的间的区域，但即使假设人物形状来更灵活地设定区域也没关系。

在由腿部变形观测单元104a和臂部变形观测单元104b中的至少一者判定为外观发生了变形的情况下，外观变形判定单元104判定为存在观测对象的图像的变形。

对象行为解析单元105基于变化率计算单元103和外观变形判定单元104的结果，来判定观测对象是否为在向本车相对地接近的方向上移动的行人。例如，在由变化率计算单元103判定为观测对象的图像朝着扩大的方向变化、且由外观变形判定单元104判定为观测对象的图像发生了变形的情况下，判定为观测对象是向本车相对地接近的行人。

警报输出判定单元106基于对象行为解析单元105的解析结果，来判定是否输出警报。作为警报，进行向扬声器112输出警报音，或者显示于监视器113。另外，在由视线传感器123判断为驾驶员的注视方向已经朝着检测出的行人的方向的情况下，还可以抑制向扬声器112或监视器113的输出。

具有上述构成的车辆周围监视装置100在开始来自未图示的车辆的电源装置的电源供给后起动，进行存储器的清零等系统的初始化处理。在初始化完成后，进行所连接的影像输入单元、以及与传感器类的通信单元的功能是否正常的诊断处理。然后，在初始化处理和诊断处理的结束后，等待车辆周边监视功能的开始触发的输入。

在本实施方式中，诊断处理是指对以下进行判断：是否以给定周期从作为拍摄单元的车载照相机111取得了同步信号、影像信号的亮度等级是否收敛于给定范围内、是否正常进行了与车轮速度传感器121或舵角传感器122之间的通信。另外，开始触发有以下3种：从位移位置传感器输出的表示倒车的信号、从计测车速的传感器得到的本车速持续一定时间为一定值以下、用户通过触摸面板或开关等来指定的定时。

开始触发被输入后，转移到使用拍摄图像取得单元101来取得车辆周围的拍摄图像的状态，在开始触发以后，不仅以给定的周期来取得拍摄图像，还将拍摄图像分别输入到处理区域设定单元102、变化率计算单元103、外观变形判定单元104。

使用处理区域设定单元102来决定在变化率计算单元103中使用的1个处理区域的尺寸、以及在输入图像内的各处理区域的配置。例如，在水平视角38度、垂直视角30度、具有720×480像素的分辨率的车载照相机111中，检测到前方40m处的身高160cm、肩宽60cm的行人的情况下，若认为车载照相机111的分辨率在中央部和周边部大致相同，则大致以横向宽度u＝16像素(pixel)、纵向宽度v＝36像素(pixel)来观测该行人。

该探测对象的尺寸成为1个处理区域的尺寸。通过像这样设定处理区域的尺寸，能增大行人区域占处理区域内的比率，能使对系统而言需要的探测距离下的探测性能得以提高。

另外，在输入图像内配置该尺寸的各处理区域时，作为检测对象，期望将各处理区域配置于包含假定的距离的行人中心部的位置。例如，在将车载照相机111设置于行人的腰附近的高度的情况下，优选按照包含地平线的方式来配置各处理区域。通过像这样配置处理区域，即使行人的距离与假定的距离不同，也能在处理区域的大致中央部捕捉行人区域，从而能使各距离下的行人的探测性能得以提高。

此外，为了提高车辆附近的探测性能，可以假定不同的多个距离，按照包含根据它们而计算出的图像上的行人尺寸的方式来设定1个处理区域的尺寸。即，在前述的照相机中，前方40m处的行人是16×36像素(pixel)，而前方20m处的行人变为32×72像素(pixel)。

在变化率计算单元103中投影到纵轴方向上来计算行人的图像的变化率的情况下，即使在处理区域的上部以及下部包含行人以外的背景图像也没问题，若在左右部包含背景图像则探测性能下降，因此将处理区域设定为16×72像素(pixel)。通过像这样设定处理区域的尺寸，能使与假定的距离不同的距离处的行人的探测性能得以提高。

另外，可以对应于本车辆的车速来变更假定的与行人之间的距离。例如，若设TTC(到碰撞为止的时间，Time To Collision)＝2秒，则在时速40km/h下22m，在时速60km/h下33m成为对本车的行驶而言危险的距离。通过像这样对应于本车行驶速度来变更假定的与行人之间的距离，能进行符合行驶场景的行人的探测。例如能在低速行驶时抑制远处过剩的探测，或者在高速行驶时提高远处的探测性能，从而具有便利性提升的效果。

若由拍摄图像取得单元101取得图像，则变化率计算单元103首先将图像蓄积到图像存储器，接下来在所取得的图像与所蓄积的图像之间使用前述的动态规划法，来计算图像间的对应关系。在本实施方式中，考虑在将输入图像和蓄积图像的处理区域分别投影到纵轴后，通过动态规划法来计算高度方向的对应关系，计算扩大率。

例如，在将处理区域的尺寸设为横宽N×纵宽15、将输入图像的处理区域投影到纵轴后的一维的图案设为I[15]、且将蓄积图像的处理区域投影到纵轴后的一维的图案设为J[15]时，设得到下面的结果来作为投影后的图案列。

I[15]＝{0，0，4，5，4，2，3，6，8，9，9，9，3，0，0}

J[15]＝{0，4，5，5，4，2，2，3，7，8，9，9，9，3，0}

若进行基于该图案的动态规划法的建立对应，则I[2]与J[1]，I[12]与J[13]分别建立对应。在此，设I[0]、J[0]分别是最初的要素，I[14]、J[14]分别指最后的要素。

另外，该投影后的图案整体不是仅由行人区域占据，还存在背景区域混入其上下部分的可能性，因此在变化率的计算中仅取出建立了对应的中央部分来使用。将上下部分的无效区域设定到何种程度根据处理区域设定单元的假定而改变，但在本实施例中，设使用上下各去除了图案长度的约1成后的中央部分。此时的J对I的扩大率按照(13-1+1)/(12-2+1)＝1.18计算。并将其计算结果送往对象行为解析单元。

这样，通过投影到一维图案来计算多个拍摄时刻间的图案间的对应关系，并使用对应关系结果的中央部分的扩大率，从而具有在假定的探测对象的距离以外也能稳定地实现变化率观测的效果。

此外，当对象处于静止或者比本车辆的移动速度低速时，若根据车速或车轮速度脉冲等使用航位推算法来计算本车的移动量，则能根据该移动量和变化率来计测至行人为止的距离。即，在本车与行人之间的距离从X移动至(X-D)的期间的变化率为S的情况下，若将至对象为止的距离设为D，则下式成立。

X：(X-D)＝S：1

在本车移动了3m的期间扩大率为1.18的情况下，能计算出至行人为止的距离为19.67m。这样计算出的距离能用于判断扩大了的对象是否危险。

在外观变形判定单元104中判定输入图像和蓄积图像是否在外观上发生了变形。在腿部变形观测单元104a中，如前所述，将处理区域配置于包含行人中心部的位置，并将处理区域中的比地平线低的部分作为腿部区域对待。针对输入图像和蓄积图像各自处理区域中的比地平线低的部分的区域，计算SAD(差分绝对值总和，Sum of Absolute Difference)。

在臂部变形观测单元104b中，与腿部变形观测单元104a类似，但取差分的区域不同，对处理区域中的比地平线高的区域的变形进行判定。如前所述，针对输入图像和蓄积图像的各自处理区域中的比地平线高的部分的区域，计算SAD。外观变形判定单元104通过对各SAD与给定的阈值比较大小，来判定是否发生了在外观上的变形，并将其判定结果送往对象行为解析单元105。

对象行为解析单元105仅根据由变化率计算单元103计算出的行人的图像的变化率，在本车移动的情况下，不能判别是静止的墙壁等还是行人。因此，基于来自对本车的行为进行解析的车辆行为解析单元105a的信息来进行行人的判别。

若知道本车的舵角和车速、或者各轮胎的车轮旋转，则车辆行为解析单元105a能计算本车移动的距离和姿势。例如，若使用阿克曼杨特模型(Ackerman Jantaud model)，则能根据车轮速度传感器121和舵角传感器122的输出值V(t)、δ(t)，来求取车辆的位置(x，y)以及旋转角度θ。阿克曼杨特模型是将车辆的操舵轮中的内轮和外轮的转向角设为相同、且作为在内轮和外轮的车轴中心整合为1轮的操舵轮进行定义的模型。若将车辆的轴距设为Lw，则能定义以下的状态方程式。

dx/dt＝V(t)×cosθ(t)

dy/dt＝V(t)×sinθ(t)

dθ/dt＝V(t)×tanδ(t)÷Lw

通过对其求解，能求取本车的位置和旋转角度。

在从变化率计算单元103得到的变化率为阈值以上，例如，以本车速40km/h处于行驶中，将探测距离设定为20m以内的情况下，若在1.05以上的扩大率的探测区域中所含的区域中，进而由腿部变形观测单元104a或臂变形观测单元104b中的至少一者判定为发生了变形，则对象行为解析单元105判定为观测对象为行人。且将该判定结果送往警报输出判定单元106。

例如在300msec等一定的时间间隔，从对象行为解析单元105来了3次行人接近的判定结果的情况下，警报输出判定单元106向扬声器112输出警报音，或者在由拍摄图像取得单元101取得的图像中的处理区域部分上重叠红框或图标并输出到监视器113。

以上，针对本实施方式进行了详述，但本发明不局限于所述的实施方式，能在权利要求的范围所记载的不脱离本发明的精神的范围内进行各种设计变更。例如，所述的实施方式为了易懂地说明本发明而详细地进行了说明，但不必局限于要具备所说明的全部构成。另外，针对实施方式的构成的一部分，还能进行其他的构成的追加/删除/置换。

Claims (8)

1.一种车辆周围监视装置，基于由车载照相机拍摄的车辆周围的图像来进行车辆周围的监视，所述车辆周围监视装置的特征在于，具有：

拍摄图像取得单元，其取得由所述车载照相机拍摄的拍摄图像；

处理区域设定单元，其在由所述拍摄图像取得单元取得的拍摄图像内设定用于探测观测对象的处理区域；和

对象行为解析单元，其基于在不同的时刻拍摄的多个所述拍摄图像间的在所述处理区域内的观测对象的图像的大小的变化率、以及在不同的时刻拍摄的多个所述拍摄图像间的在所述处理区域内的观测对象的图像的变形的有无，来判定所述观测对象是否为向本车相对地接近移动的行人，

所述处理区域设定单元，基于作为拍摄对象的行人的大小，在所述拍摄图像内排列配置多个事先设定了大小的处理区域。

2.根据权利要求1所述的车辆周围监视装置，其特征在于，

所述对象行为解析单元，在基于不同的时刻拍摄的多个拍摄图像进行判定时，对应所述车辆与观测对象间的相对移动使用不同位置的处理区域。

3.根据权利要求1所述的车辆周围监视装置，其特征在于，

还具有：变化率计算单元，其计算观测对象的图像的大小的变化率，

所述变化率计算单元，利用包含了所述处理区域的上下方向中至少中央部分的区域中的观测对象的图像，来计算所述观测对象的图像的大小的变化率。

4.根据权利要求1所述的车辆周围监视装置，其特征在于，

还具有：外观变形判定单元，其判定所述观测对象的图像的变形的有无，

所述外观变形判定单元，判定所述处理区域的上部或下部中的至少一个区域中的变形的有无。

5.根据权利要求1所述的车辆周围监视装置，其特征在于，

所述处理区域设定单元，使一部分重叠地配置多个所述处理区域。

6.根据权利要求1所述的车辆周围监视装置，其特征在于，

还具有：变化率计算单元，其计算所述观测对象的图像的大小的变化率，

所述变化率计算单元，根据所述车辆的俯仰角的变化状态来决定使用所述观测对象的图像的垂直方向的大小的变化和水平方向的大小的变化的哪个，并利用所决定的那个的变化来计算所述观测对象的图像的大小的变化率。

7.根据权利要求1所述的车辆周围监视装置，其特征在于，

还具有：变化率计算单元，其计算所述观测对象的图像的大小的变化率，

所述变化率计算单元，利用把二维图像的亮度值分布投影到规定的轴的一维图案，来计算所述观测对象的图像的大小的变化率，

所述车载照相机使用卷帘方式的摄像器件，

所述规定的轴，设定为与图像的扫描线正交的方向。

8.根据权利要求1所述的车辆周围监视装置，其特征在于，

所述处理区域设定单元，根据所述车辆的车速来变更事先设定的处理区域的大小。