CN105405319B - 车辆的接近物体检测装置以及车辆的接近物体检测方法 - Google Patents

Abstract

涉及车辆的接近物体检测装置以及车辆的接近物体检测方法，该车辆的接近物体检测装置使用基于2张图像算出的光流向量来确定接近车辆的物体，能够避免光流向量的水平方向分量因车辆改变朝向而发生变化从而发生将接近的对象物判定为不是接近物体的不检测以及将没有正在接近的对象物判定为接近物体的误检测。基于光流向量中的在相对于通过无穷远点的垂直的线(假想中心线)呈线对称的位置具有起点的一对向量的水平方向分量的平均，来算出转向修正向量，基于通过转向修正向量修正各光流向量而得到的修正后向量，确定接近物体。

Description

车辆的接近物体检测装置以及车辆的接近物体检测方法

技术领域

本发明涉及基于由固定于车辆的摄像装置(相机)拍摄到的图像来检测接近该车辆的物体的车辆的接近物体检测装置以及车辆的接近物体检测方法。

背景技术

专利文献1中记载了利用如下光流向量来检测接近该车辆的物体的头部视角监视(nose view monitor)装置(以下，也称作“以往装置”。)，所述光流向量基于设置于车辆的前端的摄像装置所拍摄到的图像算出。光流向量(以下，也简称作“流向量”。)是表示包含于由同一摄像装置拍摄到的相隔预定时间的2张图像双方的对象物(被摄体或被摄体的一部分)在该图像内的移动的向量。

若基于拍摄车辆的左侧方区域得到的图像(左侧方图像)所包含的对象物的流向量具有向右的水平方向分量，则以往装置将该对象物判定为接近物体。同样地，若基于拍摄车辆的右侧方区域得到的图像(右侧方图像)所包含的对象物的流向量具有向左的水平方向分量，则以往装置将该对象物判定为接近物体。

更具体而言，在以往装置所具备的头部视角相机所拍摄的图像中表示车辆的直行方向的点(即无穷远点)在该图像内处于车辆的行进方向前方。因此，在车辆停止时，基于正在移动且不久会横向穿过车辆的行进方向前方的对象物的流向量具有朝向通过图像上的无穷远点的垂直的线(假想中心线)的水平方向分量。

例如，基于处于车辆的左侧方且沿着不久会从左向右横向穿过图像上的假想中心线的方向移动的对象物的流向量具有向右的水平方向分量。因此，以往装置将与在左侧方图像中具有向右的水平方向分量的流向量对应的对象物确定为接近物体。同样地，以往装置将与在右侧方图像中具有向左的水平方向分量的流向量对应的对象物确定为接近物体。

但是，在车辆的方向改变时(即，一边使转向轮朝向左方向或右方向一边使车辆行驶时)，有时不能正确地判定接近物体。例如，在车辆向右转向时(即，一边使转向轮朝向右方向一边使车辆前进，结果使车辆的方向改变时)，与车辆没有转向时相比，各流向量的水平方向分量向左方向变大。

其结果，“基于左侧方图像所包含的接近物体的流向量所具有的向右的水平方向分量”由于车辆的右转向而变小，根据情况的不同，该流向量有时具有向左的水平方向分量。在该情况下，以往装置有可能发生不将实际正在接近的对象物判定为接近物体的“不检测”。

另一方面，尽管基于右侧方图像所包含的对象物的流向量原本不具有向左的分量，但该流向量有可能因车辆的右转向而具有向左的水平方向分量。在该情况下，有可能发生尽管该对象物不是接近物体但以往装置将其判定为接近物体的“误检测”。

因此，在由于车辆的转向而发生接近物体的不检测以及/或误检测的可能性高从而有可能无法发挥车辆的驾驶员所期待的精度的接近物体检测功能时，以往装置停止接近物体的检测处理。具体而言，以往装置在与车辆的转向速度(水平方向的转向速度)具有相关的该车辆的操舵角的大小超过预定值的情况下停止接近物体的检测处理。

现有技术文献

专利文献

专利文献1：日本专利第4259368号公报

发明内容

根据以往装置，例如在车辆为了进行左转或右转而进入T字路时，为了确认有无从左侧方以及右侧方接近的车辆而在转动了方向盘的状态下(即在操舵角超过上述预定值的状态下)停止了时，使接近物体的检测处理停止。其结果，存在如下情况：在检测来自侧方的接近物体(例如其他车辆)最为有效的场景之一即进入T字路时以往装置所具备的接近物体检测功能无法活用。

本发明是为了应对该问题而做出的，其目的在于提供即使车辆在转动了方向盘的状态下停止的情况下、或者车辆在转动了方向盘的状态下行驶的(即正在转向的)情况下也能够检测接近物体的车辆的接近物体检测装置。

为了达到上述目的的车辆的接近物体检测装置(以下，也称作“本发明装置”。)具备固定于车辆的车身并且取得包括该车身的左侧方区域以及右侧方区域的图像的摄像装置、向量取得部、修正向量算出部、修正部、以及接近物体确定部。

所述向量取得部基于由所述摄像装置在第1时刻取得的第1图像和由所述摄像装置在从所述第1时刻经过预定时间后的第2时刻取得的第2图像，取得多个光流向量，所述光流向量表示在所述第1图像以及所述第2图像双方所拍摄到的任意对象物的在所述第1时刻的起点、从所述第1时刻到所述第2时刻为止的移动量以及移动方向。

所述修正向量算出部算出基于所述光流向量中的在相对于“通过包括所述左侧方区域以及所述右侧方区域的图像平面中的表示所述车辆的直行方向的点且与所述车身的左右水平方向正交的假想中心线”呈线对称的位置具有起点的一对向量的水平方向分量的平均而得到的向量，作为转向修正向量。

所述图像平面是由所述摄像装置拍摄的任意对象物(立体)所投影的平面。例如，所述摄像装置有时不是单一的摄像装置，而由“对左侧方区域进行拍摄的第1摄像装置”和“对右侧方区域进行拍摄的第2摄像装置”构成。在该情况下，所述图像平面是包括“由第1摄像装置拍摄的对象物所投影的平面(第1平面)”和“由第2摄像装置拍摄的对象物所投影的平面(第2平面)”的平面。

所述图像平面中的表示所述车辆的直行方向的点也是通过下述各流向量的起点和终点的各直线相交的点(参照图3。)，所述各流向量是在车辆前进(直行)时基于静止的对象物(例如，建筑物)取得的流向量。即，表示所述车辆的直行方向的点能够理解为所述图像平面中的无穷远点(Focus Of Expansion)。

因此，所述修正向量算出部也能够如以下这样说明。

即，所述修正向量算出部算出基于所述光流向量中的在相对于“通过包括所述左侧方区域以及所述右侧方区域的图像平面中的无穷远点且与所述车身的左右水平方向正交的假想中心线”呈线对称的位置具有起点的一对向量的水平方向分量的平均而得到的向量，作为转向修正向量，所述假想中心线。

所述修正部进行如下的向量修正：通过基于所述转向修正向量修正所述多个光流向量中的各个光流向量来取得多个修正后向量。

所述接近物体确定部基于所述多个修正后向量来确定接近所述车辆的物体。

本发明装置对基于车辆转向时的图像取得的多个流向量(例如，图4[B]中的各箭头)进行向量修正，推定“车辆不改变方向而直行的情况下得到的流向量(例如，图4[A]中的各箭头)”。即，本发明装置基于所述向量取得部所取得的流向量(有可能受到转向的影响的向量)来取得修正后向量(排除了转向的影响的向量)。

更具体而言，各流向量能够理解为(a)由于车辆移动而产生的自身车辆移动向量、(b)由于车辆的方向改变而产生的自身车辆转向向量以及(c)由于对象物移动而产生的对象物移动向量之和。

在车辆与各对象物的距离一定的情况下，如图5[A]所示，上述一对向量的一方所包含的自身车辆移动向量的水平方向分量与一对向量的另一方所包含的自身车辆移动向量的水平方向分量方向相反且大小相等。换言之，在该情况下，一对向量中的各个向量所包含的自身车辆移动向量的水平方向分量的平均成为零向量。即通过算出一对向量中的各个向量的平均，自身车辆移动向量的水平方向分量被抵消。

另一方面，如图5[B]所示，自身车辆转向向量的水平方向分量中的各个水平方向分量与流向量的起点所在的场所无关，其朝向和大小彼此相等。换言之，一对向量中的各个向量所包含的自身车辆转向向量的水平方向分量的平均与原来的一对向量中的各个向量所包含的自身车辆转向向量的水平方向分量彼此相等。

在各对象物不移动的情况下，实际得到的流向量的水平分量为如图5[C]所示那样的“自身车辆移动向量的水平方向分量与自身车辆转向向量的水平方向分量之和(合成)”。

因此，本发明装置基于一对流向量的水平方向分量的平均取得转向修正向量。进一步地，本发明装置通过基于转向修正向量进行向量修正，来推定车辆直行的情况下得到的流向量。

其结果，本发明装置即使在车辆转向的情况下，也能够在排除“由于转向引起的流向量的水平方向分量的变化”的基础上确定接近物体。除此之外，在本发明装置的实施中，不需要用于检测车辆的操舵角的传感器，因此能够防止为了确定转向时的接近物体而成本上升。

进一步地，在本发明的一实施方式中，优选构成为：

所述修正向量算出部算出如下的向量作为所述转向修正向量，该向量相当于由于在从所述第1时刻到所述第2时刻的期间产生的所述车辆的方向的变化而产生的所述光流向量的水平方向分量的变化，

所述修正部通过从所述多个光流向量中的各个光流向量减去所述转向修正向量来进行所述向量修正。

由此，本发明装置能够利用向量修正切实地除去由于车辆的方向变化而产生的各流向量的水平方向分量的变化即各流向量的水平方向分量所包含的自身车辆转向向量(的水平方向分量)。

进一步地，在本发明的其他实施方式中，优选构成为：所述修正向量算出部通过针对多个所述一对向量求出各对向量的水平方向分量的平均即平均向量来求出多个该平均向量，采用该多个平均向量中发生频度最高的向量作为所述转向修正向量。

如上所述，本发明装置基于一对向量的水平方向分量的平均取得转向修正向量。但是，与一对向量分别对应的对象物(处于车辆的行进方向左侧的对象物以及处于行进方向右侧的对象物)中的至少一方有时会正在移动。在该情况下，一对向量中的至少一方包含对象物移动向量。因此，即使一对向量中的各个向量所包含的自身车辆移动向量的水平方向分量的平均为零向量，由于对象物移动向量的影响，该一对向量的水平方向分量的平均也与自身车辆转向向量的水平方向分量不同。

除此之外，如上所述，在车辆与各对象物的距离一定的情况下，一对向量中的各个向量所包含的自身车辆移动向量的水平方向分量的平均成为零向量，但实际上，在多数的情况下，车辆与各对象物的距离不是一定的而是存在偏差。进一步地，从车辆到对象物的距离越短，则自身车辆移动向量越大。因此，在车辆和与一对向量分别对应的对象物(处于车辆的行进方向左侧的对象物以及处于行进方向右侧的对象物)的距离彼此不同的情况下，自身车辆移动向量的水平方向分量的平均不为零向量。因此，在该情况下，由于车辆与各对象物的距离的偏差的影响，该一对向量的水平方向分量的平均与自身车辆转向向量的水平方向分量不同。

但是，例如如图2所示，多数情况下，在车辆进入T字路时，与一对向量分别对应的对象物(处于车辆的行进方向左侧的对象物以及处于行进方向右侧的对象物)是路面、大楼以及墙等建筑物。因此，车辆和与一对向量分别对应的对象物的距离彼此大致相等的可能性高。因此，一对向量中的各个向量所包含的自身车辆移动向量的水平方向分量的平均成为零向量的情况相对较多。

另外，图像上的对象物可分为静止物体(例如建筑物)和移动物体(例如其他正在行驶的车辆)，但通常移动物体所占的图像上的面积比静止物体所占的图像上的面积小。因此，基于图像上的各流向量算出的平均向量的多数不包含对象物移动向量的水平方向分量的平均。换言之、平均向量的多数仅包含自身车辆转向向量的水平方向分量的平均。

根据以上内容，多个所取得的平均向量中，发生频度最高的向量不会受到对象物移动向量的影响以及车辆与各对象物的距离的偏差的影响，因此与自身车辆转向向量的水平方向分量相等的可能性高。换言之，根据本实施方式，能够高精度地取得与自身车辆转向向量的水平方向分量相当的向量即转向修正向量。

此外，本发明也涉及搭载上述车辆的接近物体检测装置的车辆，进一步地，也涉及上述车辆的接近物体检测装置所使用的方法。

附图说明

图1是应用本发明的实施方式的车辆的接近物体检测装置(本检测装置)的车辆(本车辆)的概略图。

图2是表示在本车辆进入T字路的情况下接近本车辆的对象物以及逐渐远离本车辆的对象物的图。

图3是由本检测装置取得的图像以及光流向量的例子。

图4是显示于本检测装置所具备的显示装置的左侧方图像以及右侧方图像的例子。

图5是用于说明自身车辆移动向量的水平方向分量以及自身车辆转向向量的水平方向分量的图。

图6是表示本检测装置的CPU所执行的接近物体检测处理例程的流程图。

图7是表示一对流向量的图。

图8是表示平均向量的分布的直方图。

具体实施方式

(构成)

以下，参照附图说明本发明的实施方式的车辆的接近物体检测装置(以下，也称作“本检测装置”。)。本检测装置应用于图1中示出概略构成的车辆10。本检测装置包括相机20以及ECU30。

相机20固定于车辆10的车身的前端中央部。相机20的水平方向的视角(视野)包括车辆10的行进方向正面，为从左水平方向附近到右水平方向附近的大致180度。具体而言，相机20的水平方向的视角与图1所示的直线Le与直线Re所成的角度(2α+2β)相等。由相机20拍摄的对象物中的各个对象物所投影的平面也称作“图像平面”。相机20将表示所拍摄到的图像的信号向ECU30输出。

ECU30是包括周知的微型计算机的电子电路，包括CPU、ROM、RAM以及接口等。ROM存储有CPU所执行的程序。

ECU30与显示装置41以及车速传感器42连接。显示装置41配设于在车辆10的车室内设置的未图示的中央控制台。在执行后述的接近物体检测处理时，显示装置41将由相机20拍摄到的图像的一部分即对车辆10的左侧方区域进行拍摄而得到的图像(左侧方图像)和对车辆10的右侧方区域进行拍摄而得到的图像(右侧方图像)排列并连续地显示。换言之，在显示装置41显示表示车辆10的左侧方区域和右侧方区域的动态图像。

如图2所示，在车辆10进入左右难以看尽的T字路时，左侧方图像以及右侧方图像中的各视角α为对于车辆10的驾驶员而言难以视觉识别的范围。左侧方图像的水平方向的视角是相机20的视角的一部分且为直线Le与直线LCe所成的角度。右侧方图像的水平方向的视角为相机20的视角的一部分且为直线RCe与直线Re所成的角度。

如上所述，左侧方图像的水平方向的视角与右侧方图像的水平方向的视角均为角度α，彼此相等。除此之外，如图1所示，“从相机20向车辆10的行进方向正面延伸的直线(半直线)Lh0”与直线LCe所成的角度、以及直线Lh0与直线RCe所成的角度均为角度β，彼此相等。因此，左侧方图像的水平方向的视角与右侧方图像的水平方向的视角彼此相对于直线Lh0左右对称。

显示装置41具备未图示的操作开关。车辆10的驾驶员能够通过操作该操作开关来选择接近物体检测处理的开启状态以及关闭状态中的任一方。除此之外，显示装置41也具备未图示的扬声器。

车速传感器42检测车辆10的车轴的旋转速度，输出表示车辆10的行驶速度(车速)Vs的信号。

(接近物体检测处理的概要)

相机20按预定的拍摄周期(预定时间)Δt拍摄图像。ECU30基于由相机20拍摄到的图像(第1图像)和在拍摄周期Δt后拍摄到的图像(第2图像)取得流向量。换言之，第2图像是由相机20拍摄到的最新的图像，第1图像是由相机20在比第2图像提前拍摄周期Δt拍摄到的图像。拍摄第1图像的时刻也简便地称为“第1时刻”。拍摄第2图像的时刻也简便地称为“第2时刻”。

ECU30针对多个对象物中的各个对象物取得表示在第1图像和第2图像双方所拍摄到的任意对象物的第1时刻的起点、从第1时刻到第2时刻的移动量以及移动方向的向量即流向量。即，ECU30取得多个流向量。

图3中由各黑箭头示出流向量的例子。图3中为了简便，取代显示于显示装置41的左侧方图像以及右侧方图像，而示出了包括由相机20拍摄到的车辆10的行进方向正面的图像。在图3的例子中，车辆10在从第1时刻到第2时刻的期间前进(直行)。图3所示的图像为第1图像。各流向量基于该第1图像和(在第1图像之后拍摄到的)第2图像取得。此外，在图3中，通过基于静止的对象物(例如，建筑物)的各流向量的起点和终点的各直线相交的点也称作“无穷远点FOE”。无穷远点FOE也能够理解为图3所示的图像中的表示车辆10的直行方向的点。

图3所示的各流向量能够理解为表示由于对象物移动而产生的对象物在图像平面上的移动的向量与表示由于车辆10前进而产生的对象物在图像平面上的移动的向量之和。为了简便，前者的向量也称作“对象物移动向量”，后者的向量也称作“自身车辆移动向量”。

另一方面，由于一边使转向轮朝向左方或右方一边使车辆10行驶(即转向)而使得车辆10的方向变化时，即车辆10在水平方向上转向时，各流向量由于该转向而变化。作为车辆10转向时的流向量与车辆10没有转向时的流向量的差量而得到的向量也简便地称作“自身车辆转向向量”。即，各流向量能够理解为对象物移动向量、自身车辆移动向量以及自身车辆转向向量之和。

如后所述，ECU30在车辆10的方向变化时执行接近物体检测处理的情况下，需要考虑自身车辆转向向量的影响。因此，如图2所示，以车辆10进入T字路的情况为例说明执行接近物体检测处理时的ECU30的工作。

图4[A]以及[B]是显示于显示装置41的左侧方图像以及右侧方图像的例子。图4[A]以及[B]所示的图像与图3的例子同样地为第1图像，为车辆10处于图2的位置Ps时拍摄到的图像。图4[A]以及[B]所示的各流向量基于该第1图像和(在第1图像之后拍摄到的)第2图像而取得。图4[A]示出了车辆10如图2的虚线箭头Ad所示那样(不改变方向地)直行的情况下的流向量的例子。另一方面，图4[B]示出了车辆10如图2的实线箭头At所示那样一边向右改变方向一边进入T字路的(即向右转向的)情况下的流向量的例子。

图4[A]以及[B]所示的黑箭头表示基于车辆10以外的车辆的流向量。另一方面，上述图所示的空心箭头表示基于建筑物以及道路标识等不移动的对象物的流向量。

在图4[A]中，即在车辆10直行的情况下，ECU30能够将“出现在左侧方图像的、对应的流向量具有向右的水平方向分量的对象物”确定为接近物体。同样地，ECU30能够将“出现在右侧方图像的、对应的流向量具有向左的水平方向分量的对象物”确定为接近物体。

关于这一点，参照图2以及图4进行具体说明。在半直线Lh0与从移动的对象物向该对象物的行进方向前方延伸的半直线相交的情况下，基于该对象物的流向量具有朝向通过图像上的无穷远点FOE的垂直的直线Lm的水平方向分量。通过无穷远点FOE的垂直的直线(即，通过表示车辆10的直行方向的点的垂直的直线)Lm也称作“假想中心线Lm”。假想中心线Lm也可定义为通过图像平面中的无穷远点FOE且与车辆10的车身的左右水平方向正交的直线。

例如，半直线Lh0与从自左侧方接近车辆10的车辆即对象物51向对象物51的行进方向前方延伸的半直线Lh1在点Pi1相交。换言之，若车辆10停止，则对象物51不久会从左向右横向穿过车辆10的行进方向前方。因此，基于图4[A]的左侧方图像中的对象物51的流向量具有向右的水平方向分量。因此，ECU30能够将对象物51确定为接近物体。

同样地在图2中，半直线Lh0与从自右侧方接近车辆10的车辆即对象物52向对象物52的行进方向前方延伸的半直线Lh2在点Pi2相交。因此，基于图4[A]的右侧方图像中的对象物52的流向量具有向左的水平方向分量。因此，ECU30能够将对象物52确定为接近物体。

另一方面，在图2中，半直线Lh0不与从处于车辆10的左侧方且逐渐远离车辆10的车辆即对象物53向对象物53的行进方向前方延伸的半直线Lh3相交。因此，基于图4[A])的左侧方图像中的对象物53的流向量不具有向右的水平方向分量。因此，ECU30能够将对象物53确定为不是接近物体。

同样地，在图2中，半直线Lh0不与从处于车辆10的右侧方且逐渐远离车辆10的车辆即对象物54向对象物54的行进方向前方延伸的半直线Lh4相交。因此，基于图4[A]的右侧方图像中的对象物54的流向量不具有向左的水平方向分量。因此，ECU30能够将对象物54确定为不是接近物体。

另一方面，在图4[B]中，即在车辆10向右转向的情况下，由于自身车辆转向向量的影响，该图[B]所示的流向量中的各个流向量与该图[A]所示的流向量中的各个流向量相比，向左的水平方向分量变大。

其结果，基于图4[B]中的对象物51的流向量具有向左的水平方向分量。因此，有可能发生ECU30将正在接近的对象物51确定为不是接近物体的“不检测”。

除此之外，基于图4[B]中的对象物54的流向量具有向左的水平方向分量。因此，有可能发生ECU30将正在远离的对象物54确定为接近物体的“误检测”。

因此，ECU30为了在执行接近物体检测处理时排除由于车辆10方向发生变化而带来的影响，对流向量中的各个流向量进行向量修正。更具体而言，ECU30推定与自身车辆转向向量的水平方向分量相当的向量作为“转向修正向量”。“通过从各流向量减去转向修正向量(即通过向量修正)而得到的向量(即修正后向量)”的水平方向分量相当于自身车辆移动向量的水平方向分量与对象物移动向量的水平方向分量之和。ECU30通过基于修正后向量来确定接近物体，能够在接近物体检测处理中排除自身车辆转向向量对各流向量的影响(即，由于车辆10方向发生变化而带来的影响)。

一边参照图5一边说明转向修正向量的推定方法。图5[A]示出了：关于车辆10与各对象物的距离为一定的情况下未移动的对象物，基于由相机20拍摄到的包括车辆10的正面的图像(第1图像以及第2图像)而取得的流向量所包含的自身车辆移动向量的水平方向分量的例子。在该情况下，图像平面上的对象物与无穷远点FOE的距离越长，则自身车辆移动向量越大。除此之外，若自身车辆移动向量的大小相同，则图像平面上的对象物与无穷远点FOE的垂直方向的距离(例如，在该图[A]中距离Dh)越长，自身车辆移动向量的水平方向分量越小。

在图5[A]中，作为一对自身车辆移动向量的、在相对于假想中心线Lm呈线对称的位置具有起点的一对向量(例如，向量VL1以及VR1)的水平方向分量的方向相反，大小相等。换言之，在车辆10与各对象物的距离一定的情况下，该一对向量中的各个向量所包含的自身车辆移动向量的水平方向分量的平均如下式(1)所示成为零向量。

{VL1向量的水平方向分量(向量)+VR1向量的水平方向分量(向量)}/2＝0(向量)…(1)

图5[B]示出了：关于图5[A]的图像所包含的对象物，车辆10向右转向的情况下基于由相机20拍摄的图像(第1图像以及第2图像)而取得的流向量所包含的自身车辆转向向量的水平方向分量的例子。自身车辆转向向量的朝向和大小与该自身车辆转向向量的起点的位置无关而彼此相等。换言之，作为一对自身车辆转向向量的、分别在相对于假想中心线Lm呈线对称的位置具有起点的一对向量(例如，向量VL2以及VR2)的水平方向分量的平均如下式(2)所示，与原来的自身车辆转向向量的水平方向分量相等。

{VL2向量的水平方向分量(向量)+VR2向量的水平方向分量(向量)}/2＝自身车辆转向向量的水平方向分量(向量)…(2)

图5[C]表示图5[A]与[B]所示的向量之和(即自身车辆移动向量的水平方向分量与自身车辆转向向量的水平方向分量之和)。这些是实际取得的流向量的水平方向分量。根据式(1)以及式(2)，可知：若算出作为图5[C]所示的一对向量的、分别在相对于假想中心线Lm呈线对称的位置具有起点的一对向量(例如，向量VL3以及VR3)的平均，则自身车辆移动向量的水平方向分量被去除，而得到自身车辆转向向量的水平方向分量。

然而，实际上，基于由相机20拍摄到的图像而算出的流向量中的各个流向量有时除了包括自身车辆移动向量以及自身车辆转向向量之外，还包括对象物移动向量。即，若上述一对向量中的一方或两方基于正在移动的对象物，则从上述流向量的水平方向分量算出的平均包含对象物移动向量的贡献部分，因此与自身车辆转向向量的水平方向分量不同。

除此之外，实际上，车辆10与各对象物的距离不是一定的，而存在偏差，因此，自身车辆移动向量的水平方向分量中的各个水平方向分量不会成为图5[A]所示那样的左右对称。其结果，上述一对向量中的各个向量所包含的自身车辆移动向量的水平方向分量的平均有时不为零向量。

但是，对左侧方图像以及右侧方图像中的正在移动的对象物(例如，其他车辆)所占的面积与未移动的对象物(例如，建筑物)所占的面积进行比较，通常是未移动的对象物的面积较大。

除此之外，如图2的实线箭头At所示，车辆10进入T字路并右转的情况下，左侧方图像以及右侧方图像所包含的对象物的多数为路面以及建筑物等的情况较多。因此，从“与上述一对向量的一方对应且包含于左侧方图像的左方对象物”到车辆10为止的距离(左方距离)和从“与同一对向量的另一方对应的右方对象物”到车辆10为止的距离(右方距离)大致相同的情况较多。

例如，从图4[B]的左侧方图像所示的点P1(左方对象物)到车辆10为止的距离(左方距离)与从点P2(右方对象物)到车辆10为止的距离(右方距离)大致相同。除此之外，从该图的左侧方图像所示的点P3(左方对象物)到车辆10为止的距离(左方距离)与从点P4(右方对象物)到车辆10为止的距离(右方距离)大致相同。

根据以上内容，在关于各种流向量算出上述一对向量的水平方向分量的平均时，有可能发生由于“正在移动的对象物”以及/或“左方距离与右方距离之间的差量”而该平均不与自身车辆转向向量的水平方向分量相等的情况。但是，由于该频度相对不高，因此，在较多的情况下，上述一对向量的水平方向分量的平均与自身车辆转向向量的水平方向分量相等。

因此，ECU30关于各流向量算出一对向量的水平方向分量的平均(平均向量)，采用所算出的多个平均向量中发生频度最高的平均向量作为转向修正向量。

ECU30进行如下向量修正：通过基于转向修正向量修正各流向量来取得修正后向量。具体而言，ECU30通过从各流向量的水平方向分量减去转向修正向量来取得修正后向量。

进一步地，ECU30基于修正后向量确定接近物体。更具体而言，若在左侧方图像中修正后向量具有右方向的分量，则ECU30将与该流向量对应的对象物确定为接近物体。同样地，若右侧方图像中修正后向量具有左方向的分量，则ECU30将与该流向量对应的对象物确定为接近物体。ECU30对各流向量执行用于确定该接近物体的处理。

(具体的工作)

接着，说明ECU30的具体的工作。ECU30的CPU(以下，也简称作“CPU”。)每经过拍摄周期Δt则执行图6中流程图所示的“接近物体检测处理例程”。

因此，在适当的定时，CPU从图6的步骤600开始处理并进入步骤605，取得由相机20拍摄到的左侧方图像以及右侧方图像。CPU将所取得的图像存储于RAM上。

接着，CPU进入步骤610，判定接近物体检测条件是否成立。在本例中，接近物体检测条件在接近物体检测处理因车辆10的驾驶员的操作而成为开启状态并且车速Vs为速度阈值Vth以下的情况下成立。

速度阈值Vth是如下速度：由于车速Vs上升而自身车辆移动向量的水平方向分量变大，由此流向量的水平方向分量所包含的对象物移动向量的水平方向分量被抵消，其结果发生不检测的频度可能增加的速度。更具体而言，车速Vs升得越高，则自身车辆移动向量的大小越大。因此，例如“基于左侧方图像中的接近物体的流向量所包含的自身车辆移动向量的向左的水平方向分量的大小”可能变得比“该流向量所包含的对象物移动向量的向右的水平方向分量的大小”大。其结果，发生不检测。

在接近物体检测条件成立的情况下，CPU在步骤610中判定为“是”而进入到步骤615，基于在上次执行本例程时所取得的图像(第1图像)和此次所取得的图像(第2图像)，通过块匹配(block matching)法取得流向量。

更具体而言，CPU将第1图像分割为预定大小的矩形(即，将第1图像当作矩形的集合)，搜索各矩形在第2图像中出现在哪个位置。其结果，得到以第1图像中的该矩形的位置(移动起始地)为起点且以第2图像中的该矩形的位置(移动目的地)为终点的流向量。CPU对构成第1图像(左侧方图像以及右侧方图像)的矩形中的各个矩形执行该处理。因此，取得多个(非常多的)流向量。

接着，CPU进入步骤620，算出一对流向量的水平方向分量的平均(即取得平均向量)。例如，在图7中，以将左侧方图像分割得到的矩形RcL为起点的流向量FL和以将右侧方图像分割得到的矩形RcR为起点的流向量FR相当于一对流向量。即，矩形RcL以及矩形RcR处于相对于假想中心线Lm彼此呈线对称的位置。

换言之，在图像平面中，从假想中心线Lm到矩形RcL为止的距离和从假想中心线Lm到矩形RcR为止的距离均为Lv，彼此相等。除此之外，在图像平面中，从无穷远点FOE到矩形RcL为止的垂直方向的距离与从无穷远点FOE到矩形RcR为止的垂直方向的距离均为Lh，彼此相等。从其他观点而言，从左侧方图像的右端到矩形RcL为止的距离和从右侧方图像的左端到矩形RcR为止的距离均为Lvs，彼此相等。除此之外，从左侧方图像的上端到矩形RcL为止的距离和从右侧方图像的上端到矩形RcR为止的距离均为Lhs，彼此相等。

CPU为了算出平均向量而取得如下左侧水平值HL：在流向量FL的水平方向分量FLh在具有向右的分量时成为正值，在具有向左的分量时成为负值，绝对值与水平方向分量FLh大小相等。同样地，CPU取得如下右侧水平值HR：在流向量FR的水平方向分量FRh具有向右的分量时成为正值，在具有向左的分量时成为负值，绝对值与水平方向分量FRh的大小相等。

然后，CPU算出左侧水平值HL与右侧水平值HR的平均值VA(即VA＝(HL+HR)/2)。平均向量是如下向量：若平均值VA为正值则向右，若平均值VA为负值则向左，其大小与平均值VA的绝对值相等。若平均值VA为“0”，则平均向量为零向量。CPU对各流向量执行该处理。即，CPU求出多个平均向量。

接着，CPU进入步骤625，基于多个平均向量算出转向修正向量。更具体而言，CPU针对所算出的平均值VA而在内部生成图8所示那样的直方图，取得最频繁出现的值(众数)VM。

CPU基于众数VM取得转向修正向量。具体而言，转向修正向量是如下向量：若众数VM为正值则向右，若众数VM为负值则向左，其大小与众数VM的绝对值相等。若众数VM为“0”，则转向修正向量为零向量。

接着，CPU进入步骤630，通过从各流向量的水平方向分量减去转向修正向量(即，通过进行向量修正)来取得修正后向量。

接着，CPU进入步骤635，确定接近车辆10的物体。更具体而言，若在左侧方图像中存在具有右方向的水平方向分量的修正后向量，则CPU将与该修正后向量对应的对象物确定为接近物体。同样地，若在右侧方图像中存在具有左方向的水平方向分量的修正后向量，则CPU将与该修正后向量对应的对象物确定为接近物体。

接着，CPU进入步骤640，判定有无所确定的接近物体。若存在被确定为接近物体的对象物，则CPU在步骤640中判定为“是”而进入步骤645。在步骤645中，CPU在显示于显示装置41的左侧方图像以及右侧方图像中将显示被确定为接近物体的对象物体的部位的色彩变更为与其他部位不同的颜色(在本例中为红色)。除此之外，CPU使得从显示装置41所具备的扬声器产生警告音。之后，CPU进入步骤695，暂时结束本例程。

另一方面，若不存在被确定为接近物体的对象物，则CPU在步骤640中判定为“否”而直接进入步骤695。此外，在接近物体检测条件不成立的情况下，CPU在步骤610中判定为“否”而直接进入步骤695。

如以上所说明，本检测装置(相机20以及ECU30)具备：

摄像装置(相机20)，其固定于车辆(10)的车身，并且取得包括该车身的左侧方区域以及右侧方区域(参照图1以及图2。)的图像；

向量取得部，其基于由所述摄像装置在第1时刻取得的第1图像和由所述摄像装置在从所述第1时刻经过预定时间(拍摄周期Δt)后的第2时刻取得的第2图像，取得多个光流向量(图4以及图6的步骤615)，所述光流向量表示在所述第1图像以及所述第2图像双方所拍摄到的任意对象物的在所述第1时刻的起点、从所述第1时刻到所述第2时刻为止的移动量以及移动方向；

修正向量算出部，其算出基于所述光流向量中的在相对于假想中心线(Lm)呈线对称的位置具有起点的一对向量的水平方向分量的平均而得到的向量，作为转向修正向量(图6的步骤625以及图7)，所述假想中心线(Lm)通过包括所述左侧方区域以及所述右侧方区域的图像平面中的表示所述车辆的直行方向的点(无穷远点FOE)，且与所述车身的左右水平方向正交；

修正部，其进行如下的向量修正：通过基于所述转向修正向量修正所述多个光流向量中的各个光流向量来取得多个修正后向量(图6的步骤630)；以及

接近物体确定部，其基于所述多个修正后向量来确定接近所述车辆的物体(图6的步骤635)。

进一步地，在本检测装置中，构成为：

所述修正向量算出部算出如下的向量(参照图5[B]。)作为所述转向修正向量，该向量相当于由于在从所述第1时刻到所述第2时刻的期间产生的所述车辆的方向的变化而产生的所述光流向量的水平方向分量的变化，

所述修正部通过从所述多个光流向量中的各个光流向量减去所述转向修正向量(图6的步骤630)来进行所述向量修正。

另外，本检测装置构成为：

所述修正向量算出部通过针对多个所述一对向量求出各对向量的水平方向分量的平均即平均向量来求出多个该平均向量(图6的步骤620)，采用该多个平均向量中发生频度最高的向量作为所述转向修正向量(图6的步骤625以及图8)。

根据本检测装置，即使在车辆转向的情况下，也能够排除该转向对流向量的水平方向分量带来的影响并且在此基础上基于该流向量高精度地确定接近物体。另外，根据本检测装置，不需要用于检测车辆10的操舵角的传感器。

以上，说明了本发明的车辆的接近物体检测装置的实施方式，但本发明并不限于上述实施方式，只要在不脱离本发明的目的就能够进行各种变更。例如，在本实施方式中，相机20拍摄左侧方图像和右侧方图像。但是，也可以是，配设于车辆10的2台相机中的一方的相机拍摄左侧方图像，另一方的相机拍摄右侧方图像。

另外，在本实施方式中，第2图像是由相机20拍摄到的最新的图像，第1图像是由相机20在比第2图像提前拍摄周期Δt拍摄到的图像(即第1图像是第2图像的上1代的图像)。但是，第2图像也可以不是最新的图像。进一步地，第1图像也可以是第2图像的上2代以上的图像。

另外，相机20固定于车辆10的车身的前端中央部。但是，相机20也可以固定于车辆10的车厢内。例如，相机20也可以固定于在车厢内配设的室内后视镜(room mirror)(未图示)。

或者，相机20也可以固定于车辆10的车身后端。在该情况下，ECU30可以确定在车辆10后退时从车辆10的左侧方以及右侧方接近的物体。

ECU30在接近物体检测处理因车辆10的驾驶员的操作而成为开启状态并且车速Vs为速度阈值Vth以下的情况下判定为接近物体检测条件成立。但是，ECU30也可以与车速Vs无关地，在接近物体检测处理成为开启状态就判定为接近物体检测条件成立。

另外，ECU30在图6的步骤615中通过块匹配法取得光流向量。ECU30也可以通过其他方法(例如，梯度法)取得光流向量。

另外，ECU30在图6的步骤625中采用众数作为转向修正值。但是，ECU30也可以采用平均值或中位数作为转向修正值，而取代众数。

车辆…10、相机…20、ECU…30、显示装置…41、车速传感器…42。

Claims (5)

1.一种车辆的接近物体检测装置，其具备：

摄像装置，其固定于车辆的车身，并且取得包括该车身的左侧方区域以及右侧方区域的图像；

向量取得部，其基于由所述摄像装置在第1时刻取得的第1图像和由所述摄像装置在从所述第1时刻经过预定时间后的第2时刻取得的第2图像，取得多个光流向量，所述光流向量表示在所述第1图像以及所述第2图像双方所拍摄到的任意对象物的在所述第1时刻的起点、从所述第1时刻到所述第2时刻为止的移动量以及移动方向；

修正向量算出部，其算出基于所述光流向量中的在相对于假想中心线呈线对称的位置具有起点的一对向量的水平方向分量的平均而得到的向量，作为转向修正向量，所述假想中心线通过包括所述左侧方区域以及所述右侧方区域的图像平面中的表示所述车辆的直行方向的点，且与所述车身的左右水平方向正交；

修正部，其进行如下的向量修正：通过基于所述转向修正向量修正所述多个光流向量中的各个光流向量来取得多个修正后向量；以及

接近物体确定部，其基于所述多个修正后向量来确定接近所述车辆的物体。

2.根据权利要求1所述的车辆的接近物体检测装置，其构成为：

所述修正向量算出部算出如下的向量作为所述转向修正向量，该向量相当于由于在从所述第1时刻到所述第2时刻的期间产生的所述车辆的方向的变化而产生的所述光流向量的水平方向分量的变化，

所述修正部通过从所述多个光流向量中的各个光流向量减去所述转向修正向量来进行所述向量修正。

3.根据权利要求2所述的车辆的接近物体检测装置，其构成为：

所述修正向量算出部通过针对多个所述一对向量求出各对向量的水平方向分量的平均即平均向量来求出多个该平均向量，采用该多个平均向量中发生频度最高的向量作为所述转向修正向量。

4.一种车辆的接近物体检测装置，其具备：

摄像装置，其固定于车辆的车身，并且取得包括该车身的左侧方区域以及右侧方区域的图像；

向量取得部，其基于由所述摄像装置在第1时刻取得的第1图像和由所述摄像装置在从所述第1时刻经过预定时间后的第2时刻取得的第2图像，取得多个光流向量，所述光流向量表示在所述第1图像以及所述第2图像双方所拍摄到的任意对象物的在所述第1时刻的起点、从所述第1时刻到所述第2时刻为止的移动量以及移动方向；

修正向量算出部，其算出基于所述光流向量中的在相对于假想中心线呈线对称的位置具有起点的一对向量的水平方向分量的平均而得到的向量，作为转向修正向量，所述假想中心线通过包括所述左侧方区域以及所述右侧方区域的图像平面中的无穷远点，且与所述车身的左右水平方向正交；

修正部，其进行如下的向量修正：通过基于所述转向修正向量修正所述多个光流向量中的各个光流向量来取得多个修正后向量；以及

接近物体确定部，其基于所述多个修正后向量来确定接近所述车辆的物体。

5.一种车辆的接近物体检测方法，具备：

摄像步骤，由固定于车辆的车身的摄像装置取得包括该车身的左侧方区域以及右侧方区域的图像；

向量取得步骤，基于由所述摄像装置在第1时刻取得的第1图像和由所述摄像装置在从所述第1时刻经过预定时间后的第2时刻取得的第2图像，取得多个光流向量，所述光流向量表示在所述第1图像以及所述第2图像双方所拍摄到的任意对象物的在所述第1时刻的起点、从所述第1时刻到所述第2时刻为止的移动量以及移动方向；

修正向量算出步骤，算出基于所述光流向量中的在相对于假想中心线呈线对称的位置具有起点的一对向量的水平方向分量的平均而得到的向量，作为转向修正向量，所述假想中心线通过包括所述左侧方区域以及所述右侧方区域的图像平面中的无穷远点，且与所述车身的左右水平方向正交；

修正步骤，进行如下的向量修正：通过基于所述转向修正向量修正所述多个光流向量中的各个光流向量来取得多个修正后向量；以及

接近物体确定步骤，基于所述多个修正后向量来确定接近所述车辆的物体。