CN102270344A - 移动体检测装置和移动体检测方法 - Google Patents

Abstract

一种能更可靠地检测沿所有方向移动的移动体的移动体检测装置和移动体检测方法。移动体检测装置包括：图像输入部，载入由安装于车辆上的摄像机拍摄到的图像；运动矢量生成部，对该图像进行处理，生成图像的多点P的运动矢量；本车移动参数推断部，在通过本车移动参数的旋转分量校正了点P的运动矢量的斜率时，视为与从点P到消失点的斜率相等地推断本车移动参数的旋转分量；移动体判定部，使用本车移动参数的旋转分量校正图像内的任意点Q的运动矢量的斜率，比较校正后的运动矢量的斜率及连接任意点Q与消失点的线的斜率，在一致度低时，检测具有与本车移动方向不同的方向的移动体，在一致度高时，判定静止物或向消失点呈放射状移动的移动体。

Description

移动体检测装置和移动体检测方法

相关申请的交叉参考

本申请以日本专利申请特愿2010-128974(申请日：6/4/2010)和日本专利申请特愿2010-139543(申请日：6/18/2010)为基础，由该申请享有优先利益。本申请通过参照该申请而包括该申请的全部内容。

技术领域

本发明的实施方式涉及通过用安装于车辆上的摄像机来拍摄车辆周边的影像，再对摄像机图像进行处理而检测移动体的移动体检测装置以及移动体检测方法。

背景技术

以前，已知一种车辆用图像显示装置，其在车辆上安装多个摄像机，用于对本车的前方、后方或者侧方拍摄，以拍摄到的图像为依据来检测移动体，并将接近本车的移动体显示在显示部上。

在现有的车载用的移动体检测装置中，由于摄像机本身移动，因而即使是静态物被拍摄对象，在画面上也会成为存在动态的图像，从而难以高可靠性地判断是静态物还是移动体。有时即使在特定的场景中能够检测到移动体，而在其他场景中也无法检测移动体。

另外，作为构成摄像部的摄像机，也具有使用鱼眼摄像机来拍摄视野广的图像的实例。

发明内容

本发明鉴于上述问题，其目的在于提供一种能够更加可靠地检测沿所有方向移动的移动体的移动体检测装置以及移动体检测方法。

本实施方式的移动体检测装置具备：图像输入部，用于载入由安装于车辆上的摄像机拍摄到的摄像机的图像；运动矢量生成部，用于对来自所述图像输入部的图像进行处理，生成所述图像的多个点P的运动矢量；本车移动参数推断部，用于在通过本车移动参数的旋转分量(Rx、Ry、Rz)校正了所述点P的运动矢量的斜率时，视为与从点P到消失点的斜率相等地推断本车移动参数的旋转分量(Rx、Ry、Rz)；以及移动体判定部，用于使用所述本车移动参数的旋转分量(Rx、Ry、Rz)校正所述图像内的任意点Q的运动矢量的斜率，并比较校正后的运动矢量的斜率、以及连接所述任意点Q与所述消失点的线的斜率，在一致度低时，检测为具有与本车移动方向不同的方向的移动体，在一致度高时，判定为静止物或向所述消失点呈放射状移动的移动体。

根据上述构成的移动体检测装置，从而能够更加可靠地检测沿所有方向移动的移动体。

附图说明

图1是表示第一实施方式涉及的移动体检测装置的构成的框图。

图2是表示第一实施方式的移动体检测部的详细构成的框图。

图3是说明第一实施方式涉及的移动体检测装置的动作的流程图。

图4是表示由图像区域选定部进行的图像区域的选定示例的说明图。

图5是表示与运动矢量的生成处理相关的坐标系统的说明图。

图6是用于选择旋转分量Ry的直方图。

图7是表示z0设定部的动作的说明图。

图8是表示校正了旋转分量的运动矢量的一个示例的说明图。

图9是表示校正了旋转分量的运动矢量的另一示例的说明图。

图10是表示第二实施方式涉及的移动体检测装置的框图。

图11是表示移动体检测部的详细构成的框图。

图12是概略性地表示用鱼眼摄像机拍摄到的图像的说明图。

图13是说明分割转换部的动作的说明图。

图14是表示针孔摄像机模型的说明图。

图15是说明移动体判定部的动作的说明图。

图16是说明第四实施方式涉及的移动体检测装置的动作的说明图。

具体实施方式

下面，将参照附图说明本发明的一种实施方式。

(第一实施方式)

图1是表示本发明的一种实施方式涉及的移动体检测装置100的构成的框图。在图1中，移动体检测部10用于对通过安装于车辆1上的摄像机30拍摄到的图像进行处理从而检测移动体，并将检测结果显示在显示部40上。摄像机30安装于车辆1上，用于拍摄车辆周围的影像。图1示出了在车辆1的前方和后方等安装有摄像机30...的示例。

图2是表示移动体检测部10的详细构成的框图。移动体检测部10包括：控制部11，用于控制移动体检测部10的动作；图像输入部12，用于载入摄像机图像；图像区域选定部13，用于选定具有对移动体的检测处理有效的图像信息的图像区域；以及运动矢量生成部14，用于生成由图像区域选定部13选定的图像区域的运动矢量。

另外，还包括：静止物体区域候补推断部15，用于根据由图像选定区域部13选定的图像(静止物和移动体混合的图像)推断静止物区域候补；运动标量判定部16，用于在未发现静止区域候补时视为全图面运动或者全图面静止，并将发生了运动的区域判定为移动体；以及FOE更新部17，用于在本车不旋转地移动时求出FOE(Focus of Expansion，轨迹交点)并进行更新。

另外，还包括：本车移动参数推断部18，用于根据由静止区域候补推断部15选定的区域内的图像来推断本车移动参数(包括旋转分量Ωu、Ωv和平移分量Tx、Ty、Tz)；以及z0设定部19，为了推断平移分量(Tx、Ty、Tz)而设定推断距离加权系数z0作为近似距离。

并且，还包括：着眼于FOE的移动体判定部20；平移(併進)方向移动体检测部21，用于进行放射状地朝向FOE的方向上的移动体的检测；以及接近判定部22，用于分别输入由运动标量判定部16判定的移动体、由移动体判定部20判定的移动体以及由平移方向移动体检测部21判定的移动体的信息，根据各逻辑和(OR)判定移动体。

图3是说明本发明的第一实施方式涉及的移动体检测装置的动作的流程图。下面，将在参照相关附图的同时说明动作。此外，移动体检测部10在控制部11的控制下动作，控制部11由包括CPU、ROM、RAM等微处理器构成。控制部11对应各模块产生控制信号，以便进行下面说明的动作(在图2中，用虚线表示控制信号电路)。

首先，在步骤S1中，由图形输入部12取得用摄像机30拍摄到的摄像机图像。在步骤S2中，由图像区域选定部13选定具有对以后的运动矢量计算处理有效的图像信息的图像区域。作为有效的图像信息的判断方法，能够采用特征点提取法。根据特征点能够唯一地算出运动矢量。如图4所示，在图像中无限宽广的地面会聚于一线，被称作消失线。此外，在本车不旋转地移动时(例如，沿箭头A方向移动)时，使图像中的多个运动矢量延长，延长的运动矢量集中的点就是消失点(FOE)。

在后续步骤S3中，在运动矢量生成部14中生成由图像区域选定部13选定的区域的运动矢量。作为运动矢量的生成处理，能够使用梯度法、块匹配(block matching)法等。

例如，如图5所示，作为摄像机坐标系统，可以考虑将摄像机30的光轴作为z轴、平行于路面的轴作为x轴、在与路面垂直的面上的轴作为y轴时的xyz坐标系统。在将Oc(0，0，0)作为摄像机中心，焦点距离设为f时，用200表示z＝f(f为焦点距离)的投影平面，世界坐标中的点P’被投影至该投影平面200的点P。另外，固定于世界坐标系统的地面上的坐标系统用Ow表示。

与本车移动相随的图面上P(x，y)的运动矢量V(u，v)能够用公知的下述(1)、(2)式来表示。

[数式1]

u＝Ωu+x(T_z/z)-f(T_x/z)    ...(1)

v＝Ωv+y(T_z/z)-f(Ty/z)    ...(2)

在这里，将本车移动参数设定为旋转分量Ωu、Ωv和平移分量Tx、Ty、Tz。Tx、Ty、Tz分别表示x轴、y轴、z轴方向上的平移速度。并且，Ωu、Ωv由下述(3)、(4)式用Rx、Ry、Rz来表示。Rx、Ry、Rz表示以x轴、y轴、z轴为中心的旋转分量。

[数式2]

Ωu＝(xy/f)Rx-(f²+x²)(1/f)R_y+yR_z    ...(3)

Ωv＝(f²+y²)(1/f)R_x-xy/fR_y-xR_z      ...(4)

众所周知，如果对点P(x，y)的运动矢量V(u，v)进行旋转分量的校正并求出斜率(傾き)，则就与从P(x，y)朝向FOE的斜率相等。即，下述(5)式成立。

[数式3]

$\frac{u-\mathrm{\Ωu}}{v-\mathrm{\Ωv}}=\frac{x-\mathrm{xo}}{y-y0}$ ...(5)

向静止物区域候补推断部15输入由图像选定区域部13选定的图像(静止物与移动体混合的图像)，在步骤S4中，进行静止物区域的推断。也就是说，在车载摄像机中，由于Rx、Rz微小的情况较多，因而如果进行Rx＝Rz＝0这样的近似，则可以得到(6)、(7)式：

[数式4]

Ωu＝-(f²+x²)(1/f)R_y    ...(6)

Ωv＝-(xy/f)R_y    ...(7)

根据(5)、(6)、(7)式，根据点P(x，y)、运动矢量V(v，u)以及FOE(x0，y0)，可以对应每个像素P求出Ry。对于静止物，Ry共通。针对多个像素点求出上述多个Ry，并生成图6所示的Ry的直方图，将直方图的波峰附近的具有共通的Ry的区域选定作为静止物区域候补。

然而，在本车速度较高时，优选考虑发生Rz。此时，如果进行Rx＝0这样的近似，则可以得到(8)、(9)式，根据附近的多个运动矢量能够求出Ry、Rz。此时，生成Ry、Rz的直方图，将直方图的波峰附近的具有共通的Ry、Rz的区域选定为静止物区域候补。

[数式5]

Ωu＝-(f²+x²)(1/f)R_y+yR_z    ...(8)

Ωv＝-(xy/f)R_y-xR_z          ...(9)

在未发现静止区域候补时(在步骤S5中为否的情况)，视为全画面运动或者全画面静止，由运动标量判定部16将发生了运动的区域判定为移动体。也就是说，运动标量判定部16在步骤S6中判定运动的大小(标量)，在步骤S7中，如果标量超过了预先设定的阈值时(为是时)，判定为运动区域。此外，矢量是用方向和大小来表示的，而将仅有大小的称作纯量(scalar)或者标量。另外，在图面上静止物区域较少的情况下，如果发现静止物区域部分的Ry直方图的波峰，则也能够将该区域判定为静止物区域。

在步骤S8中，在本车不旋转地移动时，FOE更新部17求出FOE作为运动矢量的延长线交点并进行更新。在车载摄像机中，平移运动仅在车辆中心轴方向上发生，因而消失点(FOE)可以认为不变，但是设想乘车人员或者安装量较多的情况、或者由于摄像机30的安装位置经年变化等而引起的光轴的偏移，摄像机30的光轴偏移表现为消失点(FOE)的偏移。所以在步骤S8中，进行FOE的更新。

也就是说，在静止物区域候补内，在旋转分量＝0时，且设点P(x，y)的运动矢量为(un，vn)时，如果将以P为始点的运动矢量的延长线上的点设为(x0，y0)，则可以得到式(10)。

[数式6]

(1/un)x0+(1/vn)＝xn/un+yn/vn    ...(10)

另外，如果对n个点P进行矩阵表示，则可以得到(11)式。

[数式7]

$\left(\begin{array}{c}........\\ \begin{array}{cc}1/u_n& 1/v_n\end{array}\\ ........\end{array}\right)\left(\begin{array}{c}{x}_0\\ y_0\end{array}\right)=\left(\begin{array}{c}........\\ \mathrm{xn}/\mathrm{un}+\mathrm{yn}/\mathrm{vn}\\ ........\end{array}\right)$ ...(11)

然后，根据多个点P使用最小二乘法来求出消失点(x0，y0)，进而更新作为新的消失点。因此，消失点更新被限定于车辆一直在进行平移运动时，而消失点变动不会频繁地发生，因而在实用上没有问题。另外，由于根据消失点能够求出摄像机30的安装角度，因而向后述的z0设定部19发送消失点更新数据，用作校正数据。

如果将摄像机30的光轴相对于路面向下以俯角θ设置，则在本车平移速度为T时，z轴、y轴方向上的平移速度Tz、Ty分别为Tz＝Tcosθ、Ty＝Tsinθ。另外，由于消失点(x0，y0)能够用x0＝f Tx/Tz，y0＝f Ty/Tz表示，因而y0＝f·tanθ，进而能够根据消失点求出摄像机俯角。同样，如果考虑x轴方向，则关于本车中心线与光轴所成的角

，能够用

求出。

在步骤S9中，本车移动参数推断部18使用由静止区域候补推断部15选定的静止物区域内的n个P(xn，yn)的运动矢量V(un，vn)来推断本车移动参数Rx、Ry、Rz。即，针对n个P(xn，yn)，根据(1)、(2)、(3)、(4)式可以得到下式。

[数式8]

设a_n＝(y_n-y₀)/(x_n-x₀)，则

$\left(\begin{array}{ccc}{a}_n{x}_1{y}_1-({x_1}^2+f^2)& -a_n({y_1}^2+f^2)+x_1{y}_1& f(a_n{y}_1+x_1)\\ & ....& \\ & ...& \\ a_n{x}_n{y}_n-({x_n}^2+f^2)& -a_n({y_n}^2+f^2)+x_n{y}_n& f(a_n{y}_n+x_n)\end{array}\right)\left(\begin{array}{c}{R}_x\\ R_y\\ R_z\end{array}\right)=\left(\begin{array}{c}f(a_n{u}_1-v_1)\\ .\\ .\\ f(a_n{u}_n-v_n)\end{array}\right)$ ...(12)

根据(12)式，通过使用了奇异值分解等的最小二乘法来推断本车移动参数的旋转分量Rx、Ry、Rz。使用推断旋转分量并根据式(1)～(4)得到的平移分量仅以乘以了到被拍摄对象为止的距离z的倒数的值Tx/z、Ty/z、Tz/z的形式而得到。为了推断x轴、z轴、y轴方向的平移速度Tz、Tx、Ty，在步骤S10中，在z0设定部19中，设定推断距离加权系数z0作为近似的距离。

也就是说，如图7所示，与从摄像机30到路面的距离相对应的摄像机视角(向下俯角θ)关联地设定系数z0。在图7的示例中，对于相当于路面距离1m～1.5m的视角的图像而设定z0＝1。同样，对于相当于路面距离1.5m～2m的视角的图像而设定z0＝1.5，对于相当于路面距离2m～3m的视角的图像而设定z0＝2，对于相当于路面距离3m～4m的视角的图像而设定z0＝3，对于相当于路面距离4m～无限大m的视角的图像而设定z0＝4。只要知道角度θ，就可知从本车至被拍摄对象M的距离。

另外，摄像机视角与摄像机图像上的各像素是1∶1对应的。因此，使与路面的视角关联的推断距离加权系数z0针对每个像素预先求出并设定在LUT(一览表)中即可。

虽然在图7中已经说明了离散性地预先设定z0的顺序，但也可以与摄像机视角相关联地连续设定为z0＝1/z。在这种情况下，由于摄像机的分辨率具有一定的界限，因而对于一定的z以上的情况，设定z0＝固定值。

本车移动参数推断部18通过如上所述地与对应于从摄像机到路面的距离的摄像机视角关联地设定系数z0，从而求出Tz＝z0(.Tz/z)、Tx＝z0(.Tx/z)、Ty＝z0(.Ty/z)，再取多个点的平均值，进而算出推断平移分量Tzm、Tym、Txm。

另一方面，着眼于FOE的移动检测部20在步骤S11中进行如下的处理。即，关于图像内的任意点Q(x，y)，将本车移动参数Rx、Ry、Rz代入(1)～(4)式，并求出运动校正后的斜率、和(13)式。

[数式9]

$\frac{u-\mathrm{\Ωu}}{v-\mathrm{\Ωv}}$ ...(13)

从Q(x，y)向FOE(x0，y0)的直线的斜率用(14)式表示。

[数式10]

$\frac{x-\mathrm{xo}}{y-y0}$ ...(14)

在步骤S11中比较了斜率(13)、(14)式，其结果，在一致度低时(在步骤S12中为否时)，如图8所示，由于校正了(用旋转分量Ωu、Ωv进行了校正)旋转量的运动矢量的延长线没有通过FOE，因而判定为移动方向与本车移动方向不同的移动体。

由于摄像机振动分量表现为本车旋转分量Rx、Rz，因而如(13)式所示，通过在校正了旋转量之后进行判定，从而即使产生了本车旋转分量(主要是Rx、Rz)，也可以校正因砂石路或者高低不平等引起的、随着本车移动的振动，因而不会受到本车振动的影响。

另外，在比较斜率(13)、(14)式而一致度高时(在步骤S12中为是时)，如图9所示，校正了旋转量的运动矢量的延长线通过FOE。在这种情况下，不仅可能包括静止物，也可能包括从FOE放射状移动的移动体。因此，平移方向移动体检测部21进行以下的动作。

向平移方向移动体检测部21输入通过着眼于FOE的移动体判定部20未检测为移动体的信息、和由本车移动参数推断部18得到的推断本车平移分量Tzm。平移方向移动体检测部21在步骤S13中根据(1)～(4)式和旋转分量Rx、Ry、Rz求出点Q(x，y)的Tz/z，再比较z0(Tz/z)与平均的推断平移分量Tzm，在步骤S14中，如果一致度超过预先设定的阈值，则判定为移动体。也就是说，如果存在比周围的速度更快运动的物体，则判断为朝向本车而来的移动体。

另外，正如根据(1)～(4)式判断可知，远距离(z大)时，平移分量Tz/z变小，因而运动矢量变小，近距离(z小)时，平移分量Tz/z变大，因而运动矢量变大。因而，直接难以检测远距离的移动体，而易于误检测近距离的静止物。但是，通过导入推断距离加权系数z0，从而就易于检测远距离的移动体，难以误检测近距离的静止物。

在步骤S15中，接近判定部22输入由运动标量判定部16判定的移动体(步骤S7的判定结果)、由着眼于FOE的移动体判定部20判定的移动体(步骤S12的判定结果)以及由平移方向移动体检测部21判定的移动体(步骤S14的判定结果)的信息，并取得各逻辑和(OR)进行移动体的判定。另外，被判定为移动体的情况是已经判明了运动矢量方向的，因而判断移动体的接近方向，将具有接近于本车的方向的移动体作为危险度高的移动体而优先输出，进而如果存在有接近于本车的移动体，则在显示部40上进行警告显示。

如上所述，在第一实施方式中，能够检测朝向FOE的方向上的移动体，并能够检测沿所有方向移动的移动体。另外，即使在乘车人员或者安装量较多的情况下也能够稳定地进行移动体检测，并且能够不受到砂石路等引起的本车振动(摄像机摇摆)的影响而稳定地进行移动体的检测。

(第二实施方式)

接下来，参照图10说明第二实施方式涉及的移动体检测装置。在第二实施方式中，将着眼于FOE的移动体判定部20更换为运动矢量预测部23，将平移方向移动体检测部21更换为移动体判定部24。

与第一实施方式同样，本车移动参数推断部18输出旋转分量Rx、Ry、Rz、和平均平移分量Tzm、Txm、Tym。运动矢量预测部23使用Tzm/z0、Txm/z0、Tym/z0代替Tz/z、Tx/z、Ty/z，根据(1)～(4)式算出预测矢量u’、v’。

移动检测部24比较实测运动矢量u、v和预测矢量u’、v’，在一致度低时，判定为移动体。在车载摄像机的情况下，由于Tx、Ty微小的情况较多，因而也可以省略Tx/z、Ty/z和Txm、Tym。

(第三实施方式)

接下来，说明第三实施方式涉及的移动体检测装置。作为车载摄像机而言，在为鱼眼摄像机或者像使用了凸面镜的摄像机那样视角为180度或者超过了180的车载摄像机的情况下，由于采用了非线形的投影法，因而采用以线形平面为前提进行分析的方法无法检测移动体。

因此，在第三实施方式中，即使是使用具有大视角的拍摄范围的摄像机拍摄的非线形图像，也能够检测移动体。

在表示图1所示的移动体检测装置100的构成的框图中，移动体检测部10对用安装于车辆1上的摄像机30拍摄到的图像进行处理并检测移动体，再将检测结果显示在显示部40上。

摄像机30是诸如鱼眼镜头摄像机等视角超过180度的超广视角摄像机，其被安装在车辆1上，用于拍摄车辆周围的影像。在图1示出了在车辆1的前方和后方等安装有摄像机30...的示例。在以下的说明中，将对使用了鱼眼镜头摄像机(称作鱼眼摄像机)作为摄像机30的情况进行说明。

图11是表示移动体检测部10的详细构成的框图。移动体检测部10包括存储器11、分割转换部12、运动矢量计算部13、移动体判定部14、原图像转换部15、接近方向判定部16以及控制部17。

下面，说明移动体检测部10的各部的功能与动作。控制部17是包括CPU、ROM、RAM等的微处理器，其根据存储在ROM中的程序来控制移动体检测部10的各部分(存储器11、分割转换部12、运动矢量计算部13、移动体判定部14、原图像转换部15、接近方向判定部16)的动作。

摄像机30具有180度以上的拍摄范围，进行在摄像面上投影为非线形的图像的拍摄，并将摄像信号写入存储器11。如果大致地表示由摄像机30拍摄到的图像(摄像机图像)，则成为例如图12所示的非线形的图像。另外，图13是表示摄像机30的摄像范围的俯视图。

如图13所示，分割转换部12将拍摄图像分割为三个视角范围，生成分割投影平面图像。作为摄像机坐标系统，考虑将摄像机30的光轴作为z轴、平行于路面的轴作为x轴、垂直于路面的轴作为y轴(在图13中，y轴是与纸面垂直)的xyz坐标系统。

如图13所示，在z＝0的平面上放置摄像机的被投影为非线形的拍摄面(如图12所示的图像)，并设想与将焦点距离f作为半径的半圆相切的三个分割投影平面1、2、3。这些分割投影平面1、2、3的图像被视为由三个假想的摄像机拍摄到的图像。即，具有共通的摄像机中心O(0，0，0)，三个假想摄像机的光轴处于y＝0平面上。中央部假想摄像机的光轴z与摄像机30的光轴一致，而左假想摄像机和由假想摄像机的光轴L、R相对于中央部假想摄像机的光轴z仅倾斜了±60度。

在图13的实例中，三个假想摄像机分别覆盖60度+α度的视角(α表示一些交迭)。因而，三个假想摄像机是具有共通的摄像机中心(O)而光轴角度不同的针孔摄像机(pin hole camera)。

图14是表示针孔摄像机模型的说明图。在图14中，200是z＝f(f为焦点距离)的投影平面，该投影平面200的某一点上的像素用P、P’表示。视场角为60度+α。

在各假想摄像机中，在视场角60度+α度的范围内，摄像面(y＝0)上的各点与各投影面上的点一一对应。该对应关系能够根据确定摄像机30的投影法的公式求出。另外，可以以转换表(LUT：look up table，查找表)的形式具有预先求出的对应关系。转换表(LUT)是矫正非线形的拍摄图像的歪曲的，利用转换表使拍摄数据转换为线形的投影平面图像。

分割转换部12进行如下这样的转换处理。从存储在存储器11中的摄像机30的图像信息中选择并读出相当于中央部60度的图像信息，利用转换表(LUT)转换为中央平面图像。同样地选择相当于左部60度的图像信息，利用转换表(LUT)转换为左部平面图像。另外，选择相当于右部60度的图像信息，利用转换表(LUT)转换为右部平面图像。

运动矢量计算部13算出三个平面图像的各运动矢量。

能够利用公知的块匹配或梯度法等来计算运动矢量。众所周知，在焦点距离为f的针孔摄像机模型(图5)中，随着摄像机(本车)的移动，可以用下式表示在静止物被拍摄对象上所产生的投影平面x-y上的运动矢量(u，v)^T。

[数式11]

u＝(xy/f)Rx-(f²+x²)(1/f)R_y+yR_z+xT_z/z-fT_x/z

v＝(f²+y²)(1/f)R_x-xy/fR_y-xR_z+yT_z/z-fT_y/z

在这里，Rx、Ry、Rz表示绕x轴、绕y轴、绕z轴的本车旋转分量，Tx、Ty、Tz表示x、y、z轴方向的本车平移分量。

x、y表示图像平面的像素位置，z表示从摄像机到被拍摄对象的距离。由该式就可以建立图像随本车(摄像机30)移动而运动的关系。

建立图像上的某点P(x，y)的运动矢量(u，v)的关系式，只要采用任意一种方法求出本车移动参数，就能够预测静止物被拍摄对象在图面上的运动。如果正如预测那样，则可以判定为静止物，而如果与预测不符，则就能够判定为移动体。因而，通过根据上式进行分析，从而能够进行判定由本车移动引起的静止物的运动和移动体特有的运动。

移动体判定部14根据通过线形预测判定而判定的三个平面图像的各运动矢量进行三平面的各移动体的检测。例如，在图15所示的中央部平面图像中，在将本车运动的方向设为A时，在存在表示与本车不同的运动方向B的移动体(例如，从横向行驶过来的车辆)时，判断为移动体。移动体的判定存在各种判定方法。

由移动体判定部14判定的移动体判定结果通过原图像转换部15被重叠在原摄像机图像上。跨越多个分割投影平面移动的被拍摄对象也可以识别为在原拍摄面上进行连续的移动的移动体。

接近方向判定部16根据移动体的运动矢量判定移动方向，判定有无向本车接近，在存在接近可能性高的移动体时，生成能够让驾驶员视觉确认的警告用的图像信息并输出至显示部40。警告图像是例如表示移动体正在从哪个方向接近的箭头等信息。因而，如果在显示部40上存在从前方或者后方等向本车接近过来的其他车辆或者人等移动体，就能够准确地报告给驾驶员。

(第四实施方式)

接下来，说明第四实施方式。第四实施方式在分割转换部12的动作上具有特征，将由摄像机30拍摄到的图像分割为两个视角范围，生成分割投影平面图像。即，如图16所示，设想如下这样的假想摄像机：具有将摄像机中心O共通、以焦点距离f作为半径的半圆相切的分割投影平面1、2。在图16中，设想具有相对于摄像机30的光轴z呈±45度的光轴L、R的左假想摄像机和右假想摄像机。

通过将图13的三平面分割更换为二平面分割，从而进行以下同样的处理，运动矢量计算部13算出两个平面图像的各运动矢量。移动体判定部14根据由两个平面图像的各运动矢量进行二平面上的各移动体的检测。在原图像转换部15中，将移动体判定部14的判定结果重叠在原摄像机图像上。接近方向判定部16根据移动体的运动矢量判定移动方向，进而判定有无向本车接近。

依照上述说明的实施方式，通过将鱼眼摄像机等广角摄像机的拍摄图像转换为多个分割投影平面图像，从而能够根据运动矢量判定移动体，进而能够判定移动体的方向而报告正向本车接近的情况，从而能够回避危险。

虽然说明了本发明的几种实施方式，但这些实施方式只是作为示例而提出的，并不是旨在限制本发明的范围。这些新的实施方式能够以其他各种方式进行实施，并且在不脱离本发明的宗旨的范围内，能够进行各种省略、替换、变更。这些实施方式或者其变形应包含在本发明的范围和宗旨内，同时包含在本发明保护范围中所述的发明和其均等的范围内。

Claims (22)

1.一种移动体检测装置，其特征在于，包括：

图像输入部，用于载入由安装于车辆上的摄像机拍摄到的摄像机图像；

运动矢量生成部，用于对来自所述图像输入部的图像进行处理，生成所述图像的多个点P的运动矢量；

本车移动参数推断部，用于在通过本车移动参数的旋转分量Rx、Ry、Rz校正了所述点P的运动矢量的斜率时，视为与从点P到消失点的斜率相等地推断本车移动参数的旋转分量Rx、Ry、Rz；以及

移动体判定部，用于使用所述本车移动参数的旋转分量Rx、Ry、Rz校正所述图像内的任意点Q的运动矢量的斜率，并比较校正后的运动矢量的斜率、以及连接所述任意点Q与所述消失点的线的斜率，在一致度低时，检测为具有与本车移动方向不同的方向的移动体，在一致度高时，判定为静止物或向所述消失点呈放射状移动的移动体。

2.根据权利要求1所述的移动体检测装置，其特征在于，

所述本车移动参数推断部在所述旋转分量是0时，将所述多个点P的运动矢量的延长线的交点更新为所述消失点。

3.根据权利要求1所述的移动体检测装置，其特征在于，

所述移动体检测装置还包括：静止区域候补推断部，用于根据所述图像的多个点P的运动矢量来推断静止物区域，

所述本车移动参数推断部根据推断出的所述静止物区域的图像的多个点P的运动矢量和所述消失点，推断所述本车移动参数的旋转分量Rx、Ry、Rz。

4.根据权利要求3所述的移动体检测装置，其特征在于，

所述静止区域候补推断部根据推断出的所述静止物区域的图像的多个点P的运动矢量和所述消失点，求出基于本车的舵角的旋转分量Ry、Rz中的至少Ry，并将各点的所述旋转分量Ry或者Ry和Rz的直方图的波峰附近选定作为静止物区域候补。

5.根据权利要求3所述的移动体检测装置，其特征在于，还包括：

平移方向移动体检测部，用于输入通过所述移动体检测部未检测为移动体的图像信息，根据所述静止物区域候补内的任意点Q的运动矢量和旋转分量Rx、Ry、Rz，求出本车移动参数的平移分量Tz/z，设定使与路面间的摄像机视角相关联的推断距离加权系数z0，比较乘以了所述系数z0的平移分量z0(Tz/z)与推断本车平移分量Tzm，在一致度低时，检测为移动体。

6.根据权利要求5所述的移动体检测装置，其特征在于，

所述平移方向移动体检测部根据所述静止物区域候补内的多个点P的运动矢量和旋转分量Rx、Ry、Rz，求出本车移动参数的平移分量Tz/z，将乘以了所述系数z0的平移分量z0(Tz/z)的平均值作为所述推断本车平移分量Tzm。

7.根据权利要求5或6所述的移动体检测装置，其特征在于，

所述平移方向移动体检测部将使路面上的距离与所述摄像机图像上的每个像素位置相关联的对应关系预先设定作为所述推断距离加权系数z0。

8.一种移动体检测装置，其特征在于，包括：

图像输入部，用于载入由安装于车辆上的摄像机拍摄到的摄像机图像；

运动矢量生成部，用于对来自所述图像输入部的图像进行处理，生成所述图像的运动矢量；

本车移动参数推断部，用于求出所述图像的多个点p的运动矢量和将所述运动矢量延长后的延长运动矢量集中的消失点，根据所述多个点P的运动矢量和所述消失点来推断本车移动参数的旋转分量Rx、Ry、Rz和平移分量；以及

移动体判定部，用于设定使与路面间的摄像机视角相关联的推断距离加权系数z0，根据乘以了所述系数z0的平移分量的平均值而计算推断本车平移分量，根据所述旋转分量Rx、Ry、Rz、所述平移分量以及所述系数z0预测所述图像内的任意点Q的运动矢量，并与实测运动矢量进行比较，在一致度低时，判定为移动体。

9.根据权利要求8所述的移动体检测装置，其特征在于，

将使路面上的距离与所述摄像机图像上的每个像素位置相关联的对应关系预先设定作为所述推断距离加权系数z0。

10.一种移动体检测方法，其特征在于，包括：

载入由安装于车辆上的摄像机拍摄到的摄像机的图像；

对所述图像进行处理，生成所述图像的多个点P的运动矢量；

在通过本车移动参数的旋转分量Rx、Ry、Rz校正了所述点P的运动矢量的斜率时，视为与从点P到消失点的斜率相等地推断本车移动参数的旋转分量Rx、Ry、Rz；以及

使用所述本车移动参数的旋转分量Rx、Ry、Rz校正所述图像内的任意点Q的运动矢量的斜率，并比较校正后的运动矢量的斜率、以及连接所述任意点Q与所述消失点的线的斜率，在一致度低时，检测为具有与本车移动方向不同的方向的移动体，在一致度高时，判定为静止物或向所述消失点呈放射状移动的移动体。

11.根据权利要求10所述的移动体检测方法，其特征在于，

在所述旋转分量是0时，将所述多个点P的运动矢量的延长线的交点更新为所述消失点。

12.根据权利要求10所述的移动体检测方法，其特征在于，

所述移动体检测方法还包括：根据所述图像的多个点P的运动矢量来推断静止物区域，

根据推断出的所述静止物区域的图像的多个点P的运动矢量和所述消失点，求出基于本车的舵角的旋转分量Ry、Rz中的至少Ry，

将各点的所述旋转分量Ry或者Ry和Rz的直方图的波峰附近选定作为静止物区域候补。

13.根据权利要求12所述的移动体检测方法，其特征在于，还包括：

输入未检测为所述移动体的图像信息，

根据所述静止物区域候补内的任意点Q的运动矢量和旋转分量Rx、Ry、Rz，求出本车移动参数的平移分量Tz/z，

设定使与路面间的摄像机视角相关联的推断距离加权系数z0，比较乘以了所述系数z0的平移分量z0(Tz/z)与推断本车平移分量Tzm，在一致度低时，检测为移动体。

14.根据权利要求13所述的移动体检测方法，其特征在于，

根据所述静止物区域候补内的多个点P的运动矢量和所述旋转分量Rx、Ry、Rz，求出本车移动参数的平移分量Tz/z，将乘以了所述系数z0的平移分量z0(Tz/z)的平均值作为所述推断本车平移分量Tzm。

15.一种移动体检测方法，其特征在于，包括：

载入由安装于车辆上的摄像机拍摄到的摄像机的图像；

对所述图像进行处理，生成所述图像的运动矢量；

求出所述图像的多个点p的运动矢量和将所述运动矢量延长后的延长运动矢量集中的消失点，根据所述多个点P的运动矢量和所述消失点来推断本车移动参数的旋转分量Rx、Ry、Rz和平移分量；以及

设定使与路面间的摄像机视角相关联的推断距离加权系数z0，根据乘以了所述系数z0的平移分量的平均值而计算推断本车平移分量，根据所述旋转分量Rx、Ry、Rz、所述平移分量以及所述系数z0预测所述图像内的任意点Q的运动矢量，并与实测运动矢量进行比较，在一致度低时，判定为移动体。

16.一种移动体检测装置，其特征在于，包括：

分割转换部，用于将通过安装于车辆上且具有广角拍摄范围的摄像机拍摄到的非线形图像分割为具有预先设定的视角范围的多个图像，生成具有共通的摄像机中心的多个线形的投影平面图像；

运动矢量计算部，用于计算多个所述投影平面图像各自的运动矢量；

移动体判定部，用于分析多个所述投影平面图像的所述运动矢量，并判定移动体；以及

显示部，用于显示所述移动体判定部的判定结果。

17.根据权利要求16所述的移动体检测装置，其特征在于，

所述分割转换部将大于等于180度的广角摄像机图像分割为具有交迭部分的180度以内的多个图像，生成多个平面投影图像。

18.根据权利要求16所述的移动体检测装置，其特征在于，

所述移动体判定部根据由所述运动矢量计算部计算的运动矢量的方向，判定有无接近本车的移动体。

19.根据权利要求16所述的移动体检测装置，其特征在于，还包括：

原图像转换部，用于将所述移动体判定部的判定结果重叠在分割前的原拍摄图像上；以及

接近方向判定部，用于根据所述原图像转换部的图像来判定所述移动体的接近方向，并将表示所述移动体的接近的图像信息显示在所述显示部上。

20.一种移动体检测方法，其特征在于，包括：

将通过安装于车辆上且具有广角拍摄范围的摄像机拍摄到的非线形图像分割为具有预先设定的视角范围的多个图像，生成具有共通的摄像机中心的多个线形的投影平面图像；

计算多个所述投影平面图像各自的运动矢量；

分析多个所述投影平面图像的所述运动矢量，并判定移动体；以及

显示所述移动体的判定结果。

21.根据权利要求20所述的移动体检测方法，其特征在于，

根据计算出的所述运动矢量的方向，判定有无接近本车的移动体。

22.根据权利要求20所述的移动体检测方法，其特征在于，还包括：

将所述判定结果重叠在分割前的原拍摄图像上；

根据重叠有所述判定结果的原拍摄图像来判定所述移动体的接近方向；

显示表示所述移动体的接近的图像信息。

Images