CN103578115A - 移动体识别系统以及移动体识别方法 - Google Patents

Abstract

本发明提供一种移动体识别系统以及移动体识别方法。移动体识别系统（100）具备：摄像机（10），其设置于车辆，拍摄多个连续的单视点图像；移动体检测部（20），其使用所拍摄到的多个图像，检测图像中的移动体；相对进入角度推定部（30），其推定所检测出的移动体相对于摄像机（10）的相对进入角度；碰撞危险度计算部（40），其根据相对进入角度与从摄像机（10）朝向移动体的移动体方向之间的关系，算出移动体与车辆碰撞的危险度；以及报知部（50），其根据所算出的危险度来对车辆驾驶员报知危险。由此，能够不使用立体摄像机（10）、距离传感器等价格较高的传感器而使用单眼摄像机（10）来检测移动体的碰撞危险性。

Description

移动体识别系统以及移动体识别方法

技术领域

本发明涉及使用单视点图像识别移动体的移动体识别系统、移动体识别程序以及移动体识别方法。

背景技术

以往，已知一种移动体识别系统，其识别车辆周边的移动体并对驾驶员进行报知或警告和/或进行车辆的自动制动（以下简单称为“报知”）。对于从本车辆到移动体的距离，可以使用毫米波雷达等距离传感器来直接测量，或者可以使用立体摄像机进行图像处理来测量。通过按时间序列排列测得的距离并进行分析，能够求出移动体的移动方向和/或相对于本车辆的相对速度。并且，通过求出移动体的移动方向和/或相对于本车辆的相对速度，能够求出该移动体与车辆碰撞的可能性（危险性），能够根据该危险性来进行报知。

另外，作为更简单且廉价的移动体识别系统，还已知一种通过仅具有一个光学系统和一个摄像元件的单眼摄像机来识别移动体的系统。该系统通过单眼摄像机连续进行拍摄，由此得到以时间序列排列的多个单视点图像。作为由这些多个单视点图像检测移动体的技术，已知US8,184,857所记载的技术。

在US8,184,857所记载的技术中，基于从按时间序列排列的多个单视点图像各自提取出的特征点及其动态矢量（光流（optical flow）），按照每个移动体对特征点群进行分组。该分组根据光流向消失点的收敛性（会聚性）和外分比的离差（不匀）来进行。由此，即使混有不正确地算出的光流，也能够切实地进行移动体的检测。

发明内容

发明要解决的问题

在车载移动体识别系统中期望：不对驾驶员报知没有碰撞危险性的移动体，只对突然出现等具有碰撞危险性的移动体进行报知。这是因为：在对所有移动体进行报知的情况下，对驾驶员来说比较麻烦，有可能对驾驶带来负面影响。

在车载移动体识别系统中，识别处理的结果的可靠性与碰撞的危险性不一定一致。也即是，尽管识别处理的结果的可靠性高，但也可能有时不存在碰撞危险性，也可能有时是相反的。对于多数驾驶员有用的信息不是识别处理的可靠性高的信息，而是识别出的移动体对本车辆的碰撞危险性的信息。

本发明是鉴于上述问题而完成的发明，目的在于提供一种移动体识别系统，其不使用立体摄像机、距离传感器等价格较高的传感器而使用单眼摄像机对移动体的碰撞危险性进行检测。

用于解决问题的手段

本发明的某一方式的移动体识别系统具有以下结构，具备：摄像机，其设置于车辆，拍摄多个连续的单视点图像；移动体检测部，其使用由上述摄像机拍摄到的多个图像，检测图像中的移动体；相对进入角度推定部，其推定由上述移动体检测部检测出的移动体相对于上述摄像机的相对进入角度；以及碰撞危险度计算部，其根据上述相对进入角度与从上述摄像机朝向上述移动体的移动体方向之间的关系，算出上述移动体与上述车辆碰撞的危险度。

根据该结构，作为对车辆驾驶员的安全驾驶有用的信息，能够得到移动体与车辆碰撞的危险度。另外，不采用立体摄像机等价格较高的结构而通过单眼摄像机这一价格较低的结构来实现该危险度的计算，因此能够降低成本。

在上述移动体识别系统中，上述相对进入角度与上述移动体方向的偏差越小，上述碰撞危险度计算部可以越使危险度提高。

相对进入角度与移动体方向一致是指移动体相对地朝向车辆移动的情况，因而，可以说相对进入角度与移动体方向的偏差越小则危险性越高。因此，根据该结构，能够适当地算出移动体与车辆碰撞的危险度。

在上述移动体识别系统中，上述碰撞危险度计算部可以根据上述相对进入角度设定危险区域，根据上述移动体存在于危险区域的概率算出上述危险度。

根据该结构，不仅利用该移动体对于车辆的相对进入角度，还能够利用根据相对进入角度设定的危险区域来准确地算出移动体与车辆碰撞的危险度。

在上述移动体识别系统中，上述危险区域可以被设定于以上述摄像机为原点、以上述摄像机的光轴方向为Z方向、以铅直方向为Y方向、以水平方向为X方向的XZ平面，上述危险区域可以是从上述车辆以上述车辆的宽度沿上述相对进入角度的方向延伸的区域。

根据该结构，危险区域被设定为以车辆的宽度从车辆沿相对进入角度的方向延伸，因此能够算出与车辆的某一部分碰撞的危险度。

在上述移动体识别系统中，上述碰撞危险度计算部可以具备：距离推定部，其推定从上述摄像机到上述移动体为止的上述Z方向的距离的上限值；和危险度计算部，其算出XZ射线的从上述摄像机到上述上限值的线段中的、进入上述危险区域的线段的比例来作为上述危险度，上述XZ射线是将经过上述摄像机和与上述摄像机相距焦点距离的上述图像上的上述移动体的直线正射影到上述XZ平面而得到的线段。

根据该结构，由于设置危险区域的上限，因此即使无法求出到移动体为止的距离，只要确定了移动体方向，就能够算出该移动体处于危险区域的概率。

在上述移动体识别系统中，上述移动体检测部可以具备：光流计算部，其从上述图像提取多个特征点，算出所提取的特征点的光流；和分组部，其将上述多个特征点中的、延长的上述光流会聚于一个消失点的多个特征点作为上述移动体上的多个特征点来分组，上述距离推定部可以从分组后的上述移动体上的多个特征点中选出高度最低的最下特征点，将连结上述最下特征点和上述光学中心的直线与上述车辆行驶的地面的交点作为地面点，将上述地面点的Z坐标推定为从上述摄像机到上述移动体为止的上述Z方向的距离的上限值。

在识别车辆周边的移动体的移动体识别系统中，作为移动体而分组后的多个特征点彼此的距离与距摄像机的距离相比足够小的这种假设具有妥当性。因此，根据该结构，能够通过简单的计算来适当地推定移动体的距离上限。

在上述移动体识别系统中，上述碰撞危险度计算部可以具备：距离推定部，其推定从上述摄像机到上述移动体为止的上述Z方向的距离；和危险度计算部，其在XZ射线上的与上述摄像机相距上述推定出的距离的点处于上述危险区域的情况下，算出比上述点不处于上述危险区域的情况高的危险度，上述XZ射线是将经过上述摄像机和与上述摄像机相距焦点距离的上述图像上的上述移动体的直线正射影到上述XZ平面而得到的线段。

根据该结构，由于推定出到移动体为止的距离，因此不仅是移动体处于危险区域的概率，还能够判断是否处于危险区域，在判断为处于危险区域内的情况下，能够算出高危险度。此外，危险度也可以根据移动体所碰撞的车辆的部位来分等级。

在上述移动体识别系统中，上述移动体检测部可以具备：光流计算部，其从上述图像提取多个特征点，算出所提取的特征点的光流；和分组部，其将上述多个特征点中的、延长的上述光流会聚于一个消失点的多个特征点作为上述移动体上的多个特征点来分组，上述距离推定部可以根据上述消失点求出到上述移动体与上述车辆碰撞为止的碰撞时间，根据上述碰撞时间和上述车辆的速度算出从上述摄像机到上述移动体为止的上述Z方向的距离。

对于行进的车辆来说，存在危险的移动体是横穿车辆的行进方向的移动体（例如，与车辆相对而过的移动体不太危险），在识别车辆周边的移动体的移动体识别系统中，假设为移动体与本车辆正交而平移移动（即，移动体的摄像机的光轴方向的速度分量为0）具有妥当性。因此，根据该结构，能够通过简单的计算来适当地推定移动体的距离。

在上述移动体识别系统中，上述碰撞危险度计算部可以具备：距离推定部，其确定从上述摄像机到上述移动体为止的上述Z方向的距离的概率分布；和危险度计算部，其根据XZ射线处于上述危险区域的距离范围内的上述概率分布的概率密度函数的积分值来算出上述危险度，上述XZ射线是将经过上述摄像机和与上述摄像机相距焦点距离的上述图像上的上述移动体的直线正射影到上述XZ平面而得到的线段。

根据该结构，距离不是被推定为一个值，而是被作为概率分布来求出，因此，能够根据与危险区域有关的概率分布的概率密度函数的积分值的比例来适当地算出危险度。

在上述移动体识别系统中，上述移动体检测部可以具备：光流计算部，其从上述图像提取多个特征点，算出所提取的特征点的光流；和分组部，其将上述多个特征点中的、延长的上述光流会聚于一个消失点的多个特征点作为上述移动体上的多个特征点来分组，上述距离推定部可以根据上述消失点求出到上述移动体与上述车辆碰撞为止的碰撞时间，根据上述碰撞时间，按照预定的正态分布来确定上述距离的概率分布。

在识别车辆周边的移动体的移动体识别系统中，距离的概率分布为正态分布的这种假设具有妥当性，因此，根据该结构，能够通过简单的计算来适当地确定移动体的距离的概率分布。

在上述移动体识别系统中，上述碰撞危险度计算部可以具备：距离推定部，其推定从上述摄像机到上述移动体为止的上述Z方向的距离的上限值，并且，确定从上述摄像机到上述移动体为止的上述Z方向的距离的概率分布；和危险度计算部，其根据XZ射线处于上述危险区域的距离范围内的上述概率分布的概率密度函数的积分值相对于到上述上限值为止的距离范围内的上述概率分布的概率密度函数的积分值的比例来算出危险度，上述XZ射线是将经过上述摄像机和与上述摄像机相距焦点距离的上述图像上的上述移动体的直线正射影到上述XZ平面而得到的线段。

根据该结构，距离不是被推定为一个值，而是被作为概率分布来求出，并且舍去其概率分布的比推定上限值大的部分，因此，能够根据剩余的值域内的概率密度函数的积分值中的与危险区域重叠的概率密度函数的积分值的比例来适当地算出危险度。

在上述移动体识别系统中，上述移动体检测部可以具备：光流计算部，其从上述图像提取多个特征点，算出所取出的特征点的光流；和分组部，其将上述多个特征点中的、延长的上述光流会聚于一个消失点的多个特征点作为上述移动体上的多个特征点来分组，上述距离推定部可以从分组后的上述移动体上的多个特征点中选出高度最低的最下特征点，将连结上述最下特征点和上述光学中心的直线与上述车辆行驶的地面的交点作为地面点，将上述地面点的Z坐标推定为从上述摄像机到上述移动体为止的上述Z方向的距离的上限值，根据上述消失点来求出到上述移动体与上述车辆碰撞为止的碰撞时间，根据上述碰撞时间，按照预定的正态分布来确定上述距离的概率分布。

在识别车辆周边的移动体的移动体识别系统中，作为移动体而分组后的多个特征点彼此之间的距离与距摄像机的距离相比足够小的这种假设具有妥当性，因此根据该结构，能够通过简单的计算来适当地推定移动体的距离上限。另外，在识别车辆周边的移动体的移动体识别系统中，距离的概率分布为正态分布的这种假设具有妥当性，因此根据该结构，能够通过简单的计算来适当地确定移动体的距离的概率分布。

在上述移动体识别系统中，上述碰撞危险度计算部可以分为多个等级而阶段性地设定上述危险区域。

根据该结构，能够根据车辆各部位发生了碰撞的情况下的影响的大小等来算出危险度。

本发明的其它方式的移动体识别系统具备：摄像机，其设置于车辆，拍摄多个连续的单视点图像；移动体检测部，其使用由上述摄像机拍摄到的多个图像，从上述图像提取多个特征点，生成所提取的特征点的光流，对上述多个特征点中的、延长的上述光流会聚于一个消失点的多个特征点进行分组，由此将分组后的上述多个特征点检测为移动体；以及碰撞危险度计算部，其算出上述移动体与上述车辆碰撞的危险度，上述碰撞危险度计算部以与上述图像中的上述消失点之间的距离近的上述移动体的上述危险度比与上述图像中的上述消失点之间的距离远的上述移动体的上述危险度高的方式算出上述危险度。

根据该结构，作为对车辆驾驶员的安全驾驶有用的信息，也能够得到移动体与车辆碰撞的危险度。另外，不采用立体摄像机等价格较高的结构而通过单眼摄像机这一价格较低的结构来实现该危险度的计算，因此，能够降低成本。进而，能够根据消失点与移动体的图像上的距离来通过简单的计算算出危险度。

上述移动体识别系统中，上述碰撞危险度计算部可以将上述移动体上的多个上述特征点中的某一特征点、或者由上述移动体上的多个特征点求出的点作为代表点，算出上述代表点与上述车辆碰撞的危险度。

根据该结构，能够确定适当的代表点来作为移动体的位置。

上述移动体识别系统可以还具备报知部，该报知部根据由上述碰撞危险度计算部算出的危险度来对上述车辆驾驶员报知危险。

根据该结构，能够根据移动体与车辆碰撞的危险度来唤起驾驶员的注意。

在上述移动体识别系统中，上述碰撞危险度计算部可以根据到上述移动体与上述车辆碰撞为止的碰撞时间来校正上述危险度。

根据该结构，能够还考虑碰撞时间来得到更适当的危险度。

本发明的某一方式的移动体识别程序使计算机作为移动体检测部、相对进入角度推定部以及碰撞危险度计算部发挥功能，上述移动体检测部设置于车辆，使用由拍摄多个连续的单视点图像的照相机拍摄到的多个图像，检测图像中的移动体，上述相对进入角度推定部推定由上述移动体检测部检测出的移动体对于上述照相机的相对进入角度，上述碰撞危险度计算部根据上述相对进入角度与从上述照相机朝向上述移动体的移动体方向之间的关系，算出上述移动体与上述车辆碰撞的危险度。

根据该结构，作为对车辆驾驶员的安全驾驶有用的信息，也能够得到移动体与车辆碰撞的危险度。另外，不采用立体摄像机等价格较高的结构而通过单眼摄像机这一价格较低的结构来实现该危险度的计算，因此能够降低成本。

本发明的其它方式的移动体识别程序使计算机作为移动体检测部和碰撞危险度计算部发挥功能，上述移动体检测部设置于车辆，使用由拍摄多个连续的单视点图像的摄像机拍摄到的多个图像，从上述图像提取多个特征点，生成所提取的特征点的光流，对上述多个特征点中的、延长的上述光流会聚于一个消失点的多个特征点进行分组，由此将分组后的上述多个特征点检测为移动体，上述碰撞危险度计算部算出上述移动体与上述车辆碰撞的危险度，以与上述图像中的上述消失点之间的距离近的上述移动体的上述危险度比与上述图像中的上述消失点之间的距离远的上述移动体的上述危险度高的方式算出上述危险度。

根据该结构，作为对车辆驾驶员的安全驾驶有用的信息，也能够得到移动体与车辆碰撞的危险度。另外，不采用立体摄像机等价格较高的结构而通过单眼摄像机这一价格较低的结构来实现该危险度的计算，因此能够降低成本。进而，能够根据消失点与移动体的图像上的距离来通过简单的计算算出危险度。

本发明的某一方式的移动体识别方法具有以下结构，包括：摄像步骤，通过设置于车辆的摄像机，拍摄多个连续的单视点图像；移动体检测步骤，使用由上述摄像机拍摄到的多个图像，检测图像中的移动体；相对进入角度推定步骤，推定通过上述移动体检测步骤检测出的移动体对于上述摄像机的相对进入角度；以及碰撞危险度算出步骤，根据上述相对进入角度与从上述摄像机朝向上述移动体的移动体方向之间的关系，算出上述移动体与上述车辆碰撞的危险度。

根据该结构，作为对车辆驾驶员的安全驾驶有用的信息，也能够得到移动体与车辆碰撞的危险度。另外，不采用立体摄像机等价格较高的结构而通过单眼摄像机这一价格较低的结构来实现该危险度的计算，因此能够降低成本。

本发明的其它方式的移动体识别方法包括：摄像步骤，通过设置于车辆的摄像机，拍摄多个连续的单视点图像；移动体检测步骤，使用由上述摄像机拍摄到的多个图像，从上述图像提取多个特征点，生成所提取的特征点的光流，对上述多个特征点中的、延长的上述光流会聚于一个消失点的多个特征点进行分组，由此将分组后的上述多个特征点检测为移动体；以及碰撞 危险度算出步骤，算出上述移动体与上述车辆碰撞的危险度，在上述碰撞危险度算出步骤中，以与上述图像中的上述消失点之间的距离近的上述移动体的上述危险度比与上述图像中的上述消失点之间的距离远的上述移动体的上述危险度高的方式算出上述危险度。

根据该结构，作为对车辆驾驶员的安全驾驶有用的信息，也能够得到移动体与车辆碰撞的危险度。另外，不采用立体摄像机等价格较高的结构而通过单眼摄像机这一价格较低的结构来实现该危险度的计算，因此能够降低成本。进而，能够根据消失点与移动体的图像上的距离来通过简单的计算算出危险度。

发明的效果

根据本发明，作为对车辆驾驶员的安全驾驶有用的信息，能够得到移动体与车辆碰撞的危险度。另外，不采用立体摄像机等价格较高的结构而通过单眼摄像机这一价格较低的结构来实现该危险度的计算，因此能够降低成本。

本发明的上述以及其它的目的、特征、方式和优点通过以下结合附图对本发明的详细说明来得以更加明确。

附图说明

图1是表示本发明实施方式中的移动体识别系统的结构的框图。

图2A是用于说明本发明实施方式中的相对进入角度的对地速度的例子的图。

图2B是表示本发明实施方式中的相对进入角度的图。

图3是说明本发明的实施方式中的坐标的定义的图。

图4是说明本发明实施方式中的连结光流的图。

图5是表示本发明实施方式中的三维空间的点群在单位时间内平移移动的距离的图。

图6是说明本发明实施方式中的消失点的图。

图7A是表示本发明实施方式中的鲁棒推定的成本函数的曲线图（坐标图）。

图7B是表示本发明实施方式中的鲁棒推定的影响函数的曲线图（坐标图）。

图8是表示本发明实施方式中的容易产生异常项的图像例的图。

图9A是说明本发明实施方式中的相对进入角度（θ<0的情况下）的定义的图。

图9B是说明本发明实施方式中的相对进入角度（θ>0的情况下）的定义的图。

图10是表示本发明实施方式中的相对进入角度与消失点之间的关系的图。

图11是说明本发明实施方式中的距离推定方法的第一例的地面点的图。

图12是对本发明实施方式中的距离推定方法的第一例的距离上限值的计算进行说明的图。

图13是用于对本发明实施方式中根据距离上限的推定值算出危险度进行说明的图。

图14是用于对本发明实施方式中根据距离的推定值算出危险度进行说明的图。

图15是用于对本发明实施方式中根据距离的推定值算出危险度的变形例进行说明的图。

图16是用于对本发明实施方式根据距离的概率密度函数算出危险度进行说明的图。

图17是用于对本发明实施方式中根据所推定出的距离上限和距离分布算出危险度进行说明的图。

图18是用于说明本发明实施方式中的考虑了TTC的危险度的计算的图。

标号说明

100：移动体识别系统；10：摄像机；20：移动体检测部；21：连结光流计算部；22：旋转移动量、消失点推定部；23：背景点除去部；24：分组部；30：相对进入角度推定部；40：碰撞危险度计算部；41：距离推定部；42：危险度计算部；50：报知部。

具体实施方式

以下，参照附图说明本发明实施方式的移动体识别系统。图1是表示本发明实施方式中的移动体识别系统的结构的框图。本实施方式的移动体识别系统100是算出移动体与本车辆碰撞的危险度并对驾驶员进行报知的系统。移动体识别系统100具备摄像机10、移动体检测部20、相对进入角度推定部30、碰撞危险度计算部40以及报知部50。对于由移动体检测部20、相对进入角度推定部30以及碰撞危险度计算部40构成的结构，通过计算机执行本发明实施方式的移动体识别程序来实现。移动体识别程序可以被存储于存储介质，可以由计算机从存储介质中读出而由计算机来执行。

首先，说明移动体识别系统100的概要。摄像机10被搭载于车辆，在车辆行驶期间，以一定周期连续地拍摄车辆周边而生成图像，并将图像输出到移动体检测部20。移动体检测部20使用从摄像机10依次输入的多个图像，从那些图像中检测移动体。由于本车辆（即摄像机10）是移动的，因此相对于地面静止的物体在图像内的位置也每时每刻发生变化，移动体检测部20从这样的多个图像中检测出相对于地面移动的物体来作为移动体。

相对进入角度推定部30推定所检测出的移动体相对于车辆的相对移动方向来作为相对进入角度。图2A和图2B是说明本发明实施方式中的相对进入角度的图。在此，如图2A所示，设为车辆C向前方以速度v_c直行、移动体O在车辆C的前方沿与车辆的行进方向正交的方向以速度v_o移动时，则如图2B所示，相对进入角度θ被作为车辆的前方方向与v_o-v_c所成的角度来求出。相对进入角度推定部30使用图像和摄像机10的焦点距离，推定该相对进入角度θ。

碰撞危险度计算部40推定从本车辆到由移动体检测部20检测出的移动体的距离，根据其推定出的距离以及由相对进入角度推定部30推定出的相对进入角度，算出碰撞的危险度。报知部50根据由碰撞危险度计算部40算出的危险度来进行向驾驶员的报知。以下，详细进行说明。

摄像机10被搭载于车辆，对车辆的周边进行拍摄。特别是，由于本实施方式的移动体识别系统100算出移动体与本车辆碰撞的危险性并进行报知，因此摄像机10设置于车辆以拍摄本车辆的行进方向。为了拍摄车辆的前方，摄像机10例如可以设置于后视镜的背面侧（前方侧）。由于车辆也可能后退，因此，为了拍摄车辆的后方，摄像机10例如也可以设置在后面的车号牌附近。摄像机10是具备一个光学系统和一个摄像元件的单眼摄像机。摄像机10以预定的周期（例如每1/30秒）连续地进行拍摄而输出图像信号。

移动体检测部20根据进行直线运动的刚体的模型和针孔摄像机模型，由图像中的特征点的坐标和动态矢量（光流）的信息对同一移动体的特征点进行分组（聚类）（详细参照日本特开2011-81613号公报）。在此，光流是指在动态图像等中跟踪相同的图像斑块（例如各边五个像素的方形小区域）而得到的轨迹。另外，移动体检测部20也进行从光流除去因摄像机10的旋转移动而产生的成分的处理。移动体检测部20具备连结光流计算部21、旋转移动量、消失点推定部22、背景点除去部23以及分组部24。

首先，定义在以下运算中使用的坐标。图3是说明本发明实施方式中的坐标的定义的图。假设为：在路面平坦时，摄像机10的光轴与路面平行。以摄像机10的光轴为Z轴，以铅直向下方向为Y轴，X轴根据右手坐标系来定义。原点（0，0，0）为摄像机10的光学中心。此外，在本实施方式中假设为摄像机10的光轴与路面平行，但在摄像机10的光轴与路面不平行的情况下，也能够通过导入适当的旋转矩阵来也容易地得到坐标。考虑透视投影模型，设为图像坐标根据（x，y）=（fX/Z，fY/Z）来提供。在此，f是摄像机10的焦点距离，是已知的。

连结光流计算部21从由摄像机10得到的多个图像提取出多个图像之间对应的特征点，按照每个特征点来算出光流（参照：J.shiand C.Tomasi,“Good features to track,”,IEEE CVPR,pp.593-600,1994）。在本实施方式中，光流的算法使用LK法（参照：B.D.Lucas and T.Kanade,“An iterativeimage registration technique with an application to stereo vision,”IJCAI,pp.674-679,1981）。

在光流的计算中，期望异常项（outlier，异类，离群项）少。异常项通常是指估计外的计算结果，光流的异常项特别是指误跟踪的轨迹。上述US8,184,857的技术对于光流的异常项是稳健（robust，鲁棒）的，尽管如此，虽然少见多个光流为异常项，但有时也会在允许误差的范围内具有相同的消失点和外分比。在该情况下，会检测出异常项，因此结果会弄错危险度的计算。在本实施方式中提供运算量低的异常项除去方法。

为了提高光流的精度，在本实施方式中，代替使用相互相邻的两帧之间的光流而使用使相邻帧之间的光流连续的多帧连结的光流。在本说明书中，将从相互相邻的两帧之间的光流、即某帧的特征点向该帧的下一帧中的与该特征点相同的（对应的）特征点的矢量称为“单光流”，将连结多个单光流而得到的光流、即从某帧中的特征点向从该帧间隔1帧以上的预定帧数的帧中的与该特征点相同的（对应的）特征点的矢量称为“连结光流”。

图4是说明本发明实施方式中的连结光流的图。在图4中，左列示出从上方开始依次按时间序列排列由摄像机10连续获取的图像，中央列表示单光流，右列表示连结三个单光流而得到的连结光流。连结光流计算部21连结同一（对应的）特征点的多帧的单光流，算出连结光流。

如图4所示，单光流在相邻的两帧之间通过连结同一特征点来生成，连结光流通过连结多个单光流来生成。在图4的例子中，通过连结三个（n=3）光流，生成了连结光流。

旋转移动量、消失点推定部22根据连结光流推定消失点。通常，在三维上的点群以一定的速度平移移动时，对这些点群进行透视投影而得到的二维点群的移动轨迹具有其延长线在一点交叉的特征。该交点为消失点。在本说明书中，作为图像平面上的点的轨迹的延长线的交点的含义来使用消失点这一术语。此外，在有多个移动体的情况下，按照每个移动体来推定消失点。

图5是表示三维空间的点群（移动体上的点）在单位时间内平移移动的距离（点群的三维空间内的速度）的图。当将该速度V设为（ΔX，ΔY，ΔZ）时，在时刻t透视投影而得到的图像坐标x（t）=f(X+tΔX）/（Z+tΔZ）、y（t）=f(Y+tΔY）/（Z+tΔZ）在t→-∞或者t→∞的极限下收敛为（fΔX/ΔZ，fΔY/ΔZ）。因此，消失点的二维坐标被求出为（fΔX/ΔZ，fΔY/ΔZ）。此外，以t→-∞收敛的点群是远离摄像机的点群，以t→∞收敛的点群是接近摄像机的点群。

图6是说明消失点的图。在图6的例子中，特征点FP1～6的连结光流COF1～6的延长线在一个点交叉，该点为消失点VP。旋转移动量、消失点推定部22将各特征点的连结光流延长，搜索多个连结光流交叉的点，将该点推定为消失点。当考虑在光流混有异常项、移动体的光流和/或背景物体的光流时，在消失点的推定中应用鲁棒推定是妥当的。鲁棒推定是指对于偏离值稳健（鲁棒）的参数推定。在本实施方式中，作为鲁棒推定应用M推定（参照：P.J.Huber and E.M.Ronchetti,“Robust Statistics,2ndEdition,”Wiley Interscience）。

此外，例如在由于运算能力受限制等理由而无法应用上述技术的情况下，旋转移动量、消失点推定部22也可以通过以下简单的处理来求出连结光流的消失点。在该方法中，旋转移动量、消失点推定部22预先记录摄像机10的图像中的地平线的位置，将地平线与连结光流的交点作为该点的轨迹的消失点。该方法是基于以下事实的：在移动体和摄像机10与平坦的地面平行地移动时，移动体的轨迹的消失点存在于地平线上。但是，在连结光流的倾斜小的情况下（与地平线大致平行的情况下），连结光流的误差可能使消失点的值大幅度变动，因此，在连结光流的误差范围内、消失点的值的范围过大的情况下，作为例外的处理，将该点从检测候选中排除。

另外，旋转移动量、消失点推定部22推定因摄像机10的旋转移动而产生的光流的成分，将该成分从连结光流除去。在此，当将通过具有三维的平移移动量（V_x，V_y，V_z）和旋转移动量Ω=（Ω_x，Ω_y，Ω_z）的摄像机透视投影得到的三维上的点（X，Y，Z）的光流设为v=（v_x，v_y）时，用以下式（1）来表示该光流v。

$\left\{\begin{array}{c}{v}_x=x\frac{V_z}{Z}-f\frac{V_x}{Z}+v_x^r\left(\mathrm{\&Omega;}\right)\\ v_y=y\frac{V_z}{Z}-f\frac{V_y}{Z}+v_y^r\left(\mathrm{\&Omega;}\right)\end{array}\right.---\left(1\right)$

在此，x=fX/Z、y=fY/Z，v_x ^r、v_y ^r是由通过以下式（2）提供的摄像机10的旋转量的一次项构成的光流成分。

$\left\{\begin{array}{c}{v}_x^r\left(\mathrm{\&Omega;}\right)=\frac{\mathrm{xy}}{f}{\mathrm{\&Omega;}}_x-\frac{x^2+f^2}{f}{\mathrm{\&Omega;}}_y+y{\mathrm{\&Omega;}}_z\\ v_y^r\left(\mathrm{\&Omega;}\right)=\frac{y^2+f^2}{f}{\mathrm{\&Omega;}}_x-\frac{\mathrm{xy}}{f}{\mathrm{\&Omega;}}_y-x{\mathrm{\&Omega;}}_z\end{array}\right.---\left(2\right)$

当从式（2）替换为p_F=（x_F、y_F）=（fV_x/V_z、fV_y/V_z）而消去深度（纵深）分量Z和Vz时，则得到以下式（3）。

R(p_F，Ω)＝u_x(y-y_F)-u_x(x-x_F)，    …(3)

$u_x=v_x-v_x^r,$ $u_y=v_y-v_y^r$

在此，R（p_F，Ω）是参数空间内的误差函数，在理想状态下取为0。式（3）即意味着当使去掉旋转成分而得到的静止点的光流延长时，会在图像上的1点（即扩展焦点：FOE：Focus Of Expansion）处交叉。

通常认为光流的偏离值、移动体的点的R值大，因此在本实施方式中，旋转移动量、消失点推定部22使用式（4）的M推定。

$(p_F,\mathrm{\&Omega;})=\underset{{p^{\&prime;}}_F,{\mathrm{\&Omega;}}^{\&prime;}}{\arg \min }\mathrm{\&rho;}\left(R({p^{\&prime;}}_F,{\mathrm{\&Omega;}}^{\&prime;})\right)---\left(4\right)$

在此，ρ（R）是最小值为0的相对于R=0对称的函数。通过影响函数

使对于偏离值的鲁棒性的程度具有特征。

图7A是表示鲁棒推定的成本函数的曲线图，图7B是表示鲁棒推定的影响函数的图。在图7A和图7B中，虚线表示L2范数（norm），实线表示柯西（Cauchy）函数。在本实施方式中，使用由图7B以及以下式（5）定义的柯西影响函数。

${\mathrm{\&psi;}}_C\left(R\right)=\frac{R}{1+{(R/C)}^2}---\left(5\right)$

柯西影响函数在R>0时不是单调增加函数，而是以极值为边界转变为减少，因此能够将误差对大输入的解的影响抑制为较低。式（5）的常数C为C=2.385。该值被设定为使得提供平均为0的高斯分布的最小二乘法的95%的效率。

旋转移动量、消失点推定部22使用迭代重加权最小二乘法（IRLS：Iteratively Reweighted Least Squares）作为M推定的解法。该方法是将式（4）的成本函数变形为加权误差的平方和的形式而交替反复执行最小二乘法和权重更新直到解收敛的方法。该权重使用影响函数通过ω=ψ（R）/R来提供。以下，示出IRLS的算法。

将

Ω初始化

repeat

1）k→k+1

2）误差的计算 $R=R(P_F^{(k-1)},{\mathrm{\&Omega;}}^{(K-1)})$

3）误差的重定尺度（rescale，重定标度）R→R/(1.48mad(R))

4）权重的更新ω^(k)=ψ_c(R)/R

5） $(P_F^{\left(k\right)},{\mathrm{\&Omega;}}^{\left(k\right)})=\arg \min \left[{\mathrm{\&omega;}}^{\left(k\right)}R{({P^{\&prime;}}_F,{\mathrm{\&Omega;}}^{\&prime;})}^2\right]$

untilconvergence

上述步骤3）的尺度重定（rescaling）中的分母1.48mad（R）被设定为在R符合正态分布时与标准偏差相等。代替标准偏差而使用中央值绝对偏差（mad：median absolute deviation）的理由在于，能够将由混有异常项而引起的尺度的变动抑制为较小。误差由FOE坐标与旋转移动量的积的形式来表示，因此步骤4）为非线性最小二乘法。在本实施方式中，旋转移动量、消失点推定部22通过牛顿法来求解。旋转移动量、消失点推定部22将因求出的旋转移动量而产生的成分从连结光流中除去。

背景点除去部23在使连结光流延长而得到的直线在允许误差的范围内经过背景的消失点的情况下，将该连结光流作为背景、即相对于地面不移动的物体而除去。即，相对于地面移动的移动体在与背景不同的位置具有消失点，因此，为了检测具有那样的消失点的特征点群来作为移动体，背景点除去部23除去具有背景的消失点的特征点和其连结光流。

接着，说明分组部24。由连结光流计算部21生成、由旋转移动量、消失点推定部22除去因旋转移动量而产生的成分并且作为背景由背景除去部23除去之后剩余的连结光流是异常项和正确跟踪的移动体上的特征点的光流中的某一个。分组部24使用连结光流而在除去异常项的同时进行特征点及其连结光流的分组。

分组部24对剩余的特征点及其连结光流再次进行消失点的鲁棒推定。分组部24首先将使连结光流延长而得到的直线在允许误差的范围内经过该消失点的特征点及其连结光流分组为临时的组，从该临时的组中除去异常项，最终确定组。分组部24首先根据连结光流的直行近似度来判断并除去异常项，进而，根据由连结光流算出的TTC的类似程度来判断并除去异常项。以下，依次进行说明。

（根据直行近似度除去异常项）

在特征点被正确地跟踪的情况下，只要该点在三维空间内进行等速直线运动，其轨迹就为直线。通常，在以足够短的时间间隔观测移动体的位置的情况下，等速直线运动模型为良好的近似。因而，判断多个单光流是否直线地排列，这对除去异常项是有效的。

图8是表示容易产生异常项的图像例的图。如图8所示，在为图像中存在树木而包含大量相似形状的枝叶的图像的情况下、即为包含多个相似的图案的图像的情况下，当针对多个帧检测对应的特征点时，本来不对应的点FP_t1、FP_t2、FP_t3、FP_t4被检测为对应的特征点。这样的特征点和连结这些特征点的光流为异常项。此时，当作为异常项求出所检测出的特征点FP_t1、FP_t2、FP_t3、FP_t4的连结光流COF时，如图8所示，连结光流COF与各单光流之间的偏差较大。

为了判断并除去这样的异常项，分组部24提取出各单光流的与连结光流正交的分量，由此对直行近似度的程度进行定量化，将该值与阈值进行比较，由此判断异常项。具体地说，分组部24按照每个特征点，根据以下要领来判断构成连结光流的各单光流是否为直线的光流。

在此，将构成n连结光流的单光流按时间序列标记为（V_x（i），V_y（i））、i=1、2、…、n，将n连结光流标记为（V_x（1：n），V_y（1：n））。首先，分组部24算出与连结光流正交的单位矢量。具体地说，提供（V_y（1：n），-V_x（1：n））/sqrt（V_x（1：n）²+V_y（1：n）²）作为该单位矢量。

接着，算出构成n连结光流的各单光流和该单位矢量的内积的绝对值，取得n个值的和，将该值作为直线近似度的指标。分组部24将该直线近似度的指标与预先确定的阈值进行比较，将连结光流的直线近似度的指标大于阈值的特征点及其连结光流从临时的组中排除。

（根据TTC的类似度除去异常项）

分组部24根据各特征点的连结光流，算出碰撞时间（TTC：Time ToCollision）。TTC是指在三维上的点接近摄像机时到该点到达图像平面为止的时间。此外，在碰撞时间的计算中，图像平面为无限扩展的平面。另外，点远离摄像机时的TTC取负值。

在此，当将表示连结光流的二维矢量设为u、将其x分量和y分量分别设为u_x、u_y时，满足u²=u_x ²+u_y ²，通过三维坐标X、Z以及速度ΔX、ΔZ来用以下式（6）来表示u_x。

$u_x=x\left(t\right)-x(t-\mathrm{\&Delta;t})=f\frac{X}{Z}-f\frac{X-\mathrm{\&Delta;X}}{Z-\mathrm{\&Delta;Z}}=f\frac{\mathrm{\&Delta;X}}{Z}-f\frac{\mathrm{X\&Delta;Z}}{Z^2}+O\left(\frac{\mathrm{\&Delta;X\&Delta;Z}}{Z^2}\right)---\left(6\right)$

在此，f是摄像机10的焦点距离。当认为速度的平方项为可以忽略的程度时，得到以下式（7）。

$u_x\&ap;\frac{1}{\mathrm{\&Delta;T}}(x-x_{\&infin;})---\left(7\right)$

在此，消失点的x坐标x_∞是在使时间无限回溯（在点接近的情况下）时收敛的位置，因此表示为如以下式（8）。

$x_{\&infin;}=\underset{\mathrm{\&Delta;t}\&RightArrow;\&infin;}{\lim }f\frac{X-\mathrm{\&Delta;t\&Delta;X}}{Z-\mathrm{\&Delta;t\&Delta;Z}}=f\frac{\mathrm{\&Delta;X}}{\mathrm{\&Delta;Z}}---\left(8\right)$

在此，当将TTC标记为ΔT时，通过Z/（-ΔZ）求出ΔT（在特征点接近的情况下，ΔZ<0）。对于光流的y分量u_y也能够同样地进行导出，因此得到以下式（9）。

$u_y\&ap;\frac{1}{\mathrm{\&Delta;T}}(y-y_{\&infin;})---\left(9\right)$

当将式（7）和式（9）联立求解时，得到以下式（10）。

$\mathrm{\&Delta;T}=\frac{u\&CenterDot;(p-p_{\&infin;})}{u^2}---\left(10\right)$

在此，p是特征点的图像坐标，p_∞是点的轨迹的消失点的图像坐标，“·”是内积算子。

分组部24从各特征点的n连结光流（V_x（1：n），V_y（1：n））使用式（10）来算出碰撞时间ΔT_n。分组部24还通过与ΔT_n同样的方法来算出同一特征点的ΔT_n-1、ΔT_n-2、……。在特征点被正确地跟踪的情况下，只要该点在三维空间内进行等速直线运动，ΔT_n、ΔT_n-1、……就相互相等。如上所述，在以足够短的时间间隔观测移动体的情况下，等速直线运动模型为良好的近似，因此可以说ΔT_n、ΔT_n-1、……应该相互类似。当ΔT_n、ΔT_n-1、……丧失了类似，这是点被错误跟踪的结果，可以将其判断为异常项。

分组部24针对构成n连结光流的特征点群的各个群，求出碰撞时间ΔT_n、ΔT_n-1、……的类似度，将该类似度与预先确定的阈值进行比较，将小于阈值的特征点及其连结光流从临时的组中排除。具体地说，分组部24将TTC的偏差定量化为D_j=|ΔT_n-j-ΔT_n|（j=1、……、n-1），在只要有一个满足D_j>D_th的j的情况下，就将该特征点及其连结光流从组中排除。在此，D_th是预先确定的阈值。

分组部24通过基于上述直行近似度的方法以及基于TTC类似度的方法来除去异常项而进行连结光流的分组。分类到一个组的多个连结光流的特征点是一个移动体的特征点。分组部24这样进行特征点的分组，由此检测移动体。此外，分组部24也可以通过基于上述直行近似度的方法以及基于TTC类似度的方法中的任一方法来除去异常项。

接着，说明相对进入角度推定部30。相对进入角度推定部30对由移动体检测部20检测出的移动体推定该移动体相对于车辆的相对进入角度。图9A和图9B是说明相对进入角度的定义的图。图9A示出θ<0的情况，图9B示出θ>0的情况。如图9A和图9B所示，当三维上的点从P₀移动到P₁时，将通过以下式（11）提供的角度定义为相对进入角度。

$\mathrm{\&theta;}=\arctan \left(\frac{|P_0\left(X\right)-P_1\left(X\right)|}{P_0\left(Z\right)-P_1\left(Z\right)}\right)---\left(11\right)$

在具有在允许误差的范围内共有同一消失点的点群时，能够推定该点群的相对进入角度。

图10是表示相对进入角度与消失点之间的关系的图。当存在以同一速度进行平移移动的移动体的三维上的多个点Pa、Pb时，这些点的透视投影后的轨迹具有消失点。在此，当考虑从光学中心向消失点VP的矢量V=（fΔX/ΔZ，fΔY/ΔZ，f）时，该矢量V是点Pa、Pb的速度矢量va=vb=（ΔX，ΔY，ΔZ）的常数倍（f/ΔZ倍）。因此，当在从光学中心沿Z方向离开了焦点距离f的位置设定与Z方向垂直的图像平面时，从光学中心向图像上的消失点VP的矢量V与以同一速度进行平移移动的移动体的三维上的多个点Pa、Pb的速度矢量va、vb平行。由此，相对进入角度如以下式（12）所示。

$\mathrm{\&theta;}=\arctan \left(\frac{|P_0\left(X\right)-P_1\left(X\right)|}{P_0\left(Z\right)-P_1\left(Z\right)}\right)=\arctan \left(\frac{\left|\mathrm{\&Delta;X}\right|}{-\mathrm{\&Delta;Z}}\right)=s*\arctan \left(\frac{\left|x_{\&infin;}\right|}{f}\right)---\left(12\right)$

在此，x_∞=fΔX/ΔZ，在二维上的点远离消失点（ΔZ<0）时，s设定为+1，在二维上的点接近消失点（ΔZ>0）时，s设定为-1。相对进入角度推定部30通过式（12）算出由移动体检测部20检测出的移动体相对于车辆的相对进入角度的推定值。

接着，说明碰撞危险度计算部40。碰撞危险度计算部40根据相对进入角度、TTC和/或距离推定值来算出移动体与本车辆碰撞的危险度。碰撞危险度计算部40具备距离推定部41和危险度计算部42。距离推定部41推定从本车辆到移动体为止的Z方向的距离（以下简单称为“距离”）。危险度计算部42根据由距离推定部41推定出的距离，算出移动体与本车辆碰撞的危险度。

通过距离推定部41来推定距离的方法包括以下说明的多个方法。距离推定部41可以通过以下任一推定方法来推定距离，也可以通过多个推定方法来分别推定距离。推定出的距离被用于危险度计算部42中的危险度的计算，因此，距离推定部41对危险度计算部42中的危险度的计算方法所需的距离进行推定。以下，分别进行说明。

（距离推定方法的第一例：算出距离上限的方法）

在第一例中，距离推定部41推定到移动体为止的距离的上限。图11是说明距离推定方法的第一例中的地面点的图。另外，图12是对距离推定方法的第一例中的距离的上限值的计算进行说明的图。如图11所示，距离推定部41从分组后的特征点群中选择y坐标的值最大的特征点（以下称为“最下特征点”），算出连结最下特征点和光学中心的直线与地面G的交点（以下称为“地面点”）GP的坐标。

如图11所示，对于作为移动体上的点而检测出的特征点群，只要其相比于地面位于更靠上的位置，则最下特征点所指示的三维上的点的Z坐标就小于地面点GP的Z坐标。当假设分组后的特征点群的特征点彼此之间的距离比距摄像机10的距离足够小时，地面点GP的Z坐标可以被视为特征点群的Z坐标的上限值。如图12所示，地面点GP的Z坐标、即距离的上限值D1通过D1=Hc*f/y_max来求出。在此，Hc是摄像机10距地面的高度，y_max是最下特征点的y坐标，f是焦点距离、即从摄像机的光学中心到图像平面IP为止的距离。此外，该方法仅能够在y_max为正时应用。距离推定部41算出Hc*f/y_max来作为距离的上限值D1。

（距离推定方法的第二例：直接推定距离的方法）

在第二例中，距离推定部41确定代表移动体的一个代表点，利用本车辆的平移移动速度和代表点的碰撞时间TTC来直接推定距离。距离推定部41选择作为移动体而分组的多个特征点中的某个特征点来作为代表点。被选择为代表点的特征点的TTC由移动体检测部20求出，所以利用该TTC。当将TTC设为ΔT时，则ΔT=Z/（-ΔZ）。当假设为移动体与本车辆的行进方向正交地平移移动时，ΔZ=-V_c。在此，V_c是本车辆的平移移动速度，距离推定部41通过未图示的结构来获取该V_c。距离推定部41通过Z=ΔTV_c来推定Z、即从本车辆到移动体为止的距离。

（距离推定方法的第三例：确定距离的概率分布的方法）

在第三例中，距离推定部41确定代表移动体的一个代表点，利用代表点的碰撞时间TTC来确定距离的概率分布。距离推定部41选择作为移动体而分组的多个特征点中的某个特征点来作为代表点。被选择为代表点的特征点的TTC由移动体检测部20求出，因此利用该TTC。在第三例中，距离推定部41假定移动体的Z方向的速度的概率分布。具有与背景点的相对进入角度不同的相对进入角度而移动的物体相对于本车辆的平移移动方向为非零的角度。并且，根据经验来看，将这些移动体的Z方向的速度的概率分布设为平均为0的正态分布是妥当的。

距离推定部41预先存储移动体的代表点的Z方向的速度ΔZ的平均-V，其标准偏差σ也例如作为3km/h而预先存储固定值。移动体的代表点的Z方向的速度ΔZ的概率分布符合平均-V、标准偏差σ的正态分布。当将代表点的TTC标记为ΔT时，代表点的距离为Z=ΔT（-ΔZ），因而，代表点的距离Z的概率分布符合平均ΔT（-V）、标准偏差ΔTσ的正态分布。距离推定部41将代表点的距离Z的概率分布确定为平均ΔT（-V）、标准偏差ΔTσ的正态分布。

危险度计算部42根据由相对进入角度推定部30推定出的相对进入角度θ来定义危险区域之后，算出移动体与本车辆碰撞的危险度。危险区域是XZ平面中的区域，该危险区域是指XZ平面上的点以某一定的相对进入角度与本车辆接近时该点与车辆碰撞的范围。其中，将本车辆占据的XZ平面的部分设为非危险区域。危险度计算部42通过与距离推定部41中的距离的推定方法相应的方法来算出危险度。以下，依次进行说明。

（危险度计算的第一例：基于距离的上限推定值算出危险度）

图13是用于说明根据距离上限的推定值算出危险度的图。危险区域DZ是沿从车辆C的行进方向（Z轴方向）倾斜了相对进入角度θ的方向以与该方向垂直的方向上的车辆C的宽度延伸而比所推定出的距离上限D1更靠近车辆C的区域。此外，危险度计算部42在移动体处于车辆C的右侧时，设定向右倾斜了相对进入角度θ的危险区域，在移动体处于车辆C的左侧时，设定向左倾斜了相对进入角度θ的危险区域。另外，将通过光学中心和图像上的某点的直线正射影到XZ平面而得到的部分称为XZ射线。换言之，XZ射线是倾斜为X/Z=x/f的通过原点的直线。在图13中，示出XZ射线（1）和XZ射线（2）。

危险度计算部42确定代表移动体的一个代表点，使用该代表点的XZ射线和危险区域DZ，算出代表点与车辆碰撞的危险度。具体地说，危险度计算部42算出代表点的XZ射线的从原点到上限值D1为止的区间的线段中的、进入到危险区域DZ的线段的比例，将其值作为危险度。在图13的例子中，XZ射线（1）的危险度为L1/（L1+L2），XZ射线（2）全部包含在危险区域内，因此其危险度为100%（最大）。

根据图13可知，在本例中，在XZ平面中，相对进入角度θ的方向与代表点的位置矢量的方向的偏差越小（一致度越高），则危险度越高。换言之，这意味着在图像内消失点与代表点越接近则危险度越高。

此外，危险度计算部42也可以对该比例进行四舍五入等而使之成为离散值，作为分为多级的等级来算出危险度。在该情况下，比例越高则危险的等级越高。

（危险度计算的第二例：根据距离的推定值算出危险度）

图14是用于说明根据距离的推定值算出危险度的图。危险度计算部42与上述计算例同样地，沿从车辆C的行进方向（Z轴方向）倾斜了相对进入角度θ的方向设定以与该方向垂直的方向上的车辆C的宽度延伸的危险区域DZ。此外，在本例中，危险度计算部42也在移动体处于车辆C的右侧时，设定向右倾斜了相对进入角度θ的危险区域，在移动体处于车辆C的左侧时，设定向左倾斜了相对进入角度θ的危险区域。但是，在本例中，不设定危险区域的上限。在本例中，推定出代表点的距离D2，因此代表点的XZ射线与距离的推定值D2的交点即为代表点的（X，Z）坐标。因此，能够将该代表点的（X，Z）坐标是否包含在危险区域DZ内作为危险度。即，在代表点的（X，Z）坐标包含在危险区域DZ内时判断为危险，在代表点的（X，Z）坐标不包含在危险区域DZ内时，判断为不危险。

在图14中，XZ射线（1）与距离的推定值D2的交点处于危险区域DZ外，因此判断为不危险。XZ射线（2）与距离的推定值D2的交点处于危险区域DZ内，因此判断为危险。

图15是用于说明本例的变形例的图。在本变形例中，如图15所示，分为多个等级而阶段性地设定危险区域DZ。在该变形例中，将更多地包含车辆C的前方部分（包括前保险杆）的区域设定为危险等级高的危险区域DZ1，在其外侧设定危险等级中等的危险区域DZ2，在危险区域周围还设定危险等级较低的危险区域DZ3。并且，危险度计算部42与上述同样地，求出与包含XZ射线与距离的推定值D2的交点的危险区域相应的危险等级。此外，这样的危险区域的等级分法也可以在第一例以及后述的第三例和第四例中进行。

在本例中，也是以在XZ平面中相对进入角度θ的方向与代表点的位置矢量的方向的偏差越小（一致度越高）则危险度越高、换言之在图像内消失点与代表点越近则危险度越高的方式算出危险度。

（危险度计算的第三例：根据距离的概率分布算出危险度）

图16是用于说明根据距离的概率分布算出危险度的图。危险度计算部42算出代表点的XZ射线上正好处于危险区域DZ与安全区域SZ的边界的边界点BP（X_BP，Z_BP）。危险度计算部42以该境界点BP的Z坐标（Z_BP）为边界，将由距离推定部41推定出的距离的概率分布一分为二。于是，相对于概率分布整体的面积的、危险区域DZ侧的概率分布的概率密度函数的积分值S1表示代表点处于危险区域的概率，相对于概率分布整体的面积的、安全区域SZ侧的概率分布概率密度函数的积分值S2表示代表点处于安全区域的概率。

危险度计算部42将代表点处于危险区域DZ侧的概率作为该代表点的危险度。此外，在由距离推定部41推定出的距离分布为正态分布的情况下，可以对其积分利用误差函数。另外，危险度计算部42可以如上所述那样将概率直接作为危险度，也可以作为离散化的等级来求出危险度。

在本例中，也以在XZ平面中相对进入角度θ的方向与代表点的位置矢量的方向的偏差越小（一致度越高）则危险度越高、换言之在图像内消失点与代表点越近则危险度越高的方式算出危险度。

（危险度计算的第四例：根据推定出的距离上限和距离分布算出危险度）

图17是用于说明根据推定出的距离上限和距离分布算出危险度的图。在第四例中，在距离推定部41中，算出距离上限，确定距离的概率分布。危险度计算部42根据由距离推定部41求出的距离上限的推定值D1来将由距离推定部41确定的距离的概率分布切断为单一切断正态分布。危险度计算部42使用距离上限D1以下的分布，与第三例同样地，算出代表点的XZ射线上处于危险区域DZ与安全区域SZ的边界的境界点BP（X_BP，Z_BP），以该境界点BP的Z坐标（Z_BP）为边界，将单一切断正态分布一分为二。

代表点的XZ射线的到距离的上限值D1为止的距离范围内的概率密度函数的积分值即为单一切断正态分布的积分值、为S1+S2’，该值通常不会为100%。代表点的XZ射线的处于危险区域的距离范围内的概率密度函数的积分值为图17中的S1。在本例中，将S1相对于S1+S2’的比例S1/（S1+S2’）作为该代表点的危险度。在本例中，危险度计算部42可以将S1/（S1+S2’）直接作为危险度，也可以作为离散化的等级来求出危险度。

在本例中，也以在XZ平面中相对进入角度θ的方向与代表点的位置矢量的方向的偏差越小（一致度越高）则危险度越高、换言之在图像内消失点与代表点越近则危险度越高的方式算出危险度。

如上所述，在计算危险度的第一例至第四例的任一例中，都以在XZ平面中相对进入角度θ的方向与代表点的位置矢量的方向的偏差越小（一致度越高）则危险度越高、换言之在图像内消失点与代表点越近则危险度越高的方式算出危险度。这样的例子还存在其它的例子。碰撞危险度计算部40例如也可以算出相对进入角度θ的方向与代表点的位置矢量的方向之间的角度差、即图像内的消失点与代表点之间的距离来作为危险度。

（危险度计算的变形例）

可以将该变形例附加到上述第一计算例至第四计算例。在该变形例中，对上述第一计算例至第四计算例中算出的危险度还考虑TTC来进行判断。可以说TTC小的物体的危险度当然高于TTC大的物体的危险度。因而，在该变形例中，根据TTC的大小对在上述第一计算例至第四计算例中算出的危险度加以校正（修正），以使得TTC越小则危险度越大。

具体地说，在作为连续值而得到危险度的情况下，将TTC的倒数作为TTC等级，例如对在上述第一计算例至第四计算例中算出的危险度乘以TTC等级，由此能够校正危险度。另外，在作为离散的等级而得到危险度的情况下，例如如图18所示，将TTC的值分为三个等级，能够通过危险度的等级与TTC等级的组合来校正危险度。

此外，如上所述，距离推定部41以及/或者危险度计算部42从作为移动体而分组的多个特征点中将1点作为代表点来进行距离的推定以及/或者危险度的计算，但是距离推定部41以及/或者危险度计算部42也可以对一个移动体确定多个代表点，对各个代表点进行距离的推定以及/或者危险度的计算，求出对多个代表点算出的多个危险度的平均而将其作为该移动体与本车辆碰撞的危险度。另外，代表点也可以不是作为该移动体而分组的多个特征点中的任一个，代表点可以是这些多个特征点的中点、重心点等根据多个特征点确定的点。

报知部50按照由碰撞危险度计算部40算出的碰撞的危险度来对驾驶员进行报知。移动体识别系统100具备平视显示器（Head-Up Display，抬头显示器）等显示器。在显示器实时显示由摄像机10拍摄到的图像。在该图像重叠包围由移动体检测部20分组的特征点群的矩形。此时，报知部50根据危险度使矩形的颜色和/或粗细变化。另外，报知部50也可以通过声音将碰撞的危险报知给驾驶员。在该情况下，可以随着危险度变大而使声音变大或者增加频率等来唤起驾驶员的注意。

此外，除了报知部50以外或者代替报知部50，也可以设置自动制动系统。自动制动系统接收由危险度计算部40算出的危险度的信息，进行车辆的制动动作。通过该自动制动系统，能够在危险的状况下进行车辆的自动制动。另外，除了报知部50以外或者代替报知部50，也可以设置存储装置。存储装置将由危险度计算部40算出的危险度的信息与其位置信息和/或时间信息一起存储。能够通过参照该危险度的记录，掌握危险区域和/或危险时间段，或者掌握驾驶员的安全行驶状况。

如上所述，本发明实施方式的移动体识别系统100通过设置于车辆的摄像机来获取多个连续的单眼图像，根据消失点对图像中的特征点进行分组，由此从该图像中检测移动体，根据该图像来推定相对进入角度，因此，能够使用相对进入角度算出该移动体与车辆碰撞的危险度。该危险度是具有物理意义的指标，因此，通过进行与该危险度相应的报知，驾驶员能够直观地获知危险的状况，或者能够进行与危险的状况相应的控制。另外，本发明实施方式的移动体识别系统100以相对进入角度的方向与检测出的移动体的位置矢量的方向的偏差越小则危险度越高的方式算出危险度，因此能够适当地算出碰撞的危险度。

另外，为了算出碰撞的危险度，不使用立体摄像机、距离传感器而使用比较廉价的单眼摄像机，因此能够降低成本。此外，本发明实施方式的移动体识别系统100除了上述结构以外还可以并用距离传感器。在该情况下，移动体识别系统100将由距离传感器得到的移动体的轨迹信息与通过上述结构得到的相对进入角度、碰撞时间、到移动体为止的推定距离等信息进行比较，由此能够强化检测的可靠度。另外，在并用距离传感器的情况下，还可以使用由距离传感器得到的到移动体为止的距离来提高移动体的碰撞危险度的计算精度。

另外，在移动体的检测中，生成连结光流而除去异常项，因此能够提高移动体的检测精度。

产业上的可利用性

本发明具有能够得到移动体与车辆碰撞的危险度来作为对车辆驾驶员的安全驾驶有用的信息的效果，作为使用单视点图像来识别移动体的移动体识别系统等是有用的。

以上详细说明了作为非限制性的例子的实施例，但上述说明在各方面均是例示性的而并不是限制性的。应当认为，其可以在不背离本发明的主旨的情况下进行各种其它的修改和变动。

Claims (20)

1.一种移动体识别系统，其特征在于，具备：

摄像机（10），其设置于车辆，拍摄多个连续的单视点图像；

移动体检测部（20），其使用由上述摄像机（10）拍摄到的多个图像，检测图像中的移动体；

相对进入角度推定部（30），其推定由上述移动体检测部（20）检测出的移动体相对于上述摄像机（10）的相对进入角度；以及

碰撞危险度计算部（40），其根据上述相对进入角度与从上述摄像机（10）朝向上述移动体的移动体方向之间的关系，算出上述移动体与上述车辆碰撞的危险度。

2.根据权利要求1所述的移动体识别系统，其特征在于，

上述相对进入角度与上述移动体方向的偏差越小，上述碰撞危险度计算部（40）越使危险度提高。

3.根据权利要求1或者2所述的移动体识别系统，其特征在于，

上述碰撞危险度计算部（40）根据上述相对进入角度设定危险区域，根据上述移动体存在于危险区域的概率算出上述危险度。

4.根据权利要求3所述的移动体识别系统，其特征在于，

上述危险区域被设定于以上述摄像机（10）为原点、以上述摄像机（10）的光轴方向为Z方向、以铅直方向为Y方向、以水平方向为X方向的XZ平面，上述危险区域是从上述车辆以上述车辆的宽度沿上述相对进入角度的方向延伸的区域。

5.根据权利要求4所述的移动体识别系统，其特征在于，

上述碰撞危险度计算部（40）具备：距离推定部（41），其推定从上述摄像机（10）到上述移动体为止的上述Z方向的距离的上限值；和危险度计算部（42），其算出XZ射线的从上述摄像机（10）到上述上限值的线段中的、进入上述危险区域的线段的比例来作为上述危险度，上述XZ射线是将经过上述摄像机（10）和与上述摄像机（10）相距焦点距离的上述图像上的上述移动体的直线正射影到上述XZ平面而得到的线段。

6.根据权利要求5所述的移动体识别系统，其特征在于，

上述移动体检测部（20）具备：光流计算部（21），其从上述图像提取多个特征点，算出所提取的特征点的光流；和分组部（24），其将上述多个特征点中的、延长的上述光流会聚于一个消失点的多个特征点作为上述移动体上的多个特征点来分组，

上述距离推定部（41）从分组后的上述移动体上的多个特征点中选出高度最低的最下特征点，将连结上述最下特征点和上述光学中心的直线与上述车辆行驶的地面的交点作为地面点，将上述地面点的Z坐标推定为从上述摄像机（10）到上述移动体为止的上述Z方向的距离的上限值。

7.根据权利要求4所述的移动体识别系统，其特征在于，

上述碰撞危险度计算部（40）具备：距离推定部（41），其推定从上述摄像机（10）到上述移动体为止的上述Z方向的距离；和危险度计算部（42），其在XZ射线上的与上述摄像机（10）相距上述推定出的距离的点处于上述危险区域的情况下，算出比上述点不处于上述危险区域的情况高的危险度，上述XZ射线是将经过上述摄像机（10）和与上述摄像机（10）相距焦点距离的上述图像上的上述移动体的直线正射影到上述XZ平面而得到的线段。

8.根据权利要求7所述的移动体识别系统，其特征在于，

上述移动体检测部（20）具备：光流计算部（21），其从上述图像提取多个特征点，算出所提取的特征点的光流；和分组部（24），其将上述多个特征点中的、延长的上述光流会聚于一个消失点的多个特征点作为上述移动体上的多个特征点来分组，

上述距离推定部（41）根据上述消失点求出到上述移动体与上述车辆碰撞为止的碰撞时间，根据上述碰撞时间和上述车辆的速度算出从上述摄像机（10）到上述移动体为止的上述Z方向的距离。

9.根据权利要求4所述的移动体识别系统，其特征在于，

上述碰撞危险度计算部（40）具备：距离推定部（41），其确定从上述摄像机（10）到上述移动体为止的上述Z方向的距离的概率分布；和危险度计算部（42），其根据XZ射线处于上述危险区域的距离范围内的上述概率分布的概率密度函数的积分值来算出上述危险度，上述XZ射线是将经过上述摄像机（10）和与上述摄像机（10）相距焦点距离的上述图像上的上述移动体的直线正射影到上述XZ平面而得到的线段。

10.根据权利要求9所述的移动体识别系统，其特征在于，

上述移动体检测部（20）具备：光流计算部（21），其从上述图像提取多个特征点，算出所提取的特征点的光流；和分组部（24），其将上述多个特征点中的、延长的上述光流会聚于一个消失点的多个特征点作为上述移动体上的多个特征点来分组，

上述距离推定部（41）根据上述消失点求出到上述移动体与上述车辆碰撞为止的碰撞时间，根据上述碰撞时间，按照预定的正态分布来确定上述距离的概率分布。

11.根据权利要求4所述的移动体识别系统，其特征在于，

上述碰撞危险度计算部（40）具备：距离推定部（41），其推定从上述摄像机（10）到上述移动体为止的上述Z方向的距离的上限值，并且，确定从上述摄像机（10）到上述移动体为止的上述Z方向的距离的概率分布；和危险度计算部（42），其根据XZ射线处于上述危险区域的距离范围内的上述概率分布的概率密度函数的积分值相对于到上述上限值为止的距离范围内的上述概率分布的概率密度函数的积分值的比例来算出危险度，上述XZ射线是将经过上述摄像机（10）和与上述摄像机（10）相距焦点距离的上述图像上的上述移动体的直线正射影到上述XZ平面而得到的线段。

12.根据权利要求11所述的移动体识别系统，其特征在于，

上述移动体检测部（20）具备：光流计算部（21），其从上述图像提取多个特征点，算出所取出的特征点的光流；和分组部（24），其将上述多个特征点中的、延长的上述光流会聚于一个消失点的多个特征点作为上述移动体上的多个特征点来分组，

上述距离推定部（41）从分组后的上述移动体上的多个特征点中选出高度最低的最下特征点，将连结上述最下特征点和上述光学中心的直线与上述车辆行驶的地面的交点作为地面点，将上述地面点的Z坐标推定为从上述摄像机（10）到上述移动体为止的上述Z方向的距离的上限值，根据上述消失点来求出到上述移动体与上述车辆碰撞为止的碰撞时间，根据上述碰撞时间，按照预定的正态分布来确定上述距离的概率分布。

13.根据权利要求3～12中的任一项所述的移动体识别系统，其特征在于，

上述碰撞危险度计算部（40）分为多个等级而阶段性地设定上述危险区域。

14.一种移动体识别系统，其特征在于，具备：

摄像机（10），其设置于车辆，拍摄多个连续的单视点图像；

移动体检测部（20），其使用由上述摄像机（10）拍摄到的多个图像，从上述图像提取多个特征点，生成所提取的特征点的光流，对上述多个特征点中的、延长的上述光流会聚于一个消失点的多个特征点进行分组，由此将分组后的上述多个特征点检测为移动体；以及

碰撞危险度计算部（40），其算出上述移动体与上述车辆碰撞的危险度，

上述碰撞危险度计算部（40）以与上述图像中的上述消失点之间的距离近的上述移动体的上述危险度比与上述图像中的上述消失点之间的距离远的上述移动体的上述危险度高的方式算出上述危险度。

15.根据权利要求6、8、10、12或者14所述的移动体识别系统，其特征在于，

上述碰撞危险度计算部（40）将上述移动体上的多个上述特征点中的某一特征点、或者由上述移动体上的多个特征点求出的点作为代表点，算出上述代表点与上述车辆碰撞的危险度。

16.根据权利要求1～15中的任一项所述的移动体识别系统，其特征在于，

还具备报知部（50），该报知部（50）根据由上述碰撞危险度计算部（40）算出的危险度来对上述车辆驾驶员报知危险。

17.根据权利要求1～16中的任一项所述的移动体识别系统，其特征在于，

上述碰撞危险度计算部（40）根据到上述移动体与上述车辆碰撞为止的碰撞时间来校正上述危险度。

18.一种移动体识别系统，使计算机作为移动体检测部（20）和碰撞危险度计算部（40）发挥功能，

上述移动体检测部（20）设置于车辆，使用由拍摄多个连续的单视点图像的摄像机（10）拍摄到的多个图像，从上述图像提取多个特征点，生成所提取的特征点的光流，对上述多个特征点中的、延长的上述光流会聚于一个消失点的多个特征点进行分组，由此将分组后的上述多个特征点检测为移动体，

上述碰撞危险度计算部（40）算出上述移动体与上述车辆碰撞的危险度，以与上述图像中的上述消失点之间的距离近的上述移动体的上述危险度比与上述图像中的上述消失点之间的距离远的上述移动体的上述危险度高的方式算出上述危险度。

19.一种移动体识别方法，其特征在于，包括：

摄像步骤，通过设置于车辆的摄像机（10），拍摄多个连续的单视点图像；

移动体检测步骤，使用由上述摄像机（10）拍摄到的多个图像，检测图像中的移动体；

相对进入角度推定步骤，推定通过上述移动体检测步骤检测出的移动体对于上述摄像机（10）的相对进入角度；以及

碰撞危险度算出步骤，根据上述相对进入角度与从上述摄像机（10）朝向上述移动体的移动体方向之间的关系，算出上述移动体与上述车辆碰撞的危险度。

20.一种移动体识别方法，其特征在于，包括：

摄像步骤，通过设置于车辆的摄像机（10），拍摄多个连续的单视点图像；

移动体检测步骤，使用由上述摄像机（10）拍摄到的多个图像，从上述图像提取多个特征点，生成所提取的特征点的光流，对上述多个特征点中的、延长的上述光流会聚于一个消失点的多个特征点进行分组，由此将分组后的上述多个特征点检测为移动体；以及

碰撞危险度算出步骤，算出上述移动体与上述车辆碰撞的危险度，

在上述碰撞危险度算出步骤中，以与上述图像中的上述消失点之间的距离近的上述移动体的上述危险度比与上述图像中的上述消失点之间的距离远的上述移动体的上述危险度高的方式算出上述危险度。

Images