CN104915628B - 基于车载相机的场景建模进行运动行人预测的方法和装置 - Google Patents

Abstract

本申请公开了一种利用车载相机信息的运动行人预测方法,包括：获取与行人运动意图相关的行人周围的交通场景的基本场景元素；基于基本场景元素以及行人的随着时间变化的三维3D距离信息，分析行人行走时的状态变化与每个周围基本场景元素之间的关系以获得基本场景元素与行人状态变化之间的关系；利用获得的关系，建立行人与周围所有基本场景元素之间的上下文相关模型；以及基于实时获得的与当前行人相关的当前场景元素，利用建立的上下文相关模型，对行人下一步的运动状态进行预测，以生成行人下一步的运动预测结果。

Description

基于车载相机的场景建模进行运动行人预测的方法和装置

技术领域

本发明涉及数字图像处理以及模式识别，更具体地说，涉及一种利用车载相机图像来快速预测行人运动状态的方法和装置。

背景技术

本申请提供了一种方法和装置，可以快速预测行人运动的下一步状态。该方法和装置可以被用到车载摄像机的多种应用中。

行人预测是驾驶员辅助驾驶系统和车辆自动导航系统中必不可少的重要功能。行人运动的准确快速预测对于车祸的减少和驾驶的安全，有着重要的作用。特别当雾天、雨天、或者当驾驶员被对面高光灯晃到眼睛时，自动地行人运动状态预测有助于及时保证行驶的安全。

在日本专利JP2011070384A中，公开了一种估计行人下一步的运动状态的方法。该方法通过定义一种能量函数来精确地估计行人下一步的运动状态。能量函数中的元素包括行人行走的速度、目的地位置、与其他行人之间的距离等。这篇专利利用了能量函数，并且将场景元素中的目的地位置作为了能量函数中的一项。并且，这篇专利是基于不动场景的俯视图，而未利用变化着的灰度/彩色图像和深度图像。

在日本专利JP2009019920A中，提供了一种让行人选择行走路线的方法。对于每条待选择的路线，路线上有行人可能会经过或者进去的地点，计算所有这些地点的危险性系数，得到这条待选路线的总的危险性系数。行人基于每条待选路线的危险性系数，来选择下一步的行走路线。这篇专利利用了场景元素信息来计算路线的危险性系数，为行人的下一步路线选择给出度量依据。未能利用场景元素信息来推断出行人的运动意图，从而预测出行人下一步的运动状态。

以上现有技术描述的方法并不能有效地提供一种快速预测行人下一步运动状态的方法。传统的运动行人预测方法一般只考虑行人内在的性质，如运动的历史信息等。车辆的运动常常是遵循一定运动规律的逐渐变化的运动，如速度的改变、方向的改变等，但是和车辆的运动比起来，行人的运动变化就更要随机得多，如突然停下、或者突然改变运动速度或者方向等。因此对于行人的预测就更加困难和更有挑战性。

发明内容

本发明的另外方面和优点部分将在后面的描述中阐述，还有部分可从描述中明显地看出，或者可以在本发明的实践中得到。

由于行人在城市交通环境下的行走，常常是有目的性有意识的运动，因此在本申请中，我们利用上下文关联的场景元素来建立模型，推断行人潜在的运动意图，从而预测行人下一步的运动状态(速度、方向等)。对于车载相机得到的图像，首先利用物体检测/识别技术将城市交通场景下的与行人有关的场景元素识别出来。然后基于时间的变化和3D距离信息，挖掘这些场景元素与行人之间的关联，建立上下文相关的场景模型。最后利用此模型来预测行人下一步的运动状态。

本申请公开了一种利用车载相机信息的运动行人预测方法,包括：获取与行人运动意图相关的行人周围的交通场景的基本场景元素；基于基本场景元素以及行人的随着时间变化的三维3D距离信息，分析行人行走时的状态变化与每个周围基本场景元素之间的关系以获得基本场景元素与行人状态变化之间的关系；利用获得的关系，建立行人与周围所有基本场景元素之间的上下文相关模型；以及基于实时获得的与当前行人相关的当前场景元素，利用建立的上下文相关模型，对行人下一步的运动状态进行预测，以生成行人下一步的运动预测结果。

本申请还公开了一种利用车载相机信息的运动行人预测装置,包括：场景元素生成模块，用于获取与行人运动意图相关的行人周围的交通场景的基本场景元素；场景元素分析模块，用于基于基本场景元素以及行人的随着时间变化的三维3D距离信息，分析行人行走时的状态变化与每个周围基本场景元素之间的关系以获得基本场景元素与行人状态变化之间的关系；场景元素建立模块，用于利用获得的关系，建立行人与周围所有基本场景元素之间的上下文相关模型；以及行人预测模块，用于基于实时获得的与当前行人相关的当前场景元素，利用建立的上下文相关模型，对行人下一步的运动状态进行预测，以生成行人下一步的运动预测结果。

附图说明

通过结合附图对本发明的优选实施例进行详细描述，本发明的上述和其他目的、特性和优点将会变得更加清楚，其中相同的标号指定相同结构的单元，并且在其中：

图1示出了根据本发明实施例的车辆控制系统的示意图。

图2示出了根据本发明实施例的基于车载相机图像对场景元素进行建模来预测行人下一步运动状态的图像处理设备的方框图。

图3示出了根据本发明实施例的利用车载相机信息的运动行人预测方法的功能框图。

图4示出了根据本发明实施例利用车载相机信息的运动行人预测方法的的数据流。

图5示出了根据本发明实施例利用车载相机信息的运动行人预测装置的方框图。

图6示出了根据本发明实施例的场景元素生成模块51的方框图。

图7示出了根据本发明实施例的场景元素分析模块52的方框图。

图8示出了根据本发明实施例的场景模型建立模块53的方框图。

图9示出了场景元素生成效果的示意图，其中图9A示出了深度图像；图9B示出了灰度图像；图9C示出了得到的物体。

图10示出了场景元素分析模块工作的示意图，其中图10A示出了场景俯视草图；图10B示出了用DBN建立起来的行人与场景元素之间的关联。

图11示出了距离加权函数的示意图。

图12示出了条件转换概率的示意图。

图13示出了上下文相关的场景模型的示意图。

图14示出了根据本发明实施例的利用车载相机信息的运动行人预测方法的流程图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

图1示出了根据本发明实施例的车辆控制系统的示意图。如图1所示，根据本发明的车辆控制系统利用本申请提出的基于车载相机图像上对场景元素进行建模来快速预测行人下一步的运动状态，实现车辆自动控制。

车辆控制系统安装在车辆100之上。该系统包括摄像头101、图像处理模块102以及车辆控制模块103。图1示出了一个双目摄像头，但本领域技术人员应该理解，根据实际需求摄像头可以为一个或多个。摄像头101例如可以安装在靠近车辆后视镜的位置，用于捕获车辆100前方的场景。所捕获的车辆前方场景的图像将作为图像处理模块102的输入。图像处理模块102分析输入的图像，对他们进行预处理，识别其中与行人相关的场景元素，利用建立的场景模型，对行人的下一步运动状态进行预测。车辆控制模块103接收由图像处理模块102输出的信号，根据得到的行人运动的预测结果，生成控制信号来控制车辆100的行驶方向和行驶速度。

图2示出了根据本发明实施例的基于车载相机图像对场景元素进行建模来预测行人下一步运动状态的图像处理设备的方框图。

图像处理设备包括摄像头101和图像处理模块102。摄像头101包括图像传感器201和摄像头数字信号处理器(digital signal processing,DSP)202。图像传感器201，用于捕获图像，将光信号转换为电子信号，将捕获的当前车辆100前方的图像转换为模拟图像信号，再将结果传入摄像头DSP 202。如果需要，摄像头101还可以进一步包括镜头、滤镜，等等。在本设备中，可以包含多个摄像头101，这些摄像头配准后可以同时捕获多幅图像。摄像头DSP 202将模拟图像信号转换为数字图像信号，并发送到图像处理模块102。

图像处理模块102包括图像输入接口203、深度图成像单元204、中央处理单元CPU205、内存206、以及程序207。图像输入接口203按规定的时间间隔取得图像。深度图成像模块204利用视觉或利用现有的或未来的其他原理，将输入的一对数字图像转换为深度图像。然后深度图像被写入内存206，由CPU 205运行程序207进行图像分析和处理。此处的图像处理包括多种操作，诸如物体识别、计算场景模型的元素等等。在ROM中的程序207执行一系列的操作来预测最终的行人运动。在此过程中，CPU 205负责图像处理模块102中各个单元的控制操作及运算操作，例如由接口获得数据、执行图像处理等。

图3示出了根据本发明实施例的利用车载相机信息的运动行人预测方法的功能框图。

如图3所示，在离线模式下，利用训练数据图像进行场景模型建立，以便在在线模式下，利用场景模型，基于实时捕获的图像进行行人状态变化预测。

对于训练集中连续的N帧图像(包括灰度/彩色图像、深度图像)，场景元素生成F1通过物体检测和物体识别的相关技术，得到这些图像中与行人相关的场景元素。然后，场景元素分析F2基于随着时间变化的3D距离信息，分析行人行走时的状态变化与周围场景元素之间的关系。当各个独立的场景元素与行人状态变化之间的关系得到了之后，场景模型建立F3建立各个场景元素与行人状态变化之间的上下文相关模型。

对于在线的连续M帧图像，在进行完场景元素生成F1之后，行人预测F4基于实时获得的与行人相关的当前场景元素，利用场景模型建立F3建立的上下文相关模型来预测行人下一步的运动状态。其中N和M为正整数。

图4示出了根据本发明实施例利用车载相机信息的运动行人预测方法的数据流。

对于训练集中连续的N帧图像S1,在经过物体检测和物体识别等相关技术的处理之后，获得了场景元素S3。然后基于随着时间变化的3D距离信息，分析它们各自与行人运动状态之间的关系。将所有这些关系与行人进行建模，就得到了场景模型S4，即上行为相关模型。对于在线的M帧连续图像S2，在得到相关的当前场景元素S3之后，利用场景模型S4，就可以得到行人下一步的运动预测结果S5。

图5示出了根据本发明实施例利用车载相机信息的运动行人预测装置的方框图。

如图5所示，该运动行人预测装置包括：场景元素生成模块51，用于获取与行人运动意图相关的行人周围的交通场景的基本场景元素；场景元素分析模块52，用于基于行人以及基本场景元素的随着时间变化的3D距离信息，分析行人行走时的状态变化与每个周围基本场景元素之间的关系；场景模型建立模块53，用于利用场景元素分析模块52获得的关系，建立行人与周围所有场景元素之间的上下文相关模型；以及行人预测模块54，基于实时获得的与当前行人相关的当前场景元素，利用场景模型建立模块53建立的上下文相关模型，对行人下一步的运动状态进行预测，以生成行人下一步的运动预测结果。

图6示出了根据本发明实施例的场景元素生成模块51的方框图。

场景元素生成模块51包括物体检测模块511和物体识别模块512。

当车辆在行驶的过程中，司机视野中会出现很多的场景和物体。这里，我们主要考虑城市交通场景，因此我们考虑的场景元素主要是城市交通场景下的物体。物体检测模块511对于车载相机得到的图像中的物体进行检测。物体检测模块511生成利用车载相机捕获的车辆前部视野中的连续图像的灰度/彩色图像以及3D深度图像，并对灰度/彩色图像以及3D深度图像中的物体进行检测。

图9示出了场景元素生成效果的示意图，其中图9A示出了深度图像；图9B示出了灰度图像；图9C示出了得到的物体。

图9是一个示例。在图9A和图9B中，检测出来的物体用椭圆圈了出来。这里可以使用各种物体检测的方法，如模板匹配技术、分割技术等等。

然后，物体识别模块512在物体检测模块511得到的结果的基础上，识别物体以获得与行人运动意图相关的行人周围的交通场景的基本场景元素。各种物体识别的方法也可以应用到这里，如特征提取、在数据库中直接匹配、训练和测试过程、或者聚类等等。当物体被识别出来后，不同类别的物体用不同线型的椭圆圈出，如图9A和9B所示。也可以得到每个物体分别属于哪一类。由于在输入中采用了深度图像，因此可以得到物体在三维场景中的真实位置。建立真实三维场景坐标系，将识别出的物体按照真实位置放入其中，得到的结果如图9C所示。这里，行人用一个正方形代表，识别出的物体标识出了它们的位置和名字。这里识别出了三类物体，分别是建筑物墙面、交通灯和斑马线。这些都被叫做场景元素，今后将被用来推断行人意图和预测行人下一步的运动状态。当行人朝着斑马线行走的时候，斑马线可以看做行人潜在的目的地，那么斑马线的位置和斑马线旁边的交通灯，就可能影响到行人运动状态的变化。

图7示出了根据本发明实施例的场景元素分析模块52的方框图。

如图7所示，场景元素分析模块52包括：结构关系建立模块521，用于利用动态贝叶斯网络来建立场景元素与行人状态变化之间的结构关系；条件转换概率生成模块522，用于基于基本场景元素以及行人的随着时间变化的3D距离信息以及场景元素状态，生成所述结构关系中场景元素与行人之间的条件转换概率函数；以及关系获得模块523，用于结合所述结构关系以及条件转换概率函数，获得基本场景元素与行人状态变化之间的关系。

下面将结合图10-图12详细描述根据本发明实施例的场景元素分析模块52。应当注意，该具体示例并非是对本发明的限制，而是为了使得本发明更加清楚易懂而给出的一种示例性描述。

场景元素分析模块52基于场景元素相对于行人随着时间变化的3D距离信息，分析行人行走时的状态变化与周围各个场景元素群之间的关联。

具体来讲，当行人在行走时，他的行走意图可以由周围的场景元素来间接推断，因为我们假设行人在城市交通场景中都是在有目的的行走，周围或者前方的场景元素群，反映了他们短期内可能的运动意图。一些场景元素独立地影响行人的运动状态，如周围建筑物墙面、白线或者路肩石等。一些场景元素组成场景元素群，作为一个整体来共同影响行人的运动状态，如斑马线和交通灯。这里采用连续帧的图像作为我们的输入，因此当分析场景元素与行人运动状态之间的关联时，时间因素也被考虑了进来。而且三维真实距离信息对于推断行人的下一步运动状态，也是很有用的。因此，同时考虑时间因素、场景元素状态和三维真实位置信息之后，我们可以采用很多方法来建立行人与场景元素之间的关联。

作为一个示例，这里我们采用动态贝叶斯网络(dynamic Bayesian network(DBN))来建立它们之间的关联。并且选择斑马线和交通灯来具体阐述它，如图10所示。但本领域技术人员应该理解，也可以采用现有的或未来的其他方法来建立行人与场景元素之间的关系。并且场景元素也不限于斑马线和交通灯。

图10示出了场景元素分析模块工作的示意图，其中图10A示出了场景俯视草图；图10B示出了用DBN建立起来的行人与场景元素之间的关联。

在图10A中，圆点代表的是交通灯的位置，名字叫做TLS；正方形代表的是行人的位置，名字叫做HS；圆点右边的竖条线代表的是斑马线，名字叫做ZCS。它们之间的基于DBN建立起来的相互之间的结构关联如图10B所示：ZCS可以独立地影响HS，TLS要和ZCS一起才能共同影响HS。这种结构关系的建立，一方面是依据交通法规的规定，另一方面是基于我们城市道路当中交通灯和斑马线位置分布的统计数据信息。在DBN领域里，也有其他很多的方法可以用来建立几个元素之间的关联，这里不再详细叙述，而把重点放在当得到这样的结构关系之后，如何建立或者得到元素之间的条件转换概率函数，也即行人与场景元素之间的关系。

在这个DBN问题中，ZCS元素包含2种位置可能状态，0度或者90度，因此，抽象出来写成公式就是zcs＝(0＝0degree,1＝90degree)。为了简化问题，TLS元素仅包含2种颜色的灯的状态，红灯或者绿灯，抽象出来写成公式就是tls＝(0＝red,1＝green)。HS元素考虑的是行人行走的状态，有2个因素，一个是行走的方向，一个是行走的速度。对于方向来说，如图10A所示，从0度到180度，将其离散化为5个方向，抽象出来写成公式为h1＝(0＝0degree,1,2,3,4＝180degree)。对于速度来说，为了简化将其划分为3个等级，停止、正常速度和快速行走，抽象出来写成公式为h2＝(0＝stop,1＝normal,2＝fast)。从ZCS到TLS的条件转换概率函数为P(TLS|ZCS,dis)。从TLS到HS的条件转换概率函数为P(HS|ZCS,TLS,dis,t)。从ZCS到HS的条件转换概率函数为P(HS|ZCS,dis,t)。

直观地，当行人朝着某一个场景元素行走的时候，此元素对行人的条件转换概率会增大，即距离加权系数大，因为此场景元素可能是行人行走的潜在目的地。当行人走过某一个场景元素之后，此元素对行人的条件转换概率会非常小，即距离加权系数小，因为既然走过去了，那么此场景元素是行人行走的潜在目的地的可能性就非常地小。因此，对于连续帧的条件转换概率函数，随着时间的变化，与距离之间的关系如下面公式(1)所示：

P(HS/ZCS,TLS,dis,t_i)∝P(HS/ZCS,TLS,dis,t_i-1)·f(dis)(1)

这里，f(dis)为距离加权函数，∝表示正比关系，dis表示的是场景元素与行人之间的有向距离，按照行人行走的方向为正，t为时间。

公式(1)表明当前时刻行人与相关场景元素的条件转换概率函数正比于前一时刻行人与相关场景元素的条件转换概率函数与距离加权函数的乘积。

f(dis)可以选择为跳跃函数，如下面这个公式(2)：

也可以选择为连续函数，如图11所示，图11示出了距离加权函数的示意图。应当理解，本发明还可以采用现有的或将来的距离加权函数来实现相同的功能。

除了上述随着时间变化的距离的影响，距离不同本身，也会对行人的状态变化产生影响。例如，当HS和TLS之间的距离很远时，TLS的元素状态，是红灯还是绿灯对行人运动状态的改变的影响是很小的；但当两者之间的距离很近时，TLS的灯的状态对行人运动状态的选择的影响就会变得很大。当距离很近时的部分条件转换概率如图12所示。

图12示出了条件转换概率的示意图。在图12中，当TLS的状态更接近0＝red时，无论ZCS的状态怎样，HS的状态h2都更接近于0＝stop，如图中第三四行中的横线格所示。当TLS的状态更接近1＝green时，HS的状态h2更接近于1＝normal，如图12中第五六行中的横线格所示。这里的条件转换概率可以通过大量的统计数据得到，也同时满足交通规则。图12仅仅示出了部分场景元素的条件转换概率，针对不同场景还可以得到其他条件转换概率。

以上结合图8-图12对场景元素生成模块51和场景元素分析模块52进行了详细描述，通过图8-图12中的示例，能够获得与行人运动意图相关的场景元素，并基于随时间变化的3D距离信息，分析行人行走时的状态变化与周围场景元素之间的关系，以得到场景元素与行人状态变化之间的关系。但是，如前所述，图8-图12的方法仅仅是一个示例，本领域技术人员可以对其进行各种变型、优化或采用其他适当的方法。比如，可以采用除了动态贝叶斯网络之外的很多其他方法来建立行人与场景元素之间的关联。距离函数可以采用跳跃距离函数或者连续距离函数。

图8示出了根据本发明实施例的场景模型建立模块53的方框图。场景模型建立模块53包括场景元素聚类模块531以及关联建立模块532。

场景元素聚类模块531根据场景元素彼此之间的关联性以及与行人之间的关系，对场景元素进行聚类。聚类的依据是它们对行人运动状态的改变之间是否具有关联，是否是独立的。作为一个示例，按照位置信息，可以将场景元素分为如下几类：

1)路面上的元素：白线、路肩石、栅栏等。

2)远处的场景元素：建筑物、墙、树等。

3)近处的场景元素：

(1)活动物体：车、其他行人等。

(2)静止物体：报刊亭、公交站点等。

(3)交通指示：交通灯、信号灯等。

………

然后，关联建立模块532基于上述场景元素聚类模块531分类好的场景元素群，以及场景元素分析模块52中场景元素群与行人之间的关联分析，建立场景模型，此模型反映了行人与场景元素之间的上下文关联。这个场景模型反映了行人与城市所有场景元素之间的相互关联关系，其中包含了行人与所有场景元素之间的条件转换概率。可以采用不同的方法来建立这种上下文关联的场景模型。

这里我们用DBN方法作为一个示例，然后选择在场景元素聚类模块531中提到的场景元素来建立场景模型，如图13所示。但本领域技术人员应该理解，图13中的场景元素仅仅是示意性的，根据实际情况还可能包含其他场景元素。

图13示出了上下文相关的场景模型的示意图。这里，E包含e1,e2,…,eK，K个独立的元素(K为正整数)，例如，包括建筑物墙面、白线、路肩石等等。ZC表示识别出斑马线的概率；H表示识别出行人的概率；TL表示识别出交通灯的概率；SA表示公共汽车站点；B表示公共汽车；ZCS、TLS和HS的含义和在场景元素分析模块52中描述的含义一样。

行人预测模块54对行人下一步的运动状态进行预测。对于在线的连续M帧图像，在利用场景元素生成模块51检测和识别出当前场景元素之后，行人预测模块54基于实时获得的与当前行人相关的当前场景元素，利用场景模型建立模块53建立的上下文相关模型来预测行人下一步的运动状态。当上下文相关场景模型用于预测行人下一步状态的时候，其他的行人预测方法也可以在这里结合着使用，例如利用行人运动的历史信息等。

图14示出了根据本发明实施例的利用车载相机信息的运动行人预测方法的流程图。

如图14所示，在步骤S1401，获取与行人运动意图相关的行人周围的交通场景的基本场景元素。

在步骤S1402，基于行人以及基本场景元素的随着时间变化的3D距离信息，分析行人行走时的状态变化与每个周围基本场景元素之间的关系以获得基本场景元素与行人状态变化之间的关系。

在步骤S1403，利用获得的关系，建立行人与周围所有场景元素之间的上下文相关模型。

在步骤S1404，基于实时获得的与当前行人相关的当前场景元素，利用建立的上下文相关模型，对行人下一步的运动状态进行预测，以生成行人下一步的运动预测结果。

步骤S1402-S1404的具体实现方法与上面结合图6-图13所述的相同，因此在此将不再赘述。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何部分，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现。

因此，本发明公开的技术还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。本发明所公开的检测技术也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现，或者通过存储有这样的程序产品的任意存储介质来实现。

还需要指出的是，在本发明的装置和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。另外，执行上述系列处理的步骤可以按照描述的先后顺序执行，但是各步骤并非必须顺序执行，某些步骤可以并行或彼此独立地执行。

上述的具体实施方式并不构成对本发明保护范围的限制。本领域技术人员应该明白，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (8)

1.一种利用车载相机信息的运动行人预测方法,包括：

获取与行人运动意图相关的行人周围的交通场景的基本场景元素；

基于基本场景元素以及行人的随着时间变化的三维3D距离信息，分析行人行走时的状态变化与每个周围基本场景元素之间的关系以获得基本场景元素与行人状态变化之间的关系；

利用获得的关系，建立行人与周围所有基本场景元素之间的上下文相关模型；以及

基于实时获得的与当前行人相关的当前场景元素，利用建立的上下文相关模型，对行人下一步的运动状态进行预测，以生成行人下一步的运动预测结果；

其中，分析行人行走时的状态变化与每个周围基本场景元素之间的关系以获得基本场景元素与行人状态变化之间的关系包括：

利用动态贝叶斯网络来建立场景元素与行人状态变化之间的结构关系；

基于基本场景元素以及行人的随着时间变化的3D距离信息以及场景元素状态，生成所述结构关系中场景元素与行人之间的条件转换概率函数；以及

结合所述结构关系以及条件转换概率函数，获得基本场景元素与行人状态变化之间的关系。

2.如权利要求1所述的运动行人预测方法，获取与行人运动意图相关的行人周围的交通场景的基本场景元素包括：

对利用车载相机捕获的图像中的物体进行检测；以及

识别检测到的物体以获取与行人运动意图相关的行人周围的交通场景的基本场景元素。

3.如权利要求2所述的运动行人预测方法，对车载相机捕获的图像中的物体进行检测包括：

生成利用车载相机捕获的车辆前部视野中的连续图像的灰度/彩色图像以及3D深度图像；

对灰度/彩色图像以及3D深度图像中的物体进行检测。

4.如权利要求1所述的运动行人预测方法，其中，建立行人与周围所有基本场景元素之间的上下文相关模型包括：

根据识别出的所有基本场景元素彼此之间的关联性以及所有基本场景元素与行人之间的关系，对所有基本场景元素进行聚类以得到分类的场景元素群；以及

基于分类的场景元素群以及基本场景元素与行人状态变化之间的关系，建立行人与所有基本场景元素之间的上下文相关模型。

5.如权利要求1所述的运动行人预测方法，其中，当前时刻与在前时间的条件转换概率函数之间的关系如下所示：

当前时刻行人与相关基本场景元素的条件转换概率函数正比于前一时刻行人与相关基本场景元素的条件转换概率函数与距离加权函数的乘积。

6.一种利用车载相机信息的运动行人预测装置,包括：

场景元素生成模块，用于获取与行人运动意图相关的行人周围的交通场景的基本场景元素；

场景元素分析模块，用于基于基本场景元素以及行人的随着时间变化的三维3D距离信息，分析行人行走时的状态变化与每个周围基本场景元素之间的关系以获得基本场景元素与行人状态变化之间的关系；

场景元素建立模块，用于利用获得的关系，建立行人与周围所有基本场景元素之间的上下文相关模型；以及

行人预测模块，用于基于实时获得的与当前行人相关的当前场景元素，利用建立的上下文相关模型，对行人下一步的运动状态进行预测，以生成行人下一步的运动预测结果；

其中，场景元素分析模块包括：

结构关系建立模块，用于利用动态贝叶斯网络来建立场景元素与行人状态变化之间的结构关系；

条件转换概率生成模块，用于基于基本场景元素以及行人的随着时间变化的3D距离信息以及场景元素状态，生成所述结构关系中场景元素与行人之间的条件转换概率函数；以及

关系获得模块，用于结合所述结构关系以及条件转换概率函数，获得基本场景元素与行人状态变化之间的关系。

7.如权利要求6所述的运动行人预测装置，其中，场景模型建立模块包括：

场景元素聚类模块，用于根据识别出的所有基本场景元素彼此之间的关联性以及所有基本场景元素与行人之间的关系，对所有基本场景元素进行聚类以得到分类的场景元素群；以及

关联建立模块，用于基于分类的场景元素群以及基本场景元素与行人状态变化之间的关系，建立行人与所有基本场景元素之间的上下文相关模型。

8.如权利要求6所述的运动行人预测装置，其中，当前时刻与在前时间的条件转换概率函数之间的关系如下所示：

当前时刻行人与相关基本场景元素的条件转换概率函数正比于前一时刻行人与相关基本场景元素的条件转换概率函数与距离加权函数的乘积。