CN109163707A - 障碍物感知方法、系统、计算机设备、计算机存储介质 - Google Patents

Abstract

本发明提出一种障碍物感知方法、系统、计算机设备、计算机存储介质，其中障碍物感知方法，可以包括：通过布置在机动车上的至少两个相邻相机，对机动车周围的障碍物进行连续拍摄；将一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像进行关联；判断一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像是否是针对同一障碍物。借助于上述方法和系统，对于机动车例如无人车可以实时感知车身大视场角范围例如四周360度范围的障碍物情况。在大视场角范围情况下，通过对障碍物速度等的准确预估，为机动车例如无人车的决策系统提供精准的信息，防止碰撞等高危风险的发生。

Description

障碍物感知方法、系统、计算机设备、计算机存储介质

技术领域

本发明涉及机动车驾驶领域，具体涉及一种障碍物感知方法、系统、计算机设备、计算机存储介质等。

背景技术

在现有的无人车中，常常是通过单一摄像头感知特定角度方向上的路面情况。基于单摄像头的视觉感知不同于激光雷达，其感知环境的范围非常小，通常取决于该相机的视场角(fov)。而相机的视场角(fov)一般小于180度，有时候为了兼顾感知距离，视场角不能过大。故通过单一摄像头只能感知特定角度方向上的路面情况，而对不在视场角内的障碍物则无法感知，若障碍物离主车(无人车)距离过近，则容易使无人车产生急刹和碰撞等事故。更糟糕的是，在障碍物刚出现在视野的一段时间里，由于障碍物的图像检测框处于截断状态，图像框没有完成，导致无法估计其准确的3D位置，从而导致感知系统无法准确估计障碍物的速度，为无人车的决策系统输入错误的信息，导致无人车无法正常运行。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

根据本发明的第一个方面，提供了一种障碍物感知方法，可以包括：

通过布置在机动车上的至少两个相邻相机，对机动车周围的障碍物进行连续拍摄；将一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像进行关联；判断一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像是否是针对同一障碍物。

根据本发明第一个方面的一个实施例，其中将一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像进行关联可以包括：

在相邻相机视野有重叠的情况下，通过至少两个相邻相机所拍摄障碍物图像的图像框特征来关联障碍物图像。

根据本发明第一个方面的另一个实施例，其中通过至少两个相邻相机所拍摄障碍物图像的图像框特征来关联障碍物图像可以包括：

将一个相机拍摄的障碍物图像的第一图像框经由参考坐标系投影到另一相机的成像平面中构成第二图像框，将第二图像框与另一相机拍摄的障碍物图像的第三图像框进行对比，从而根据图像框特征判断第二图像框和第三图像框是否是针对同一障碍物。

根据本发明第一个方面的再一个实施例，其中在相邻相机视野没有重叠的情况下，在障碍物从一个相机视野内消失至刚刚进入另一相机视野内的时间段内进行运动方程估计，来关联障碍物图像。

根据本发明第一个方面的又一个实施例，其中关联障碍物图像包括：将一个相机所拍摄障碍物图像的第一图像框中的第一坐标转换成参考坐标系的参考坐标，再将参考坐标随着运动方程估计进行连续更新，在障碍物刚刚进入另一相机视野内时，将最新更新的参考坐标投影到另一相机成像平面中的第二坐标，将第二坐标构成的障碍物图像的第二图像框与另一相机拍摄的障碍物图像的第三图像框进行比较，进而根据图像框特征判断第二图像框和第三图像框是否是针对同一障碍物。

根据本发明第一个方面的一个实施例，其中运动方程估计可以包括在匀速、匀加速或者匀减速情况下进行运动方程估计。

根据本发明第一个方面的另一个实施例，其中图像框特征包括被投影到另一相机成像平面的第二图像框与另一相机所拍摄障碍物图像的第三图像框之间的中心距离、每个图像框的宽高比例、和/或交并比。

根据本发明第一个方面的再一个实施例，其中布置在机动车上的至少两个相邻相机包括分别布置在机动车的车身左前方、车身左后方、车身正前方、车身正后方、车身右前方、车身右后方的多个相机，从而能够对机动车周围360°内的障碍物进行感知。

根据本发明第一个方面的又一个实施例，其中判断一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像是否是针对同一障碍物包括根据障碍物的类型、运动速度、运动方向和/或图像框特征来判断。

根据本发明第二个方面的一种障碍物感知系统，可以包括：布置在机动车上的至少两个相邻相机，用于对机动车周围的障碍物进行连续拍摄；关联单元，用于将一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像进行关联；判断单元，用于判断一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像是否是针对同一障碍物。

根据本发明第二个方面的一个实施例，其中关联单元还用于在相邻相机视野有重叠的情况下，通过至少两个相邻相机所拍摄障碍物图像的图像框特征来关联障碍物图像。

根据本发明第二个方面的另一个实施例，其中关联单元还用于将一个相机拍摄的障碍物图像的第一图像框经由参考坐标系投影到另一相机的成像平面中构成第二图像框，将第二图像框与另一相机拍摄的障碍物图像的第三图像框进行对比，从而根据图像框特征判断第二图像框和第三图像框是否是针对同一障碍物。

根据本发明第二个方面的再一个实施例，其中关联单元还用于在相邻相机视野没有重叠的情况下，在障碍物从一个相机视野内消失至刚刚进入另一相机视野内的时间段内进行运动方程估计，来关联障碍物图像。

根据本发明第二个方面的又一个实施例，其中关联单元还用于，将一个相机所拍摄障碍物图像的第一图像框中的第一坐标转换成参考坐标系的参考坐标，再将参考坐标随着运动方程估计进行连续更新，在障碍物刚刚进入另一相机视野内时，将最新更新的参考坐标投影到另一相机成像平面中的第二坐标，将第二坐标构成的障碍物图像的第二图像框与另一相机拍摄的障碍物图像的第三图像框进行比较，进而根据图像框特征判断第二图像框和第三图像框是否是针对同一障碍物。

根据本发明第二个方面的一个实施例，其中运动方程估计包括在匀速、匀加速或者匀减速情况下进行运动方程估计。

根据本发明第二个方面的另一个实施例，其中图像框特征包括被投影到另一相机成像平面的第二图像框与另一相机所拍摄障碍物图像的第三图像框之间的中心距离、每个图像框的宽高比例、和/或交并比。

根据本发明第二个方面的再一个实施例，其中布置在机动车上的至少两个相邻相机包括分别布置在机动车的车身左前方、车身左后方、车身正前方、车身正后方、车身右前方、车身右后方的多个相机，从而能够对机动车周围360°内的障碍物进行感知。

根据本发明第二个方面的又一个实施例，其中判断一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像是否是针对同一障碍物包括根据障碍物的类型、运动速度、运动方向和/或图像框特征来判断。

根据本发明第三个方面的一种计算机设备，可以包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上的方法。

根据本发明第四个方面的一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现如上的方法。

借助于本发明的障碍物感知方法、系统，可以对于机动车例如无人车实时感知车身大视场角范围例如四周360度范围的障碍物情况。在大视场角范围情况下，这种感知方法、系统能完整描述一个障碍物在距离机动车例如无人车特定范围内的运动状态(位置，速度等)。例如通过对障碍物位置、速度、运动方向、障碍物类型等的准确预估，为机动车例如无人车的决策系统提供精准的信息，防止碰撞等高危风险的发生。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1示意性示出根据本发明第一个方面的一个实施例的障碍物感测方法示意图；

图2示意性示出根据本发明第一个方面的一个实施例的将一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像进行关联的示意图；

图3示意性示出根据本发明第一个方面的一个实施例的运动方程估计的示意图；

图4示意性示出根据本发明第一个方面的一个实施例的图像框特征的示意图；

图5示意性示出根据本发明第一个方面的一个实施例的周围布置有相机的机动车示意图；

图6示意性示出根据本发明第一个方面的一个实施例的判断一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像是否是针对同一障碍物示意图；

图7示意性示出根据本发明第一个方面的一个实施例的两个相邻相机1和相机2的视野重叠情况下的示意图；

图8示意性示出根据本发明第一个方面的一个实施例的两个相邻相机1和相机2的视野没有重叠情况下的示意图；

图9示意性示出根据本发明第一个方面的一个实施例的多个相邻相机进行融合的示意图；

图10示意性示出根据本发明第二个方面的一个实施例的障碍物感测系统的示意图；

图11示意性示出根据本发明第三个方面的关于计算机设备的一个实施例。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。下文还可能包括其他明确的和隐含的定义。

下面结合本发明附图1-11进行详细地描述。

图1示意性示出根据本发明第一个方面的一个实施例的障碍物感测方法100示意图，可以包括下面的步骤：步骤102，通过布置在机动车上的至少两个相邻相机，对机动车周围的障碍物进行连续拍摄；步骤104，将一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像进行关联；步骤106，判断一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像是否是针对同一障碍物。

这里示意的是在机动车上布置至少两个相邻相机，根据需要也可以设定更多的相机，例如机动车上的至少两个相邻相机可以包括分别布置在机动车的车身左前方、车身左后方、车身正前方、车身正后方、车身右前方、车身右后方的多个相机，在图5和图10中示出了这样的情形，从而能够对机动车周围大的视野范围例如360°内的障碍物进行感知。因为每个相机都有自己的视野，即视场角，在需要对机动车周围的大视角或者大视野例如360°内的障碍物进行感知的情况下，可能需要布置例如6个相机或者8个相机等，这一点本领域技术人员是可以理解的。

例如在图5和图10所示的示意图中，在机动车8的周围步骤了8个相机，即，布置于车身左前方的相机2；车身左后方的相机1；车身正前方的相机3、相机4、相机5；车身正后方的相机8、车身右前方的相机6、车身右后方的相机7。

在本发明说明书的各个实施例中提到的术语“障碍物”可以做广义的理解，例如机动车周围的行人、自行车、电动车、其他非机动车或机动车相对于本车(机动车)来讲，都可以认为是障碍物。

需要注意的是，在本发明的各个实施例中出现的术语“障碍物图像”有可能包含多个障碍物图像的情形。例如，“障碍物图像”有可能包含行人障碍物图像、自行车障碍物图像、电动车障碍物图像、其他非机动车或机动车障碍物图像等等。

在本发明说明书的各个实施例中提到的术语“相机”可以做广义的理解，例如可以包括鱼眼相机、广角相机等。

在本发明说明书的各个实施例中提到的术语“参考坐标系”、“参考坐标”可以做广义的理解，例如可以包括车身坐标系情况下的车身坐标、世界坐标系情况下的世界坐标，只要可以知晓两个相邻相机到这个坐标系的转换关系即可，其他坐标系同样也是可以的。

布置在机动车上的至少两个相邻相机对机动车周围的障碍物进行连续拍摄可以有助于实施感测到障碍物例如其他机动车的事实情况，有助于机动车能够完整描述一个障碍物在距离机动车例如无人车特定范围内的运动状态(位置，速度等)。例如通过对障碍物位置、速度、运动方向、障碍物类型等的准确预估，为机动车例如无人车的决策系统提供精准的信息，防止碰撞等高危风险的发生。

图2示意性示出根据本发明第一个方面一个实施例的将一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像进行关联的示意图。在一个实施例中，将一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像进行关联的步骤104可以包括下面的步骤：步骤108，在相邻相机视野有重叠的情况下，通过至少两个相邻相机所拍摄障碍物图像的图像框特征来关联障碍物图像。在本发明的一个实施例中，其中通过至少两个相邻相机所拍摄障碍物图像的图像框特征来关联障碍物图像的步骤108可以包括：步骤110，将一个相机拍摄的障碍物图像的第一图像框经由参考坐标系投影到另一相机的成像平面中构成第二图像框，将第二图像框与另一相机拍摄的障碍物图像的第三图像框进行对比，从而根据图像框特征判断第二图像框和第三图像框是否是针对同一障碍物。

关于这一点可以参考图7，图7示意性示出根据本发明第一个方面的一个实施例的两个相邻相机1和相机2的视野重叠情况下的示意图。图7中所示的相机1的视野用V1表示，视野的横截面近似是个V形的横截面，同样，相机2的视野用V2表示，视野的横截面也近似是个V形的横截面。视野V1和视野V2有重叠区域A、视野V1和视野V2有非重叠区域C、以及介于重叠与不重叠两者之间的区域B。在这里先讨论当障碍物从相机1的视野V1经过重叠区域A进入相机2的视野V2的情形。至于障碍物从相机1的视野V1经过非重叠区域C或者经过区域B(既有重叠又有非重叠)进入相机2的视野V2的情形，将在后面再进行描述。

在上面的介绍中，步骤108，即在相邻相机视野有重叠的情况下，通过至少两个相邻相机所拍摄障碍物图像的图像框特征来关联障碍物图像，之所以需要通过至少两个相邻相机所拍摄障碍物图像的图像框特征来关联障碍物图像，是为了将相邻相机例如相机1和相机2所拍摄的障碍物图像进行对比，因为在拍摄的一帧图像中可能包含着很多障碍物的图像框，例如行人、非机动车、其他机动车等等的图像框，将相邻相机所拍摄障碍物图像的图像框特征关联就是将初步认为是同一障碍物图像的图像框进行关联，例如将相机1拍摄的行人图像的图像框与相机2拍摄的行人图像的图像框进行关联，将相机1拍摄的自行车图像的图像框与相机2拍摄的自行车图像的图像框进行关联，将相机1拍摄的其他机动车图像的图像框与相机2拍摄的其他机动车图像的图像框进行关联等等。

至于上面提到的步骤110，将一个相机拍摄的障碍物图像的第一图像框经由参考坐标系投影到另一相机的成像平面中构成第二图像框，将第二图像框与另一相机拍摄的障碍物图像的第三图像框进行对比，从而根据图像框特征判断第二图像框和第三图像框是否是针对同一障碍物，这里需要说明的是参考坐标系是一个广义的概念，可以包括车身坐标系情况下的车身坐标、世界坐标系情况下的世界坐标，只要可以知晓两个相邻相机到这个坐标系的转换关系即可，正如上面已经说明的。下面以世界坐标系为例进行简要的说明。

例如相机1的成像平面中的第一坐标(u1，v1)，经由旋转平移矩阵R1,T1可以转换为世界坐标系下的世界坐标P(x1，y1，z1)，再将该世界坐标P(x1，y1，z1)经由旋转平移矩阵R2,T2转换到相机2成像平面中的第二坐标。例如相机1所拍摄障碍物图像的图像框中第一点的第一坐标(u1，v1)，经由旋转平移矩阵R1,T1可以转换为世界坐标系下的世界坐标P1(x1，y1，z1)，再将该世界坐标P1(x1，y1，z1)经由旋转平移矩阵R2,T2转换到相机2的成像平面中第一点的第二坐标(u12，v12)，从而完成第一点的投影。类似的，相机1所拍摄障碍物图像的图像框中第二点的第一坐标(u2，v2)，经由旋转平移矩阵R1’,T1’可以转换为世界坐标系下的世界坐标P2(x2，y2，z2)，再将该世界坐标P2(x2，y2，z2)经由旋转平移矩阵R2’,T2’转换到相机2的成像平面中第二点的第二坐标(u22，v22)，从而完成第二点的投影。类似的，相机1所拍摄障碍物图像的图像框中第三点的第一坐标(u3，v3)，经由旋转平移矩阵R1”,T1”可以转换为世界坐标系下的世界坐标P3(x3，y3，z3)，再将该世界坐标P3(x3，y3，z3)经由旋转平移矩阵R2”,T2”转换到相机2的成像平面中第三点的第二坐标(u32，v32)，从而完成第三点的投影，等等。

在将相机1所拍摄障碍物图像的第一图像框中关键点的第一坐标全部经由世界坐标系转换为相机2成像平面中的第二图像框中关键点的第二坐标之后，就完成了将相机1拍摄的障碍物图像的第一图像框经由参考坐标系投影到相机2的成像平面中从而构成第二图像框的任务。

因为如何将相机1所拍摄障碍物图像的第一图像框中关键点的第一坐标转换到世界坐标系中的世界坐标，以及如何将世界坐标转换到相机2的成像平面中第二图像框中关键点的第二坐标的技术是已知的，也并不是本发明的发明点，在此不再赘述。

图8示意性示出根据本发明第一个方面的一个实施例的两个相邻相机1和相机2的视野没有重叠情况下的示意图。图7所示的区域C实际上也就是两个相邻相机1和相机2视野的非重叠区域，也属于两个相邻相机1和相机2的视野没有重叠的另一情况。类似的，图8中所示的相机1的视野用V1表示，视野的横截面近似是个V形的横截面，同样，相机2的视野用V2表示，视野的横截面也近似是个V形的横截面。

再返回参考图2，图2中示出了在相邻相机视野没有重叠的情况下，在障碍物从一个相机视野内消失至刚刚进入另一相机视野内的时间段内进行运动方程估计，来关联障碍物图像的步骤112。进一步的，关联障碍物图像的步骤112还可以包括：步骤114，将一个相机所拍摄障碍物图像的第一图像框中的第一坐标转换成参考坐标系的参考坐标，再将参考坐标随着运动方程估计进行连续更新，在障碍物刚刚进入另一相机视野内时，将最新更新的参考坐标投影到另一相机成像平面中的第二坐标，将第二坐标构成的障碍物图像的第二图像框与另一相机拍摄的障碍物图像的第三图像框进行比较，进而根据图像框特征判断第一图像框和第三图像框是否是针对同一障碍物。

如在上面提到的，在相邻相机例如图8中的两个相邻相机视野V1和V2没有重叠的情况下，或者在图7中的两个相邻相机视野V1和V2的非重叠区域C中，在障碍物从相机1视野V1内消失至刚刚进入另一相机2视野V2内的时间段内进行运动方程估计，来关联障碍物图像。在这里，之所以考虑在障碍物从相机1视野V1内消失至刚刚进入另一相机2视野V2内的时间段是因为考虑到障碍物有可能是运动的，因为存在这样的时间段，而在这个时间段内障碍物没有得到任何相机的拍摄和跟踪，我们需要对于这段时间段内的障碍物运动情况进行一个运动方程估计，至于运动方程估计的情形在图3中已经示意性示出。例如，运动方程估计116可以包括在匀速情况下进行运动方程估计118、匀加速情况下进行运动方程估计或者匀减速情况下进行运动方程估计进行运动方程估计等等。

如在上面提到的，将一个相机1所拍摄障碍物图像的图像框中第一点的第一坐标(u1，v1)转换成参考坐标系的参考坐标P(x1，y1，z1)，再将参考坐标P(x1，y1，z1)随着运动方程估计进行连续更新，例如假设障碍物是匀速运动的，则更新后的第一点的参考坐标为P(x1+vt，y1+vt，z1+vt)，其中的v是障碍物的运动速度，t是从障碍物刚刚离开相机1的视野V1到目前的时间段，如果是障碍物刚进入相机2的视野V2，则t就是代表障碍物刚刚离开相机1的视野V1到刚进入相机2的视野V2的时间段长度。类似的，将一个相机1所拍摄障碍物图像的图像框中第二点的第一坐标(u2，v2)转换成参考坐标系的参考坐标P(x2，y2，z2)，再将参考坐标P(x2，y2，z2)随着运动方程估计进行连续更新，例如假设障碍物是匀速运动的，则更新后的第二点的参考坐标为P(x2+vt，y2+vt，z2+vt)，其中的v是障碍物的运动速度，t是从障碍物刚刚离开相机1的视野V1到截止到目前的时间段，如果是障碍物刚进入相机2的视野V2，则t就是代表障碍物刚刚离开相机1的视野V1到刚进入相机2的视野V2的时间段。将一个相机1所拍摄障碍物图像的图像框中第三点的第一坐标(u3，v3)转换成参考坐标系的参考坐标P(x3，y3，z3)，再将参考坐标P(x3，y3，z3)随着运动方程估计进行连续更新，例如假设障碍物是匀速运动的，则更新后的第三点的参考坐标为P(x3+vt，y3+vt，z3+vt)，其中的v是障碍物的运动速度，t是从障碍物刚刚离开相机1的视野V1到截止到目前的时间段，如果是障碍物刚进入相机2的视野V2，则t就是代表障碍物刚刚离开相机1的视野V1到刚进入相机2的视野V2的时间段，等等。

在将相机1所拍摄障碍物图像的图像框中关键点的参考坐标全部更新为最新的参考坐标之后，就完成了将参考坐标随着运动方程估计进行连续更新的步骤。

在障碍物刚刚进入另一相机V2视野内时，将最新更新的参考坐标例如P(x1+vt，y1+vt，z1+vt)、P(x2+vt，y2+vt，z2+vt)、P(x3+vt，y3+vt，z3+vt)等等投影到另一相机V2成像平面中的第二坐标，例如(u12，v12)、(u22，v22)、(u32，v32)等等，将第二坐标构成的障碍物图像的第二图像框与另一相机拍摄的障碍物图像的第三图像框进行比较，进而根据这两个图像框的图像框特征判断第二图像框和第三图像框是否是针对同一障碍物。

上面是以障碍物匀速运动情况下进行的说明，在障碍物匀加速、匀减速、甚至静止情况下都可以采用类似的方法，将第二坐标构成的障碍物图像的第二图像框与另一相机拍摄的障碍物图像的第三图像框进行比较，进而根据这两个图像框的图像框特征判断两个图像框是否是针对同一障碍物。

在图4中示出了图像框特征124的示意图，例如可以包括被投影到另一相机的成像平面(由障碍物图像构成)的图像框与另一相机所拍摄障碍物图像的图像框之间的中心距离126、每个图像框的宽高比例128、和/或交并比130。

需要说明的是，原来相机V1拍摄的成像平面中障碍物图像的第一图像框经由参考坐标系投影到另一相机V2的成像平面的第二图像框，与另一相机V2本身所拍摄的障碍物图像的第三图像框常常存在差异，例如第二图像框与第三图像框并不是完全重叠的，因此投影到另一相机V2的障碍物图像的第二图像框与另一相机V2本身所拍摄的障碍物图像的第三图像框的中心之间存在中心距离，这个中心距离也是判断第二图像框、第三图像框是否是针对同一障碍物的判断指标之一。例如，可以认为中心距离小于特定阈值的时候，将两个图像框判定为是针对同一个障碍物。至于特定阈值大小，可以根据情况决定。

每个图像框的宽高比例128也是判断这个两个图像框是否是针对同一障碍物的判断指标之一。图像框的宽高比例越接近，两个图像框越有可能是针对同一障碍物进行的拍摄。同样，可以认为每个图像框的宽高比例128高于特定阈值的时候，将两个图像框判定为是针对同一个障碍物。至于特定阈值大小，可以根据情况决定。

交并比130是指投影到另一相机V2的障碍物图像的第二图像框与另一相机V2本身所拍摄的障碍物图像的第三图像框之间的交叠率，即它们的交集与并集的比值。交并比的比值越接近为1，两个图像框越有可能是针对同一障碍物进行的拍摄。同样，可以认为交并比的比值高于特定阈值的时候，将两个图像框判定为是针对同一个障碍物。至于特定阈值大小，可以根据情况决定。

在本发明的一个实施例中，判断一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像是否是针对同一障碍物106还可以包括下面的判断方式，如在如6中示出的，根据障碍物的类型来判断132、根据障碍物的运动速度来判断134、根据障碍物的运动方向来判断136、和/或根据图像框特征来判断138。

根据障碍物的类型来判断132是指，例如假设相机1跟踪拍摄的障碍物是行人，显示的障碍物的图像框对应是行人，而相邻相机2拍摄的图像中既包含障碍物是行人的图像框，也包括障碍物是自行车的图像框，显然只需要将被投影到相机2视野内的障碍物是行人的图像框与相机2本身拍摄的障碍物是行人的图像框进行匹配，从而判断相机1拍摄的行人障碍物图像与相机2本身拍摄的行人障碍物图像是否是针对同一障碍物。类似的，假设相机1跟踪拍摄的障碍物是自行车，显示的障碍物的图像框对应是自行车，而相邻相机2拍摄的图像中既包含障碍物是自行车的图像框，也包括障碍物是行人的图像框等，显然只需要将被投影到相机2视野内的障碍物是自行车的图像框与相机2本身拍摄的障碍物是自行车的图像框进行匹配，从而判断相机1拍摄的自行车障碍物图像与相机2本身拍摄的自行车障碍物图像是否是针对同一障碍物。

这里需要说明的是，无论在相邻相机视野有重叠的情况下，还是没有重叠的情况下，判断一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像是否是针对同一障碍物106都是，借助于将一个相机拍摄的障碍物图像的图像框(第一图像框)投影到相邻相机成像平面中的障碍物图像框(第二图像框)，然后将第二图像框与相邻相机本身拍摄的障碍物图像框(第三图像框)进行对比完成的，从而判断一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像是否是针对同一障碍物106。

根据障碍物的运动速度来判断134是指相机拍摄的图像中包括了行人、自行车、其他机动车、树木等等，这些物体的运动速度是不一致的。例如相机1拍摄的是行人，将行人的图像框投影到相机2视野内的障碍物是行人的图像框，因为第一行人跟第二行人运动速度常常不同，可以判断相机1拍摄的第一行人障碍物图像与相机2本身拍摄的第二行人障碍物图像是否是针对同一行人障碍物。

根据图像框特征来判断138的描述可以参考上面已经描述的图像框特征的介绍，从而可以判断相机1拍摄的障碍物图像与相机2本身拍摄的障碍物图像是否是针对同一障碍物。

这里仅仅是以相邻相机1和相机2作为实例进行的描述，本领域技术人员可以理解的是，相邻相机2和相机3之间、相邻相机3和相机4之间、相邻相机4和相机5之间、相邻相机5和相机6之间、相邻相机6和相机7之间、相邻相机7和相机8之间、相邻相机8和相机1之间同样可以参考相机1与相机2之间的关联方式进行关联，例如在相邻相机之间的视野有重叠的情况下如何进行关联，在相邻相机之间的视野没有重叠的情况下如何进行关联，在上面都已经详细描述。

图9示意性示出根据本发明第一个方面的一个实施例的多个相邻相机进行融合的示意图。例如检测框140表示的是需要相机进行跟踪的障碍物的图像框，借助于多个相机构成的多目标跟踪系统142，例如可以同时跟踪行人、自行车、电动车、树木、其他机动车和非机动车等。借助于本发明一个方面的障碍物感知方法或者系统等等，需要判断是否与对应相机融合完成，即是否完成了判断一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像是否是针对同一障碍物106的步骤。如在上面提到的，相邻相机1和相机2是否关联完成，即是否融合完成，相邻相机2和相机3之间、相邻相机3和相机4之间、相邻相机4和相机5之间、相邻相机5和相机6之间、相邻相机6和相机7之间、相邻相机7和相机8之间、相邻相机8和相机1之间都需要进行关联才算关联完成。没有完成的话继续进行相邻相机的关联146，完成的话，则输出当前跟踪结果。

需要说明的是，上面提到的相邻相机1和相机2之间，相邻相机2和相机3之间、相邻相机3和相机4之间、相邻相机4和相机5之间、相邻相机5和相机6之间、相邻相机6和相机7之间、相邻相机7和相机8之间、相邻相机8和相机1之间都需要进行关联才算关联完成或者融合完成，是针对机动车周围360°内的障碍物进行感知的一个实施例。在有些情况下，例如只需要对于机动车8左侧的障碍物进行感知，则只需要将相邻相机8和相机1之间、相邻相机1和相机2之间，相邻相机2和相机3之间进行关联即可。在有些情况下，例如只需要对于机动车8右侧的障碍物进行感知，则只需要将相邻相机5和相机6之间、相邻相机6和相机7之间、相邻相机7和相机8之间进行关联即可。

根据本发明的第二个方面，提供一种障碍物感知系统300，如在图10中示意性示出的，可以包括：布置在机动车8上的至少两个相邻相机，例如相机1-8，用于对机动车周围的障碍物进行连续拍摄；关联单元302，用于将一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像进行关联；判断单元304，用于判断一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像是否是针对同一障碍物。

根据本发明第二个方面的一个实施例，其中关联单元302还用于在相邻相机视野有重叠的情况下，通过至少两个相邻相机所拍摄障碍物图像的图像框特征来关联障碍物图像。

根据本发明第二个方面的另一个实施例，其中关联单元302还用于将一个相机拍摄的障碍物图像的第一图像框经由参考坐标系投影到另一相机的成像平面中构成第二图像框，将第二图像框与另一相机拍摄的障碍物图像的第三图像框进行对比，从而根据图像框特征判断第二图像框和第三图像框是否是针对同一障碍物。

根据本发明第二个方面的再一个实施例，其中关联单元302还用于在相邻相机视野没有重叠的情况下，在障碍物从一个相机视野内消失至刚刚进入另一相机视野内的时间段内进行运动方程估计，来关联障碍物图像。

根据本发明第二个方面的又一个实施例，其中关联单元302还用于，将一个相机所拍摄障碍物图像的第一图像框中的第一坐标转换成参考坐标系的参考坐标，再将参考坐标随着运动方程估计进行连续更新，在障碍物刚刚进入另一相机视野内时，将最新更新的参考坐标投影到另一相机成像平面中的第二坐标，将第二坐标构成的障碍物图像的第二图像框与另一相机拍摄的障碍物图像的第三图像框进行比较，进而根据图像框特征判断第一图像框和第三图像框是否是针对同一障碍物。

备选的，运动方程估计可以包括在匀速、匀加速或者匀减速情况下进行运动方程估计。

根据本发明第二个方面的一个实施例，其中图像框特征可以包括被投影到另一相机成像平面的第二图像框与另一相机所拍摄障碍物图像的第三图像框之间的中心距离、每个图像框的宽高比例、和/或交并比。

备选的，布置在机动车上的至少两个相邻相机可以包括分别布置在机动车的车身左前方、车身左后方、车身正前方、车身正后方、车身右前方、车身右后方的多个相机，从而能够对机动车周围360°内的障碍物进行感知。

备选的，判断一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像是否是针对同一障碍物可以包括根据障碍物的类型、运动速度、运动方向和/或图像框特征来判断。

在根据本发明第三方面的实施例中，提供了一种计算机设备，可以包括：一个或多个处理器；存储装置，用于存储一或多个程序；当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上的方法。

在根据本发明第四方面的实施例中，提供了一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如上的方法。

例如，图11示出了可以用来实施本公开的实施例的示例计算机设备400的示意性框图。应当理解，计算机设备400可以用于实现本公开所描述的障碍物感测方法100。如图所示，计算机设备400包括中央处理单元(CPU)402，其可以根据存储在只读存储器(ROM)404中的计算机程序指令或者从存储单元416加载到随机访问存储器(RAM)406中的计算机程序指令，来执行各种适当的动作和处理。在RAM 406中，还可存储计算机设备400操作所需的各种程序和数据。CPU 402、ROM 404以及RAM406通过总线408彼此相连。输入/输出(I/O)接口410也连接至总线408。

计算机设备400中的多个部件连接至I/O接口410，包括：输入单元412，例如键盘、鼠标等；输出单元414，例如各种类型的显示器、扬声器等；存储单元416，例如磁盘、光盘等；以及通信单元418，例如网卡、调制解调器、无线通信收发机等。通信单元418允许计算机设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元402执行上文所描述的各个方法和过程，例如方法100。例如，在一些实施例中，方法100可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元416。在一些实施例中，计算机程序的部分或者全部可以经由ROM 404和/或通信单元418而被载入和/或安装到计算机设备400上。当计算机程序加载到RAM 406并由CPU62执行时，可以执行上文描述的方法100的一个或多个动作或步骤。备选地，在其他实施例中，CPU 402可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法100。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)，等等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种障碍物感知方法，其特征在于，包括：

通过布置在机动车上的至少两个相邻相机，对所述机动车周围的障碍物进行连续拍摄；

将一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像进行关联；

判断所述一个相机拍摄的障碍物图像与所述另一相机拍摄的障碍物图像是否是针对同一障碍物。

2.根据权利要求1所述的障碍物感知方法，其中所述将一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像进行关联包括：

在所述相邻相机视野有重叠的情况下，通过所述至少两个相邻相机所拍摄障碍物图像的图像框特征来关联所述障碍物图像。

3.根据权利要求2所述的障碍物感知方法，其中所述通过所述至少两个相邻相机所拍摄障碍物图像的图像框特征来关联所述障碍物图像包括：

将所述一个相机拍摄的障碍物图像的第一图像框经由参考坐标系投影到所述另一相机的成像平面中构成第二图像框，将所述第二图像框与所述另一相机拍摄的障碍物图像的第三图像框进行对比，从而根据图像框特征判断第二图像框和第三图像框是否是针对同一障碍物。

4.根据权利要求1所述的障碍物感知方法，其中在所述相邻相机视野没有重叠的情况下，在所述障碍物从所述一个相机视野内消失至刚刚进入所述另一相机视野内的时间段内进行运动方程估计，来关联所述障碍物图像。

5.根据权利要求4所述的障碍物感知方法，其中所述关联所述障碍物图像包括：

将所述一个相机所拍摄障碍物图像的第一图像框中的第一坐标转换成参考坐标系的参考坐标，再将所述参考坐标随着所述运动方程估计进行连续更新，在所述障碍物刚刚进入所述另一相机视野内时，将最新更新的参考坐标投影到所述另一相机成像平面中的第二坐标，将所述第二坐标构成的障碍物图像的第二图像框与所述另一相机拍摄的障碍物图像的第三图像框进行比较，进而根据图像框特征判断所述第一图像框和第三图像框是否是针对同一障碍物。

6.根据权利要求5所述的障碍物感知方法，其中所述运动方程估计包括在匀速、匀加速或者匀减速情况下进行运动方程估计。

7.根据权利要求2、3、5、6中任一项所述的障碍物感知方法，其中所述图像框特征包括被投影到所述另一相机成像平面的第二图像框与所述另一相机所拍摄障碍物图像的第三图像框之间的中心距离、每个图像框的宽高比例、和/或交并比。

8.根据权利要求1-6中任一项所述的障碍物感知方法，其中布置在机动车上的至少两个相邻相机包括分别布置在所述机动车的车身左前方、车身左后方、车身正前方、车身正后方、车身右前方、车身右后方的多个相机，从而能够对所述机动车周围360o内的障碍物进行感知。

9.根据权利要求1-6中任一项所述的障碍物感知方法，其中判断所述一个相机拍摄的障碍物图像与所述另一相机拍摄的障碍物图像是否是针对同一障碍物包括根据障碍物的类型、运动速度、运动方向和/或所述图像框特征来判断。

10.一种障碍物感知系统，其特征在于，包括：

布置在机动车上的至少两个相邻相机，用于对所述机动车周围的障碍物进行连续拍摄；

关联单元，用于将一个相机拍摄的障碍物图像与另一相机拍摄的障碍物图像进行关联；

判断单元，用于判断所述一个相机拍摄的障碍物图像与所述另一相机拍摄的障碍物图像是否是针对同一障碍物。

11.根据权利要求10所述的障碍物感知系统，其中所述关联单元还用于在所述相邻相机视野有重叠的情况下，通过所述至少两个相邻相机所拍摄障碍物图像的图像框特征来关联所述障碍物图像。

12.根据权利要求11所述的障碍物感知系统，其中所述关联单元还用于将所述一个相机拍摄的障碍物图像的第一图像框经由参考坐标系投影到所述另一相机的成像平面中构成第二图像框，将所述第二图像框与所述另一相机拍摄的障碍物图像的第三图像框进行对比，从而根据图像框特征判断第二图像框和第三图像框是否是针对同一障碍物。

13.根据权利要求10所述的障碍物感知系统，其中所述关联单元还用于在所述相邻相机视野没有重叠的情况下，在所述障碍物从所述一个相机视野内消失至刚刚进入所述另一相机视野内的时间段内进行运动方程估计，来关联所述障碍物图像。

14.根据权利要求13所述的障碍物感知系统，其中所述关联单元还用于，将所述一个相机所拍摄障碍物图像的第一图像框中的第一坐标转换成参考坐标系的参考坐标，再将所述参考坐标随着所述运动方程估计进行连续更新，在所述障碍物刚刚进入所述另一相机视野内时，将最新更新的参考坐标投影到所述另一相机成像平面中的第二坐标，将所述第二坐标构成的障碍物图像的第二图像框与所述另一相机拍摄的障碍物图像的第三图像框进行比较，进而根据图像框特征判断所述第一图像框和第三图像框是否是针对同一障碍物。

15.根据权利要求14所述的障碍物感知系统，其中所述运动方程估计包括在匀速、匀加速或者匀减速情况下进行运动方程估计。

16.根据权利要求11、12、14、15中任一项所述的障碍物感知系统，其中所述图像框特征包括被投影到所述另一相机成像平面的第二图像框与所述另一相机所拍摄障碍物图像的第三图像框之间的中心距离、每个图像框的宽高比例、和/或交并比。

17.根据权利要求10-15中任一项所述的障碍物感知系统，其中布置在机动车上的至少两个相邻相机包括分别布置在所述机动车的车身左前方、车身左后方、车身正前方、车身正后方、车身右前方、车身右后方的多个相机，从而能够对所述机动车周围360o内的障碍物进行感知。

18.根据权利要求10-15中任一项所述的障碍物感知系统，其中判断所述一个相机拍摄的障碍物图像与所述另一相机拍摄的障碍物图像是否是针对同一障碍物包括根据障碍物的类型、运动速度、运动方向和/或所述图像框特征来判断。

19.一种计算机设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-9中任一项所述的方法。

20.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一项所述的方法。