CN101419667B - 识别图像中障碍物的方法和装置 - Google Patents

Abstract

本发明公开了一种识别图像中障碍物的方法，包括：获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同的方式进行划分，对于每帧图像均获得若干个划分后的块区域；计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度；根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物；根据每个块区域确定图像中的障碍物。应用本发明，在降低了误检测率的同时提高了检测的准确率，能够准确的判断出图像中的障碍物。同时，本发明还公开了一种识别图像中障碍物的装置。

Description

识别图像中障碍物的方法和装置 

技术领域

本发明涉及障碍物识别技术领域，特别涉及识别图像中障碍物的方法和装置。 

背景技术

在本领域，障碍物通常是指高于地面的立体物。 

目前，基于运动补偿的方法是基于单目视觉的障碍物检测常用方法之一。它的原理是在道路平坦、短时间内光照条件不变前提下，道路平面的任一点在相邻时刻图像帧内所成对应像点的像素值不变。如果假设前一时刻图像中所有的点都是路面上的点的对应的成像点，则由相机运动参数和成像原理，能够计算出由前一时刻图像中所有的点在下一时刻相机发生运动后所组成的假想图像，则该假设图像与当前时刻实际拍摄到的图像的差异都是由于那些不是道路平面上的点所引起的。这些差异所对应的图像像素即可能是突出地面的障碍物。 

目前的方法主要是单纯基于运动补偿的结果来判断图像中某个区域是存在障碍物，这种识别策略在运动参数精度较低或图像噪声的影响下，会导致运动补偿的结果达不到理想的效果，从而对于某些非障碍物被误识别为障碍物。 

发明内容

本发明实施例提供一种识别图像中障碍物的方法和装置，能够降低误检测率。 

本发明实施例提供的一种识别图像中障碍物的方法，包括： 

获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个划分后的块区域； 

计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度； 

根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物； 

根据每个块区域确定图像中的障碍物。 

其中，所述计算当前帧的每个块区域的运动障碍物置信度的步骤包括： 

i)获取运动参数，生成当前帧之前n-k时刻的假想图像；n＞＝2，k＞＝1； 

ii)对于一个块区域计算当前帧与所述假想图像的相似程度，获得第一运动置信度C_M_A1； 

iii)对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度，获得第二运动置信度C_M_A2； 

iv)若所述第一运动置信度C_M_A1的值大于第一运动阈值，且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值，则当前帧的该块区域的运动障碍物置信度C_M为1，否则当前帧的该块区域的运动障碍物置信度C_M为0； 

v)重复执行步骤ii)至iv)，直到计算出每个块区域的运动障碍物置信度。 

其中，所述确定当前帧图像中每个块区域是否为障碍物的步骤包括： 

若当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值，则当前帧图像中该块区域的总置信度C_Total为1，否则该块区域的总置信度C_Total为0； 

若当前帧图像中所述某个块区域的总置信度C_Total为1，则该块区域为障碍物，否则该块区域为非障碍物。 

本发明实施例提供的另一种识别图像中障碍物的方法，包括： 

获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个划分后的块区域； 

计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度，和每个块区域的特征障碍物置信度； 

根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，和每个块区域的特征障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物； 

根据每个块区域确定图像中的障碍物。 

其中，所述计算当前帧的每个块区域的运动障碍物置信度的步骤包括： 

i)获取运动参数，生成当前帧之前n-k时刻的假想图像；n＞＝2，k＞＝1； 

ii)对于一个块区域计算当前帧与所述假想图像的相似程度，获得第一运动置信度C_M_A1； 

iii)对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度，获得第二运动置信度C_M_A2； 

iv)若所述第一运动置信度C_M_A1的值大于第一运动阈值，且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值，则当前帧的该块区域的运动障碍物置信度C_M为1，否则当前帧的该块区域的运动障碍物置信度C_M为0； 

v)重复执行步骤ii)至iv)，直到计算出每个块区域的运动障碍物置信度。 

其中，所述特征障碍物置信度包括基于垂直特性的特征障碍物置信度、或者基于纹理特性的特征障碍物置信度。 

其中，所述根据垂直特性计算当前帧的每个块区域的特征障碍物置信度的步骤包括： 

a)判断当前帧一块区域是否具有垂直属性，若有则当前帧该块区域的特征障碍物置信度为1，否则当前帧的该块区域的特征障碍物置信度C_F为0； 

b)重复执行步骤a)，直到计算出每个块区域的特征障碍物置信度。 

其中，所述判断当前帧一块区域是否具有垂直属性的步骤包括： 

a01)计算一个块区域的垂直方向的强度I_v； 

$I_V=\underset{i=0}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{M}{\mathrm{\&Sigma;}}}|c_{i,j}-c_{i,j-k}|,1\&le;k<j$

其中，中c_i，j是当前帧图像的第i行，第j列像素的灰度值，k为整数，i，j∈R，R为N×M图像块区域，N为图像宽度，M为图像高度。 

a02)若步骤a01)所述垂直方向的强度I_v大于强度阈值，则所述块区域具有垂直属性，否则所述块区域不具有垂直属性。 

其中，所述确定当前帧图像中每个块区域是否为障碍物的步骤包括： 

若当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值，且，当前帧及与当前帧最近的之前N帧所对应的所述某个相同块区域的特征障碍物置信度的值等于1的数量大于第二数量阈值，则当前帧图像中该块区域的总置信度C_Total为1，否则该块区域的总置信度C_Total为0； 

若当前帧图像中所述某个块区域的总置信度C_Total为1，则该块区域为障碍物，否则该块区域为非障碍物。 

本发明实施例提供的一种识别图像中障碍物的装置，包括： 

图像分割单元，用于获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个划分后的块区域； 

运动障碍物置信度计算单元，用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度， 

第一块区域障碍物识别单元，用于根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物； 

障碍物确定单元，用于根据每个块区域确定图像中的障碍物。 

其中，所述运动障碍物置信度计算单元包括： 

假想图像生成单元，用于获取运动参数，生成当前帧之前n-k时刻的假想图像；n＞＝2，k＞＝1； 

第一运动置信度计算单元，用于对于一个块区域计算当前帧与所述假想图像的相似程度，获得第一运动置信度C_M_A1； 

第二运动置信度计算单元，对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度，获得第二运动置信度C_M_A2； 

运动障碍物置信度确定单元，用于在所述第一运动置信度C_M_A1的值大于第一运动阈值，且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值时，确定当前帧的该块区域的运动障碍物置信度C_M为1，否则确定当前帧的该块区域的运动障碍物置信度C_M为0。 

其中，所述第一块区域障碍物识别单元包括： 

第一总置信度确定单元，用于在当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值时，确定当前帧图像中该块区域的总置信度C_Total为1，否则确定该块区域的总置信度C_Total为0； 

第一识别单元，用于获知当前帧图像中所述某个块区域的总置信度C_Total为1时，确定该块区域为障碍物，否则确定该块区域为非障碍物。 

本发明实施例提供的另一种识别图像中障碍物的装置，包括： 

图像分割单元，用于获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个划分后的块区域； 

运动障碍物置信度计算单元，用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度， 

特征障碍物置信度计算单元，用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的特征障碍物置信度； 

第二块区域障碍物识别单元，用于根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，和每个块区域的特征障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物； 

障碍物确定单元，用于根据每个块区域确定图像中的障碍物。 

其中，所述运动障碍物置信度计算单元包括： 

假想图像生成单元，用于获取运动参数，生成当前帧之前n-k时刻的假想图像；n＞＝2，k＞＝1； 

第一运动置信度计算单元，用于对于一个块区域计算当前帧与所述假想图像的相似程度，获得第一运动置信度C_M_A1； 

第二运动置信度计算单元，对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度，获得第二运动置信度C_M_A2； 

运动障碍物置信度确定单元，用于在所述第一运动置信度C_M_A1的值大于第一运动阈值，且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值时，确定当前帧的该块区域的运动障碍物置信度C_M为1，否则确定当前帧的该块区域的运动障碍物置信度C_M为 0。 

其中，所述特征障碍物置信度包括基于垂直特性的特征障碍物置信度或者基于纹理特性的特征障碍物置信度。 

其中，在所述特征障碍物置信度基于垂直特性时，所述特征障碍物置信度计算单元包括： 

垂直属性判断单元，用于判断当前帧的某一块区域是否具有垂直属性，将判断结果通知给特征障碍物置信度确定单元； 

特征障碍物置信度确定单元，用于获知当前帧某块区域具有垂直属性时，确定当前帧该块区域的特征障碍物置信度为1，否则确定当前帧的该块区域的特征障碍物置信度C_F为0。 

其中，所述第二块区域障碍物识别单元包括： 

第二总置信度确定单元，用于在当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值，且，当前帧及与当前帧最近的之前N帧所对应的所述某个相同块区域的特征障碍物置信度的值等于1的数量大于第二数量阈值时，确定当前帧图像中该块区域的总置信度C_Total为1，否则确定该块区域的总置信度C_Total为0； 

第二识别单元，用于获知当前帧图像中所述某个块区域的总置信度C_Total为1时，确定该块区域为障碍物，否则确定该块区域为非障碍物。 

应用本发明实施例提供的一种识别图像中障碍物的方法和装置，与传统仅基于运动补偿方法相比，不但采用了基于运动补偿的绝对程度的策略，还采用了基于运动补偿的相对的策略，从而降低了误检测率，能够准确的判断出图像中的障碍物。 

应用本发明实施例提供的另一种识别图像中障碍物的方法和装置，与传统仅基于运动补偿方法相比，不但采用了基于运动补偿的绝对程度的策略，以及采用了基于运动补偿的相对的策略，并在此基础上进一步融合了特征分析的策略，从而更进一步地降低了误检测率，能够准确的判断出图像中的障碍物。 

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。 

图1是根据本发明实施例的识别图像中障碍物的方法流程图； 

图2是根据本发明实施例的计算当前帧的每个块区域的运动障碍物置信度的方法流程图； 

图3是根据本发明实施例的所设定的世界坐标系和前一时刻图像的摄相机的世界坐标系的关系示意图； 

图4是根据本发明实施例的当前时刻假想图像的示意图； 

图5是根据本发明实施例的一种识别图像中障碍物的装置结构图； 

图6是根据本发明实施例的另一种识别图像中障碍物的装置结构图。 

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 

本发明实施例提供的一种识别图像中障碍物的方法，包括：获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个划分后的块区域；计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度；根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物；根据每个块区域确定图像中的障碍物。应用本发明，与传统仅基于运动补偿方法相比，不但采用了基于运动补偿的绝对程度的策略，还采用了基于运动补偿的相对的策略，从而降低了误检测率，能够准确的判断出图像中的障碍物。 

本发明实施例提供的另一种识别图像中障碍物的方法，包括：获取当前 帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个划分后的块区域；计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度，和每个块区域的特征障碍物置信度；根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，和每个块区域的特征障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物；根据每个块区域确定图像中的障碍物。应用本发明，与传统仅基于运动补偿方法相比，不但采用了基于运动补偿的绝对程度的策略，还采用了基于运动补偿的相对的策略，并在此基础上进一步融合了特征分析的策略，从而在降低了误检测率的同时提高了检测的准确率，能够准确的判断出图像中的障碍物。 

参见图1，其是根据本发明实施例的识别图像中障碍物的方法流程图。本例中既采用了基于运动补偿的绝对程度的策略，还采用了基于运动补偿的相对的策略，并在此基础上进一步融合了特征分析的策略。具体包括： 

步骤101，划分图像块区域，具体的，获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按照相同的方式进行划分，对于每帧图像均获得若干个划分后的块区域。 

例如，首先从图像序列中取出当前帧的图像F_n和之前与当前帧最接近的N帧图，其中，n＞＝1；图像序列的帧间隔可以设为Δt。 

其次，将上述的每帧图像都分成多个块区域，块区域的形状可以是矩形，也可以是三角形等能够将图像完全划分的任何形状，本实施例为：都划分为N×M像素的互不重叠的矩形块区域，这样，对于每帧图像均获得了相同的若干个划分的矩形块区域。至于具体的分割方法本文未做限定，只要能够分割成多个矩形块区域即可。 

上述与当前帧最近的之前N帧图像中的N，具体数目可根据实际需要确定，例如，可以根据物体移动的速度，在相机中从出现到消失这段时间内所获得的帧数作为前述N的具体数目。 

步骤102，计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度。 

所谓运动障碍物置信度，是指基于运动补偿后的该块区域是否为障碍物的置信度，这里的运动补偿与现有的运动补偿稍有不同，现有的运动补偿通常只包括基于运动补偿的绝对程度，而本发明中的运动补偿包括基于运动补偿的绝对程度和相对程度。 

可以理解，由于与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度的计算方法，和当前帧的每个块区域的运动障碍物置信度的计算方法相同，下面仅对当前帧的每个块区域的运动障碍物置信度的计算方法进行说明，对于与当前帧最近的之前N帧的不再重复说明。 

参见图2，其是根据本发明实施例的计算当前帧的每个块区域的运动障碍物置信度的方法流程图。具体包括： 

步骤201，获取相机运动参数。 

本发明实施例中所获取的相机运动参数可以由传感器获得，如可以通过速度传感器和陀螺仪传感器等获取，也可以由序列图像用计算的方法获得，如采用光流方法、运动恢复结构(Structure form Motion，SFM)的方法或基于特征点检测、直接法等方法估计得到，如文献1“A robust method for computingvehicle ego-motion(一种计算自车运动的直接方法)”采用直接的方法估计运动参数，文献2“Transforming camera geometry to a virtual downward-lookingcamera：robust ego-motion estimation and ground-layer detection”采用改进的直接方法获得运动参数。本发明实施例采用文献1的直接估计方法获取相机运动参数。 

在本发明实施例中设定世界坐标系[O；X_w，Y_w，Z_w]和前一时刻图像的相机的世界坐标系[O′；X_c，Y_c，Z_c]的原点O，O′重合，坐标轴之间可以有旋转角，世界坐标系的Z_w轴平行于道路平面，Y_w垂直于道路平面。如图3所示。 

根据道路平面假设，相机运动参数m表示为m＝{t_x，t_z，ω_y}，即在X_w，Z_w方向有一个平移，在Y_w方向有一个旋转。 

步骤202，生成当前帧之前n-k时刻的假想图像；其中，n＞＝2，k＞＝1； 

所谓的假想图像是指假设前一时刻图像中所有像素点都是道路平面上的 点所成的像(其中Y_w＝相机高度)，相机运动后，这些地面上的点在新的相机位置下所成的像，即为假想图像。如图4所示。下面以前一时刻图像上某点P为例，说明如何生成新的相机位置下的假想图像。 

假设前一时刻图像上点P是道路平面上点P₀所成的像(实际上是立体物上的点P₁所成的像)，相机运动后，P₀所成的像点P′即为当前时刻假想图像上与P对应的点，即将点P的灰度值赋给点P′。基于这一原理，可以得到当前时刻假想图像上其它像素点与前一时刻图像上点的对应关系，从而可以得到新的相机位置下的当前时刻的假想图像。 

下面说明如何求得假想图像中P′点的坐标。 

以前一时刻图像中某一像素点P(r，c)为例，r，c分别为该点在图像中的行坐标和列坐标，P是道路平面上点P₀(X_W，Y_W，Z_W)的所成的像点。 

根据摄像机成像公式可以计算出点P₀的世界坐标(X_w，Y_w，Z_w)。： 

$Z_C\left[\begin{array}{c}r\\ c\\ 1\end{array}\right]=\begin{array}{}\end{array}\left[\begin{array}{cccc}{\mathrm{\&alpha;}}_x& 0& u_0& 0\\ 0& {\mathrm{\&alpha;}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(1\right)$

其中α_x，α_y，μ₀，v₀是相机内部参数，可由相机标定获得； 

其中t＝[T_x，T_y，T_z]^T为平移向量，T_x，T_y，Y_z为摄像机坐标系原点在世界坐标系下的位置，为相机外部参数，在安装相机时获得； 

其中 $R=\left(\begin{array}{ccc}\cos \mathrm{\&gamma;}\cos \mathrm{\&beta;}& \cos \mathrm{\&gamma;}\sin \mathrm{\&beta;}\sin \mathrm{\&alpha;}-\sin \mathrm{\&gamma;}\cos \mathrm{\&alpha;}& \cos \mathrm{\&gamma;}\sin \mathrm{\&beta;}\cos \mathrm{\&alpha;}+\sin \mathrm{\&gamma;}\sin \mathrm{\&alpha;}\\ \sin \mathrm{\&gamma;}\cos \mathrm{\&beta;}& \cos \mathrm{\&alpha;}\cos \mathrm{\&gamma;}+\sin \mathrm{\&gamma;}\sin \mathrm{\&beta;}\sin \mathrm{\&alpha;}& \sin \mathrm{\&gamma;}\sin \mathrm{\&beta;}\cos \mathrm{\&alpha;}-\cos \mathrm{\&gamma;}\sin \mathrm{\&alpha;}\\ -\sin \mathrm{\&beta;}& \cos \mathrm{\&beta;}\sin \mathrm{\&alpha;}& \cos \mathrm{\&beta;}\cos \mathrm{\&alpha;}\end{array}\right)$

为旋转矩阵，α，β，γ分别是摄像机坐标系绕世界坐标系X，Y，Z轴的旋转角，为相机外部参数，在安装相机时获得； 

已知Y_W＝摄像机高度，P(r，c)为像素的坐标； 

求解上述方程，可得X_W，Z_W和Z_C，Z_C是P的在摄像机坐标系中Z轴的坐标。 

利用获得的运动参数m＝{t_x，t_z，ω_y}可得运动后摄像机坐标系原点在世界坐标系下的坐标为T_x+t_x，T_y，T_z+t_z，摄像机坐标系绕世界坐标系x，y，z轴的旋转 角变为α，β+ω_y，γ。根据此时摄像机的旋转矩阵和平移矩阵，以及已经计算出的P₀的世界坐标(X_W，Y_W，Z_W)，再由上述摄像机成像公式(1)，方程右端为已知，可求得左端未知数，即点P₀在假象图像中的成像P′坐标。具体的，基于上述变换，可将之前某图像F_n-k上所有的点按运动参数运动，产生了一幅新的假想图像F′_n。如果不考虑噪声的影响，在平面运动的假设前提下，假想图像中的平面区域与当前时刻的图像F_n的平面区域是完全一致的，而非平面区域则不同，以下将利用这个原理，确定区域为立体物的置信度。 

步骤203，对于一个块区域计算当前帧与之前n-k时刻的假想图像的相似程度，将所述获得的相似程度作为基于运动补偿的第一运动置信度C_M_A1。 

需要说明的是，本文将当前帧与之前n-k时刻的假想图像的相似程度称为第一运动置信度C_M_A1，该第一运动置信度实际是基于运动补偿绝对程度的；将当前帧与之前实际的n-k时刻图像的相似程度称为第二运动置信度C_M_A2，该第二运动置信度实际是经运动补偿的；而第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值实际是基于运动补偿相对程度的。 

具体的，步骤203包括：针对图像F_n中某个块区域中的所有像素，在假想图像中寻找坐标相同的像素，然后基于对应点的像素值计算该块区域的当前时刻图像和当前时刻的假想图像的相似程度，从而获得该块区域为障碍物的第一运动置信度C_M_A1，其中可以采用归一化相关值(NC)计算所述相似程度NC： 

$\mathrm{NC}=\frac{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}X(i,j)\&times;X^{\&prime;}(i,j)}{\sqrt{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{X}^2(i,j)\&times;\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{X}^{\mathrm{}\&prime;2}(i,j)}}---\left(3\right)$

其中，块区域的大小为N*M，X(i，j)为图像F_n中的像素(i，j)的灰度值，X′(i，j)为图像F_n的假想图像F′_n中的像素(i，j)灰度值。 

步骤204，对于一个块区域计算当前帧与之前n-k时刻图像的相似程度，将所述获得的相似程度作为不进行运动补偿的第二运动置信度C_M_A2； 

具体的，针对图像F_n中某个块区域中的所有像素，在F_n-k中寻找坐标相 同的像素，然后基于对应点对的像素值计算该块区域的当前时刻图像和之前n-k时刻图像的相似程度，从而得该块区域为障碍物的第二运动置信度C_M_A2，其中可以采用归一化相关值(NC)计算所述相似程度NC： 

$\mathrm{NC}=\frac{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}X(i,j)\&times;X^{\&prime;\&prime;}(i,j)}{\sqrt{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{X}^2(i,j)\&times;\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{X}^{\&prime;\&prime;2}(i,j)}}---\left(4\right)$

其中，块区域的大小为N*M，X(i，j)为图像F_n中的像素(i，j)的灰度值，X″(i，j)为之前n-k时刻图像F″_n中的像素(i，j)灰度值。 

步骤205，确定运动障碍物置信度C_M。 

具体的，若所述第一运动置信度C_M_A1的值大于第一运动阈值，且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值，则当前帧的该块区域的运动障碍物置信度C_M为1，否则当前帧的该块区域的运动障碍物置信度C_M为0。 

也就是说，上述运动障碍物置信度C_M是基于运动补偿绝对程度(即C_M_A1的值大于第一运动阈值的情况)，与基于运动补偿相对程度(即C_M_A1与C_M_A2的比值大于第二运动阈值的情况)获得的。 

其中需要说明的是，第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值是一个广义的概念，该比值既可以是C_M_A1/C_M_A2的值，也可以是(C_M_A1-C_M_A2)/(1-C_M_A2)的值，还可以是其他表现形式的值。 

步骤206，重复执行上述步骤203～205，直到计算出每个块区域的运动障碍物置信度。 

步骤103，计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的特征障碍物置信度C_F。 

其中，所述特征障碍物置信度包括基于垂直特性的特征障碍物置信度、基于垂直边缘特性的特征障碍物置信度，或者基于纹理特性的特征障碍物置信度。 

下面以垂直特性为例，具体说明如何计算特征障碍物置信度C_F。 

步骤a，判断当前帧一块区域是否具有垂直属性，若有则当前帧该块区 域的特征障碍物置信度C_F为1，否则当前帧的该块区域的特征障碍物置信度C_F为0。具体的判断当前帧一块区域是否具有垂直属性的步骤包括： 

a01)计算一个块区域的垂直方向的强度I_v； 

$I_V=\underset{i=0}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{M}{\mathrm{\&Sigma;}}}|c_{i,j}-c_{i,j-k}|,$ 1≤k＜j 

其中，中c_i，j是当前帧图像的第i行，第j列像素的灰度值，k为整数，i，j∈R，R为该图像块区域，N为图像宽度，M为图像高度。 

a02)若步骤a01)所述垂直方向的强度I_v大于强度阈值T，即I_v＞T，则所述块区域具有垂直属性，否则所述块区域不具有垂直属性。 

步骤b，重复执行步骤a，直到计算出每个块区域的特征障碍物置信度。 

步骤104，根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，和每个块区域的特征障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物。 

具体的，取一块区域对应最近N帧的运动障碍物置信度，设为C_M_t，C_M_t-1，...，C_M_t-N-1，统计运动障碍物置信度的值等于1的数量Sum_M； 

取该块区域对应最近N帧的特征置信度，设为C_F_t，C_F_t-1，...，C_F_t-N-1，统计特征障碍物置信度的值等于1的数量Sum_F； 

若Sum_M大于第一数量阈值S_M_Limit，且Sum_F大于第二数量阈值C_F_Limit，则总置信度C_Total为1，否则为0。 

若当前帧图像中所述某个块区域的总置信度C_Total为1，则该块区域为障碍物，否则该块区域为非障碍物。 

也就是说，若当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值，且，当前帧及与当前帧最近的之前N帧所对应的所述某个相同块区域的特征障碍物置信度的值等于1的数量大于第二数量阈值，则当前帧图像中该块区域的总置信度C_Total为1，否则该块区域的总置信度C_Total为0；在当前帧图像中某个块区域的总置信度C_Total为1时，则该块区域为障碍物，否则该块区域为非障碍物。 

步骤105，根据每个块区域确定图像中的障碍物。 

具体的，当判断出每个块区域是否为障碍物后，综合所有结果，即可得到图像中的障碍物。 

可见，图1所提供的识别图像中障碍物的方法，与传统仅基于运动补偿方法相比，不但采用了基于运动补偿的绝对程度的策略，还采用了基于运动补偿的相对的策略，并在此基础上进一步融合了特征分析的策略，从而在降低了误检测率的同时提高了检测的准确率，能够准确的判断出图像中的障碍物。 

图1所示为一较佳实施例，在实际应用中，还可以有另一种情况是，即，只进行运动补偿(包括绝对程度和相对程度)，而不再基于特征分析进行补偿，这同样可以达到降低了误检测率的目的。这种实施方式下，与图1所示步骤基本相同，其区别是，不再执行步骤103，相应的步骤104变为：根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物。其中，确定当前帧图像中每个块区域是否为障碍物的步骤包括： 

具体的，取一块区域对应最近N帧的运动障碍物置信度，设为C_M_t，C_M_t-1，...，C_M_t-N-1，统计运动障碍物置信度的值等于1的数量Sum_M；若Sum_M大于第一数量阈值S_M_Limit，则总置信度C_Total为1，否则为0。 

若当前帧图像中所述某个块区域的总置信度C_Total为1，则该块区域为障碍物，否则该块区域为非障碍物。 

也就是说，若当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值，则当前帧图像中该块区域的总置信度C_Total为1，否则该块区域的总置信度C_Total为0；在当前帧图像中某个块区域的总置信度C_Total为1时，则该块区域为障碍物，否则该块区域为非障碍物。 

本发明实施例还提供了一种识别图像中障碍物的装置，参见图5，其与图1所示实施例对应，包括：图像分割单元501、运动障碍物置信度计算单元502、特征障碍物置信度计算单元503、第二块区域障碍物识别单元504 和障碍物确定单元505。其中， 

图像分割单元501，用于获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同的方式进行划分，对于每帧图像均获得若干个划分后的块区域； 

运动障碍物置信度计算单元502，用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度， 

特征障碍物置信度计算单元503，用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的特征障碍物置信度；该特征障碍物置信度可以包括基于垂直特性的特征障碍物置信度、基于垂直边缘特性的特征障碍物置信度，或者基于纹理特性的特征障碍物置信度。 

第二块区域障碍物识别单元504，用于根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，和每个块区域的特征障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物； 

障碍物确定单元505，用于根据每个块区域确定图像中的障碍物。 

上述运动障碍物置信度计算单元502还可以包括：假想图像生成单元、第一运动置信度计算单元、第二运动置信度计算单元以及运动障碍物置信度确定单元。其中， 

假想图像生成单元，用于获取运动参数，生成当前帧之前n-k时刻的假想图像；n＞＝2，k＞＝1； 

第一运动置信度计算单元，用于对于一个块区域计算当前帧与所述假想图像的相似程度，获得第一运动置信度C_M_A1； 

第二运动置信度计算单元，对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度，获得第二运动置信度C_M_A2； 

运动障碍物置信度确定单元，用于在所述第一运动置信度C_M_A1的值大于第一运动阈值，且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值时，确定当前帧的该块区域的运动障碍物置信度C_M为1，否则确定当前帧的该块区域的运动障碍物置信度C_M为0； 

当上述特征障碍物置信度基于垂直特性时，所述特征障碍物置信度计算 单元503可以包括：垂直属性判断单元和特征障碍物置信度确定单元。其中， 

垂直属性判断单元，用于判断当前帧的某一块区域是否具有垂直属性，将判断结果通知给特征障碍物置信度确定单元； 

特征障碍物置信度确定单元，用于获知当前帧某块区域具有垂直属性时，确定当前帧该块区域的特征障碍物置信度为1，否则确定当前帧的该块区域的特征障碍物置信度C_F为0。 

上述第二块区域障碍物识别单元504可以包括：第二总置信度确定单元和第二识别单元，其中， 

第二总置信度确定单元，用于在当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值，且，当前帧及与当前帧最近的之前N帧所对应的所述某个相同块区域的特征障碍物置信度的值等于1的数量大于第二数量阈值时，确定当前帧图像中该块区域的总置信度C_Total为1，否则确定该块区域的总置信度C_Total为0； 

第二识别单元，用于获知当前帧图像中所述某个块区域的总置信度C_Total为1时，确定该块区域为障碍物，否则确定该块区域为非障碍物。 

本发明实施例还提供了一种识别图像中障碍物的装置，参见图6，其与图5所示实施例的区别是，不包括特征障碍物置信度计算单元503，也即，图6所示装置包括：图像分割单元601、运动障碍物置信度计算单元602、第一块区域障碍物识别单元603和障碍物确定单元604。其中， 

图像分割单元601，用于获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个划分后的块区域； 

运动障碍物置信度计算单元602，用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度， 

第一块区域障碍物识别单元603，用于根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物； 

障碍物确定单元604，用于根据每个块区域确定图像中的障碍物。 

上述运动障碍物置信度计算单元602与图5中的运动障碍物置信度计算单元502相同，包括：假想图像生成单元、第一运动置信度计算单元、第二运动置信度计算单元以及运动障碍物置信度确定单元，具体不再赘述。 

上述第一块区域障碍物识别单元603可以包括： 

第一总置信度确定单元，用于在当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值时，确定当前帧图像中该块区域的总置信度C_Total为1，否则确定该块区域的总置信度C_Total为0； 

第一识别单元，用于获知当前帧图像中所述某个块区域的总置信度C_Total为1时，确定该块区域为障碍物，否则确定该块区域为非障碍物。 

应用本发明所提供的识别图像中障碍物的装置，与传统仅基于运动补偿的逻辑装置相比，不但采用了基于运动补偿的绝对程度的策略，还采用了基于运动补偿的相对的策略，并在此基础上进一步融合了特征分析的策略，从而在降低了误检测率的同时提高了检测的准确率，能够准确的判断出图像中的障碍物。 

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。 

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。 

Claims (17)

1.一种识别图像中障碍物的方法，其特征在于，包括：

获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个划分后的块区域；

计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度；

根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物；

根据每个块区域确定图像中的障碍物。

2.根据权利要求1所述的方法，其特征在于，所述计算当前帧的每个块区域的运动障碍物置信度的步骤包括：

i)获取运动参数，生成当前帧之前n-k时刻的假想图像；n＞＝2，k＞＝1；

ii)对于一个块区域计算当前帧与所述假想图像的相似程度，获得第一运动置信度C_M_A1；

iii)对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度，获得第二运动置信度C_M_A2；

iv)若所述第一运动置信度C_M_A1的值大于第一运动阈值，且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值，则当前帧的该块区域的运动障碍物置信度C_M为1，否则当前帧的该块区域的运动障碍物置信度C_M为0；

v)重复执行步骤ii)至iv)，直到计算出每个块区域的运动障碍物置信度。

3.根据权利要求2所述的方法，其特征在于，所述确定当前帧图像中每个块区域是否为障碍物的步骤包括：

若当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值，则当前帧图像中该块区域的总置信度C_Total为1，否则该块区域的总置信度C_Total为0；

若当前帧图像中所述某个块区域的总置信度C_Total为1，则该块区域为障碍物，否则该块区域为非障碍物。 

4.一种识别图像中障碍物的方法，其特征在于，包括：

获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个划分后的块区域；

计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度，和每个块区域的特征障碍物置信度；

根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，和每个块区域的特征障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物；

根据每个块区域确定图像中的障碍物。

5.根据权利要求4所述的方法，其特征在于，所述计算当前帧的每个块区域的运动障碍物置信度的步骤包括：

i)获取运动参数，生成当前帧之前n-k时刻的假想图像；n＞＝2，k＞＝1；

ii)对于一个块区域计算当前帧与所述假想图像的相似程度，获得第一运动置信度C_M_A1；

iii)对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度，获得第二运动置信度C_M_A2；

iv)若所述第一运动置信度C_M_A1的值大于第一运动阈值，且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值，则当前帧的该块区域的运动障碍物置信度C_M为1，否则当前帧的该块区域的运动障碍物置信度C_M为0；

v)重复执行步骤ii)至iv)，直到计算出每个块区域的运动障碍物置信度。

6.根据权利要求4所述的方法，其特征在于，所述特征障碍物置信度包括基于垂直特性的特征障碍物置信度、或者基于纹理特性的特征障碍物置信度。

7.根据权利要求6所述的方法，其特征在于，所述根据垂直特性计算当前帧的每个块区域的特征障碍物置信度的步骤包括：

a)判断当前帧一块区域是否具有垂直属性，若有则当前帧该块区域的特征障碍物置信度为1，否则当前帧的该块区域的特征障碍物置信度C_F为0； 

b)重复执行步骤a)，直到计算出每个块区域的特征障碍物置信度。

8.根据权利要求7所述的方法，其特征在于，所述判断当前帧一块区域是否具有垂直属性的步骤包括：

a01)计算一个块区域的垂直方向的强度I_v；

其中，中c_i，j是当前帧图像的第i行，第j列像素的灰度值，k为整数，i，j∈R，R为N×M图像块区域，N为图像宽度，M为图像高度，

a02)若步骤a01)所述垂直方向的强度I_v大于强度阈值，则所述块区域具有垂直属性，否则所述块区域不具有垂直属性。

9.根据权利要求7所述的方法，其特征在于，所述确定当前帧图像中每个块区域是否为障碍物的步骤包括：

若当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值，且，当前帧及与当前帧最近的之前N帧所对应的所述某个相同块区域的特征障碍物置信度的值等于1的数量大于第二数量阈值，则当前帧图像中该块区域的总置信度C_Total为1，否则该块区域的总置信度C_Total为0；

若当前帧图像中所述某个块区域的总置信度C_Total为1，则该块区域为障碍物，否则该块区域为非障碍物。

10.一种识别图像中障碍物的装置，其特征在于，包括：

图像分割单元，用于获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个划分后的块区域；

运动障碍物置信度计算单元，用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度，

第一块区域障碍物识别单元，用于根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物；

障碍物确定单元，用于根据每个块区域确定图像中的障碍物。

11.根据权利要求10所述的装置，其特征在于，所述运动障碍物置信度计算单元包括：

假想图像生成单元，用于获取运动参数，生成当前帧之前n-k时刻的假想图像；n＞＝2，k＞＝1；

第一运动置信度计算单元，用于对于一个块区域计算当前帧与所述假想图像的相似程度，获得第一运动置信度C_M_A1；

第二运动置信度计算单元，对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度，获得第二运动置信度C_M_A2；

运动障碍物置信度确定单元，用于在所述第一运动置信度C_M_A1的值大于第一运动阈值，且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值时，确定当前帧的该块区域的运动障碍物置信度C_M为1，否则确定当前帧的该块区域的运动障碍物置信度C_M为0。

12.根据权利要求10所述的装置，其特征在于，所述第一块区域障碍物识别单元包括：

第一总置信度确定单元，用于在当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值时，确定当前帧图像中该块区域的总置信度C_Total为1，否则确定该块区域的总置信度C_Total为0；

第一识别单元，用于获知当前帧图像中所述某个块区域的总置信度C_Total为1时，确定该块区域为障碍物，否则确定该块区域为非障碍物。

13.一种识别图像中障碍物的装置，其特征在于，包括：

图像分割单元，用于获取当前帧以及与当前帧最近的之前N帧的图像，对所获取的每帧图像按相同方式进行划分，对于每帧图像均获得若干个划分后的块区域；

运动障碍物置信度计算单元，用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度，

特征障碍物置信度计算单元，用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的特征障碍物置信度；

第二块区域障碍物识别单元，用于根据所述当前帧以及与当前帧最近的 之前N帧的所述每个块区域的运动障碍物置信度，和每个块区域的特征障碍物置信度，依次确定当前帧图像中每个块区域是否为障碍物；

障碍物确定单元，用于根据每个块区域确定图像中的障碍物。

14.根据权利要求13所述的装置，其特征在于，所述运动障碍物置信度计算单元包括：

假想图像生成单元，用于获取运动参数，生成当前帧之前n-k时刻的假想图像；n＞＝2，k＞＝1；

第一运动置信度计算单元，用于对于一个块区域计算当前帧与所述假想图像的相似程度，获得第一运动置信度C_M_A1；

第二运动置信度计算单元，对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度，获得第二运动置信度C_M_A2；

运动障碍物置信度确定单元，用于在所述第一运动置信度C_M_A1的值大于第一运动阈值，且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值时，确定当前帧的该块区域的运动障碍物置信度C_M为1，否则确定当前帧的该块区域的运动障碍物置信度C_M为0。

15.根据权利要求13所述的装置，其特征在于，所述特征障碍物置信度包括基于垂直特性的特征障碍物置信度或者基于纹理特性的特征障碍物置信度。

16.根据权利要求15所述的方法，其特征在于，在所述特征障碍物置信度基于垂直特性时，所述特征障碍物置信度计算单元包括：

垂直属性判断单元，用于判断当前帧的某一块区域是否具有垂直属性，将判断结果通知给特征障碍物置信度确定单元；

特征障碍物置信度确定单元，用于获知当前帧某块区域具有垂直属性时，确定当前帧该块区域的特征障碍物置信度为1，否则确定当前帧的该块区域的特征障碍物置信度C_F为0。

17.根据权利要求13所述的装置，其特征在于，所述第二块区域障碍物识别单元包括：

第二总置信度确定单元，用于在当前帧及与当前帧最近的之前N帧所对 应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值，且，当前帧及与当前帧最近的之前N帧所对应的所述某个相同块区域的特征障碍物置信度的值等于1的数量大于第二数量阈值时，确定当前帧图像中该块区域的总置信度C_Total为1，否则确定该块区域的总置信度C_Total为0；

第二识别单元，用于获知当前帧图像中所述某个块区域的总置信度C_Total为1时，确定该块区域为障碍物，否则确定该块区域为非障碍物。 

Images