CN101419667B - 识别图像中障碍物的方法和装置 - Google Patents
识别图像中障碍物的方法和装置 Download PDFInfo
- Publication number
- CN101419667B CN101419667B CN2008101858334A CN200810185833A CN101419667B CN 101419667 B CN101419667 B CN 101419667B CN 2008101858334 A CN2008101858334 A CN 2008101858334A CN 200810185833 A CN200810185833 A CN 200810185833A CN 101419667 B CN101419667 B CN 101419667B
- Authority
- CN
- China
- Prior art keywords
- current frame
- confidence
- obstacle
- image
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000004888 barrier function Effects 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims description 41
- 238000003709 image segmentation Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 abstract description 16
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种识别图像中障碍物的方法,包括:获取当前帧以及与当前帧最近的之前N帧的图像,对所获取的每帧图像按相同的方式进行划分,对于每帧图像均获得若干个划分后的块区域;计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度;根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度,依次确定当前帧图像中每个块区域是否为障碍物;根据每个块区域确定图像中的障碍物。应用本发明,在降低了误检测率的同时提高了检测的准确率,能够准确的判断出图像中的障碍物。同时,本发明还公开了一种识别图像中障碍物的装置。
Description
技术领域
本发明涉及障碍物识别技术领域,特别涉及识别图像中障碍物的方法和装置。
背景技术
在本领域,障碍物通常是指高于地面的立体物。
目前,基于运动补偿的方法是基于单目视觉的障碍物检测常用方法之一。它的原理是在道路平坦、短时间内光照条件不变前提下,道路平面的任一点在相邻时刻图像帧内所成对应像点的像素值不变。如果假设前一时刻图像中所有的点都是路面上的点的对应的成像点,则由相机运动参数和成像原理,能够计算出由前一时刻图像中所有的点在下一时刻相机发生运动后所组成的假想图像,则该假设图像与当前时刻实际拍摄到的图像的差异都是由于那些不是道路平面上的点所引起的。这些差异所对应的图像像素即可能是突出地面的障碍物。
目前的方法主要是单纯基于运动补偿的结果来判断图像中某个区域是存在障碍物,这种识别策略在运动参数精度较低或图像噪声的影响下,会导致运动补偿的结果达不到理想的效果,从而对于某些非障碍物被误识别为障碍物。
发明内容
本发明实施例提供一种识别图像中障碍物的方法和装置,能够降低误检测率。
本发明实施例提供的一种识别图像中障碍物的方法,包括:
获取当前帧以及与当前帧最近的之前N帧的图像,对所获取的每帧图像按相同方式进行划分,对于每帧图像均获得若干个划分后的块区域;
计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度;
根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度,依次确定当前帧图像中每个块区域是否为障碍物;
根据每个块区域确定图像中的障碍物。
其中,所述计算当前帧的每个块区域的运动障碍物置信度的步骤包括:
i)获取运动参数,生成当前帧之前n-k时刻的假想图像;n>=2,k>=1;
ii)对于一个块区域计算当前帧与所述假想图像的相似程度,获得第一运动置信度C_M_A1;
iii)对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度,获得第二运动置信度C_M_A2;
iv)若所述第一运动置信度C_M_A1的值大于第一运动阈值,且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值,则当前帧的该块区域的运动障碍物置信度C_M为1,否则当前帧的该块区域的运动障碍物置信度C_M为0;
v)重复执行步骤ii)至iv),直到计算出每个块区域的运动障碍物置信度。
其中,所述确定当前帧图像中每个块区域是否为障碍物的步骤包括:
若当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值,则当前帧图像中该块区域的总置信度C_Total为1,否则该块区域的总置信度C_Total为0;
若当前帧图像中所述某个块区域的总置信度C_Total为1,则该块区域为障碍物,否则该块区域为非障碍物。
本发明实施例提供的另一种识别图像中障碍物的方法,包括:
获取当前帧以及与当前帧最近的之前N帧的图像,对所获取的每帧图像按相同方式进行划分,对于每帧图像均获得若干个划分后的块区域;
计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度,和每个块区域的特征障碍物置信度;
根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度,和每个块区域的特征障碍物置信度,依次确定当前帧图像中每个块区域是否为障碍物;
根据每个块区域确定图像中的障碍物。
其中,所述计算当前帧的每个块区域的运动障碍物置信度的步骤包括:
i)获取运动参数,生成当前帧之前n-k时刻的假想图像;n>=2,k>=1;
ii)对于一个块区域计算当前帧与所述假想图像的相似程度,获得第一运动置信度C_M_A1;
iii)对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度,获得第二运动置信度C_M_A2;
iv)若所述第一运动置信度C_M_A1的值大于第一运动阈值,且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值,则当前帧的该块区域的运动障碍物置信度C_M为1,否则当前帧的该块区域的运动障碍物置信度C_M为0;
v)重复执行步骤ii)至iv),直到计算出每个块区域的运动障碍物置信度。
其中,所述特征障碍物置信度包括基于垂直特性的特征障碍物置信度、或者基于纹理特性的特征障碍物置信度。
其中,所述根据垂直特性计算当前帧的每个块区域的特征障碍物置信度的步骤包括:
a)判断当前帧一块区域是否具有垂直属性,若有则当前帧该块区域的特征障碍物置信度为1,否则当前帧的该块区域的特征障碍物置信度C_F为0;
b)重复执行步骤a),直到计算出每个块区域的特征障碍物置信度。
其中,所述判断当前帧一块区域是否具有垂直属性的步骤包括:
a01)计算一个块区域的垂直方向的强度Iv;
其中,中ci,j是当前帧图像的第i行,第j列像素的灰度值,k为整数,i,j∈R,R为N×M图像块区域,N为图像宽度,M为图像高度。
a02)若步骤a01)所述垂直方向的强度Iv大于强度阈值,则所述块区域具有垂直属性,否则所述块区域不具有垂直属性。
其中,所述确定当前帧图像中每个块区域是否为障碍物的步骤包括:
若当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值,且,当前帧及与当前帧最近的之前N帧所对应的所述某个相同块区域的特征障碍物置信度的值等于1的数量大于第二数量阈值,则当前帧图像中该块区域的总置信度C_Total为1,否则该块区域的总置信度C_Total为0;
若当前帧图像中所述某个块区域的总置信度C_Total为1,则该块区域为障碍物,否则该块区域为非障碍物。
本发明实施例提供的一种识别图像中障碍物的装置,包括:
图像分割单元,用于获取当前帧以及与当前帧最近的之前N帧的图像,对所获取的每帧图像按相同方式进行划分,对于每帧图像均获得若干个划分后的块区域;
运动障碍物置信度计算单元,用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度,
第一块区域障碍物识别单元,用于根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度,依次确定当前帧图像中每个块区域是否为障碍物;
障碍物确定单元,用于根据每个块区域确定图像中的障碍物。
其中,所述运动障碍物置信度计算单元包括:
假想图像生成单元,用于获取运动参数,生成当前帧之前n-k时刻的假想图像;n>=2,k>=1;
第一运动置信度计算单元,用于对于一个块区域计算当前帧与所述假想图像的相似程度,获得第一运动置信度C_M_A1;
第二运动置信度计算单元,对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度,获得第二运动置信度C_M_A2;
运动障碍物置信度确定单元,用于在所述第一运动置信度C_M_A1的值大于第一运动阈值,且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值时,确定当前帧的该块区域的运动障碍物置信度C_M为1,否则确定当前帧的该块区域的运动障碍物置信度C_M为0。
其中,所述第一块区域障碍物识别单元包括:
第一总置信度确定单元,用于在当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值时,确定当前帧图像中该块区域的总置信度C_Total为1,否则确定该块区域的总置信度C_Total为0;
第一识别单元,用于获知当前帧图像中所述某个块区域的总置信度C_Total为1时,确定该块区域为障碍物,否则确定该块区域为非障碍物。
本发明实施例提供的另一种识别图像中障碍物的装置,包括:
图像分割单元,用于获取当前帧以及与当前帧最近的之前N帧的图像,对所获取的每帧图像按相同方式进行划分,对于每帧图像均获得若干个划分后的块区域;
运动障碍物置信度计算单元,用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度,
特征障碍物置信度计算单元,用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的特征障碍物置信度;
第二块区域障碍物识别单元,用于根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度,和每个块区域的特征障碍物置信度,依次确定当前帧图像中每个块区域是否为障碍物;
障碍物确定单元,用于根据每个块区域确定图像中的障碍物。
其中,所述运动障碍物置信度计算单元包括:
假想图像生成单元,用于获取运动参数,生成当前帧之前n-k时刻的假想图像;n>=2,k>=1;
第一运动置信度计算单元,用于对于一个块区域计算当前帧与所述假想图像的相似程度,获得第一运动置信度C_M_A1;
第二运动置信度计算单元,对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度,获得第二运动置信度C_M_A2;
运动障碍物置信度确定单元,用于在所述第一运动置信度C_M_A1的值大于第一运动阈值,且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值时,确定当前帧的该块区域的运动障碍物置信度C_M为1,否则确定当前帧的该块区域的运动障碍物置信度C_M为 0。
其中,所述特征障碍物置信度包括基于垂直特性的特征障碍物置信度或者基于纹理特性的特征障碍物置信度。
其中,在所述特征障碍物置信度基于垂直特性时,所述特征障碍物置信度计算单元包括:
垂直属性判断单元,用于判断当前帧的某一块区域是否具有垂直属性,将判断结果通知给特征障碍物置信度确定单元;
特征障碍物置信度确定单元,用于获知当前帧某块区域具有垂直属性时,确定当前帧该块区域的特征障碍物置信度为1,否则确定当前帧的该块区域的特征障碍物置信度C_F为0。
其中,所述第二块区域障碍物识别单元包括:
第二总置信度确定单元,用于在当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值,且,当前帧及与当前帧最近的之前N帧所对应的所述某个相同块区域的特征障碍物置信度的值等于1的数量大于第二数量阈值时,确定当前帧图像中该块区域的总置信度C_Total为1,否则确定该块区域的总置信度C_Total为0;
第二识别单元,用于获知当前帧图像中所述某个块区域的总置信度C_Total为1时,确定该块区域为障碍物,否则确定该块区域为非障碍物。
应用本发明实施例提供的一种识别图像中障碍物的方法和装置,与传统仅基于运动补偿方法相比,不但采用了基于运动补偿的绝对程度的策略,还采用了基于运动补偿的相对的策略,从而降低了误检测率,能够准确的判断出图像中的障碍物。
应用本发明实施例提供的另一种识别图像中障碍物的方法和装置,与传统仅基于运动补偿方法相比,不但采用了基于运动补偿的绝对程度的策略,以及采用了基于运动补偿的相对的策略,并在此基础上进一步融合了特征分析的策略,从而更进一步地降低了误检测率,能够准确的判断出图像中的障碍物。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的识别图像中障碍物的方法流程图;
图2是根据本发明实施例的计算当前帧的每个块区域的运动障碍物置信度的方法流程图;
图3是根据本发明实施例的所设定的世界坐标系和前一时刻图像的摄相机的世界坐标系的关系示意图;
图4是根据本发明实施例的当前时刻假想图像的示意图;
图5是根据本发明实施例的一种识别图像中障碍物的装置结构图;
图6是根据本发明实施例的另一种识别图像中障碍物的装置结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的一种识别图像中障碍物的方法,包括:获取当前帧以及与当前帧最近的之前N帧的图像,对所获取的每帧图像按相同方式进行划分,对于每帧图像均获得若干个划分后的块区域;计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度;根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度,依次确定当前帧图像中每个块区域是否为障碍物;根据每个块区域确定图像中的障碍物。应用本发明,与传统仅基于运动补偿方法相比,不但采用了基于运动补偿的绝对程度的策略,还采用了基于运动补偿的相对的策略,从而降低了误检测率,能够准确的判断出图像中的障碍物。
本发明实施例提供的另一种识别图像中障碍物的方法,包括:获取当前 帧以及与当前帧最近的之前N帧的图像,对所获取的每帧图像按相同方式进行划分,对于每帧图像均获得若干个划分后的块区域;计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度,和每个块区域的特征障碍物置信度;根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度,和每个块区域的特征障碍物置信度,依次确定当前帧图像中每个块区域是否为障碍物;根据每个块区域确定图像中的障碍物。应用本发明,与传统仅基于运动补偿方法相比,不但采用了基于运动补偿的绝对程度的策略,还采用了基于运动补偿的相对的策略,并在此基础上进一步融合了特征分析的策略,从而在降低了误检测率的同时提高了检测的准确率,能够准确的判断出图像中的障碍物。
参见图1,其是根据本发明实施例的识别图像中障碍物的方法流程图。本例中既采用了基于运动补偿的绝对程度的策略,还采用了基于运动补偿的相对的策略,并在此基础上进一步融合了特征分析的策略。具体包括:
步骤101,划分图像块区域,具体的,获取当前帧以及与当前帧最近的之前N帧的图像,对所获取的每帧图像按照相同的方式进行划分,对于每帧图像均获得若干个划分后的块区域。
例如,首先从图像序列中取出当前帧的图像Fn和之前与当前帧最接近的N帧图,其中,n>=1;图像序列的帧间隔可以设为Δt。
其次,将上述的每帧图像都分成多个块区域,块区域的形状可以是矩形,也可以是三角形等能够将图像完全划分的任何形状,本实施例为:都划分为N×M像素的互不重叠的矩形块区域,这样,对于每帧图像均获得了相同的若干个划分的矩形块区域。至于具体的分割方法本文未做限定,只要能够分割成多个矩形块区域即可。
上述与当前帧最近的之前N帧图像中的N,具体数目可根据实际需要确定,例如,可以根据物体移动的速度,在相机中从出现到消失这段时间内所获得的帧数作为前述N的具体数目。
步骤102,计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度。
所谓运动障碍物置信度,是指基于运动补偿后的该块区域是否为障碍物的置信度,这里的运动补偿与现有的运动补偿稍有不同,现有的运动补偿通常只包括基于运动补偿的绝对程度,而本发明中的运动补偿包括基于运动补偿的绝对程度和相对程度。
可以理解,由于与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度的计算方法,和当前帧的每个块区域的运动障碍物置信度的计算方法相同,下面仅对当前帧的每个块区域的运动障碍物置信度的计算方法进行说明,对于与当前帧最近的之前N帧的不再重复说明。
参见图2,其是根据本发明实施例的计算当前帧的每个块区域的运动障碍物置信度的方法流程图。具体包括:
步骤201,获取相机运动参数。
本发明实施例中所获取的相机运动参数可以由传感器获得,如可以通过速度传感器和陀螺仪传感器等获取,也可以由序列图像用计算的方法获得,如采用光流方法、运动恢复结构(Structure form Motion,SFM)的方法或基于特征点检测、直接法等方法估计得到,如文献1“A robust method for computingvehicle ego-motion(一种计算自车运动的直接方法)”采用直接的方法估计运动参数,文献2“Transforming camera geometry to a virtual downward-lookingcamera:robust ego-motion estimation and ground-layer detection”采用改进的直接方法获得运动参数。本发明实施例采用文献1的直接估计方法获取相机运动参数。
在本发明实施例中设定世界坐标系[O;Xw,Yw,Zw]和前一时刻图像的相机的世界坐标系[O′;Xc,Yc,Zc]的原点O,O′重合,坐标轴之间可以有旋转角,世界坐标系的Zw轴平行于道路平面,Yw垂直于道路平面。如图3所示。
根据道路平面假设,相机运动参数m表示为m={tx,tz,ωy},即在Xw,Zw方向有一个平移,在Yw方向有一个旋转。
步骤202,生成当前帧之前n-k时刻的假想图像;其中,n>=2,k>=1;
所谓的假想图像是指假设前一时刻图像中所有像素点都是道路平面上的 点所成的像(其中Yw=相机高度),相机运动后,这些地面上的点在新的相机位置下所成的像,即为假想图像。如图4所示。下面以前一时刻图像上某点P为例,说明如何生成新的相机位置下的假想图像。
假设前一时刻图像上点P是道路平面上点P0所成的像(实际上是立体物上的点P1所成的像),相机运动后,P0所成的像点P′即为当前时刻假想图像上与P对应的点,即将点P的灰度值赋给点P′。基于这一原理,可以得到当前时刻假想图像上其它像素点与前一时刻图像上点的对应关系,从而可以得到新的相机位置下的当前时刻的假想图像。
下面说明如何求得假想图像中P′点的坐标。
以前一时刻图像中某一像素点P(r,c)为例,r,c分别为该点在图像中的行坐标和列坐标,P是道路平面上点P0(XW,YW,ZW)的所成的像点。
根据摄像机成像公式可以计算出点P0的世界坐标(Xw,Yw,Zw)。:
其中αx,αy,μ0,v0是相机内部参数,可由相机标定获得;
其中t=[Tx,Ty,Tz]T为平移向量,Tx,Ty,Yz为摄像机坐标系原点在世界坐标系下的位置,为相机外部参数,在安装相机时获得;
其中
为旋转矩阵,α,β,γ分别是摄像机坐标系绕世界坐标系X,Y,Z轴的旋转角,为相机外部参数,在安装相机时获得;
已知YW=摄像机高度,P(r,c)为像素的坐标;
求解上述方程,可得XW,ZW和ZC,ZC是P的在摄像机坐标系中Z轴的坐标。
利用获得的运动参数m={tx,tz,ωy}可得运动后摄像机坐标系原点在世界坐标系下的坐标为Tx+tx,Ty,Tz+tz,摄像机坐标系绕世界坐标系x,y,z轴的旋转 角变为α,β+ωy,γ。根据此时摄像机的旋转矩阵和平移矩阵,以及已经计算出的P0的世界坐标(XW,YW,ZW),再由上述摄像机成像公式(1),方程右端为已知,可求得左端未知数,即点P0在假象图像中的成像P′坐标。具体的,基于上述变换,可将之前某图像Fn-k上所有的点按运动参数运动,产生了一幅新的假想图像F′n。如果不考虑噪声的影响,在平面运动的假设前提下,假想图像中的平面区域与当前时刻的图像Fn的平面区域是完全一致的,而非平面区域则不同,以下将利用这个原理,确定区域为立体物的置信度。
步骤203,对于一个块区域计算当前帧与之前n-k时刻的假想图像的相似程度,将所述获得的相似程度作为基于运动补偿的第一运动置信度C_M_A1。
需要说明的是,本文将当前帧与之前n-k时刻的假想图像的相似程度称为第一运动置信度C_M_A1,该第一运动置信度实际是基于运动补偿绝对程度的;将当前帧与之前实际的n-k时刻图像的相似程度称为第二运动置信度C_M_A2,该第二运动置信度实际是经运动补偿的;而第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值实际是基于运动补偿相对程度的。
具体的,步骤203包括:针对图像Fn中某个块区域中的所有像素,在假想图像中寻找坐标相同的像素,然后基于对应点的像素值计算该块区域的当前时刻图像和当前时刻的假想图像的相似程度,从而获得该块区域为障碍物的第一运动置信度C_M_A1,其中可以采用归一化相关值(NC)计算所述相似程度NC:
其中,块区域的大小为N*M,X(i,j)为图像Fn中的像素(i,j)的灰度值,X′(i,j)为图像Fn的假想图像F′n中的像素(i,j)灰度值。
步骤204,对于一个块区域计算当前帧与之前n-k时刻图像的相似程度,将所述获得的相似程度作为不进行运动补偿的第二运动置信度C_M_A2;
具体的,针对图像Fn中某个块区域中的所有像素,在Fn-k中寻找坐标相 同的像素,然后基于对应点对的像素值计算该块区域的当前时刻图像和之前n-k时刻图像的相似程度,从而得该块区域为障碍物的第二运动置信度C_M_A2,其中可以采用归一化相关值(NC)计算所述相似程度NC:
其中,块区域的大小为N*M,X(i,j)为图像Fn中的像素(i,j)的灰度值,X″(i,j)为之前n-k时刻图像F″n中的像素(i,j)灰度值。
步骤205,确定运动障碍物置信度C_M。
具体的,若所述第一运动置信度C_M_A1的值大于第一运动阈值,且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值,则当前帧的该块区域的运动障碍物置信度C_M为1,否则当前帧的该块区域的运动障碍物置信度C_M为0。
也就是说,上述运动障碍物置信度C_M是基于运动补偿绝对程度(即C_M_A1的值大于第一运动阈值的情况),与基于运动补偿相对程度(即C_M_A1与C_M_A2的比值大于第二运动阈值的情况)获得的。
其中需要说明的是,第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值是一个广义的概念,该比值既可以是C_M_A1/C_M_A2的值,也可以是(C_M_A1-C_M_A2)/(1-C_M_A2)的值,还可以是其他表现形式的值。
步骤206,重复执行上述步骤203~205,直到计算出每个块区域的运动障碍物置信度。
步骤103,计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的特征障碍物置信度C_F。
其中,所述特征障碍物置信度包括基于垂直特性的特征障碍物置信度、基于垂直边缘特性的特征障碍物置信度,或者基于纹理特性的特征障碍物置信度。
下面以垂直特性为例,具体说明如何计算特征障碍物置信度C_F。
步骤a,判断当前帧一块区域是否具有垂直属性,若有则当前帧该块区 域的特征障碍物置信度C_F为1,否则当前帧的该块区域的特征障碍物置信度C_F为0。具体的判断当前帧一块区域是否具有垂直属性的步骤包括:
a01)计算一个块区域的垂直方向的强度Iv;
其中,中ci,j是当前帧图像的第i行,第j列像素的灰度值,k为整数,i,j∈R,R为该图像块区域,N为图像宽度,M为图像高度。
a02)若步骤a01)所述垂直方向的强度Iv大于强度阈值T,即Iv>T,则所述块区域具有垂直属性,否则所述块区域不具有垂直属性。
步骤b,重复执行步骤a,直到计算出每个块区域的特征障碍物置信度。
步骤104,根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度,和每个块区域的特征障碍物置信度,依次确定当前帧图像中每个块区域是否为障碍物。
具体的,取一块区域对应最近N帧的运动障碍物置信度,设为C_Mt,C_Mt-1,...,C_Mt-N-1,统计运动障碍物置信度的值等于1的数量Sum_M;
取该块区域对应最近N帧的特征置信度,设为C_Ft,C_Ft-1,...,C_Ft-N-1,统计特征障碍物置信度的值等于1的数量Sum_F;
若Sum_M大于第一数量阈值S_M_Limit,且Sum_F大于第二数量阈值C_F_Limit,则总置信度C_Total为1,否则为0。
若当前帧图像中所述某个块区域的总置信度C_Total为1,则该块区域为障碍物,否则该块区域为非障碍物。
也就是说,若当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值,且,当前帧及与当前帧最近的之前N帧所对应的所述某个相同块区域的特征障碍物置信度的值等于1的数量大于第二数量阈值,则当前帧图像中该块区域的总置信度C_Total为1,否则该块区域的总置信度C_Total为0;在当前帧图像中某个块区域的总置信度C_Total为1时,则该块区域为障碍物,否则该块区域为非障碍物。
步骤105,根据每个块区域确定图像中的障碍物。
具体的,当判断出每个块区域是否为障碍物后,综合所有结果,即可得到图像中的障碍物。
可见,图1所提供的识别图像中障碍物的方法,与传统仅基于运动补偿方法相比,不但采用了基于运动补偿的绝对程度的策略,还采用了基于运动补偿的相对的策略,并在此基础上进一步融合了特征分析的策略,从而在降低了误检测率的同时提高了检测的准确率,能够准确的判断出图像中的障碍物。
图1所示为一较佳实施例,在实际应用中,还可以有另一种情况是,即,只进行运动补偿(包括绝对程度和相对程度),而不再基于特征分析进行补偿,这同样可以达到降低了误检测率的目的。这种实施方式下,与图1所示步骤基本相同,其区别是,不再执行步骤103,相应的步骤104变为:根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度,依次确定当前帧图像中每个块区域是否为障碍物。其中,确定当前帧图像中每个块区域是否为障碍物的步骤包括:
具体的,取一块区域对应最近N帧的运动障碍物置信度,设为C_Mt,C_Mt-1,...,C_Mt-N-1,统计运动障碍物置信度的值等于1的数量Sum_M;若Sum_M大于第一数量阈值S_M_Limit,则总置信度C_Total为1,否则为0。
若当前帧图像中所述某个块区域的总置信度C_Total为1,则该块区域为障碍物,否则该块区域为非障碍物。
也就是说,若当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值,则当前帧图像中该块区域的总置信度C_Total为1,否则该块区域的总置信度C_Total为0;在当前帧图像中某个块区域的总置信度C_Total为1时,则该块区域为障碍物,否则该块区域为非障碍物。
本发明实施例还提供了一种识别图像中障碍物的装置,参见图5,其与图1所示实施例对应,包括:图像分割单元501、运动障碍物置信度计算单元502、特征障碍物置信度计算单元503、第二块区域障碍物识别单元504 和障碍物确定单元505。其中,
图像分割单元501,用于获取当前帧以及与当前帧最近的之前N帧的图像,对所获取的每帧图像按相同的方式进行划分,对于每帧图像均获得若干个划分后的块区域;
运动障碍物置信度计算单元502,用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度,
特征障碍物置信度计算单元503,用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的特征障碍物置信度;该特征障碍物置信度可以包括基于垂直特性的特征障碍物置信度、基于垂直边缘特性的特征障碍物置信度,或者基于纹理特性的特征障碍物置信度。
第二块区域障碍物识别单元504,用于根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度,和每个块区域的特征障碍物置信度,依次确定当前帧图像中每个块区域是否为障碍物;
障碍物确定单元505,用于根据每个块区域确定图像中的障碍物。
上述运动障碍物置信度计算单元502还可以包括:假想图像生成单元、第一运动置信度计算单元、第二运动置信度计算单元以及运动障碍物置信度确定单元。其中,
假想图像生成单元,用于获取运动参数,生成当前帧之前n-k时刻的假想图像;n>=2,k>=1;
第一运动置信度计算单元,用于对于一个块区域计算当前帧与所述假想图像的相似程度,获得第一运动置信度C_M_A1;
第二运动置信度计算单元,对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度,获得第二运动置信度C_M_A2;
运动障碍物置信度确定单元,用于在所述第一运动置信度C_M_A1的值大于第一运动阈值,且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值时,确定当前帧的该块区域的运动障碍物置信度C_M为1,否则确定当前帧的该块区域的运动障碍物置信度C_M为0;
当上述特征障碍物置信度基于垂直特性时,所述特征障碍物置信度计算 单元503可以包括:垂直属性判断单元和特征障碍物置信度确定单元。其中,
垂直属性判断单元,用于判断当前帧的某一块区域是否具有垂直属性,将判断结果通知给特征障碍物置信度确定单元;
特征障碍物置信度确定单元,用于获知当前帧某块区域具有垂直属性时,确定当前帧该块区域的特征障碍物置信度为1,否则确定当前帧的该块区域的特征障碍物置信度C_F为0。
上述第二块区域障碍物识别单元504可以包括:第二总置信度确定单元和第二识别单元,其中,
第二总置信度确定单元,用于在当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值,且,当前帧及与当前帧最近的之前N帧所对应的所述某个相同块区域的特征障碍物置信度的值等于1的数量大于第二数量阈值时,确定当前帧图像中该块区域的总置信度C_Total为1,否则确定该块区域的总置信度C_Total为0;
第二识别单元,用于获知当前帧图像中所述某个块区域的总置信度C_Total为1时,确定该块区域为障碍物,否则确定该块区域为非障碍物。
本发明实施例还提供了一种识别图像中障碍物的装置,参见图6,其与图5所示实施例的区别是,不包括特征障碍物置信度计算单元503,也即,图6所示装置包括:图像分割单元601、运动障碍物置信度计算单元602、第一块区域障碍物识别单元603和障碍物确定单元604。其中,
图像分割单元601,用于获取当前帧以及与当前帧最近的之前N帧的图像,对所获取的每帧图像按相同方式进行划分,对于每帧图像均获得若干个划分后的块区域;
运动障碍物置信度计算单元602,用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度,
第一块区域障碍物识别单元603,用于根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度,依次确定当前帧图像中每个块区域是否为障碍物;
障碍物确定单元604,用于根据每个块区域确定图像中的障碍物。
上述运动障碍物置信度计算单元602与图5中的运动障碍物置信度计算单元502相同,包括:假想图像生成单元、第一运动置信度计算单元、第二运动置信度计算单元以及运动障碍物置信度确定单元,具体不再赘述。
上述第一块区域障碍物识别单元603可以包括:
第一总置信度确定单元,用于在当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值时,确定当前帧图像中该块区域的总置信度C_Total为1,否则确定该块区域的总置信度C_Total为0;
第一识别单元,用于获知当前帧图像中所述某个块区域的总置信度C_Total为1时,确定该块区域为障碍物,否则确定该块区域为非障碍物。
应用本发明所提供的识别图像中障碍物的装置,与传统仅基于运动补偿的逻辑装置相比,不但采用了基于运动补偿的绝对程度的策略,还采用了基于运动补偿的相对的策略,并在此基础上进一步融合了特征分析的策略,从而在降低了误检测率的同时提高了检测的准确率,能够准确的判断出图像中的障碍物。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (17)
1.一种识别图像中障碍物的方法,其特征在于,包括:
获取当前帧以及与当前帧最近的之前N帧的图像,对所获取的每帧图像按相同方式进行划分,对于每帧图像均获得若干个划分后的块区域;
计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度;
根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度,依次确定当前帧图像中每个块区域是否为障碍物;
根据每个块区域确定图像中的障碍物。
2.根据权利要求1所述的方法,其特征在于,所述计算当前帧的每个块区域的运动障碍物置信度的步骤包括:
i)获取运动参数,生成当前帧之前n-k时刻的假想图像;n>=2,k>=1;
ii)对于一个块区域计算当前帧与所述假想图像的相似程度,获得第一运动置信度C_M_A1;
iii)对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度,获得第二运动置信度C_M_A2;
iv)若所述第一运动置信度C_M_A1的值大于第一运动阈值,且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值,则当前帧的该块区域的运动障碍物置信度C_M为1,否则当前帧的该块区域的运动障碍物置信度C_M为0;
v)重复执行步骤ii)至iv),直到计算出每个块区域的运动障碍物置信度。
3.根据权利要求2所述的方法,其特征在于,所述确定当前帧图像中每个块区域是否为障碍物的步骤包括:
若当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值,则当前帧图像中该块区域的总置信度C_Total为1,否则该块区域的总置信度C_Total为0;
若当前帧图像中所述某个块区域的总置信度C_Total为1,则该块区域为障碍物,否则该块区域为非障碍物。
4.一种识别图像中障碍物的方法,其特征在于,包括:
获取当前帧以及与当前帧最近的之前N帧的图像,对所获取的每帧图像按相同方式进行划分,对于每帧图像均获得若干个划分后的块区域;
计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度,和每个块区域的特征障碍物置信度;
根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度,和每个块区域的特征障碍物置信度,依次确定当前帧图像中每个块区域是否为障碍物;
根据每个块区域确定图像中的障碍物。
5.根据权利要求4所述的方法,其特征在于,所述计算当前帧的每个块区域的运动障碍物置信度的步骤包括:
i)获取运动参数,生成当前帧之前n-k时刻的假想图像;n>=2,k>=1;
ii)对于一个块区域计算当前帧与所述假想图像的相似程度,获得第一运动置信度C_M_A1;
iii)对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度,获得第二运动置信度C_M_A2;
iv)若所述第一运动置信度C_M_A1的值大于第一运动阈值,且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值,则当前帧的该块区域的运动障碍物置信度C_M为1,否则当前帧的该块区域的运动障碍物置信度C_M为0;
v)重复执行步骤ii)至iv),直到计算出每个块区域的运动障碍物置信度。
6.根据权利要求4所述的方法,其特征在于,所述特征障碍物置信度包括基于垂直特性的特征障碍物置信度、或者基于纹理特性的特征障碍物置信度。
7.根据权利要求6所述的方法,其特征在于,所述根据垂直特性计算当前帧的每个块区域的特征障碍物置信度的步骤包括:
a)判断当前帧一块区域是否具有垂直属性,若有则当前帧该块区域的特征障碍物置信度为1,否则当前帧的该块区域的特征障碍物置信度C_F为0;
b)重复执行步骤a),直到计算出每个块区域的特征障碍物置信度。
9.根据权利要求7所述的方法,其特征在于,所述确定当前帧图像中每个块区域是否为障碍物的步骤包括:
若当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值,且,当前帧及与当前帧最近的之前N帧所对应的所述某个相同块区域的特征障碍物置信度的值等于1的数量大于第二数量阈值,则当前帧图像中该块区域的总置信度C_Total为1,否则该块区域的总置信度C_Total为0;
若当前帧图像中所述某个块区域的总置信度C_Total为1,则该块区域为障碍物,否则该块区域为非障碍物。
10.一种识别图像中障碍物的装置,其特征在于,包括:
图像分割单元,用于获取当前帧以及与当前帧最近的之前N帧的图像,对所获取的每帧图像按相同方式进行划分,对于每帧图像均获得若干个划分后的块区域;
运动障碍物置信度计算单元,用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度,
第一块区域障碍物识别单元,用于根据所述当前帧以及与当前帧最近的之前N帧的所述每个块区域的运动障碍物置信度,依次确定当前帧图像中每个块区域是否为障碍物;
障碍物确定单元,用于根据每个块区域确定图像中的障碍物。
11.根据权利要求10所述的装置,其特征在于,所述运动障碍物置信度计算单元包括:
假想图像生成单元,用于获取运动参数,生成当前帧之前n-k时刻的假想图像;n>=2,k>=1;
第一运动置信度计算单元,用于对于一个块区域计算当前帧与所述假想图像的相似程度,获得第一运动置信度C_M_A1;
第二运动置信度计算单元,对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度,获得第二运动置信度C_M_A2;
运动障碍物置信度确定单元,用于在所述第一运动置信度C_M_A1的值大于第一运动阈值,且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值时,确定当前帧的该块区域的运动障碍物置信度C_M为1,否则确定当前帧的该块区域的运动障碍物置信度C_M为0。
12.根据权利要求10所述的装置,其特征在于,所述第一块区域障碍物识别单元包括:
第一总置信度确定单元,用于在当前帧及与当前帧最近的之前N帧所对应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值时,确定当前帧图像中该块区域的总置信度C_Total为1,否则确定该块区域的总置信度C_Total为0;
第一识别单元,用于获知当前帧图像中所述某个块区域的总置信度C_Total为1时,确定该块区域为障碍物,否则确定该块区域为非障碍物。
13.一种识别图像中障碍物的装置,其特征在于,包括:
图像分割单元,用于获取当前帧以及与当前帧最近的之前N帧的图像,对所获取的每帧图像按相同方式进行划分,对于每帧图像均获得若干个划分后的块区域;
运动障碍物置信度计算单元,用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的运动障碍物置信度,
特征障碍物置信度计算单元,用于计算当前帧以及与当前帧最近的之前N帧所对应的每个块区域的特征障碍物置信度;
第二块区域障碍物识别单元,用于根据所述当前帧以及与当前帧最近的 之前N帧的所述每个块区域的运动障碍物置信度,和每个块区域的特征障碍物置信度,依次确定当前帧图像中每个块区域是否为障碍物;
障碍物确定单元,用于根据每个块区域确定图像中的障碍物。
14.根据权利要求13所述的装置,其特征在于,所述运动障碍物置信度计算单元包括:
假想图像生成单元,用于获取运动参数,生成当前帧之前n-k时刻的假想图像;n>=2,k>=1;
第一运动置信度计算单元,用于对于一个块区域计算当前帧与所述假想图像的相似程度,获得第一运动置信度C_M_A1;
第二运动置信度计算单元,对于一个块区域计算当前帧与当前帧之前n-k时刻图像的相似程度,获得第二运动置信度C_M_A2;
运动障碍物置信度确定单元,用于在所述第一运动置信度C_M_A1的值大于第一运动阈值,且所述第一运动置信度C_M_A1与第二运动置信度C_M_A2的比值大于第二运动阈值时,确定当前帧的该块区域的运动障碍物置信度C_M为1,否则确定当前帧的该块区域的运动障碍物置信度C_M为0。
15.根据权利要求13所述的装置,其特征在于,所述特征障碍物置信度包括基于垂直特性的特征障碍物置信度或者基于纹理特性的特征障碍物置信度。
16.根据权利要求15所述的方法,其特征在于,在所述特征障碍物置信度基于垂直特性时,所述特征障碍物置信度计算单元包括:
垂直属性判断单元,用于判断当前帧的某一块区域是否具有垂直属性,将判断结果通知给特征障碍物置信度确定单元;
特征障碍物置信度确定单元,用于获知当前帧某块区域具有垂直属性时,确定当前帧该块区域的特征障碍物置信度为1,否则确定当前帧的该块区域的特征障碍物置信度C_F为0。
17.根据权利要求13所述的装置,其特征在于,所述第二块区域障碍物识别单元包括:
第二总置信度确定单元,用于在当前帧及与当前帧最近的之前N帧所对 应的某个相同块区域的运动障碍物置信度的值等于1的数量大于第一数量阈值,且,当前帧及与当前帧最近的之前N帧所对应的所述某个相同块区域的特征障碍物置信度的值等于1的数量大于第二数量阈值时,确定当前帧图像中该块区域的总置信度C_Total为1,否则确定该块区域的总置信度C_Total为0;
第二识别单元,用于获知当前帧图像中所述某个块区域的总置信度C_Total为1时,确定该块区域为障碍物,否则确定该块区域为非障碍物。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101858334A CN101419667B (zh) | 2008-12-15 | 2008-12-15 | 识别图像中障碍物的方法和装置 |
PCT/CN2009/071577 WO2010069167A1 (zh) | 2008-12-15 | 2009-04-30 | 识别图像中障碍物的方法和装置 |
JP2011539877A JP5276721B2 (ja) | 2008-12-15 | 2009-04-30 | 画像中の障害物を識別する方法および装置 |
US13/133,546 US8406474B2 (en) | 2008-12-15 | 2009-04-30 | Method and apparatus for identifying obstacle in image |
DE112009003144.7T DE112009003144B4 (de) | 2008-12-15 | 2009-04-30 | Verfahren und Vorrichtung zum Feststellen eines Hindernisses in einem Bild |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101858334A CN101419667B (zh) | 2008-12-15 | 2008-12-15 | 识别图像中障碍物的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101419667A CN101419667A (zh) | 2009-04-29 |
CN101419667B true CN101419667B (zh) | 2010-12-08 |
Family
ID=40630453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008101858334A Active CN101419667B (zh) | 2008-12-15 | 2008-12-15 | 识别图像中障碍物的方法和装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8406474B2 (zh) |
JP (1) | JP5276721B2 (zh) |
CN (1) | CN101419667B (zh) |
DE (1) | DE112009003144B4 (zh) |
WO (1) | WO2010069167A1 (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101419667B (zh) | 2008-12-15 | 2010-12-08 | 东软集团股份有限公司 | 识别图像中障碍物的方法和装置 |
US9129523B2 (en) * | 2013-05-22 | 2015-09-08 | Jaybridge Robotics, Inc. | Method and system for obstacle detection for vehicles using planar sensor data |
US9959595B2 (en) | 2010-09-21 | 2018-05-01 | Mobileye Vision Technologies Ltd. | Dense structure from motion |
US9118816B2 (en) | 2011-12-06 | 2015-08-25 | Mobileye Vision Technologies Ltd. | Road vertical contour detection |
US9280711B2 (en) * | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
US9297641B2 (en) | 2011-12-12 | 2016-03-29 | Mobileye Vision Technologies Ltd. | Detection of obstacles at night by analysis of shadows |
US9256791B2 (en) | 2012-12-04 | 2016-02-09 | Mobileye Vision Technologies Ltd. | Road vertical contour detection |
CN103413308B (zh) * | 2013-08-01 | 2016-07-06 | 东软集团股份有限公司 | 一种障碍物检测方法和装置 |
CN104424648B (zh) * | 2013-08-20 | 2018-07-24 | 株式会社理光 | 对象跟踪方法和设备 |
CN104299244B (zh) * | 2014-09-26 | 2017-07-25 | 东软集团股份有限公司 | 基于单目相机的障碍物检测方法及装置 |
US10635909B2 (en) * | 2015-12-30 | 2020-04-28 | Texas Instruments Incorporated | Vehicle control with efficient iterative triangulation |
WO2017147747A1 (en) * | 2016-02-29 | 2017-09-08 | SZ DJI Technology Co., Ltd. | Obstacle avoidance during target tracking |
US10163015B2 (en) * | 2016-11-16 | 2018-12-25 | Ford Global Technologies, Llc | Detecting foliage using range data |
CN107049717B (zh) * | 2016-11-23 | 2019-03-01 | 杭州视氪科技有限公司 | 一种基于rgb-d相机和立体声的视障人士斑马线检测系统及方法 |
WO2020024234A1 (zh) * | 2018-08-02 | 2020-02-06 | 深圳前海达闼云端智能科技有限公司 | 路径导航方法、相关装置及计算机可读存储介质 |
CN109658450B (zh) * | 2018-12-17 | 2020-10-13 | 武汉天乾科技有限责任公司 | 一种基于无人机的快速正射影像生成方法 |
CN110135278B (zh) * | 2019-04-23 | 2023-05-12 | 腾讯科技(上海)有限公司 | 一种障碍物检测方法、装置及电子设备 |
CN110674705B (zh) * | 2019-09-05 | 2022-11-29 | 北京智行者科技股份有限公司 | 基于多线激光雷达的小型障碍物检测方法及装置 |
CN110765970B (zh) * | 2019-10-31 | 2022-08-09 | 北京地平线机器人技术研发有限公司 | 最近障碍物的确定方法和装置、存储介质、电子设备 |
CN111231982B (zh) * | 2020-01-08 | 2021-05-04 | 中国第一汽车股份有限公司 | 一种智能驾驶的障碍物识别方法、装置、车辆和存储介质 |
CN111950502B (zh) * | 2020-08-21 | 2024-04-16 | 东软睿驰汽车技术(沈阳)有限公司 | 基于障碍对象的检测方法、装置及计算机设备 |
CN113771846B (zh) * | 2020-10-28 | 2023-08-04 | 北京京东乾石科技有限公司 | 用于车辆的自动控制方法、装置、系统和介质 |
CN113077657B (zh) * | 2021-03-30 | 2022-07-05 | 上海华兴数字科技有限公司 | 车辆间安全距离报警方法及装置 |
US11624831B2 (en) | 2021-06-09 | 2023-04-11 | Suteng Innovation Technology Co., Ltd. | Obstacle detection method and apparatus and storage medium |
CN113253299B (zh) * | 2021-06-09 | 2022-02-01 | 深圳市速腾聚创科技有限公司 | 障碍物检测方法、装置及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10222679A (ja) * | 1997-02-04 | 1998-08-21 | Toyota Motor Corp | 車両用画像処理装置 |
JP4004653B2 (ja) * | 1998-08-03 | 2007-11-07 | カスタム・テクノロジー株式会社 | 動きベクトル検出方法および装置、記録媒体 |
US7446798B2 (en) | 2003-02-05 | 2008-11-04 | Siemens Corporate Research, Inc. | Real-time obstacle detection with a calibrated camera and known ego-motion |
DE102006001033A1 (de) | 2005-03-03 | 2006-09-07 | Volkswagen Ag | Vorrichtung und Verfahren zur Erkennung eines Objektes für ein Kraftfahrzeug |
CN100370808C (zh) * | 2005-06-13 | 2008-02-20 | 北京中星微电子有限公司 | 一种运动检测方法 |
CN100559836C (zh) * | 2007-09-20 | 2009-11-11 | 宝利微电子系统控股公司 | 一种数字图像降噪方法 |
CN101179725A (zh) | 2007-12-12 | 2008-05-14 | 北京中星微电子有限公司 | 一种运动检测方法与装置 |
CN101419667B (zh) | 2008-12-15 | 2010-12-08 | 东软集团股份有限公司 | 识别图像中障碍物的方法和装置 |
-
2008
- 2008-12-15 CN CN2008101858334A patent/CN101419667B/zh active Active
-
2009
- 2009-04-30 JP JP2011539877A patent/JP5276721B2/ja active Active
- 2009-04-30 US US13/133,546 patent/US8406474B2/en active Active
- 2009-04-30 WO PCT/CN2009/071577 patent/WO2010069167A1/zh active Application Filing
- 2009-04-30 DE DE112009003144.7T patent/DE112009003144B4/de active Active
Also Published As
Publication number | Publication date |
---|---|
DE112009003144B4 (de) | 2019-05-29 |
WO2010069167A1 (zh) | 2010-06-24 |
JP2012512446A (ja) | 2012-05-31 |
CN101419667A (zh) | 2009-04-29 |
US8406474B2 (en) | 2013-03-26 |
US20110262009A1 (en) | 2011-10-27 |
DE112009003144T5 (de) | 2012-07-05 |
JP5276721B2 (ja) | 2013-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101419667B (zh) | 识别图像中障碍物的方法和装置 | |
CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
CN105225482B (zh) | 基于双目立体视觉的车辆检测系统和方法 | |
CN102999759B (zh) | 一种基于光流的车辆运动状态估计方法 | |
US7660436B2 (en) | Stereo-vision based imminent collision detection | |
US6301370B1 (en) | Face recognition from video images | |
US7899211B2 (en) | Object detecting system and object detecting method | |
US7262710B2 (en) | Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles | |
CN101909165B (zh) | 一种基于混合测度的视频数据宽景成像方法 | |
WO2022151664A1 (zh) | 一种基于单目摄像头的3d物体检测方法 | |
CN108288047A (zh) | 一种行人/车辆检测方法 | |
CN111678518B (zh) | 一种用于修正自动泊车路径的视觉定位方法 | |
CN106127145A (zh) | 瞳孔定位及跟踪方法 | |
KR101869266B1 (ko) | 극한 심층학습 기반 차선 검출 시스템 및 그 방법 | |
KR101483742B1 (ko) | 지능형 차량의 차선 검출방법 | |
CN106534833A (zh) | 一种联合空间时间轴的双视点立体视频稳定方法 | |
JP5501084B2 (ja) | 平面領域検出装置及びステレオカメラシステム | |
JP3786618B2 (ja) | 画像処理装置及びその方法 | |
CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
CN113221739B (zh) | 基于单目视觉的车距测量方法 | |
EP1580684B1 (en) | Face recognition from video images | |
JP2001141425A (ja) | 3次元形状計測装置 | |
JP2009070097A (ja) | 車長計測装置および車種判定装置 | |
CN101719276B (zh) | 一种检测图像中物体的方法和装置 | |
CN100426318C (zh) | 基于aam的对象定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20211108 Address after: 201801 room 1703, No. 888, Moyu South Road, Anting Town, Jiading District, Shanghai Patentee after: NEUSOFT REACH AUTOMOTIVE TECHNOLOGY (SHANGHAI) Co.,Ltd. Address before: Hunnan rookie street Shenyang city Liaoning province 110179 No. 2 Patentee before: NEUSOFT Corp. |