CN101408978B - 一种基于单目视觉的障碍物检测方法及装置 - Google Patents

一种基于单目视觉的障碍物检测方法及装置 Download PDF

Info

Publication number
CN101408978B
CN101408978B CN2008101804512A CN200810180451A CN101408978B CN 101408978 B CN101408978 B CN 101408978B CN 2008101804512 A CN2008101804512 A CN 2008101804512A CN 200810180451 A CN200810180451 A CN 200810180451A CN 101408978 B CN101408978 B CN 101408978B
Authority
CN
China
Prior art keywords
barrier
current time
image
candidate
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008101804512A
Other languages
English (en)
Other versions
CN101408978A (zh
Inventor
刘威
张莹莹
段勃勃
袁淮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Ruichi Automotive Technology Wuhan Co ltd
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN2008101804512A priority Critical patent/CN101408978B/zh
Publication of CN101408978A publication Critical patent/CN101408978A/zh
Priority to PCT/CN2009/071566 priority patent/WO2010060287A1/zh
Application granted granted Critical
Publication of CN101408978B publication Critical patent/CN101408978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于单目视觉的障碍物检测方法及装置,所述方法包括:对当前时刻的图像进行分割,获得若干个分割后的区域;获取自车运动参数,将当前时刻的前t时刻图像上所有的像素点按照所述自车运动参数运动后生成当前时刻的假想图像;计算所述当前时刻图像和当前时刻的假想图像的相似程度,确定当前时刻图像中的候选障碍物区域;计算所述当前时刻图像中的每个候选障碍物区域与所述每个分割后区域是否有交集,若有,则计算交集部分的像素点面积与对应分割区域像素点面积所构成的障碍物判别百分比,根据所述障碍物判别百分比以及预先设定的障碍物阈值确定障碍物。本发明具有误检测率低且障碍物检测完整的优点。

Description

一种基于单目视觉的障碍物检测方法及装置 
技术领域
本发明涉及障碍物识别技术领域,特别涉及一种基于单目视觉的障碍物检测方法及装置。 
背景技术
在本领域,障碍物通常是指高于地面的立体物。 
目前,基于运动补偿的方法是基于单目视觉的障碍物检测常用方法之一。它的原理是在道路平坦、短时间内光照条件不变前提下,道路平面的任一点在相邻时刻图像帧内所成对应像点的像素值不变。如果假设前一时刻图像中所有的点都是路面上的点的对应的成像点,则由相机运动参数和成像原理,能够计算出由前一时刻图像中所有的点在下一时刻相机发生运动后所组成的假想图像,则该假设图像与当前时刻实际拍摄到的图像的差异都是由于那些不是道路平面上的点所引起的。这些差异所对应的图像像素即可能是突出地面的障碍物。由于它通常基于道路是平面的和短时间内光照条件不变这两个假设前提,实际情况下这两种假设前提不满足时,会导致误检测或检测的障碍物不完整。 
发明内容
本发明实施例提供一种基于单目视觉的障碍物检测方法及装置,以降低误检测率、并使检测出的障碍物更完整。 
本发明实施例提供了一种基于单目视觉的障碍物检测方法,包括: 
对当前时刻的图像进行分割,获得若干个分割后的区域; 
获取自车运动参数,将当前时刻的前t时刻图像上所有的像素点按照所述自车运动参数运动后生成当前时刻的假想图像;其中,t≥1; 
计算所述当前时刻图像和当前时刻的假想图像的相似程度,确定当前时刻图像中的候选障碍物区域; 
计算所述当前时刻图像中的每个候选障碍物区域与所述每个分割后区域 是否有交集,若有,则计算交集部分的像素点面积与对应分割区域像素点面积所构成的障碍物判别百分比,根据所述障碍物判别百分比以及预先设定的障碍物阈值确定障碍物。 
其中,所述对当前时刻的图像进行的分割采用基于颜色和距离信息的区域分割方法、基于区域增长的分割方法、或基于边缘的分割方法。 
其中,计算所述当前时刻图像和当前时刻的假想图像的相似程度,确定当前时刻图像中的候选障碍物区域的步骤包括: 
i)将所述当前时刻图像和当前时刻的假象图像都分成若干n×n小块,其中所述n为自然数; 
ii)利用归一化相关值NC算法,计算所述当前时刻图像中的某n×n小块与当前时刻的假想图像对应位置的n×n小块的相似程度值NC; 
iii)若所述相似程度值NC大于预设的相似度阈值,则判定所述当前时刻图像中的该当前n×n小块为障碍物块; 
iv)重复步骤ii)和iii),依次计算所有小块相似程度值NC,获得当前时刻图像中的所有障碍物块; 
v)根据所述障碍物块以及连通原则确定当前时刻图像中的候选障碍物区域。 
其中,步骤ii)所述利用NC算法,计算所述当前时刻图像中的某n×n小块与当前时刻的假想图像对应位置的n×n小块的相似程度值NC的步骤包括: 
令p″(x,y)和p′(x,y)分别表示当前时刻图像某像素点和假想的当前时刻图像某像素点的灰度值,则所述相似程度值NC为 
NC = Σ x = 1 n Σ y = 1 n p ′ ′ ( x , y ) × p ′ ( x , y ) Σ x = 1 n Σ y = 1 n p ′ ′ 2 ( x , y ) × Σ x = 1 n Σ y = 1 n p ′ 2 ( x , y )
其中,n为自然数。 
其中,步骤v)所述连通原则为8连通原则,或4连通原则。 
其中,根据所述障碍物判别百分比以及预先设定的障碍物阈值确定障碍物的步骤包括: 
若所述障碍物判别百分比大于预先设定的第一障碍物阈值,则判定该障碍物判别百分比所对应的候选障碍物区域为障碍物,并利用所对应的障碍物判别百分比最大的分割区域表示障碍物; 
若所述障碍物判别百分比小于预先设定的第二障碍物阈值,则判定该候选障碍物区域为非障碍物; 
若所述障碍物判别百分比小于等于预先设定的第一障碍物阈值,且大于等于预先设定的第二障碍物阈值;则判定该障碍物判别百分比所对应的候选障碍物区域为障碍物,并利用所述候选障碍物区域表示障碍物。 
本发明实施例还提供了一种基于单目视觉的障碍物检测装置,包括: 
图像分割单元,用于对当前时刻的图像进行分割,获得若干个分割后的区域; 
自车运动参数获取单元,用于获取自车运动参数; 
假想图像生成单元,用于将当前时刻的前t时刻图像上所有的像素点按照所述自车运动参数运动后生成当前时刻的假想图像;其中,t≥1; 
候选障碍物区域生成单元,用于计算所述当前时刻图像和当前时刻的假想图像的相似程度,确定当前时刻图像中的候选障碍物区域; 
障碍物判别百分比生成单元,用于计算所述当前时刻图像中的每个候选障碍物区域与所述每个分割后区域是否有交集,若有,则计算交集部分的像素点面积与对应分割区域像素点面积所构成的障碍物判别百分比; 
障碍物检测单元,用于根据所述障碍物判别百分比以及预先设定的障碍物阈值确定障碍物。 
其中,所述候选障碍物区域生成单元包括: 
图像划分单元,用于将所述当前时刻图像和当前时刻的假象图像都分成若干n×n小块,其中所述n为自然数; 
相似程度值计算单元,用于利用NC的相关算法,计算所述当前时刻图像中的某n×n小块与当前时刻的假想图像对应位置的n×n小块的相似程度值NC; 
障碍物块判定单元,用于在所述相似程度值NC大于预设的相似度阈值时,判定所述当前时刻图像中的该当前n×n小块为障碍物块; 
生成单元,用于计算所有小块的相似程度值NC,获得当前时刻图像中 的所有障碍物块;根据所述障碍物块以及连通原则确定当前时刻图像中的候选障碍物区域。 
其中,所述障碍物检测单元包括: 
判别单元,用于判断出所述障碍物判别百分比大于预先设定的第一障碍物阈值时,判定该障碍物判别百分比所对应的候选障碍物区域为障碍物,并通知障碍物表示单元利用对应的障碍物判别百分比最大的分割区域表示障碍物; 
判断出所述障碍物判别百分比小于预先设定的第二障碍物阈值时,判定该候选障碍物区域为非障碍物; 
判断出所述障碍物判别百分比小于等于预先设定的第一障碍物阈值,且大于等于预先设定的第二障碍物阈值时;判定该候选障碍物区域为障碍物,并通知障碍物表示单元利用所述候选障碍物区域表示障碍物; 
障碍物表示单元,用于根据接收到的通知表示障碍物。 
其中,所述连通原则为8连通原则,或4连通原则。 
应用本发明实施例提供一种基于单目视觉的障碍物检测方法及装置,采用了基于图像块相似程度的方法产生候选障碍物区域,并结合运动补偿结果产生的障碍物候选区域来综合判断、产生最终的障碍物区域,与传统的运动补偿方法相比,由于采用当前时刻图像中的每个候选障碍物区域与每个分割后区域的交集作为最终的障碍物区域,因而具有误检测率低且障碍物检测完整的优点。 
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。 
图1是根据本发明实施例的基于单目视觉的障碍物检测方法流程图; 
图2是图像中任意像素点与其相邻的八邻域中任一像素点所构成的边的示意图;
图3是根据本发明实施例的所设定的世界坐标系和前一时刻图像的摄相机的世界坐标系的关系示意图; 
图4是根据本发明实施例的当前时刻假想图像的示意图; 
图5是根据本发明实施例的一个块的8邻域块的位置示意图; 
图6是根据本发明实施例的基于单目视觉的障碍物检测装置原理图。 
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。 
本发明实施例提供的一种基于单目视觉的障碍物检测方法,包括:对当前时刻的图像进行分割,获得若干个分割后的区域;获取自车运动参数,将当前时刻的前一时刻图像上所有的像素点按照所述自车运动参数运动后生成当前时刻的假想图像;利用相关算法计算所述当前时刻图像和当前时刻的假想图像的相似程度,确定当前时刻图像中的候选障碍物区域;统计所述当前时刻图像中的每个候选障碍物区域与所述每个分割后区域是否有交集,若有,则计算交集部分的像素点面积与对应分割区域像素点面积所构成的障碍物判别百分比,根据所述障碍物判别百分比以及预先设定的障碍物阈值确定障碍物。由于采用基于图像块相似程度的方法产生候选障碍物区域,并结合运动补偿结果产生的障碍物候选区域来综合判断、产生最终的障碍物区域,与传统的运动补偿方法相比,由于采用上述结果的交集作为最终的障碍物区域,具有误检测率低且障碍物检测完整的优点。 
下面结合附图具体说明。 
参见图1,其是根据本发明实施例的基于单目视觉的障碍物检测方法流程图。具体包括: 
步骤101,对当前时刻的图像进行分割,获得若干个分割后的区域。 
具体的可以采用基于颜色和距离信息的区域分割方法、基于区域增长的分割方法、或基于边缘的分割方法、或他的分割对当前时刻的图像进行分割; 本发明实施例并不对具体的分割方法进行限制,只要能将当前时刻的图像进行分割,可以获得若干个分割后的区域即可。下面以基于颜色和距离信息的区域分割方法为例,来详细说明如何进行分割。 
首先,假设待分割的当前时刻图像M的大小为L×W,则最初假定有L×W个区域,即每个像素点为一个独立的区域。 
然后,根据如下方法对这L×W个区域进行合并,其方法如下: 
对当前时刻图像M生成一个无向图G=(V,E),其中,V是像素点集合,E为由V中像素点构成的边的集合,本文里的边只限中心像素点和其八邻域的各点组成的边。即包含点p1的边只有(p1,pi),i=…9,无向是说(p1,pi)和(pi,p1)表示同一个边。这样,当前时刻图像中任意像素点与其相邻的八邻域中任一像素点构成且只构成一个边,如图2所示,例如(p1,p4)和(p1,p5)是两个不同的边,(p1,p4)和(p4,p1)是一个相同的边。 
权值计算公式如下:点p1,p2之间的权值w(p1,p2)为: 
w ( p 1 , p 2 ) = ( R ( p 1 ) - R ( p 2 ) ) 2 + ( G ( p 1 ) - G ( p 2 ) ) 2 + ( B ( p 1 ) - B ( p 2 ) ) 2
其中,R(pi),G(pi),B(pi),i=1,2,分别表示像素点坐标pi,i=1,2的颜色分量R、G、B的值。 
假定无向图G有n个像素点和m个连接,区域分割步骤如下: 
1)把E中所有的连接Oq=(Vi,Vj)按权重大小升序排列形成新的集合π=(O1,…,Om)。 
2)初始化一个区域集合S0,在这个集合中,每一个像素点即节点就是一个区域。 
3)假设
Figure G2008101804512D00062
是第q-1次区域合并结果Sq-1中包含节点Vi的区域,
Figure G2008101804512D00063
是Sq-1中包含节点Vj的类。如果区域  C i q - 1 ≠ C j q - 1 并且满足如下条件: 
w ( O q ) ≤ min { max v i ∈ C i q - 1 , v j ∈ C i q - 1 w ( v i , v j ) + τ ( C i q - 1 ) , max v i ∈ C j q - 1 , v j ∈ C j q - 1 w ( v i , v j ) + τ ( C j q - 1 ) }
则将区域合并,作为第q次区域合并的结果Sq,否则Sq=Sq-1。也就是说,如果任意两个像素点之间的距离很近且颜色也很接近就合并。 
其中τ(C)=K/|C|,式中|C|表示类区域C的面积,即像素个数,K为常数, K = 3 S r / 2 , Sr为整幅图像的面积。 
4)对q=1,…,m,重复第3)步。 
5)返回第m次区域合并后的结果Sm,Sm=(C1,…,Cr),即当前时刻图像被分割为r个区域。 
步骤102,获取自车运动参数。 
本发明实施例中所获取的自车(相机或摄像机,为简便以下类似地方统称为相机)运动参数可以由传感器获得,如可以通过速度传感器和陀螺仪传感器等获取,也可以由序列图像用计算的方法获得,如采用光流方法、运动恢复结构(Structure form Motion,SFM)的方法或基于特征点检测、直接法等方法估计得到,如文献1“A robust method for computing vehicle ego-motion(一种计算自车运动的直接方法)”采用直接的方法估计运动参数,文献2“Transforming camera geometry to a virtual downward-looking camera:robustego-motion estimation and ground-layer detection”采用改进的直接方法获得运动参数。本发明实施例采用文献1的直接估计方法获取自车运动参数。 
在本发明实施例中设定世界坐标系[O;Xw,Yw,Zw]和前一时刻图像的相机的世界坐标系[O′;Xc,Yc,Zc]的原点O,O′重合,坐标轴之间可以有旋转角,世界坐标系的Zw轴平行于道路平面,Yw垂直于道路平面。如图3所示。 
采用道路平面假设,将自车运动参数m表示为m={tx,tz,ωy},即在Xw,Zw方向有一个平移,在Yw方向有一个旋转。 
步骤103,将当前时刻的前一时刻图像上所有的像素点按照所述自车运动参数运动后生成当前时刻的假想图像。 
所谓的假想图像是指假设前一时刻图像中所有像素点都是道路平面上的点所成的像(其中Yw=相机高度),相机运动后,这些地面上的点在新的相机位置下所成的像,即为假想图像。如图4所示。下面以前一时刻图像上某点P为例,说明如何生成新的相机位置下的假想图像。 
假设前一时刻图像上点P是道路平面上点P0所成的像(实际上是立体物上的点P1所成的像),相机运动后,P0所成的像点P′即为当前时刻假想图像上与P对应的点,即将点P的灰度值赋给点P′。同理,可以得到当前时刻假想 图像上其它像素点与前一时刻图像上点的对应关系,从而可以得到新的相机位置下的当前时刻的假想图像。 
下面说明如何求得假想图像中P′点的坐标。 
以前一时刻图像中某一像素点P(r,c)为例,r,c分别为该点在图像中的行坐标和列坐标,P是道路平面上点P0(XW,YW,ZW)的所成的像点。根据相机成像公式(1)得到P0的z轴坐标: 
Z C r c 1 = α x 0 u 0 0 0 α y v 0 0 0 0 1 0 R t 0 T 1 X w Y w Z w 1 - - - ( 1 )
从而,可以计算出点P0的世界坐标(XW,YW,ZW)。其中已知Yw=相机高度,αx,αx,u0,v0是相机内部参数,可由相机标定获得。ZC是P0在相机坐标系中z轴的坐标,可在相机成像公式计算过程中获得。 
R = cos γ cos β cos γ sin β sin α - sin γ cos α cos γ sin β cos α + sin γ sin α sin γ cos β cos α cos γ + sin γ sin β sin α sin γ sin β cos α - cos γ sin α - sin β cos β sin α cos β cos α - - - ( 2 )
式(2)为相机的旋转矩阵,α,β,γ分别是相机坐标系绕世界坐标系x,y,z轴的旋转角。平移向量  t = T x T y T z , Tx,Ty,Tz为相机坐标系原点在世界坐标系下的位置。α,β,γ,Tx,Ty,Tz均为相机外部参数,在安装相机时获得。 
由步骤102所获得的运动参数m={tx,tz,ωy}可得运动后相机坐标系原点在世界坐标系下的坐标为Tx+tx,Ty,Tz+tz,相机坐标系绕世界坐标系x,y,z轴的旋转角变为α,β+ωy,γ。根据此时相机的旋转矩阵和平移矩阵,以及已经计算出的P0的世界坐标(XW,YW,ZW),再由上述相机成像公式(1),方程右端为已知,可求得左端未知数,即点P0在假象图像中的成像P′坐标。 
假设从步骤102中所获得的从前一时刻到当前时刻的像机运动速度参数为m,根据上述前一时刻图像点到当前时刻假想图像上点的变换过程,将前 一时刻图像ψ(r,c)上所有的点按运动参数m运动后产生了一幅当前时刻的假想图像。如果不考虑噪声的影响,在道路平面的假设前提下,假想图像中的道路区域与真实的当前时刻的图像ψ′(r,c)的道路区域是完全一致的,而非道路区域则不同。以下将利用这个原理,检测候选障碍物区域。 
步骤104,利用相关算法计算所述当前时刻图像和当前时刻的假想图像的相似程度,确定当前时刻图像中的候选障碍物区域。 
在本发明实施中,为克服光照影响,增加检测的抗干扰性,基于图像块相似程度的方法产生候选障碍物区域,其具体做法如下: 
i)将当前时刻图像和当前时刻的假象图像都分成若干n×n小块; 
ii)利用归一化相关值(NC,Normalized.Correlation)算法,计算所述当前时刻图像中的某n×n小块与当前时刻的假想图像对应位置的n×n小块的相似程度值NC;具体为: 
令p″(x,y)和p′(x,y)分别表示当前时刻图像某像素点和假想的当前时刻图像某像素点的灰度值,则所述相似程度值NC为 
NC = Σ x = 1 n Σ y = 1 n p ′ ′ ( x , y ) × p ′ ( x , y ) Σ x = 1 n Σ y = 1 n p ′ ′ 2 ( x , y ) × Σ x = 1 n Σ y = 1 n p ′ 2 ( x , y )
其中,n为自然数。 
iii)若所述相似程度值NC大于预设的相似度阈值,则判定所述当前时刻图像中的该当前n×n小块为障碍物块; 
iv)重复步骤ii)和iii),依次计算所有小块相似程度值NC,获得当前时刻图像中的所有障碍物块; 
v)根据所述障碍物块以及连通原则确定当前时刻图像中的候选障碍物区域。该连通原则可以是8连通原则,也可以是4连通原则,或是其它的连通原则。以下以8连通原则为例进行说明: 
如果某n×n小块被认为是候选障碍物块,且该小块的8邻域相邻的某块或某几块同样为候选障碍物,则该块与8邻域相邻的某块或某几块共同构成一个障碍物的区域。其中8邻域为与该块相邻的周围8个块,如图5所示,8个白色块为黑色块的8邻域。
步骤105,进行障碍物判断。在实际情况下,道路区域可能不满足平面假设,因此上述步骤所产生的障碍物候选区域可能出现误检测或障碍物区域检测不完整的问题。为此,继续进行障碍物判断,即统计步骤104中当前时刻图像中的每个候选障碍物区域与步骤101中每个分割后区域是否有交集,若有,则计算交集部分的像素点面积与对应分割区域像素点面积的百分比,该百分比记为障碍物判别百分比,根据该障碍物判别百分比以及预先设定的障碍物阈值确定障碍物。 
具体的,根据所述障碍物判别百分比以及预先设定的障碍物阈值确定障碍物的步骤包括: 
若所述障碍物判别百分比大于预先设定的第一障碍物阈值T1,则判定该障碍物判别百分比所对应的候选障碍物区域为障碍物,并利用步骤101中所对应的障碍物判别百分比最大的分割区域表示障碍物; 
若所述障碍物判别百分比小于预先设定的第二障碍物阈值T2,则判定该候选障碍物区域为非障碍物; 
若所述障碍物判别百分比小于等于预先设定的第一障碍物阈值T1,且大于等于预先设定的第二障碍物阈值T2;则判定该障碍物判别百分比所对应的候选障碍物区域为障碍物,并利用所述候选障碍物区域表示障碍物。 
至此,完成了基于单目视觉的障碍物检测。应用本发明实施例提供的方法,由于采用基于图像块相似程度的方法产生候选障碍物区域,并结合运动补偿结果产生的障碍物候选区域来综合判断、产生最终的障碍物区域,与传统的运动补偿方法相比,由于采用上述结果的交集作为最终的障碍物区域,具有误检测率低且障碍物检测完整的优点。 
本发明实施例还提供了一种基于单目视觉的障碍物检测装置,参见图6,该装置包括:图像分割单元601、自车运动参数获取单元602、假想图像生成单元603、候选障碍物区域生成单元604、障碍物判别百分比生成单元605和障碍物检测单元606,其中, 
图像分割单元601,用于对当前时刻的图像进行分割,获得若干个分割后的区域; 
自车运动参数获取单元602,用于获取自车运动参数;
假想图像生成单元603,用于将当前时刻的前t时刻图像上所有的像素点按照所述自车运动参数运动后生成当前时刻的假想图像;其中,t≥1; 
候选障碍物区域生成单元604,用于计算所述当前时刻图像和当前时刻的假想图像的相似程度,确定当前时刻图像中的候选障碍物区域; 
障碍物判别百分比生成单元605,用于统计所述当前时刻图像中的每个候选障碍物区域与所述每个分割后区域是否有交集,若有,则计算交集部分的像素点面积与对应分割区域像素点面积所构成的障碍物判别百分比; 
障碍物检测单元606,用于根据所述障碍物判别百分比以及预先设定的障碍物阈值确定障碍物。 
上述候选障碍物区域生成单元604还可以包括:图像划分单元6041、相似程度值计算单元6042、障碍物块判定单元6043和生成单元6044(图未示),其中, 
图像划分单元6041,用于将所述当前时刻图像和当前时刻的假象图像都分成若干n×n小块; 
相似程度值计算单元6042,用于利用NC算法,计算所述当前时刻图像中的某n×n小块与当前时刻的假想图像对应位置的n×n小块的相似程度值NC; 
障碍物块判定单元6043,用于在所述相似程度值NC大于预设的相似度阈值时,判定所述当前时刻图像中的该当前n×n小块为障碍物块; 
生成单元6044,用于计算所有小块的相似程度值NC,获得当前时刻图像中的所有障碍物块;根据所述障碍物块以及连通原则确定当前时刻图像中的候选障碍物区域。所述连通原则可以是8连通原则,也可以是4连通原则,还可以是其它的连通原则。 
上述障碍物检测单元606内可以包括:判别单元6061和障碍物表示单元6062(图未示),其中, 
判别单元6061,用于判断出所述障碍物判别百分比大于预先设定的第一障碍物阈值T1时,判定该障碍物判别百分比所对应的候选障碍物区域为障碍物,并通知障碍物表示单元利用对应的障碍物判别百分比最大的分割区域表示障碍物;判断出所述障碍物判别百分比小于预先设定的第二障碍物阈值T2 时,判定该候选障碍物区域为非障碍物;判断出所述障碍物判别百分比小于等于预先设定的第一障碍物阈值T1,且大于等于预先设定的第二障碍物阈值T2时;判定该候选障碍物区域为障碍物,并通知障碍物表示单元利用所述候选障碍物区域表示障碍物; 
障碍物表示单元6062,用于根据接收到的通知表示障碍物。 
应用本发明实施例提供的装置,由于采用基于图像块相似程度的方法产生候选障碍物区域,并结合运动补偿结果产生的障碍物候选区域来综合判断、产生最终的障碍物区域,与传统的运动补偿方法相比,由于采用上述结果的交集作为最终的障碍物区域,具有误检测率低且障碍物检测完整的优点。 
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。 
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种基于单目视觉的障碍物检测方法,其特征在于,包括:
对当前时刻的图像进行分割,获得若干个分割后的区域;
获取自车运动参数,将当前时刻的前t时刻图像上所有的像素点按照所述自车运动参数运动后生成当前时刻的假想图像;其中,t≥1;
计算所述当前时刻图像和当前时刻的假想图像的相似程度,确定当前时刻图像中的候选障碍物区域;
计算所述当前时刻图像中的每个候选障碍物区域与所述每个分割后区域是否有交集,若有,则计算交集部分的像素点面积与对应分割区域像素点面积所构成的障碍物判别百分比,根据所述障碍物判别百分比以及预先设定的障碍物阈值确定障碍物。
2.根据权利要求1所述的方法,其特征在于,所述对当前时刻的图像进行的分割采用基于颜色和距离信息的区域分割方法、基于区域增长的分割方法、或基于边缘的分割方法。
3.根据权利要求1所述的方法,其特征在于,计算所述当前时刻图像和当前时刻的假想图像的相似程度,确定当前时刻图像中的候选障碍物区域的步骤包括:
i)将所述当前时刻图像和当前时刻的假象图像都分成若干n×n小块,其中所述n为自然数;
ii)利用归一化相关值NC算法,计算所述当前时刻图像中的某n×n小块与当前时刻的假想图像对应位置的n×n小块的相似程度值NC;
iii)若所述相似程度值NC大于预设的相似度阈值,则判定所述当前时刻图像中的该当前n×n小块为障碍物块;
iv)重复步骤ii)和iii),依次计算所有小块相似程度值NC,获得当前时刻图像中的所有障碍物块;
v)根据所述障碍物块以及连通原则确定当前时刻图像中的候选障碍物区域。
4.根据权利要求3所述的方法,其特征在于,步骤ii)所述利用NC算法,计算所述当前时刻图像中的某n×n小块与当前时刻的假想图像对应位置的n×n小块的相似程度值NC的步骤包括: 
令p″(x,y)和p′(x,y)分别表示当前时刻图像某像素点和假想的当前时刻图像某像素点的灰度值,则所述相似程度值NC为
Figure DEST_PATH_RE-RE-FSB00000203470100021
其中,n为自然数。
5.根据权利要求3所述的方法,其特征在于,步骤v)所述连通原则为8连通原则,或4连通原则。
6.根据权利要求1所述的方法,其特征在于,根据所述障碍物判别百分比以及预先设定的障碍物阈值确定障碍物的步骤包括:
若所述障碍物判别百分比大于预先设定的第一障碍物阈值,则判定该障碍物判别百分比所对应的候选障碍物区域为障碍物,并利用所对应的障碍物判别百分比最大的分割区域表示障碍物;
若所述障碍物判别百分比小于预先设定的第二障碍物阈值,则判定该候选障碍物区域为非障碍物;
若所述障碍物判别百分比小于等于预先设定的第一障碍物阈值,且大于等于预先设定的第二障碍物阈值;则判定该障碍物判别百分比所对应的候选障碍物区域为障碍物,并利用所述候选障碍物区域表示障碍物。
7.一种基于单目视觉的障碍物检测装置,其特征在于,包括:
图像分割单元,用于对当前时刻的图像进行分割,获得若干个分割后的区域;
自车运动参数获取单元,用于获取自车运动参数;
假想图像生成单元,用于将当前时刻的前t时刻图像上所有的像素点按照所述自车运动参数运动后生成当前时刻的假想图像;其中,t≥1;
候选障碍物区域生成单元,用于计算所述当前时刻图像和当前时刻的假想图像的相似程度,确定当前时刻图像中的候选障碍物区域;
障碍物判别百分比生成单元,用于计算所述当前时刻图像中的每个候选障碍物区域与所述每个分割后区域是否有交集,若有,则计算交集部分的像素点面积与对应分割区域像素点面积所构成的障碍物判别百分比; 
障碍物检测单元,用于根据所述障碍物判别百分比以及预先设定的障碍物阈值确定障碍物。
8.根据权利要求7所述的装置,其特征在于,所述候选障碍物区域生成单元包括:
图像划分单元,用于将所述当前时刻图像和当前时刻的假象图像都分成若干n×n小块,其中所述n为自然数;
相似程度值计算单元,用于利用NC的相关算法,计算所述当前时刻图像中的某n×n小块与当前时刻的假想图像对应位置的n×n小块的相似程度值NC;
障碍物块判定单元,用于在所述相似程度值NC大于预设的相似度阈值时,判定所述当前时刻图像中的该当前n×n小块为障碍物块;
生成单元,用于计算所有小块的相似程度值NC,获得当前时刻图像中的所有障碍物块;根据所述障碍物块以及连通原则确定当前时刻图像中的候选障碍物区域。
9.根据权利要求7所述的装置,其特征在于,所述障碍物检测单元包括:
判别单元,用于判断出所述障碍物判别百分比大于预先设定的第一障碍物阈值时,判定该障碍物判别百分比所对应的候选障碍物区域为障碍物,并通知障碍物表示单元利用对应的障碍物判别百分比最大的分割区域表示障碍物;
判断出所述障碍物判别百分比小于预先设定的第二障碍物阈值时,判定该候选障碍物区域为非障碍物;
判断出所述障碍物判别百分比小于等于预先设定的第一障碍物阈值,且大于等于预先设定的第二障碍物阈值时;判定该候选障碍物区域为障碍物,并通知障碍物表示单元利用所述候选障碍物区域表示障碍物;
障碍物表示单元,用于根据接收到的通知表示障碍物。
10.根据权利要求8所述的装置,其特征在于,所述连通原则为8连通原则,或4连通原则。 
CN2008101804512A 2008-11-27 2008-11-27 一种基于单目视觉的障碍物检测方法及装置 Active CN101408978B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2008101804512A CN101408978B (zh) 2008-11-27 2008-11-27 一种基于单目视觉的障碍物检测方法及装置
PCT/CN2009/071566 WO2010060287A1 (zh) 2008-11-27 2009-04-29 一种基于单目视觉的障碍物检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008101804512A CN101408978B (zh) 2008-11-27 2008-11-27 一种基于单目视觉的障碍物检测方法及装置

Publications (2)

Publication Number Publication Date
CN101408978A CN101408978A (zh) 2009-04-15
CN101408978B true CN101408978B (zh) 2010-12-01

Family

ID=40571979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101804512A Active CN101408978B (zh) 2008-11-27 2008-11-27 一种基于单目视觉的障碍物检测方法及装置

Country Status (2)

Country Link
CN (1) CN101408978B (zh)
WO (1) WO2010060287A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408978B (zh) * 2008-11-27 2010-12-01 东软集团股份有限公司 一种基于单目视觉的障碍物检测方法及装置
CN103413308B (zh) * 2013-08-01 2016-07-06 东软集团股份有限公司 一种障碍物检测方法和装置
CN104299244B (zh) * 2014-09-26 2017-07-25 东软集团股份有限公司 基于单目相机的障碍物检测方法及装置
CN104318206B (zh) * 2014-09-30 2017-09-29 东软集团股份有限公司 一种障碍物检测方法和装置
CN106650640B (zh) * 2016-12-05 2020-03-03 浙江大学 一种基于激光雷达点云局部结构特征的负障碍物检测方法
CN107176100A (zh) * 2017-05-12 2017-09-19 深圳市京弘全智能科技股份有限公司 具有测距功能的车载终端及其测距方法
CN109657523B (zh) * 2017-10-10 2021-03-30 北京京东乾石科技有限公司 一种可行驶区域检测方法和装置
CN108759667B (zh) * 2018-05-29 2019-11-12 福州大学 车载摄像头下基于单目视觉与图像分割的前车测距方法
CN111368883B (zh) * 2020-02-21 2024-01-19 浙江大华技术股份有限公司 基于单目摄像头的避障方法、计算装置及存储装置
CN111950502B (zh) * 2020-08-21 2024-04-16 东软睿驰汽车技术(沈阳)有限公司 基于障碍对象的检测方法、装置及计算机设备
CN112150490B (zh) * 2020-09-30 2024-02-02 北京小狗吸尘器集团股份有限公司 图像检测方法、装置、电子设备和计算机可读介质
CN112711263A (zh) * 2021-01-19 2021-04-27 未来机器人(深圳)有限公司 仓储自动导引车避障方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013480A1 (en) * 2004-07-13 2006-01-19 Nissan Motor Co., Ltd. Moving obstacle detecting device
CN1885346A (zh) * 2006-06-01 2006-12-27 电子科技大学 一种复杂背景下红外图像序列中运动目标的检测方法
EP1780675A1 (en) * 2004-08-11 2007-05-02 Tokyo Institute of Technology Object detector
CN101030256A (zh) * 2006-02-28 2007-09-05 沈阳东软软件股份有限公司 车辆图像分割方法和装置
CN101038164A (zh) * 2006-03-13 2007-09-19 株式会社东芝 障碍物跟踪装置及其方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3367170B2 (ja) * 1993-11-05 2003-01-14 株式会社豊田中央研究所 障害物検出装置
JP3456029B2 (ja) * 1994-10-14 2003-10-14 株式会社デンソー 画像データに基づく三次元物体認識装置
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
CN101408978B (zh) * 2008-11-27 2010-12-01 东软集团股份有限公司 一种基于单目视觉的障碍物检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013480A1 (en) * 2004-07-13 2006-01-19 Nissan Motor Co., Ltd. Moving obstacle detecting device
EP1780675A1 (en) * 2004-08-11 2007-05-02 Tokyo Institute of Technology Object detector
CN101030256A (zh) * 2006-02-28 2007-09-05 沈阳东软软件股份有限公司 车辆图像分割方法和装置
CN101038164A (zh) * 2006-03-13 2007-09-19 株式会社东芝 障碍物跟踪装置及其方法
CN1885346A (zh) * 2006-06-01 2006-12-27 电子科技大学 一种复杂背景下红外图像序列中运动目标的检测方法

Also Published As

Publication number Publication date
CN101408978A (zh) 2009-04-15
WO2010060287A1 (zh) 2010-06-03

Similar Documents

Publication Publication Date Title
CN101408978B (zh) 一种基于单目视觉的障碍物检测方法及装置
Pinggera et al. Lost and found: detecting small road hazards for self-driving vehicles
Vaudrey et al. Differences between stereo and motion behaviour on synthetic and real-world stereo sequences
CN101419667B (zh) 识别图像中障碍物的方法和装置
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
Perrollaz et al. A visibility-based approach for occupancy grid computation in disparity space
JP2014138420A (ja) 自律車両用の奥行き検知方法及びシステム
CN103123687A (zh) 快速障碍物检测
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
CN112115889B (zh) 基于视觉的智能车运动目标检测方法
CN112070756B (zh) 一种基于无人机倾斜摄影的路面立体病害测量方法
CN103679121B (zh) 采用视差图像检测路边的方法及系统
CN114119896B (zh) 一种驾驶路径规划方法
CN109886064B (zh) 确定可驾驶空间的边界的方法
CN103473757A (zh) 在视差图中的对象跟踪方法和系统
JP2020013573A (ja) 車両の三次元画像再構成方法
Samadzadegan et al. Automatic lane detection in image sequences for vision-based navigation purposes
FR2899363A1 (fr) Procede et dispositif de detection de mouvement d'objets sur des images d'une scene
JP2010055340A (ja) 走行路推定装置及びプログラム
Golovnin et al. Video processing method for high-definition maps generation
Giosan et al. Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
Ho et al. Localization on freeways using the horizon line signature
CN104252707A (zh) 对象检测方法和装置
Kiran et al. Automatic hump detection and 3D view generation from a single road image

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211216

Address after: Room 1703, 888 Moyu South Road, Anting Town, Jiading District, Shanghai, 201805

Patentee after: NEUSOFT REACH AUTOMOTIVE TECHNOLOGY (SHANGHAI) Co.,Ltd.

Address before: Hunnan rookie street Shenyang city Liaoning province 110179 No. 2

Patentee before: NEUSOFT Corp.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230828

Address after: 430056 R&D Building, Building R, Artificial Intelligence Technology Park, Wuhan Economic Development Zone, Wuhan City, Hubei Province (HJA-5-001)

Patentee after: Neusoft Ruichi Automotive Technology (Wuhan) Co.,Ltd.

Address before: Room 1703, 888 Moyu South Road, Anting Town, Jiading District, Shanghai, 201805

Patentee before: NEUSOFT REACH AUTOMOTIVE TECHNOLOGY (SHANGHAI) Co.,Ltd.

TR01 Transfer of patent right