CN101813475B - 远距离障碍的自适应检测方法 - Google Patents

远距离障碍的自适应检测方法 Download PDF

Info

Publication number
CN101813475B
CN101813475B CN2010101547440A CN201010154744A CN101813475B CN 101813475 B CN101813475 B CN 101813475B CN 2010101547440 A CN2010101547440 A CN 2010101547440A CN 201010154744 A CN201010154744 A CN 201010154744A CN 101813475 B CN101813475 B CN 101813475B
Authority
CN
China
Prior art keywords
scene
super pixel
pixel
super
closely
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010101547440A
Other languages
English (en)
Other versions
CN101813475A (zh
Inventor
刘成良
屠珺
苑进
王明军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN2010101547440A priority Critical patent/CN101813475B/zh
Publication of CN101813475A publication Critical patent/CN101813475A/zh
Application granted granted Critical
Publication of CN101813475B publication Critical patent/CN101813475B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

一种机器人技术领域的远距离障碍的自适应检测方法,包括以下步骤:采集图像并进行预处理;划分区域并进行超像素分割处理;进行高维外观特征提取;得到近距离场景区域每个超像素的地形类别;得到近距离场景超像素的低维主导特征;得到远距离场景超像素的低维主导特征;进行Adaboost分类器训练;将远距离场景区域超像素的低维主导特征输入至Adaboost分类器,当Adaboost分类器输出为1时,则当前场景为障碍;否则当前场景为地面。本发明可实现障碍检测特征的自适应提炼,简化分类器模型,可以同时减少障碍多模态分布及由随机特征重叠导致的类别歧义对检测结果的影响,且提高障碍检测的准确性和稳定性。

Description

远距离障碍的自适应检测方法
技术领域
本发明涉及的是一种机器人技术领域的检测方法,具体是一种远距离障碍的自适应检测方法。
背景技术
障碍检测是室外非结构化环境下移动机器人视觉导航中需要解决的关键问题,是后续路径规划和动作执行的先决条件。当前由于低成本、远距离障碍检测手段的缺失,绝大多数障碍检测方法为基于立体视觉或激光雷达的近距离障碍检测方法。然而,这种障碍感知的近视特性将直接或者间接导致机器人产生低效的路径规划结果甚至导航任务的失败。
近年来,随着人工智能等学科的发展和机器人自学习能力在机器人领域得到更大程度的重视,基于外观特征的、由近及远的远距离障碍检测方法逐渐成为通用解决方案。这类方法是一种在线自监督学习方法。其同时采集近距离的外观特征和立体信息作为“外观特征-地形类别”分类器模型的训练样本,然后将远距离场景的外观特征输入到该模型实现远距离障碍的检测。典型案例有:R.Manduchi选取归一化RGB作为分类特征,并对同一地形类别的样本采用高斯模型建模。通过立体视觉获取的地形类别实现模型参数的训练,样本的最终类别取概率最大的地形类别。Ibrahim Halatci选取RGB颜色分量及小波分维作为分类特征。首先以特征为单位建立低层混合高斯分类模型,再结合已知的传感模型,利用贝叶斯公式将每个低层分类器模型表达式转换成关于地形类别的后验概率,对同一地形类别属下的各特征后验概率进行笛卡尔乘积获取每个地形类别的高层分类模型。
在上述障碍检测方案中,场景外观特征的合理选择直接决定了机器人的远距离障碍识别能力。现有的机器人视觉导航系统中基本采用事先根据经验或者随机挑选的特征算子,然而基于这种特征选择策略的障碍检测方法难以适应室外场景不断变化的场景几何、天气条件等因素,从而导致远距离障碍检测不准确,影响导航任务的执行效率。如上述的两个应用,若遇上雾霾天气,由于雾霾天气会使视觉获取的物体颜色随着物体与视觉传感器的距离变化发生不同的变化,这种变化会极大地降低分类性能。另外,光照的变化同样也会影响视觉传感器获取的颜色和纹理特征。因此采用事先根据经验或者随机挑选的特征算子都只是在一定静态环境条件下适用,具有相当的局限性。
经对现有文献检索发现,Ayse Naz Erkan1等人在2007年11月的IEEE国际智能机器人与系统会议上发表了题为《非结构化地形场景中的大范围自适应视觉》的文章(文章英文名:Adaptive Long Range Vision in Unstructured Terrain,会议英文名:IEEE InternationalConference on Intelligent Robots and Systems),该文章公开了一种野外非结构化环境中机器人视觉导航的远距离障碍检测方法。该方法采用离线训练的卷积神经网络进行特征提取,并利用Logistics回归方法对远距离场景区域进行在线学习和分类。图像金字塔方法在一定程度上缓解了不同区域的距离和尺度效应。然而该方法依赖于大量的样本数据,样本数据的选取会对分类效果产生显著影响,并且提取的特征维数过高,增加计算复杂度,且缺少对特征贡献度的讨论。此外,该方法并没有对系统如何自适应地选择适合当前场景障碍检测的最优特征进行研究,因此还难以达到室外非结构化环境下移动机器人视觉导航的以下要求:
1、根据场景实时变化自动地选择当前场景最适合的分类特征,实现障碍检测主导特征的自适应在线提炼;
2、基于主导特征和近距离场景的视觉监督信息实现障碍分类检测模型参数的自适应学习,简化分类器模型;
3、障碍检测结果体现对障碍多模态分布和高维特征非线性结构的高度自适应性;
4、障碍检测结果避免由随机特征重叠导致的类别歧义性;
5、快速适应场景变化,提高障碍检测的准确性和稳定性。
发明内容
本发明的目的在于克服现有技术的上述不足,提出一种远距离障碍的自适应检测方法,通过对场景分类特征的自适应精简和自适应分类器的训练,实现了基于立体视觉的在线、由近及远的远距离障碍自适应检测方法。
本发明是通过以下技术方案实现的,本发明包括步骤如下:
第一步,由立体相机自动采集同一场景的同一时间、不同范围的两幅原始图像,对两幅原始图像中每个像素进行立体匹配得到视差图,同时对其中一幅原始图像进行降采样和高斯平滑滤波的预处理,得到预处理后的图像。
第二步,将预处理后的图像划分为远距离场景区域和近距离场景区域,并分别对远距离场景区域和近距离场景区域进行超像素分割处理,得到远距离场景区域和近距离场景区域的超像素集合。
所述的超像素分割处理,具体是:计算区域内相邻像素的特征距离,将特征距离小于距离阈值的两像素归入同一超像素,最后将包含像素个数小于或者等于像素个数阈值的超像素归入邻近的包含像素个数大于像素个数阈值的超像素,从而将远距离场景区域和近距离场景区域分别划分为若干超像素,每个超像素由若干相连的像素组成。
第三步,分别对远距离场景区域和近距离场景区域的超像素进行高维外观特征提取,得到远距离场景区域和近距离场景区域中每个超像素的高维外观特征向量。
所述的高维外观特征提取包括:颜色特征提取和纹理特征提取,其中:颜色特征提取是将超像素的RGB(红绿蓝)空间转换为HSL(色调、饱和度、亮度)空间、Lab空间、c空间、l空间以及m空间;纹理特征提取是由Gabor函数对原始图像进行卷积得到的。
第四步,对第一步得到的视差图进行地平面拟合处理,得到近距离区域场景中每个像素所属的地形类别,将超像素所包含像素的地形类别进行统计,类别数最大的那个地形类别作为超像素的地形类别。
所述的地平面拟合处理,具体指:在第一步得到的视差图中拟合地平面,得到近距离区域场景中每个像素的高程值H,判断每个像素高程值H与高程预定阈值Hthreshold的相对大小,当H<Hthreshold时,则判断该像素地形类别为自由空间;当H≥Hthreshold时,则判断该像素地形类别为障碍空间,从而得到近距离区域场景中每个像素所属的地形类别。
第五步,对近距离场景超像素的地形类别进行有监督局部线性嵌入处理,得到近距离场景超像素的低维主导特征。
所述的有监督局部线性嵌入处理,具体是:
1)、得到近距离场景每两个超像素间的高维外观特征向量间的欧式距离,将其中距离每个超像素最近的p个其它超像素作为该超像素的邻域;
2)、得到每两个超像素间的线性重构系数,这些线性重构系数构成该超像素的线性重构矩阵W,进而由M=(I-W)T(I-W)得到特征矩阵M;
所述的线性重构系数,具体是:
其中:
Figure GDA0000020860810000043
xk、xl、xm都是xi的邻域,wij是第i个超像素和第j个超像素间的线性重构系数,xk、xl、xm、xi分别是第k个超像素的高维外观特征、第1个超像素的高维外观特征、第m个超像素的高维外观特征和第i个超像素的高维外观特征。
3)、提取特征矩阵M的特征值和特征向量,其中除最小的特征值外的特征值所对应的特征向量就是该近距离场景超像素的低维主导特征。
第六步,对近距离场景超像素的低维主导特征进行加权和处理,得到远距离场景超像素的低维主导特征。
所述的加权和处理,具体是:
1)、得到远距离场景超像素与近距离场景超像素之间的高维外观特征向量间的欧式距离,将其中距离每个远距离场景超像素最近的q个近距离场景超像素作为该超像素的邻域;
2)、得到每个远距离场景超像素与其邻域的近距离场景超像素间的线性重构系数,
3)、将每个远距离场景超像素与其邻域的近距离场景超像素间的线性重构系数与对应的近距离场景超像素的低维主导特征向量进行加权求和,从而得到远距离场景中该超像素的低维主导特征。
第七步,对近距离场景区域超像素的地形类别和低维主导特征进行Adaboost分类器训练,得到Adaboost分类器。
所述的Adaboost分类器训练,具体是:将近距离场景区域超像素的低维主导特征的每一维都训练成一个弱分类器,并利用训练过程中所得到的加权系数将弱分类器输出进行组合,作为Adaboost分类器。
第八步,将远距离场景区域超像素的低维主导特征输入至Adaboost分类器,当Adaboost分类器输出为1时,则当前场景为障碍;否则当前场景为地面。
与现有技术相比,本发明的有益效果是:障碍检测过程能够根据场景实时变化自动地选择当前场景最适合的主导特征,实现障碍检测特征的自适应提炼;障碍检测过程能够基于主导特征和近距离场景的视觉监督信息实现障碍分类检测模型的参数自适应学习,简化分类器模型;由于SLLE实现了高维特征样本非线性结构的近似和保持,因此可以同时减少障碍多模态分布及由随机特征重叠导致的类别歧义对检测结果的影响;基于主导特征的障碍检测方法能够快速适应场景变化,提高障碍检测的准确性和稳定性。
附图说明
图1是实施例的检测流程示意框图。
图2是实施例中的原图与分割处理后得到的超像素组合图;
其中:(a)为一室外导航场景原图,(b)为该图分割处理后得到的超像素组合图。
图3是实施例若干场景分类结果对比示意图;
其中:(a)、(d)和(g)分别为三幅场景原图,(b)、(e)和(h)分别为(a)、(d)和(g)的人工标记示意图,而(c)、(f)和(i)则分别为(a)、(d)和(g)的远距离障碍检测结果示意图。
图4是采用不同检测方法得到的检测误差对比示意图;
其中:Best-K Ensemble方法为美国科罗拉多大学实验的最好结果;SMINE为美国科罗拉多大学实验的基准检测方法;Adbst(SLLE)方法为实施例方法;Adbst为未进行降维,直接对原数据采用Adaboost方法的检测结果;1-NN为最近邻检测方法;而1-NN(SLLE)在1-NN基础上融合了在线主导特征提取策略。
具体实施方式
以下结合附图对本发明的方法进一步描述,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例
如图1所示,本实施例包括:图像采集和预处理、场景图像分割、高维外观特征提取、近距离场景地形类别判定、近距离场景的低维主导特征、远距离场景的低维主导特征、分类器训练及远距离场景地形类别判定,最终得到障碍检测结果。
下面具体进行说明:
(1)图像采集和预处理:使用Bumblebee2立体相机自动采集同一场景的同一时间、不同范围的两幅原始图像,对两幅图像进行每个像素的立体匹配得到视差图,视差图中的每个像素值表征了该像素点离相机中心的距离。同时将其中一幅原始图像保存到内存,并进行降采样和高斯平滑滤波的预处理,得到预处理后的图像。
(2)场景图像分割:将预处理后的图像划分为远距离场景区域和近距离场景区域,并分别对远距离场景区域和近距离场景区域进行超像素分割处理,得到远距离场景区域和近距离场景区域的超像素集合,每个超像素由若干相互连接的像素组成。
所述的超像素分割处理,具体是:计算区域内相邻像素的特征距离,将特征距离小于距离阈值的两像素归入同一超像素,最后将包含像素个数小于或者等于像素个数阈值的超像素归入邻近的包含像素个数大于像素个数阈值的超像素,从而将远距离场景区域和近距离场景区域分别划分为若干超像素,每个超像素由若干相连的像素组成。
图2(a)是一幅预处理后的室外导航场景图像,分辨率为640×480;图2(b)是经超像素分割处理后得到的图像,其中:距离阈值取为50,像素个数阈值取为40。
(3)高维外观特征提取:分别对远距离场景区域和近距离场景区域的超像素进行高维外观特征提取,得到远距离场景区域和近距离场景区域中每个超像素的高维外观特征向量。
所述的高维外观特征提取包括:颜色特征提取和纹理特征提取,其中:颜色特征提取是将超像素的RGB空间转换为HSL空间、Lab空间、c空间、l空间以及m空间;纹理特征提取是由Gabor函数对原始图像进行卷积得到的。
所述的HSL空间,具体是:
记: r = R R + G + B , g = G R + G + B , b = B R + G + B , maxcolor=max(r,g,b),mincolor=min(r,g,b),则:
L = ( max color + min color ) 2 ;
当maxcolor=mincolor时,则H=S=0;
当maxcolor≠mincolor时,进入下述判断:
当L<0.5时,则 S = max color - min color max color + min color ,
当L≥0.5时,则 S = max color - min color 2 - max color - min color ,
当R=maxcolor时,则 H = g - b max color - min clor , g &GreaterEqual; b 6 + g - b max color - min clor , g < b ,
当G=maxcolor时,则 H = 2 + b - r max color - min color ,
当B=maxcolor时,则 H = 4 + r - g max color - min color .
所述的Lab空间,具体是:
记:v_R=R/255,v_G=G/255,v_B=B/255,
当v_R>0.04045时,则 v _ R = ( v _ R + 0.055 1.055 ) 2.4 &times; 100 ,
否则v_R=v_R/12.92×100;
当v_G>0.04045时,则 v _ G = ( v _ G + 0.055 1.055 ) 2.4 &times; 100 ,
否则v_G=v-G/12.92×100;
当v_B>0.04045时,则 v _ B = ( v _ B + 0.055 1.055 ) 2.4 &times; 100 ,
否则v_B=v_B/12.92×100;
X=var_R×0.4124+var_G×0.3576+var_B×0.1805,
Y=var_R×0.2126+var_G×0.7152+var_B×0.0722,
Z=var_R×0.0193+var_G×0.1192+var_B×0.9505,
v_X=X/95.047,v_Y=Y/100,v_Z=Z/108.883,
当v_X>0.008856时,则v_X=(v_X)1/3,否则v_X=7.787×v_X+16/116,
当v_Y>0.008856时,则v_Y=(v_Y)1/3,否则v_Y=7.787×v_Y+16/116,
当v_Z>0.008856时,则v_Z=(v_Z)1/3,否则v_Z=7.787×v_Z+16/116,
L=116×v_Y-16,a=500×(v_X-v_Y),b=500×(v_Y-v_Z)。
所述的c空间,具体是:
c 1 = tan - 1 R max ( G , B ) , c 2 = tan - 1 R max ( R , B ) , c 3 = tan - 1 R max ( R , G ) ,
所述的l空间,具体是:
l 1 = ( R - G ) 2 ( R - G ) 2 + ( R - B ) 2 + ( G - B ) 2 , l 2 = ( R - B ) 2 ( R - G ) 2 + ( R - B ) 2 + ( G - B ) 2 , l 3 = ( G - B ) 2 ( R - G ) 2 + ( R - B ) 2 + ( G - B ) 2
所述的m空间,具体是:
m 1 = R x 1 G x 2 R x 2 G x 1 , m 2 = R x 1 B x 2 R x 2 B x 1 , m 3 = G x 1 B x 2 G x 2 B x 1 ,
其中:x1和x2为相邻像素。
本实施例将每个颜色通道柱状分布图等分为5个区间,因此颜色特征共有90维。
所述的纹理特征,具体是:
Wmn(x,y)=∫I(x,y)g(x-ξ,y-η)dξdη,
其中:I(x,y)=R(x,y)×0.3+G(x,y)×0.59+B(x,y)×0.11,
g ( x , y ) = exp ( - ( x cos &theta; + y sin &theta; ) 2 + ( - x sin &theta; + y cos &theta; ) 2 2 &sigma; 2 ) &times; exp ( - 2 &pi;ik ( x cos &theta; + y sin &theta; ) ) ,
Figure GDA0000020860810000088
Wmn(x,y)为纹理特征,x,y为图像中像素的横坐标与纵坐标,I(x,y)为图像像素的灰度值,g(x,y)是Gabor函数,s为滤波器的尺度,θ为滤波器的选择方向,k为滤波器的中心频率。
本实施例中分别取s=1,2,3,
Figure GDA00000208608100000810
一共12个Gabor滤波器,因此Gabor滤波器输出特征共12维。
本实施例中高维外观特征总共有90+12=102维。
(4)近距离场景地形类别判定:对(1)得到的视差图进行地平面拟合处理,得到近距离区域场景中每个像素所属的地形类别,从而得到近距离场景超像素的标记集合;将超像素所包含像素的地形类别进行统计,类别数最大的那个地形类别作为超像素的地形类别。
所述的地平面拟合处理,具体指:在第一步得到的视差图中拟合地平面,得到近距离区域场景中每个像素的高程值H,判断每个像素高程值H与高程预定阈值Hthreshold的相对大小,当H<Hthreshold时,则判断该像素地形类别为自由空间;当H≥Hthreshold时,则判断该像素地形类别为障碍空间,从而得到近距离区域场景中每个像素所属的地形类别。
本实施例中取Hthreshold=1.8。
(5)近距离场景的低维主导特征:对近距离场景超像素的地形类别进行有监督局部线性嵌入处理,得到近距离场景超像素的低维主导特征。
所述的低维主导特征是指融合了地形类别信息、且利用了“有监督局部线性嵌入法”进行降维后的低维空间中的超像素特征,有别于原始图像中提取的高维外观特征。
记:近距离场景超像素的高维外观特征为
Figure GDA0000020860810000091
Sn为近距离场景超像素集合,xi为从第i个超像素中提取的外观特征,近距离场景超像素的标记集合为
Figure GDA0000020860810000092
lk为第k个近距离场景超像素的地形类别。
所述的有监督局部线性嵌入处理,具体是:
a、计算每两个超像素间的欧式距离:
属于同一地形类别的超像素间的欧式距离:dij=‖xj-xi‖;
分属不同地形类别的超像素间的欧式距离:dij=‖xj-xi‖+αε,其中:α为调距幅度参数,
Figure GDA0000020860810000093
α为[0,1]区间内的数,本实施例中取α=0.7。
由上述欧式距离信息得到距离第i个超像素xi的K个最近邻点组成超像素xi的邻域点集Ni为xi的邻域点的集合,本实施例邻域点数K=20。
b、对每个超像素xi,由其邻域关系,计算线性重构系数wij,当超像素xj为超像素xi的邻域点(j∈Ni)时,则
Figure GDA0000020860810000095
其中:
Figure GDA0000020860810000096
xk、xl、xm都是xi的邻域点;当超像素xj为超像素xi的非邻域点
Figure GDA0000020860810000098
时,则wij=0。线性重构系数反映了每个超像素与其邻域点之间的局部线性构成关系,所有超像素的线性重构系数组成线性重构矩阵W。
c、设特征矩阵M=(I-W)T(I-W),其中I为单位矩阵,对特征矩阵M进行特征分析,对M的所有特征值按照数值大小从小到大进行排序编号,取所有特征值中第2小到第d+1小个特征值λi,i=2,…,d+1,特征值λi对应的特征向量vi=[vi1 vi2…viC]T就是近距离场景的第i个主导特征,C为近距离场景超像素总个数,则近距离场景低维主导特征集为
Y n = { y i } i &Element; S n .
所述的d的值决定分类效果,本实例中当d=13时,分类效果最佳,也就是主导特征共13维。
(6)远距离场景的低维主导特征:对近距离场景超像素的低维主导特征进行加权和处理,得到远距离场景超像素的低维主导特征。
所述的加权处理,具体是:设远距离场景超像素的高维外观特征为
Figure GDA0000020860810000102
Sf为远距离场景超像素的集合,x′i为从第i个远距离场景超像素中提取的高维外观特征。对于每个x′i,i∈Sf,计算其与近距离场景超像素高维外观特征之间的欧氏距离,找出12个最近邻点组成的邻域点集P′i,使用(5)中b的方法获取这12个近邻点关于x′i的线性重构系数w′ij,j∈Pi,则该点的主导特征
Figure GDA0000020860810000103
其中:y′j为其近距离超像素邻域点的低维主导特征,则远距离场景的低维主导特征集为
Figure GDA0000020860810000104
(7)分类器训练:对近距离场景区域超像素的地形类别和低维主导特征进行Adaboost分类器训练,得到Adaboost分类器。
所述的Adaboost分类器训练,具体是:针对近距离场景区域超像素低维主导特征的每一维,均独立训练一个弱分类器,并利用训练过程中所得到的加权系数将弱分类器输出进行组合,作为Adaboost分类器。
本实施例中每帧图像的训练样本平均为170个,其中:障碍为62项,平面为108项,障碍的训练系数是
Figure GDA0000020860810000105
平面的训练系数是
Figure GDA0000020860810000106
训练迭代次数为30。
(8)远距离场景地形类别判定:将远距离场景区域超像素的低维主导特征输入至Adaboost分类器,当Adaboost分类器输出为1时,则当前场景为障碍;否则当前场景为地面。
图3(a)、图3(d)、图3(g)分别为三幅场景原图,图3(b)、图3(e)、图3(h)分别为图3(a)、图3(d)、图3(g)的人工标记示意图,而图3(c)、图3(f)、图3(i)则分别为图3(a)、图3(d)、图3(g)的远距离障碍检测结果示意图。图3(c)、图3(f)和图3(i)中的白色为障碍空间,黑色为自由空间。
图4为不同检测方法对同一数据集的检测误差比较,其中数据集来自美国科罗拉多大学的室外机器人导航实验,Best-K Ensemble方法为美国科罗拉多大学实验的最好结果;SMINE为美国科罗拉多大学实验的基准检测方法;Adbst(SLLE)方法为实施例方法;Adbst为未进行降维,直接对原数据采用Adaboost方法的检测结果;1-NN为最近邻检测方法;而1-NN(SLLE)在1-NN基础上融合了在线主导特征提取策略。从图4中可以看出,本实施例的检测方法比Best-KEnsemble方法的RMSE误差下降了0.046(0.01的RMSE误差开始有统计意义)。

Claims (3)

1.一种远距离障碍的自适应检测方法,其特征在于,包括以下步骤:
第一步,由立体相机自动采集同一场景的同一时间、不同范围的两幅原始图像,对两幅原始图像中每个像素进行立体匹配得到视差图,同时对其中一幅原始图像进行降采样和高斯平滑滤波的预处理,得到预处理后的图像;
第二步,将预处理后的图像划分为远距离场景区域和近距离场景区域,并分别对远距离场景区域和近距离场景区域进行超像素分割处理,得到远距离场景区域和近距离场景区域的超像素集合;
第三步,分别对远距离场景区域和近距离场景区域的超像素进行高维外观特征提取,得到远距离场景区域和近距离场景区域中每个超像素的高维外观特征向量;
第四步,对第一步得到的视差图进行地平面拟合处理,得到近距离区域场景中每个像素所属的地形类别,将超像素所包含像素的地形类别进行统计,类别数最大的那个地形类别作为超像素的地形类别;
所述的地平面拟合处理,具体指:在第一步得到的视差图中拟合地平面,得到近距离区域场景中每个像素的高程值H,判断每个像素高程值H与高程预定阈值Hthreshold的相对大小,当H<Hthreshold时,则判断该像素地形类别为自由空间;当H≥Hthreshold时,则判断该像素地形类别为障碍空间,从而得到近距离区域场景中每个像素所属的地形类别;
第五步,对近距离场景超像素的地形类别进行有监督局部线性嵌入处理,得到近距离场景超像素的低维主导特征;
所述的有监督局部线性嵌入处理,具体是:
1)、得到近距离场景每两个超像素间的高维外观特征向量间的欧式距离,将其中距离每个超像素最近的p个其它超像素作为该超像素的邻域;
2)、得到每两个超像素间的线性重构系数wij,这些线性重构系数构成该超像素的线性重构矩阵W,进而由M=(I-W)T(I-W)得到特征矩阵M;
3)、提取特征矩阵M的特征值和特征向量,其中除最小的特征值外的特征值所对应的特征向量就是该近距离场景超像素的低维主导特征;
所述的线性重构系数,具体是:
Figure FDA0000046530390000021
其中:
Figure FDA0000046530390000022
Figure FDA0000046530390000023
xk、xl、xm都是xi的邻域,wij是第i个超像素和第j个超像素间的线性重构系数,xk、xl、xm、xi分别是第k个超像素的高维外观特征、第l个超像素的高维外观特征、第m个超像素的高维外观特征和第i个超像素的高维外观特征;
第六步,对近距离场景超像素的低维主导特征进行加权和处理,得到远距离场景超像素的低维主导特征;
所述的加权和处理,具体是:
1)、得到远距离场景超像素与近距离场景超像素之间的高维外观特征向量间的欧式距离,将其中距离每个远距离场景超像素最近的q个近距离场景超像素作为该超像素的邻域;
2)、得到每个远距离场景超像素与其邻域的近距离场景超像素间的线性重构系数,
3)、将每个远距离场景超像素与其邻域的近距离场景超像素间的线性重构系数与对应的近距离场景超像素的低维主导特征向量进行加权求和,从而得到远距离场景中该超像素的低维主导特征;
第七步,对近距离场景区域超像素的地形类别和低维主导特征进行Adaboost分类器训练,得到Adaboost分类器;
所述的Adaboost分类器训练,具体是:将近距离场景区域超像素的低维主导特征的每一维都训练成一个弱分类器,并利用训练过程中所得到的加权系数将弱分类器输出进行组合,作为Adaboost分类器;
第八步,将远距离场景区域超像素的低维主导特征输入至Adaboost分类器,当Adaboost分类器输出为1时,则当前场景为障碍;否则当前场景为地面。
2.根据权利要求要求1所述的远距离障碍的自适应检测方法,其特征是,第二步中所述的超像素分割处理,具体是:计算区域内相邻像素的特征距离,将特征距离小于距离阈值的两像素归入同一超像素,最后将包含像素个数小于或者等于像素个数阈值的超像素归入邻近的包含像素个数大于像素个数阈值的超像素,从而将远距离场景区域和近距离场景区域分别划分为若干超像素,每个超像素由若干相连的像素组成。
3.根据权利要求要求1所述的远距离障碍的自适应检测方法,其特征是,第三步中所述的高维外观特征提取包括:颜色特征提取和纹理特征提取,其中:颜色特征提取是将超像素的RGB空间转换为HSL空间、Lab空间、c空间、l空间以及m空间;纹理特征提取是由Gabor函数对原始图像进行卷积得到的。
CN2010101547440A 2010-04-24 2010-04-24 远距离障碍的自适应检测方法 Expired - Fee Related CN101813475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010101547440A CN101813475B (zh) 2010-04-24 2010-04-24 远距离障碍的自适应检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010101547440A CN101813475B (zh) 2010-04-24 2010-04-24 远距离障碍的自适应检测方法

Publications (2)

Publication Number Publication Date
CN101813475A CN101813475A (zh) 2010-08-25
CN101813475B true CN101813475B (zh) 2011-06-01

Family

ID=42620791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101547440A Expired - Fee Related CN101813475B (zh) 2010-04-24 2010-04-24 远距离障碍的自适应检测方法

Country Status (1)

Country Link
CN (1) CN101813475B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793713B (zh) * 2012-10-31 2017-09-15 中国科学院沈阳自动化研究所 低秩约束的在线自监督学习的场景分类方法
CN105354405A (zh) * 2014-08-20 2016-02-24 中国科学院上海高等研究院 基于机器学习的免疫组化图像自动化判读系统
CN104700105B (zh) * 2015-03-11 2018-04-10 宁波工程学院 非结构化室外地形全局检测方法
CN105574546B (zh) * 2015-12-22 2018-11-16 洛阳师范学院 一种基于slle算法的计算机图像模式识别方法与系统
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
CN106056165B (zh) * 2016-06-28 2019-05-10 大连理工大学 一种基于超像素关联性增强Adaboost分类学习的显著性检测方法
CN107272682A (zh) * 2017-06-16 2017-10-20 深圳市可飞科技有限公司 移动平台自动规避碰撞的方法、系统及移动平台
CN107175645A (zh) * 2017-07-05 2017-09-19 深圳悉罗机器人有限公司 移动机器人
CN108921852B (zh) * 2018-06-01 2021-05-07 大连理工大学 基于视差与平面拟合的双分支室外非结构化地形分割网络
CN108804824B (zh) * 2018-06-12 2020-04-24 广东盈科机器人产业有限公司 一种地形识别方法
CN109344881B (zh) * 2018-09-11 2021-03-09 中国科学技术大学 一种基于时空连续性的扩展分类器
CN109376783B (zh) * 2018-10-29 2020-10-20 杭州清创微品智能科技有限公司 机器人自适应地形分类方法、系统与计算机可读存储介质
CN111077890A (zh) * 2019-12-27 2020-04-28 湘潭大学 一种基于gps定位与自动避障的农业机器人的实现方法
CN111352430B (zh) * 2020-05-25 2020-09-25 北京云迹科技有限公司 路径规划方法、装置及机器人
CN117830991A (zh) * 2024-03-04 2024-04-05 山东大学 一种基于多模融合的四足机器人复杂场景感知方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1494044B1 (de) * 2003-07-03 2006-08-16 EADS Deutschland GmbH Verfahren zur Hinderniserkennung und Geländeklassifikation
US7194132B1 (en) * 2002-07-09 2007-03-20 The United States Of America As Represented By The Secretary Of The Navy Method and system for detecting anomalies in multispectral and hyperspectral imagery employing the normal compositional model
CN101127078A (zh) * 2007-09-13 2008-02-20 北京航空航天大学 一种基于蚁群智能的无人机机器视觉图像匹配方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194132B1 (en) * 2002-07-09 2007-03-20 The United States Of America As Represented By The Secretary Of The Navy Method and system for detecting anomalies in multispectral and hyperspectral imagery employing the normal compositional model
EP1494044B1 (de) * 2003-07-03 2006-08-16 EADS Deutschland GmbH Verfahren zur Hinderniserkennung und Geländeklassifikation
CN101127078A (zh) * 2007-09-13 2008-02-20 北京航空航天大学 一种基于蚁群智能的无人机机器视觉图像匹配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Ayse Naz Erkan et al..Adaptive Long Range Vision in Unstructured Terrain.《Proceedings of the 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems》.2007,2421-2426. *
Michael Happold et al..Enhancing Supervised Terrain Classification with Predictive Unsupervised Learning.《Robotics: Science and Systems》.2006, *
褚一平.基于条件随机场模型的视频目标分割算法研究.《中国博士学位论文全文数据库》.2008,(第07期), *

Also Published As

Publication number Publication date
CN101813475A (zh) 2010-08-25

Similar Documents

Publication Publication Date Title
CN101813475B (zh) 远距离障碍的自适应检测方法
CN109597087B (zh) 一种基于点云数据的3d目标检测方法
CN108009542B (zh) 油菜大田环境下杂草图像分割方法
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN104063702B (zh) 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
Kong et al. General road detection from a single image
CN101701818B (zh) 远距离障碍的检测方法
CN107145846A (zh) 一种基于深度学习的绝缘子识别方法
CN111126287B (zh) 一种遥感影像密集目标深度学习检测方法
CN104933708A (zh) 一种基于多谱三维特征融合的植被环境中障碍物检测方法
CN102103202A (zh) 一种融合影像的机载激光雷达数据半监督分类方法
Zhang et al. Polarimetric SAR terrain classification using 3D convolutional neural network
Shinzato et al. Fast visual road recognition and horizon detection using multiple artificial neural networks
CN101739712A (zh) 基于视频的3d人脸表情动画驱动方法
CN102254319A (zh) 一种多层次分割的遥感影像变化检测方法
CN113963222B (zh) 一种基于多策略组合的高分辨率遥感影像变化检测方法
CN105447490A (zh) 基于梯度回归树的车辆关键点检测方法及装置
CN102289822A (zh) 一种多摄像机协同跟踪运动目标的方法
CN104008374B (zh) 一种矿井图像中基于条件随机场的矿工检测方法
Bajracharya et al. Learning long-range terrain classification for autonomous navigation
Yu et al. Obstacle detection with deep convolutional neural network
Persson et al. Automatic building detection from aerial images for mobile robot mapping
CN116343058A (zh) 基于全局协同融合的多光谱和全色卫星影像地表分类方法
Erkan et al. Adaptive long range vision in unstructured terrain
Cao et al. Feature extraction of remote sensing images based on bat algorithm and normalized chromatic aberration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110601

Termination date: 20140424