CN104778452B - 一种基于机器学习的可行区域检测方法 - Google Patents
一种基于机器学习的可行区域检测方法 Download PDFInfo
- Publication number
- CN104778452B CN104778452B CN201510154257.7A CN201510154257A CN104778452B CN 104778452 B CN104778452 B CN 104778452B CN 201510154257 A CN201510154257 A CN 201510154257A CN 104778452 B CN104778452 B CN 104778452B
- Authority
- CN
- China
- Prior art keywords
- pixel
- value
- area
- super
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000010801 machine learning Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 32
- 239000000284 extract Substances 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 5
- 241001310793 Podium Species 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000003442 weekly effect Effects 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract 1
- 238000005286 illumination Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明所要解决的技术问题是提供一种基于机器学习的可行区域检测方法,包括:确定参数、构建特征、特征分类、更新训练数据集和更新分类器。此方法在上述各步骤之间循环迭代,可以通过不断扩张一小块可行区域提取出整幅图像的可行区域。这种方法在复杂的变化场景中是实时有效的,室外无人平台可以基于该方法提取出当前视野中的可行区域,从而保障自身安全稳定的运行。
Description
技术领域
本发明涉及无人平台的可行区域提取方法,尤其涉及通过视觉传感器和机器学习方法实现自适应可行区域检测的方法。
背景技术
随着计算单元性能的提高,基于视觉的可行区域检测已经取得了很大进展。但当前的方法存在场景适应能力差,光照适应能力差和稳定性不强等缺点,给无人平台的稳定安全运行带来隐患。例如,一些可行区域提取方法首先要求待检测的可行区域具有消失点,可行区域不存在消失点的情况在机器人实际运行时却经常出现,例如,路口场景。即使在直行的道路上,消失点也可能因为机器人位姿问题没有出现在视野中,从而导致道路检测的失败。其次,该类方法还要求道路的边界为直线,同样也是道路的理想条件,在弯曲的道路中无法满足。而且,轻微的光照变化也会产生据他影响。再例如,使用双目相机进行可行区域提取,在近处能产生比较好的效果,然而在远处的效果不理想,一方面原本可以通行的区域检测为不可通行,或者将不可通行的区域检测为可以通行。本发明将机器学习方法应用在无人平台的可行区域检测问题中。此处无人平台主要是指室外自主导航车。
发明内容
本发明所要解决的技术问题是提供一种基于机器学习的可行区域检测方法,主要解决无人平台的可行区域检测问题。为此,本发明采用以下技术方案:
一种基于机器学习的可行区域检测方法,所述方法以设有摄像设备的无人平台作为载体,其特征在于,包括如下步骤:
步骤一、定义数值w,在图像中表示图像宽度值,在矩阵中表示矩阵列数;定义数值h,在图像中表示图像高度,在矩阵中表示矩阵行数;设置图像宽度为w,图像高度为h,构建图像坐标系;根据无人平台高度与角度确定五个点坐标,包括(x1,y1),(x2,0),(w,y3),(x4,y4),(x5,h);定义FM为h行w列,并且每个元素值只为+1,0或者-1的矩阵,根据上述五个点的坐标将该矩阵每个元素赋值为+1、0或者-1;FMsum为与FM等大小的矩阵,通过将FM矩阵中的0全部替换为-1得到;
步骤二、从摄像设备中读取当前帧图像,将当前帧图像进行θ次超像素分割,每一个分割包含不同数目的超像素,针对分割出的每个超像素提取特征,一个超像素内包含多个像素,所述特征为对该超像素区域所有的像素进行颜色和纹理信息统计得到的1行D列的向量,D为自然数,设定第i次超像素分割中的第j个超像素进行特征提取得到的向量为fij,i为取值从1到θ的自然数,j为取值从1到mi的自然数,其中mi表示第i次分割得到的超像素数目;
步骤三、判定当前图像是否为初始帧:
如果当前帧为初始帧,则转到步骤七;
如果当前帧不是初始帧,则转到步骤四;
步骤四、特征分类,包括:构建θ+1个h行w列矩阵,表示为r1,r2…rθ,Rsum;对于步骤二中得到的每个特征fij,使用分类器进行分类,可以得到分类器对特征fij是否可以通行的判定结果tij;tij为+1或者-1,tij为+1时表示第i次分割得到的第j个超像素区域可以通行,将ri中对应的元素置为+1;为-1时则表示对应区域不可通行,将ri中对应的元素置为-1;Rsum为对r1,r2…rθ相同位置的元素融合得到的最终结果;
步骤五、对步骤四中得到的Rsum有效性进行判定,根据判定结果对训练数据集F进行更新,训练数据集F是指多个训练样本的集合,用于保存分类器所需要的训练样本;训练样本由分类器训练所需要的元素组成,包括特征向量f,是否可通行属性标识L,权重W;
步骤六、使用Rsum标记训练样本,包括:修正训练样本,选取训练样本,计算训练样本权重:根据Rsum对每一个特征fij进行标记,对第i次分割得到的第j个超像素的标记结果为Lij,Wij为对第i次分割得到的第j个超像素在分类器训练时的权重;
修正训练样本是指:所有矩形区域[(x4,y4),(x5,H)]中的特征fij,Lij值为+1;所有矩形区域[(0,0),(x1,y1)],[(x2,0),(w,y3)]中的特征fij,Lij值为-1,选取这些区域中的所有样本作为训练样本;
选取训练样本是指:对于除上述区域之外的其他区域中的特征fij,若tij与Rsum中的对应值相同,则Lij值为tij,并选取该样本作为训练样本;
计算得到权重Wij后,将选取的训练样本{fij,Wij,Lij}加入到训练数据集F,并重新训练分类器,循环执行步骤二到步骤六,通过不断改变训练数据集F并重新训练分类器达到提取可行区域的目的;
步骤七、使用FMsum标记训练样本:
所有矩形区域[(x4,y4),(x5,H)]中的特征fij,Lij值为+1;图像中所有其他区域的特征fij,Lij值为-1。选取所有的样本作为训练样本;计算得到权重Wij后,将选取的训练样本{fij,Wij,Lij}加入到训练数据集F,并训练分类器,循环执行步骤二到步骤六,通过不断改变训练数据集F并重新训练分类器达到提取可行区域的目的;
计算样本权重的方法如下:
定义npos为其中值为+1的像素数目,nneg为值为-1像素数目,N为该图像总的像素数目,N=npos+nneg,则定义:
Cb=λsign(Cd)|Cd|σ
Wij=W0-sign(Lij)(Cb-φ)
其中sign(Lij)和sign(Cd)对Lij和Cd取符号,以Cd为例,若Cd大于0,则sign(Cd)为+1,若小于0,则sign(Cd)为-1,若等于0,则sign(Cd)为0。|Cd|表示对Cd取绝对值;Lij为样本的属性,即+1(可以通行)或者-1(不可通行),Wij为求得的权重,Cd表示两类像素数目相差的大小,Cd越接近于+1表示可行区域像素数目越大于不可行区域像素数目,值为+1时表示整幅图像均可通行;Cd越接近于-1表示不可行区域像素数目越大于可行区域像素数目,取值为-1时表示整幅图像均不可通行;Cb则表示根据像素数目发散度Cd以及常数λ和σ计算得到的平衡补偿;λ表示Cd取任意值时,Cb对Cd变化的敏感程度;σ表示Cd在0值周围时,Cb对Cd变化的敏感程度;W0表示权重基础值,权重设置在该数值的基础上进行;φ表示可行区域优先补偿值,当两类像素数目差别不悬殊时,可行区域样本的权值稍大于不可行区域样本的权值,以保证检测出当前图像的所有可通行域。
进一步的,在所述步骤一中,采取如下步骤:
设图像宽度为w,高度为h,构建坐标系,定义矩形区域为[(m,n),(q,p)],其中(m,n)为矩形区域的左上角点,(q,p)为矩形区域的右下角点,在矩阵FM中,设置矩形区域[(0,0),(x1,y1)],[(x2,0),(w,y3)]的值为-1,表示该区域不可通行,设置矩形区域[(x4,y4),(x5,H)]的值为+1,表示该区域可以通行,除上述矩形区域外,其他区域为0,表示通行属性未知;将FM矩阵中的0全部替换为-1得到FMsum。
进一步的,在所述步骤二中,用以下方法对当前帧图像进行分割:
将当前帧图像进行θ次超像素分割,每一个分割包含不同数目的超像素;
设定第一次分割的数目为M1,第i次分割的数目为Mi,则θ次分割的数目间存在如下关系:即相邻两次分割的数目比值是固定常数K,此处分割次数θ取值为2n+1,n为自然数;
对θ次不同尺度的分割得到的所有超像素进行特征提取:对一个超像素中的所有像素进行特征统计,其中颜色特征采用HSV颜色空间直方图提取,纹理特征采用LBP直方图提取,将提取的HSV颜色空间直方图和LBP直方图连接到一起组合为特征向量,形成该超像素的特征。
进一步的,在所述步骤三中,所述标记是指对于一个特征,赋予特定的值表示其属性,包括标记可通行(+1)或不可通行(-1)。
进一步的,通过所述步骤二中,将所述当前帧图像进行θ次分割,所述步骤四中的分类,对于步骤二中得到的每个特征fij,使用分类器进行分类得到结果tij,tij为+1或者-1,将tij赋予特征fij对应的超像素区域;
由于步骤二中将所述当前帧图像进行θ次分割,从而经过上述分类过程后得到θ个识别结果,θ个识别结果表示为{r1,r2…rθ},其中ri的尺寸与被分割图像的尺寸相同,只包含+1或者-1;
将θ个识别结果根据公式进行投票融合:
其中ri表示对θ个识别结果每个元素对应相加,sign操作表示对相加后对每个像素值取符号,即若加和大于等于0,则Rsum对应的元素取值为+1,表示该像素可以通行;若小于0,则Rsum对应的元素取值为-1,表示该像素不可通行。融合多个识别结果,有助于提高可行区域检测的稳定性,在实际检测中对于保证可行区域的有效性具有重要作用。
进一步的,在所述步骤五中,投票融合的结果有效性判定方法如下:
使用步骤一中的FM,设nFM为FM中,矩形区域[(0,0),(x1,y1)],[(x2,0),(w,y3)],[(x4,y4),(x5,H)]中的元素数目;设nTP为Rsum中矩形区域[(x4,y4),(x5,H)]中值为+1的元素数目;设nFN为Rsum中矩形区域[(0,0),(x1,y1)],[(x2,0),(w,y3)],值为-1的像素数目,通过将nTP与nFN相加除以nFM得到正确率,即设定Acc为正确率,用公式表示为:
如果Acc大于一个常数设定值η,分类结果有效,将训练数据集F中的所有的训练样本权重W减去固定常数ΔW,若存在训练样本权重小于0,则删除该训练样本;
如果Acc小于η,分类结果无效,清空训练数据集F。
由于采用本发明的技术方案,本发明的有益效果为:相比于其他方法中对于可行区域的各种要求,本文方法只假定机器人前方的一小块区域可以通行,弱化了可行区域检测的条件,使本文方法更具备普适性,能适应尽可能多的场景。
本发明使用基于超像素的特征描述,不同于传统单层超像素提取,本文提出了对一幅图像进行多个尺度的分割,实现对一个区域的多个尺度的描述,从而稳定准确地判定一幅图像的可行区域。
本发明融合非平衡学习的策略,通过权重方程对样本的权重进行设置,同时设置了基于权重的样本遗忘机制,从而可以通过更新样本并遗忘旧样本适应新场景。
因此,本发明通过所述机器学习的方法对场景变化和光照变化适应能力好,稳定性强,可以满足无人平台在室外环境下进行可行区域检测的需求。通过本发明的方法步骤,多次循环学习,并修正、记忆可行区域,最终得到精准的可行进区域。该方法适用于自主导航系统以及辅助驾驶系统中,对可行区域自适应的检测。
附图说明
图1为本发明提供的一种基于机器学习的可行区域检测方法构建的坐标系,并在此基础上确定的FM。
图2为本发明提供的一种基于机器学习的可行区域检测方法的无人平台高度与角度确定的FMsum示意图。
图3为本发明提供的一种基于机器学习的可行区域检测方法θ次超像素分割示意图。
图4为本发明提供的一种基于机器学习的可行区域检测方法使用分类器进行分类示意图。
具体实施方式
本发明以设有摄像设备的无人平台作为载体,通过以下步骤实施:
一种基于机器学习的可行区域检测方法,所述方法以设有摄像设备的无人平台作为载体,进行可行区域检测,包括如下步骤:
步骤一、定义数值w,在图像中表示图像宽度值,在矩阵中表示矩阵列数;定义数值h,在图像中表示图像高度,在矩阵中表示矩阵行数;设置图像宽度为w,图像高度为h,构建图像坐标系;根据无人平台高度与角度确定五个点坐标,包括(x1,y1),(x2,0),(w,y3),(x4,y4),(x5,h);定义FM为h行w列,并且每个元素值只为+1,0或者-1的矩阵,根据上述五个点的坐标将该矩阵每个元素赋值为+1、0或者-1;FMsum为与FM等大小的矩阵,通过将FM矩阵中的0全部替换为-1得到。
由上述定义得到FMsum如图2所示,除矩形区域[(x4,y4),(x5,H)]值为+1外,其他区域值均为-1。
步骤二、从摄像设备中读取当前帧图像,将当前帧图像进行θ次超像素分割,每一个分割包含不同数目的超像素,针对分割出的每个超像素提取特征,一个超像素内包含多个像素,所述特征为对该超像素区域所有的像素进行颜色和纹理信息统计得到的1行D列的向量,D为自然数,设定第i次超像素分割中的第j个超像素进行特征提取得到的向量为fij,i为取值从1到θ的自然数,j为取值从1到mi的自然数,其中mi表示第i次分割得到的超像素数目。
设图像宽度为w,高度为h,构建坐标系,定义矩形区域为[(m,n),(q,p)],其中(m,n)为矩形区域的左上角点,(q,p)为矩形区域的右下角点,设置矩形区域[(0,0),(x1,y1)],[(x2,0),(w,y3)]的值为-1,表示该区域不可通行,设置矩形区域[(x4,y4),(x5,H)]的值为+1,表示该区域可以通行,除上述矩形区域外,其他区域为0,表示通行属性未知。
θ次超像素分割如图3所示。
将当前帧图像进行θ次超像素分割,每一个分割包含不同数目的超像素;
设定第一次分割的数目为M1,第i次分割的数目为Mi,则θ次分割的数目间存在如下关系:即相邻两次分割的数目比值是固定常数K,此处分割次数θ取值为2n+1,n为自然数;
对θ次不同尺度的分割得到的所有超像素进行特征提取:对一个超像素中的所有像素进行特征统计,其中颜色特征采用HSV颜色空间直方图提取,纹理特征采用LBP直方图提取,将提取的HSV颜色空间直方图和LBP直方图连接到一起组合为特征向量,形成该超像素的特征。
所述标记是指对于一个特征,赋予特定的值表示其属性,包括标记可通行(+1)或不可通行(-1)。
步骤三、判定当前图像是否为初始帧:
如果当前帧为初始帧,则转到步骤七;
如果当前帧不是初始帧,则转到步骤四;
步骤四、特征分类,包括:构建θ+1个h行w列矩阵,表示为r1,r2…rθ,Rsum;对于步骤二中得到的每个特征fij,使用分类器进行分类,可以得到分类器对特征fij是否可以通行的判定结果tij;tij为+1或者-1,tij为+1时表示第i次分割得到的第j个超像素区域可以通行,将ri中对应的元素置为+1;为-1时则表示对应区域不可通行,将ri中对应的元素置为-1;Rsum为对r1,r2…rθ相同位置的元素融合得到的最终结果;
通过所述步骤二中,将所述当前帧图像进行θ次分割,所述步骤四中的分类,对于步骤二中得到的每个特征fij,使用分类器进行分类得到结果tij,tij为+1或者-1,将tij赋予特征fij对应的超像素区域,如图4所示。
由于步骤二中将所述当前帧图像进行θ次分割,从而经过上述分类过程后得到θ个识别结果,表示为{r1,r2…rθ},其中ri尺寸与被分割图像相同,只包含+1或者-1;
将θ个识别结果根据公式进行投票融合,其中ri表示对θ个识别结果每个像素值对应相加,sign操作表示对相加后对每个像素值取符号,即若加和大于等于0,则Rsum对应的元素取值为+1,表示该像素可以通行;若小于0,则Rsum对应的元素取值为-1,表示该像素不可通行。
说明:分类器是指使用多个特征训练出一个分类模型,该分类模型可以对为标记的特征进行标记;对于包含n个训练样本的训练数据集F={(f1,w1,L1),(f2,w2,L2),…(fi,wi,Li),…,(fn,wn,Ln)},其中下标i表示第i个训练样本,fi为超像素的特征,wi为第i个特征的权重,Li表示第i个特征的标记,由训练数据集可以得到分类器H:
L=H(f);
上述过程称为训练。
该分类器对于输入特征f,可以得到该特征的属性L,这个过程称为分类。
以本方法使用的分类器ELM为例:对于包含n个训练样本的训练数据集F={(f1,w1,L1),(f2,w2,L2),…(fi,wi,Li),…,(fn,wn,Ln)},分类器训练通过优化以下函数:
其中β即为待求分类器,当取极小值时,可以求得β,求解β的过程称为训练。
当求解完β后,即可以通过公式对新特征的属性进行预测。
步骤五、对步骤四中得到的Rsum有效性进行判定,根据判定结果对训练数据集F进行更新,训练数据集F是指多个训练样本的集合,用于保存分类器所需要的训练样本;训练样本由分类器训练所需要的元素组成,包括特征向量f,是否可通行属性标识L,权重W。使用步骤一中的FM,设nFM为FM中,矩形区域[(0,0),(x1,y1)],[(x2,0),(w,y3)],[(x4,y4),(x5,H)]中的元素数目;设nTP为Rsum中矩形区域[(x4,y4),(x5,H)]中值为+1的元素数目;设nFN为Rsum中矩形区域[(0,0),(x1,y1)],[(x2,0),(w,y3)],值为-1的像素数目,通过将nTP与nFN相加除以nFM得到正确率,即设定Acc为正确率,用公式表示为:
如果Acc大于一个常数设定值η,分类结果有效,将训练数据集F中的所有的训练样本权重W减去固定常数ΔW,若存在训练样本权重小于0,则删除该训练样本;
如果Acc小于η,分类结果无效,清空训练数据集F。
步骤六、使用Rsum标记训练样本,包括:修正训练样本,选取训练样本,计算训练样本权重:根据Rsum对每一个特征fij进行标记,对第i次分割得到的第j个超像素的标记结果为Lij,Wij为对第i次分割得到的第j个超像素在分类器训练时的权重;
修正训练样本是指:所有矩形区域[(x4,y4),(x5,H)]中的特征fij,Lij值为+1;所有矩形区域[(0,0),(x1,y1)],[(x2,0),(w,y3)]中的特征fij,Lij值为-1,选取这些区域中的所有样本作为训练样本;
选取训练样本是指:对于除上述区域之外的其他区域中的特征fij,若tij与Rsum中的对应值相同,则Lij值为tij,并选取该样本作为训练样本;
计算得到权重Wij后,将选取的训练样本{fij,Wij,Lij}加入到训练数据集F,并重新训练分类器,循环执行步骤二到步骤六,通过不断改变训练数据集F并重新训练分类器达到提取可行区域的目的。
使用FMsum标记训练样本:
所有矩形区域[(x4,y4),(x5,H)]中的特征fij,Lij值为+1;图像中所有其他区域的特征fij,Lij值为-1。选取所有的样本作为训练样本;计算得到权重Wij后,将选取的训练样本{fij,Wij,Lij}加入到训练数据集F,并训练分类器,循环执行步骤二到步骤六,通过不断改变训练数据集F并重新训练分类器达到提取可行区域的目的。
本发明计算样本权重的方法如下:
定义npos为其中值为+1的像素数目,nneg为值为-1像素数目,N为该图像总的像素数目,N=npos+nnrg,则定义:
Cb=λsign(Cd)|Cd|σ
Wij=W0-sign(Lij)(Cb-φ)
其中sign(Lij)和sign(Cd)对Lij和Cd取符号,以Cd为例,若Cd大于0,则sign(Cd)为+1,若小于0,则sign(Cd)为-1,若等于0,则sign(Cd)为0。|Cd|表示对Cd取绝对值;Lij为样本的属性,即+1(可以通行)或者-1(不可通行),Wij为求得的权重,Cd表示两类像素数目相差的大小,Cd越接近于+1表示可行区域像素数目越大于不可行区域像素数目,值为+1时表示整幅图像均可通行;Cd越接近于-1表示不可行区域像素数目越大于可行区域像素数目,取值为-1时表示整幅图像均不可通行;Cb则表示根据像素数目发散度Cd以及常数λ和σ计算得到的平衡补偿;λ表示Cd取任意值时,Cb对Cd变化的敏感程度;σ表示Cd在0值周围时,Cb对Cd变化的敏感程度;W0表示权重基础值,权重设置在该数值的基础上进行;φ表示可行区域优先补偿值,当两类像素数目差别不悬殊时,可行区域样本的权值稍大于不可行区域样本的权值,以保证检测出当前图像的所有可通行域。
Claims (6)
1.一种基于机器学习的可行区域检测方法,所述方法以设有摄像设备的无人平台作为载体,其特征在于,包括如下步骤:
步骤一、定义数值w,在图像中表示图像宽度值,在矩阵中表示矩阵列数;定义数值h,在图像中表示图像高度,在矩阵中表示矩阵行数;设置图像宽度为w,图像高度为h,构建图像坐标系;根据无人平台高度与角度确定五个点坐标,包括(x1,y1),(x2,0),(w,y3),(x4,y4),(x5,h);定义FM为h行w列,并且每个元素值只为+1,0或者-1的矩阵,根据上述五个点的坐标将该矩阵每个元素赋值为+1、0或者-1;FMsum为与FM等大小的矩阵,通过将FM矩阵中的0全部替换为-1得到;
步骤二、从摄像设备中读取当前帧图像,将当前帧图像进行θ次超像素分割,每一个分割包含不同数目的超像素,针对分割出的每个超像素提取特征,一个超像素内包含多个像素,所述特征为对该超像素区域所有的像素进行颜色和纹理信息统计得到的1行D列的向量,D为自然数,设定第i次超像素分割中的第j个超像素进行特征提取得到的向量为fij,i为取值从1到θ的自然数,j为取值从1到mi的自然数,其中mi表示第i次分割得到的超像素数目;
步骤三、判定当前图像是否为初始帧:
如果当前帧为初始帧,则转到步骤七;
如果当前帧不是初始帧,则转到步骤四;
步骤四、特征分类,包括:构建θ+1个h行w列矩阵,表示为r1,r2…rθ,Rsum;对于步骤二中得到的每个特征fij,使用分类器进行分类,可以得到分类器对特征fij是否可以通行的判定结果tij;tij为+1或者-1,tij为+1时表示第i次分割得到的第j个超像素区域可以通行,将ri中对应的元素置为+1;为-1时则表示对应区域不可通行,将ri中对应的元素置为-1;Rsum为对r1,r2…rθ相同位置的元素融合得到的最终结果;
步骤五、对步骤四中得到的Rsum有效性进行判定,根据判定结果对训练数据集F进行更新,训练数据集F是指多个训练样本的集合,用于保存分类器所需要的训练样本;训练样本由分类器训练所需要的元素组成,包括特征向量f,是否可通行属性标识L,权重W;
步骤六、使用Rsum标记训练样本,包括:修正训练样本,选取训练样本,计算训练样本权重:根据Rsum对每一个特征fij进行标记,对第i次分割得到的第j个超像素的标记结果为Lij,Wij为对第i次分割得到的第j个超像素在分类器训练时的权重;
修正训练样本是指:所有矩形区域[(x4,y4),(x5,h)]中的特征fij,Lij值为+1;所有矩形区域[(0,0),(x1,y1)],[(x2,0),(w,y3)]中的特征fij,Lij值为-1,选取这些区域中的所有样本作为训练样本;
选取训练样本是指:对于除上述区域之外的其他区域中的特征fij,若tij与R sum中的对应值相同,则Lij值为tij,并选取该样本作为训练样本;
计算得到权重Wij后,将选取的训练样本{fij,Wij,Lij}加入到训练数据集F,并重新训练分类器,循环执行步骤二到步骤六,通过不断改变训练数据集F并重新训练分类器达到提取可行区域的目的;
步骤七、使用FMsum标记训练样本:
所有矩形区域[(x4,y4),(x5,h)]中的特征fij,Lij值为+1;图像中所有其他区域的特征fij,Lij值为-1; 选取所有的样本作为训练样本;计算得到权重Wij后,将选取的训练样本{fij,Wij,Lij}加入到训练数据集F,并训练分类器,循环执行步骤二到步骤六,通过不断改变训练数据集F并重新训练分类器达到提取可行区域的目的;
计算样本权重的方法如下:
定义npos为其中值为+1的像素数目,nneg为值为-1像素数目,N为该图像总的像素数目,N=npos+nneg,则定义:
Cb=λsign(Cd)|Cd|σ
Wij=W0-sign(Lij)(Cb-φ)
其中sign(Lij)和sign(Cd)对Lij和Cd取符号,以Cd为例,若Cd大于0,则sign(Cd)为+1,若小于0,则sign(Cd)为-1,若等于0,则sign(Cd)为0; |Cd|表示对Cd取绝对值;Lij为样本的属性,即+1(可以通行)或者-1(不可通行),Wij为求得的权重,Cd表示两类像素数目相差的大小,Cd越接近于+1表示可行区域像素数目越大于不可行区域像素数目,值为+1时表示整幅图像均可通行;Cd越接近于-1表示不可行区域像素数目越大于可行区域像素数目,取值为-1时表示整幅图像均不可通行;Cb则表示根据像素数目发散度Cd以及常数λ和σ计算得到的平衡补偿;λ表示Cd取任意值时,Cb对Cd变化的敏感程度;σ表示Cd在0值周围时,Cb对Cd变化的敏感程度;W0表示权重基础值,权重设置在该数值的基础上进行;φ表示可行区域优先补偿值,当两类像素数目差别不悬殊时,可行区域样本的权值稍大于不可行区域样本的权值,以保证检测出当前图像的所有可通行域。
2.根据权利要求1所述的一种基于机器学习的可行区域检测方法,其特征在于,在所述步骤一中,采取如下步骤:
设图像宽度为w,高度为h,构建坐标系,定义矩形区域为[(m,n),(q,p)],其中(m,n)为矩形区域的左上角点,(q,p)为矩形区域的右下角点,在矩阵FM中,设置矩形区域[(0,0),(x1,y1)],[(x2,0),(w,y3)]的值为-1,表示该区域不可通行,设置矩形区域[(x4,y4),(x5,h)]的值为+1,表示该区域可以通行,除上述矩形区域外,其他区域为0,表示通行属性未知;将FM矩阵中的0全部替换为-1得到FMsum。
3.根据权利要求1所述的一种基于机器学习的可行区域检测方法,其特征在于,在所述步骤二中,用以下方法对当前帧图像进行分割:
将当前帧图像进行θ次超像素分割,每一个分割包含不同数目的超像素;
设定第一次分割的数目为M1,第i次分割的数目为Mi,则θ次分割的数目间存在如下关系:即相邻两次分割的数目比值是固定常数K,此处分割次数θ取值为2n+1,n为自然数;
对θ次不同尺度的分割得到的所有超像素进行特征提取:对一个超像素中的所有像素进行特征统计,其中颜色特征采用HSV颜色空间直方图提取,纹理特征采用LBP直方图提取,将提取的HSV颜色空间直方图和LBP直方图连接到一起组合为特征向量,形成该超像素的特征。
4.根据权利要求1所述的一种基于机器学习的可行区域检测方法,其特征在于,在所述步骤三中,所述标记是指对于一个特征,赋予特定的值表示其属性,包括标记可通行(+1)或不可通行(-1)。
5.根据权利要求1所述的一种基于机器学习的可行区域检测方法,其特征在于,通过所述步骤二中,将所述当前帧图像进行θ次分割,所述步骤四中的分类,对于步骤二中得到的每个特征fij,使用分类器进行分类得到结果tij,tij为+1或者-1,将tij赋予特征fij对应的超像素区域;
由于步骤二中将所述当前帧图像进行θ次分割,从而经过上述分类过程后得到θ个识别结果,θ个识别结果表示为{r1,r2…rθ},其中ri的尺寸与被分割图像的尺寸相同,只包含+1或者-1;
将θ个识别结果根据公式进行投票融合:
其中ri表示对θ个识别结果每个元素对应相加,sign操作表示对相加后对每个像素值取符号,即若加和大于等于0,则Rsum对应的元素取值为+1,表示该像素可以通行;若小于0,则Rsum对应的元素取值为-1,表示该像素不可通行。
6.根据权利要求5所述的一种基于机器学习的可行区域检测方法,其特征在于,在所述步骤五中,投票融合的结果有效性判定方法如下:
使用步骤一中的FM,设nFM为FM中,矩形区域[(0,0),(x1,y1)],[(x2,0),(w,y3)],[(x4,y4),(x5,h)]中的元素数目;设nTP为Rsum中矩形区域[(x4,y4),(x5,H)]中值为+1的元素数目;设nFN为Rsum中矩形区域[(0,0),(x1,y1)],[(x2,0),(w,y3)],值为-1的像素数目,通过将nTP与nFN相加除以nFM得到正确率,即设定Acc为正确率,用公式表示为:
如果Acc大于一个常数设定值η,分类结果有效,将训练数据集F中的所有的训练样本权重W减去固定常数ΔW,若存在训练样本权重小于0,则删除该训练样本;
如果Acc小于η,分类结果无效,清空训练数据集F。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510154257.7A CN104778452B (zh) | 2015-04-02 | 2015-04-02 | 一种基于机器学习的可行区域检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510154257.7A CN104778452B (zh) | 2015-04-02 | 2015-04-02 | 一种基于机器学习的可行区域检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104778452A CN104778452A (zh) | 2015-07-15 |
CN104778452B true CN104778452B (zh) | 2018-04-17 |
Family
ID=53619905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510154257.7A Active CN104778452B (zh) | 2015-04-02 | 2015-04-02 | 一种基于机器学习的可行区域检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104778452B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108431870A (zh) * | 2016-01-11 | 2018-08-21 | 卡尔蔡司X射线显微镜公司 | 多模态矿物分割系统和方法 |
CN108364294B (zh) * | 2018-02-05 | 2021-01-12 | 西北大学 | 基于超像素的腹部ct图像多器官分割方法 |
CN108573492B (zh) * | 2018-04-02 | 2020-04-03 | 电子科技大学 | 一种实时雷达探测区域检测方法 |
CN111044993B (zh) * | 2019-12-27 | 2021-11-05 | 歌尔股份有限公司 | 一种基于激光传感器的slam地图校准方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7272474B1 (en) * | 2004-03-31 | 2007-09-18 | Carnegie Mellon University | Method and system for estimating navigability of terrain |
CN102914303A (zh) * | 2012-10-11 | 2013-02-06 | 江苏科技大学 | 多移动机器人的智能空间系统及导航信息获取方法 |
CN103198302A (zh) * | 2013-04-10 | 2013-07-10 | 浙江大学 | 一种基于双模态数据融合的道路检测方法 |
-
2015
- 2015-04-02 CN CN201510154257.7A patent/CN104778452B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7272474B1 (en) * | 2004-03-31 | 2007-09-18 | Carnegie Mellon University | Method and system for estimating navigability of terrain |
CN102914303A (zh) * | 2012-10-11 | 2013-02-06 | 江苏科技大学 | 多移动机器人的智能空间系统及导航信息获取方法 |
CN103198302A (zh) * | 2013-04-10 | 2013-07-10 | 浙江大学 | 一种基于双模态数据融合的道路检测方法 |
Non-Patent Citations (2)
Title |
---|
Chin-Kai Chang.Mobile robot monocular vision navigation based on road region and boundary estimation.《2012 IEEE/RSJ International Conference on IROS》.2012,1043-1050. * |
原魁 等.自主移动机器人视觉信息处理技术研究发展现状.《高技术通讯》.2008,第18卷(第1期), * |
Also Published As
Publication number | Publication date |
---|---|
CN104778452A (zh) | 2015-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106709568B (zh) | 基于深层卷积网络的rgb-d图像的物体检测和语义分割方法 | |
CN108898047B (zh) | 基于分块遮挡感知的行人检测方法及系统 | |
JP6897335B2 (ja) | 学習プログラム、学習方法および物体検知装置 | |
CN105608456B (zh) | 一种基于全卷积网络的多方向文本检测方法 | |
CN107463890B (zh) | 一种基于单目前视相机的前车检测与跟踪方法 | |
CN110287826B (zh) | 一种基于注意力机制的视频目标检测方法 | |
CN104778452B (zh) | 一种基于机器学习的可行区域检测方法 | |
CN105096307B (zh) | 在成对的立体图像中检测物体的方法 | |
Türkyılmaz et al. | License plate recognition system using artificial neural networks | |
CN103971091B (zh) | 飞机机号自动识别方法 | |
CN106446890B (zh) | 一种基于窗口打分和超像素分割的候选区域提取方法 | |
CN111046868B (zh) | 基于矩阵低秩稀疏分解的目标显著性检测方法 | |
CN113112480B (zh) | 视频场景变换检测方法、存储介质和电子设备 | |
CN111709471B (zh) | 对象检测模型的训练方法以及对象检测方法、装置 | |
CN106815323A (zh) | 一种基于显著性检测的跨域视觉检索方法 | |
CN106529417A (zh) | 一种视觉激光数据融合的道路检测方法 | |
CN107209942A (zh) | 对象检测方法和图像检索系统 | |
CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
CN105844665A (zh) | 视频对象追踪方法及装置 | |
CN112036514A (zh) | 一种图像分类方法、装置、服务器及计算机可读存储介质 | |
CN112699834A (zh) | 交通标识检测方法、装置、计算机设备和存储介质 | |
CN109255382A (zh) | 用于图片匹配定位的神经网络系统,方法及装置 | |
CN109117823A (zh) | 一种基于多层神经网络的跨场景行人重识别的方法 | |
CN111368634B (zh) | 基于神经网络的人头检测方法、系统及存储介质 | |
CN107784284B (zh) | 人脸识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |