CN104077603B - 类地重力场环境下室外场景单目视觉空间识别方法 - Google Patents
类地重力场环境下室外场景单目视觉空间识别方法 Download PDFInfo
- Publication number
- CN104077603B CN104077603B CN201410333183.9A CN201410333183A CN104077603B CN 104077603 B CN104077603 B CN 104077603B CN 201410333183 A CN201410333183 A CN 201410333183A CN 104077603 B CN104077603 B CN 104077603B
- Authority
- CN
- China
- Prior art keywords
- image
- sky
- color
- block
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 122
- 230000005484 gravity Effects 0.000 title claims abstract description 52
- 239000013598 vector Substances 0.000 claims abstract description 57
- 230000006870 function Effects 0.000 claims abstract description 16
- 230000008447 perception Effects 0.000 claims abstract description 12
- 239000002356 single layer Substances 0.000 claims abstract description 12
- 230000003595 spectral effect Effects 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 239000003086 colorant Substances 0.000 claims abstract description 5
- 238000006243 chemical reaction Methods 0.000 claims abstract description 3
- 230000000007 visual effect Effects 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000000691 measurement method Methods 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 2
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 230000001788 irregular Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 238000011524 similarity measure Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims 1
- 238000010885 neutral beam injection Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005315 distribution function Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000019771 cognition Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- BPQQTUXANYXVAA-UHFFFAOYSA-N Orthosilicate Chemical compound [O-][Si]([O-])([O-])[O-] BPQQTUXANYXVAA-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000013106 supervised machine learning method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
一种类地重力场环境下室外场景图像单目视觉空间识别方法，其特征是它包括以下步骤：首先，对图像进行基于像素的CIELAB色彩空间值L,a,b和x,y坐标值的超像素分割，以产生具有一定密度的超像素图像；其次，采用超像素颜色特性、纹理特征向量距离、邻接关系及基于人类对色彩的多尺度感知特性的谱聚类方法，将分割形成的超像素图像降维并生成若干大图块；第三，将代表天空、地面及立面物体的重力场模糊分布密度函数分别与所得的大图块像素相乘，并求出大图块的期望值，从而完成天空、地面及立面物体的初步分类；第四，通过单层小波采样特征提取出天空、地面及立面物体图块并分类；最后，基于小孔成像模型及地面线性透视信息生成空间深度感知图，从而完成由摄像设备获取的平面图像向立体图像的转换，实现类地重力场环境下单目视觉空间识别。本发明无需机器学习且能快速、准确识别场景图像空间。
Description
技术领域
本发明涉及一种新型类地重力场环境下室外场景图像单目视觉空间识别方法，可以广泛应用于如机器视觉室外空间导航、目标测量、目标追踪与定位等领域尤其是一种将重力场、透视投影原理作为机器视觉空间识别的重要线索，实现室内场景图像的空间识别方法，具体地说是一种类地重力场环境下室外场景单目视觉空间识别方法。
背景技术
理解3D空间结构作为机器视觉的基本问题，长期以来被人们关注并研究着，早期的研究工作关注于立体视觉或通过视角的运动来获得3D的线索。近年来，许多研究人员将关注点聚焦于从单目视觉图像中重构3D空间结构，目前大多数单目视觉3D空间识别方法多采用监督型机器学习方法，比如：马尔可夫随机场(MRFs)、条件概率随机场(CRFs)以及动态贝叶斯网络(DBN)等。然而，这些方法常常依赖于其先验知识，即仅能学习类似于训练集中所采集的图像环境。因此，当采样设备或采样环境发生变化时，单目视觉3D空间识别的结果将产生较大差异。为了解决这个问题，本发明提出将重力场、透视投影原理作为机器视觉空间识别的重要线索，构建一种新型类地重力场环境下室外场景图像单目视觉空间识别方法，该方法不需要进行机器学习。
本发明仅涉及类地重力场环境下的场景，因此需要对类地重力场环境给予必要的定义，本方法中所谓的类地重力场是指以硅酸盐岩石为主要成分的星体表面所构成的重力场环境，如：地球、火星、月球等重力场环境。图1给出了在万有引力场中场景图像的分类。而在类地重力场环境下的场景图像又可以分为两类，分别是通常所说的室外和室内场景图像，本发明的应用对象为室外场景。
发明内容
本发明的目的是针对现有的图像识别方法大都需要通过对场景图像进行机器学习才能完成，所以存在数据处理量大、速度慢，适应性差，使用范围受限较多的问题，本发明是一种无需机器学习且能快速、准确识别类地重力场环境下室外场景的单目视觉空间识别方法，它可广泛应用于类地重力场环境下室外场景的单目视觉空间识别。
本发明的技术方案是：
一种类地重力场环境下室外场景单目视觉空间识别方法，其特征是它包括以下步骤：
首先，对图像进行基于像素的CIELAB色彩空间值L,a,b和x,y坐标值的超像素分割，以产生具有一定密度的超像素图像；
其次，采用超像素颜色特性、纹理特征向量距离、邻接关系及基于人类对色彩的多尺度感知特性的谱聚类方法，将分割形成的超像素图像降维并生成若干大图块；
第三，将代表天空、地面及立面物体的重力场模糊分布密度函数分别与所得的大图块像素相乘，并求出大图块的期望值，从而完成天空、地面及立面物体的初步分类；
第四，通过单层小波采样特征提取出天空并分类、地面及立面物体图块；
最后，基于小孔成像模型及地面线性透视信息生成空间深度感知图，从而完成由摄像设备获取的平面图像向立体图像的转换，实现类地重力场环境下单目视觉空间识别。
本发明的有益效果是：
本发明提出了将重力场因素及透视投影原理作为机器视觉空间识别的重要线索，并应用到场景图像机器视觉空间识别中，构建了一种新型的不需要机器学习的单目视觉空间识别方法。
1.本发明构建了一种能对类地重力场环境下室外场景图像进行单目机器视觉空间识别方法。
2.该方法采用了人类对色彩的多尺度感知模型，其对场景图像的聚类效果更加接近人类对场景的认知，与专利201310652422.2所提方法相比，本方法从总体上提高了对室外场景对象识别查全率，并降低了空间对象识别的查全率和查准率的方差值，从而提高了本方法对室外场景对象识别的稳定性，如表1和表2所示。
表1专利201310652422.2方法对室外场景图像的空间识别效果
表2本发明方法对室外场景图像的空间识别效果
3.与专利201310652422.2相比，本方法去除了对地面和立面采用曼哈顿方向特征提取步骤，因此简化了本方法的识别过程，降低了对大型建筑结构化空间识别的复杂度。
4.本发明无需对计算机进行基于先验知识的机器学习与训练就可以对类地重力场环境下的单目视觉图像进行有效识别。
5.本发明方法从原理上就考虑到了摄像机视角的变化因素，因此可以通过相应的视平线移动变化以适应摄像机视觉角度的变化，从而产生较为稳定的空间识别效果，如所示。
6.本发明改变了传统的室外场景单目视觉空间识别的方法，可以广泛应用于如机器人视觉导航、大空间的目标测量、目标追踪与定位等领域。
7.本发明与现有方法的比较
Saxena A等人采用Make3D Image data数据集中的134训练集图像和588张由网上因特网上采集场景图像，进行了现有空间识别方法的比较实验，如表3所示。
表3多种方法的比较
PP-MRF方法(即Plane Parameter MRF)对空间识别的效果最好，其对于图像总体识别正确率及主要平面识别的正确率分别为64.9％和71.2％。而本发明对Make3D Imagedata数据集中的134训练集图像的识别效果，如表4所示。由于本发明人实验中无法获得与Saxena A等人完全相同的588张由因特网上采集的场景图像，也无法从文献中了解其具体的正确率判定标准。所以本方法将从方法所使用的特征数量、模型类型、学习方式，以及其公开发表的论文中部分深度图结果与本方法所产生的深度图进行定性的比较。
表4-134张测试集图像中天空、立面和地面的查全率及查准率实验结果
①从方法实现的方式比较，如表5所示。
本方法将重力场引入到场景图像的空间识别方法中，由于重力场是形成类地重力场场景关键且起着决定性作用的因素。因此，大大简化了对场景空间识别的复杂性，本方法所采用的特征数明显少于其它方法。同时，重力场因素的加入大大减少了场景图像分析的随机性，本发明抛弃了传统的采用马尔可夫随机场模型或条件随机场等模型，构建了以重力场模糊分布密度函数以及基于重力场因素进行上下文推理的方法模型。本方法的实现方式与传统方法的比较如表5所示。
表5本发明方法与其它方法的比较
其中，EGF方法(即：Earth-like Gravity Field)是指本发明所采用的基于类地重力场环境下室外场景单目视觉空间识别方法。本方法所采用的图像特征分别是：①基于CIELAB色彩空间的Bhattacharyya系数；②四维小波特征向量(eLL，eLH，eHL，eHH)；③聚类图块基于重力场分布密度期望值GE,SE,VE。
②深度图结果的对比分析，如图3所示。
采用激光扫描仪设备对场景空间的实测数据仅有空间物体的深度信息，并没有准确包含地面和立面物体的相对位置关系，而采用PP-MRF方法所得深度图为对应像素的深度估计，并没有如本发明所得深度图那样区分出场景中地面和立面界限和相对位置关系，而这一点对于机器视觉空间识别实际应用来说是非常重要的(如：在机器人的视觉导航与自动驾驶等领域的应用)。至于深度计算的准确性来说，本方法深度计算的精度仅依赖于深度投影角α计算的精度，而深度投影角α的取值与摄像机的内外参数及其在地面上的位置精度有关，因此无需通过机器学习来提高深度估计的准确性。
附图说明
图1是本发明的万有引力场场景图像。
图2是本发明对不同视角情况下场景图像空间分类识别示意图。
图3是本发明的实验数据比较示意图，图中：(a)原图，(b)激光扫描仪实测的深度图，(c)MRF方法的深度估计图，(d)本方法的深度估计图，(e)本发明对天空、立面和地面的识别。
图5是本发明色彩多尺度图感知模型示意图。
图6是基于几何包含关系聚类方法消除了图块中的孤岛。
图7是本发明的非镂空图块和镂空图块的区别，图中：(a)为非镂空图块，图(b)为镂空图块。
图8为本发明的基于几何包含关系聚类方法的聚类结构，图中：(a)为原图像、(b)为716个超像素分割图像、(c)192个谱聚类的图像、(d)基于几何包含关系聚类方法生成163个聚类的图像]
图9是本发明的重力场中室外场景视觉认知模型。
图10是本发明的视平线位置的确定示意图。
图11是本发明的图像视平线位置的确定(注：图中H为图像的高度)。
图12是本发明的立面物体与天空分类方法结构示意图。、
图13是本发明的重力场模型推理方法中出现不符合重力场的情况。
图14是本发明经过修正后的立面物体与天空分类结构示意图。
图15是本发明的视觉成像物理模型示意图。
图16是本发明的深度投影角在Lab空间中的映射示意图。
图17是本发明的深度图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明。
一种类地重力场环境下室外场景图像单目视觉空间识别方法，整体流程如图4所示：
1.首先对图像进行基于像素色彩及空间位置的超像素图像分割，形成具有一定密度的超像素图像；
2.通过运用基于超像素颜色空间距离、纹理特征向量距离及几何邻接关系的谱聚类方法将超像素图像降维到接近10％以下的图块聚类图像；
3.代表天空、地面及立面物体的重力场模糊分布密度函数分别与这些大图块像素相乘，并求出这些大图块的期望值，从而产生天空、地面及立面物体的初步分类，通过进一步的单层小波采样等特性分类方法，提取出较为准确的天空、地面和立面物体分类图；
4.最后，基于小孔成像模型及地面线性透视信息生成空间深度感知图。
1、超像素聚类方法
可采用Achanta R提出的简单线性迭代聚类方法即SLIC(Simple LinearIterative Clustering)，该方法以像素的CIELAB色彩空间的L、a、b值及像素的x，y轴坐标构建5维空间，并定义了规范化的距离测量方法Ds，具体定义如下：
其中：Ck＝[lk,ak,bk,xk,yk]T为聚类的中心；[li,ai,bi,xi,yi]T为图像像素点的5维空间坐标；N为图像的像素数；K为期望获得的超像素的数目；S为超像素中心栅格间距；Ds为色彩lab距离dlab和dxy基于S的规范化距离；m为可控的超像素密度因子。
2、新型超像素谱聚类方法
在本发明谱聚类方法的设计中，为提高图像聚类的准确性，采用Bhattacharyya系数法取代了传统的欧式空间度量方法以适应于不同类型的集合空间(如：凸集空间和非凸集空间)，在聚类中增加了颜色与纹理特征的双约束条件，并采取一些抗干扰措施，以提高聚类方法的鲁棒性。
具体方法如下：
(1)将SLIC方法所产生的n个超像素作为无向权值图G的顶点V＝{v1,v2,…,vn}；
(2)邻接矩阵构建，i＝1,2…n；j＝1,2…n，其中，n为超像素的个数；
(3)权值邻接矩阵的构建，i＝1,2…n；j＝1,2…n；
其中权值W(i,j)为相邻两个超像素之间的规范化CIELAB颜色直方图Bhattacharyya系数进行度量计算，具体构建方法是将图像的色彩空间转换到CIELab空间，并将L通道的取值范围划分为8级等分，a通道的取值范围划分为16等分，将b通道的取值范围划分成16个等级，其中将L通道取值范围划分为8级的目的是降低色彩亮度变化对权值的扰动，每个超像素在8×16×16＝2048维度的空间计算值直方图为：其中l＝2048，则当Ei,j＝1时
对于权值W(i,j)的取值本发明增加了2个基于Bhattacharyya系数的色彩距离、纹理能量距离的约束条件，现分述如下：
①当W(i,j)≤0.71≈cos45°时，则令W(i,j)＝0；
增加此约束条件的目的是提高相邻超像素间色彩的相似性阈值以提高方法的干扰能力和鲁棒性。
②计算每个超像素块的四维小波特征平均能量如公式(9)(10)(11)(12)，并取ei(LH)，ei(HL)，ei(HH)构建3维向量即：e(i)＝(ei(LH)，ei(HL)，ei(HH))，并求取其相邻超像素之间的Bhattacharyya系数值Be(i,j)为：
其中，
ei(LL)，ei(LH)，ei(HL)，ei(HH)的计算公式分别是：
其中：Np为图块像素个数，rb为图块的最下延，rt为图块的最上延，cl为图块第i行最左边，cr为图块第i行最右边，R(LL)(i,j)、R(LH)(i,j)、R(HL)(i,j)、R(HH)(i,j)为(i,j)点处的单层小波采样值，值得注意的是在计算各图块平均能量测度时，需要去除图块的不规则边缘所产生的伪能量。
计算比较相邻图块3维小波特征向量之差的模长绝对值：
Δmij＝|e(i)-e(j)| (13)
当Δmij≤Me，则计算Be(i,j)
当Be(i,j)≤0.95≈cos20°时，则令W(i,j)＝0；
当Be(i,j)＞0.95≈cos20°时，则令W(i,j)＝1；
当Δmij＞Me，则令W(i,j)＝0；
通常Me的取值范围在40～70之间。
增加以上约束条件的目的是提高相邻超像素点纹理的相似性阈值，以保护天空与立面物体间、立面物体与地面间的边界特征。
针对以上两个约束条件，本发明通过对Make3D Image data数据集中400张图像的进行天空、立面与地面查准率的实验，验证了其约束条件的有效性，如表6所示。
表6对①②约束条件有效性进行的实验验证结果
(4)度矩阵的构建，i＝1,2…n；j＝1,2…n；
(5)规范化Laplacian矩阵的构建，本发明人采用Normalized-cut准则来计算规范化的Laplacian矩阵：
Lsym＝I-D-1/2WD-1/2 (15)
(6)计算Lsym进行特征值分解，并取前K个最小特征值所对应的特征向量，V1，V2，…，Vk；，其中K＝[0.1×n]，即取n的10％作为图像聚类特征向量的维度，从而实现将超像素图像降维到接近10％以下的目的；
(7)将V1，V2，…，Vk排列组成Rn×k矩阵并将矩阵中的每个元素取绝对值得矩阵U；
(8)对于i＝1,2…n，令yi∈Rk为矩阵U的第i行向量；
(9)对非零的yi∈Rk向量进行归一化，并用Bhattacharyya系数法进行聚类，其中Bhattacharyya距离的BU阈值为cos20°≈0.95，即当BU≥0.95时，超像素间进行聚类；
(10)对每个谱聚类图块采用基于人类视觉多尺度感知特性的彩色图像聚类。具体的方法如下：
①新型的颜色多尺度空间模型的构建
采用一个以a＝0，b＝0为圆心，Rm为半径的圆柱体将CIELAB色彩空间分割成两个部分，如图5所示：
对于在ab平面上投影的模长大于Rm的颜色向量，采用两个颜色向量在ab平面投影向量间的夹角和颜色向量在ab平面上投影的模长之差的绝对值作为颜色聚类的近似性测度，具体的数学表达如下：
其中：和为两个颜色向量在ab平面投影向量，θT和ΔmT分别为两向量聚类夹角的阈值和模长之差的阈值，θT的取值范围为θT＝5～20°，ΔmT的取值范围为ΔmT＝15～40。
对于在ab平面上投影的模长小于Rm的颜色向量，则采用两个颜色向量在ab平面投影向量间的夹角，其表达式同式(16)，以及向量在L上的亮度差作为其颜色聚类的近似性测度，具体的数学表达如下：
ΔL＝|La-Lb|≤ΔLT (18)
其中：ΔLT的取值范围为ΔLT＝5～20。
②颜色多尺度空间模型的在图像聚类分割中的应用的具体实施方法
a.计算每个聚类图块平均色彩向量值，并将向量投影到ab平面上；
b.计算每个聚类图块平均色彩向量值投影在ab平面上向量的模长，并根据向量在ab平面上的模长将其归于不同的测度空间，如图5所示；
c.对相邻图块类采用式(16)进行向量间的夹角的计算；
d.以公式(16)(17)(18)为判据，将符合条件的图块进行聚类；
e.重复a～d步，直到收敛。
3、几何包含关系聚类方法
为了提高模糊分布密度函数对天空、地面和立面物体判断的准确度，本发明人需要对图块进行基于几何包含关系的聚类，以消除孤岛图块。所谓孤岛图块是指一个或多个图块被一个大图块完全包围的图块，如图6所示，窗户在建筑物立面上形成了孤岛图块。本方法设计了一种基于几何包含关系的聚类方法，可有效的将孤岛图块聚类成完全包围该孤岛的大图块，如将建筑物立面上的窗户和建筑物立面融为一个图块，这种方法可以实现颜色、纹理完全不同图块的聚类，从而避免了后续基于重力场几何上下文方法对孤岛图块空间分类所产生的奇异。该方法隐含着重力场对物体所处位置的影响，即通常情况下物体在重力场中不可能悬浮于空中，它必须有其它物体的支撑，如建筑物上的窗户是由于有建筑墙面支撑，才会位于建筑物的立面之上的，所以应成为建筑物立面的一部分。
在进行方法设计之前，首先对图像中非镂空图块与镂空图块做如下定义(如图7所示)，所谓非镂空图块是指：其轮廓边界的线积分值等于其外轮廓线积分值的图形区域，即图块的轮廓线就是其唯一的轮廓线，其判据的数学表达式为：
所谓的镂空图块是指：其外轮廓线积分值小于其轮廓边界线积分值的图形区域，其判据的数学表达式为：
具体方法如下：
(1)寻找镂空图块，其判据为当Nb-nb>0时则图块为镂空图块，其中Nb为图块所有边界的像素值，nb为图块外边界的像素值，如果Nb-nb>0则进入下一步，否则图块不为镂空图块则退出进程，并遍历其它图块以寻找镂空图块。直到遍历所有图块且没有镂空图块时退出；
(2)以外边界为边界以原图块的标记值来填充图块；
(3)以填充图块代替原镂空图块。
(4)返回第一步。
为了验证上述方法的有效性，本发明人仍然采用Make3D Image data数据集中400张图像进行基于几何包含关系的聚类实验，实验结果表明，该方法将谱聚类方法得到的图块总数平均减少了12.6％左右，如图8所示。
4、重力场中人类视觉认知模型的构建及分类方法。
当人类的视平线成水平或接近水平时其对天空、地面及立面物体的推理模型如图9所示，其中黑点分别代表人类视觉中出现天空、地面或立面物体的最大概率点位置。对天空推理的概率分布函数的分布密度值从人类视场角最上延的最大值逐渐降低到人类视场角最下延，其在视平线上的概率密度值为零；对地面推理的概率分布函数的分布密度值从人类视场角最下延的最大值逐渐降低到人类视场角最上延，其在视平线上其概率密度值为零；对立面物体推理的概率分布密度值从视平线上的最大值向上、下两个方向逐渐降低，直至人类视场角的最上与最下延，其分布密度值接近零。
下面根据上述的天空、地面及立面物体的推理模型结合图像的透视投影特性，构建了如下的重力场模糊分布密度函数：
(1)设定图像的视平线的位置，如图10所示，视平线为过摄像机的光心并与地平面或水平面平行的直线，而图像中的水平线为过视平线与摄像机成像靶面的交点与地平面或水平面平行的直线如图11所示。(注：HI为图像的高度，HI＝HS+HG)
(2)地面重力场视觉模糊分布密度函数G：
当HG≥HS时：令且则得当HG＜HS时：G(x)＝-S(x)
即
其中：n＝1，2，3……N，N∈正整数，通常取n＝1即可。
(3)天空重力场视觉模糊分布密度函数S：
当HG＜HS时：令且则得
当HG≥HS时：S(x)＝-G(x)
即
其中：n＝1,2,3……N，N∈正整数，通常取n＝1即可。
(4)立面物体重力场视觉模糊分布密度函数V：
即其中
(5)对聚类图块中各像素在图像垂直方向上与地面模糊分布密度函数G、天空模糊分布密度函数S以及立面物体模糊分布密度函数V，在(-HG，HS)范围内相乘并求其期望值，公式如下：
其中：ni为聚类图块在第i行的像素个数，rb为聚类图块的最下延，rt为图块的最上延，则图块的分类为：
其中：S代表天空、V代表立面、G代表地面。
5、重力场中天空与立面物体的视觉分类方法
如前所述，由于重力场的作用使得地球表面上的物质按其密度进行了层次化分布，即密度高的固体物质形成地面或立于地面之上的立面物体，而低密度的气体(如：空气和云朵)物质形成天空，而在光线的照射下，固态的立面物体与气态的天空呈现出完全不同的反射效果，在图像中表现出截然不同的纹理能量特征。
在对天空特征的研究中，本发明人通过对图像中不同对象(如：天空、屋顶、墙壁、地面草地等)进行了单层的小波变换采样。ei(LL)，ei(LH)，ei(HL)，ei(HH)的计算采用(9)(10)(11)(12)式，分别求出不同图块的单层小波平均能量，并作为纹理能量特征的测度。
通过能量测度计算可以得到图块的四维小波特征向量，即(eLL，eLH，eHL，eHH)，其中eLL表征的是图块整体亮度特性、eLH,eHL,eHH表征的是图块高频纹理特征，实验表明，白天室外天空在图像中的特性普遍表现在高亮度和低能量高频纹理特征上。
表7以Make3D Image data图像库中的部分图像为例，显示了不同图像区域的四维小波特征向量值。
表7 Make3D Image data图像集中部分图像不同区域的四维小波特征向量
根据上述的研究，本发明提出如下天空与立面物体的视觉分类方法：
(1)计算天空图块的直线密度(单位面积内的直线数量)
其中：DLnum为直线密度，K为放大系数通常取10000左右的数值，nL为图块中直线的数量，NB为图块的像素。
当DLnum≥TLnum时(通常取TLnum＝2～3)则图块被判断为非天空图块。
当DLnum＜TLnum时(通常取TLnum＝2～3)则图块被列入候选天空图块并进行下一步判断；
(2)当eLL>mean(eLL1，eLL2，…eLLn)则为候选天空图块，否则不为候选天空图块，其中：eLL1，eLL2，…eLLn天空和立面物体的eLL值，mean()为均值函数；
(3)在满足上述条件下，将图块单层非下采样小波的平均能量作为纹理能量特征的测度，当时，则图块为候选天空图块，否则判定图块不为候选天空图块，通常取Ec＝2～10；
(4)当存在满足上述图块时，再判断是否有以图像上延为边界的图块，如果有则判断存在天空图块，否则判定图像中无天空，需要说明的是在本方法中对于被立面物体完全包围的天空图像区域将被判定为立面物体，如从建筑物的窗户中看到的天空；
(5)在满足上述条件下如果出现的候选天空图块不唯一，则选取面积最大图块为天空图块，并以色彩距离值dab以及亮度距离值dL为判据对天空进行聚类，公式如下：
其中as、bs分别为天空图块CIELAB色彩空间a、b色彩通道的均值，ai、bi分别为候选天空图块CIELAB色彩空间a、b色彩通道的均值，当候选天空图块dab≤C且dL≤L则为天空，否则为立面物体，本发明在实验时，取C＝10～20，L＝5～10；
(6)对聚类生成的天空面积进行计算如果其像素的个数小于图像象素的2％，则将其归为立面物体，其理由是很小的天空图块对于场景图像的空间识别意义不大；
(7)将所有非天空图块归为立面物体。
经过立面物体与天空分类方法所得结果如图12所示。
6、重力场中地面与立面物体的分割方法
以上方法可能出现不符合重力场的情况，如13所示，27号和34号图块，出现了地面悬浮在立面物体之上的情况，即不符合重力场空间几何逻辑的情况。因此，需要对模糊分布密度函数判断结果进行进一步的修正。
具体方法如下：
根据地面的连续性及其重力场空间几何上下文性质，将悬空于立面物体中的地面图块归为立面物体，如14所示；
7、深感知模型。
该模型首先假设地面是连续延展且较为平整，视觉成像系统有明确的方向性，即图像上缘为3D空间的正上方，下缘为3D空间的正下方，基于小孔成像原理的视觉系统物理模型如图15所示。
地面深度信息与图像中地面像素位置的透视投影关系如下：
其中：H为摄像机距地面的高度，β为摄像机光轴与视平线的夹角，深度投影角α为视平线oo’与直线op的夹角，其取值范围为p’为地面上的p点在成像靶面上的投影，f为镜头焦距，h为成像靶面上的视平线到p’点的距离，则摄像机可感知的地面距离d取值范围为
8、图像的深度感知图
由地面深度与摄像机距地面的高度H和深度投影角α的关系式(30)可知，当H为常数时，可以用α的值来表示地面在摄像机投影的各像素点深度，本发明人将α∈的取值映射到CIELAB色彩空间的的色环上，并将天空的颜色定义为色环处的颜色，如图16所示。
图12所对应的深度图如图17所示。
Claims (4)
1.一种类地重力场环境下室外场景图像单目视觉空间识别方法，其特征是它包括以下步骤如下：
首先，对图像进行基于像素的CIELAB色彩空间值L，a，b和x，y坐标值的超像素分割，以产生具有一定密度的超像素图像；
其次，采用超像素颜色特性、纹理特征向量距离、邻接关系及基于人类对色彩的多尺度感知特性的谱聚类方法，将分割形成的超像素图像降维并生成若干大图块；
所述的谱聚类方法是：采用Bhattacharyya系数法取代传统的欧式空间度量方法以适应于不同类型的集合空间，在聚类中增加了颜色与纹理特征的双约束条件，并采取抗干扰措施，以提高聚类方法的鲁棒性；
具体方法如下：
(1)将SLIC方法所产生的n个超像素作为无向权值图G的顶点V＝{v1，v2，...，vn}；
所述的SLIC(Simple Linear Iterative Clustering)是以像素的CIELAB色彩空间的L、a、b值及像素的x，y轴坐标构建5维空间，并定义了规范化的距离Ds，具体定义如下：
其中：Ck＝[lk，ak，bk，xk，yk]T为聚类的中心；[li，ai，bi，xi，yi]T为图像像素点的5维空间坐标；N为图像的像素数；K为期望获得的超像素的数目；S为超像素中心栅格间距；Ds为色彩lab距离dlab和dxy基于S的规范化距离；m为可控的超像素密度因子，取值范围为0-20；
(2)邻接矩阵构建，i＝1，2...n；j＝1，2...n，其中，n为超像素的个数；
(3)权值邻接矩阵的构建，i＝1，2...n；j＝1，2...n；
其中权值W(i，j)为相邻两个超像素之间的规范化CIELAB颜色直方图Bhattacharyya系数进行度量计算，具体构建方法是将图像的色彩空间转换到CIELAB空间，并将L通道的取值范围划分为8级等分，a通道的取值范围划分为16等分，将b通道的取值范围划分成16个等级，其中将L通道取值范围划分为8级的目的是降低色彩亮度变化对权值的扰动，每个超像素在8×16×16＝2048维度的空间计算值直方图为：
其中l＝2048，则当Ei，j＝1时
式中：h1(i)、h2(i)、h1(i)、hu(i)、hu(j)是超像素中像素点在CIELAB标准色彩空间中a通道、b通道、L通道中相应等级中的像素点个数所组成2048维的直方图向量；其中a通道的取值范围划分为16等分，将b通道的取值范围划分成16个等级，其中将L通道取值范围划分为8级；其下标为等级数，i，j为超像素图块的标号；
W为权值矩阵，其中权值W(i，j)为相邻两个超像素之间的规范化CIELAB颜色直方图Bhattacharyya系数进行度量计算的值；
Rk是矩阵论中的规范表达，表述k维实向量；
对于权值W(i，j)的取值本发明增加了2个基于Bhattacharyya系数的色彩距离、纹理能量距离的约束条件，现分述如下：
①当W(i，j)≤0.71≈cos45°时，则令W(i，j)＝0；
增加此约束条件的目的是提高相邻超像素间色彩的相似性阈值以提高方法的干扰能力和鲁棒性；
②计算每个超像素块的四维小波特征平均能量如公式(9)(10)(11)(12)，并取ei(LH)，ei(HL)，ei(HH)构建3维向量即：e(i)＝(ei(LH)，ei(HL)，ei(HH))，并求取其相邻超像素之间的Bhattacharyya系数值Be(i，j)为：
其中，
ei(LL)，ei(LH)，ei(HL)，ei(HH)的计算公式分别是：
其中：Np为图块像素个数，rb为图块的最下延，rt为图块的最上延，cl为图块第i行最左边，cr为图块第i行最右边，R(LL)(i，j)、R(LH)(i，j)、R(HL)(i，j)、R(HH)(i，j)为(i，j)点处的单层小波采样值，值得注意的是在计算各图块平均能量测度时，需要去除图块的不规则边缘所产生的伪能量；
计算比较相邻图块3维小波特征向量之差的模长绝对值：
Δmij＝|e(i)-e(j)| (13)
当Δmij≤Me，则计算Be(i，j)
当Be(i，j)≤0.95≈cos20°时，则令W(i，j)＝0；
当Be(i，j)＞0.95≈cos20°时，则令W(i，j)＝1；
当Δmij＞Me，则令W(i，j)＝0；
通常Me的取值范围在40～70之间；
增加以上约束条件的目的是提高相邻超像素点纹理的相似性阈值，以保护天空与立面物体间、立面物体与地面间的边界特征；
(4)度矩阵的构建，i＝1，2...n；j＝1，2...n；
(5)规范化Laplacian矩阵的构建，本发明人采用Normalized-cut准则来计算规范化的Laplacian矩阵：
Lsym＝I-D-1/2WD-1/2 (15)
(6)计算Lsym进行特征值分解，并取前K个最小特征值所对应的特征向量，V1，V2，…，Vk；其中K＝[0.1×n]，即取n的10％作为图像聚类特征向量的维度，从而实现将超像素图像降维到接近10％以下的目的；
(7)将V1，V2，…，Vk排列组成Rn×k矩阵并将矩阵中的每个元素取绝对值得矩阵U；
(8)对于i＝1,2…n，令yi∈Rk为矩阵U的第i行向量；
(9)对非零的yi∈Rk向量进行归一化，并用Bhattacharyya系数法进行聚类，其中Bhattacharyya距离的BU阈值为cos20°≈0.95，即当BU≥0.95时，超像素间进行聚类；
(10)对每个谱聚类图块采用基于人类视觉多尺度感知特性的彩色图像聚类；具体的方法如下：
①颜色多尺度空间模型的构建：
采用一个以a＝0，b＝0为圆心，Rm为半径的圆柱体将CIELAB色彩空间分割成两个部分
对于在ab平面上投影的模长大于Rm的颜色向量，采用两个颜色向量在ab平面投影向量间的夹角和颜色向量在ab平面上投影的模长之差的绝对值作为颜色聚类的近似性测度，具体的数学表达如下：
其中：和为两个颜色向量在ab平面投影向量，θT和ΔmT分别为两向量聚类夹角的阈值和模长之差的阈值，θT的取值范围为θT＝5～20°，ΔmT的取值范围为ΔmT＝15～40；
对于在ab平面上投影的模长小于Rm的颜色向量，则采用两个颜色向量在ab平面投影 向量间的夹角，其表达式同式(16)，以及向量在L上的亮度差作为其颜色聚类的近似性测度，具体的数学表达如下：
ΔL＝|La-Lb|≤ΔLT (18)
其中：ΔLT的取值范围为ΔLT＝5～20；
②颜色多尺度空间模型的在图像聚类分割中的应用方法为：
a.计算每个聚类图块平均色彩向量值，并将向量投影到ab平面上；
b.计算每个聚类图块平均色彩向量值投影在ab平面上向量的模长，并根据向量在ab平面上的模长将其归于不同的测度空间；
c.对相邻图块类采用式(16)进行向量间的夹角的计算；
d.以公式(16)(17)(18)为判据，将符合条件的图块进行聚类；
e.重复a～d步，直到收敛；
第三，将代表天空、地面及立面物体的重力场模糊分布密度函数分别与所得的大图块像素相乘，并求出大图块的期望值，从而完成天空、地面及立面物体的初步分类；
第四，通过单层小波采样特征提取出天空、地面及立面物体图块并分类；
最后，基于小孔成像模型及地面线性透视信息生成空间深度感知图，从而完成由摄像设备获取的平面图像向立体图像的转换，实现类地重力场环境下单目视觉空间识别。
2.根据权利要求1所述的方法，其特征是采用超像素颜色特性、纹理特征向量距离、邻接关系及基于人类对色彩的多尺度感知特性的谱聚类方法，将分割形成的超像素图像中的图块数量减少到接近原超像素图像的10％以下的图块聚类图像。
3.根据权利要求1所述的方法，其特征是所述的大图块中孤岛图块的消除方法是：
首先，对图像中非镂空图块与镂空图块做如下定义，所谓非镂空图块是指：其轮廓边界的线积分值等于其外轮廓线积分值的图形区域，即图块的轮廓线就是其唯一的轮廓线，其判据的数学表达式为：
其中：积分符号下标“c”代表图块的外轮廓线积分，积分符号下标“ci”代表图块的所有轮廓的积分，其中包括外轮廓和内轮廓；
所谓的镂空图块是指：其外轮廓线积分值小于其轮廓边界线积分值的图形区域，其判据的数学表达式为：
第二，寻找镂空图块，其判据为当Nb-nb>0时则图块为镂空图块，其中Nb为图块所有边界的像素值，nb为图块外边界的像素值，如果Nb-nb>0则进入下一步，否则图块不为镂空图块则退出进程，并遍历其它图块以寻找镂空图块；直到遍历所有图块且没有镂空图块时退出；
第三，以外边界为边界以原图块的标记值来填充图块；
第四，以填充图块代替原镂空图块；
第五，返回第二步。
4.根据权利要求1所述的方法，其特征是所述的通过单层小波采样特征提取出天空图块时采用如下方法：
(1)计算天空图块的直线密度，即单位面积内的直线数量：
其中：DLnum为直线密度，K为放大系数通常取10000左右的数值，nL为图块中直线的数量，NB为图块的像素；
当DLnum≥TLnum时(取TLnum＝2～3)则图块被判断为非天空图块；
当DLnum＜TLnum时(取TLnum＝2～3)则图块被列入候选天空图块并进行下一步判断；
(2)当eLL>mean(eLL1，eLL2，…eLLn)则为候选天空图块，否则不为候选天空图块，其中：eLL1，eLL2，…eLLn天空和立面物体的eLL值，mean()为均值函数；
(3)在满足上述条件下，将图块单层非下采样小波的平均能量作为纹理能量特征的测度，当时，则图块为候选天空图块，否则判定图块不为候选天空图块，通常取Ec＝2～10；
(4)当存在满足上述图块时，再判断是否有以图像上延为边界的图块，如果有则判断存在天空图块，否则判定图像中无天空，对于被立面物体完全包围的天空图像区域将被判定为立面物体；
(5)在满足上述条件下如果出现的候选天空图块不唯一，则选取面积最大图块为天空图块，并以色彩距离值dab以及亮度距离值dL为判据对天空进行聚类，公式如下：
其中as、bs分别为天空图块CIELAB色彩空间a、b色彩通道的均值，ai、bi分别为候选天空图块CIELAB色彩空间a、b色彩通道的均值，当候选天空图块dab≤C且dL≤L则为天空，否则为立面物体，取C＝10～20，L＝5～10；其中：
(6)对聚类生成的天空面积进行计算如果其像素的个数小于图像象素的2％，则将其归为立面物体，其理由是很小的天空图块对于场景图像的空间识别意义不大；
(7)将所有非天空图块归为立面物体。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410333183.9A CN104077603B (zh) | 2014-07-14 | 2014-07-14 | 类地重力场环境下室外场景单目视觉空间识别方法 |
| US14/684,428 US9471853B2 (en) | 2014-05-19 | 2015-04-12 | Method and apparatus for image processing |
| US14/684,431 US9390348B2 (en) | 2014-05-19 | 2015-04-12 | Method for categorizing objects in image |
| US14/684,433 US9805293B2 (en) | 2014-05-19 | 2015-04-13 | Method and apparatus for object recognition in image processing |
| US14/684,434 US9626598B2 (en) | 2014-05-19 | 2015-04-13 | Method and apparatus for image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410333183.9A CN104077603B (zh) | 2014-07-14 | 2014-07-14 | 类地重力场环境下室外场景单目视觉空间识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104077603A CN104077603A (zh) | 2014-10-01 |
| CN104077603B true CN104077603B (zh) | 2017-04-19 |
Family
ID=51598849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410333183.9A Active CN104077603B (zh) | 2014-05-19 | 2014-07-14 | 类地重力场环境下室外场景单目视觉空间识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104077603B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109684955B (zh) * | 2018-12-13 | 2022-10-11 | 深圳市信义科技有限公司 | 一种基于深度学习的环境识别智能方法 |
| CN112784859A (zh) * | 2019-11-01 | 2021-05-11 | 南京原觉信息科技有限公司 | 一种基于矩阵的图像聚类方法 |
| CN111428067B (zh) * | 2020-03-20 | 2023-09-01 | 南京中孚信息技术有限公司 | 公文图片获取方法、装置及电子设备 |
| CN111649763B (zh) * | 2020-04-26 | 2021-08-27 | 中国人民解放军61540部队 | 一种基于重力灯塔建立的潜艇导航方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006002320A2 (en) * | 2004-06-23 | 2006-01-05 | Strider Labs, Inc. | System and method for 3d object recognition using range and intensity |
| CN101630407A (zh) * | 2009-06-05 | 2010-01-20 | 天津大学 | 基于两视几何和图分割的伪造区域定位方法 |
| CN101639895A (zh) * | 2009-08-14 | 2010-02-03 | 浙江工业大学 | 基于Similarity-Pictorial结构模型的计算机视觉图像特征提取和匹配方法 |
| WO2012007382A1 (fr) * | 2010-07-13 | 2012-01-19 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procédé de détection d'une cible dans des images stéréoscopiques par apprentissage et classification statistique à partir d'une loi de probabilité |
| CN103337072A (zh) * | 2013-06-19 | 2013-10-02 | 北京航空航天大学 | 一种基于纹理与几何属性联合模型的室内对象解析方法 |
| CN103413347A (zh) * | 2013-07-05 | 2013-11-27 | 南京邮电大学 | 基于前景背景融合的单目图像深度图提取方法 |
| CN103606170A (zh) * | 2013-12-05 | 2014-02-26 | 武汉大学 | 基于彩色尺度不变的街景影像特征检测与匹配方法 |
| CN103632167A (zh) * | 2013-11-29 | 2014-03-12 | 金陵科技学院 | 类地重力场环境下单目视觉空间识别方法 |
-
2014
- 2014-07-14 CN CN201410333183.9A patent/CN104077603B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006002320A2 (en) * | 2004-06-23 | 2006-01-05 | Strider Labs, Inc. | System and method for 3d object recognition using range and intensity |
| CN101630407A (zh) * | 2009-06-05 | 2010-01-20 | 天津大学 | 基于两视几何和图分割的伪造区域定位方法 |
| CN101639895A (zh) * | 2009-08-14 | 2010-02-03 | 浙江工业大学 | 基于Similarity-Pictorial结构模型的计算机视觉图像特征提取和匹配方法 |
| WO2012007382A1 (fr) * | 2010-07-13 | 2012-01-19 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procédé de détection d'une cible dans des images stéréoscopiques par apprentissage et classification statistique à partir d'une loi de probabilité |
| CN103337072A (zh) * | 2013-06-19 | 2013-10-02 | 北京航空航天大学 | 一种基于纹理与几何属性联合模型的室内对象解析方法 |
| CN103413347A (zh) * | 2013-07-05 | 2013-11-27 | 南京邮电大学 | 基于前景背景融合的单目图像深度图提取方法 |
| CN103632167A (zh) * | 2013-11-29 | 2014-03-12 | 金陵科技学院 | 类地重力场环境下单目视觉空间识别方法 |
| CN103606170A (zh) * | 2013-12-05 | 2014-02-26 | 武汉大学 | 基于彩色尺度不变的街景影像特征检测与匹配方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于简单局部特征学习的物体检测方法;张维泽;《计算机科学与技术》;20110803;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104077603A (zh) | 2014-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103955710B (zh) | 类地重力场环境下单目视觉空间识别方法 | |
| CN107093205B (zh) | 一种基于无人机图像的三维空间建筑物窗户检测重建方法 | |
| CN107622244B (zh) | 一种基于深度图的室内场景精细化解析方法 | |
| CN106650640B (zh) | 一种基于激光雷达点云局部结构特征的负障碍物检测方法 | |
| CN103810744B (zh) | 在点云中回填点 | |
| CN108648161B (zh) | 非对称核卷积神经网络的双目视觉障碍物检测系统及方法 | |
| CN106204572B (zh) | 基于场景深度映射的道路目标深度估计方法 | |
| US8472699B2 (en) | Arrangement and method for three-dimensional depth image construction | |
| CN108805906A (zh) | 一种基于深度图的运动障碍物检测及定位方法 | |
| CN107066916B (zh) | 基于反卷积神经网络的场景语义分割方法 | |
| CN113313815B (zh) | 一种机械臂抓取物体实时三维重建方法 | |
| CN107392929B (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
| CN110246151B (zh) | 一种基于深度学习和单目视觉的水下机器人目标跟踪方法 | |
| CN112164145B (zh) | 基于点云数据快速提取室内三维线段结构的方法 | |
| CN109034065B (zh) | 一种基于点云的室内场景物体提取方法 | |
| CN104077603B (zh) | 类地重力场环境下室外场景单目视觉空间识别方法 | |
| CN106503170B (zh) | 一种基于遮挡维度的图像库构建方法 | |
| CN117949942B (zh) | 基于雷达数据和视频数据融合的目标跟踪方法及系统 | |
| CN104077611B (zh) | 类地重力场环境下室内场景单目视觉空间识别方法 | |
| CN117557617B (zh) | 一种基于平面先验优化的多视密集匹配方法、系统及设备 | |
| CN107610148A (zh) | 一种基于双目立体视觉系统的前景分割方法 | |
| CN113807238A (zh) | 一种河道水面漂浮物面积的视觉测量方法 | |
| CN109887034B (zh) | 一种基于深度图像的人体定位方法 | |
| Neverova et al. | 2 1/2 D scene reconstruction of indoor scenes from single RGB-D images | |
| CN108491826B (zh) | 一种遥感影像建筑物的自动提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20170314 Address after: 211100 Jiangsu province Nanjing city Jiangning high tech park, Tianyuan Road No. 1009 Applicant after: Nanjing original Mdt InfoTech Ltd Address before: No. 99 Jiangning Road, Nanjing District hirokage 211169 cities in Jiangsu Province Applicant before: Jinling Institute of Technology |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |