CN103632167A - 类地重力场环境下单目视觉空间识别方法 - Google Patents

Abstract

一种类地重力场环境下单目视觉空间识别方法，其特征是它包括以下步骤：首先，对图像进行基于像素的CIELAB色彩空间值L,a,b和x,y坐标值的超像素分割，以产生超像素图像；其次，采用基于超像素颜色特性、纹理特征向量距离及邻接关系的普聚类算法，将分割形成的超像素图像降维并生成大图块；第三，将代表天空、地面及立面物体的重力场模糊分布密度函数分别与所得的大图块像素相乘，并求出大图块的期望值，从而完成天空、地面及立面物体的初步分类；第四，通过单层小波采样和曼哈顿方向特征提取出天空、地面及立面物体的分类图；最后，基于小孔成像模型及地面线性透视信息生成空间深度感知图。本发明简单易行，分辨率高，应用范围广。

Description

类地重力场环境下单目视觉空间识别方法

技术领域

本发明涉及一种图像处理方法，尤其是一种可以广泛应用于如机器人视觉导航、大空间的目标测量、目标追踪与定位等领域的能提高空间识别的图像处理方法，具体地说是一种类地重力场环境下单目视觉空间识别方法。

背景技术

理解3D空间结构作为机器视觉的基本问题，长期以来被人们关注并研究着，早期的研究工作关注于立体视觉或通过视角的运动来获得3D的线索。近年来，许多研究人员将关注点聚焦于从单目视觉图像中重构3D空间结构，目前大多数单目视觉3D空间识别方法多采用监督型机器学习方法，比如：马尔可夫随机场(MRFs)、条件概率随机场(CRFs)以及动态贝叶斯网络(DBN)等。然而，这些方法常常依赖于其先验知识，即仅能学习训练集中所采集的图像环境。因此，当采样设备或采样环境发生变化时，单目视觉3D空间识别的结果将产生较大差异。为了解决这个问题，本发明提出将重力场因素添加到图像分析中，构建了一种新的非监督学习单目空间识别方法。

发明内容

本发明的目的是针对现有的图像识别方法大都需要通过对图像的学习才能完成，这些方法存在数据处理量大、速度慢，适应性差，使用范围受限较多的问题，发明一种无需学习且能快速识别、同时准确度高、适用性广的类地重力场环境下单目视觉空间识别方法。

本发明的技术方案是：

一种类地重力场环境下单目视觉空间识别方法，其特征是它包括以下步骤：

首先，对图像进行基于像素的CIELAB色彩空间值L,a,b和x,y坐标值的超像素分割，以产生具有一定密度的超像素图像；

其次，采用基于超像素颜色特性、纹理特征向量距离及邻接关系的普聚类算法，将分割形成的超像素图像降维并生成大图块；

第三，将代表天空、地面及立面物体的重力场模糊分布密度函数分别与所得的大图块像素相乘，并求出大图块的期望值，从而完成天空、地面及立面物体的初步分类；

第四，通过单层小波采样和曼哈顿方向特征提取出天空、地面及立面物体的分类图；

最后，基于小孔成像模型及地面线性透视信息生成空间深度感知图，从而完成由摄像设备获取的平面图像向立体图像的转换，实现类地重力场环境下单目视觉空间识别。

本发明的有益效果是：

本发明首次提出了将重力场因素添加到图像分析中，构建了一种新的非监督学习单目空间识别方法，模拟了人类视觉系统对地面连续表面集成处理方法，构建一个具有一定普适性类地重力场环境下单目视觉空间识别模式，它改变了传统的单目视觉系统3D重构及深度感知的算法模式。

1.本发明模拟了人类视觉系统，构建一个具有一定普适性的类地重力场环境下单目视觉空间识别方法，需要指出的是该方法可以应用于对火星表面及月球表面等类地重力场环境下的视觉空间测量，如图15所示。

2.当取消对图像中天空亮度的约束条件时，本发明还可以识别城市夜景环境，如图16所示。

3.本发明无需对计算机进行先验知识的学习与训练就可以对类地重力场环境下的单目视觉图像进行有效识别与3D重构。

4.本发明改变了传统的单目视觉系统3D重构及深度感知的算法模式，可以广泛应用于如机器人视觉导航、大空间的目标测量、目标追踪与定位等领域。

附图说明

图1是本发明的流程示意图。

图2是本发明的基于超像素的普聚类过程及效果示意图。图2中：(a)为原图像、(b)为951个超像素分割图像、(c)145个谱聚类的图像、(d)3次迭代收敛的92个聚类的图像。

图3是本发明的利用几何包含关系消除图块中孤岛的过程示意图。图3中：(a)为建筑物窗户聚类算法后留下孤岛图块、(b)为基于几何包含关系聚类算法消除图块孤岛的结果。

图4是人类重力场视觉认知模型示意图。

图5是本发明的视平线位置的确定示意图。

图6是本发明的图像视平线位置确定等效原理图，图中：H_I为图像的高度，H_I＝H_S+H_G。

图7是经过本发明的基于重力场模糊分布密度函数所得的地面、天空、立面物体分类过程示意图。

图8是本发明的立面物体与天空分类算法过程示意图。

图9是本发明的重力场模糊函数判断中出现不符合重力场的结果示意图。图中(a)为原图、(b)为经过立面物体与地面区分计算后的结果。

图10为经过本发明的模糊函数及立面物体与天空分类后的计算结果示意图。其中(a)为对不符合重力场图块重新归类、(b)为立面物体与地面区分后的聚类结果。

图11为经过本发明立面物体与地面进一步区分后输出的结果。

图12是本发明的视觉成像系统物理模型示意图。

图13是本发明的深度投影角在Lab空间中的映射示意图。

图14是对应图11的深度感知图。

图15是利用本发明的方法对NASA火星图片进行空间识别及深度识别的结果示意图。

图16是利用本发明的方法对城市夜景图片的空间识别及3D重构图。

具体实施方式

下面结构实施例和附图对本发明作进一步的说明。

如图1-14所示。

一种类地重力场环境下单目视觉空间识别方法，它包括以下步骤：

(1)首先对图像进行基于像素色彩及空间位置的超像素图像分割，形成具有一定密度的超像素图像；

(2)通过运用基于超像素颜色空间距离、纹理特征向量距离及几何邻接关系的普聚类算法将超像素图像降维到10%以下的大图块聚类图像；

(3)代表天空、地面及立面物体的重力场模糊分布密度函数分别与这些大图块像素相乘，并求出这些大图块的期望值，从而产生天空、地面及立面物体的初步分类，通过进一步的一层小波采样、曼哈顿方向提取等特性分类算法，提取出较为准确的天空、地面和立面物体分类图；

(4)最后，基于小孔成像模型及地面线性透视信息生成空间深度感知图。从而完成由单台摄像设备获取的平面图像向立体图像的转换，实现类地重力场环境下单目视觉空间识别。

详述如下：

1.超像素聚类算法。

可采用Achanta R提出的简单线性迭代聚类算法即SLIC(Simple Linear IterativeClustering)，该算法以像素的CIELAB色彩空间的L、a、b值及像素的x，y轴坐标构建5维空间，并定义了规范化的距离测量方法Ds，具体定义如下：

$d_{\mathrm{lab}}=\sqrt{{(l_k-l_i)}^2+{(a_k-a_i)}^2+{(b_k-b_i)}^2}---\left(1\right)$

$d_{\mathrm{xy}}=\sqrt{{(x_k-x_i)}^2+{(y_k+y_i)}^2}---\left(2\right)$

$S=\sqrt{N/K}---\left(3\right)$

$D_s=d_{\mathrm{lab}}+\frac{m}{s}{d}_{\mathrm{xy}}---\left(4\right)$

其中：C_k＝[l_k，a_k，b_k，x_k，y_k]^T为聚类的中心；[l_i，a_i，b_i，x_i，y_i]^T为图像像素点的5维空间坐标；N为图像的像素数；K为期望获得的超像素的数目；S为超像素中心栅格间距；D_s为色彩lab距离d_lab和d_xy基于S的规范化距离；m为可控的超像素密度因子。

2.基于超像素的普聚类算法。

(1)将SLIC算法所产生的n个超像素作为无向权值图G的顶点V={v₁,v₂,…,v_n}；

(2)邻接矩阵构建，i＝1，2...n；j＝1，2...n，其中，n为超像素的个数；

(3)权值邻接矩阵的构建，i＝1，2...n；j＝1，2...n;

$W_{i,j}=\left\{\begin{array}{cc}w(i,j)& E_{i,j}=1\\ 0& E_{i,j}=0\end{array}\right.---\left(6\right)$

其中权值w(i,i)为相邻两个超像素之间的规范化CIELAB颜色直方图计算Bhattacharyya系数，具体构建方法是将图像的色彩空间转换到CIELab空间，并将L通道的取值范围划分为8级等分，a通道的取值范围划分为16等分，将b通道的取值范围划分成16个等级，其中将L通道取值范围划分为8级的目的是降低色彩亮度变化对权值的扰动。每个超像素在8×16×16=2048维度的空间计算值直方图

$H\left(i\right)=(\sqrt{h_1\left(i\right)},\sqrt{h_2\left(i\right)}...\sqrt{h_l\left(i\right)}),$ 其中l＝2048，则当E_i,j＝1时

$w(i,j)={\mathrm{\Σ}}_{u=1}^l\frac{\sqrt{h_u\left(i\right)h_u\left(j\right)}}{\sqrt{{\mathrm{\Σ}}_{u=1}^l{h}_u\left(i\right){\mathrm{\Σ}}_{u=1}^l{h}_u\left(j\right)}}---\left(7\right)$

对于权值w(i,j)的取值，具体实施时可通过增加两个分别基于色彩距离和纹理能量距离的约束条件，分述如下：

①基于色彩距离约束条件：当时w(i,j)≤W_T，则取w(i,j)=0,其中W_T的取值范围为（0.7～1.0）之间；

②纹理能量距离的约束条件：采用l₂范数计算各超像素图块的平均能量测度，即

$E=\sqrt{\frac{1}{N_p}{\mathrm{\Σ}}_{i=r_b}^{r_t}{\mathrm{\Σ}}_{j=c_1}^{c_r}{R}^2(i,j)}---\left(8\right)$

其中R(i,j)为图像中(i,j)点处的小波采样值，根据公式(8)计算每个超像素块的四维小波特征向量，即e(i)＝(e_i(LL)，e_i(LH)，e_i(HL)，e_i(HH))，并求取其相邻超像素之间的Bhattacharyya系数值B_e(i,j)。

$B_e(i,j)=\frac{e^{*}\left(i\right)\·e^{*}\left(j\right)}{\left|e^{*}\left(i\right)\right|\·\left|e^{*}\left(j\right)\right|}---\left(9\right)$

其中， $\left|e^{*}\left(i\right)\right|=\sqrt{{e^2}_{i\left(\mathrm{LH}\right)}+{e^2}_{i\left(\mathrm{HL}\right)}+{e^2}_{i\left(\mathrm{HH}\right)}}---\left(10\right)$

当B_e(i,j)≤B_T时，则取w(i,j)＝0，其中B_T的取值范围在（0.85～1.0）之间；

以上两个约束条件的目的是提高相邻超像素点的色彩及纹理的相似性阈值，以保护天空与立面物体间、立面物体与地面间的边界特征。

(4)度矩阵的构建，i＝1，2...n；j＝1，...n；

(5)规范化Laplacian矩阵的构建

采用Normalized-cut准则来计算规范化的Laplacian矩阵：

L_sym＝I-D^-1/2WD^-1/2      (12)

其中：D为度矩阵，W为权值邻接矩阵。

(6)计算L_sym进行特征值分解，并取前K个最小特征值所对应的特征向量，V₁，V₂，…，V_k；，其中K=[0.1×n]，即取n的10%作为图像聚类特征向量的维度，以实现降维目的；

(7)将V₁，V₂，…，V_k排列组成R^n×k矩阵并将矩阵中的每个元素取绝对值得矩阵U；

(8)对于i＝1,2…n，令y_i∈R^k为矩阵U的第i行向量；

(9)对非零的y_i∈R^k向量进行归一化，并用Bhattacharyya系数法进行聚类，其中Bhattacharyya距离B_U的阈值为（0.85～1.0）之间，即当B_U大于等于阈值时，超像素间进行聚类；

(10)对每个聚类图块采用规范化CIELAB颜色直方图，并对相邻图块类采用式(7)进行Bhattacharyya距离w(i,j)，同时采用式(9)计算相邻图块的B_e(i,j)，当w(i,j)≥W_T且B_e(i,j)≥B_T时进行聚类；

(11)重复(10)步，直到收敛。

本算法对Make3D Image data图像库图像的聚类过程及效果如图2所示。

3.几何包含关系聚类算法。

为了提高模糊分布密度函数对天空、地面和立面物体判断的准确度，需要对图块进行基于几何包含关系的聚类，以消除孤岛图块，所谓的孤岛图块是指一个或多个图块被一个大图块完全包围的图块（如图3所示），几何包含关系的聚类算法可以将孤岛图块聚类成完全包围该孤岛的大图块，从而避免了几何上下文算法对孤岛图块空间分类所产生的奇异。

具体算法如下：

(1)寻找镂空图块，其判据为当N_b-n_b>0时则图块为镂空图块，其中Nb为图块所有边界的像素值，n_b为图块外边界的像素值，如果N_b-n_b>0则进入下一步，否则图块不为镂空图块；

(2)以外边界为边界以原图块的标记值来填充图块；

(3)以填充图块代替原镂空图块。

4.重力场中人类视觉认知模型的构建及分类算法。

图4为人类重力场视觉认知模型。

当人类的视平线成水平或接近水平时其对天空、地面及立面物体的推理模型如图4所示，其中黑点分别代表人类视觉中出现天空、地面或立面物体的最大概率点位置。对天空推理的概率分布函数的分布密度值从人类视场角最上延的最大值逐渐降低到人类视场角最下延，其在视平线上的概率密度值为零；对地面推理的概率分布函数的分布密度值从人类视场角最下延的最大值逐渐降低到人类视场角最上延，其在视平线上其概率密度值为零；对立面物体推理的概率分布密度值从视平线上的最大值向上、下两个方向逐渐降低，直至人类视场角的最上与最下延，其分布密度值接近零。

下面根据上述的天空、地面及立面物体的推理模型结合图像的透视投影特性，构建了如下的重力场模糊分布密度函数：

(1)设定图像的视平线的位置，如图5所示，，视平线为过摄像机的光心并与地平面或水平面平行的直线，而图像中的水平线为过视平线与摄像机成像靶面的交点与地平面或水平面平行的直线如图6所示。

(2)地面重力场视觉模糊分布密度函数G：

当H_G≥H_S时:令 $G\left(x\right)=C_G{x}^{\frac{1}{2n+1}}$ 且 ${\∫}_{{-H}_G}^{0}G\left(x\right)\mathrm{dx}=1$

则得 $C_G=-\left(\frac{2n+2}{2n+1}\right){H_G}^{-\frac{2n+2}{2n+1}}$

式中H_G为视平线距图像底边的距离；H_S为视平线距图像顶边的距离；x为像素在图像高度方向的坐标；n为密度函数的阶数。

当H_G＜H_S时:G(x)=-S(x)

即

其中：n=1，2，3……N，N∈正整数，通常取n=1即可。

(3)天空重力场视觉模糊分布密度函数S：

当H_G＜H_S时:令 $S\left(x\right)=C_S{x}^{\frac{1}{2n+1}}$ 且 ${\∫}_0^{H_S}G\left(x\right)\mathrm{dx}=1$

则得 $C_S=\left(\frac{2n+2}{2n+1}\right){H_S}^{-\frac{2n+2}{2n+1}}$

当H_G≥H_S时:S(x)=-G(x)

即

其中：n=1,2,3……N，N∈正整数，通常取n=1即可。

(4)立面物体重力场视觉模糊分布密度函数V：

(5)对聚类图块中各像素在图像垂直方向上与地面模糊分布密度函数G、天空模糊分布密度函数S以及立面物体模糊分布密度函数V，在（-H_G，H_S）范围内相乘并求其期望值，公式如下：

$G_E={\mathrm{\Σ}}_{i=r_b}^{r_t}{n}_{i}G(i-H_G)---\left(16\right)$

$S_E={\mathrm{\Σ}}_{i=r_b}^{r_t}{n}_{i}S(i-H_G)---\left(17\right)$

$V_E={\mathrm{\Σ}}_{i=r_b}^{r_t}{n}_{i}V(i-H_G)---\left(18\right)$

其中：n_i为聚类图块在第i行的像素个数，r_b为聚类图块的最下延，r_t为图块的最上延，i∈(0,1,……,H)，H=H_G+H_S则图块的分类Label=Max(G_E,S_E,V_E)。

图7为该模型对经过相应聚类算法而生成的聚类图块进行了天空、地面和立面物体的分类结果。从图中可以看出该方法能有效的区分出天空与地面，对在视平线附近的立面物体判断较为准确，但对于较高的立面物体与天空图块，以及较低的立面物体与地面存在一定程度的误判，因此需要进一步对立面物体与天空以及立面物体与地面之间进行二选一的分类。

5.重力场中天空与立面物体的视觉分类算法。

如前所述，由于重力场的作用使得地球表面上的物质按其密度进行了层次化分布，即密度高的固体物质形成立于地面之上的立面物体，而低密度的气体（如：空气和云朵）物质形成天空，因此在光线的照射下，固态的立面物体与天空呈现出完全不同的反射效果，在图像中表现出截然不同的纹理特征。

在对天空特征的研究中我们对图像的不同对象（如：天空、屋顶、墙壁、地面草地等）进行了1层的小波变换采样，并采用l₂范数计算各图块的平均能量测度，即

$E=\sqrt{\frac{1}{N_p}{\mathrm{\Σ}}_{i=r_b}^{r_t}{\mathrm{\Σ}}_{j=c_1}^{c_r}{R}^2(i,j)}---\left(19\right)$

其中：N_p为图块像素个数，r_b为图块的最下延，r_t为图块的最上延，c_l为第i行图块最左边，c_r为第i行图块最右边，其中R(i,j)为图像中(i,j)点处的小波采样值，值得注意的是在计算各图块平均能量测度时需要去除应图块边缘所产生的能量。

通过能量测度计算可以得到图块的四维小波特征向量，即(e_LL,e_LH,e_HL,e_HH)，其中e_LL表征的是图块整体亮度特性、e_LH,e_HL,e_HH表征的是图块高频纹理特征，而白天室外天空在图像中的特性普遍表现在高亮度和低能量高频纹理特征上。

根据上述的分析，提出如下天空与立面物体的视觉分类算法：

(1)如果e_LL>mean(e_LL1，e_LL2，…e_LLn)则为候选天空图块，其中e_LL1，e_LL2，…e_LLn∈天空和立面物体的e_LL值，其中：mean()为均值函数；

(2)在满足上述条件下，当图块一层非下采样小波的能量测度时，则图块为候选天空图块，如果没有满足此条件图块时，则判定图块不为天空图块，E_c的取值范围为（0～7）之间；

(3)当存在满足上述图块时，再判断是否有以图像上延为边界的图块，如果有则判断存在天空图块，否则判定图像中无天空；

(4)在满足上述条件下如果出现的候选天空图块不唯一，则选取面积最大图块为天空图块，并以色彩距离值d_ab以及亮度距离值d_L为判据对天空进行聚类，公式如下：

$d_{\mathrm{ab}}=\sqrt{{(a_s-a_i)}^2+{(b_s-b_i)}^2}\≤C$ 且 $d_L=\sqrt{{(L_s-L_i)}^2}\≤L---\left(20\right)$

其中a_s、b_s分别为天空图块CIELAB色彩空间a、b色彩通道的均值，a_i、b_i分别为候选天空图块CIELAB色彩空间a、b色彩通道的均值，当候选天空图块d_ab≤C且d_L≤L则为天空，否则为立面物体，其中，C的取值范围（0～30）,L的取值范围（0～70）。

(5)对聚类生成的天空面积进行计算如果其像素的个数小于图像象素的2‰，则将其归为立面物体，其理由是很小的天空图块对图像空间识别的意义不大；

(6)将所有非天空图块归类为立面物体。

经过立面物体与天空分类算法所得结果如图8所示，从图中可以看出该算法较准确的判断了图像中天空是否存在（如图8(c)所示），并实现了不相邻天空图块的聚类（如图8(b)所示）。

6.地面与立面物体的分割算法。

如图8所示基于上述的模糊函数，可以将图像中大部分的地面中提取出来，但会出现部分立面物体图块和地面图块被误判的情况，此外还可能出现不符合重力场的情况，如图9所示，27号和34号图块，出现了地面悬浮在立面物体之上的情况，因此，需要对模糊函数的判断结果进行进一步的修正。

对于不符合重力场空间几何逻辑的情况只需要进行几何上下文的逻辑判断就可以修正。前述的算法出现较大的地面与立面物体误判的情况主要是由于图像中存在着近距离的大型建筑物所致，如图8(c)(d)所示，因此需要对图像中是否存在近距离大型建筑进行判断。具体方法如下：

(1)根据地面的连续性及其重力场空间几何上下文性质，将悬空于立面物体中的地面图块归为立面物体，如图10所示；

(2)通过对图像中被判别为立面物体图块进行Hogh变换，并通过基于直线方向角度的统计直方图，通过对其曼哈顿方向信息的强度，来判断图中是否存在大型近距离建筑物，如果不存在则结束对地面的修正，如果存在则进入下一步；

(3)以立面物体中建筑物的曼哈顿方向信息修正其与地面图块的连接边界，图10为图9的地面边界修正结果。

7.深度感知模型。

该模型首先假设地面是连续延展且较为平整，视觉成像系统有明确的方向性，即图像上缘为3D空间的正上方，下缘为3D空间的正下方，基于小孔成像原理的视觉系统物理模型如图12所示。

地面深度信息与图像中地面像素位置的透视投影关系如下：

$d=H\cot \mathrm{\α}=H\frac{f-h\sin \mathrm{\β}\cos \mathrm{\β}}{h{\cos }^2\mathrm{\β}}---\left(21\right)$

其中：H为摄像机距地面的高度，β为摄像机光轴与视平线的夹角，深度投影角α为视平线oo’与直线op的夹角，其取值范围为

p’为地面上的p点在成像靶面上的投影，f为镜头焦距，h为成像靶面上的视平线到p’点的距离，则摄像机可感知的地面距离d的取值范围为 $(H\cot (\mathrm{\β}+{\tan }^{-1}\frac{b}{2f}),+\∞).$

8.图像的深度感知图。

由地面深度与摄像机距地面的高度H和深度投影角α的关系式(18)可知，当H为常数时，可以用α的值来表示地面在摄像机投影的各像素点深度，我们将

的取值映射到CIELAB色彩空间的

的色环上，并将天空的颜色定义为色环处的颜色，如图13所示。图11所对应的深度感知图如图14所示。

本发明未涉及部分与现有技术相同或可采用现有技术加以实现。

Claims (7)

1.一种类地重力场环境下单目视觉空间识别方法，其特征是它包括以下步骤：

首先，对图像进行基于像素的CIELAB色彩空间值L,a,b和x,y坐标值的超像素分割，以产生超像素图像；

其次，采用基于超像素颜色特性、纹理特征向量距离及邻接关系的普聚类算法，将分割形成的超像素图像降维并生成大图块；

第三，将代表天空、地面及立面物体的重力场模糊分布密度函数分别与所得的大图块像素相乘，并求出大图块的期望值，从而完成天空、地面及立面物体的初步分类；

第四，通过单层小波采样和曼哈顿方向特征提取出天空、地面及立面物体的分类图；

最后，基于小孔成像模型及地面线性透视信息生成空间深度感知图。

2.根据权利要求1所述的方法，其特征是所述的普聚类算法包括超像素聚类方法及在超像素的基础上的普聚类方法，所述的超像素聚类方法采用Achanta R提出的简单线性迭代聚类算法即SLIC(Simple Linear Iterative Clustering)，该算法以像素的CIELAB色彩空间的L、a、b值及像素的x，y轴坐标构建5维空间，并定义了规范化的距离测量方法Ds，具体定义如下：

$d_{\mathrm{lab}}=\sqrt{{(l_k-l_i)}^2+{(a_k-a_i)}^2+{(b_k-b_i)}^2}---\left(1\right)$

$d_{\mathrm{xy}}=\sqrt{{(x_k-x_i)}^2+{(y_k+y_i)}^2}---\left(2\right)$

$S=\sqrt{N/K}---\left(3\right)$

$D_s=d_{\mathrm{lab}}+\frac{m}{s}{d}_{\mathrm{xy}}---\left(4\right)$

其中：C_k=[l_k，a_k，b_k，x_k，y_k]^T为聚类的中心；[l_i，a_i，b_i，x_i，y_i]^T为图像像素点的5维空间坐标；N为图像的像素数；K为期望获得的超像素的数目；S为超像素中心栅格间距；D_s为色彩lab距离d_lab和d_xy基于S的规范化距离；m为可控的超像素密度因子；

所述的基于超像素的普聚类方法为：

(1)将SLIC算法所产生的n个超像素作为无向权值图G的顶点V＝{v₁，v₂，...，v_n}；(2)邻接矩阵构建，i＝1，2...n；j＝1，2...n，其中，n为超像素的个数；

(3)权值邻接矩阵的构建，i＝1，2...n；j＝1，2...n；

$W_{i,j}=\left\{\begin{array}{cc}w(i,j)& E_{i,j}=1\\ 0& E_{i,j}=0\end{array}\right.---\left(6\right)$

其中权值w(i，j)为相邻两个超像素之间的规范化CIELAB颜色直方图计算Bhattacharyya系数，具体构建方法是将图像的色彩空间转换到CIELAB空间，并将L通道的取值范围划分为8级等分，a通道的取值范围划分为16等分，将b通道的取值范围划分成16个等级，其中将L通道取值范围划分为8级的目的是降低色彩亮度变化对权值的扰动；每个超像素在8×16×16=2048维度的空间计算直方图

$H\left(i\right)=(\sqrt{h_1\left(i\right)},\sqrt{h_2\left(i\right)}...\sqrt{h_l\left(i\right)}),$ 其中l＝2048，则当E_i，j＝1时

$w(i,j)={\mathrm{\Σ}}_{u=1}^l\frac{\sqrt{h_u\left(i\right)h_u\left(j\right)}}{\sqrt{{\mathrm{\Σ}}_{u=1}^l{h}_u\left(i\right){\mathrm{\Σ}}_{u=1}^l{h}_u\left(j\right)}}---\left(7\right)$

对于权值w(i，j)的取值增加两个非别基于色彩距离和纹理能量距离的约束条件，分述如下：

①基于色彩距离约束条件：当时w(i,j)≤W_T，则取w(i,j)=0,其中W_T的取值范围为（0.7～1.0）之间；

②纹理能量距离的约束条件：采用l₂范数计算各超像素图块的平均能量测度，即

$E=\sqrt{\frac{1}{N_p}{\mathrm{\Σ}}_{i=r_b}^{r_t}{\mathrm{\Σ}}_{j=c_1}^{c_r}{R}^2(i,j)}---\left(8\right)$

其中R(i,j)为图像中(i,j)点处的小波采样值，根据公式(8)计算每个超像素块的四维小波特征向量，即e(i)＝(e_i(LL)，e_i(LH)，e_i(HL)，e_i(HH))，并求取其相邻超像素之间的Bhattacharyya系数值B_e(i,j)。

$B_e(i,j)=\frac{e^{*}\left(i\right)\·e^{*}\left(j\right)}{\left|e^{*}\left(i\right)\right|\·\left|e^{*}\left(j\right)\right|}---\left(9\right)$

其中， $\left|e^{*}\left(i\right)\right|=\sqrt{{e^2}_{i\left(\mathrm{LH}\right)}+{e^2}_{i\left(\mathrm{HL}\right)}+{e^2}_{i\left(\mathrm{HH}\right)}}---\left(10\right)$

当B_e(i,j)≤B_T时，则取w(i,j)＝0，其中B_T的取值范围在（0.85～1.0）之间；

以上两个约束条件的目的是提高相邻超像素点的色彩及纹理的相似性阈值，以保护天空与立面物体间、立面物体与地面间的边界特征；

(4)度矩阵的构建，i＝1，2...n；j＝1，2...n;

(5)规范化Laplacian矩阵的构建，采用Normalized-cut准则来计算规范化的Laplacian矩阵：

L_sym＝I-D^-1/2WD^-1/2                     (12)

(6)计算L_sym进行特征值分解，并取前K个最小特征值所对应的特征向量，V₁，V₂，…，V_k；其中K=[0.1×n]，即取n的10%作为图像聚类特征向量的维度，以实现降维目的；

(7)将V₁，V₂，…，V_k排列组成R^n×k矩阵并将矩阵中的每个元素取绝对值得矩阵U；

(8)对于i＝1,2…n，令y_i∈R^k为矩阵U的第i行向量；

(9)对非零的y_i∈R^k向量进行归一化，并用Bhattacharyya系数法进行聚类，其中Bhattacharyya距离的B_U阈值为（0.85～1.0）之间，即当B_U大于等于阈值时，超像素间进行聚类；

(10)对每个聚类图块采用规范化CIELAB颜色直方图，并对相邻图块类采用式(7)进行Bhattacharyya距离w(i,j)，同时采用式(9)计算相邻图块的B_e(i，j)，当w(i,j)≥W_T且B_e(i,j)≥B_T时进行聚类；

(11)重复第(10)步，直到收敛。

3.根据权利要求1所述的方法，其特征是所述的大图块生成采用几何包含关系聚类方法，以消除孤岛图块，所谓的孤岛图块是指一个或多个图块被一个大图块完全包围的图块，几何包含关系的聚类算法可以将孤岛图块聚类成完全包围该孤岛的大图块，从而避免了几何上下文算法对孤岛图块空间分类所产生的奇异；具体方法为：

(1)寻找镂空图块，其判据为当N_b-n_b>0时则图块为镂空图块，其中N_b为图块所有边界的像素值，n_b为图块外边界的像素值，如果N_b-n_b>0则进入下一步，否则图块不为镂空图块；

(2)以外边界为边界以原图块的标记值来填充图块；

(3)以填充图块代替原镂空图块。

4.根据权利要求1所述的方法，其特征是所述的采用单层小波采样提取天空和立面物体的分类图时采用l₂范数计算各对象图块的平均能量测度，即

$E=\sqrt{\frac{1}{N_p}{\mathrm{\Σ}}_{i=r_b}^{r_t}{\mathrm{\Σ}}_{j=c_1}^{c_r}{R}^2(i,j)}---\left(19\right)$

其中：N_p为图块像素个数，r_b为图块的最下延，r_t为图块的最上延，c_l为第i行图块最左边，c_r为第i行图块最右边，其中R(i,j)为图像中(i,j)点处的小波采样值，在计算各图块平均能量测度时需要去除应图块边缘所产生的能量；

通过能量测度计算得到图块的四维小波特征向量，即(e_LL,e_LH,e_HL,e_HH)，其中e_LL表征的是图块整体亮度特性、e_LH,e_HL,e_HH表征的是图块高频纹理特征，而白天室外天空在图像中的特性普遍表现在高亮度和低能量高频纹理特征上；

(1)如果e_LL>mean(e_LL1，e_LL2，…e_LLn)则为候选天空图块，其中e_LL1，e_LL2，…e_LLn∈天空和立面物体的e_LL值，其中：mean()为均值函数；

(2)在满足上述条件下，当图块一层非下采样小波的能量测度

时，则图块为候选天空图块，如果没有满足此条件图块时，则判定图块不为天空图块，E_c的取值范围（0～7）之间；

(3)当存在满足上述图块时，再判断是否有以图像上延为边界的图块，如果有则判断存在天空图块，否则判定图像中无天空；

(4)在满足上述条件下如果出现的候选天空图块不唯一，则选取面积最大图块为天空图块，并以色彩距离值d_ab以及亮度距离值d_L为判据对天空进行聚类，公式如下：

$d_{\mathrm{ab}}=\sqrt{{(a_s-a_i)}^2+{(b_s-b_i)}^2}\≤C$ 且 $d_L=\sqrt{{(L_s-L_i)}^2}\≤L---\left(20\right)$

其中a_s、b_s分别为天空图块CIELAB色彩空间a、b色彩通道的均值，a_i、b_i分别为候选天空图块CIELAB色彩空间a、b色彩通道的均值，当候选天空图块d_ab≤C且d_L≤L则为天空，否则为立面物体，其中,C的取值范围（0～30）,L的取值范围（0～70）。

(5)对聚类生成的天空面积进行计算如果其像素的个数小于图像象素的2‰，则将其归为立面物体；

(6)将所有非天空图块归为立面物体。

5.根据权利要求1所述的方法，其特征是所述的采用单层小波采样提取地面和立面物体的分类图时采用以下判别方法：

(1)根据地面的连续性及其重力场空间几何上下性质，将悬空于立面物体中的地面图块归为立面物体；

(2)通过对图像中被判别为立面物体图块进行Hogh变换，并通过基于直线方向角度的统计直方图，通过对其曼哈顿方向信息的强度，来判断图中是否存在大型近距离建筑物，如果不存在则结束对地面的修正，如果存在则进入下一步；

(3)以立面物体中建筑物的曼哈顿方向信息修正其与地面图块的连接边界。

6.根据权利要求1所述的方法，其特征是所述的天空、地面及立面物体的重力场模糊分布密度函数分别为：

（1）地面重力场模糊分布密度函数G：

当H_G≥H_S时：令 $G\left(x\right)=C_G{x}^{\frac{1}{2n+1}}$ 且 ${\∫}_{{-H}_G}^{0}G\left(x\right)\mathrm{dx}=1$

则得 $C_G=-\left(\frac{2n+2}{2n+1}\right){H_G}^{-\frac{2n+2}{2n+1}}$

式中H_G为视平线距图像底边的距离；H_S为视平线距图像顶边的距离；x为像素在图像高度方向的坐标；n为密度函数的阶数。

当H_G＜H_S时:G(x)＝-S(x)

即

其中：n=1，2，3……N，N∈正整数。

(2)天空重力场模糊分布密度函数S：

当H_G＜H_S时：令 $S\left(x\right)=C_S{x}^{\frac{1}{2n+1}}$ 且 ${\∫}_0^{H_S}G\left(x\right)\mathrm{dx}=1$

则得 $C_S=\left(\frac{2n+2}{2n+1}\right){H_S}^{-\frac{2n+2}{2n+1}}$

当H_G≥H_S时:S(x)=-G(x)

即

其中：n=1,2,3……N，N∈正整数。

(3)立面物体重力场模糊分布密度函数V：

7.根据权利要求1所述的方法，其特征是所述的期望值是通过对大图块中各像素在图像垂直方向上与地面模糊分布密度函数G、天空模糊分布密度函数S以及立面物体模糊分布密度函数V，在（-H_G，H_S）范围内相乘所得，其计算公式为：

$G_E={\mathrm{\Σ}}_{i=r_b}^{r_t}{n}_{i}G(i-H_G)---\left(16\right)$

$S_E={\mathrm{\Σ}}_{i=r_b}^{r_t}{n}_{i}S(i-H_G)---\left(17\right)$

$V_E={\mathrm{\Σ}}_{i=r_b}^{r_t}{n}_{i}V(i-H_G)---\left(18\right)$ 其中：n_i为聚类图块在第i行的像素个数，r_b为聚类图块的最下延，r_t为图块的最上延，i∈(0,1,……,H)，H=H_G+H_S则图块的分类Label=Max(G_E,S_E,V_E)。

Images