CN103218810A - 一种电力塔杆图像语意分割方法 - Google Patents

Abstract

本发明公开了计算机视觉与模式识别技术领域中的一种电力塔杆图像语意分割方法。包括：电力塔杆图像进行预处理，将其分割为超像素，选择最匹配的数据集并提取特征；通过电力塔杆图像图像与所述数据集的相似关系，对于每一个超像素赋予初始化的语意标注；将初始化的语意标注，分别代入标注空间和特征空间，并计算标注空间高阶损失函数值和特征空间高阶损失函数值；对损失函数进行优化，得到损失函数的全局最小值，达到图像语意分割的目的。本发明在电塔图像的语意分割中，使同一物体的一致性以及不同物体的边缘都得相应地增强，改进了现有图像分割与解析算法中损失函数单一、灵敏度较低和错误分类率高的问题。

Description

一种电力塔杆图像语意分割方法

技术领域

本发明属于计算机视觉与模式识别技术领域，尤其涉及一种电力塔杆图像语意分割方法。

背景技术

电力机器人对电力设备进行巡检已经得到普遍应用。在电力机器人通过拍摄电力杆塔的图像并通过对拍摄图像的解析，实现对电力杆塔的巡检。在电力机器人巡检的过程中，电力杆塔图像的分割与解析成为数据处理与分析中最具挑战性的问题。而电力杆塔图像的分割与普通图像的分割又具有不同的特点：比如，电力塔杆的边缘较多；再比如，从感官上，电力塔杆的图像极易和背景混淆。现有的图像分割算法中的能量函数的形式不具备灵活性，更多地依赖于待分割图像与训练数据集的相似程度，在某一基团内，初始标注相同的超像素仅仅依据特征的区分赋予不同的损失函数，而不考虑周围临域的标注情况；或者损失函数只考虑到基团内超像素个数的影响。电力杆塔的分割面对两大挑战：保持电塔本身的一致性和区分电塔与背景的边缘。本发明提出一种新的基于马尔科夫随机场灵敏代价函数的电力杆塔分割方法。

发明内容

本发明的目的在于，提出一种电力塔杆图像语意分割方法，用于解决现有技术在电力杆塔图像语意分割过程中存在的缺陷。

为了实现上述目的，本发明提出的技术方案是，一种电力塔杆图像语意分割方法，其特征是所述方法包括：

步骤1：对电力塔杆图像进行预处理，将其分割为超像素，选择最匹配的数据集并提取特征；

步骤2：通过电力塔杆图像图像与所述数据集的相似关系，对于每一个超像素赋予初始化的语意标注；

步骤3：将初始化的语意标注，分别代入标注空间和特征空间，并计算标注空间高阶损失函数值和特征空间高阶损失函数值；

步骤4：对损失函数进行优化，得到损失函数的全局最小值，达到图像语意分割的目的。

所述步骤3具体是：

步骤301：在超像素的随机场内定义九阶基团作为马尔科夫随机场，即每个超像素的标注与该超像素的八临域超像素相关；

步骤302：将临域内的超像素分为两类：取主流标注的作为一类，非主流标注的作为另一类；

步骤303：采用城市距离区别四邻域超像素和八临域内非四邻域的超像素；

步骤304：设计标注空间高阶损失函数和特征空间高阶损失函数。

本发明在电塔图像的语意分割中，使同一物体的一致性以及不同物体的边缘都得相应地增强，改进了现有图像分割与解析算法中损失函数单一、灵敏度较低和错误分类率高的问题。

附图说明

图1是电力塔杆图像语意分割方法流程图；

图2是中心超像素的四邻域超像素标注变化图；其中(a)是中心超像素的四邻域超像素标注为0的示意图；(b)是中心超像素的下方超像素标注为1的示意图；(c)是中心超像素的下方和右方超像素标注为1的示意图；(d)是中心超像素的下方、右方和左方超像素标注为1的示意图；

图3是中心超像素的八临域内非四邻域的超像素标注变化图；其中(a)是中心超像素的八临域内非四邻域的超像素标注为0的示意图；(b)是中心超像素的左上方超像素标注为1的示意图；(c)是中心超像素的左上方和左下方超像素标注为1的示意图；(d)是中心超像素的左上方、左下方和右上方超像素标注为1的示意图；

图4是图2和图3中相应的基团绘制的损失函数曲线图。

具体实施方式

下面结合附图，对优选实施例作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

实施例1

图1是电力塔杆图像语意分割方法流程图，如图1所示，本发明提出的一种电力塔杆图像语意分割方法包括：

步骤1：电力塔杆图像进行预处理，将其分割为超像素，选择最匹配的数据集并提取特征。

预处理指的是分割过程前的工作：包括去除噪声，将原图像变换为超像素，形成的过分割图像（Oversegmentation Image）。超像素（Superpixel）值是具有某种共同特征的十几个或几十个像素的集合，将超像素进行进一步的分割，即可得分割结果。

超像素的形成过程可以将图像中所有像素的RGB数值提取出来，与周围像素的RGB值进行比较，根据需要设定阈值，小于此阈值的，即认为两像素属于同一超像素。

数据集是从事先已经进行标注和分割的图像中进行选择的。进行电力杆塔的图像分割，那么就要从已分割的杆塔图像中选择数据集。为挑选最匹配的数据集，可将待选择图像与待分割图像通过某种特征进行比较，然后排序。排名前列的待选择图像即被认为是最匹配的数据集。

提取特征需要分别提取训练集和测试集的特征。提取特征的方法广泛而成熟，本专利采取Spatial pyramid，Gist，Color histogram等方法。

步骤2：通过电力塔杆图像图像与所述数据集的相似关系，对于每一个超像素赋予初始化的语意标注。

在训练集中，每幅图像都是含有标注的，根据所提取的几种特征间的距离大小不同，将测试集中每个超像素赋予与其特征最为接近的训练集中的超像素的语意标注。

标注空间是指足以通过其线性组合表达任何一个需要的图像语意标注的向量空间。语意标注本身即定义于标注空间。

特征空间是指足以通过其线性组合表达任何一个需要的图像特征的向量空间。将语意标注代入特征空间是指，将语意信息与特征信息，相结合作为图像分割的标准，借以提高分割质量。

步骤3：将初始化的语意标注，分别代入标注空间和特征空间，并计算标注空间高阶损失函数值和特征空间高阶损失函数值。

该步骤还具体包括：

步骤301：在超像素的随机场内定义九阶基团作为马尔科夫随机场，即每个超像素的标注与该超像素的八临域超像素相关。

定义在一幅图像上的非负函数就是一个随机场。像素灰度就是随机场，图像的各种特征也是随机场。九阶基团指的是与中心超像素相邻的八个超像素与中心超像素本身。

步骤302：将临域内的超像素分为两类：取主流标注的作为一类，非主流标注的作为另一类。

基于九阶基团的标注分为多数和少数两种，多数基团采用的语意标注，则为主流标注，少数采用的则为非主流标注。

步骤303：采用城市距离区别四邻域超像素和八临域内非四邻域的超像素。

中心超像素上、下、左、右的4个超像素为四邻域超像素，中心超像素上、下、左、右、左上、左下、右上、右下的8个超像素为八临域超像素。城市距离的定义中，如果四邻域像素距离中心像素为1，则除去四邻域的八邻域距离则为2。故，使用城市距离（曼哈顿距离）可以区分以上两者。

步骤304：设计标注空间高阶损失函数和特征空间高阶损失函数。

损失函数将取值为非主流的标注的超级像素作为一类，而主流标注的超像素则认为损失为零。这样，在分割的过程中，兼顾了同一物体的一致性和不同物体边缘的清晰性。其数学表达式为：

$E_l\left(S\right)=\left\{\begin{array}{c}0,n=0\\ \frac{\exp (-|\underset{j\∈\mathrm{\ϵ}}{\mathrm{\Σ}}{2}^{|d_j-2|}-c\left|\right)}{N},n=N\end{array}\right.$

其中，ε为超像素S的八临域，d_j为ε内与S具有不同标注元素距离S的城市距离，C是与临域定义相关的常数且为ε内所有元素距离之和，N为ε内与S取相同标注的超像素个数。

在设计高阶损失函数时，应满足如下规则：

（1）损失函数的取值应与基团内与中心超像素标注相同的超像素个数成相反的增减关系，其含意是因为实际物体有一定的一致性，因此如果同一标注的超像素个数越多，其符合当前标注的可能性越大，即损失越小。该规则一定程度上保持了分割中，同一物体的一致性。

（2）相邻超像素（四邻域）对中心超像素的影响大于对角超像素（基团内非四邻域）。由于，超像素有若干像素构成，因此相邻与对角的关系加以区分，提高了损失函数的灵敏性。一般情况下，可以采用城市距离。

（3）如果基团中，中心超像素的标注与其他超像素都不同，则损失函数应取最大值，即1。

（4）损失函数曲线在规则（3）所提到的情况和其他情况之间应快速下降，因为规则（3）中错误标注的可能性最大，与其他情况有本质区别，因此函数曲线应以较大的负斜率下降。

将标注空间与特征空间的高阶损失函数进行组合，即分别先后用两种方法对图像进行分割，提高分割的精度。

步骤4：对损失函数进行优化，得到损失函数的全局最小值，达到图像语意分割的目的。

对于一个函数进行优化，有许多相关较为成熟的算法。获得全局最小值是为了在整体上认为损失最小，既是分割结果。其原理在于：认为像素间取值是独立事件，根据贝叶斯公式，多种独立事件共同发生的概率等于各事件分别发生的概率的乘积。因此，全局最小即可认为是分割结果。

实施例2

采用二值化的标注，进行推理，即标注从{0，1}中取值，代表两类不同物体，实际分割问题中，标注是多样的，只要从训练数据集中学习更多的物体种类即可。在图2和图3中分别以S作为中心超像素，通过其临域的变化具体说明本发明中的损失函数设计中的“灵敏性”和高阶损失函数设计准则。下面将计算S如果取标注“1”的损失函数值。

图2中，S的四邻域内，逐渐变化。在（a）中，S的临域内的标注均为“0”，因此，根据马尔科夫性，S取标注“1”的概率最小，即损失函数应最大。计算得，损失函数值为1。

在（b）,(c),(d)中，随着基团中取标注“1”的超像素增多，S取“1”的概率逐渐增大，即损失函数逐渐减小，体现为：损失函数值E_l(S)依次为：

图3中，随着对角超像素的变化，损失函数依次为：

由于，本发明中的准则（3），对角超像素对于中心超像素的影响小于相邻超像素，通过对比图1和图2相对应的损失值，满足准则（3）。

图4是将图2和图3中相应的基团绘制了损失函数曲线。实线表示图2的损失函数值，点划线为图3中损失函数值。两图线都在n＝1处取得了损失的最大值1，都与n成相反的增减关系。由于对角超像素的影响小于相邻超像素，因此图3中的损失大于图2中的损失，反映在图4中，就是点划线函数值大于实线。经过n＝1后，S取“1”的可能性大大增加，因此两线在值1和值2间经历了负斜率较大的下降。而且，两线的函数值在4处接近于零，因为一个基团内，取该标注的超像素个数超过其他超像素个数，则认为损失为零。经过上述分析，本发明的损失函数符合准则（1），（2），（3）和（4）。

与现有技术相比，本发明的损失函数的“灵敏度”更高，这样使得临域环境变化情况下损失的多样性和边缘的一致性是与临域内状态密切相关的物理量。在电塔图像的语意分割中，使用本发明，可以使同一物体的一致性以及不同物体的边缘都得相应地增强，改进了现有图像分割与解析算法中损失函数单一、“灵敏度”较低和错误分类率高的问题，是特别针对此类问题进行有效解决的一种新方法。本发明还提出了“标注空间”内，设计高阶基团损失函数的新准则，根据此准则的设计，均能使损失函数具有满足图像分割要求的“灵敏度”，进而改善分割的效果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (2)

1.一种电力塔杆图像语意分割方法，其特征是所述方法包括：

步骤1：电力塔杆图像进行预处理，将其分割为超像素，选择最匹配的数据集并提取特征；

步骤2：通过电力塔杆图像图像与所述数据集的相似关系，对于每一个超像素赋予初始化的语意标注；

步骤3：将初始化的语意标注，分别代入标注空间和特征空间，并计算标注空间高阶损失函数值和特征空间高阶损失函数值；

步骤4：对损失函数进行优化，得到损失函数的全局最小值，达到图像语意分割的目的。

2.根据权利要求1所述的方法，其特征是所述步骤3具体是：

步骤301：在超像素的随机场内定义九阶基团作为马尔科夫随机场，即每个超像素的标注与该超像素的八临域超像素相关；

步骤302：将临域内的超像素分为两类：取主流标注的作为一类，非主流标注的作为另一类；

步骤303：采用城市距离区别四邻域超像素和八临域内非四邻域的超像素；

步骤304：设计标注空间高阶损失函数和特征空间高阶损失函数。

Images