CN112183546B - 一种具有权重约束的基于空间最近邻的图像分割方法 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，尤其涉及一种具有权重约束的基于空间最近邻的图像分割方法，包括定义颜色域，收集开源的原始图像作为数据集，制作标签图像，建立集成有KD树的所述深度神经网络模型，将所述原始图像、所述标签图像输入编码器‑全连接层网络结构进行训练并输出神经元值，根据神经元值对空间不同颜色分量进行加权，通过KD树实现最近邻颜色域查找，从而利用所述最近邻颜色域实现图像分割；本发明采用的网络模型复杂度低、耗时少、易训练，且此图像分割方法通用性强，成本低，节省了选择、标记训练样本所需的大量人力和时间；本发明采用颜色域的空间最近邻实现图像分割，其分割更准确、精度更高、速度更快，且实用性强。

Description

一种具有权重约束的基于空间最近邻的图像分割方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种具有权重约束的基于空间最近邻的图像分割方法。

背景技术

随着机器学习的发展，无监督学习方法的精度越来越高，相比于监督学习方法，无监督学习无需标注标签，通常以某些特定规则实施。图像分割作为图像处理的重要工具，是图像处理三大任务之一，在复杂的图像处理过程中处于基础但十分重要的位置。

目前，虽然广大研究者已经探究出数以万计的图像分割方法，但是，这些图像分割方法缺乏通用性，且基于神经网络的图像分割方法一般需要针对每一类任务进行大量的监督学习，且进行人工类别标注的成本太高，因此，寻找一种通用的图像分割方法尤为重要。

发明内容

本发明提供一种具有权重约束的基于空间最近邻的图像分割方法，解决的技术问题是，目前的图像分割方法缺乏通用性，且基于神经网络的监督学习需要进行人工标注，成本高、效率低。

为解决以上技术问题，本发明提供了一种具有权重约束的基于空间最近邻的图像分割方法，包括以下步骤：

S1.利用调色板定义颜色域；

S2.收集开源的原始图像作为数据集，并根据定义的所述颜色域对所述原始图像的每个像素进行二次标注，得到标签图像；

S3.建立集成有KD树的深度神经网络模型，所述深度神经网络模型包括编码器-全连接层网络结构，以及所述KD树；

S4.将所述原始图像、所述标签图像输入所述编码器-全连接层网络结构进行训练，输出神经元值；

S5.利用所述神经元值对所述原始图像的RGB值序列进行加权，得到加权RGB值序列；

S6.将所述颜色域以及所述加权RGB值序列输入所述KD树，查找并返回最近邻颜色域；

S7.利用所述最近邻颜色域对所述加权RGB值序列进行处理，输出分割图像。

其中，所述RGB值序列是通过所述原始图像进行重塑操作后得到的张量；

所述颜色域根据所述原始图像定义。

与现有技术相比，本技术方案将KD树算法集成到深度神经网络模型中，实现了端到端的网络优化，同时，本方案通过集成有KD树的深度神经网络模型实现对空间不同颜色分量的加权，从而实现图像分割，使得其在特定的下游任务表现更好、精度更高、速度也更快；本技术方案通过对大量可靠的二次标注的开源图像的学习，不仅可以提升最终分割的性能，且实现了通用性的图像分割方法。

在进一步的实施方案中，在所述步骤S7中，所述处理包括利用所述最近邻颜色域对所述加权RGB值序列进行颜色替换操作，并将替换后的所述加权RGB值序列进行重塑操作，以输出与所述原始图像相同大小的所述分割图像。

本技术方案利用KD树最近邻搜索算法搜索出树中与所述加权RGB值序列的最近邻点，其搜索效率高，速度快，可以快速减小颜色域范围，从而保证了图像分割的高精度；另外，由于网络训练主要是为了得到神经元值，因此，在实际应用中，本领域技术人员可直接丢弃编码器-全连接层基础网络结构，只需KD树实现最近邻颜色域查找即可，从而更方便用户使用，提升使用用户的体验感。

在进一步的实施方案中，在所述原始图像输入所述编码器-全连接层网络结构之前，将所述原始图像归一化到0～1之间；

在所述原始图像输入所述深度神经网络模型之前，还需将所述原始图像进行样本修正；

所述样本修正具体包括：

a.统计所示数据集的所有标签类别；

b.统一标注的标签图像的类别以及颜色，以方便后续大量数据的训练。

本技术方案先将预处理后的所述原始图像输入所述编码器-全连接层网络中训练，全连接层输出所述神经元值，然后对图像的R、G、B分量进行加权，并利用所述KD树算法搜索最近邻颜色域，以实现图像分割，本技术方案只需基于空间颜色域即可对图像进行分割，其通用性强，且网络模型易训练，模型参数更小，耗时更少；本技术方案构造了一种集成了KD树的深度神经网络模型，不但有效提高像素级分类精度，而且此网络模型能够实现端到端的网络训练。

在进一步的实施方案中，所述原始图像须为RGB图像；

其中，所述步骤S2中的标注为对所述原始图像进行像素级标注。

本技术方案提供的图像分割方法训练完成后为一种通用的方法，可应用于任意的RGB图像，不仅节省了选择、标记训练样本所需的大量人力和时间，而且降低了成本，其实用性强，分割精度更高、分割更准确；由于本技术方案是基于RGB颜色域实现的图像分割，因此，本技术方案要求待分割的图像须为RGB颜色空间。

附图说明

图1是本发明实施例提供的一种具有权重约束的基于空间最近邻的图像分割方法的流程示意图；

图2是本发明实施例提供的遥感图像的举例示意图；

图3是本发明实施例提供的深度神经网络模型的简单示意图。

具体实施方式

下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。

针对目前的图像分割方法缺乏通用性，且基于神经网络的监督学习需要进行人工标注，成本高、效率低的问题，本发明实施例提供了一种具有权重约束的基于空间最近邻的图像分割方法，如图1所示，包括以下步骤：

S1.利用调色板定义颜色域；

S2.收集开源的原始图像作为数据集，并根据定义的所述颜色域对所述原始图像的每个像素进行二次标注，得到标签图像；

其中，本实施例可用的开源的数据集有很多，比如Deepglobe、GID(Gaofen ImageDataset)等数据集，此类数据集的特点为地面分割图像，且不存在飞机、车辆等可移动物体，但是，由于遥感影像数据分辨率高，语义类别多样化，且不存在实例，因此本发明实施例的原始图像优先采用通过开源的多语义类别遥感影像数据进行二次标注后的图像，本实施例采用开源的遥感影像作为数据集，不仅节省了选择、标记训练样本所需的大量人力和时间，大大加快了训练的速度，同时降低了标注成本；另外，本发明实施例对于所述原始图像的要求为RGB颜色空间；

需要说明的是，所述二次标注应使像素级标注的颜色应与所述原始图像中的颜色较为接近，比如海洋，即标注应通过蓝色标注，而非其它颜色；若某些类别存在多类颜色，则本领域技术人员可取其中的任意颜色，但需避免与其它类别的颜色相冲突，以尽可能使不同类别的颜色具有较大差别，避免后续混淆。

S3.建立集成有KD树的深度神经网络模型，所述深度神经网络模型包括编码器-全连接层网络结构，以及所述KD树；

S4.将所述原始图像、所述标签图像输入所述编码器-全连接层网络结构进行训练，输出神经元值；

S5.利用所述神经元值对所述原始图像的RGB值序列进行加权，得到加权RGB值序列；

其中，加权公式为：

P(R，G，B)＝(R*x1+b1，G*x2+b2，B*x3+b3) 1-1

式中，x1、x2、x3、b1、b2、b3为所述全连接层输出的六个神经元值；

P(R，G，B)为加权RGB值；

S6.将所述颜色域以及所述加权RGB值序列输入所述KD树，查找并返回最近邻颜色域；

S7.利用所述最近邻颜色域对所述加权RGB值序列进行处理，输出分割图像。

在所述步骤S7中，所述处理包括利用所述最近邻颜色域对所述加权RGB值序列进行颜色替换操作，并将替换后的所述加权RGB值序列进行重塑操作，以输出与所述原始图像相同大小的所述分割图像。

由于本发明实施例采用空间最近邻颜色域实现图像分割，即图像分割的特点为对图像进行像素级分类，因此，本实施例无需考虑不同数据集存在的不同空间分辨率的问题；本实施例对所述原始图像进行像素级分类，有效提高了分类精度。

在本发明实施例中，在所述原始图像输入所述编码器-全连接层网络结构之前，先将所述原始图像进行预处理，即对所述原始图片进行归一化处理，将图片矩阵的值域变为0～1之间的浮点数，以便所述深度神经网络模型更好地收敛。

在所述原始图像输入所述深度神经网络模型之前，还需将所述原始图像进行样本修正；

其中，所述样本修正包括：

a.统计所示数据集的所有标签类别；

b.统一标注的标签图像的类别以及颜色，以方便后续大量数据的训练。

本实施例通过所示调色板进行颜色域的定义，并将定义的颜色域输入所述KD树中，其中，所述颜色域根据所述原始图像定义；

本实施例以水体提取任务为例进行示例说明：

其颜色域的定义如下所示：

[0，0，200]，表示河类别，颜色为深蓝色；

[0，150，200]，表示湖类别，颜色为浅蓝色；

[0，200，250]，表示池塘类别，颜色为天蓝色；

[0，0，0]，表示其它类别，颜色为黑色。

又或者，以图2所示的遥感图像为例，进行颜色域的定义：

[255，0，0]，表示工业用地类别，颜色为红色；

[253，139，254]，表示城市住宅类别，颜色为桃红色；

[255，192，203]，表示农村居民点类别，颜色为粉红色；

[255，255，0]，表示自然牧场类别，颜色为黄色；

[0，0，255]，表示湖类别，颜色为蓝色；

其中，以上颜色域中的三个数字分别表示R、G、B的值。

需要说明的是，以上颜色域定义仅为示例性说明，本发明实施例提供的技术方案中各个原始图像颜色域的定义可包括但不限于以上取值，本领域技术人员可根据实际任务需求调整颜色域的定义。针对原始图像中的每一像素，判断此像素值与所述颜色域中最接近的颜色值，则此像素的标签即为此最接近的颜色值，如此生成标签图像。

如图3所示，本实施例将所述原始图像以及所述标签图像输入所述深度神经网络模型进行训练，端到端地训练所述编码器-全连接层、所述KD树。

在所述步骤S4中，编码器Encoder用于对图像进行特征提取，输入为经过归一化处理的原始图像，输出为特征图；然后特征图经过平铺Flatten操作，变为序列张量，其中，编码器的设计有很多种，本发明实施例优选套用预训练轻量级网络的编码器，比如：GhostNet，使其更有利于网络的收敛；

接着，全连接层FC接收序列张量，最终输出神经元值，全连接层FC应包含两层或以上，以保证其能将序列张量充分映射到特征空间；另外，所述标签图像需先经过独热编码，即one-hot编码，使得参数管理的更加精细，同时降低了特征值扰动对模型稳定性的影响，也降低了异常数据对模型的影响，进而使得模型具有更好的鲁棒性；本实施例采用分类型损失函数训练网络模型，其中，本实施例优选交叉熵损失函数训练网络模型。

在本发明实施例中，网络训练过程中可采用数据增强，训练时对图像做一种或者多种变换，图像变换后标签的真值也会随变换改变，数据增强可以提升模型的泛化能力；数据增强方法可采用一种随机增广的方法，所有的子策略都会以同样的概率被选择到，每个子策略中都包含数据变换方法，此种数据增广方式即使在大模型的训练中也具有很好的效果，每个子策略中都包含数据变换方法。

另外，所述KD树(k-dimensional树的简称)，是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构，主要应用于多维空间关键数据的搜索，比如：范围搜索和最近邻搜索；需要说明的是，在本发明实施例中，现有框架对于深度神经网络模型的搭建以层体现，即现有框架均拥有自定义层的接口，因此，所述KD树可快速集成到深度神经网络模型中；

与现有技术相比，本实施例将KD树算法集成到深度神经网络模型中，且本实施例通过集成有KD树的深度神经网络模型实现对空间不同颜色分量的加权，不仅实现了端到端的网络优化，且在特定的下游任务表现更好、精度更高，处理速度也更快，增强了使用用户的体验性；同时，本实施例只需基于空间颜色域即可对图像进行分割，其通用性强，且网络模型易训练，模型参数更小，耗时更少。

在本发明实施例中，所述KD树最近邻查找过程如下：

S61.所述KD树从根结点开始，依据其构建过程向下访问，并分别计算神经元权值与各个结点的距离，直至叶子结点；

其中，访问左子树还是右子树与构建KD树方法相同，若加权的输入点在分区面的左边，则进入左子树；在右边，则进入右子树；

S62.计算所述神经元权值和所述叶子结点中的数据点的距离，距离最近的记为所述神经元权值的最邻近颜色域；

S63.进行回溯操作，并返回所述神经元权值的最邻近颜色域。

其中，所述回溯操作包括：判断未被访问过的分支里是否还有离所述神经元权值更近的数据点，若有，则更新所述神经元权值的最邻近颜色域并返回；若无，则直接返回所述神经元权值的最邻近颜色域。

本发明实施例根据返回的所述最邻近颜色域对所述加权RGB值序列进行色彩转换以及再次重塑Reshape操作后转回原始图像的大小，并输出所述分割图像。

举例说明：

以一张512*512大小的RGB图像为例，此图像经过重塑Reshape操作后，变为[512*512,3]，通过加权公式后，得到加权RGB值序列，然后经过KD树查找并返回最近邻颜色域，根据所述最近邻颜色域对所述加权RGB值序列进行图像的色彩转换，最终，通过再次的重塑Reshape操作转回原始图像大小[512,512,3]，输出分割图像，从而实现图像分割。

需要说明的是，本发明实施例提供的图像分割方法，可以针对任意尺寸的图像进行分割，不会受到图像大小的影响。

本实施例利用KD树最近邻搜索算法搜索出树中与所述加权RGB值序列最接近的点，即最近邻点，其搜索效率高，速度快，可以快速减小颜色域范围，从而保证了图像分割的高精度；

在本实施例中，若测试集的损失函数不再具有下降趋势，则停止网络的训练，另外，此方法是基于RGB颜色域来实现的图像分割，因此，训练结束后可将此方法应用于任意的RGB图像；

另外，在本实施例中，由于网络训练主要是为了得到神经元值，因此，在实际应用中，只需KD树实现最近邻颜色域查找即可，即实际应用中可丢弃编码器-全连接层基础网络结构，更方便用户使用。

本发明实施例提供的提供一种具有权重约束的基于空间最近邻的图像分割方法，包括S1.利用调色板定义颜色域；S2.收集开源的原始图像作为数据集，并根据定义的所述颜色域对所述原始图像的每个像素进行二次标注，得到标签图像；S3.建立集成有KD树的深度神经网络模型，所述深度神经网络模型包括编码器-全连接层网络结构，以及所述KD树；S4.将所述原始图像、所述标签图像输入所述编码器-全连接层网络结构进行训练，输出神经元值；S5.利用所述神经元值对所述原始图像的RGB值序列进行加权，得到加权RGB值序列；S6.将所述颜色域以及所述加权RGB值序列输入所述KD树，查找并返回最近邻颜色域；S7.利用所述最近邻颜色域对所述加权RGB值序列进行处理，输出分割图像；解决了目前的图像分割方法缺乏通用性，且基于神经网络的监督学习需要进行人工标注，成本高、效率低的问题；本发明实施例利用集成了KD树的深度神经网络模型实现对空间不同颜色分量的加权，不仅易训练，节省了选择、标记训练样本所需的大量人力、时间以及成本，而且大大提高了分割效率，同时其通用性强，分割精度更高，分割更准确、速度更快。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种具有权重约束的基于空间最近邻的图像分割方法，其特征在于，包括以下步骤：

S1.利用调色板定义颜色域；

S2.收集开源的原始图像作为数据集，并根据定义的所述颜色域对所述原始图像的每个像素进行二次标注，得到标签图像；

S3.建立集成有KD树的深度神经网络模型，所述深度神经网络模型包括编码器-全连接层网络结构，以及所述KD树；

S4.将所述原始图像、所述标签图像输入所述编码器-全连接层网络结构进行训练，输出神经元值；

S5.利用所述神经元值对所述原始图像的RGB值序列进行加权，得到加权RGB值序列；

S6.将所述颜色域以及所述加权RGB值序列输入所述KD树，查找并返回最近邻颜色域；

S7.利用所述最近邻颜色域对所述加权RGB值序列进行处理，输出分割图像；

所述最近邻颜色域查找过程如下：

S61.所述KD树从根结点开始，依据其构建过程向下访问，并分别计算神经元权值与各个结点的距离，直至叶子结点；

其中，访问左子树还是右子树与构建KD树方法相同，若加权的输入点在分区面的左边，则进入左子树；在右边，则进入右子树；

S62.计算所述神经元权值和所述叶子结点中的数据点的距离，距离最近的记为所述神经元权值的最邻近颜色域；

S63.进行回溯操作，并返回所述神经元权值的最邻近颜色域；

其中，所述回溯操作包括：判断未被访问过的分支里是否还有离所述神经元权值更近的数据点，若有，则更新所述神经元权值的最邻近颜色域并返回；若无，则直接返回所述神经元权值的最邻近颜色域。

2.如权利要求1所述的一种具有权重约束的基于空间最近邻的图像分割方法，其特征在于：在所述步骤S7中，所述处理包括利用所述最近邻颜色域对所述加权RGB值序列进行颜色替换操作，并将替换后的所述加权RGB值序列进行重塑操作，以输出与所述原始图像相同大小的所述分割图像。

3.如权利要求1所述的一种具有权重约束的基于空间最近邻的图像分割方法，其特征在于：所述RGB值序列是通过所述原始图像进行重塑操作后得到的张量。

4.权利要求1所述的一种具有权重约束的基于空间最近邻的图像分割方法，其特征在于：在所述原始图像输入所述编码器-全连接层网络结构之前，将所述原始图像归一化到0～1之间。

5.如权利要求4所述的一种具有权重约束的基于空间最近邻的图像分割方法，其特征在于：在所述原始图像输入所述深度神经网络模型之前，还需将所述原始图像进行样本修正；

其中，所述样本修正包括：

a.统计所述数据集的所有标签类别；

b.统一标注的标签图像的类别以及颜色。

6.如权利要求5所述的一种具有权重约束的基于空间最近邻的图像分割方法，其特征在于：所述原始图像须为RGB图像；

其中，所述步骤S2中的标注为对所述原始图像进行像素级标注。

7.如权利要求1所述的一种具有权重约束的基于空间最近邻的图像分割方法，其特征在于：所述颜色域根据所述原始图像定义。

Images