CN112686906A - 基于均匀分布迁移引导的图像分割方法及系统 - Google Patents

Abstract

本公开提供了一种基于均匀分布迁移引导的图像分割方法及系统，包括：获取待分割的图像，进行预处理；将待分割的图像、随机噪声和迁移参考图像同时输入到网络模型中，在双分支网络中，同时进行像素分布迁移和图像内容重建。经过训练好的模型后，输入的随机噪声被更新为具有与待分割图像相同的对象内容和易于分割的像素分布的新图像；使用现有的深度分割网络模型对上一模块输出的新图像进行分割，得到分割结果；有效解决图像分割中的图像像素分布不均匀的问题。

Description

基于均匀分布迁移引导的图像分割方法及系统

技术领域

本公开涉及图像分割领域，特别是涉及一种基于均匀分布迁移引导的图像分割方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。图像分割是图像识别和计算机视觉至关重要的预处理。没有正确的分割就不可能有正确的识别。但是，进行分割仅有的依据是图像中像素的亮度及颜色，由计算机自动处理分割时，将会遇到各种困难。例如，光照不均匀、噪声的影响、图像中存在不清晰的部分，以及阴影等，常常发生分割错误。因此图像分割是需要进一步研究的技术。人们希望引入一些人为的知识导向和人工智能的方法，用于纠正某些分割中的错误，是很有前途的方法，但是这又增加了解决问题的复杂性。

发明人发现，一些图像可能具有复杂的特征，如复杂的像素分布，而大多数的深度学习方法可能无法很好地分割这些复杂的图像，因为网络的训练倾向于以不太复杂的图像为主。

例如，对于医学图像具有的灰度不同质性，基于编解码网络体系结构使用UNet作为简单医学图像分割网络中最流行的主干网络，其中编码器用于学习判别特征。考虑到判别特征是像素分类的基础，大多数方法通过开发新的编码器来提高分割性能。然而在临床实践中，医学图像往往是由不同的机构用不同类型的设备和成像协议获取的，并且在灰度和纹理上表现差异性较大的变化。基于特征差异性的编码解码结构在识别灰度不同质性特征上并没有太大的优势。考虑到集成策略有助于提高性能，利用不同深度和不同跳跃连接的U网络的有效集成来设计分段架构UNet++有利于分割精度的提高。为了提高性能，现有的深度学习方法旨在通过引入新的编码器和集成策略来开发新的体系结构。然而，这些策略使得模型更加复杂，增加了训练的难度。

同时，除图像本身具有复杂特征外，深度学习在图像分割上还有以下诸多困难：(1)深度学习需要大量高质量的标注数据，数据标注的代价是非常昂贵的；(2)在设备成像时，容易受到噪声、伪影等影响，导致成像质量差。以上问题都会导致模型的泛化能力降低。

发明内容

本公开为了解决上述问题，提供了一种基于均匀分布迁移引导的图像分割方法及系统，所述方案引入一个迁移参考来指导生成新的、理想的且具有像素分布均匀特性的图像，每一张图像都被迁移到一个新的目标域中，目标域和背景之间的分布可以被很好的分离出来，降低了分割的难度；在模型训练过程中，采用基于局部相似性增益比的图像质量评价方法，以更有效地获得最终图像，保证了生成的图像具有更可分离的像素分布，并提供了自动迭代停止准则，进一步提高了训练效率。

根据本公开实施例的第一个方面，提供了一种基于均匀分布迁移引导的图像分割方法，包括：

获取待分割的图像，并进行预处理；

将待分割的图像、随机噪声和迁移参考图像同时输入到预训练的分布校正网络模型中，利用双分支网络，同时对输入图像进行像素分布迁移和图像内容重建，生成具有与待分割图像相同的对象内容和易于分割的像素分布的新图像；

利用预训练的深度分割网络模型对所述新图像进行分割，得到分割结果。

进一步的，所述分布校正网络模型是一种双分支网络，包括分布迁移模块和内容重建模块，分布迁移模块进行图像像素分布校正；内容重建模块进行重建与输入图像相同的对象内容。

进一步的，所述分布迁移模块和内容重建模块均采用相同的网络模型，所述网络模型使用13个卷积层，且均采用3x3的卷积和2x2的平均池化层。

进一步的，所述分布校正网络模型的训练过程中，需要对生成的新图像进行质量评价，为了对生成的所述新图像像素分布质量进行评估，使用局部相似增益比的评估方式；具体的，通过迭代过程生成新图像，每次迭代生成质量不同的图像；用LSGR来测量当前图像像素分布的改善情况，并确定当前图像是否为最终图像；如果当前图像的LSGR大于给定的阈值，则停止迭代，将当前图像视为最终图像。

进一步的，所述分布迁移模块和内容重建模块基于感知相似性和目标重构最小化进行损失函数的设计。

进一步的，为了增强感知相似性，在多个卷积层的输出特征上计算感知相似性，加权融合后作为总的感知相似性。

进一步的，所述损失函数包括感知损失和内容重建损失，其中，所述内容重建损失采用传统的特征相似性，计算不同层特征间的欧氏距离作为内容重建损失。

根据本公开实施例的第二个方面，提供了一种基于均匀分布迁移引导的图像分割系统，包括：

图像预处理模块，被配置为获取待分割的图像，并进行预处理；

分布校正模块，被配置为将待分割的图像、随机噪声和迁移参考图像同时输入到预训练的分布校正网络模型中，利用双分支网络，同时对输入图像进行像素分布迁移和图像内容重建，生成具有与待分割图像相同的对象内容和易于分割的像素分布的新图像；

图像分割模块，被配置为利用预训练的深度分割网络模型对所述新图像进行分割，得到分割结果。

根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，执行所述的一种基于均匀分布迁移引导的图像分割方法。

根据本公开实施例的第四个方面，提供了一种非暂态计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，执行所述的一种基于均匀分布迁移引导的图像分割方法。

与现有技术相比，本公开的有益效果为：

(1)本公开所述方案提供了一种包含图像迁移模块和分割网络的通用深度框架。其中，图像迁移模块是基于包含分布迁移分支和内容重建分支的双分支网络开发的，在分布迁移分支中，引入传输参考和分布迁移损失，将原始图像映射到一个新的区域中，使目标的分布得到很好的分离。在训练过程中，提出了一种新的基于LSGR的图像质量评价方法，以保证生成的图像质量在像素分布上具有良好的质量；同时，在该框架中，现有的深度分割模型都可以作为分割网络，增加了本公开所述方案的普适性。

(2)本公开所述方案提供了基于像素分布校正思想，高效利用基于迁移参考的分布迁移分支和图像内容重建分支获取易于分离的像素分布。

(3)本公开所述方案通过图像迁移模块将原始的复杂像素分布映射为更可分离的像素分布，降低了特征学习的难度。因此，图像迁移模块可以很容易地与任意分割网络相结合来提高分割性能。此外，生成的高质量图像和简单的基分割网络相结合使训练过程更加高效。

本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例一中所述的基于均匀分布迁移引导的图像分割方法流程图。

具体实施方式：

下面结合附图与实施例对本公开做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例一：

本实施例的目的是提供一种基于均匀分布迁移引导的图像分割方法。

如背景技术所述，在进行图像分割时，因图像本身像素分布复杂，导致分割精度不高。故在本实施例中，如图1所示，提供一种基于均匀分布迁移引导的图像分割方法，包括：

S1：获取待分割的图像，并进行预处理；

S2：将待分割的图像、随机噪声和迁移参考图像同时输入到预训练的分布校正网络模型中，利用双分支网络，同时对输入图像进行像素分布迁移和图像内容重建，生成具有与待分割图像相同的对象内容和易于分割的像素分布的新图像；

S3：利用预训练的深度分割网络模型对所述新图像进行分割，得到分割结果。

所述步骤S1中，采用归一化对输入图像进行预处理；

优选地，使用归一化将图像的像素值缩放到[0,1]闭区间内；

具体地，图像为RGB三通道的彩色图像，像素值在[0,255]闭区间内，为了防止在网络训练过程中出现梯度爆炸的现象，首先需要对输入图像进行预处理，因此本实施例采用归一化方式对输入图像进行预处理。

具体地，

将输入图像的每一个像素值除以255，即可将输入图像的像素值归一化到[0,1]闭区间内。

所述步骤S2中，对图像进行预处理后，联合迁移参考图像和随机噪声图像输入到图像迁移模块中，使用双分支网络对图像进行训练，保证输出的图像具有乳腺超声图像的对象内容和迁移参考图像的易于分离的像素分布；具体包括：

S201：对输入图像进行增广；

对于一张图像，通过随机进行水平翻转、向左或向右旋转5°、裁剪、局部扭曲、噪声等增广方式增加图像数量，扩大数据集。其中，局部扭曲和噪声方法可以增加数据的多样性。

S202：构建图像迁移模块；

图像迁移模块由两个分支构成：分布迁移模块和内容重建模块。分布迁移模块进行图像像素分布校正；内容重建模块进行重建与输入图像相同的对象内容。二者使用相同的网络模型，共享参数设置及权重。网络模型使用13个卷积层，全部使用的是3x3的卷积和2x2的平均池化层。使用在ImageNet数据集上预训练的VGG16模型作为初始化权重。

将输入图像X输入到图像内容重建模块提取特征，使用上标l表示第l层，使用下标i,j表示位置，

表示l层第i个卷积核的输出特征。将随机噪声图像输入分布迁移模块，同内容重建分支一样计算特征。使用分布损失函数和内容重建损失函数分别计算分布迁移损失及内容重建损失，加权计算总的损失函数。根据损失，迭代更新随机噪声。

S203：基于感知相似性和目标重构最小化设计损失函数；

为了使得网络中生成的新的图像与输入图像在高层信息上相似，即内容和全局结构上相似，将生成图像与输入图像分别卷积后得到的特征图作比较。图像经过卷积后会丢失细节部分和高频部分，因此最终生成的图像和输入图像不会完全匹配，只是在感知上相似。

感知相似性计算如下：

为了增强感知相似性，在多个卷积层的输出特征上计算感知相似性，加权融合后为总的感知相似性：

损失感知约束为：

其中，在第l层上计算感知相似性，γ是不同层之间相加的权重。

内容重建部分采用传统的特征相似性，计算不同层特征间的欧氏距离作为内容重建损失：

总的损失函数为：

E＝αL_P+βL_R

其中，α和β是感知损失和重建损失的权重。

S204：生成图像质量评价；

为了对生成图像的像素分布质量进行评估，使用局部相似增益比的评估方式。具体的，通过迭代过程生成新图像，每次迭代生成质量不同的图像。用LSGR来测量当前图像像素分布的改善情况，并确定当前图像是否为最终图像。如果当前图像的LSGR大于给定的阈值，则停止迭代，将当前图像视为最终图像。

一幅质量好的图像应该具有均匀的像素分布，即像素点在局部区域的像素值应该相似。因此，计算图像的局部相似度来衡量局部区域内像素的一致性，如下所示:

其中，每个生成图像X被划分为m×m的E个局部区域，

和

分别是局部区域f的中心点像素和其他像素。当LS值比较小时，说明该局部区域的像素相似，产生了较好的分布。

局部相似增益比计算方式如下：

其中，X_o是原始图像，X_c是生成图像。

当局部相似增益比小于0.3时，我们认为生成的图像的质量达标。

实施例二：

本实施例的目的是提供一种基于均匀分布迁移引导的图像分割系统。

一种基于均匀分布迁移引导的图像分割系统，包括：

图像预处理模块，被配置为获取待分割的图像，并进行预处理；

分布校正模块，被配置为将待分割的图像、随机噪声和迁移参考图像同时输入到预训练的分布校正网络模型中，利用双分支网络，同时对输入图像进行像素分布迁移和图像内容重建，生成具有与待分割图像相同的对象内容和易于分割的像素分布的新图像；

图像分割模块，被配置为利用预训练的深度分割网络模型对所述新图像进行分割，得到分割结果。

此处需要说明的是，上述模块对应于实施例一中的步骤S1至S3，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

实施例三：

本实施例的目的是提供一种电子设备。

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，执行实施例一中所述的一种基于均匀分布迁移引导的图像分割方法，为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

实施例四：

本实施例的目的是提供一种非暂态计算机可读存储介质。

一种非暂态计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，其执行实施例一中所述的一种基于均匀分布迁移引导的图像分割方法，为了简洁，在此不再赘述。

实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

以上仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种基于均匀分布迁移引导的图像分割方法，其特征在于，包括：

获取待分割的图像，并进行预处理；

将待分割的图像、随机噪声和迁移参考图像同时输入到预训练的分布校正网络模型中，利用双分支网络，同时对输入图像进行像素分布迁移和图像内容重建，生成具有与待分割图像相同的对象内容和易于分割的像素分布的新图像；

利用预训练的深度分割网络模型对所述新图像进行分割，得到分割结果。

2.如权利要求1所述的一种基于均匀分布迁移引导的图像分割方法，其特征在于，所述分布校正网络模型是一种双分支网络，包括分布迁移模块和内容重建模块，分布迁移模块进行图像像素分布校正；内容重建模块进行重建与输入图像相同的对象内容。

3.如权利要求1所述的一种基于均匀分布迁移引导的图像分割方法，其特征在于，所述分布迁移模块和内容重建模块均采用相同的网络模型，所述网络模型使用13个卷积层，且均采用3x3的卷积和2x2的平均池化层。

4.如权利要求1所述的一种基于均匀分布迁移引导的图像分割方法，其特征在于，所述分布校正网络模型的训练过程中，需要对生成的新图像进行质量评价，为了对生成的所述新图像像素分布质量进行评估，使用局部相似增益比的评估方式；具体的，通过迭代过程生成新图像，每次迭代生成质量不同的图像；用LSGR来测量当前图像像素分布的改善情况，并确定当前图像是否为最终图像；如果当前图像的LSGR大于给定的阈值，则停止迭代，将当前图像视为最终图像。

5.如权利要求1所述的一种基于均匀分布迁移引导的图像分割方法，其特征在于，所述分布迁移模块和内容重建模块基于感知相似性和目标重构最小化进行损失函数的设计。

6.如权利要求1所述的一种基于均匀分布迁移引导的图像分割方法，其特征在于，为了增强感知相似性，在多个卷积层的输出特征上计算感知相似性，加权融合后作为总的感知相似性。

7.如权利要求1所述的一种基于均匀分布迁移引导的图像分割方法，其特征在于，所述损失函数包括感知损失和内容重建损失，其中，所述内容重建损失采用传统的特征相似性，计算不同层特征间的欧氏距离作为内容重建损失。

8.一种基于均匀分布迁移引导的图像分割系统，其特征在于，包括：

图像预处理模块，被配置为获取待分割的图像，并进行预处理；

分布校正模块，被配置为将待分割的图像、随机噪声和迁移参考图像同时输入到预训练的分布校正网络模型中，利用双分支网络，同时对输入图像进行像素分布迁移和图像内容重建，生成具有与待分割图像相同的对象内容和易于分割的像素分布的新图像；

图像分割模块，被配置为利用预训练的深度分割网络模型对所述新图像进行分割，得到分割结果。

9.一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，其特征在于，所述计算机指令被处理器运行时，执行如权利要求1-7任一项所述的一种基于均匀分布迁移引导的图像分割方法。

10.一种非暂态计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时，执行如权利要求1-7任一项所述的一种基于均匀分布迁移引导的图像分割方法。

Images