CN109712124A - 超声图像的标记去除方法及装置 - Google Patents

Abstract

本发明涉及超声图像处理技术领域，具体公开了一种超声图像的标记去除方法，其中，超声图像的标记去除方法包括：分别采集带标记的超声图像和不带标记的超声图像；对带标记的超声图像进行图像算法处理得到带标记的超声图像的模板；根据不带标记的超声图像和带标记的超声图像的模板进行训练得到神经网络模型；将带标记的超声图像输入神经网络模型进行标记去除处理获得标记去除后的超声图像。本发明还公开了一种超声图像的标记去除装置，用于医疗诊断，特别是乳腺检测等方面。本发明提供的超声图像的标记去除方法能够自动去除超声图像中的标记，且能够去除超声图像中任意位置以及任意大小的标记，具有实现简单，且去除标记效率高的优势。

Description

超声图像的标记去除方法及装置

技术领域

本发明涉及超声图像处理技术领域，尤其涉及一种超声图像的标记去除方法及超声图像的标记去除装置。

背景技术

随着医学成像技术的发展，数字医学图像在辅助诊断、教学和生物医学研究等领域发挥了日益增大的作用；与此同时，医学影像的数量也与日剧增。研究人员综合医学影像、数学建模、数字图像处理与分析、人工智能和数值算法等学科对这些海量的医学图像数据进行深入分析和计算，试图辅助医生判断。比如医学图像的感兴趣区域(例如乳腺检测等方面)的分割研究是为图像引导手术，治疗评估等重要临川应用奠定了基础。

但是研究人员使用的很多医学图像都带有医生诊断过程中留下的标记信息，比如标志病灶的位置和大小的点或直线。医学图像中的这些标记大小不一，形状各异，遮盖了图像中的重要纹理信息，影响了待分析区域图像的完整性，因此，如何去除医学图像中的标记，达到复原医学图像的效果成为本领域技术人员亟待解决的技术问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一，提供一种超声图像的标记去除方法及超声图像的标记去除装置，以解决现有技术中的问题。

作为本发明的第一个方面，提供一种超声图像的标记去除方法，其中，所述超声图像的标记去除方法包括：

分别采集带标记的超声图像和不带标记的超声图像；

对带标记的超声图像进行图像算法处理得到带标记的超声图像的模板；

根据所述不带标记的超声图像和所述带标记的超声图像的模板进行训练得到神经网络模型；

将所述带标记的超声图像输入所述神经网络模型进行标记去除处理获得标记去除后的超声图像。

优选地，所述对带标记的超声图像进行图像算法处理得到带标记的超声图像的模板包括：

对带标记的超声图像进行边缘提取，得到边缘图像；

对所述边缘图像进行阈值分割，得到二值化图像；

对所述二值化图像进行腐蚀操作，获得所述带标记的超声图像的模板。

优选地，所述边缘提取包括横向边缘检测、纵向边缘检测、3*5算子边缘检测、5*5算子边缘检测、一阶导数边缘检测和二阶导数边缘检测。

优选地，所述对所述边缘图像进行阈值分割，得到二值化图像包括将所述边缘图像分割成为遮盖标记的模板部分和非模板部分。

优选地，所述阈值分割的算法包括OSTU算法。

优选地，所述根据所述不带标记的超声图像和所述带标记的超声图像的模板进行训练得到神经网络模型包括：

将所述不带标记的超声图像划分为训练集和验证集，并将所述带标记的超声图像作为测试集；

建立神经网络结构；

初始化所述神经网络结构；

计算所述神经网络结构的损失函数；

训练所述神经网络结构，获得能够去除超声图像中的标记的神经网络模型。

优选地，所述神经网络结构包括第一神经网络和第二神经网络，所述第一神经网络用语进行初始的粗略预测，所述第二神经网络用于将所述初始的粗略预测作为输入并预测出最终的精细结果。

优选地，所述将所述带标记的超声图像输入所述神经网络模型进行标记去除处理获得标记去除后的超声图像包括：

将所述带标记的超声图像固定到与神经网络输入层相适配的尺寸，并对所述带标记的超声图进行归一化处理；

重新计算所述带标记的超声图像的模板，并将重新计算后的所述带标记的超声图像的模板的尺寸设置成为与所述神经网络输入层相适配的尺寸；

将归一化后的所述带标记的超声图像输入所述神经网络模型，并使用所述超声图像模板遮盖所述带标记的超声图像，获得去除标记后的超声图像。

优选地，所述对所述带标记的超声图进行归一化处理包括：

将所述带标记的超声图像的每个像素值减去图像像素的均值后除以图像像素的方差，获得带标记的超声图像的归一化结果，其中，归一化后的带标记的超声图像的均值为0，方差为1。

作为本发明的第二个方面，提供一种超声图像的标记去除装置，其中，所述超声图像的标记去除装置包括：

采集模块，所述采集模块用于分别采集带标记的超声图像和不带标记的超声图像；

图像算法处理模块，所述图像算法处理模块用于对带标记的超声图像进行图像算法处理得到带标记的超声图像的模板；

神经网络模型训练模块，所述神经网络模型训练模块用于根据所述不带标记的超声图像和所述带标记的超声图像的模板进行训练得到神经网络模型；

标记去除模块，所述标记去除模块用于将所述带标记的超声图像输入所述神经网络模型进行标记去除处理获得标记去除后的超声图像。

本发明提供的超声图像的标记去除方法，通过分别采集带标记的超声图像和不带标记的超声图像，然后进行图像算法处理等操作后获得神经网络模型，最后将带标记的超声图像输入到神经网络模型获得标记去除后的超声图像，本发明提供的这种超声图像的标记去除方法，能够自动去除超声图像中的标记，且能够去除超声图像中任意位置以及任意大小的标记，具有实现简单，且去除标记效率高的优势。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1为本发明提供的超声图像的标记去除方法的流程图。

图2为本发明提供的第一神经网络的组成示意图。

图3为本发明提供的第二神经网络的第一种组成示意图。

图4为本发明提供的空间关注层示意图。

图5为本发明提供的第二神经网络的第二种组成示意图。

图6为本发明提供的超声图像的标记去除装置的结构示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

在此发明中，当描述了一个系统包括(或者包含或者有)一些单元、模块、模型时，应该理解，它可以包括(或者包含或者有)仅那些单元，或者在没有具体限制的情况下它可以包括(或者包含或者具有)其它单元。如本文中使用的术语“模块”意指但不限于执行特定任务的软件或硬件组件，诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。模块可以被配置为在可寻址存储介质中并且配置为在一个或多个处理器上执行。模块可以包括组件(诸如软件组件、面向对象软件组件、类组件和任务组件)、进程、函数、属性、过程、子例行程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。在单元和模块中提供的功能性可以被组合成更少的组件和模块或者进一步分成附加的组件和模块。

本文中使用的术语“图像”可以表示由离散图像因子(例如，二维(2D)图像中的像素和3D图像中的像素)组成的多维数据或二维图像数据或三维图像数据。

而且，本文中使用的术语“对象”可以包括人、动物的静脉、动脉。术语“对象”可以包括人造模型。

作为本发明的第一个方面，提供一种超声图像的标记去除方法，其中，如图1所示，所述超声图像的标记去除方法包括：

S110、分别采集带标记的超声图像和不带标记的超声图像；

S120、对带标记的超声图像进行图像算法处理得到带标记的超声图像的模板；

S130、根据所述不带标记的超声图像和所述带标记的超声图像的模板进行训练得到神经网络模型；

S140、将所述带标记的超声图像输入所述神经网络模型进行标记去除处理获得标记去除后的超声图像。

本发明提供的超声图像的标记去除方法，通过分别采集带标记的超声图像和不带标记的超声图像，然后进行图像算法处理等操作后获得神经网络模型，最后将带标记的超声图像输入到神经网络模型获得标记去除后的超声图像，本发明提供的这种超声图像的标记去除方法，能够自动去除超声图像中的标记，且能够去除超声图像中任意位置以及任意大小的标记，具有实现简单，且去除标记效率高的优势。

具体地，所述对带标记的超声图像进行图像算法处理得到带标记的超声图像的模板包括：

对带标记的超声图像进行边缘提取，得到边缘图像；

对所述边缘图像进行阈值分割，得到二值化图像；

对所述二值化图像进行腐蚀操作，获得所述带标记的超声图像的模板。

进一步具体地，所述边缘提取包括横向边缘检测、纵向边缘检测、3*5算子边缘检测、5*5算子边缘检测、一阶导数边缘检测和二阶导数边缘检测。

应当理解的是，本发明提供的超声图像的标记去除方法在进行标记去除时采用了横向边缘检测、纵向边缘检测、3*5算子边缘检测、5*5算子边缘检测、一阶导数边缘检测和二阶导数边缘检测中各种情况下的边缘检测结果。

具体地，所述对所述边缘图像进行阈值分割，得到二值化图像包括将所述边缘图像分割成为遮盖标记的模板部分和非模板部分。

优选地，所述阈值分割的算法包括OSTU算法。

需要说明的是，所述阈值分割指使用OSTU自适应阈值分割，分割成两个类别，即遮盖标记的模板部分和非模板部分，两个类别的取值分别为1和0。 OSTU算法使得分割得到的二值化图像中的两类像素的灰度阈值的方差最大化。

还需要说明的是，腐蚀操作使用了5*5的内核，即一个像素周围5*5的区域内，如果有一个像素属于模板，则该像素也被算到模板中，像素值取1。以上操作遍历二值化图像就得到带标记的超声图像的模板。

具体地，所述根据所述不带标记的超声图像和所述带标记的超声图像的模板进行训练得到神经网络模型包括：

将所述不带标记的超声图像划分为训练集和验证集，并将所述带标记的超声图像作为测试集；

建立神经网络结构；

初始化所述神经网络结构，将神经网络的权重参数设置为随机数；

计算所述神经网络结构的损失函数；

训练所述神经网络结构，获得能够去除超声图像中的标记的神经网络模型。

需要说明的是，在采集的所有不带标记的超声图像中随机选取4/5的图像作为训练集，计算得到的带标记的超声图像的模板随机遮盖到训练图像上进行训练；随机选取1/5的图像作为验证集；所有带标记的超声图像作为测试集使用；训练集超声图像用于训练神经网络模型；验证集超声图像用于验证神经网络的去除图像中标记的效果并帮助选择最优的神经网络模型参数；测试集超声图像用于测试神经网络模型的使用效果；当然随机选取的比例可以是4/5、1/5，也可以是其他的比例。

将训练集和验证集的超声图像固定到一定尺寸，并归一化同样尺寸的超声图像；如预处理后的超声图像为224*224*3；224*224表示预处理后超声图像的长和宽，即224像素长，224像素宽，可选地，将超声图像固定到一定尺寸时，保持原始图像的长宽比例，或者改变保持原始图像的长宽比例；对超声图像进行归一化操作的具体处理方法为将超声图像中每个像素值减去图像像素的均值后除以图像像素的方差；归一化后将超声图像的每个像素值转化到0～1之间；由于超声图像预处理时超声图像的尺寸发生了变化，所有超声图像的模板也需要进行相应比例的改变。

具体地，所述神经网络结构包括第一神经网络和第二神经网络，所述第一神经网络用语进行初始的粗略预测，所述第二神经网络用于将所述初始的粗略预测作为输入并预测出最终的精细结果。

具体地，如图2所示，所述第一神经网络将不带标记的超声图像x和被模板m遮盖后的超声图像im作为输入对。模板m是从带标记的超声图像中计算得到的集合，指示了带标记的超声图像中标记区域的二进制掩码，白色表示是标记区域，黑色表示是非标记区域。经过若干卷积层下采样和上采样后，该网络输出粗略的去除标记后的图像x’。所述神经网络的多个卷积层用来自动提取超声图像中的特征，图中的长方形即表示图像经过每次卷积后提取到的特征；神经网络的各卷积层之间、输入和卷积层之间、卷积层和输出之间通过权重参数相连接；设置输入层尺寸，以和输入神经网络的超声图像的尺寸相适配。

如图3所示，第二神经网络将不带标记的超声图像x和第一部分网络输出的超声图像x’作为输入对，经过若干卷积层下采样和上采样后输出最终去除标记后的图像x″。

第二神经网络中卷积神经网络逐层处理具有局部卷积核的图像特征因此对于从远处空间位置直接借用特征是无效的。为了有效利用超声图像中未被模板掩盖部分，本发明还在第二部分神经网络中引入了空间关注层。

需要说明的是，空间关注层将超声图像中未被标记的部分作为参考，学习从同一幅超声图像中已知部分借用特征信息以输出标记遮盖部分的图像，空间关注层的具体结构如图4所示。

为了实现将标记遮盖部分的像素的特征与超声图像中标记周围的像素相匹配，本发明首先在未被标记的部分中提取小的图像块，将它们的长宽调整到3*3 得到n个卷积滤波器。利用这些滤波器与标记遮盖部分的特征做卷积，对卷积后的特征再做softmax操作，得到未被标记部分中的每个位置与标记遮盖部分的相似度。具体地，本发明中相似度用余弦相似度进行测量，即：

其中，S表示以p,q为中心的标记遮盖部分和以j,k为中心的非标记遮盖部分的相似性，p,q是图中十字形标记的中心的坐标；j,k是图中非十字形标记的部分分成很多小部分，每个小部分的中心坐标；i表示均值是0，方差是1的一幅图像。softmax归一化后的相似度为：

最后，空间关注层使用提取n个滤波器作为反卷积滤波器来重建标记遮盖部分。另外，本发明将以上空间关注层并行到第二神经网络的效果如图5所示。

图5中右侧的神经网络关注超声图像中标记部分与非标记部分的特征的关系，左侧的神经网络使用卷积操作提取图像的特征。来自两个神经网络的输出特征被聚合到同一个组上采样卷积操作，获得最终输出。

另外，在计算神经网络的损失函数时，第一神经网络以L1损失函数进行训练，L1损失函数为网络在训练集合上的平均误差，即：

其中，x表示不带标记的超声图像，P_r表示不带标记的超声图像的集合，x' 表示第一神经网络输出的初步去除标记后的超声图像，P_g表示输出的初步去除标记后的超声图像的集合，m表示带标记的超声图像的模板，·表示矩阵点乘， ||x·m-x'·m||表示计算标记遮盖部分被去除后的超声图像和不带标记的超声图像中对应该部分的L1距离。

第二神经网络以L1损失函数加上GAN损失进行训练，其中，GAN损失包括全局GAN损失和局部GAN损失，全局GAN损失评估去除标记后的图像是否作为整体是连贯的，而局部GAN损失关注以标记遮盖部分为中心的小区域，以强制本地一致性。

GAN的目标函数为：

其中，G表示生成器，D表示判别器，生成器即为第二神经网络，判别器用于判断一幅超声图像是真实的超声图像还是生成器神经网络输出的超声图像。

GAN损失函数用Wasserstein距离描述为：

其中，inf表示求目标的最大下界，Π(P_r,P_g)表示不带标记的超声图像和生成器神经网络输出的超声图像组成的图像对的所有可能的集合。

具体地，所述将所述带标记的超声图像输入所述神经网络模型进行标记去除处理获得标记去除后的超声图像包括：

将所述带标记的超声图像固定到与神经网络输入层相适配的尺寸，并对所述带标记的超声图进行归一化处理；

重新计算所述带标记的超声图像的模板，并将重新计算后的所述带标记的超声图像的模板的尺寸设置成为与所述神经网络输入层相适配的尺寸；

将归一化后的所述带标记的超声图像输入所述神经网络模型，并使用所述超声图像模板遮盖所述带标记的超声图像，获得去除标记后的超声图像。

所述对所述带标记的超声图进行归一化处理包括：

将所述带标记的超声图像的每个像素值减去图像像素的均值后除以图像像素的方差，获得带标记的超声图像的归一化结果，其中，归一化后的带标记的超声图像的均值为0，方差为1。

作为本发明发的第二个方面，提供一种超声图像的标记去除装置，其中，如图6所示，所述超声图像的标记去除装置100包括：

采集模块110，所述采集模块110用于分别采集带标记的超声图像和不带标记的超声图像；

图像算法处理模块120，所述图像算法处理模块120用于对带标记的超声图像进行图像算法处理得到带标记的超声图像的模板；

神经网络模型训练模块130，所述神经网络模型训练模块130用于根据所述不带标记的超声图像和所述带标记的超声图像的模板进行训练得到神经网络模型；

标记去除模块140，所述标记去除模块140用于将所述带标记的超声图像输入所述神经网络模型进行标记去除处理获得标记去除后的超声图像。

本发明提供的超声图像的标记去除装置，用于医疗诊断，特别是乳腺检测等方面，通过分别采集带标记的超声图像和不带标记的超声图像，然后进行图像算法处理等操作后获得神经网络模型，最后将带标记的超声图像输入到神经网络模型获得标记去除后的超声图像，本发明提供的这种超声图像的标记去除装置，能够自动去除超声图像中的标记，且能够去除超声图像中任意位置以及任意大小的标记，具有实现简单，且去除标记效率高的优势。

关于本发明提供的超声图像的标记去除装置的工作原理可以参照前文的超声图像的标记去除方法的描述，此处不再赘述。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种超声图像的标记去除方法，其特征在于，所述超声图像的标记去除方法包括：

分别采集带标记的超声图像和不带标记的超声图像；

对带标记的超声图像进行图像算法处理得到带标记的超声图像的模板；

根据所述不带标记的超声图像和所述带标记的超声图像的模板进行训练得到神经网络模型；

将所述带标记的超声图像输入所述神经网络模型进行标记去除处理获得标记去除后的超声图像。

2.根据权利要求1所述的超声图像的标记去除方法，其特征在于，所述对带标记的超声图像进行图像算法处理得到带标记的超声图像的模板包括：

对带标记的超声图像进行边缘提取，得到边缘图像；

对所述边缘图像进行阈值分割，得到二值化图像；

对所述二值化图像进行腐蚀操作，获得所述带标记的超声图像的模板。

3.根据权利要求2所述的超声图像的标记去除方法，其特征在于，所述边缘提取包括横向边缘检测、纵向边缘检测、3*5算子边缘检测、5*5算子边缘检测、一阶导数边缘检测和二阶导数边缘检测。

4.根据权利要求2所述的超声图像的标记去除方法，其特征在于，所述对所述边缘图像进行阈值分割，得到二值化图像包括将所述边缘图像分割成为遮盖标记的模板部分和非模板部分。

5.根据权利要求4所述的超声图像的标记去除方法，其特征在于，所述阈值分割的算法包括OSTU算法。

6.根据权利要求1所述的超声图像的标记去除方法，其特征在于，所述根据所述不带标记的超声图像和所述带标记的超声图像的模板进行训练得到神经网络模型包括：

将所述不带标记的超声图像划分为训练集和验证集，并将所述带标记的超声图像作为测试集；

建立神经网络结构；

初始化所述神经网络结构；

计算所述神经网络结构的损失函数；

训练所述神经网络结构，获得能够去除超声图像中的标记的神经网络模型。

7.根据权利要求6所述的超声图像的标记去除方法，其特征在于，所述神经网络结构包括第一神经网络和第二神经网络，所述第一神经网络用语进行初始的粗略预测，所述第二神经网络用于将所述初始的粗略预测作为输入并预测出最终的精细结果。

8.根据权利要求2所述的超声图像的标记去除方法，其特征在于，所述将所述带标记的超声图像输入所述神经网络模型进行标记去除处理获得标记去除后的超声图像包括：

将所述带标记的超声图像固定到与神经网络输入层相适配的尺寸，并对所述带标记的超声图进行归一化处理；

重新计算所述带标记的超声图像的模板，并将重新计算后的所述带标记的超声图像的模板的尺寸设置成为与所述神经网络输入层相适配的尺寸；

将归一化后的所述带标记的超声图像输入所述神经网络模型，并使用所述超声图像模板遮盖所述带标记的超声图像，获得去除标记后的超声图像。

9.根据权利要求8所述的超声图像的标记去除方法，其特征在于，所述对所述带标记的超声图进行归一化处理包括：

将所述带标记的超声图像的每个像素值减去图像像素的均值后除以图像像素的方差，获得带标记的超声图像的归一化结果，其中，归一化后的带标记的超声图像的均值为0，方差为1。

10.一种超声图像的标记去除装置，其特征在于，所述超声图像的标记去除装置包括：

采集模块，所述采集模块用于分别采集带标记的超声图像和不带标记的超声图像；

图像算法处理模块，所述图像算法处理模块用于对带标记的超声图像进行图像算法处理得到带标记的超声图像的模板；

神经网络模型训练模块，所述神经网络模型训练模块用于根据所述不带标记的超声图像和所述带标记的超声图像的模板进行训练得到神经网络模型；

标记去除模块，所述标记去除模块用于将所述带标记的超声图像输入所述神经网络模型进行标记去除处理获得标记去除后的超声图像。