CN111738295A - 图像的分割方法及存储介质 - Google Patents

图像的分割方法及存储介质 Download PDF

Info

Publication number
CN111738295A
CN111738295A CN202010442780.0A CN202010442780A CN111738295A CN 111738295 A CN111738295 A CN 111738295A CN 202010442780 A CN202010442780 A CN 202010442780A CN 111738295 A CN111738295 A CN 111738295A
Authority
CN
China
Prior art keywords
image
distance
training
segmentation
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010442780.0A
Other languages
English (en)
Other versions
CN111738295B (zh
Inventor
邵叶秦
曹秋阳
许昌炎
丁政年
向阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202010442780.0A priority Critical patent/CN111738295B/zh
Publication of CN111738295A publication Critical patent/CN111738295A/zh
Application granted granted Critical
Publication of CN111738295B publication Critical patent/CN111738295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像的分割方法及存储介质，所述图像的分割方法包括获取步骤、训练步骤、优化步骤以及测试步骤。本发明通过使用特征区域的边缘来表示目标，即先得到目标的边缘图像，将目标的边缘图像映射到新的距离空间，在该距离空间中用零距离表示目标区域的边缘，然后在新的距离空间中计算全局损失函数，并在深度学习模型框架下，进行不断的迭代使损失函数的值最小，直至模型收敛。可以提高分割结果的鲁棒性，提升算法的分割性能。

Description

图像的分割方法及存储介质
技术领域
本发明涉及图像处理领域，尤其涉及图像的分割方法及存储介质。
背景技术
图像分割是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。
在图像分割过程中，图像中的分割目标可以用目标所在的区域表示，也可以用该目标的边缘表示。现有技术通常把分割目标所在的区域用作分割的损失函数，并且采用IntersectionoverUnion(IOU)作为分割指标，其中，IOU＝(S∩G)/(S∪G)，即通过对比目标分割的结果S和真实的结果G之间的重合程度来表征分割结果的准确性。
而当图像的分割结果和真实结果不存在相互重叠的时候，即目标区域与实际区域不存在重合，分割模型不能用IOU作为分割指标，该分割方式也不能有效的进行图像的目标分割，其鲁棒性(Robustness)不够，不利于得到准确的分割。
发明内容
为了解决上述问题，本发明提供一种图像的分割方法及存储介质，将目标区域的边缘图像作为分割指标，并将分割的特征区域以及实际的标签区域映射到一个新的距离空间，在新的距离空间中计算分割的特征区域和真实的标签区域的差别并作为全局损失函数，并对模型进行更新权重，得到一个更加鲁棒的目标分割模型。
本发明提供一种图像的分割方法，包括：获取步骤，获取图片样本以及对应的标签，并将所述图片样本划分为训练样本集以及测试样本集，所述训练标签为所述图片样本的二值化图像，所述二值化图像具有第一区域以及第二区域，所述第一区域与所述第二区域的灰度值不同，所述第一区域为标签区域；训练步骤，输入所述训练样本以及相应的训练标签至深度学习网络进行训练，并通过深度学习网络的前向传播得到分割图像；优化步骤，将所述分割图像和所述样本对应的标签图像映射到距离空间，分别得到第一距离图像和第二距离图像，并计算第一距离图像和第二距离图像的差异，在所述深度学习网络中向后传播并调整所述深度学习网络的每一层权重，用以使所述差异变小，一直到迭代次数达到上限值；其中，所述第一距离图像上每个像素的值为所述分割图像上每个像素点到所述特征区域边界的最近距离，所述第二距离图像上每个像素的值为所述测试样本上每个点到所述标签区域边界的最近距离；测试步骤，输入所述测试样本至所述训练好的深度学习网络，通过所述深度学习网络的前向传播得到所述测试样本的分割图像，所述测试样本的分割图像包括至少一个特征区域。
进一步地，所述深度学习网络包括全卷积网络(FCN)。
进一步地，在所述图像的分割方法中，不断的输入训练样本并循环执行所述测试步骤以及所述优化步骤，循环次数为1000～10000次。。
进一步地，所述训练步骤中，若训练样本为二维图像，则所述FCN网络为U-Net网络；若训练样本为三维图像，则所述FCN网络为V-Net网络。
进一步地，所述优化步骤具体包括：第一图像腐蚀步骤，对所述分割图像S进行腐蚀运算，得到一第一腐蚀图像DS，所述特征区域包含于所述第一腐蚀图像DS；图像差分步骤，通过对分割图像差分得到所述特征区域的边缘图像BS,其中，BS＝S-DS；第一距离计算步骤，计算第一距离图像中的每个像素点的值SDi，计算公式为SDi＝f(D(pi，BS))，i＝1，...，n，其中，
Figure BDA0002504755090000021
d(p，b)代表两个像素点间的欧式距离，pi分别表示分割图像S上的第i个像素点，Bs为所述特征区域边缘像素点的集合，函数f在[0，∞)的区间上是一个单调上升函数；第二图像腐蚀步骤，对所述训练样本对应的训练标签G进行腐蚀运算，得到一第二腐蚀图像DG，所述特征区域包含于所述第二腐蚀图像DG；标签差分步骤，通过对训练标签差分得到所述标签区域的边缘图像BG,其中，BG＝G-DG；第二距离计算步骤，计算第二距离图像中的每个像素点的值GDi，计算公式GDi＝f(D(qi，BG))，i＝，其中，
Figure BDA0002504755090000022
d(q，b)代表两个像素点间的欧式距离，qi分别表示训练标签D上的第i个像素点，BG为所述标签区域边缘像素点的集合；函数f在[0，∞)的区间上是一个单调上升函数；损失函数计算步骤，计算第一距离图像和第二距离图像的图像距离作为损失函数的值L；更新步骤，向后传播并调整所述深度学习网络每一层的权重，用以使所述损失函数最小。
进一步地，所述损失函数的计算公式为L＝||SD-GD||2，所述损失函数是基于整个图像的全局的损失函数。
进一步地，所述函数f的方程式为y＝x或者
Figure BDA0002504755090000031
进一步地，所述深度学习网络还包括一ResNet网络，用以接受FCN网络的输出，并和输入拼接后经过卷积再次输入至所述FCN网络用于进一步训练深度学习网络；其中，输出按照a％的概率和输入拼接，并输入到FCN网络中。
进一步地，所述ResNet网络包括至少两个卷积模块，且每个卷积模块的激活函数为Relu函数。
本发明提供一种存储介质，该存储介质存储一计算机程序，该计算机程序用以执行如所述的图像的分割方法。
本发明的有益效果是：本发明提供了一种图像的分割方法及存储介质，为了比较分割的特征区域和实际的标签区域的相似性，将分割的特征区域以及实际的标签区域映射到一个新的距离空间，在新的距离空间中计算分割的特征区域和真实的标签区域的差别，作为全局损失函数，引导深度学习网络进行更新权重，得到一个更加鲁棒的目标分割模型。在分割的特征区域和真实的标签区域相距比较远时，仍可以驱动本发明分割方法，对深度学习网络不断地收敛，最终得到准确的分割。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。
图1为本发明提供的图像的分割方法的流程图。
图2为本发明提供的深度学习网络的功能模块图。
图3为本发明提供的优化步骤的流程图。
图4为本发明提供的分割的特征区域S和实际的标签区域G存在重叠的示意图。
图5为本发明提供的分割的特征区域S和实际的标签区域G不存在重叠的示意图。
图6为本发明提供的应用例的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
如图1所示，本发明提供一种由计算机执行的图像的分割方法，包括如下S1～S4。
本发明提供的一种图像的分割方法，通过将分割的特征区域以及实际的标签区域映射到一个新的距离空间，在新的距离空间中计算分割的特征区域和真实的标签区域的差别，作为损失函数，并引导深度学习网络对学习好的第一网络模型更新权重，得到一个更加鲁棒的目标分割模型。
S1、获取步骤，获取图片样本以及标签，将所述样本和标签划分为训练样本集以及测试样本集。所述标签为所述图片样本的二值化图像，所述二值化图像具有第一区域以及第二区域，所述第一区域与所述第二区域的灰度值不同，所述第一区域为标签区域。
所述二值化图像为黑白图像，用以将目标区域与非目标区域进行区分。
S2、训练步骤，输入所述训练样本以及相应的训练标签至深度学习网络进行训练，并通过深度学习网络的前向传输得到分割图像。
如图2所示，所述深度学习网络包括FCN网络。FCN与CNN的核心区别就是FCN将CNN末尾的全连接层转化成了卷积层。卷积神经网络CNN通过构建多层的卷积层自动提取图像上的特征，一般来说，排在前边较浅的卷积层采用较小的感知域，可以学习到图像的一些局部的特征(如纹理特征)，排在后边较深的卷积层采用较大的感知域，可以学习到更加抽象的特征(如物体大小，位置和方向信息等)。CNN在图像分类和图像检测领域取得了广泛应用。
继续参照图2所示，所述深度学习网络还包括一ResNet网络，用以接受FCN网络的输出，并拼接输入后，经过卷积再次输入至所述FCN网络训练深度学习网络。其中，输出按照a％的概率和输入拼接，并输入到FCN网络中。在实施例中，a取60。
所述ResNet网络包括至少两个卷积模块，且每个卷积模块的激活函数为Relu函数。
本发明增加一个从分割模型的输出层到输入层的连接，把前一次分割的结果反馈回来，指导后一次的分割，通过使用了一个ResNet(残差)块，将输入以及输出的反馈先进行拼接，再经过两个卷积模块后和原来的图片输入进行拼接后，输入到全卷积神经网络FCN，可以得到一个点到点的网络结构。通过一次性的训练学习模型，而不需要像传统的方法那样手动的将上一次的输出作为下一次的输入，简化了训练的过程，提高了网络模型的准确率。
所述训练步骤中，若训练样本为二维图像，则所述FCN网络为U-Net网络；若训练样本为三维图像，则所述FCN网络为V-Net网络。
S3、优化步骤，将所述分割图像和所述训练样本的标签图像映射到距离空间，分别得到第一距离图像和第二距离图像，并计算第一距离图像和第二距离图像的差异，在所述深度学习网络模型中向后传播并调整所述深度学习网络模型的每一层的权重，用以使所述差异最小；其中，所述第一距离图像中的每个像素点的值为所述分割图像上每个像素点到所述特征区域边界的最近距离，所述第二距离图像中的每个像素点的值为所述测试样本上每个点到所述标签区域边界的最近距离。
在所述图像的分割方法中，不断的输入训练样本并循环执行所述测试步骤以及所述优化步骤，循环次数为1000～10000次。因此，在图1中，步骤S3引出一箭头并指向步骤S2，这即是不断执行步骤S2以及步骤S3，不断的输入训练样本进行训练最后得到分割模型。
S4、测试步骤，输入所述测试样本至所述深度学习网络模型，通过所述深度学习网络模型前向传播得到所述测试样本的分割图像，所述测试样本的分割图像包括至少一个特征区域。
本发明通过使用特征区域的边缘图像来表示目标，即通过边缘图像进行数据处理，将包含目标区域的图像映射到新的距离空间，在该距离空间中表示目标区域的边缘，然后在新的距离空间中计算损失函数，可以提高分割结果的鲁棒性，提升算法的分割性能。
如图3所示，所述优化步骤具体包括S301～S306。
所述优化步骤，通过腐蚀运算以及差分步骤分别得到特征区域的边缘图像以及标签区域的边缘图像；分别计算图像的像素点与边缘图像像素点的距离得到第一距离图像以及第二距离图像，并比较第一距离图像以及第二距离图像的图像距离作为损失函数，不断的指导深度学习网络进行权重更新，得到鲁棒性高的分割模型。
S301、第一图像腐蚀步骤，对所述分割图像S进行腐蚀运算，得到一第一腐蚀图像DS，所述特征区域包含于所述第一腐蚀图像DS。通过腐蚀运算可以得到腐蚀后的图像。
S302、图像差分步骤，通过对分割图像差分得到所述特征区域的边缘图像BS,其中，BS＝S-DS。
这一步是确定特征区域的边缘图像，即将所述第一腐蚀图像DS去除即可。
S303、第一距离计算步骤，计算第一距离图像上每个像素的值SDi，计算公式为：SDi＝f(D(pi，BS))，i＝1，...，n，其中，
Figure BDA0002504755090000061
d(p，b)代表两个像素点间的欧式距离，pi分别表示分割图像S上的第i个像素点，Bs为所述特征区域边缘像素点的集合，函数f在[0，∞)的区间上是一个单调上升函数。
S304、第二图像腐蚀步骤，对所述测试样本对应的训练标签G进行腐蚀运算，得到一第二腐蚀图像DG，所述特征区域包含于所述第二腐蚀图像DG。
S305、标签差分步骤，通过对训练标签差分得到所述标签区域的边缘图像BG,其中，BG＝G-DG。
这一步是确定标签区域的边缘图像，即将所述第二腐蚀图像DG去除即可。
S306、第二距离计算步骤，计算第二距离图像上每个像素的值GDi，计算公式为：GDi＝f(D(qi，BG))，i＝1，...，n，其中，
Figure BDA0002504755090000071
d(q，b)代表两个像素点间的欧式距离，qi分别表示训练标签D上的第i个像素点，BG为所述标签区域边缘像素点的集合；函数f在[0，∞)的区间上是一个单调上升函数。
所述函数f的方程式为y＝x或者
Figure BDA0002504755090000072
S307、损失函数计算步骤，计算第一距离图像和第二距离图像的图像距离作为损失函数的值L。
所述损失函数的计算公式为L＝||SD-GD||2。
所述损失函数是基于整个图像的全局的损失函数。所述全局的损失函数可以体现所述第一距离图像和所述第二距离图像的微小差异。而且即使目标分割的特征区域S和实际的标签区域G不存在重叠的情况，所述全局损失函数仍能很好的驱动分割模型实现准确的分割。
S308、更新步骤，向后传播并调整所述深度神经网络每一层的权重，用以使所述图像距离最小。
本发明提供一种图像的分割方法，通过使用特征区域的边缘图像来表示目标，即通过边缘图像进行数据处理，将包含目标区域边缘的图像映射到新的距离空间，在该距离空间中表示目标区域的边缘，然后在新的距离空间中计算全局损失函数，并使用深度学习网络得到的模型，进行不断的迭代使损失函数的值最小。可以提高分割结果的鲁棒性，提升算法的分割性能。
如图4以及图5所示，损失函数的示意图(以y＝x作为映射函数为例)：第一条线11的虚线部分代表实际的标签区域G，第二条线12的虚线部分代表分割的特征区域S；第一条线11的实线部分代表实际的标签区域经过距离空间映射后的GD，第二条线12的实线部分代表分割的特征区域经过距离空间映射后的SD。SD和GD最低的两个点分别对应了标签区域与特征区域的边缘，由于它们到边缘的距离为0，因此在距离空间中相应的值都为0。
具体地，通过在垂直方向上计算相应点(即相应的像素点)的距离差(见图4和图5的双向箭头)，并把距离差取平方，再累加起来，之后取平方根可以得到距离空间损失函数。
而对于目前常用的IOU损失函数，在图5的情况下，由于分割的特征区域S和实际的标签区域G没有重叠，其交集为0，因此IOU的值都是0，没法区分分割的特征区域S和实际的标签区域G的不同距离，不能有效的驱动分割模型。
而本发明距离空间的损失函数是全局的，它会在整个图像中累加相应特征区域与标签区域的像素差别，因此分割的特征区域S与实际的标签区域G的差会很敏感，即可体现两者之间的微小差异。另外，对于分割的特征区域S和实际的标签区域G不存在重叠的情况(见图5所示)，本发明提出的距离空间损失函数可针对分割的特征区域S和实际的标签区域G距离差不同时，会取不同的值。
因此，本发明的距离空间全局损失函数更利于驱动分割模型进行目标分割，可以得到鲁棒性高的分割模型，通过使用本发明的分割模型可以准确的得到分割结果。
本发明还提供一种存储介质，该存储介质存储一计算机程序，该计算机程序用以执行所述的图像的分割方法。
如图6所示，本发明还提供一应用例，计算机执行本发明所述的图像的分割方法。
具体地，开始加载应用程序，采集一个图像，并输入至本发明已经训练好的所述分割模型中，最后输出分割结果。该图像的实际标签要和训练好的模型的输出标签相同。
具体地，在二维的道路监控视频中，分割目标为图像中的车辆，使用本发明的分割方法，经过对车辆样本的训练，得到车辆的分割模型。将车辆测试图片输入至车辆的分割模型中进行分割，其分割性能指标如表1。
表1本发明损失函数与主流损失函数的对比(2D图像)
IOU ASD
IOU损失函数 0.96 0.89
本发明损失函数 0.98 0.75
其中，IOU＝|S∩G|/|S∪G|，
ASD＝(∑p∈Sd(p，G)+∑q∈Gd(q，S))/(|S|+|G|)。
在模糊的三维CT前列腺图像的分割中，分割目标为模糊的前列腺，使用本发明的分割方法，经过对三维CT样本的训练，得到前列腺的分割模型。将测试图片输入至前列腺的分割模型中进行分割，其分割性能指标如表2。
表2本发明损失函数与主流损失函数的对比(3D图像)
DSC PPV SEN ASD
IOU损失函数 0.89 0.85 0.93 0.60
本发明损失函数 0.92 0.89 0.97 0.66
其中，DSC＝2|S∩G|/(|S|+|G|)，SEN＝|S∩G|/|G|，PPV＝|S∩G|/|S|。
本发明提供了一种图像的分割方法及存储介质，为了比较分割的特征区域和实际的标签区域的相似性，将分割的特征区域以及实际的标签区域映射到一个新的距离空间，在新的距离空间中计算分割的特征区域和真实的标签区域的差别，作为全局损失函数，引导深度学习网络进行更新权重，得到一个更加鲁棒的目标分割模型。在分割的特征区域和真实的标签区域相差比较大时，仍可以驱动本发明分割方法，驱动深度学习网络模型不断地收敛，最终得到准确的分割。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例的技术方案的范围。

Claims (10)

1.一种图像的分割方法，其特征在于，包括：
获取步骤，获取图片样本以及训练标签，所述训练标签为所述图片样本的二值化图像，所述二值化图像具有第一区域以及第二区域，所述第一区域与所述第二区域的灰度值不同，所述第一区域为标签区域，并将所述图片样本随机划分为训练样本集以及测试样本集；
训练步骤，输入所述训练样本以及相应的训练标签至深度学习网络进行训练，并通过深度学习网络的前向传播得到分割图像；
优化步骤，将所述分割图像和所述对应的标签图像映射到距离空间，分别得到第一距离图像和第二距离图像，并计算第一距离图像和第二距离图像的差异，在所述深度学习网络中向后传播并调整所述深度学习网络的每一层权重，用以使所述差异最小，一直到迭代次数达到上限值；其中，所述第一距离图像上每个像素的值为所述分割图像上每个像素点到所述特征区域边界的最近距离，所述第二距离图像上每个像素的值为所述标签图像上每个点到所述标签区域边界的最近距离；
测试步骤，输入所述测试样本至训练好的深度学习网络模型，通过所述深度学习网络模型的前向传播得到测试样本的分割图像，所述测试样本的分割图像包括至少一个特征区域。
2.如权利要求1所述的图像的分割方法，其特征在于，
所述深度学习网络包括全卷积网络。
3.如权利要求1所述的图像的分割方法，其特征在于，
不断的输入训练样本并循环执行所述测试步骤以及所述优化步骤，循环次数为1000～10000次。
4.如权利要求2所述的图像的分割方法，其特征在于，
所述训练步骤中，
若训练样本为二维图像，则所述FCN网络为U-Net网络；
若训练样本为三维图像，则所述FCN网络为V-Net网络。
5.如权利要求1所述的图像的分割方法，其特征在于，
所述优化步骤具体包括：
第一图像腐蚀步骤，对所述分割图像S进行腐蚀运算，得到一第一腐蚀图像DS，所述特征区域包含于所述第一腐蚀图像DS；
图像差分步骤，通过对分割图像和对应的腐蚀图像差分得到所述特征区域的边缘图像BS,其中，BS＝S-DS；
第一距离计算步骤，计算第一距离图像中的每个像素点的值SDi，计算公式为SDi＝f(D(pi，BS))，i＝1，...，n，
其中，
Figure FDA0002504755080000021
d(p，b)代表两个像素点间的欧式距离，pi分别表示分割图像S上的第i个像素点，Bs为所述特征区域边缘像素点的集合，函数f在[0，∞)的区间上是一个单调上升函数；
第二图像腐蚀步骤，对所述训练样本对应的训练标签图像G进行腐蚀运算，得到一第二腐蚀图像DG，所述特征区域包含于所述第二腐蚀图像DG；
标签差分步骤，通过对训练标签差分得到所述标签区域的边缘图像BG,其中，BG＝G-DG；
第二距离计算步骤，计算第二距离图像中的每个像素点的值GDi，
计算公式为GDi＝f(D(qi，BG))，i＝1，...，n，
其中，
Figure FDA0002504755080000022
d(q，b)代表两个像素点间的欧式距离，qi分别表示训练标签图像G上的第i个像素点，BG为所述标签区域边缘像素点的集合；函数f在[0，∞)的区间上是一个单调上升函数；
损失函数计算步骤，计算第一距离图像和第二距离图像的图像距离作为损失函数的值L；
更新步骤，向后传播并调整所述深度学习网络每一层的权重，用以使所述图像距离最小。
6.如权利要求5所述的图像的分割方法，其特征在于，
所述损失函数的计算公式为L＝||SD-GD||2，所述损失函数是基于整个图像的全局的损失函数。
7.如权利要求5所述的图像的分割方法，其特征在于，
所述函数f的方程式为y＝x或者
Figure FDA0002504755080000023
8.如权利要求2所述的图像的分割方法，其特征在于，
所述深度学习网络还包括一ResNet网络，用以接受FCN网络的输出，并和输入拼接后经过卷积再次输入至所述FCN网络用于进一步训练深度学习网络；
其中，输出按照a％的概率和输入拼接，并输入到所述FCN网络中。
9.如权利要求8所述的图像的分割方法，其特征在于，
所述ResNet网络包括至少两个卷积模块，且每个卷积模块的激活函数为Relu函数。
10.一种存储介质，该存储介质存储一计算机程序，该计算机程序用以执行如权利要求1～9任一项所述的图像的分割方法。
CN202010442780.0A 2020-05-22 2020-05-22 图像的分割方法及存储介质 Active CN111738295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010442780.0A CN111738295B (zh) 2020-05-22 2020-05-22 图像的分割方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010442780.0A CN111738295B (zh) 2020-05-22 2020-05-22 图像的分割方法及存储介质

Publications (2)

Publication Number Publication Date
CN111738295A true CN111738295A (zh) 2020-10-02
CN111738295B CN111738295B (zh) 2024-03-22

Family

ID=72648165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010442780.0A Active CN111738295B (zh) 2020-05-22 2020-05-22 图像的分割方法及存储介质

Country Status (1)

Country Link
CN (1) CN111738295B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580570A (zh) * 2020-12-25 2021-03-30 南通大学 人体姿态图像的关键点检测方法
CN112669331A (zh) * 2020-12-25 2021-04-16 上海交通大学 目标数据迁移迭代学习方法及目标数据迁移迭代学习系统
CN113160253A (zh) * 2020-12-29 2021-07-23 南通大学 基于稀疏标记的三维医学图像分割方法及存储介质
CN113643311A (zh) * 2021-06-28 2021-11-12 清华大学 一种对边界误差鲁棒的图像分割方法和装置

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504698A (zh) * 2014-12-20 2015-04-08 辽宁师范大学 基于局部像素分类的彩色图像分割方法
US20150238148A1 (en) * 2013-10-17 2015-08-27 Siemens Aktiengesellschaft Method and system for anatomical object detection using marginal space deep neural networks
US20170213339A1 (en) * 2016-01-21 2017-07-27 Impac Medical Systems, Inc. Systems and methods for segmentation of intra-patient medical images
US20170287137A1 (en) * 2016-03-31 2017-10-05 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
US20180068463A1 (en) * 2016-09-02 2018-03-08 Artomatix Ltd. Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures
CN107844750A (zh) * 2017-10-19 2018-03-27 华中科技大学 一种水面全景图像目标检测识别方法
US20180365824A1 (en) * 2015-12-18 2018-12-20 The Regents Of The University Of California Interpretation and Quantification of Emergency Features on Head Computed Tomography
CN109325954A (zh) * 2018-09-18 2019-02-12 北京旷视科技有限公司 图像分割方法、装置及电子设备
US10229346B1 (en) * 2018-09-04 2019-03-12 StradVision, Inc. Learning method, learning device for detecting object using edge image and testing method, testing device using the same
CN109711288A (zh) * 2018-12-13 2019-05-03 西安电子科技大学 基于特征金字塔和距离约束fcn的遥感船舶检测方法
CN109741347A (zh) * 2018-12-30 2019-05-10 北京工业大学 一种基于卷积神经网络的迭代学习的图像分割方法
US20190147582A1 (en) * 2017-11-15 2019-05-16 Toyota Research Institute, Inc. Adversarial learning of photorealistic post-processing of simulation with privileged information
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109934832A (zh) * 2019-03-25 2019-06-25 北京理工大学 基于深度学习的肝脏肿瘤分割方法及装置
WO2019134298A1 (zh) * 2018-01-02 2019-07-11 武汉斗鱼网络科技有限公司 图像处理方法、装置、电子设备和存储介质
CN110110739A (zh) * 2019-03-25 2019-08-09 中山大学 一种基于样本选择的域自适应降维方法
CN110136154A (zh) * 2019-05-16 2019-08-16 西安电子科技大学 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN110176005A (zh) * 2019-05-16 2019-08-27 西安电子科技大学 基于归一化指数和多尺度模型的遥感图像分割方法
US20190333219A1 (en) * 2018-04-26 2019-10-31 Elekta, Inc. Cone-beam ct image enhancement using generative adversarial networks
CN110689548A (zh) * 2019-09-29 2020-01-14 浪潮电子信息产业股份有限公司 一种医学图像分割方法、装置、设备及可读存储介质
CN110782468A (zh) * 2019-10-25 2020-02-11 北京达佳互联信息技术有限公司 图像分割模型的训练方法及装置及图像分割方法及装置
US20200074626A1 (en) * 2018-09-04 2020-03-05 The Trustees Of The University Of Pennsylvania Image Registration Using A Fully Convolutional Network
CN111062383A (zh) * 2019-11-04 2020-04-24 南通大学 一种基于图像的船舶检测深度神经网络算法

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150238148A1 (en) * 2013-10-17 2015-08-27 Siemens Aktiengesellschaft Method and system for anatomical object detection using marginal space deep neural networks
CN104504698A (zh) * 2014-12-20 2015-04-08 辽宁师范大学 基于局部像素分类的彩色图像分割方法
US20180365824A1 (en) * 2015-12-18 2018-12-20 The Regents Of The University Of California Interpretation and Quantification of Emergency Features on Head Computed Tomography
US20170213339A1 (en) * 2016-01-21 2017-07-27 Impac Medical Systems, Inc. Systems and methods for segmentation of intra-patient medical images
US20170287137A1 (en) * 2016-03-31 2017-10-05 Adobe Systems Incorporated Utilizing deep learning for boundary-aware image segmentation
US20180068463A1 (en) * 2016-09-02 2018-03-08 Artomatix Ltd. Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures
CN107844750A (zh) * 2017-10-19 2018-03-27 华中科技大学 一种水面全景图像目标检测识别方法
US20190147582A1 (en) * 2017-11-15 2019-05-16 Toyota Research Institute, Inc. Adversarial learning of photorealistic post-processing of simulation with privileged information
WO2019134298A1 (zh) * 2018-01-02 2019-07-11 武汉斗鱼网络科技有限公司 图像处理方法、装置、电子设备和存储介质
US20190333219A1 (en) * 2018-04-26 2019-10-31 Elekta, Inc. Cone-beam ct image enhancement using generative adversarial networks
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
US10229346B1 (en) * 2018-09-04 2019-03-12 StradVision, Inc. Learning method, learning device for detecting object using edge image and testing method, testing device using the same
US20200074626A1 (en) * 2018-09-04 2020-03-05 The Trustees Of The University Of Pennsylvania Image Registration Using A Fully Convolutional Network
CN109325954A (zh) * 2018-09-18 2019-02-12 北京旷视科技有限公司 图像分割方法、装置及电子设备
CN109711288A (zh) * 2018-12-13 2019-05-03 西安电子科技大学 基于特征金字塔和距离约束fcn的遥感船舶检测方法
CN109741347A (zh) * 2018-12-30 2019-05-10 北京工业大学 一种基于卷积神经网络的迭代学习的图像分割方法
CN110110739A (zh) * 2019-03-25 2019-08-09 中山大学 一种基于样本选择的域自适应降维方法
CN109934832A (zh) * 2019-03-25 2019-06-25 北京理工大学 基于深度学习的肝脏肿瘤分割方法及装置
CN110136154A (zh) * 2019-05-16 2019-08-16 西安电子科技大学 基于全卷积网络与形态学处理的遥感图像语义分割方法
CN110176005A (zh) * 2019-05-16 2019-08-27 西安电子科技大学 基于归一化指数和多尺度模型的遥感图像分割方法
CN110689548A (zh) * 2019-09-29 2020-01-14 浪潮电子信息产业股份有限公司 一种医学图像分割方法、装置、设备及可读存储介质
CN110782468A (zh) * 2019-10-25 2020-02-11 北京达佳互联信息技术有限公司 图像分割模型的训练方法及装置及图像分割方法及装置
CN111062383A (zh) * 2019-11-04 2020-04-24 南通大学 一种基于图像的船舶检测深度神经网络算法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
LINBO WANG，HUI ZHEN，XIANYONG FANG，SHAOHUA WAN，WEIPING DING，YANWEN GUO: "Research on the identification and distribution of biofouling using underwater cleaning robot based on deep learning", FUTURE GENERATION COMPUTER SYSTEMS, vol. 100 *
SHUAI WANG; QIAN WANG; YEQIN SHAO; LIANGQIONG QU; CHUNFENG LIAN; JUN LIAN; DINGGANG SHEN: "Iterative Label Denoising Network: Segmenting Male Pelvic Organs in CT From 3D Bounding Box Annotations", IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, vol. 67, no. 10, XP011809379, DOI: 10.1109/TBME.2020.2969608 *
王珍: "基于深度学习的遥感影像车辆目标检测方法研究", 中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑), no. 01 *
邵叶秦, 杨新: "基于随机森林的CT前列腺分割", CT理论与应用研究, vol. 24, no. 05 *
高海军, 曾祥银, 潘大志等: "基于U-Net改进模型的直肠肿瘤分割方法", 计算机应用, vol. 40, no. 08 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580570A (zh) * 2020-12-25 2021-03-30 南通大学 人体姿态图像的关键点检测方法
CN112669331A (zh) * 2020-12-25 2021-04-16 上海交通大学 目标数据迁移迭代学习方法及目标数据迁移迭代学习系统
CN112669331B (zh) * 2020-12-25 2023-04-18 上海交通大学 目标数据迁移迭代学习方法及目标数据迁移迭代学习系统
CN113160253A (zh) * 2020-12-29 2021-07-23 南通大学 基于稀疏标记的三维医学图像分割方法及存储介质
CN113160253B (zh) * 2020-12-29 2024-01-30 南通大学 基于稀疏标记的三维医学图像分割方法及存储介质
CN113643311A (zh) * 2021-06-28 2021-11-12 清华大学 一种对边界误差鲁棒的图像分割方法和装置
CN113643311B (zh) * 2021-06-28 2024-04-09 清华大学 一种对边界误差鲁棒的图像分割方法和装置

Also Published As

Publication number Publication date
CN111738295B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN112884064B (zh) 一种基于神经网络的目标检测与识别方法
US11763433B2 (en) Depth image generation method and device
CN109190752B (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN111738295B (zh) 图像的分割方法及存储介质
Žbontar et al. Stereo matching by training a convolutional neural network to compare image patches
US10262214B1 (en) Learning method, learning device for detecting lane by using CNN and testing method, testing device using the same
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN116279592A (zh) 一种用于无人物流车的可行驶区域划分方法
CN112164077B (zh) 基于自下而上路径增强的细胞实例分割方法
US20220027688A1 (en) Image identification device, method for performing semantic segmentation, and storage medium
CN116385466B (zh) 一种基于边界框弱标注的图像中目标分割方法及系统
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN116758005A (zh) 一种面向pet/ct医学图像的检测方法
CN115881265A (zh) 电子病历智能病案质控方法、系统、设备及存储介质
CN117994525A (zh) 基于混合增强和实例信息学习的点云半监督全景分割方法
CN115222750A (zh) 基于多尺度融合注意力的遥感图像分割方法及系统
CN117456480B (zh) 一种基于多源信息融合的轻量化车辆再辨识方法
CN114005120A (zh) 一种车牌字符切割方法、车牌识别方法、装置、设备及存储介质
CN117689932A (zh) 一种基于改进YOLOv7的InSAR大气相位和地表形变的检测方法、装置及计算机存储介质
CN116778164A (zh) 一种基于多尺度结构改进DeeplabV3+网络的语义分割方法
CN116912144A (zh) 一种基于大律算法与通道注意力机制的数据增强方法
CN116563735A (zh) 一种基于深度人工智能的输电杆塔巡检图像对焦判断方法
Das et al. Object Detection on Scene Images: A Novel Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant