CN113283434A - 一种基于分割网络优化的图像语义分割方法及系统 - Google Patents

一种基于分割网络优化的图像语义分割方法及系统 Download PDF

Info

Publication number
CN113283434A
CN113283434A CN202110394333.7A CN202110394333A CN113283434A CN 113283434 A CN113283434 A CN 113283434A CN 202110394333 A CN202110394333 A CN 202110394333A CN 113283434 A CN113283434 A CN 113283434A
Authority
CN
China
Prior art keywords
image
network optimization
segmentation
semantic segmentation
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110394333.7A
Other languages
English (en)
Other versions
CN113283434B (zh
Inventor
李建强
彭浩然
吕思锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202110394333.7A priority Critical patent/CN113283434B/zh
Publication of CN113283434A publication Critical patent/CN113283434A/zh
Application granted granted Critical
Publication of CN113283434B publication Critical patent/CN113283434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种基于分割网络优化的图像语义分割方法及系统，其中方法包括：确定待语义分割的图像；将所述图像输入至分割网络优化模型中，得到所述分割网络优化模型输出的图像语义分割结果；其中，所述分割网络优化模型是基于样本图像以及对应的像素类别标注进行多阶段损失函数训练后得到的，所述像素类别标注是预先确定的。本发明解决了现有传统的语义分割模型的训练方法不能很好地勾勒出分割部分的边界，对超声图像进行分割时经常出现不圆滑的边界和锯齿状边界的现象问题。

Description

一种基于分割网络优化的图像语义分割方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于分割网络优化的图像语义分割方法及系统。
背景技术
医学与深度学习的关系越来越密切，深度学习与医学的交叉学科项目层出不穷，通过深入学习，很多成果已经被证明了可以在治疗多种疾病上节省大量的人力物力。
肾积水是一种较为常见的肾病，而超声检查是疑似肾积水病人普遍会做的基础检查，方便快捷、价格低且无伤害无辐射。如果能利用深度学习方法在超声检查阶段就对该病进行判断和分级，即可节省大量的资金、人力和医疗资源，帮助到相关患者。
传统的语义分割模型使用的都是较为简单的loss function，训练方式也都是简单的使用一种loss function，但是在分割一些需要勾勒出圆滑精细的边界的时候，这样的训练方法并不能很好地勾勒出分割部分的边界，例如在对肾积水超声图像进行分割时，经常出现不圆滑的边界和锯齿状边界的现象。
发明内容
本发明实施例提供一种基于分割网络优化的图像语义分割方法及系统，用以解决现有传统的语义分割模型的训练方法不能很好地勾勒出分割部分的边界，对超声图像进行分割时经常出现不圆滑的边界和锯齿状边界的现象问题。
第一方面，本发明实施例提供一种基于分割网络优化的图像语义分割方法，包括：
确定待语义分割的图像；
将所述图像输入至分割网络优化模型中，得到所述分割网络优化模型输出的图像语义分割结果；
其中，所述分割网络优化模型是基于样本图像以及对应的像素类别标注进行多阶段损失函数训练后得到的，所述像素类别标注是预先确定的。
优选地，所述分割网络优化模型包括主干特征提取模型、加强特征提取模型和预测模型；
将所述图像输入至分割网络优化模型中，得到所述分割网络优化模型输出的图像语义分割结果，包括：
将所述图像输入所述主干特征提取模型，输出多个有效特征层的图像特征；
将所述多个有效特征层的图像特征输入所述加强特征提取模型，输出所有有效特征层的图像融合特征；
将所述所有有效特征层的图像融合特征输入所述预测模型，输出所述图像的语义分割结果。
优选地，所述加强特征提取模型是将样本图像以及对应的像素类别标注分批次后作为训练样本训练卷积神经网络的多阶段损失函数，并根据每批次的训练样本对应的所述多阶段损失函数的损失loss值集合更新所述卷积神经网络的网络参数后得到的。
优选地，所述根据每批次的训练样本对应的所述多阶段损失函数的损失loss值集合更新所述卷积神经网络的网络参数，包括：
基于网络评定标准参数的设定或手动依次对所述多阶段损失函数进行调控切换，得到每批次的训练样本对应的所述多阶段损失函数的损失loss值集合；
依批次基于所述多阶段损失函数的损失loss值集合的最小loss值持续优化所述卷积神经网络的网络参数。
优选地，所述多阶段损失函数包括dice loss和CE loss组合的第一阶段损失函数、dice loss、CE loss和Boundary loss组合的第二阶段损失函数及Border concernloss的第三阶段损失函数。
优选地，所述Border concern loss的第三阶段损失函数如下：
Figure BDA0003018003700000031
若q不属于G，则
Figure BDA0003018003700000032
若q属于G，则
Figure BDA0003018003700000033
其中，G是标签信息的区域，S是预测区域，ΔS＝||G-S||，是G和S的并集减去交集的部分，q是ΔS上任意一点，Ω属于0到1，是区域的二进制指示符函数，当q属于S区域，则s(q)＝1，否则s(q)＝0，
Figure BDA0003018003700000034
为G区域边界上最接近q的点。
第二方面，本发明实施例提供一种基于分割网络优化的图像语义分割系统，包括图像确定单元和图像语义分割单元；
图像确定单元，用于确定待语义分割的图像；
图像语义分割单元，用于将所述图像输入至分割网络优化模型中，得到所述分割网络优化模型输出的图像语义分割结果；
其中，所述分割网络优化模型是基于样本图像以及对应的像素类别标注进行多阶段损失函数训练后得到的，所述像素类别标注是预先确定的。
优选地，所述图像语义分割单元包括主干特征提取模块、加强特征提取模块和预测模块；
所述主干特征提取模块，用于基于确定的所述图像得到多个有效特征层的图像特征；
所述加强特征提取模块，用于基于所述多个有效特征层的图像特征得到所有有效特征层的图像融合特征；
所述预测模块，用于基于所述所有有效特征层的图像融合特征得到图像语义分割结果。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所提供的任一项所述基于分割网络优化的图像语义分割方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所提供的任一项所述基于分割网络优化的图像语义分割方法的步骤。
本发明实施例提供的一种基于分割网络优化的图像语义分割方法及系统，通过将待语义分割的图像输入至分割网络优化模型中，得到所述分割网络优化模型输出的图像语义分割结果；其中，所述分割网络优化模型是基于样本图像以及对应的像素类别标注进行多阶段损失函数训练后得到的，所述像素类别标注是预先确定的。本发明实施例解决了现有传统的语义分割模型的训练方法不能很好地勾勒出分割部分的边界，对超声图像进行分割时经常出现不圆滑的边界和锯齿状边界的现象问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于分割网络优化的图像语义分割方法的流程示意图；
图2是本发明提供的分割网络优化模型框图；
图3是本发明提供的多阶段损失函数调控切换示意图；
图4是本发明提供的Border concern loss function举例示意图；
图5是本发明提供的基于分割网络优化的图像语义分割系统的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明提供的一种基于分割网络优化的图像语义分割方法及系统。
本发明实施例提供一种基于分割网络优化的图像语义分割方法。图1为本发明实施例提供的基于分割网络优化的图像语义分割方法的流程示意图，如图1所示，该方法包括：
步骤110，确定待语义分割的图像；
具体地，实际应用的现代医学影像识别中采用肾积水的超声图像。
步骤120，将所述图像输入至分割网络优化模型中，得到所述分割网络优化模型输出的图像语义分割结果；
其中，所述分割网络优化模型是基于样本图像以及对应的像素类别标注进行多阶段损失函数训练后得到的，所述像素类别标注是预先确定的。
具体地，图像语义分割的目标是标记图像每个像素的类别，因为需要预测图像中每个像素，所以此任务通常被称为密集预测。
本发明实施例提供的方法，基于样本图像及对应的像素类别标注进行多阶段损失函数训练后得到分割网络优化模型，通过输入待语义分割的图像对图像像素分类，能够有效改善图像分割时经常出现不圆滑的边界和锯齿状边界的现象。
基于上述任一实施例，如图2所示，所述分割网络优化模型200包括主干特征提取模型210、加强特征提取模型220和预测模型230；
将所述图像输入至分割网络优化模型200中，得到所述分割网络优化模型200输出的图像语义分割结果，包括：
将所述图像输入所述主干特征提取模型，输出多个有效特征层的图像特征；
将所述多个有效特征层的图像特征输入所述加强特征提取模型，输出所有有效特征层的图像融合特征；
将所述所有有效特征层的图像融合特征输入所述预测模型，输出所述图像的语义分割结果。
具体地，本发明实施例的基于分割网络优化的图像语义分割方法，基于Unet的新型语义分割网络结构，在Unet的基础上增加了权重块，Unet模型结构可以分为三个部分：
1、第一部分是主干特征提取部分，利用主干部分获取特征层。该网络的主干特征提取部分与VGG相似，为卷积和最大池化的堆叠。这个步骤中获得的五个初步有效特征层将会在下个步骤中被用来进行特征融合。
2、第二部分是加强特征提取部分。通过对第一步中获取的五个初步有效特征层进行上采样，并且进行特征融合，获得一个最终的融合了所有特征的有效特征层。
3、第三部分是分类预测部分。利用最终获得的最后一个有效特征层对每个特征点进行分类，即相当于对每个像素点进行分类。
基于上述任一实施例，所述加强特征提取模型是将样本图像以及对应的像素类别标注分批次后作为训练样本训练卷积神经网络的多阶段损失函数，并根据每批次的训练样本对应的所述多阶段损失函数的损失loss值集合更新所述卷积神经网络的网络参数后得到的。
具体地，传统的语义分割模型使用的都是较为简单的loss function，训练方式也都是简单的使用一种loss function，但是在分割一些需要勾勒出圆滑，精细的边界的时候，这样的训练方法并不能很好地勾勒出分割部分的边界，例如在对肾积水超声图像进行分割时，经常不圆滑的边界和锯齿状边界的现象。如图3所示，本发明使用了一种三个阶段的语义分割网络的训练方法，并且使用switch方法，调控转换不同的阶段，采取不同的lossfunction进行多次监督学习，达到优化训练加强特征提取模型的目的，最终得到更好的分割效果。
基于上述任一实施例，所述根据每批次的训练样本对应的所述多阶段损失函数的损失loss值集合更新所述卷积神经网络的网络参数，包括：
基于网络评定标准参数的设定或手动依次对所述多阶段损失函数进行调控切换，得到每批次的训练样本对应的所述多阶段损失函数的损失loss值集合；
具体地，网络评定标准为：Miou，Mpa，F1。IoU(Intersection over Union)是一种测量在特定数据集中检测相应物体准确度的一个标准，多用在目标检测图像分类等神经网络中，作为评定标准。Miou(Mean Intersection over Union)是IoU的平均值，即为求取每个类别的平均IoU。Pa为像素准确率，是计算正确分类的像素数量与所有像素数量的比值，而Mpa就是求取每个类别的平均Pa。同样是一个神经网络的评定标准，F1值为算数平均数除以几何平均数，且越大越好，将Precision和Recall的公式代入会发现，当F1值小时，TruePositive相对增加，而false相对减少，即Precision和Recall都相对增加，即F1对Precision和Recall都进行了加权。
结合图3所示，多阶段损失函数具体怎样调控切换需要依赖于数据集的训练难度以及对于边缘问题的容忍程度。以肾积水的超声图像的语义分割为例，这个数据集因为超声图像比较难以抓住语义信息，训练难度较大，所以不能选用epoch数作为switch基准，可以定为：当Miou>85时，从最初阶段切换到中间阶段，当第二阶段loss值趋于稳定时，切换为最终阶段。
依批次基于所述多阶段损失函数的损失loss值集合的最小loss值持续优化所述卷积神经网络的网络参数。
需要说明的是，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。在机器学习中被用于模型的参数估计(parametric estimation)。
基于上述任一实施例，所述多阶段损失函数包括dice loss和CE loss组合的第一阶段损失函数、dice loss、CE loss和Boundary loss组合的第二阶段损失函数及Borderconcern loss的第三阶段损失函数。
需要说明的是，dice loss+CE的组合能够更好的提取区域信息，待区域信息提取成功后，再加入Boundary loss处理分割边缘问题。Boundary loss的加入虽然不能保证对Miou，Mpa，F1等标准的优化有极好的效果，但是它可以呈现更清晰及圆滑的分割边界。也即，最初阶段使用dice loss+CE的组合能提取区域信息。中间阶段使用dice loss+CE+Boundary loss的组合来进行过渡，因为在数值上，dice loss+CE占据较大比例，所以区域信息不会受到损害，在loss值趋于稳定时，证明Boundary loss趋于稳定，即不会因为优化边缘信息损害区域信息，这时转为Border concern loss，优化边缘信息，能够有效优化反向传播中的梯度信息，以及有效减少分割中的边界不圆滑以及锯齿问题。
CE loss(交叉熵)作为最常见的loss function，其定义如下：
Figure BDA0003018003700000091
其中：p(xi)代表ground truth，即分割网络的label标签信息，正确标注的数据，作为正确样本进行监督学习的依据，q(xi)代表网络分割后的信息。
Dice loss作为损失函数的优势是其在反向传播算法BP(BackPropagation)中易于最大程度优化参数。反向传播算法是多层神经网络的训练中举足轻重的算法，通过反向传播不断更新神经网络中的参数，以达到优化神经网络的目的。
但是单独使用dice loss训练所得到的误差曲线非常混乱，难以识别出关于收敛的信息。dice coefficient定义如下：
Figure BDA0003018003700000092
其中，X是ground truth，Y是预测值，dice coefficient是一种用于评估两个版本的相似性的函数，因为loss值越小越好，所以dice loss定义如下：
Figure BDA0003018003700000093
仅仅使用上述两个loss，虽然可以有效地利用区域信息，但是并不能解决分割边缘的不圆滑的边界和锯齿状边界问题，因此进一步使用了Boundary loss，其定义如下：
lB(θ)＝∫ΩφG(q)sθ(q)dq (4)
其中，G是ground truth区域，q是预测值。
当q属于G的时候,
Figure BDA0003018003700000101
当q不属于G的时候，
Figure BDA0003018003700000102
基于上述任一实施例，所述Border concern loss的第三阶段损失函数如下：
Figure BDA0003018003700000103
若q不属于G，则
Figure BDA0003018003700000104
若q属于G，则
Figure BDA0003018003700000105
其中，G是标签信息的区域，S是预测区域，ΔS＝||G-S||，是G和S的并集减去交集的部分，q是ΔS上任意一点，Ω属于0到1，是区域的二进制指示符函数，当q属于S区域，则s(q)＝1，否则s(q)＝0，
Figure BDA0003018003700000106
为G区域边界上最接近q的点。
需要说明的是，本发明使用Border concern loss function作为第三个阶段的loss function，给远离ground truth的部分增大权重，进一步优化分割结果。也就是说，本发明包含一个关注边缘信息的新型的损失函数以及可自定义的switch调节旋钮，可以优化语义分割网络的分割结果。如图4所示，点A和点B相比，距离ground truth较远，相比起B点，不希望A点出现，所以在其中增加了距离的权重，离得较远的点对loss值的影响程度更高，因此，增加离边界很远的点的权重，给远点增加更多的权重，来抑制这样的点出现。以上式子(5)中除以交并比是为了保证loss值不会只关注边缘信息，也尽可能不会将学习到的区域信息丢弃。
下面对本发明提供的一种基于分割网络优化的图像语义分割系统进行描述，下文描述的与上文描述的一种基于分割网络优化的图像语义分割方法可相互对应参照。
图5为本发明实施例提供的基于分割网络优化的图像语义分割系统的结构示意图，如图5所示，该系统包括图像确定单元510和图像语义分割单元520；
图像确定单元510，用于确定待语义分割的图像；
图像语义分割单元520，用于将所述图像输入至分割网络优化模型中，得到所述分割网络优化模型输出的图像语义分割结果；
其中，所述分割网络优化模型是基于样本图像以及对应的像素类别标注进行多阶段损失函数训练后得到的，所述像素类别标注是预先确定的。
本发明实施例提供的系统，基于样本图像及对应的像素类别标注进行多阶段损失函数训练后得到分割网络优化模型，通过输入待语义分割的图像对图像像素分类，能够有效改善图像分割时经常出现不圆滑的边界和锯齿状边界的现象。
基于上述任一实施例，所述图像语义分割单元包括主干特征提取模块、加强特征提取模块和预测模块；
所述主干特征提取模块，用于基于确定的所述图像得到多个有效特征层的图像特征；
所述加强特征提取模块，用于基于所述多个有效特征层的图像特征得到所有有效特征层的图像融合特征；
所述预测模块，用于基于所述所有有效特征层的图像融合特征得到图像语义分割结果。
基于上述任一实施例，所述加强特征提取模块包括加强特征提取模型；
所述加强特征提取模型是将样本图像以及对应的像素类别标注分批次后作为训练样本训练卷积神经网络的多阶段损失函数，并根据每批次的训练样本对应的所述多阶段损失函数的损失loss值集合更新所述卷积神经网络的网络参数后得到的。
基于上述任一实施例，所述根据每批次的训练样本对应的所述多阶段损失函数的损失loss值集合更新所述卷积神经网络的网络参数，包括：
基于网络评定标准参数的设定或手动依次对所述多阶段损失函数进行调控切换，得到每批次的训练样本对应的所述多阶段损失函数的损失loss值集合；
依批次基于所述多阶段损失函数的损失loss值集合的最小loss值持续优化所述卷积神经网络的网络参数。
基于上述任一实施例，所述多阶段损失函数包括dice loss和CE loss组合的第一阶段损失函数、dice loss、CE loss和Boundary loss组合的第二阶段损失函数及Borderconcern loss的第三阶段损失函数。
基于上述任一实施例，所述Border concern loss的第三阶段损失函数如下：
Figure BDA0003018003700000121
若q不属于G，则
Figure BDA0003018003700000122
若q属于G，则
Figure BDA0003018003700000123
其中，G是标签信息的区域，S是预测区域，ΔS＝||G-S||，是G和S的并集减去交集的部分，q是ΔS上任意一点，Ω属于0到1，是区域的二进制指示符函数，当q属于S区域，则s(q)＝1，否则s(q)＝0，
Figure BDA0003018003700000124
为G区域边界上最接近q的点。
图6为本发明实施例提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行基于分割网络优化的图像语义分割方法，该方法包括：确定待语义分割的图像；将所述图像输入至分割网络优化模型中，得到所述分割网络优化模型输出的图像语义分割结果；其中，所述分割网络优化模型是基于样本图像以及对应的像素类别标注进行多阶段损失函数训练后得到的，所述像素类别标注是预先确定的。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于分割网络优化的图像语义分割方法，该方法包括：确定待语义分割的图像；将所述图像输入至分割网络优化模型中，得到所述分割网络优化模型输出的图像语义分割结果；其中，所述分割网络优化模型是基于样本图像以及对应的像素类别标注进行多阶段损失函数训练后得到的，所述像素类别标注是预先确定的。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于分割网络优化的图像语义分割方法，该方法包括：确定待语义分割的图像；将所述图像输入至分割网络优化模型中，得到所述分割网络优化模型输出的图像语义分割结果；其中，所述分割网络优化模型是基于样本图像以及对应的像素类别标注进行多阶段损失函数训练后得到的，所述像素类别标注是预先确定的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于分割网络优化的图像语义分割方法，其特征在于，包括：
确定待语义分割的图像；
将所述图像输入至分割网络优化模型中，得到所述分割网络优化模型输出的图像语义分割结果；
其中，所述分割网络优化模型是基于样本图像以及对应的像素类别标注进行多阶段损失函数训练后得到的，所述像素类别标注是预先确定的。
2.根据权利要求1所述的基于分割网络优化的图像语义分割方法，其特征在于，所述分割网络优化模型包括主干特征提取模型、加强特征提取模型和预测模型；
将所述图像输入至分割网络优化模型中，得到所述分割网络优化模型输出的图像语义分割结果，包括：
将所述图像输入所述主干特征提取模型，输出多个有效特征层的图像特征；
将所述多个有效特征层的图像特征输入所述加强特征提取模型，输出所有有效特征层的图像融合特征；
将所述所有有效特征层的图像融合特征输入所述预测模型，输出所述图像的语义分割结果。
3.根据权利要求2所述的基于分割网络优化的图像语义分割方法，其特征在于，
所述加强特征提取模型是将样本图像以及对应的像素类别标注分批次后作为训练样本训练卷积神经网络的多阶段损失函数，并根据每批次的训练样本对应的所述多阶段损失函数的损失loss值集合更新所述卷积神经网络的网络参数后得到的。
4.根据权利要求3所述的基于分割网络优化的图像语义分割方法，其特征在于，所述根据每批次的训练样本对应的所述多阶段损失函数的损失loss值集合更新所述卷积神经网络的网络参数，包括：
基于网络评定标准参数的设定或手动依次对所述多阶段损失函数进行调控切换，得到每批次的训练样本对应的所述多阶段损失函数的损失loss值集合；
依批次基于所述多阶段损失函数的损失loss值集合的最小loss值持续优化所述卷积神经网络的网络参数。
5.根据权利要求1或3或4所述的基于分割网络优化的图像语义分割方法，其特征在于，所述多阶段损失函数包括dice loss和CE loss组合的第一阶段损失函数、dice loss、CEloss和Boundary loss组合的第二阶段损失函数及Border concern loss的第三阶段损失函数。
6.根据权利要求5所述的基于分割网络优化的图像语义分割方法，其特征在于，所述Border concern loss的第三阶段损失函数如下：
Figure FDA0003018003690000021
若q不属于G，则
Figure FDA0003018003690000022
若q属于G，则
Figure FDA0003018003690000023
其中，G是标签信息的区域，S是预测区域，ΔS＝||G-S||，是G和S的并集减去交集的部分，q是ΔS上任意一点，Ω属于0到1，是区域的二进制指示符函数，当q属于S区域，则s(q)＝1，否则s(q)＝0，
Figure FDA0003018003690000024
为G区域边界上最接近q的点。
7.一种基于分割网络优化的图像语义分割系统，其特征在于，包括图像确定单元和图像语义分割单元；
图像确定单元，用于确定待语义分割的图像；
图像语义分割单元，用于将所述图像输入至分割网络优化模型中，得到所述分割网络优化模型输出的图像语义分割结果；
其中，所述分割网络优化模型是基于样本图像以及对应的像素类别标注进行多阶段损失函数训练后得到的，所述像素类别标注是预先确定的。
8.根据权利要求7所述的基于分割网络优化的图像语义分割系统，其特征在于，所述图像语义分割单元包括主干特征提取模块、加强特征提取模块和预测模块；
所述主干特征提取模块，用于基于确定的所述图像得到多个有效特征层的图像特征；
所述加强特征提取模块，用于基于所述多个有效特征层的图像特征得到所有有效特征层的图像融合特征；
所述预测模块，用于基于所述所有有效特征层的图像融合特征得到图像语义分割结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的基于分割网络优化的图像语义分割方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于分割网络优化的图像语义分割方法的步骤。
CN202110394333.7A 2021-04-13 2021-04-13 一种基于分割网络优化的图像语义分割方法及系统 Active CN113283434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110394333.7A CN113283434B (zh) 2021-04-13 2021-04-13 一种基于分割网络优化的图像语义分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110394333.7A CN113283434B (zh) 2021-04-13 2021-04-13 一种基于分割网络优化的图像语义分割方法及系统

Publications (2)

Publication Number Publication Date
CN113283434A true CN113283434A (zh) 2021-08-20
CN113283434B CN113283434B (zh) 2024-06-21

Family

ID=77276626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110394333.7A Active CN113283434B (zh) 2021-04-13 2021-04-13 一种基于分割网络优化的图像语义分割方法及系统

Country Status (1)

Country Link
CN (1) CN113283434B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359300A (zh) * 2022-03-18 2022-04-15 成都数之联科技股份有限公司 一种图像分割模型的优化方法、装置、系统及存储介质
CN114419090A (zh) * 2022-01-21 2022-04-29 北京航天金泰星测技术有限公司泰州分公司 一种基于全卷积网络的红外图像多目标分割方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
US20200134375A1 (en) * 2017-08-01 2020-04-30 Beijing Sensetime Technology Development Co., Ltd. Semantic segmentation model training methods and apparatuses, electronic devices, and storage media
CN111462126A (zh) * 2020-04-08 2020-07-28 武汉大学 一种基于边缘增强的语义图像分割方法及系统
CN111507343A (zh) * 2019-01-30 2020-08-07 广州市百果园信息技术有限公司 语义分割网络的训练及其图像处理方法、装置
CN111784628A (zh) * 2020-05-11 2020-10-16 北京工业大学 基于有效学习的端到端的结直肠息肉图像分割方法
CN111798471A (zh) * 2020-07-27 2020-10-20 中科智脑(北京)技术有限公司 图像语义分割网络的训练方法
CN111832570A (zh) * 2020-07-02 2020-10-27 北京工业大学 一种图像语义分割模型训练方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200134375A1 (en) * 2017-08-01 2020-04-30 Beijing Sensetime Technology Development Co., Ltd. Semantic segmentation model training methods and apparatuses, electronic devices, and storage media
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN111507343A (zh) * 2019-01-30 2020-08-07 广州市百果园信息技术有限公司 语义分割网络的训练及其图像处理方法、装置
CN111462126A (zh) * 2020-04-08 2020-07-28 武汉大学 一种基于边缘增强的语义图像分割方法及系统
CN111784628A (zh) * 2020-05-11 2020-10-16 北京工业大学 基于有效学习的端到端的结直肠息肉图像分割方法
CN111832570A (zh) * 2020-07-02 2020-10-27 北京工业大学 一种图像语义分割模型训练方法及系统
CN111798471A (zh) * 2020-07-27 2020-10-20 中科智脑(北京)技术有限公司 图像语义分割网络的训练方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
伍佳;梅天灿;: "顾及区域信息的卷积神经网络在影像语义分割中的应用", 科学技术与工程, no. 21, 28 July 2018 (2018-07-28) *
青晨;禹晶;肖创柏;段娟;: "深度卷积神经网络图像语义分割研究进展", 中国图象图形学报, no. 06, 16 June 2020 (2020-06-16) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419090A (zh) * 2022-01-21 2022-04-29 北京航天金泰星测技术有限公司泰州分公司 一种基于全卷积网络的红外图像多目标分割方法
CN114359300A (zh) * 2022-03-18 2022-04-15 成都数之联科技股份有限公司 一种图像分割模型的优化方法、装置、系统及存储介质
CN114359300B (zh) * 2022-03-18 2022-06-28 成都数之联科技股份有限公司 一种图像分割模型的优化方法、装置、系统及存储介质

Also Published As

Publication number Publication date
CN113283434B (zh) 2024-06-21

Similar Documents

Publication Publication Date Title
CN109190442B (zh) 一种基于深度级联卷积神经网络的快速人脸检测方法
CN109784149B (zh) 一种人体骨骼关键点的检测方法及系统
CN110705403A (zh) 细胞分类方法、装置、介质及电子设备
CN113283434A (zh) 一种基于分割网络优化的图像语义分割方法及系统
CN112711983B (zh) 核型分析系统、方法、电子设备及可读存储介质
CN111695824B (zh) 风险尾端客户分析方法、装置、设备及计算机存储介质
CN110969172A (zh) 一种文本的分类方法以及相关设备
CN112488999A (zh) 一种图像中小目标检测方法、系统、存储介质及终端
CN113408660B (zh) 图书聚类方法、装置、设备和存储介质
JP7393475B2 (ja) 画像を検索するための方法、装置、システム、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
CN113592783A (zh) 角膜共聚焦图像中细胞基础指标的精准量化方法及装置
CN113590764A (zh) 训练样本构建方法、装置、电子设备和存储介质
CN109299263A (zh) 文本分类方法、电子设备及计算机程序产品
CN111597821B (zh) 一种确定应答概率的方法及装置
US20170039451A1 (en) Classification dictionary learning system, classification dictionary learning method and recording medium
CN117197904A (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
Wang et al. ARMS Net: Overlapping chromosome segmentation based on Adaptive Receptive field Multi-Scale network
CN114783021A (zh) 一种口罩佩戴智能检测方法、装置、设备及介质
CN113971644A (zh) 基于数据增强策略选择的图像识别方法及装置
CN109885831B (zh) 关键术语抽取方法、装置、设备及计算机可读存储介质
CN109299463B (zh) 一种情感得分的计算方法以及相关设备
CN113642727B (zh) 神经网络模型的训练方法和多媒体信息的处理方法、装置
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
Wang et al. Feature enhancement: predict more detailed and crisper edges
CN112507107A (zh) 术语匹配方法、装置、终端和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant