CN113706561B - 一种基于区域分离的图像语义分割方法 - Google Patents

一种基于区域分离的图像语义分割方法 Download PDF

Info

Publication number
CN113706561B
CN113706561B CN202111268879.4A CN202111268879A CN113706561B CN 113706561 B CN113706561 B CN 113706561B CN 202111268879 A CN202111268879 A CN 202111268879A CN 113706561 B CN113706561 B CN 113706561B
Authority
CN
China
Prior art keywords
region
semantic segmentation
pixel
image
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111268879.4A
Other languages
English (en)
Other versions
CN113706561A (zh
Inventor
刘发贵
张禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202111268879.4A priority Critical patent/CN113706561B/zh
Publication of CN113706561A publication Critical patent/CN113706561A/zh
Application granted granted Critical
Publication of CN113706561B publication Critical patent/CN113706561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于区域分离的图像语义分割方法。所述方法包括以下步骤：构建卷积神经网络；训练构建的卷积神经网络；使用训练完成的卷积神经网络对给定场景中图像进行语义分割。在不改变模型结构的情况下，本发明能够保持原模型的推理效率且改善训练模型的分割精度，能有效处理复杂场景图像，缓解多分类语义分割场景下数据不平衡问题，改善模型对分割对象边界的拟合效果，取得良好的分割性能。

Description

一种基于区域分离的图像语义分割方法
技术领域
本发明属于计算机视觉领域，具体涉及一种基于区域分离的图像语义分割方法。
背景技术
图像语义分割作为计算机视觉领域的一项基本任务，其任务是为图像中的每个像素进行分类，获取图像的像素级理解。作为一项图像稠密分类任务，语义分割为诸多应用场景提供了技术支撑，例如自动驾驶、医学影像诊断、人机交互等。复杂场景下，图像往往表现出种类繁多、对象尺度不一、视角多变等特点，为多分类复杂场景图像语义分割任务带来了极大挑战。
FCN（FullyConvolutionalNetwork）通过将传统经典分类网络中的全连接层替换为卷积层，提供了一种端到端的方式，将经典深度卷积网络应用到语义分割任务，为深度卷积网络在语义分割任务的广泛研究开辟了先河。目前，面向语义分割任务的深度卷积网络得到了长足的发展。然而，现有的主流方法仍采用标准交叉熵损失来进行语义分割任务模型的监督，其中忽视了复杂语义分割场景中普遍存在的图像中类别不平衡以及对象主体区域和边界区域像素样本不平衡的问题，导致模型的训练被大量的主体区域像素所主导，进而影响模型对小尺度类别和对象边界区域的分割精度。
为了改善模型对于边界区域像素分类的准确性，FusionNet（Cheng D, Meng G,Xiang S, et al. Fusionnet: Edge aware deep convolutional networks forsemantic segmentation of remote sensing harbor images[J]. IEEE Journal ofSelected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(12): 5769-5783.）采用一种多任务学习的方式，使用编码器-解码器架构的SegNet作为语义分割模型，从SegNet的多个中间层提取特征添加到边界检测分支网络，同时训练语义分割模型和边界检测模型，并通过添加正则化项的方式，结合边界检测模型的输出来改善语义分割模型在边界区域的分割精度。通过引入边界检测分支网络，FusionNet使用边界检测分支的输出进一步改善语义分割模型在图像边界区域分割不准确的问题，但引入了边界检测分支网络的同时，限定了模型结构，也增加了模型训练和推理的时间。
发明内容
为了实现更加准确的各类场景语义分割，克服场景中对象主体区域和边界区域像素不平衡的问题，本发明提供一种基于区域分离的图像语义分割方法，通过分离边界和主体两个区域，施加权值以平衡模型对两个区域的拟合，从而实现更加准确的语义分割效果。
本发明的目的至少通过如下技术方案之一实现。
一种基于区域分离的图像语义分割方法，包括以下步骤：
S1、构建卷积神经网络；
S2、训练构建的卷积神经网络；
S3、使用训练完成的卷积神经网络对给定场景中图像进行语义分割。
进一步地，步骤S1中，构建的卷积神经网络为现有的面向语义分割任务的通用卷积神经网络。
进一步地，步骤S1中，构建的卷积神经网络包括FCN、Deeplabv3和DANet。
进一步地，步骤S2包括以下步骤：
S2.1、获取训练图像和对应的语义分割标注；
S2.2、输入训练图像到步骤S1中构建的卷积神经网络，卷积神经网络以端到端的方式输出与输入图像尺寸一致的预测值；
S2.3、根据语义分割标注获取对应的语义分割标注边界；
S2.4、使用获得的语义分割标注边界和圆形填充的卷积核将语义分割标注分离为边界区域和主体区域；
S2.5、使用分离的边界区域和主体区域结合语义分割标注计算区域的有效像素占比；
S2.6、使用区域的有效像素占比结合区域的超参权重计算区域的动态权重,使用标准交叉熵损失结合对应区域的动态权重和卷积神经网络的预测值计算得到训练图像的最终损失值；
S2.7、使用梯度下降法更新卷积神经网络的权重至收敛，得到训练完成的卷积神经网络。
进一步地，步骤S2.3中，根据语义分割标注获取对应的语义分割标注边界，具体如下：
将训练图像的语义分割标注向不同的多个方向分别平移一个像素单位，超出标注图像范围的像素被舍弃，空出的像素位置则以该像素位置的原始标注值填充，将语义分割标注分别与由此得到的多个中间结果相减；
对于语义分割标注图像中的任一像素，将该像素与八个相邻像素值相减后，得到相邻像素差值，若该像素与所有相邻像素值相等，则计算得到的该像素位置的相邻像素差值为零，说明该像素与其相邻像素属于同一类别，非边界像素；反之，若计算得到的某像素位置的相邻像素差值非零，则说明存在相邻像素与其属于不同类别，该像素为边界像素；
将计算得到的相邻像素差值中的非零值替换为1，得到训练图像的语义分割标注边界，其中，边界像素值为1，非边界像素值为0。
进一步地，将训练图像的语义分割标注向不同的8个方向分别平移一个像素单位，超出标注图像范围的像素被舍弃，空出的像素位置则以该像素位置的原始标注值填充，将语义分割标注分别与由此得到的8个中间结果相减。
进一步地，步骤S2.4中，使用获得的语义分割标注边界和圆形填充的卷积核将语义分割标注分离为边界区域和主体区域，具体如下：
根据选取的阈值距离d，计算大小为
Figure 707780DEST_PATH_IMAGE001
的圆形填充卷积核，其中，圆形填充卷积核中，到中心点距离小于等于d的位置取值为1，其余位置取值为0；
使用圆形填充卷积核将卷积运算作用于训练图像对应的语义分割标注边界，卷积步长为1，卷积操作不使用偏移值，使用0向图像外填充d个像素单位，得到区域分离结果图；由此得到的区域分离结果图与训练图像的尺寸相同，其中到边界距离小于等于d的像素点值为非零；反之，到边界距离大于d的像素点值为零；
将区域分离结果图中的非零值替换为1，得到分离的边界区域和主体区域；其中，边界区域中像素值为1，主体区域中像素值为0。
进一步地，步骤S2.5中，使用分离的边界和主体区域结合语义分割标注计算区域的有效像素占比，具体如下：
Figure 426338DEST_PATH_IMAGE002
；
其中，
Figure 146032DEST_PATH_IMAGE003
表示边界区域或主体区域；
Figure 924632DEST_PATH_IMAGE004
表示对应区域的有效像素占比；
Figure 933039DEST_PATH_IMAGE005
表示对应区域中有效像素的数目；
Figure 157085DEST_PATH_IMAGE006
表示图像中像素的总数。
进一步地，步骤S2.6中，使用区域的有效像素占比结合区域的超参权重计算区域的动态权重,使用标准交叉熵损失结合对应区域的动态权重和卷积神经网络的预测值计算得到训练图像的最终损失值，具体如下：
Figure 465707DEST_PATH_IMAGE007
其中，
Figure 680787DEST_PATH_IMAGE008
表示训练图像的最终损失；
Figure 645332DEST_PATH_IMAGE003
表示边界区域或主体区域；
Figure 236851DEST_PATH_IMAGE009
表示图像中像素的总数；
Figure 399979DEST_PATH_IMAGE010
表示图像中某个像素；
Figure 222179DEST_PATH_IMAGE011
表示该像素点
Figure 1916DEST_PATH_IMAGE010
上卷积神经网络的预测值，即预测像素
Figure 69229DEST_PATH_IMAGE010
属于语义分割标注中该像素标注类别的概率；
Figure 352443DEST_PATH_IMAGE012
表示对应区域的超参权重；
Figure 112589DEST_PATH_IMAGE004
表示对应区域的有效像素占比。
进一步地，步骤S3包括以下步骤：
S3.1、输入待分割图像至训练完成的卷积神经网络；
S3.2、卷积神经网络进行前行传播，获取待分割图像中每个像素预测类别的概率分布；
S3.3、选择概率值最大的类别作为卷积神经网络的预测类别。
与现有方法相比，本发明具有如下优点和效果：
本发明适用于现有的面向语义分割任务的通用深度卷积网络，相较于FusionNet，本发明方法具有良好的适用性，适用于现有的面向语义分割任务的通用卷积神经网络，无需修改网络结构，从而保留了原网络的推理效率。同时，本发明能够有效缓解复杂语义分割场景中普遍存在的图像中对象主体区域和边界区域像素样本不平衡的问题，提供了一种新颖的区域分离方法，并通过动态权值平衡模型对于图像不同区域的拟合，有效提升模型对图像边界区域的分割精度，改善模型对小尺度对象的拟合效果，进而提升模型分割精度。此外，本发明提供了一种端到端的训练和推理方式，简化了模型的训练和部署过程。
附图说明
图1为本发明实施例中模型训练流程示意图；
图2为本发明实施例中圆形填充卷积核示意图；
图3为本发明实施例中区域分离流程示意图。
具体实施方式
为了使本发明的技术方案及优点更加清楚明白，以下结合附图和实施例对本发明的具体实施进行进一步的详细说明，但本发明的实施和保护不限于此。
实施例：
一种基于区域分离的图像语义分割方法，包括以下步骤：
S1、构建卷积神经网络；
构建的卷积神经网络为现有的面向语义分割任务的通用卷积神经网络，在一个实施例中，卷积神经网络采用FCN；在另一个实施例中，卷积神经网络采用Deeplabv3；
S2、如图1所示，训练构建的卷积神经网络，包括以下步骤：
S2.1、获取训练图像和对应的语义分割标注；
S2.2、输入训练图像到步骤S1中构建的卷积神经网络，卷积神经网络以端到端的方式输出尺寸与输入图像一致的预测值；
S2.3、根据语义分割标注获取对应的语义分割标注边界，具体如下：
本实施例中，将训练图像的语义分割标注向不同的8个方向（上、下、左、右、左上、右上、左下、右下）分别平移一个像素单位，超出标注图像范围的像素被舍弃，空出的像素位置则以该像素位置的原始标注值填充，将语义分割标注分别与由此得到的8个中间结果相减；
对于语义分割标注图像中的任一像素，将该像素与八个相邻像素值相减后，得到相邻像素差值，若该像素与所有相邻像素值相等，则计算得到的该像素位置的相邻像素差值为零，说明该像素与其相邻像素属于同一类别，非边界像素；反之，若计算得到的某像素位置的相邻像素差值非零，则说明存在相邻像素与其属于不同类别，该像素为边界像素；
将计算得到的相邻像素差值中的非零值替换为1，得到训练图像的语义分割标注边界，其中，边界像素值为1，非边界像素值为0。
S2.4、使用获得的语义分割标注边界和圆形填充的卷积核将语义分割标注分离为边界区域和主体区域，具体如下：
如图2所示，根据选取的阈值距离d，计算大小为
Figure 81420DEST_PATH_IMAGE001
的圆形填充卷积核，其中，圆形填充卷积核中，到中心点距离小于等于d的位置取值为1，其余位置取值为0；
如图3所示，使用圆形填充卷积核将卷积运算作用于训练图像对应的语义分割标注边界，卷积步长为1，卷积操作不使用偏移值，使用0向图像外填充d个像素单位，得到区域分离结果图；由此得到的区域分离结果图与训练图像的尺寸相同，其中到边界距离小于等于d的像素点值为非零；反之，到边界距离大于d的像素点值为零；
将区域分离结果图中的非零值替换为1，得到分离的边界区域和主体区域；其中，边界区域中像素值为1，主体区域中像素值为0。
S2.5、使用分离的边界和主体区域结合语义分割标注计算区域的有效像素占比，具体如下：
Figure 749161DEST_PATH_IMAGE002
；
其中，
Figure 824565DEST_PATH_IMAGE003
表示边界区域或主体区域；
Figure 817928DEST_PATH_IMAGE004
表示对应区域的有效像素占比；
Figure 41099DEST_PATH_IMAGE005
表示对应区域中有效像素的数目；
Figure 450215DEST_PATH_IMAGE006
表示图像中像素的总数。
S2.6、使用区域的有效像素占比结合区域的超参权重计算区域的动态权重,使用标准交叉熵损失结合对应区域的动态权重和卷积神经网络的预测值计算得到训练图像的最终损失值，具体如下：
Figure 206556DEST_PATH_IMAGE007
其中，
Figure 574084DEST_PATH_IMAGE008
表示训练图像的最终损失；
Figure 18972DEST_PATH_IMAGE003
表示边界区域或主体区域；
Figure 231778DEST_PATH_IMAGE009
表示图像中像素的总数；
Figure 45888DEST_PATH_IMAGE010
表示图像中某个像素；
Figure 522000DEST_PATH_IMAGE011
表示该像素点
Figure 188605DEST_PATH_IMAGE010
上卷积神经网络的预测值，即预测像素
Figure 736261DEST_PATH_IMAGE010
属于语义分割标注中该像素标注类别的概率；
Figure 968659DEST_PATH_IMAGE012
表示对应区域的超参权重；
Figure 645366DEST_PATH_IMAGE004
表示对应区域的有效像素占比。
S2.7、使用梯度下降法更新卷积神经网络的权重至收敛，得到训练完成的卷积神经网络。
S3、使用训练完成的卷积神经网络对给定场景中图像进行语义分割，包括以下步骤：
S3.1、输入待分割图像至训练完成的卷积神经网络；
S3.2、卷积神经网络进行前行传播，获取待分割图像中每个像素预测类别的概率分布；
S3.3、选择概率值最大的类别作为卷积神经网络的预测类别。
本实施例中，本发明所述基于区域分离的语义分割方法具有良好的适用性，可应用于现有的面向语义分割任务的深度卷积网络，在不修改网络结构的前提下，可有效提升多分类复杂场景下图像语义分割的精度，改善模型对于图像边界区域和小尺度对象的拟合效果。在Cityscapes这一多目标复杂街道场景数据集上，区域超参权重
Figure DEST_PATH_IMAGE013
和
Figure 64846DEST_PATH_IMAGE014
分别设为1.0、 0.5的情况下，应用本发明方法的FCN模型在验证集上取得了平均交并比（meanintersectionoverunion, mIoU）为73.58%的分割性能，而目前主流的使用交叉熵损失的FCN模型在相同条件下结果为72.16%。同样，相较于交叉熵损失，使用本发明的Deeplabv3模型在Cityscapes验证集上平均交并比由77.24%提升至78.30%；DANet模型由77.49%提升至77.84%。在PASCALVOC2012验证集上，
Figure 619455DEST_PATH_IMAGE013
和
Figure 440780DEST_PATH_IMAGE014
分别设为0.5、 0.2的情况下，使用本发明的FCN模型由70.30%提升至71.52%；Deeplabv3模型由77.44%提升至78.46%；DANet模型由77.19%提升至78.79%。本发明无需修改原始网络结构，保留了原始模型的推理效率。通过区域分离操作，缓解了由于复杂场景中边界区域和主体区域像素不平衡而影响模型训练效果的问题，提升了模型分割精度。同时本发明在不同模型和数据集上表现出良好的适用性，相较于交叉熵损失，使用本发明的模型分割精度均获得了明显提升。

Claims (9)

1.一种基于区域分离的图像语义分割方法，其特征在于，包括以下步骤：
S1、构建卷积神经网络；
S2、训练构建的卷积神经网络；包括以下步骤：
S2.1、获取训练图像和对应的语义分割标注；
S2.2、输入训练图像到步骤S1中构建的卷积神经网络，卷积神经网络以端到端的方式输出与输入图像尺寸一致的预测值；
S2.3、根据语义分割标注获取对应的语义分割标注边界；
S2.4、使用获得的语义分割标注边界和圆形填充的卷积核将语义分割标注分离为边界区域和主体区域；
S2.5、使用分离的边界区域和主体区域结合语义分割标注计算区域的有效像素占比；使用分离的边界区域和主体区域分别结合语义分割标注计算区域的有效像素占比，具体如下：
Figure FDA0003408508950000011
其中，region表示边界区域或主体区域；tregion表示对应区域的有效像素占比；cregion表示对应区域中有效像素的数目；cimage表示图像中像素的总数；
S2.6、使用区域的有效像素占比结合区域的超参权重计算区域的动态权重,使用标准交叉熵损失结合对应区域的动态权重和卷积神经网络的预测值计算得到训练图像的最终损失值；
S2.7、使用梯度下降法更新卷积神经网络的权重至收敛，得到训练完成的卷积神经网络；
S3、使用训练完成的卷积神经网络对给定场景中图像进行语义分割。
2.根据权利要求1所述的一种基于区域分离的图像语义分割方法，其特征在于，步骤S1中，构建的卷积神经网络为现有的面向语义分割任务的通用卷积神经网络。
3.根据权利要求1所述的一种基于区域分离的图像语义分割方法，其特征在于，步骤S1中，构建的卷积神经网络为FCN、Deeplabv3或DANet。
4.根据权利要求1所述的一种基于区域分离的图像语义分割方法，其特征在于，步骤S2.3中，根据语义分割标注获取对应的语义分割标注边界，具体如下：
将训练图像的语义分割标注向不同的多个方向分别平移一个像素单位，超出标注图像范围的像素被舍弃，空出的像素位置则以该像素位置的原始标注值填充，将语义分割标注分别与由此得到的多个中间结果相减；
对于语义分割标注图像中的任一像素，将该像素与八个相邻像素值相减后，得到相邻像素差值，若该像素与所有相邻像素值相等，则计算得到的该像素位置的相邻像素差值为零，说明该像素与其相邻像素属于同一类别，非边界像素；反之，若计算得到的某像素位置的相邻像素差值非零，则说明存在相邻像素与其属于不同类别，该像素为边界像素；
将计算得到的相邻像素差值中的非零值替换为1，得到训练图像的语义分割标注边界，其中，边界像素值为1，非边界像素值为0。
5.根据权利要求4所述的一种基于区域分离的图像语义分割方法，其特征在于，将训练图像的语义分割标注向不同的8个方向分别平移一个像素单位，超出标注图像范围的像素被舍弃，空出的像素位置则以该像素位置的原始标注值填充，将语义分割标注分别与由此得到的8个中间结果相减。
6.根据权利要求5所述的一种基于区域分离的图像语义分割方法，其特征在于，所述8个方向包括上、下、左、右、左上、右上、左下、右下。
7.根据权利要求1所述的一种基于区域分离的图像语义分割方法，其特征在于，步骤S2.4中，使用获得的语义分割标注边界和圆形填充的卷积核将语义分割标注分离为边界区域和主体区域，具体如下：
根据选取的阈值距离d，计算大小为(2d+1)×(2d+1)的圆形填充卷积核，其中，圆形填充卷积核中，到中心点距离小于等于d的位置取值为1，其余位置取值为0；
使用圆形填充卷积核将卷积运算作用于训练图像对应的语义分割标注边界，卷积步长为1，卷积操作不使用偏移值，使用0向图像外填充d个像素单位，得到区域分离结果图；由此得到的区域分离结果图与训练图像的尺寸相同，其中到边界距离小于等于d的像素点值为非零；反之，到边界距离大于d的像素点值为零；
将区域分离结果图中的非零值替换为1，得到分离的边界区域和主体区域；其中，边界区域中像素值为1，主体区域中像素值为0。
8.根据权利要求1所述的一种基于区域分离的图像语义分割方法，其特征在于，步骤S2.6中，使用区域的有效像素占比结合区域的超参权重计算区域的动态权重，使用标准交叉熵损失结合对应区域的动态权重和卷积神经网络的预测值计算得到训练图像的最终损失值，具体如下：
Figure FDA0003408508950000041
其中，L表示训练图像的最终损失；region表示边界区域或主体区域；N表示图像中像素的总数；i表示图像中某个像素；
Figure FDA0003408508950000042
表示该像素点i上卷积神经网络的预测值，即预测像素i属于语义分割标注中该像素标注类别的概率；λregion表示对应区域的超参权重；tregion表示对应区域的有效像素占比。
9.根据权利要求1-8任一项所述的一种基于区域分离的图像语义分割方法，其特征在于，步骤S3包括以下步骤：
S3.1、输入待分割图像至训练完成的卷积神经网络；
S3.2、卷积神经网络进行前向传播，获取待分割图像中每个像素预测类别的概率分布；
S3.3、选择概率值最大的类别作为卷积神经网络的预测类别。
CN202111268879.4A 2021-10-29 2021-10-29 一种基于区域分离的图像语义分割方法 Active CN113706561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111268879.4A CN113706561B (zh) 2021-10-29 2021-10-29 一种基于区域分离的图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111268879.4A CN113706561B (zh) 2021-10-29 2021-10-29 一种基于区域分离的图像语义分割方法

Publications (2)

Publication Number Publication Date
CN113706561A CN113706561A (zh) 2021-11-26
CN113706561B true CN113706561B (zh) 2022-03-29

Family

ID=78647631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111268879.4A Active CN113706561B (zh) 2021-10-29 2021-10-29 一种基于区域分离的图像语义分割方法

Country Status (1)

Country Link
CN (1) CN113706561B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444914A (zh) * 2020-03-23 2020-07-24 复旦大学 一种基于PU-Learning的图像语义分割方法
CN112966691A (zh) * 2021-04-14 2021-06-15 重庆邮电大学 基于语义分割的多尺度文本检测方法、装置及电子设备
WO2021155246A1 (en) * 2020-01-31 2021-08-05 Hover Inc. Techniques for enhanced image capture using a computer-vision network

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921161B (zh) * 2018-06-08 2021-03-23 Oppo广东移动通信有限公司 模型训练方法、装置、电子设备和计算机可读存储介质
CN109086770B (zh) * 2018-07-25 2021-12-17 成都快眼科技有限公司 一种基于精准尺度预测的图像语义分割方法及模型
CN111126251B (zh) * 2019-12-20 2022-08-02 深圳市商汤科技有限公司 图像处理方法、装置、设备和存储介质
CN112818775B (zh) * 2021-01-20 2023-07-25 北京林业大学 基于区域边界像素交换的林区道路快速识别方法及系统
CN113159051B (zh) * 2021-04-27 2022-11-25 长春理工大学 一种基于边缘解耦的遥感图像轻量化语义分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021155246A1 (en) * 2020-01-31 2021-08-05 Hover Inc. Techniques for enhanced image capture using a computer-vision network
CN111444914A (zh) * 2020-03-23 2020-07-24 复旦大学 一种基于PU-Learning的图像语义分割方法
CN112966691A (zh) * 2021-04-14 2021-06-15 重庆邮电大学 基于语义分割的多尺度文本检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN113706561A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN110428432B (zh) 结肠腺体图像自动分割的深度神经网络算法
CN109859190B (zh) 一种基于深度学习的目标区域检测方法
CN108399362B (zh) 一种快速行人检测方法及装置
JP2022529557A (ja) 医用画像分割方法、医用画像分割装置、電子機器及びコンピュータプログラム
CN111179229A (zh) 一种基于深度学习的工业ct缺陷检测方法
CN106372648A (zh) 基于多特征融合卷积神经网络的浮游生物图像分类方法
CN110414387A (zh) 一种基于道路分割的车道线多任务学习检测方法
CN113343789A (zh) 一种基于局部细节增强与边缘约束的高分辨率遥感影像土地覆盖分类方法
CN110738160A (zh) 一种结合人脸检测的人脸质量评估方法
CN111489370B (zh) 基于深度学习的遥感图像的分割方法
CN111597920B (zh) 一种自然场景下的全卷积单阶段的人体实例分割方法
CN110334719B (zh) 一种提取遥感影像中建筑物图像的方法及系统
CN110717921B (zh) 改进型编码解码结构的全卷积神经网络语义分割方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN109523558A (zh) 一种人像分割方法及系统
CN109360191B (zh) 一种基于变分自编码器的图像显著性检测方法
CN109636764A (zh) 一种基于深度学习与显著性检测的图像风格转移方法
CN110276378A (zh) 基于无人驾驶技术对实例分割的改进方法
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN114612872A (zh) 目标检测方法、装置、电子设备及计算机可读存储介质
CN115398475A (zh) 抠图实现方法、装置、设备及存储介质
CN115527096A (zh) 一种基于改进YOLOv5的小目标检测方法
CN113888505A (zh) 一种基于语义分割的自然场景文本检测方法
CN113706561B (zh) 一种基于区域分离的图像语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant