CN114463187B - 基于聚合边缘特征的图像语义分割方法及系统 - Google Patents
基于聚合边缘特征的图像语义分割方法及系统 Download PDFInfo
- Publication number
- CN114463187B CN114463187B CN202210387576.2A CN202210387576A CN114463187B CN 114463187 B CN114463187 B CN 114463187B CN 202210387576 A CN202210387576 A CN 202210387576A CN 114463187 B CN114463187 B CN 114463187B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- edge
- feature
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000002776 aggregation Effects 0.000 title claims abstract description 26
- 238000004220 aggregation Methods 0.000 title claims abstract description 26
- 230000011218 segmentation Effects 0.000 title claims description 49
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000003709 image segmentation Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 238000012800 visualization Methods 0.000 claims abstract description 6
- 230000009467 reduction Effects 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明特别涉及一种基于聚合边缘特征的图像分割方法，包括：特征提取模块，用于提取图像的浅层特征；特征融合模块，用于对浅层特征进行特征融合；上采样模块，用于对融合后的特征进行卷积降维操作，并对降维后的特征图进行上采样双线性插值处理得到与输入图尺寸相同的特征图；显著目标边缘图生成模块，用于对上采样模块输出的特征图进行相加，并对相加后的特征图进行可视化处理得到预测的显著目标边缘图。通过此网络可以有效的提取显著目标，以PC屏幕为例，我们的显著目标就是屏幕的边缘，而非所有线段，建立该网络并完成训练后，训练好的网络就能可靠的提取出显著目标边缘，提取结果中噪点少，保证后续对屏幕的识别更加准确。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于聚合边缘特征的图像语义分割方法及系统。
背景技术
目前计算机视觉技术应用于多个场景，包括图像分类、目标检测、三维重建以及语义分割等领域。随着互联网通信快速发展，智能化产品的竞争力需要更高级语义场景理解的技术突破。因此，语义分割作为计算机视觉的核心问题，能够帮助越来越多的产品自动高效地理解图像或影像中相关的知识或语义，从而达到智能化目标，减小人为的交互操作并提升客户的舒适感。当前这些产品已广泛应用于自动驾驶、人机交互、计算摄影学、图像搜索引擎、增强现实等领域。
计算机视觉中语义分割问题本质上是从粗糙推理逐渐到精细化推理的过程。刚开始要追溯到分类问题，即粗略地预测输入样本中的物体类别，之后就是目标物体的定位与检测，这不仅预测物体的类别，并且给出关于各类别空间位置的额外信息，比如中心点或物体区域的边框。在此基础上，语义分割可以理解为在检测领域上的细粒度预测，将测试图像输入分割网络，使预测的热图大小和输入图像保持一致，通道数等于类别数，分别代表了各空间位置属于各类别的概率，即可以逐像素地进行分类。
深度学习算法已成为语义分割技术的主流方向，且取得了重要突破和进展。全卷积网络FCN成为了深度学习技术应用于语义分割问题的基石，它可以接受任意尺寸的输入图像，通过若干个反卷积层对编码网络的最后一个卷积的特征图（feature map）进行上采样解码，使它恢复到输入图像相同的尺寸，从而可以对每一个像素都产生一个预测，同时保留了原始输入图像中的空间信息。随后在FCN网络的基础上，第一阶段衍生了多种语义分割模型，如编解码之间具有跳跃连接的对称网络U-Net，引入扩张卷积和使用条件随机场CRF进行后处理优化的DeepLab系列网络以及结合上下文信息进行特征融合的ParseNet。第二阶段随着Transformer模型结构应用于视觉领域，提升了关键区域和感兴趣对象的特征辨识能力，在诸多视觉任务中取得较好的表现。
虽然现有的语义分割在几个常见的应用和数据场景的技术突破越来越大，但在特定场景或应用下，单目标语义分割的效果和实用性有待提高，比如对于电脑PC屏幕的分割场景受部分遮挡以及光照等复杂因素的影响，其分割效果并不是很理想，并且在现有的模型结构下提升有限。
为了解决现有技术中屏幕分割效果不佳的情况，东北大学于2021年7月29日提交的专利申请《基于自适应特征融合的边缘感知图像语义分割方法》（申请号：2021108646799），其公开了一种基于自适应特征融合的边缘感知图像语义分割方法，是一种以残差网络为基础的新的语义分割方法，是一个双分支网络结构模型，包括边缘分支和语义分支，其中，边缘分支从语义分支的浅层部分被引出，语义分支采用了编码解码结构。在边缘分支中，加入的多尺度交叉融合操作通过叠加空洞率不同的空洞卷积获取图像多尺度特征，同时各个分支之间的交叉融合可以进一步提升多尺度特征的鲁棒性，在语义分支中基于空间注意力机制对深层特征和浅层特征进行融合，可以在获得浅层特征中含有的丰富空间信息的同时，过滤其含有的大量噪声；最后对语义分支特征和边缘分支特征进行融合，进一步优化分割效果。此方案中，通过引入双分支网络，分别对图像中目标边缘特征和目标区域特征进行提取，最后再取交集，这样可以得到更加准确的分割效果。此案中，所采用的的边缘分支特征提取方案噪声很多，比如对PC屏幕进行边缘提取时，由于屏幕边缘多为直线，而图像中其他物体也常出现直线边缘，故而导致边缘分支特征提取的不准确，进一步影响最终的目标提取。
中国地质大学（武汉）申请的专利《基于双流深度网络的农田识别方法、装置及存储介质》（申请号：2021114441870）中，同样采用了边缘检测网络和语义分割网络对目标进行识别，该方案中采用的是基于DexiNed的农田边缘检测网络，同样会存在上述不足。
发明内容
本发明的首要目的在于提供一种基于聚合边缘特征的图像分割方法，能够准确的提取出显著目标边缘特征。
为实现以上目的，本发明采用的技术方案为：一种基于聚合边缘特征的图像分割方法，包括：特征提取模块，用于提取图像的浅层特征得到不同尺度的浅层特征图
；特征融合模块，用于对特征图
进行特征融合得到特征图
；上采样模块，用于对特征图
进行卷积降维操作得到单通道特征图
，并对单通道特征图
进行上采样双线性插值处理得到与输入图尺寸相同的特征图
，其中
；显著目标边缘图生成模块，用于对特征图
进行相加，并对相加后的特征图进行可视化处理得到预测的显著目标边缘图。
本发明的第二个目的在于提供一种基于聚合边缘特征的图像分割方法，提高识别出的显著目标边缘的精确性。
为实现以上目的，本发明采用的技术方案为：一种基于聚合边缘特征的图像分割方法，包括如下步骤：获取第一训练集；按照前述的方法构建第一网络；利用所述的第一训练集对所述的第一网络进行训练，训练完成后得到训练好的第一网络；将待检测图像输入训练好的第一网络得到预测的显著目标边缘图，该图中显著目标边框轮廓与背景区域相异。
与现有技术相比，上述分割网络和分割方法存在以下技术效果：通过提取浅层特征，并进行特征融合，再利用上采样双线性插值处理，可以有效的提取显著目标，比如对于PC屏幕来说，我们的显著目标就是屏幕的边缘，而非所有线段，建立该网络后，我们只需要利用标记好显著目标的图像集对其进行训练，训练好的网络就能可靠的提取出显著目标边缘，提取结果中噪点少，保证后续对屏幕的识别更加准确。
本发明的第三个目的在于提供一种基于聚合边缘特征的图像语义分割方法，能够更加准确的分割出所需目标。
为实现以上目的，本发明采用的技术方案为：一种基于聚合边缘特征的PC屏幕语义分割方法，包括如下步骤：获取第一训练集和第二训练集；按照前述的方法构建第一网络，构建基于语义分割的第二网络；利用所述的第一训练集对所述的第一网络进行训练，训练完成后得到训练好的第一网络；利用所述的第二训练集对所述的第二网络进行训练，训练完成后得到训练好的第二网络；将待检测图像分别输入训练好的第一网络、第二网络，得到预测的显著目标边缘图、预测热图，预测的显著目标边缘图中显著目标边框轮廓与背景区域相异，预测热图中目标区域与背景区域相异；计算预测的显著目标边缘图中显著目标边框轮廓内的区域和预测热图中目标区域的交集，并将此交集作为待检测图像的目标区域输出。
本发明的第四个目的在于提供一种基于聚合边缘特征的图像语义分割系统，能够更加准确的分割出所需目标。
为实现以上目的，本发明采用的技术方案为：一种基于聚合边缘特征的图像语义分割系统，包括第一网络模块、第二网络模块以及图像处理模块；所述的第一网络模块中存储有训练好的第一网络用于对待检测图像进行处理得到预测的显著目标边缘图，该图中显著目标边框轮廓与背景区域相异，第一网络按照前述的方法构建；所述的第二网络模块中存储有训练好的第二网络用于对待检测图像进行处理得到预测热图，该图中目标区域与背景区域相异；图像处理模块用于计算预测的显著目标边缘图中显著目标边框轮廓内的区域和预测热图中目标区域的交集并将此交集作为待检测图像的目标区域输出。
与现有技术相比，本发明存在以下技术效果：通过由前述网络结构构成的第一网络来提取显著目标边缘，能够准确的提取出目标的显著边缘特征；再通过基于语义分割的第二网络来提取目标区域，最后对两者进行融合，得到更准确的分割效果；由于边缘特征提取更加准确，再后面进行融合时得到的最终分割效果也更加精确。
附图说明
图1是本发明中基于聚合边缘特征的图像分割网络结构图；
图2是本发明中基于聚合边缘特征的图像分割方法流程图；
图3是本发明中基于聚合边缘特征的图像语义分割方法流程图；
图4是本发明中基于聚合边缘特征的图像语义分割网络结构图；
图5是本发明中基于聚合边缘特征的图像语义分割系统框图。
具体实施方式
下面结合图1至图5，对本发明做进一步详细叙述。
参阅图1，本发明公开了一种基于聚合边缘特征的图像分割方法，包括：特征提取模块，用于提取图像的浅层特征得到不同尺度的浅层特征图
；特征融合模块，用于对特征图
进行特征融合得到特征图
；上采样模块，用于对特征图
进行卷积降维操作得到单通道特征图
，并对单通道特征图
进行上采样双线性插值处理得到与输入图尺寸相同的特征图
，其中
；显著目标边缘图生成模块，用于对特征图
进行相加，并对相加后的特征图进行可视化处理得到预测的显著目标边缘图。通过提取浅层特征，并进行特征融合，再利用上采样双线性插值处理，可以有效的提取显著目标，比如对于PC屏幕来说，我们的显著目标就是屏幕的边缘，而非所有线段，建立该网络后，我们只需要利用标记好显著目标的图像集对其进行训练，训练好的网络就能可靠的提取出显著目标边缘，提取结果中噪点少，保证后续对屏幕的识别更加准确。
特征融合的方案有很多，本发明中优选地，所述的特征融合模块按如下步骤对特征图
进行特征融合得到特征图
包括：对特征图
进行卷积处理得到特征图
，特征图
与特征图
相比通道数减少但尺寸不变；对特征图
进行上采样双线性插值处理得到特征图
，特征图
与特征图
相比通道数不变且尺寸与特征图
相同；取特征图
的部分通道与特征图
进行叠加得到特征图
，特征图
和特征图
通道数不变且尺寸相同；对特征图
进行卷积处理得到特征图
，特征图
与特征图
相比通道数减少但尺寸不变；以此类推，得到特征图
。以图1为例，这里的N等于3，我们先得到特征图
，再通过特征图
和特征图
的融合得到特征图
，再通过特征图
和特征图
的融合得到特征图
，通过上述步骤，我们可以更加精准地实现显著目标边缘的提取，噪点非常少。
进一步地，所述的单通道特征图
和特征图
的尺寸相同，特征图
通道数为1；对特征图
进行相加即将N个特征图中相同位置的特征值相加，可视化处理包括：对相加后的特征图进行归一化操作得到概率分布矩阵；按照设定阈值对概率分布矩阵进行二值化处理即得到预测的显著目标边缘图。通过该步骤，可以方便的从不同尺度的浅层特征图中提取出特征图
，进而实现显著目标边框轮廓与背景区域的分类。
本发明还公开了一种基于聚合边缘特征的图像分割方法，包括如下步骤：获取第一训练集，收集多张图像并对每张图像进行像素级的分类标注，若目标为屏幕，则标注的即为屏幕边缘轮廓；按照前述的方法构建第一网络；利用所述的第一训练集对所述的第一网络进行训练，训练完成后得到训练好的第一网络；将待检测图像输入训练好的第一网络得到预测的显著目标边缘图，该图中显著目标边框轮廓与背景区域相异。需要注意的是，对不同的目标进行识别时，尽量建立各自对应的第一网络，比如，我们常用的对PC屏幕进行分割，那么我们第一训练集中多为包括屏幕的图像，训练得到的第一网络也仅用于提取PC屏幕的显著边缘特征，而不能用于提取其他目标的边缘特征。
参阅图3和图4，本发明还公开了一种基于聚合边缘特征的图像语义分割方法，包括如下步骤：获取第一训练集和第二训练集；按照前述的方法构建第一网络，构建基于语义分割的第二网络；利用所述的第一训练集对所述的第一网络进行训练，训练完成后得到训练好的第一网络；利用所述的第二训练集对所述的第二网络进行训练，训练完成后得到训练好的第二网络；将待检测图像分别输入训练好的第一网络、第二网络，得到预测的显著目标边缘图、预测热图，预测的显著目标边缘图中显著目标边框轮廓与背景区域相异，预测热图中目标区域与背景区域相异；计算预测的显著目标边缘图中显著目标边框轮廓内的区域和预测热图中目标区域的交集，并将此交集作为待检测图像的目标区域输出。通过由前述网络结构构成的第一网络来提取显著目标边缘，能够准确的提取出目标的显著边缘特征；再通过基于语义分割的第二网络来提取目标区域，最后对两者进行融合，得到更准确的分割效果；由于边缘特征提取更加准确，再后面进行融合时得到的最终分割效果也更加精确。此处的思路与背景技术中提及的两篇专利文献中的方案类似，不同的是，这里采用的是我们前面述及的第一网络进行显著目标边缘轮廓的提取。
参阅图4，进一步地，为了进一步优化第一网络和第二网络，尽可能的增加这两个网络模型的关联性且减少网络模型的复杂程度，本发明中将第一网络和第二网络融合在一起，具体地，所述第二网络为U-Net网络，其包括编码器和解码器；编码器包括M个卷积池化层，其前N层构成第一网络的特征提取模块，且N＜M，这个N一般取值为2-3，并且与编码器的层数成正比；第二网络训练时编码器前N层参数固定，这样可以更加快速的完成融合后网络模型的训练。
在训练时，第一数据集是人工标记的显著目标边缘轮廓图，并采用交叉熵损失来作为损失函数对第一网络进行优化。第二数据集是人工标记的屏幕热图，并采用focalloss损失来作为损失函数对第二网络进行优化微调，focal loss损失就是在交叉熵损失的基础上加一个权重系数来度量难分类和易分类样本对总损失的贡献。交叉熵损失和focalloss损失常用于分类问题中，是深度学习中应用最广泛的损失函数，因此这里不再对这两种损失函数的具体公式或计算细节做更多阐述。
参阅图5，本发明还公开了一种基于聚合边缘特征的图像语义分割系统，包括第一网络模块、第二网络模块以及图像处理模块；所述的第一网络模块中存储有训练好的第一网络用于对待检测图像进行处理得到预测的显著目标边缘图，该图中显著目标边框轮廓与背景区域相异；所述的第二网络模块中存储有训练好的第二网络用于对待检测图像进行处理得到预测热图，该图中目标区域与背景区域相异，第一网络按照前述的方法构建；图像处理模块用于计算预测的显著目标边缘图中显著目标边框轮廓内的区域和预测热图中目标区域的交集并将此交集作为待检测图像的目标区域输出。第一网络模块和第二网络模块分别用于实现第一网络和第二网络的处理功能，图像处理模块用于对两个网络模块输出的图像进行综合判断，从而可以得到更准确的目标区域。
本发明还公开了一种计算机可读存储介质和一种电子设备。其中，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前所述的基于聚合边缘特征的图像分割方法或基于聚合边缘特征的图像语义分割方法。一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序时，实现如前所述的基于聚合边缘特征的图像分割方法或基于聚合边缘特征的图像语义分割方法。
Claims (9)
1.一种基于聚合边缘特征的图像分割方法，其特征在于：包括：
特征提取模块，用于提取图像的浅层特征得到不同尺度的浅层特征图
；
特征融合模块，用于对特征图
进行特征融合得到特征图
；
上采样模块，用于对特征图
进行卷积降维操作得到单通道特征图
，并对单通道特征图
进行上采样双线性插值处理得到与输入图尺寸相同的特征图
，其中
；
显著目标边缘图生成模块，用于对特征图
进行相加，并对相加后的特征图进行可视化处理得到预测的显著目标边缘图；
所述的特征融合模块按如下步骤对特征图
进行特征融合得到特征图
包括：
对特征图
进行卷积处理得到特征图
，特征图
与特征图
相比通道数减少但尺寸不变；
对特征图
进行上采样双线性插值处理得到特征图
，特征图
与特征图
相比通道数不变且尺寸与特征图
相同；
取特征图
的部分通道与特征图
进行叠加得到特征图
，特征图
和特征图
通道数不变且尺寸相同；
对特征图
进行卷积处理得到特征图
，特征图
与特征图
相比通道数减少但尺寸不变；
以此类推，得到特征图
。
2.如权利要求1所述的基于聚合边缘特征的图像分割方法，其特征在于：所述的单通道特征图
和特征图
的尺寸相同，特征图
通道数为1；对特征图
进行相加即将N个特征图中相同位置的特征值相加，可视化处理包括：
对相加后的特征图进行归一化操作得到概率分布矩阵；
按照设定阈值对概率分布矩阵进行二值化处理即得到预测的显著目标边缘图。
3.一种基于聚合边缘特征的图像分割方法，其特征在于：包括如下步骤：
获取第一训练集；
按照权利要求1中的方法构建第一网络；
利用所述的第一训练集对所述的第一网络进行训练，训练完成后得到训练好的第一网络；
将待检测图像输入训练好的第一网络得到预测的显著目标边缘图，该图中显著目标边框轮廓与背景区域相异。
4.一种基于聚合边缘特征的图像语义分割方法，其特征在于：包括如下步骤：
获取第一训练集和第二训练集；
按照权利要求1中的方法构建第一网络，构建基于语义分割的第二网络；
利用所述的第一训练集对所述的第一网络进行训练，训练完成后得到训练好的第一网络；
利用所述的第二训练集对所述的第二网络进行训练，训练完成后得到训练好的第二网络；
将待检测图像分别输入训练好的第一网络、第二网络，得到预测的显著目标边缘图、预测热图，预测的显著目标边缘图中显著目标边框轮廓与背景区域相异，预测热图中目标区域与背景区域相异；
计算预测的显著目标边缘图中显著目标边框轮廓内的区域和预测热图中目标区域的交集，并将此交集作为待检测图像的目标区域输出。
5.如权利要求4所述的基于聚合边缘特征的图像语义分割方法，其特征在于：所述第二网络为U-Net网络，其包括编码器和解码器；编码器包括M个卷积池化层，其前N层构成第一网络的特征提取模块，且N＜M；第二网络训练时编码器前N层参数固定。
6.如权利要求5所述的基于聚合边缘特征的图像语义分割方法，其特征在于：所述的第一网络训练时使用交叉熵损失进行优化，第二网络训练时使用focal loss损失进行优化微调。
7.一种基于聚合边缘特征的图像语义分割系统，其特征在于：包括第一网络模块、第二网络模块以及图像处理模块；所述的第一网络模块中存储有训练好的第一网络用于对待检测图像进行处理得到预测的显著目标边缘图，该图中显著目标边框轮廓与背景区域相异，第一网络按照权利要求1中的方法构建；所述的第二网络模块中存储有训练好的第二网络用于对待检测图像进行处理得到预测热图，该图中目标区域与背景区域相异；图像处理模块用于计算预测的显著目标边缘图中显著目标边框轮廓内的区域和预测热图中目标区域的交集并将此交集作为待检测图像的目标区域输出。
8.一种计算机可读存储介质，其特征在于：其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-3中任一项所述的基于聚合边缘特征的图像分割方法或4-6中任一项所述的基于聚合边缘特征的图像语义分割方法。
9.一种电子设备，其特征在于：包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-3中任一项所述的基于聚合边缘特征的图像分割方法或4-6中任一项所述的基于聚合边缘特征的图像语义分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210387576.2A CN114463187B (zh) | 2022-04-14 | 2022-04-14 | 基于聚合边缘特征的图像语义分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210387576.2A CN114463187B (zh) | 2022-04-14 | 2022-04-14 | 基于聚合边缘特征的图像语义分割方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114463187A CN114463187A (zh) | 2022-05-10 |
| CN114463187B true CN114463187B (zh) | 2022-06-17 |
Family
ID=81418488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210387576.2A Active CN114463187B (zh) | 2022-04-14 | 2022-04-14 | 基于聚合边缘特征的图像语义分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114463187B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118657945A (zh) * | 2024-08-19 | 2024-09-17 | 杭州汇萃智能科技有限公司 | 一种融合边缘特征细节的实时语义分割系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10402977B1 (en) * | 2019-01-25 | 2019-09-03 | StradVision, Inc. | Learning method and learning device for improving segmentation performance in road obstacle detection required to satisfy level 4 and level 5 of autonomous vehicles using laplacian pyramid network and testing method and testing device using the same |
| CN112508973A (zh) * | 2020-10-19 | 2021-03-16 | 杭州电子科技大学 | 一种基于深度学习的mri图像分割方法 |
| CN112837218A (zh) * | 2021-01-14 | 2021-05-25 | 中国科学院自动化研究所 | 基于双流边界感知的动脉瘤图像分析系统、方法和设备 |
| CN113012150A (zh) * | 2021-04-14 | 2021-06-22 | 南京农业大学 | 一种特征融合的高密度稻田无人机图像稻穗计数方法 |
| CN113592894A (zh) * | 2021-08-29 | 2021-11-02 | 浙江工业大学 | 一种基于边界框和同现特征预测的图像分割方法 |
| CN113658200A (zh) * | 2021-07-29 | 2021-11-16 | 东北大学 | 基于自适应特征融合的边缘感知图像语义分割方法 |
| CN113869396A (zh) * | 2021-09-26 | 2021-12-31 | 合肥高维数据技术有限公司 | 基于高效注意力机制的pc屏幕语义分割方法 |
| CN114120125A (zh) * | 2021-11-30 | 2022-03-01 | 中国地质大学（武汉） | 基于双流深度网络的农田识别方法、装置及存储介质 |
| CN114155375A (zh) * | 2021-09-28 | 2022-03-08 | 中国科学院自动化研究所 | 机场道面病害检测的方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111292330A (zh) * | 2020-02-07 | 2020-06-16 | 北京工业大学 | 基于编解码器的图像语义分割方法及装置 |
-
2022
- 2022-04-14 CN CN202210387576.2A patent/CN114463187B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10402977B1 (en) * | 2019-01-25 | 2019-09-03 | StradVision, Inc. | Learning method and learning device for improving segmentation performance in road obstacle detection required to satisfy level 4 and level 5 of autonomous vehicles using laplacian pyramid network and testing method and testing device using the same |
| CN112508973A (zh) * | 2020-10-19 | 2021-03-16 | 杭州电子科技大学 | 一种基于深度学习的mri图像分割方法 |
| CN112837218A (zh) * | 2021-01-14 | 2021-05-25 | 中国科学院自动化研究所 | 基于双流边界感知的动脉瘤图像分析系统、方法和设备 |
| CN113012150A (zh) * | 2021-04-14 | 2021-06-22 | 南京农业大学 | 一种特征融合的高密度稻田无人机图像稻穗计数方法 |
| CN113658200A (zh) * | 2021-07-29 | 2021-11-16 | 东北大学 | 基于自适应特征融合的边缘感知图像语义分割方法 |
| CN113592894A (zh) * | 2021-08-29 | 2021-11-02 | 浙江工业大学 | 一种基于边界框和同现特征预测的图像分割方法 |
| CN113869396A (zh) * | 2021-09-26 | 2021-12-31 | 合肥高维数据技术有限公司 | 基于高效注意力机制的pc屏幕语义分割方法 |
| CN114155375A (zh) * | 2021-09-28 | 2022-03-08 | 中国科学院自动化研究所 | 机场道面病害检测的方法、装置、电子设备及存储介质 |
| CN114120125A (zh) * | 2021-11-30 | 2022-03-01 | 中国地质大学（武汉） | 基于双流深度网络的农田识别方法、装置及存储介质 |
Non-Patent Citations (6)
| Title |
|---|
| MDCC-Net: Multiscale double-channel convolution U-Net framework for colorectal tumor segmentation;Suichang Zheng等;《Computers in Biology and Medicine》;20211231;第1-8页 * |
| Region-to-boundary deep learning model with multi-scale feature fusion for medical image segmentation;xiaowei Liu;《Biomedical Signal Processing and Control》;20210917;第1-10页 * |
| SegNet: A Deep Convolutional Encoder-Decoder Architecture for Scene Segmentation;Vijay Badrinarayanan等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20171231;第1-14页 * |
| UCTransNet: Rethinking the Skip Connections in U-Net from a Channel-wise Perspective with Transformer;HaonanWang;《arXiv:2109.04335v3》;20220125;第1-9页 * |
| U-Net: Convolutional Networks for Biomedical Image Segmentation;Olaf Ronneberger,等;《arXiv:1505.04597v1》;20150518;第1-8页 * |
| 基于深度学习的语义分割综述;杨洁洁等;《长江信息通信》;20220228;第69-72页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114463187A (zh) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325751B (zh) | 基于注意力卷积神经网络的ct图像分割系统 | |
| CN111050219B (zh) | 用于利用空间-时间记忆网络处理视频内容的方法和系统 | |
| CN109190752B (zh) | 基于深度学习的全局特征和局部特征的图像语义分割方法 | |
| CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
| CN110866938A (zh) | 一种全自动视频运动目标分割方法 | |
| Wang et al. | TF-SOD: a novel transformer framework for salient object detection | |
| Yu et al. | Progressive refined redistribution pyramid network for defect detection in complex scenarios | |
| CN118096799B (zh) | 一种混合弱监督的晶圆sem缺陷分割方法和系统 | |
| CN115035172B (zh) | 基于置信度分级及级间融合增强的深度估计方法及系统 | |
| Liu et al. | Asflow: Unsupervised optical flow learning with adaptive pyramid sampling | |
| CN114463187B (zh) | 基于聚合边缘特征的图像语义分割方法及系统 | |
| CN117557779A (zh) | 一种基于yolo的多尺度目标检测方法 | |
| Ning et al. | Trap attention: Monocular depth estimation with manual traps | |
| Wang et al. | Global contextual guided residual attention network for salient object detection | |
| CN113657225B (zh) | 一种目标检测方法 | |
| CN114494272A (zh) | 一种基于深度学习的金属零件快速分割方法 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN110942463B (zh) | 一种基于生成对抗网络的视频目标分割方法 | |
| Huang et al. | DeeptransMap: a considerably deep transmission estimation network for single image dehazing | |
| Xiu et al. | Double discriminative face super-resolution network with facial landmark heatmaps | |
| Li et al. | A review of advances in image inpainting research | |
| CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
| Kim et al. | Tackling Structural Hallucination in Image Translation with Local Diffusion | |
| Zhao et al. | Defocus blur detection via adaptive cross-level feature fusion and refinement | |
| CN112529081A (zh) | 基于高效注意力校准的实时语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |