CN114693925A - 图像分割的方法、装置、计算机设备及存储介质 - Google Patents
图像分割的方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114693925A CN114693925A CN202210253881.2A CN202210253881A CN114693925A CN 114693925 A CN114693925 A CN 114693925A CN 202210253881 A CN202210253881 A CN 202210253881A CN 114693925 A CN114693925 A CN 114693925A
- Authority
- CN
- China
- Prior art keywords
- image
- original image
- heat map
- segmentation
- attention feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000011218 segmentation Effects 0.000 claims abstract description 88
- 238000013526 transfer learning Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000137 annealing Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 10
- 238000013508 migration Methods 0.000 description 6
- 230000005012 migration Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像识别领域，特别是涉及到一种图像分割的方法、装置、计算机设备及存储介质，所述方法包括：获取原始图像；使用预训练的标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签；基于卷积网络识别所述原始图像的特征，并根据所述特征计算所述原始图像的注意力特征热图；将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图；根据缩放后的注意力特征热图与所述像素级标签对所述原始图像进行半监督分割，得到分割图像。本发明能够提高图像分割的准确性。
Description
技术领域
本发明涉及到图像识别领域，特别是涉及到一种图像分割的方法、装置、计算机设备及存储介质。
背景技术
随着成像技术的发展，数字影像已成为医学的主要数据，图像分割是计算机视觉系统的重要组成部分，在医学图像分析、场景理解等领域都有着广泛的应用。然而与分类任务相比，目前图像分割技术的分割结果中经常会出类矩形框的现象，效果并不理想。与此同时，模型在实际中遇到的数据可能会面临很多的噪声干扰或者出现与训练集分布不一样的情况，此时模型的表现就会很差，导致计算机视觉系统中图像分割的准确率低。
发明内容
本发明的主要目的为提供一种图像分割的方法、装置、计算机设备及存储介质，旨在解决目前计算机视觉系统中图像分割的准确率低的问题。
为了实现上述发明目的，本发明提出一种图像分割的方法，所述包括：
获取原始图像；
使用预训练的标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签；
基于预设卷积网络识别所述原始图像的特征，并根据所述特征计算所述原始图像的注意力特征热图；
将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图；
根据所述注意力特征热图与所述像素级标签对所述原始图像进行半监督分割，得到分割图像。
进一步地，所述基于预设卷积网络识别所述原始图像的特征，并根据所述特征计算所述原始图像的注意力特征热图，包括：
获取预设卷积网络的若干个不同卷积层；
将所述原始图像依次输入至对应的卷积层，获取每一层卷积层识别得到的所述原始图像的特征；
根据所述特征计算所述原始图像在每一个卷积层的注意力特征热图。
进一步地，所述将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图，包括：
获取每一个卷积层的注意力特征热图的当前尺寸；
获取所述原始图像的原始尺寸；
根据所述当前尺寸与所述原始尺寸计算缩放比例；
根据所述缩放比例将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到对应卷积层的缩放后的注意力特征热图。
进一步地，所述将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图之后，还包括：
将所述缩放后的注意力特征热图与原始图像进行融合映射，得到超分辨率的注意力特征热图。
进一步地，所述将所述缩放后的注意力特征热图与原始图像进行融合映射，得到超分辨率的注意力特征热图，包括：
获取若干个不同尺度的梯度图；
获取所述梯度图对应的融合方式；
基于所述梯度图对应的融合方式将所述缩放后的注意力特征热图与原始图像进行融合映射，得到超分辨率的注意力特征热图。
进一步地，所述根据所述注意力特征热图与所述像素级标签对所述原始图像进行半监督分割之前，还包括：
获取分割任务的学习率；
根据所述学习率配置分割网络的分割参数，以根据所述分割参数对所述原始图像进行半监督分割。
进一步地，所述获取分割任务的学习率，包括：
获取训练图像集；所述训练图像集包括像素级标签图像以及热力图标签图像；
计算所述像素级标签图像的二值交叉熵损失；
计算所述热力图标签图像的回归损失；
将所述二值交叉熵损失、所述回归损失、所述像素级标签图像以及所述热力图标签图像输入至分割网络进行训练，并基于余弦退火方式调整所述分割网络的初始学习率，直至所述初始学习率满足预设的分割要求，得到目标学习率。
本发明还提供一种图像分割的装置，所述装置包括：
图像获取模块，用于获取原始图像；
标签标注模块，用于使用预训练的标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签；
热图提取模块，用于基于预设卷积网络识别所述原始图像的特征，并根据所述特征计算所述原始图像的注意力特征热图；
热图缩放模块，用于将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图；
监督分割模块，用于根据所述注意力特征热图与所述像素级标签对所述原始图像进行半监督分割，得到分割图像。
本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述图像分割的方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述图像分割的方法。
本发明例提供了一种基于像素级标签以及热力图的图像自监督学习分割的方法，开发一图像分割系统，所述图像分割系统配置有所述图像分割的方法，通过所述图像分割系统对输入的原始图像进行分割，分割后便可以准确地对图像进行识别，首先获取原始图像，然后为所述原始图像进行标签标注，使用预训练的标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签，即对原始图像对应规格的像素级的图像进行标注，使得每一个原始图像对应规格的像素级的图像均有对应的标签，再基于预设卷积网络识别所述原始图像的特征，卷积网络能够将所述原始图像中存在的低维度特征和高维度特征进行提取，所述低维度特征包括形状特征、位置特征，所述高维度特征包括图像的纹理特征以及图像的颜色特征，然后根据识别得到的所述特征计算所述原始图像的注意力特征热图，即将所述低维度特征和高维度特征转化为对应的热力图形式，从而准确地反映原始图像的特征分布，再将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图，缩放后的注意力特征热图能够与原始图像尺寸相互匹配，并且能够匹配到每一个规格的像素级的图像对应的标签，从而基于所述注意力特征热图进行分割，再基于所述像素级标签进行自监督学习，从而得到分割图像，能够通过注意力特征热图对原始图形进行特征的分割，再基于像素级标签对特征分割后的图像进行自监督学习、矫正，从而得到准确的分割图像，提高图像分割、识别的准确性。
附图说明
图1为本发明所述图像分割的方法的一实施例流程示意图；
图2为本发明所述计算所述原始图像的注意力特征热图的一实施例结构示意图；
图3为本发明所述注意力特征热图缩放的一实施例结构示意图；
图4为本发明所述得到缩放后的注意力特征热图之后的一实施例结构示意图；
图5为本发明所述得到超分辨率的注意力特征热图的一实施例结构示意图；
图6为本发明所述对所述原始图像进行半监督分割之前的一实施例结构示意图；
图7为本发明所述获取分割任务的学习率的一实施例结构示意图；
图8为本发明所述图像分割的装置的一实施例结构示意图；
图9为本发明所述计算机设备的一实施例结构示意框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，本发明实施例提供一种图像分割的方法，所述图像分割的方法包括步骤S101-S105，对于所述图像分割的方法的各个步骤的详细阐述如下。
S101、获取原始图像。
本实施例应用于计算机视觉系统的图像分割场景中，尤其是医学图像分析、医学图像分割的场景，本实施例开发一图像分割系统，所述图像分割系统配置有所述图像分割的方法，通过所述图像分割系统对输入的原始图像进行分割，分割后便可以准确地对图像进行识别，具体的，所述图像分割系统可以对接其他医疗设备，当其他医疗设备拍摄到医学影像后，从而获取所述医学影像，首先接收输入的医学影像，即获取原始图像。
S102、使用预训练的标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签。
本实施例中，在获取原始图像之后，为了准确地对原始图像进行分割、识别，首先为所述原始图像进行标签标注，具体的，使用预训练的标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签，在一种实施方式中，所述标签模型使用Resnet18模型，所述标签模型对自然图像具有非常好的捕获能力，能够捕获所述原始图像中的像素级图像，再对捕获得到的像素级图像进行迁移学习，具体的，将学习得到的医学领域的先验知识应用至所述标签模型，使得所述标签模型能够学习到所述医学领域的先验知识，然后根据标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签，即对原始图像对应规格的像素级的图像进行标注，使得每一个原始图像对应规格的像素级的图像均有对应的标签。
S103、基于预设卷积网络识别所述原始图像的特征，并根据所述特征计算所述原始图像的注意力特征热图。
本实施例中，在使用预训练的标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签后，还基于卷积网络识别所述原始图像的特征，卷积网络能够将所述原始图像中存在的低维度特征和高维度特征进行提取，所述低维度特征包括形状特征、位置特征，即图像包含的形状以及所述形状的位置，所述高维度特征包括图像的纹理特征以及图像的颜色特征，然后根据识别得到的所述特征计算所述原始图像的注意力特征热图，将所述原始图像包含的低维度特征和高维度特征定义为注意力特征，然后根据所述原始图像包含的低维度特征和高维度特征计算原始图像的注意力特征热图，即将所述低维度特征和高维度特征转化为对应的热力图形式，从而准确地反映原始图像的特征分布。
S104、将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图。
本实施例中，在基于卷积网络识别所述原始图像的特征，并根据所述特征计算所述原始图像的注意力特征热图之后，由于卷积网络随着卷积层数的增加，生成的图像越来越小，基于卷积网络识别所述原始图像的特征，并根据所述特征计算所述原始图像的注意力特征热图随着卷积层数的增加得到的注意力特征热图越来越小，因此将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图。
S105、根据所述注意力特征热图与所述像素级标签对所述原始图像进行半监督分割，得到分割图像。
本实施例中，在使用预训练的标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签以及将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图之后，根据缩放后的注意力特征热图与所述像素级标签对所述原始图像进行半监督分割，具体的，缩放后的注意力特征热图能够与原始图像尺寸相互匹配，并且能够匹配到每一个规格的像素级的图像对应的标签，从而基于所述注意力特征热图进行分割，再基于所述像素级标签进行自监督学习，从而得到分割图像，能够通过注意力特征热图对原始图形进行特征的分割，再基于像素级标签对特征分割后的图像进行自监督学习、矫正，从而得到准确的分割图像，提高图像分割、识别的准确性。
本实施例提供了一种基于像素级标签以及热力图的图像自监督学习分割的方法，开发一图像分割系统，所述图像分割系统配置有所述图像分割的方法，通过所述图像分割系统对输入的原始图像进行分割，分割后便可以准确地对图像进行识别，首先获取原始图像，然后为所述原始图像进行标签标注，使用预训练的标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签，即对原始图像对应规格的像素级的图像进行标注，使得每一个原始图像对应规格的像素级的图像均有对应的标签，再基于卷积网络识别所述原始图像的特征，卷积网络能够将所述原始图像中存在的低维度特征和高维度特征进行提取，所述低维度特征包括形状特征、位置特征，所述高维度特征包括图像的纹理特征以及图像的颜色特征，然后根据识别得到的所述特征计算所述原始图像的注意力特征热图，即将所述低维度特征和高维度特征转化为对应的热力图形式，从而准确地反映原始图像的特征分布，再将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图，缩放后的注意力特征热图能够与原始图像尺寸相互匹配，并且能够匹配到每一个规格的像素级的图像对应的标签，从而基于所述注意力特征热图进行分割，再基于所述像素级标签进行自监督学习，从而得到分割图像，能够通过注意力特征热图对原始图形进行特征的分割，再基于像素级标签对特征分割后的图像进行自监督学习、矫正，从而得到准确的分割图像，提高图像分割、识别的准确性。
在一个实施例中，如图2所示，所述基于预设卷积网络识别所述原始图像的特征，并根据所述特征计算所述原始图像的注意力特征热图，包括以下步骤S201-S203：
S201，获取预设卷积网络的若干个不同卷积层；
S202，将所述原始图像依次输入至对应的卷积层，获取每一层卷积层识别得到的所述原始图像的特征；
S203，根据所述特征计算所述原始图像在每一个卷积层的注意力特征热图。
本实施例中，在基于卷积网络识别所述原始图像的特征，并根据所述特征计算所述原始图像的注意力特征热图的过程中，所述卷积网络包含不同的卷积层，每一层卷积层能够识别图像的不同特征，不同卷积层以其维度进行区分，例如卷积网络包括1-10共10个维度的卷积层，例如高维度的卷积层负责识别原始图像的高维度特征，低维度的卷积层负责识别原始图像的低维度特征，获取所述卷积网络的若干个不同卷积层，然后将所述原始图像依次输入至对应的卷积层，获取每一层卷积层识别得到的所述原始图像的特征，从而快速、准确地识别出不同维度的特征，并且不同卷积层之间可以设置为相互独立的，再根据所述特征计算所述原始图像在每一个卷积层的注意力特征热图，从而得到准确的注意力特征热图，以提高后续图像分割的准确性。
在一个实施例中，如图3所示，所述将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图，包括以下步骤S301-S304：
S301，获取每一个卷积层的注意力特征热图的当前尺寸；
S302，获取所述原始图像的原始尺寸；
S303，根据所述当前尺寸与所述原始尺寸计算缩放比例；
S304，根据所述缩放比例将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到对应卷积层的缩放后的注意力特征热图。
本实施例中，在将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图的过程中，获取每一个卷积层的注意力特征热图的当前尺寸，由于卷积层随着层数的增多，其生成的注意力特征热图越来越小，因此为了准确地对不同卷积层生成的注意力特征热图进行缩放，获取每一个卷积层的注意力特征热图的当前尺寸，然后获取所述原始图像的原始尺寸，再根据所述当前尺寸与所述原始尺寸计算缩放比例，根据所述缩放比例将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到对应卷积层的缩放后的注意力特征热图，从而得到每一个卷积层缩放后的准确的注意力特征热图，提高后续图像分割的准确性。
在一个实施例中，如图4所示，所述将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图之后，还包括以下步骤S401：
S401，将所述缩放后的注意力特征热图与原始图像进行融合映射，得到超分辨率的注意力特征热图。
本实施例中，在将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图之后，将所述缩放后的注意力特征热图与原始图像进行融合映射，具体的，缩放后的注意力特征热图具有与所述原始图像相同的尺寸信息，然后将所述缩放后的注意力特征热图与原始图像进行类激活，即将缩放后的注意力特征热图与原始图像进行比对，然后根据比对的结果进行融合，从而进一步修正所述注意力特征热图的分辨率，得到超分辨率的注意力特征热图，提高注意力特征热图的准确性。
在一个实施例中，如图5所示，所述将所述缩放后的注意力特征热图与原始图像进行融合映射，得到超分辨率的注意力特征热图，包括以下步骤S501-S503：
S501，获取若干个不同尺度的梯度图；
S502，获取所述梯度图对应的融合方式；
S503，基于所述梯度图对应的融合方式将所述缩放后的注意力特征热图与原始图像进行融合映射，得到超分辨率的注意力特征热图。
本实施例中，在将所述缩放后的注意力特征热图与原始图像进行融合映射，得到超分辨率的注意力特征热图的过程中，首先获取若干个不同尺度的梯度图，再获取所述梯度图对应的融合方式，通过选取不同尺度的梯度图，然后依据每一个梯度图所限制的图像梯度对所述注意力特征热图与原始图像进行融合映射，即基于所述梯度图对应的融合方式将所述缩放后的注意力特征热图与原始图像进行融合映射，得到超分辨率的注意力特征热图，从而提高注意力特征热图的准确性。
在一个实施例中，如图6所示，所述根据缩放后的注意力特征热图与所述像素级标签对所述原始图像进行半监督分割之前，还包括以下步骤S601-S602：
S601，获取分割任务的学习率；
S602，根据所述学习率配置分割网络的分割参数，以根据所述分割参数对所述原始图像进行半监督分割。
本实施例中，在根据缩放后的注意力特征热图与所述像素级标签对所述原始图像进行半监督分割之前，当还需要配置半监督的学习率，即每一次半监督分割时的阈值，然后根据所述学习率配置分割网络的分割参数，以根据所述分割参数对所述原始图像进行半监督分割，从而适应不同场景的图像分割需求，提高不同场景下的图像分割的准确性。
在一个实施例中，如图7所示，所述获取分割任务的学习率，包括以下步骤S701-S704：
S701，获取训练图像集；所述训练图像集包括像素级标签图像以及热力图标签图像；
S702，计算所述像素级标签图像的二值交叉熵损失；
S703，计算所述热力图标签图像的回归损失；
S704，将所述二值交叉熵损失、所述回归损失、所述像素级标签图像以及所述热力图标签图像输入至分割网络进行训练，并基于余弦退火方式调整所述分割网络的初始学习率，直至所述初始学习率满足预设的分割要求，得到目标学习率。
本实施例中，在获取分割任务的学习率的过程中，所述分割任务的学习率通过训练而得到，具体的，首先获取训练图像集；所述训练图像集包括像素级标签图像以及热力图标签图像，例如1在PhotoRoom数据集上进行训练和验证，共有22885张图片，其中10000数据提供像素级标签，定义为像素级标签图像，而剩下的数据提供热力图标签，定义为热力图标签图像，然后计算所述像素级标签图像的二值交叉熵损失，再计算所述热力图标签图像的回归损失(BIOU Loss)，将所述二值交叉熵损失、所述回归损失、所述像素级标签图像以及所述热力图标签图像输入至分割网络进行训练，并基于余弦退火方式调整所述分割网络的初始学习率，直至所述初始学习率满足预设的分割要求，得到目标学习率，使得分割网络在不同场景下配置有满足预设分割要求的学习率，提高分割网络对图像分割的准确性。
参照图8，本发明还提供一种图像分割的装置，所述装置包括：
图像获取模块101，用于获取原始图像；
标签标注模块102，用于使用预训练的标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签；
热图提取模块103，用于基于预设卷积网络识别所述原始图像的特征，并根据所述特征计算所述原始图像的注意力特征热图；
热图缩放模块104，用于将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图；
监督分割模块105，用于根据所述注意力特征热图与所述像素级标签对所述原始图像进行半监督分割，得到分割图像。
如上所述，可以理解地，本发明中提出的所述图像分割的装置的各组成部分可以实现如上所述图像分割的方法任一项的功能。
在一个实施例中，所述热图提取模块103包括：
第一获取单元103a，用于获取所述卷积网络的若干个不同卷积层；
处理单元103b，用于将所述原始图像依次输入至对应的卷积层，获取每一层卷积层识别得到的所述原始图像的特征；
计算单元103c，用于根据所述特征计算所述原始图像在每一个卷积层的注意力特征热图。
在一个实施例中，所述热图缩放模块104包括：
第一尺寸单元104a，用于获取每一个卷积层的注意力特征热图的当前尺寸；
第二尺寸单元104b，用于获取所述原始图像的原始尺寸；
比例计算单元104c，用于根据所述当前尺寸与所述原始尺寸计算缩放比例；
缩放单元104d，用于根据所述缩放比例将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到对应卷积层的缩放后的注意力特征热图。
在一个实施例中，所述装置还包括：
融合模块114，用于将所述缩放后的注意力特征热图与原始图像进行融合映射，得到超分辨率的注意力特征热图。
在一个实施例中，所述融合模块114包括：
尺度单元114a，用于获取若干个不同尺度的梯度图；
匹配单元114b，用于获取所述梯度图对应的融合方式；
映射单元114c，用于基于所述梯度图对应的融合方式将所述缩放后的注意力特征热图与原始图像进行融合映射，得到超分辨率的注意力特征热图。
在一个实施例中，所述监督分割模块105还包括：
学习率获取单元105a，用于获取分割任务的学习率；
学习率配置单元105b，用于根据所述学习率配置分割网络的分割参数，以根据所述分割参数对所述原始图像进行半监督分割。
在一个实施例中，所述监督分割模块105包括：
图像集获取单元105c，用于获取训练图像集；所述训练图像集包括像素级标签图像以及热力图标签图像；
第一损失单元105d，用于计算所述像素级标签图像的二值交叉熵损失；
第二损失单元105e，用于计算所述热力图标签图像的回归损失；
训练单元105f，用于将所述二值交叉熵损失、所述回归损失、所述像素级标签图像以及所述热力图标签图像输入至分割网络进行训练，并基于余弦退火方式调整所述分割网络的初始学习率，直至所述初始学习率满足预设的分割要求，得到目标学习率。
参照图9，本发明实施例中还提供一种计算机设备，该计算机设备可以是移动终端，其内部结构可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和显示装置及输入装置。其中，该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机设备的显示装置用于显示离线应用。该计算机设备的输入装置用于接收用户在离线应用的输入。该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质。该非易失性存储介质存储有操作系统、计算机程序和数据库。该计算机设备的数据库用于存放原始数据。该计算机程序被处理器执行时以实现一种图像分割的方法。
上述处理器执行上述的图像分割的方法，包括：获取原始图像；使用预训练的标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签；基于预设卷积网络识别所述原始图像的特征，并根据所述特征计算所述原始图像的注意力特征热图；将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图；根据所述注意力特征热图与所述像素级标签对所述原始图像进行半监督分割，得到分割图像。
所述计算机设备提供了一种基于像素级标签以及热力图的图像自监督学习分割的方法，开发一图像分割系统，所述图像分割系统配置有所述图像分割的方法，通过所述图像分割系统对输入的原始图像进行分割，分割后便可以准确地对图像进行识别，首先获取原始图像，然后为所述原始图像进行标签标注，使用预训练的标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签，即对原始图像对应规格的像素级的图像进行标注，使得每一个原始图像对应规格的像素级的图像均有对应的标签，再基于卷积网络识别所述原始图像的特征，卷积网络能够将所述原始图像中存在的低维度特征和高维度特征进行提取，所述低维度特征包括形状特征、位置特征，所述高维度特征包括图像的纹理特征以及图像的颜色特征，然后根据识别得到的所述特征计算所述原始图像的注意力特征热图，即将所述低维度特征和高维度特征转化为对应的热力图形式，从而准确地反映原始图像的特征分布，再将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图，缩放后的注意力特征热图能够与原始图像尺寸相互匹配，并且能够匹配到每一个规格的像素级的图像对应的标签，从而基于所述注意力特征热图进行分割，再基于所述像素级标签进行自监督学习，从而得到分割图像，能够通过注意力特征热图对原始图形进行特征的分割，再基于像素级标签对特征分割后的图像进行自监督学习、矫正，从而得到准确的分割图像，提高图像分割、识别的准确性。
本发明一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被所述处理器执行时实现一种图像分割的方法，包括步骤：获取原始图像；使用预训练的标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签；基于预设卷积网络识别所述原始图像的特征，并根据所述特征计算所述原始图像的注意力特征热图；将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图；根据所述注意力特征热图与所述像素级标签对所述原始图像进行半监督分割，得到分割图像。
所述计算机可读存储介质提供了一种基于像素级标签以及热力图的图像自监督学习分割的方法，开发一图像分割系统，所述图像分割系统配置有所述图像分割的方法，通过所述图像分割系统对输入的原始图像进行分割，分割后便可以准确地对图像进行识别，首先获取原始图像，然后为所述原始图像进行标签标注，使用预训练的标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签，即对原始图像对应规格的像素级的图像进行标注，使得每一个原始图像对应规格的像素级的图像均有对应的标签，再基于卷积网络识别所述原始图像的特征，卷积网络能够将所述原始图像中存在的低维度特征和高维度特征进行提取，所述低维度特征包括形状特征、位置特征，所述高维度特征包括图像的纹理特征以及图像的颜色特征，然后根据识别得到的所述特征计算所述原始图像的注意力特征热图，即将所述低维度特征和高维度特征转化为对应的热力图形式，从而准确地反映原始图像的特征分布，再将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图，缩放后的注意力特征热图能够与原始图像尺寸相互匹配，并且能够匹配到每一个规格的像素级的图像对应的标签，从而基于所述注意力特征热图进行分割，再基于所述像素级标签进行自监督学习，从而得到分割图像，能够通过注意力特征热图对原始图形进行特征的分割，再基于像素级标签对特征分割后的图像进行自监督学习、矫正，从而得到准确的分割图像，提高图像分割、识别的准确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种图像分割的方法，其特征在于，所述方法包括：
获取原始图像；
使用预训练的标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签；
基于预设卷积网络识别所述原始图像的特征，并根据所述特征计算所述原始图像的注意力特征热图；
将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图；
根据所述注意力特征热图与所述像素级标签对所述原始图像进行半监督分割，得到分割图像。
2.根据权利要求1所述的图像分割的方法，其特征在于，所述基于预设卷积网络识别所述原始图像的特征，并根据所述特征计算所述原始图像的注意力特征热图，包括：
获取预设卷积网络的若干个不同卷积层；
将所述原始图像依次输入至对应的卷积层，获取每一层卷积层识别得到的所述原始图像的特征；
根据所述特征计算所述原始图像在每一个卷积层的注意力特征热图。
3.根据权利要求2所述的图像分割的方法，其特征在于，所述将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图，包括：
获取每一个卷积层的注意力特征热图的当前尺寸；
获取所述原始图像的原始尺寸；
根据所述当前尺寸与所述原始尺寸计算缩放比例；
根据所述缩放比例将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到对应卷积层的缩放后的注意力特征热图。
4.根据权利要求1所述的图像分割的方法，其特征在于，所述将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图之后，还包括：
将所述缩放后的注意力特征热图与原始图像进行融合映射，得到超分辨率的注意力特征热图。
5.根据权利要求4所述的图像分割的方法，其特征在于，所述将所述缩放后的注意力特征热图与原始图像进行融合映射，得到超分辨率的注意力特征热图，包括：
获取若干个不同尺度的梯度图；
获取所述梯度图对应的融合方式；
基于所述梯度图对应的融合方式将所述缩放后的注意力特征热图与原始图像进行融合映射，得到超分辨率的注意力特征热图。
6.根据权利要求1所述的图像分割的方法，其特征在于，所述根据所述注意力特征热图与所述像素级标签对所述原始图像进行半监督分割之前，还包括：
获取分割任务的学习率；
根据所述学习率配置分割网络的分割参数，以根据所述分割参数对所述原始图像进行半监督分割。
7.根据权利要求6所述的图像分割的方法，其特征在于，所述获取分割任务的学习率，包括：
获取训练图像集；所述训练图像集包括像素级标签图像以及热力图标签图像；
计算所述像素级标签图像的二值交叉熵损失；
计算所述热力图标签图像的回归损失；
将所述二值交叉熵损失、所述回归损失、所述像素级标签图像以及所述热力图标签图像输入至分割网络进行训练，并基于余弦退火方式调整所述分割网络的初始学习率，直至所述初始学习率满足预设的分割要求，得到目标学习率。
8.一种图像分割的装置，其特征在于，所述装置包括：
图像获取模块，用于获取原始图像；
标签标注模块，用于使用预训练的标签模型对所述原始图像进行迁移学习，得到所述原始图像对应的像素级标签；
热图提取模块，用于基于预设卷积网络识别所述原始图像的特征，并根据所述特征计算所述原始图像的注意力特征热图；
热图缩放模块，用于将所述注意力特征热图缩放至所述原始图像的尺寸大小，得到缩放后的注意力特征热图；
监督分割模块，用于根据所述注意力特征热图与所述像素级标签对所述原始图像进行半监督分割，得到分割图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述图像分割的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述图像分割的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210253881.2A CN114693925B (zh) | 2022-03-15 | 图像分割的方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210253881.2A CN114693925B (zh) | 2022-03-15 | 图像分割的方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114693925A true CN114693925A (zh) | 2022-07-01 |
| CN114693925B CN114693925B (zh) | 2024-09-27 |
Family
ID=
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344833A (zh) * | 2018-09-04 | 2019-02-15 | 中国科学院深圳先进技术研究院 | 医学图像分割方法、分割系统及计算机可读存储介质 |
| CN112767366A (zh) * | 2021-01-22 | 2021-05-07 | 南京汇川图像视觉技术有限公司 | 基于深度学习的图像识别方法、装置、设备及存储介质 |
| CN113298816A (zh) * | 2021-06-21 | 2021-08-24 | 江苏建筑职业技术学院 | 一种遥感图像语义分割方法、装置和计算机设备 |
| CN113379773A (zh) * | 2021-05-28 | 2021-09-10 | 陕西大智慧医疗科技股份有限公司 | 基于双重注意力机制的分割模型建立、分割方法及装置 |
| CN113408462A (zh) * | 2021-06-29 | 2021-09-17 | 西南交通大学 | 基于卷积神经网络与类别热力图的滑坡遥感信息提取方法 |
| CN113591831A (zh) * | 2021-07-26 | 2021-11-02 | 西南大学 | 一种基于深度学习的字体识别方法、系统及存储介质 |
| CN113657560A (zh) * | 2021-10-20 | 2021-11-16 | 南京理工大学 | 基于节点分类的弱监督图像语义分割方法及系统 |
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344833A (zh) * | 2018-09-04 | 2019-02-15 | 中国科学院深圳先进技术研究院 | 医学图像分割方法、分割系统及计算机可读存储介质 |
| CN112767366A (zh) * | 2021-01-22 | 2021-05-07 | 南京汇川图像视觉技术有限公司 | 基于深度学习的图像识别方法、装置、设备及存储介质 |
| CN113379773A (zh) * | 2021-05-28 | 2021-09-10 | 陕西大智慧医疗科技股份有限公司 | 基于双重注意力机制的分割模型建立、分割方法及装置 |
| CN113298816A (zh) * | 2021-06-21 | 2021-08-24 | 江苏建筑职业技术学院 | 一种遥感图像语义分割方法、装置和计算机设备 |
| CN113408462A (zh) * | 2021-06-29 | 2021-09-17 | 西南交通大学 | 基于卷积神经网络与类别热力图的滑坡遥感信息提取方法 |
| CN113591831A (zh) * | 2021-07-26 | 2021-11-02 | 西南大学 | 一种基于深度学习的字体识别方法、系统及存储介质 |
| CN113657560A (zh) * | 2021-10-20 | 2021-11-16 | 南京理工大学 | 基于节点分类的弱监督图像语义分割方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
| CN109117801A (zh) | 人脸识别的方法、装置、终端及计算机可读存储介质 | |
| US8693785B2 (en) | Image matching devices and image matching methods thereof | |
| CN111079632A (zh) | 文本检测模型的训练方法、装置、计算机设备和存储介质 | |
| CN110751149B (zh) | 目标对象标注方法、装置、计算机设备和存储介质 | |
| CN112613515B (zh) | 语义分割方法、装置、计算机设备和存储介质 | |
| CN110827202A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| WO2022121189A1 (zh) | 检测温度的方法、装置和计算机设备 | |
| CN111178162B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN112464945A (zh) | 基于深度学习算法的文本识别方法、装置、设备及存储介质 | |
| CN111985469B (zh) | 一种图像中文字的识别方法、装置及电子设备 | |
| CN113838138B (zh) | 一种优化特征提取的系统标定方法、系统、装置和介质 | |
| CN112818821B (zh) | 基于可见光和红外光的人脸采集源检测方法和装置 | |
| CN112884782A (zh) | 生物对象分割方法、装置、计算机设备和存储介质 | |
| CN112287730A (zh) | 姿态识别方法、装置、系统、存储介质及设备 | |
| CN116091596A (zh) | 一种自下而上的多人2d人体姿态估计方法及装置 | |
| CN111353429A (zh) | 基于眼球转向的感兴趣度方法与系统 | |
| CN111652245A (zh) | 车辆轮廓检测方法、装置、计算机设备及存储介质 | |
| CN113269728B (zh) | 视觉巡边方法、设备、可读存储介质及程序产品 | |
| CN113298187A (zh) | 图像处理方法及装置、计算机可读存储介质 | |
| CN112396057B (zh) | 一种字符识别方法、装置及电子设备 | |
| CN114693925A (zh) | 图像分割的方法、装置、计算机设备及存储介质 | |
| CN112699809B (zh) | 痘痘类别识别方法、装置、计算机设备及存储介质 | |
| CN112613402B (zh) | 文本区域检测方法、装置、计算机设备和存储介质 | |
| CN116468649A (zh) | 脊柱图像识别模型的训练方法、类别确定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |