CN112750124A - 模型生成、图像分割方法、装置、电子设备及存储介质 - Google Patents

模型生成、图像分割方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112750124A
CN112750124A CN202110090537.1A CN202110090537A CN112750124A CN 112750124 A CN112750124 A CN 112750124A CN 202110090537 A CN202110090537 A CN 202110090537A CN 112750124 A CN112750124 A CN 112750124A
Authority
CN
China
Prior art keywords
segmentation
image
feature map
loss function
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110090537.1A
Other languages
English (en)
Other versions
CN112750124B (zh
Inventor
唐雯
张荣国
李新阳
陈宽
王少康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202110090537.1A priority Critical patent/CN112750124B/zh
Publication of CN112750124A publication Critical patent/CN112750124A/zh
Application granted granted Critical
Publication of CN112750124B publication Critical patent/CN112750124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种模型生成、图像分割方法、装置、电子设备及存储介质。该模型生成方法包括：将获取到的样本图像输入至原始分割模型中，根据原始分割模型输出的分割特征图确定增强特征图和分类向量；根据增强特征图中的第三特征图和第四特征图确定相似性损失函数，并且根据分类向量和针对于已知目标的分类标签确定分类损失函数；将分类损失函数和相似性损失函数反向输入到原始分割模型，调节原始分割模型的网络参数，生成图像分割模型。本发明实施例的技术方案，可以生成能够进行精细并且完整分割的图像分割模型，达到了增强弱监督分割模型的分割性能的效果。

Description

模型生成、图像分割方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种模型生成、图像分割方法、装置、电子设备及存储介质。
背景技术
基于深度学习模型对医学图像上的感兴趣点进行分割时，需要大量的人力和时间进行分割标记，该感兴趣点可以作为医护人员定位病灶点的参考因素。
在国内，三甲医院普遍人满为患，专业医生是很难有时间为深度学习模型提供大量精细的分割标记，用于分割感兴趣点的深度学习模型需要更为简单的标注数据进行训练。据此，基于图像级别的分类标签进行像素级别的分割训练后得到的弱监督分割模型应运而生。
但是，上述弱监督分割模型的分割结果过于粗糙，只能达到感兴趣点所在的感兴趣区域定位的效果，距离精细的感兴趣点分割仍是存在相当大的差距。
发明内容
本发明实施例提供了一种模型生成、图像分割方法、装置、电子设备及存储介质，解决了现有的弱监督分割模型的分割性能较差的问题。
第一方面，本发明实施例提供了一种模型生成方法，可以包括：
将获取到的样本图像输入至原始分割模型中，根据原始分割模型输出的分割特征图确定增强特征图和分类向量；
根据增强特征图中的第三特征图和第四特征图确定相似性损失函数，且根据分类向量和针对于已知目标的分类标签确定分类损失函数；
将分类损失函数和相似性损失函数反向输入到原始分割模型，调节原始分割模型的网络参数，生成图像分割模型；
其中，第三特征图中的目标信息多于分割特征图中与样本图像中的第一图像对应的第一特征图，且第四特征图中的目标信息多于分割特征图中与样本图像中的第二图像对应的第二特征图，第二图像是对第一图像进行降维后得到的图像。
第二方面，本发明实施例还提供了一种图像分割方法，可以包括：
获取待分割图像和按照本发明任意实施例提供的方法生成的图像分割模型；
将待分割图像输入至图像分割模型中，并根据图像分割模型的输出结果，得到待分割图像中待分割目标的目标分割图像。
第三方面，本发明实施例还提供了一种模型生成装置，可以包括：
特征图处理模块，用于将获取到的样本图像输入至原始分割模型中，根据原始分割模型输出的分割特征图确定增强特征图和分类向量；
损失函数确定模块，用于根据增强特征图中的第三特征图和第四特征图确定相似性损失函数，并且根据分类向量和针对于已知目标的分类标签确定分类损失函数；
模型生成模块，用于将分类损失函数和相似性损失函数反向输入到原始分割模型，调节原始分割模型的网络参数，生成图像分割模型；
其中，第三特征图中的目标信息多于分割特征图中与样本图像中的第一图像对应的第一特征图，且第四特征图中的目标信息多于分割特征图中与样本图像中的第二图像对应的第二特征图，第二图像是对第一图像进行降维后得到的图像。
第四方面，本发明实施例还提供了一种图像分割装置，可以包括：
数据获取模块，用于获取待分割图像和和按照本发明任意实施例所提供的方法生成的图像分割模型；
图像分割模块，用于将待分割图像输入至图像分割模型中，根据图像分割模型的输出结果，得到待分割图像中待分割目标的目标分割图像。
第五方面，本发明实施例还提供了一种电子设备，可以包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的模型生成方法或是图像分割方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的模型生成方法或是图像分割方法。
本发明实施例的技术方案，通过将获取到的样本图像输入至原始分割模型，根据原始分割模型输出的分割特征图确定增强特征图和分类向量，其中，样本图像包括第一图像和对第一图像进行降维后得到的第二图像，高低不同分辨率的两个图像相互配合，将它们结合到后续步骤后可以同时关注到更细小的已知目标并且完整分割出已知目标；由于增强特征图中的目标信息多于分割特征图，那么基于通过增强特征图中的与第一图像对应的第三特征图和与第二图像对应的第四特征图确定的相似性损失函数调节原始分割模型中的网络参数后，可以得到更加关注目标信息的分割特征图，另外，基于通过分类向量和针对于已知目标的分类标签确定的分类损失函数调节原始分割模型中的网络参数后，可以得到与分类更相关的分割特征图，两部分相互结合，可以生成能够分割出精细且完整的已知目标的图像分割模型。上述技术方案，可以生成能够进行精细且完整分割的图像分割模型，达到了增强弱监督分割模型的分割性能的效果。
附图说明
图1是本发明实施例中的一种模型生成方法的流程图；
图2是本发明实施例中的一种模型生成方法中可选示例的示意图；
图3是本发明实施例中的一种模型生成方法的流程图；
图4是本发明实施例中的一种模型生成方法中可选示例的示意图；
图5是本发明实施例中的一种模型生成方法的流程图；
图6是本发明实施例中的一种图像分割方法的流程图；
图7是本发明实施例中的一种模型生成装置的结构框图；
图8是本发明实施例中的一种图像分割装置的结构框图；
图9是本发明实施例中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在介绍本发明实施例之前，先对本发明实施例的应用场景进行示例性说明：由于数据标注成本较高，很多分割任务很难获得如全部真值标签这样的强监督信息，因此，基于弱监督信息对深度学习模型进行训练的技术应运而生，比如背景技术所言的基于图像级别的分类标签进行像素级别的分割训练的技术，其是根据整张图像的分类标签对该图像中的各像素点进行分割的技术，具体来说是根据整张图像中是否存在感兴趣点判断该图像中的各像素点是否为感兴趣点的技术。接下来以这种技术中的分类激活图(Class ActivationMapping，CAM)为例对该技术进行示例性地说明。
原始分割模型可以包括多个可用于分割的分割网络，该分割网络可以具有多种选择，比如残差网络(Resnet)、Densenet、Resnext、Se-resnet、Se-resnext等等，在此以包括38层的残差网络(ResNet38)的原始分割模型为例进行说明。将某图像输入至ResNet38，得到该图像的分割特征图(在此以维度是c*h*w的分割特征图为例进行阐述，其中h是高，w是宽并且c是分类类别数，即每个分类类别均具有一个分割结果)，该分割特征图可以理解为ResNet38中的最后1个Resblock提取出的特征图；对该分割特征图进行全局求均值(即全局池化)操作，得到c*1*1的分类向量(即分类结果)，每个维度上的数据可以表示上述图像属于该维度对应的分类类别的概率；根据该图像的分类标签对该分类结果进行损失计算和回传；循环往复上述步骤，直至原始分割模型训练完成，得到属于弱监督分割模型的图像分割模型，其分割性能有待改进。
为了解决上述技术问题，发明人在对现有技术进行了充分研究的基础上，提出了下述本发明各实施例阐述的模型生成方法，基于该方法生成的图像分割模型具有较好的分割性能，该方法的具体实现过程如下所述。
图1是本发明实施例中提供的一种模型生成方法的流程图。本实施例可适用于基于弱监督信息生成具有较好的分割性能的图像分割模型的情况。该方法可以由本发明实施例提供的模型生成装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在电子设备上，该电子设备可以是各种用户终端或服务器。
参见图1，本发明实施例的方法具体包括如下步骤：
S110、将获取到的样本图像输入至原始分割模型中，根据原始分割模型输出的分割特征图确定增强特征图和分类向量。
其中，样本图像可以是用于模型训练的数字图像，示例性的，该数字图像可以是医学成像、自然图像等等，其中，医学图像可以是基于医学成像设备采集到的数字图像，比如磁共振成像(Magnetic Resonance Imaging，MR)图像、电子计算机断层扫描(ComputedTomography，CT)图像、正电子发射型计算机断层成像(Positron Emission ComputedTomography，PET)图像等；自然图像可以是基于通用成像设备采集得到的数字图像，该通用成像设备可以是手机、数码相机、摄像头、摄像机等等。原始分割模型可以是未经训练的或是未训练完成的包括多个可用于分割的分割网络的深度学习模型，正如上文所述，将该样本图像输入至该原始分割模型后，可以得到其输出的分割特征图。
增强特征图是对分割特征图进行处理后得到的特征图，相较于分割特征图，增强特征图具有更多的目标信息，该目标信息可以是与该样本图像关联的浅层信息，如边缘信息、细节信息等等，这样设置的好处在于，分割特征图是经过多个分割网络后得到的与分类更相关的特征图，其忽略了原有的浅层信息，在此基础上，为了使得最终的分割结果可以注意到浅层信息的重要性，具有更多的细节信息，在此设置了增强特征图，并且结合后续步骤中的相似性损失函数对分割网络中的网络参数进行调整，以使再次得到的分割特征图可以具有更多的细节信息。当然，上述目标信息也可以是与该样本图像关联的深层信息等等，在此未做具体限定。在实际应用过程中，增强特征图的确定过程具有多种实现方式，如根据样本图像确定目标信息，将该目标信息融合到分割特征图后得到增强特征图；再如根据样本图像得到包含有目标信息的信息特征图，将该信息特征图和分割特征图进行融合后得到增强特征图；等等，在此未做具体限定。
分类向量可以是用于表示该样本图像所属的分类类别的向量，该分类类别可以根据实际情况进行具体设定，示例性的，假设样本图像是某医学图像，该分类类别可以是该医学图像是否存在感兴趣点，该感兴趣点可以作为医护人员定位病灶点的参考因素；再示例性，假设样本图像是某自然图像，该分类类别可以是该自然图像中是否存在行人；等等，在此未做具体限定。
需要说明的是，在本发明实施例中，样本图像包括第一图像和第二图像，该第二图像是对第一图像进行降维后得到的图像，即相较而言，第一图像具有更高的分辨率且第二图像具有更低的分辨率，这样设置的好处如下所述：样本图像中可能包括已知目标，该已知目标可以是预先知晓的在模型训练过程中待分割出的目标，示例性的，其可以是上文所述的感兴趣点。在此基础上，具有更高的分辨率的第一图像能够关注到更细小的已知目标，这使得分割网络不会遗漏某些已知目标；相对的，因为针对于该已知目标的分类标签可能使得分割网络主要分割出该分割网络认为最重要的图像区域，而不会考虑到需要分割出整个已知目标，而具有更低的分辨率的第二图像能够关注更大区域的已知目标，因此通过第二图像因能够提高分割网络的感受野更大，由此增大了重要的图像区域的面积，进而分割出整个已知目标，但是作为输入的低分辨率的第二图像可能会丢失很多细节信息，进而导致分割区域过大，精准度不高。因此，通过第一图像和第二图像的相互配合，可以将两者的优势融合到一起，由此达到了刚好分割出整个已知目标的效果。
S120、根据增强特征图中的第三特征图和第四特征图确定相似性损失函数，且根据分类向量和针对于已知目标的分类标签确定分类损失函数，其中，第三特征图中的目标信息多于分割特征图中与样本图像中的第一图像对应的第一特征图，且第四特征图中的目标信息多于分割特征图中与样本图像中的第二图像对应的第二特征图，第二图像是对第一图像进行降维后得到的图像。
其中，根据上文阐述可知，样本图像可以包括第一图像和第二图像，那么将第一图像和第二图像分别输入到原始分割模型后，可以得到第一图像的第一特征图和第二图像的第二特征图，需要说明的是，第一特征图和第二特征图均属于分割特征图。在此基础上，根据第一特征图确定的增强特征图可以为第三特征图且根据第二特征图确定的增强特征图可以为第四特征图。由于增强特征图中的目标信息多于分割特征图，那么第三特征图中的目标信息多于第一特征图且第四特征图中的目标信息多于第二特征图。
分类标签可以表示出已分类对象中是否包括已知目标，该已分类对象可以是已经进行分类标注的样本图像；可以是由多个样本图像组成的已经进行分类标注的训练样本，即在数据标注时只标注了训练样本中是否包含该已知目标，并未标注每层样本图像中是否包含该已知目标；当然，还可以时期与的对象，等等，在此未做具体限定。由此，根据分类向量和分类标签可以确定分类损失函数，该分类损失函数可以认为是与样本图像对应的与分类有关的损失函数。需要说明的是，由于分类向量是根据分割特征图确定的，因此根据该分类向量确定的分类损失函数可以理解为是对分割特征图进行监督的损失函数。另外，该分类损失函数可以采用多种方式计算得到，比如L1 loss、L2 loss,、smooth L1loss、L2，1等等，在此未做具体限定。其中loss为损失。
增强特征图是在分类特征图的基础上设置的加强了对目标信息的关注度的特征图，为了避免增强特征图朝着无法预估的方向发展，在此需要对增强特征图进行监督。具体的，根据第三特征图和第四特征图确定相似性损失函数，该相似性损失函数是用于衡量第三特征图和第三特征图间的相似度的损失函数，通过该相似性损失函数来对增强特征图进行监督。该相似性损失函数可以采用多种方式计算得到，比如L1 loss、L2 loss,、smoothL1 loss、L2，1等等，在此未做具体限定。而且，分类损失函数和相似性损失函数的计算过程可以相同，也可以不同，在此亦未做具体限定。
S130、将分类损失函数和相似性损失函数反向输入到原始分割模型，调节原始分割模型的网络参数，生成图像分割模型。
其中，在模型训练过程中，可以基于多个样本图像对仍需训练的原始分割模型进行训练，而且每个样本图像的训练过程均可以采样上述各步骤进行，并在进行一次后更新一次原始分割模型，直至训练结束，生成图像分割模型。
在此基础上，可选的，上述技术方案，可以应用于从受检者的医学图像中分割出感兴趣点的应用场景，在该应用场景中分割出的感兴趣点可以是病灶点，其可以为医护人员进行病灶诊断时提供诊断依据。
本发明实施例的技术方案，通过将获取到的样本图像输入至原始分割模型，根据原始分割模型输出的分割特征图确定增强特征图和分类向量，其中，样本图像包括第一图像和对第一图像进行降维后得到的第二图像，高低不同分辨率的两个图像相互配合，将它们结合到后续步骤后可以同时关注到更细小的已知目标并且完整分割出已知目标；由于增强特征图中的目标信息多于分割特征图，那么基于通过增强特征图中的与第一图像对应的第三特征图和与第二图像对应的第四特征图确定的相似性损失函数调节原始分割模型中的网络参数后，可以得到更加关注目标信息的分割特征图，另外，基于通过分类向量和针对于已知目标的分类标签确定的分类损失函数调节原始分割模型中的网络参数后，可以得到与分类更相关的分割特征图，两部分相互结合，可以生成能够分割出精细且完整的已知目标的图像分割模型。上述技术方案，可以生成能够进行精细且完整分割的图像分割模型，达到了增强弱监督分割模型的分割性能的效果。
在此基础上，一种可选的技术方案，根据原始分割模型输出的分割特征图确定增强特征图，具体可以包括：获取原始分割模型输出的分割特征图、以及包含目标信息的信息特征图，其中，信息特征图包括下述中的至少一个：样本图像、在将样本图像输入至原始分割模型之后，经由原始分割模型内各分割网络中的预设分割网络输出的特征图、及将样本图像和预设分割网络输出的特征图进行拼接后得到的特征图；根据信息特征图和分割特征图确定全局注意力图，并根据全局注意力图和分割特征图得到增强特征图。
其中，由于目标信息可能存在于输入图像和/或浅层特征图中，该浅层特征图可以是在将样本图像输入至原始分割模型后，经由原始分割模型内的各分割网络中的预设分割网络输出的特征图，该预设分割网络可以是各个分割网络中排序靠前的分割网络，比如排序在第2个、第3个、第4个等等的分割网络，示例性的，以ResNet38为例，该浅层特征图可以是经由ResNet38中的第2个Resblock、第3个Resblock或是第4个Resblock输出的特征图。因此，包含有目标信息的信息特征图可以是输入图像、浅层特征图或是输入图像和浅层特征图进行拼接后的特征图，而且这种基于拼接方案得到的信息特征图中必定含有目标信息。在实际应用中，可选的，由于浅层特征图的维度通常大于样本图像，因此可以对样本图像进行下采样，得到与浅层特征图的维度一致的下采样结果，进而将该下采样结果和该浅层特征图进行拼接，由此实现了二者在特征图通道上进行拼接的效果。进一步，基于全局注意力机制对信息特征图和分割特征图进行计算，得到全局注意力图，然后根据全局注意力图和分割特征图得到增强特征图，比如将全局注意力图乘以到分割特征图上，由此可以得到加重了分割特征图中的注意力大的部分(即目标信息)且减轻了分割特征图中的注意力小的部分的增强特征图，达到了准确确定更关注于目标信息的增强特征图的效果。
一种可选的技术方案，根据增强特征图中的第三特征图和第四特征图确定相似性损失函数，具体可以包括：根据增强特征图中的第三特征图和第四特征图确定第一损失函数，即将第一损失函数作为相似性损失函数；和/或，根据第一特征图和第四特征图确定第二损失函数，并且根据第二特征图和第三特征图确定第三损失函数，即将第二损失函数和第三损失函数作为相似性损失函数，或者将第一损失函数、第二损失函数和第三损失函数共同作为相似性损失函数；相应的，将分类损失函数和相似性损失函数反向输入到原始分割模型，具体可包括：将分类损失函数和第一损失函数、或是分类损失函数、第二损失函数和第三损失函数、或分类损失函数、第一损失函数、第二损失函数和第三损失函数反向输入到原始分割模型中。
为了更好地理解上述步骤的具体实现过程，下面以对CAM的改进为例对本实施例的模型生成方法进行示例性的说明。示例性的，参见图2，分割结果1相当于上文所述的CAM中的分割结果，本示例性说明在CAM的基础上增加了分割结果2和两条支路(即第一图像和第二图像分别所在的两条支路)，这两条支路通过各分割结果间的相似性相互补充。具体的，这两条支路具有四个输出结果：高分辨率的分割结果1、高分辨率的分割结果2、低分辨率的分割结果1和低分辨率的分割结果2。为了使得整个残差网络可以充分利用不同分辨率的优势，并且克服两个分辨率固有的缺陷，可以使得高分辨率的分割结果1和低分辨率的分割结果1尽量相似，这使得两个残差网络要同时注意细节和整体，此时可以采用逐像素的L1损失来使得两者更相似。类似的，对于高分辨率的分割结果2和低分辨率的分割结果2也要尽量相似，两者都是在分割结果1上更加注重目标信息，该目标信息可以是浅层信息，此时也可以采用逐像素的L1损失来使得两者更相似。除此外，还可以使高分辨率的分割结果1和低分辨率的分割结果2相似、以及高分辨率的分割结果2和低分辨率的分割结果1相似，这是因为同一条支路的分割结果2都是在分割结果1的基础上经过一系列操作得到的，如果希望同一支路的分割结果1和分割结果2相似，这会导致在根据分割结果1确定分割结果2时的操作不进行学习，具体来说残差网络会想办法让全局注意力图全是1，这样同一支路的分割结果1和2完全一样，无法实现改善分割性能的效果，因此进行了隔支路相似，它的目标是让分割结果2能够准确定位已知目标所在的区域，并且让分割结果1能够补充细节信息，此时也可以采用逐像素的L1损失。上述技术方案，提高了残差网络的分割性能。
图3是本发明实施例中提供的一种模型生成方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，上述模型生成方法，还可包括：针对分割特征图中的每个目标像素点，从分割特征图中分别获取目标像素点的目标分割向量和与目标像素点临近的临近像素点的临近分割向量，并根据目标分割向量和临近分割向量确定分割损失函数；将各分割损失函数反向输入到原始分割模型。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图3，本实施例的方法具体可以包括如下步骤：
S210、将获取到的样本图像输入至原始分割模型中，根据原始分割模型输出的分割特征图确定增强特征图和分类向量。
S220、根据增强特征图中的第三特征图和第四特征图确定相似性损失函数，且根据分类向量和针对于已知目标的分类标签确定分类损失函数，其中，第三特征图中的目标信息多于分割特征图中与样本图像中的第一图像对应的第一特征图，且第四特征图中的目标信息多于分割特征图中与样本图像中的第二图像对应的第二特征图，第二图像是对第一图像进行降维后得到的图像。
S230、针对分割特征图中的每个目标像素点，从分割特征图中分别获取目标像素点的目标分割向量和与目标像素点临近的临近像素点的临近分割向量，并根据目标分割向量和临近分割向量确定分割损失函数。
其中，为了进一步提高分割网络的分割性能，尽可能逼近全监督分割网络的分割水平，除了分类损失函数和相似性损失函数外，还可以额外补充加强与局部相关性相关的分类损失函数。需要说明的是，设置局部相关性，而并非是设置全局相关性的原因在于，全局相关性的参数量较大，并且对于分割性能的改进程度与局部相关性基本一致，这是因为在分割感兴趣点时，主要区分感兴趣点和与该感兴趣点临近的不是感兴趣点的像素点(即非感兴趣点)间的区别。
具体的，目标像素点可以是分割特征图中的任一像素点，也可以是满足某分割策略的像素点，等等，在此未做具体限定。针对分割特征图中的每个目标像素点，可以获取该目标像素点的目标分割向量，该目标分割向量可以是分割特征图中的该目标像素点的多通道数据构成的向量，即上文示例性说明中的c*h*w的分割特征图中的c个数据构成的向量。
临近像素点可以是分割特征图中的与目标像素点临近的临近像素点，比如与目标像素点的直线距离在预设距离范围内的像素点、以目标像素点为多边形顶点的该多边形内的像素点，等等。每个目标像素点的临近像素点的数量可以是一个、两个或是多个，在此未做具体限定。临近分割向量的含义与目标分割向量的含义类似，在此不再赘述。在此基础上，可以根据目标分割向量和临近分割向量确定分割损失函数，如根据二者的相似性确定分割损失函数。
在此基础上，可选的，由于临近像素点的数量可以是一个、两个或是多个，那么每个目标像素点的分割损失函数的数量也可以是一个、两个或者是多个。特别地，针对每个目标像素点的各分割损失函数，可以将它们作为个体来分别执行S240，也可以将它们进行汇总，并将汇总结果作为分割损失函数来执行S240，在此未做具体限定。可选的，可以基于S230对每个目标像素点分别进行处理，由此可以得到多个目标像素点的分割损失函数。
S240、将各分割损失函数、分类损失函数和相似性损失函数反向输入到原始分割模型，调节原始分割模型的网络参数，生成图像分割模型。
其中，各分割损失函数可以是全部的目标像素点的分割损失函数，该分割损失函数可以是上文所述的汇总结果，也可以是上文所述的个体，等等，在此未做具体限定。将各分割损失函数、分类损失函数和相似性损失函数反向输入到原始分割模型，调节原始分割模型的网络参数，分割损失函数的加入增强了分割特征图中的连续性，具体来说加强了明显的感兴趣点和非明显的感兴趣点间的关联性，由此解决了因为分类损失函数只关注关键部分而无法将整个感兴趣区域分割出来的问题，达到了非明显的感兴趣点的准确分割的效果，可以将感兴趣点和非感兴趣点进行更好地区分。需要说明的是，针对分类损失函数只关注关键部分的情况，这是因为分类只是根据关键部分进行分类，该关键部分通常是明显的感兴趣点，其存在因为无法关注到非明显的感兴趣点而无法找到全部的感兴趣点的情况。另外，上文所述的感兴趣点、感兴趣区域等均可以是已知目标，在此仅是示例性说明，并非具体限定。
本发明实施例的技术方案，针对分割特征图中的每个目标像素点，通过从分割特征图中分别获取到的目标像素点的目标分割向量和与该目标像素点临近的临近像素点的临近分割向量确定分割损失函数，进而将全部的目标像素点的分割损失函数反向输入到原始分割模型，分割损失函数的加入增强了分割特征图中的连续性，即加强了明显的感兴趣点和非明显的感兴趣点之间的关联性，由此解决了因为分类损失函数只是关注关键部分而无法将整个感兴趣区域分割出来的问题，达到了非明显的感兴趣点的准确分割的效果，可以将感兴趣点和非感兴趣点进行更好地区分。
在此基础上，一种可选的技术方案，目标像素点是分割特征图中满足预设分割策略的分割概率对应的像素点，并且目标像素点包括目标前景点或是目标背景点；临近像素点是分割特征图中以目标像素点为中心的预设范围内的满足预设分割策略的分割概率对应的像素点，并且临近像素点包括临近前景点或是临近背景点；根据目标分割向量和临近分割向量确定分割损失函数，可以包括：确定目标像素点和临近像素点的像素点类别是否一致，并根据确定结果、目标分割向量和临近分割向量确定分割损失函数。
其中，预设分割策略可以是预先设定的与分割概率有关的用于判断某像素点是否为目标像素点或是临近像素点的策略，该分割概率可以是分割向量中的一维数据，其可以表示出该分割向量所对应的像素点属于感兴趣点的概率或是属于非感兴趣点的概率，若分割向量对应的像素点是目标像素点，其可以称为目标分割向量；类似的，若分割向量对应的像素点是临近像素点，其可以称为临近分割向量。示例性的，某预设分割策略可以是针对预先设定的前景点阈值t_pos和背景点阈值t_neg，可以将分割概率>t_pos或分割概率<t_neg的像素点称为目标像素点，否则称为不确定像素点。在此基础上，可选的，分割概率>t_pos的像素点可以称为目标前景点和/或分割概率<t_neg的像素点可称为目标背景点。
相应的，临近像素点可以是分割特征图中以目标像素点为中心的预设范围内的满足预设分割策略的分割概率对应的像素点，该预设范围可以是预先设置的范围，比如直线距离小于预设距离阈值的范围、预设形状所在的范围等等，在此未做具体限定。类似于目标像素点，该临近像素点也可以包括临近前景点或是临近背景点。同时，那些以目标像素点为中心的预设范围内的未满足预设分割策略的分割概率对应的像素点可以称为不确定像素点。
需要说明的是，上述目标前景点、目标背景点、临近前景点和临近背景点可以表示出相同或是不同的像素点类别，具体的，目标前景点和临近前景点的像素点类别均是前景点，且目标背景点和临近背景点的像素点类别均是背景点，这样区分的原因在于，为了加强明显的和非明显的感兴趣点间的关联性，目标前景点和临近前景点可以更相似且目标前景点和临近背景点可以不相似，当然目标背景点的情况类似，因此在确定分割损失函数时，可以同时考虑目标像素点和临近像素点的像素点类别是否一致、目标分割向量和临近分割向量，由此提高了用于增强分割特征图中的连续性的分割损失函数的确定精度。
为了更好地理解上述步骤的具体实现过程，下面结合具体示例对本实施例的模型生成方法进行示例性的说明。示例性的，参见图4，白色圆点可以表示分割特征图中的一个像素点，获取以该像素点为中心点的半径为r的圆形区域，针对局部相关性，可以只考虑圆形区域内的除中心点外的各像素点与该中心点的关系。获取前景点阈值t_pos和背景点阈值t_neg，若中心点的分割概率>t_pos，该分割概率是该中心点属于感兴趣点的概率，则其可以称为目标前景点；如果中心点的分割概率<t_neg，则其可以称为目标背景点；否则，其可以称为不确定像素点。在此基础上，如果一个中心点为不确定像素点，则不计算它的局部相关性的辅助损失(即分割损失函数)；如果一个中心点为目标前景点，则它的目标分割向量可以与圆形区域中的临近前景点的临近分割向量相似，且与圆形区域中的临近背景点的临近分割向量不相似，不考虑圆形区域中与中心点临近的不确定像素点(如图4中的黑色圆点)；当然，属于目标背景点的中心点的情况类似，在此不再赘述。将中心点和圆形区域内的每个临近像素点分别计算分割损失函数，并将各分割损失函数的总和进行梯度回传。可选的，实际应用中，可以将分割特征图中的每个像素点依次作为中心点遍历上述步骤，由此得到了可以表示局部相关性的分割损失函数。
图5是本发明实施例中提供的一种模型生成方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，将获取到的样本图像输入至原始分割模型中，根据原始分割模型输出的分割特征图确定分类向量，具体可以包括：获取阳性样本中的各层样本图像，其中各层样本图像中的至少一层样本图像存在已知目标；针对每层样本图像，将样本图像输入至原始分割模型中，并根据原始分割模型输出的分割特征图确定样本图像的增强特征图和分类向量；相应的，根据分类向量和针对于已知目标的分类标签确定分类损失函数，具体可以包括：根据各分类向量确定阳性样本的样本向量，并根据阳性样本中已知目标的分类标签和样本向量确定阳性样本的样本损失函数；将样本损失函数作为每层样本图像的分类损失函数。其中，与上述各实施例相同或是相应的术语的解释在此不再赘述。
参见图5，本实施例的方法具体可以包括如下步骤：
S310、获取阳性样本中的各层样本图像，针对每层样本图像，将样本图像输入至原始分割模型中，并根据原始分割模型输出的分割特征图确定样本图像的增强特征图和分类向量，各层样本图像中的至少一层样本图像存在已知目标。
其中，每个阳性样本可以是包括至少一层样本图像，且其包括的各层样本图像中的至少一层样本图像存在已知目标的训练样本。示例性的，以CT图像为例，将各CT图像按照病人为单位进行划分，那么属于同一病人的各CT图像可以作为一个训练样本，若一个训练样本内的各层CT图像中的任一层CT图像中存在已知目标，那么该训练样本可以称为阳性样本；相应的，如果一个训练样本内的各层CT图像中的每层CT图像中均未存在已知目标，那么该训练样本可以称为阴性样本，上述已知目标可以作为医护人员定位病灶的参考依据，即医生可以通过判断病人是否存在病灶来对该病人的训练样本进行分类标注，而无需对该训练样本中的每层CT图像分别进行分类标注，由此显著降低了医生的标注工作量。基于上述步骤对每层样本图像进行处理，得到每层样本图像的增强特征图和分类向量。
S320、根据增强特征图中的第三特征图和第四特征图确定相似性损失函数，其中，第三特征图中的目标信息多于分割特征图中与样本图像中的第一图像对应的第一特征图，且第四特征图中的目标信息多于分割特征图中与样本图像中的第二图像对应的第二特征图，第二图像是对第一图像进行降维后得到的图像。
S330、根据各分类向量确定阳性样本的样本向量，并根据阳性样本中已知目标的分类标签和样本向量确定阳性样本的样本损失函数，并将样本损失函数作为每层样本图像的分类损失函数。
其中，样本向量可以是用于表示阳性样本所属的分类类别的向量，其可以根据各层样本图像的分类向量确定。分类标签可以是用于表示阳性样本中是否包括已知目标的标签，因此根据样本向量和分类标签可以确定阳性样本的样本损失函数，并将该样本损失函数作为每层样本图像的分类损失函数。这样一来，虽然分割网络并不知道哪层样本图像中存在已知目标，但是通过这种方式可以让分割网络自己寻找重要的特征，达到了基于阳性样本的分类标签带动该阳性样本内未存在分类标签的各层样本图像进行训练的效果，由此在基于图像级别的分类标签进行像素级别的分割训练的基础上，进一步降低了标注工作量。
S340、将分类损失函数和相似性损失函数反向输入到原始分割模型，调节原始分割模型的网络参数，生成图像分割模型。
本发明实施例的技术方案，针对获取得到的阳性样本内各层样本图像中的每层样本图像，通过各样本图像的分类向量确定阳性样本的样本向量，并根据阳性样本中已知目标的分类标签和样本向量确定阳性样本的样本损失函数，该样本损失函数可以作为每层样本图像的分类损失函数，其考虑到即使只是进行图像级别的分类标注可能还存在标注工作量巨大的问题，因此采用了上述基于阳性样本的分类标签带动阳性样本内未存在分类标签的各层样本图像进行训练的方式，由此实现了基于少量的分类标签进行大量的样本图像训练的效果，在基于图像级别的分类标签进行像素级别的分割训练的基础上进一步降低了标注工作量，并且保证了模型训练的精准度。
在此基础上，一种可选的技术方案，根据各分类向量确定阳性样本的样本向量，具体可以包括：针对每个分类向量，确定与分类向量对应的样本图像中存在已知目标的图像概率；根据各图像概率确定阳性样本中存在该已知目标的样本概率，并根据样本概率确定阳性样本的样本向量。其中，图像概率可以是根据分类向量确定的与该分类向量对应的样本图像中存在已知目标的概率，如其可以是分类向量中的用于表示存在已知目标的那个维度下的数据。类似的，样本概率可以是根据各图像概率确定的用于表示阳性样本中存在该已知目标的概率，进而根据样本概率可以确定阳性样本的样本向量，示例性的，样本向量是一个二维数据，其中的一维数据表示该阳性样本中存在已知目标的概率(即样本概率)且另一维数据表示该阳性样本中未存在该已知目标概率(即1-样本概率)，因此根据样本概率可以确定样本向量。上述技术方案，达到了根据各个样本图像的分类向量准确确定各样本图像构成的阳性样本的样本向量的效果。
为了更好地理解上述步骤的具体实现过程，下面结合具体示例对本实施例的模型生成方法进行示例性的说明。示例性的，以单个病人的全部CT为一组构成训练样本，其中存在感兴趣点的病人的训练样本是阳性样本，其分类标签label为1；相应的，并未存在感兴趣点的病人的训练样本是阴性样本，其分类标签label为0。针对于阳性样本，假设该阳性样本中包括N层样本图像，每层样本图像中存在感兴趣点的图像概率是Pred，而阳性样本的样本概率是pred，其可以表示出这组样本图像中存在感兴趣点的概率。将每组阳性样本作为一个整体进行训练和损失计算与回传。在深度学习模型中，由于本身训练过程就是以批次(即batch)为单位进行训练，因此每一组可以作为一个批次进行训练。在对组进行训练时，分类损失函数的计算过程如下所述：pred＝1-(1-Pred_1)*(1-Pred_2)*...*(1-Pred_N)，label＝1，Loss(分类损失函数)＝一般的二分类损失函数如二元交叉熵损失(pred，label)。需要说明的是，由于阴性样本中的每层样本图像均未包括已知目标，因此对阴性样本的一次分类标注的工作量相当于对阴性样本中各层样本图像进行分类标注的工作量，那么阴性样本可以采用如同上述阳性样本的方式进行训练，也可以基于各样本图像分别进行训练，在此未做具体限定。
为了证明基于本发明各实施例所述的模型生成方法生成的图像分割模型的有效性，在此基于新冠肺炎的数据集上进行了训练和测试，其中，训练集包含800例阳性图像和400例阴性图像，测试集包含200例阳性图像和100例阴性图像。医生根据要求进行了分割标注和分类标注，其中，训练集采用了非完全的分类标注和共计14000层的分割标注，分割标注可以应用于Unet中，且分类标注可以应用于其它方案中；测试集采用了完全的分割标注(即每个感兴趣点均进行标注)，共计20818层。通过训练和测试可以得到如下结果，由此证明了上述方法的有效性。
Figure BDA0002912517770000211
Figure BDA0002912517770000221
图6是本发明实施例中提供的一种图像分割方法的流程图。本实施例可适用于从待分割图像上精细且完整分割出待分割目标的情况。该方法可以由本发明实施例提供的图像分割装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在电子设备上，该电子设备可以是各种用户终端或服务器上。
参见图6，本发明实施例的方法具体包括如下步骤：
S410、获取待分割图像和按照本发明任意实施例所提供的方法生成的图像分割模型。
其中，待分割图像可以是待分割的数字图像，它的具体情况与上文所述的数字图像类似，在此不再赘述。图像分割模型可以是基于上文任一所述的模型生成方法生成的可用于从待分割图像中分割出待分割目标的模型，其至少具有能够分割出精细并且完整的待分割目标的分割性能，还可能具有准确分割出非明显的待分割目标的分割性能，还可能具有降低标注工作量的效果，等等。
S420、将待分割图像输入至图像分割模型中，并根据图像分割模型的输出结果，得到待分割图像中待分割目标的目标分割图像。
其中，目标分割图像可以是从待分割图像中分割出的待分割目标的图像，其是待分割目标在待分割图像中所在的部分。
本发明实施例的技术方案，通过将获取到的待分割图像输入至已训练完成的图像分割模型中，并根据图像分割模型的输出结果得到待分割图像中待分割目标的目标分割图像。上述技术方案，解决了现有的弱监督分割模型所存在的分割性能较差的问题，可以从待分割图像上精细且完整分割出待分割目标。
图7为本发明实施例提供的模型生成装置的结构框图，该装置用于执行上述任意实施例所提供的模型生成方法。该装置与上述各实施例的模型生成方法属于同一个发明构思，在模型生成装置的实施例中未详尽描述的细节内容，可以参考上述模型生成方法的实施例。参见图7，该装置具体可以包括：特征图处理模块510、损失函数确定模块520和模型生成模块530。其中，
特征图处理模块510，用于将获取到的样本图像输入至原始分割模型中，根据原始分割模型输出的分割特征图确定增强特征图和分类向量；
损失函数确定模块520，用于根据增强特征图中的第三特征图和第四特征图确定相似性损失函数，并且根据分类向量和针对于已知目标的分类标签确定分类损失函数；
模型生成模块530，用于将分类损失函数和相似性损失函数反向输入到原始分割模型，调节原始分割模型的网络参数，生成图像分割模型；
其中，第三特征图中的目标信息多于分割特征图中与样本图像中的第一图像对应的第一特征图，且第四特征图中的目标信息多于分割特征图中与样本图像中的第二图像对应的第二特征图，第二图像是对第一图像进行降维后得到的图像。
可选的，特征图处理模块510，具体可包括：信息特征图获取单元，用于获取原始分割模型输出的分割特征图、以及包含目标信息的信息特征图，其中信息特征图包括下述中的至少一个：样本图像、在将样本图像输入至原始分割模型之后，经由原始分割模型内各分割网络中的预设分割网络输出的特征图、以及将样本图像和预设分割网络输出的特征图进行拼接后得到的特征图；增强特征图得到单元，用于根据信息特征图和分割特征图确定全局注意力图，根据全局注意力图和分割特征图得到增强特征图。
可选的，损失函数确定模块520，具体可包括：相似性损失函数确定单元，用于根据增强特征图中的第三特征图和第四特征图确定第一损失函数；和/或，根据第一特征图和第四特征图确定第二损失函数，并且根据第二特征图和第三特征图确定第三损失函数；
相应的，模型生成模块530，具体可包括：损失函数反向输入单元，用于将分类损失函数和第一损失函数、或是分类损失函数、第二损失函数和第三损失函数、或分类损失函数、第一损失函数、第二损失函数和第三损失函数反向输入到原始分割模型中。
可选的，上述模型生成装置，还可以包括：分割损失函数确定模块，用于针对分割特征图中的每个目标像素点，从分割特征图中分别获取目标像素点的目标分割向量和与目标像素点临近的临近像素点的临近分割向量，根据目标分割向量和临近分割向量确定分割损失函数；分割损失函数反向输入模块，用于将各分割损失函数反向输入到原始分割模型。
在此基础上，可选的，目标像素点可以是分割特征图中满足预设分割策略的分割概率对应的像素点，并且目标像素点包括目标前景点或是目标背景点；临近像素点是分割特征图中以目标像素点为中心的预设范围内的满足预设分割策略的分割概率对应的像素点，且临近像素点包括临近前景点或是临近背景点；
相应的，分割损失函数确定模块，具体可以包括：分割损失函数确定单元，用于确定目标像素点和临近像素点的像素点类别是否一致，并根据确定结果、目标分割向量和临近分割向量确定分割损失函数。
可选的，特征图处理模块510，具体可以包括：样本图像获取单元，用于获取阳性样本中的各层样本图像，其中，各层样本图像中的至少一层样本图像存在已知目标；分类向量确定单元，用于针对每层样本图像，将样本图像输入至原始分割模型，根据原始分割模型输出的分割特征图确定样本图像的增强特征图和分类向量；
相应的，损失函数确定模块520，具体可以包括：样本损失函数确定单元，用于根据各分类向量确定阳性样本的样本向量，并根据阳性样本中已知目标的分类标签和样本向量确定阳性样本的样本损失函数；分类损失函数确定单元，用于将样本损失函数作为每层样本图像的分类损失函数。
在此基础上，可选的，样本损失函数确定单元，具体可以包括：图像概率确定子单元，用于针对每个分类向量，确定与分类向量对应的样本图像中存在已知目标的图像概率；样本向量确定子单元，用于根据各图像概率确定阳性样本中存在已知目标的样本概率，并根据样本概率确定阳性样本的样本向量。
本发明实施例提供的模型生成装置，通过特征图处理模块将获取到的样本图像输入至原始分割模型，根据原始分割模型输出的分割特征图确定增强特征图和分类向量，其中，样本图像包括第一图像和对第一图像进行降维后得到的第二图像，高低不同分辨率的两个图像相互配合，将它们结合到后续步骤后可以同时关注到更细小的已知目标并且完整分割出已知目标；损失函数确定模块和模型生成模块可相互配合，由于增强特征图中的目标信息多于分割特征图，那么基于通过增强特征图中的与第一图像对应的第三特征图和与第二图像对应的第四特征图确定的相似性损失函数调节原始分割模型中的网络参数后，可以得到更加关注目标信息的分割特征图，另外，基于通过分类向量和针对于已知目标的分类标签确定的分类损失函数调节原始分割模型中的网络参数后，可以得到与分类更相关的分割特征图，两部分相互结合，可以生成能够分割出精细且完整的已知目标的图像分割模型。上述装置，可以生成能够进行精细且完整分割的图像分割模型，达到了增强弱监督分割模型的分割性能的效果。
本发明实施例所提供的模型生成装置可执行本发明任意实施例所提供的模型生成方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述模型生成装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
图8为本发明实施例提供的图像分割装置的结构框图，该装置用于执行上述任意实施例所提供的图像分割方法。该装置与上述各实施例的图像分割方法属于同一个发明构思，在图像分割装置的实施例中未详尽描述的细节内容，可以参考上述图像分割方法的实施例。参见图8，该装置具体可包括：数据获取模块610和图像分割模块620。
其中，数据获取模块610，用于获取待分割图像和和按照本发明任意实施例所提供的方法生成的图像分割模型；
图像分割模块620，用于将待分割图像输入至图像分割模型中，根据图像分割模型的输出结果，得到待分割图像中待分割目标的目标分割图像。
本发明实施例提供的图像分割装置，通过数据获取模块和图像分割模块相互配合，将获取到的待分割图像输入至已训练完成的图像分割模型中，并根据图像分割模型的输出结果得到待分割图像中待分割目标的目标分割图像。上述装置，解决了现有的弱监督分割模型所存在的分割性能较差的问题，可以从待分割图像上精细且完整分割出待分割目标。
本发明实施例所提供的图像分割装置可执行本发明任意实施例所提供的图像分割方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述图像分割装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
图9为本发明实施例提供的一种电子设备的结构示意图，如图9所示，该电子设备包括存储器710、处理器720、输入装置730和输出装置740。电子设备中的处理器720的数量可以是一个或多个，图9中以一个处理器720为例；电子设备中的存储器710、处理器720、输入装置730和输出装置740可以通过总线或其它方式连接，图9中以通过总线750连接为例。
存储器710作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的模型生成方法对应的程序指令/模块(例如，模型生成装置中的特征图处理模块510、损失函数确定模块520和模型生成模块530)，或是，如本发明实施例中的图像分割方法对应的程序指令/模块(例如，图像分割装置中的数据获取模块610和图像分割模块620)。处理器720通过运行存储在存储器710中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的模型生成方法或图像分割方法。
存储器710可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器710可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器710可进一步包括相对于处理器720远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置730可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置740可包括显示屏等显示设备。
本发明实施例提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种模型生成方法，该方法包括：
将获取到的样本图像输入至原始分割模型中，根据原始分割模型输出的分割特征图确定增强特征图和分类向量；
根据增强特征图中的第三特征图和第四特征图确定相似性损失函数，且根据分类向量和针对于已知目标的分类标签确定分类损失函数；
将分类损失函数和相似性损失函数反向输入到原始分割模型，调节原始分割模型的网络参数，生成图像分割模型；
其中，第三特征图中的目标信息多于分割特征图中与样本图像中的第一图像对应的第一特征图，且第四特征图中的目标信息多于分割特征图中与样本图像中的第二图像对应的第二特征图，第二图像是对第一图像进行降维后得到的图像。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的模型生成方法中的相关操作。
本发明实施例提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像分割方法，可以包括：
获取待分割图像和按照本发明任意实施例提供的方法生成的图像分割模型；
将待分割图像输入至图像分割模型中，并根据图像分割模型的输出结果，得到待分割图像中待分割目标的目标分割图像。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种模型生成方法，其特征在于，包括：
将获取到的样本图像输入至原始分割模型中，根据所述原始分割模型输出的分割特征图确定增强特征图和分类向量；
根据所述增强特征图中的第三特征图和第四特征图确定相似性损失函数，且根据所述分类向量和针对于已知目标的分类标签确定分类损失函数；
将所述分类损失函数和所述相似性损失函数反向输入到所述原始分割模型，调节所述原始分割模型的网络参数，生成图像分割模型；
其中，所述第三特征图中的目标信息多于所述分割特征图中与所述样本图像中的第一图像对应的第一特征图，且所述第四特征图中的所述目标信息多于所述分割特征图中与所述样本图像中的第二图像对应的第二特征图，所述第二图像是对所述第一图像进行降维后得到的图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述原始分割模型输出的分割特征图确定增强特征图，包括：
获取所述原始分割模型输出的分割特征图、以及包含所述目标信息的信息特征图，其中，所述信息特征图包括下述中的至少一个：所述样本图像、在将所述样本图像输入至所述原始分割模型之后，经由所述原始分割模型内各分割网络中的预设分割网络输出的特征图、及将所述样本图像和所述预设分割网络输出的特征图进行拼接后得到的特征图；
根据所述信息特征图和所述分割特征图确定全局注意力图，并根据所述全局注意力图和所述分割特征图得到增强特征图。
3.根据权利要求1所述的方法，其特征在于，所述根据所述增强特征图中的第三特征图和第四特征图确定相似性损失函数，包括：
根据所述增强特征图中的第三特征图和第四特征图确定第一损失函数；和/或，根据所述第一特征图和所述第四特征图确定第二损失函数，并且根据所述第二特征图和所述第三特征图确定第三损失函数；
相应的，所述将所述分类损失函数和所述相似性损失函数反向输入到所述原始分割模型，包括：
将所述分类损失函数和所述第一损失函数、或是所述分类损失函数、所述第二损失函数和所述第三损失函数、或所述分类损失函数、所述第一损失函数、所述第二损失函数和所述第三损失函数反向输入到所述原始分割模型中。
4.根据权利要求1所述的方法，其特征在于，还包括：
针对所述分割特征图中的每个目标像素点，从所述分割特征图中分别获取所述目标像素点的目标分割向量和与所述目标像素点临近的临近像素点的临近分割向量，并根据所述目标分割向量和所述临近分割向量确定分割损失函数；
将各所述分割损失函数反向输入到所述原始分割模型。
5.根据权利要求4所述的方法，其特征在于，所述目标像素点是所述分割特征图中满足预设分割策略的分割概率对应的像素点，且所述目标像素点包括目标前景点或是目标背景点；
所述临近像素点是所述分割特征图中以所述目标像素点为中心的预设范围内的满足所述预设分割策略的所述分割概率对应的像素点，且所述临近像素点包括临近前景点或是临近背景点；
所述根据所述目标分割向量和所述临近分割向量确定分割损失函数，包括：
确定所述目标像素点和所述临近像素点的像素点类别是否一致，根据确定结果、所述目标分割向量和所述临近分割向量确定分割损失函数。
6.根据权利要求1所述的方法，其特征在于，所述将获取到的样本图像输入至原始分割模型中，根据所述原始分割模型输出的分割特征图确定增强特征图和分类向量，包括：
获取阳性样本中的各层样本图像，其中，各层所述样本图像中的至少一层所述样本图像存在所述已知目标；
针对每层所述样本图像，将所述样本图像输入至原始分割模型，根据所述原始分割模型输出的分割特征图确定所述样本图像的增强特征图和分类向量；
所述根据所述分类向量和针对于已知目标的分类标签确定分类损失函数，包括：
根据各所述分类向量确定所述阳性样本的样本向量，并根据所述阳性样本中已知目标的分类标签和所述样本向量确定所述阳性样本的样本损失函数；
将所述样本损失函数作为每层所述样本图像的分类损失函数。
7.根据权利要求6所述的方法，其特征在于，所述根据各所述分类向量确定所述阳性样本的样本向量，包括：
针对每个所述分类向量，确定与所述分类向量对应的所述样本图像中存在所述已知目标的图像概率；
根据各所述图像概率确定所述阳性样本中存在所述已知目标的样本概率，并根据所述样本概率确定所述阳性样本的样本向量。
8.一种图像分割方法，其特征在于，包括：
获取待分割图像和按照权利要求1-7中任一项的方法生成的图像分割模型；
将所述待分割图像输入至所述图像分割模型中，并根据所述图像分割模型的输出结果，得到所述待分割图像中待分割目标的目标分割图像。
9.一种模型生成装置，其特征在于，包括：
特征图处理模块，用于将获取到的样本图像输入至原始分割模型中，根据所述原始分割模型输出的分割特征图确定增强特征图和分类向量；
损失函数确定模块，用于根据所述增强特征图中的第三特征图和第四特征图确定相似性损失函数，并且根据所述分类向量和针对于已知目标的分类标签确定分类损失函数；
模型生成模块，用于将所述分类损失函数和所述相似性损失函数反向输入到所述原始分割模型，调节所述原始分割模型的网络参数，生成图像分割模型；
其中，所述第三特征图中的目标信息多于所述分割特征图中与所述样本图像中的第一图像对应的第一特征图，且所述第四特征图中的所述目标信息多于所述分割特征图中与所述样本图像中的第二图像对应的第二特征图，所述第二图像是对所述第一图像进行降维后得到的图像。
10.一种图像分割装置，其特征在于，包括：
数据获取模块，用于获取待分割图像和按照权利要求1-7中任一项的方法生成的图像分割模型；
图像分割模块，用于将所述待分割图像输入至所述图像分割模型中，根据所述图像分割模型的输出结果，得到所述待分割图像中待分割目标的目标分割图像。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的模型生成方法、或是如权利要求8所述的图像分割方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的模型生成方法、或是如权利要求8所述的图像分割方法。
CN202110090537.1A 2021-01-22 2021-01-22 模型生成、图像分割方法、装置、电子设备及存储介质 Active CN112750124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110090537.1A CN112750124B (zh) 2021-01-22 2021-01-22 模型生成、图像分割方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110090537.1A CN112750124B (zh) 2021-01-22 2021-01-22 模型生成、图像分割方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112750124A true CN112750124A (zh) 2021-05-04
CN112750124B CN112750124B (zh) 2021-11-09

Family

ID=75652917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110090537.1A Active CN112750124B (zh) 2021-01-22 2021-01-22 模型生成、图像分割方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112750124B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578360A (zh) * 2022-10-24 2023-01-06 电子科技大学 一种针对超声心动图像的多目标语义分割方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN110543911A (zh) * 2019-08-31 2019-12-06 华南理工大学 一种结合分类任务的弱监督目标分割方法
CN110689548A (zh) * 2019-09-29 2020-01-14 浪潮电子信息产业股份有限公司 一种医学图像分割方法、装置、设备及可读存储介质
CN111199550A (zh) * 2020-04-09 2020-05-26 腾讯科技（深圳）有限公司 图像分割网络的训练方法、分割方法、装置和存储介质
CN111429421A (zh) * 2020-03-19 2020-07-17 北京推想科技有限公司 模型生成方法、医学图像分割方法、装置、设备及介质
CN111489357A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种图像分割方法、装置、设备及存储介质
CN111598174A (zh) * 2020-05-19 2020-08-28 中国科学院空天信息创新研究院 图像地物要素分类模型的训练方法、图像分析方法及系统
US20200320685A1 (en) * 2017-10-02 2020-10-08 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
US20200356854A1 (en) * 2017-11-03 2020-11-12 Siemens Aktiengesellschaft Weakly-supervised semantic segmentation with self-guidance
CN112232349A (zh) * 2020-09-23 2021-01-15 成都佳华物链云科技有限公司 模型训练方法、图像分割方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200320685A1 (en) * 2017-10-02 2020-10-08 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
US20200356854A1 (en) * 2017-11-03 2020-11-12 Siemens Aktiengesellschaft Weakly-supervised semantic segmentation with self-guidance
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN111489357A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种图像分割方法、装置、设备及存储介质
CN110543911A (zh) * 2019-08-31 2019-12-06 华南理工大学 一种结合分类任务的弱监督目标分割方法
CN110689548A (zh) * 2019-09-29 2020-01-14 浪潮电子信息产业股份有限公司 一种医学图像分割方法、装置、设备及可读存储介质
CN111429421A (zh) * 2020-03-19 2020-07-17 北京推想科技有限公司 模型生成方法、医学图像分割方法、装置、设备及介质
CN111199550A (zh) * 2020-04-09 2020-05-26 腾讯科技（深圳）有限公司 图像分割网络的训练方法、分割方法、装置和存储介质
CN111598174A (zh) * 2020-05-19 2020-08-28 中国科学院空天信息创新研究院 图像地物要素分类模型的训练方法、图像分析方法及系统
CN112232349A (zh) * 2020-09-23 2021-01-15 成都佳华物链云科技有限公司 模型训练方法、图像分割方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JAU WOEI PERNG，AND ETC: "Development of an embedded road boundary detection system based on deep learning", 《IMAGE AND VISION COMPUTING 100》 *
张宏钊等: "基于加权损失函数的多尺度对抗网络图像语义分割算法", 《计算机应用与软件》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578360A (zh) * 2022-10-24 2023-01-06 电子科技大学 一种针对超声心动图像的多目标语义分割方法
CN115578360B (zh) * 2022-10-24 2023-12-26 电子科技大学 一种针对超声心动图像的多目标语义分割方法

Also Published As

Publication number Publication date
CN112750124B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
CN108304835B (zh) 文字检测方法和装置
US10810735B2 (en) Method and apparatus for analyzing medical image
CN110111313B (zh) 基于深度学习的医学图像检测方法及相关设备
CN109598728B (zh) 图像分割方法、装置、诊断系统及存储介质
CN108280477B (zh) 用于聚类图像的方法和装置
CN110059697B (zh) 一种基于深度学习的肺结节自动分割方法
US9330336B2 (en) Systems, methods, and media for on-line boosting of a classifier
US20170076448A1 (en) Identification of inflammation in tissue images
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
CN107688783B (zh) 3d图像检测方法、装置、电子设备及计算机可读介质
WO2022089257A1 (zh) 医学图像处理方法、装置、设备、存储介质及产品
CN112132827A (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
CN111932577B (zh) 文本检测方法、电子设备及计算机可读介质
CN113674146A (zh) 图像超分辨率
Ma et al. Combining population and patient-specific characteristics for prostate segmentation on 3D CT images
CN113706562B (zh) 图像分割方法、装置、系统及细胞分割方法
CN112102929A (zh) 医学图像标注方法、装置、存储介质及电子设备
US20140169684A1 (en) Distance Metric for Image Comparison
CN112750124B (zh) 模型生成、图像分割方法、装置、电子设备及存储介质
CN113902945A (zh) 一种多模态乳腺磁共振图像分类方法及系统
CN111127432B (zh) 一种医学图像检测方法、装置、设备及存储介质
Sun et al. Marine ship instance segmentation by deep neural networks using a global and local attention (GALA) mechanism
CN112884702A (zh) 一种基于内窥镜图像的息肉识别系统和方法
CN116152266A (zh) 一种穿刺针超声图像的分割方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant