CN113592771A - 一种图像分割方法 - Google Patents

一种图像分割方法 Download PDF

Info

Publication number
CN113592771A
CN113592771A CN202110705698.7A CN202110705698A CN113592771A CN 113592771 A CN113592771 A CN 113592771A CN 202110705698 A CN202110705698 A CN 202110705698A CN 113592771 A CN113592771 A CN 113592771A
Authority
CN
China
Prior art keywords
image
feature
input image
contour
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110705698.7A
Other languages
English (en)
Other versions
CN113592771B (zh
Inventor
雷海军
刘伟鑫
杨张
袁梅冷
雷柏英
黄忠唯
陈梓豪
赵本建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110705698.7A priority Critical patent/CN113592771B/zh
Publication of CN113592771A publication Critical patent/CN113592771A/zh
Application granted granted Critical
Publication of CN113592771B publication Critical patent/CN113592771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像分割方法，所述方法通过生成原始医学图像对应的预测输入图像，采用原始医学图像对该预测输入图像中的轮廓进行调整，并采用输入图像模板对预测输入图像中的对比度进行调整，得到目标输入图像，再目标输入图像进行图像分割得到分割结果图。由于图像的对比度与图像的外观风格密切相关，因此本发明可以使得目标输入图像在保留原始医学图像中的轮廓特征的同时，还实现改变了图像的对比度以适配解码器。从而解决了现有技术中将不同外观风格的输入图像输入解码器进行图像分割，由于解码器的泛化能力差而导致分割结果图不准确的问题。

Description

一种图像分割方法
技术领域
本发明涉及图像处理领域，尤其涉及的是一种图像分割方法。
背景技术
由于青光眼导致的视力下降无法逆转，早期筛查和检测方法对于保持视力和生活质量至关重要。近年来，卷积神经网络在视盘和视杯分割方面取得了很大的成功。然而，目前要求训练好的图像分割模型的输入图像需要与训练图像的外观风格尽可能一致，若相差较大则容易导致分割结果图不准确，即现有的图像分割模型的泛化能力较差。由于不同的医院使用的眼底图像采集设备的不同，采集得到的图像的整体外观风格的也不同。鉴于目前图像分割模型的泛化能力较差，因此现有技术中不同医院采集的眼底图像无法共用一个图像分割模型，否则导致分割结果图不准确。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种图像分割方法，旨在解决现有技术中将不同外观风格的输入图像输入解码器进行图像分割，由于解码器的泛化能力差而导致分割结果图不准确的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种图像分割方法，其中，所述方法包括：
获取原始医学图像，将所述原始医学图像输入图像合成模型中，得到与所述原始医学图像所对应的预测输入图像；
获取与边界解码器对应的输入图像模板，根据所述原始医学图像和所述输入图像模板对所述预测输入图像进行调整，得到目标输入图像；
将所述目标输入图像输入所述边界解码器中，得到与所述原始医学图像所对应的分割结果图。
在一种实施方式中，所述根据所述原始医学图像和所述输入图像模板对所述预测输入图像进行调整，得到目标输入图像，包括：
获取所述原始医学图像中的第一轮廓特征、所述预测输入图像中的第二轮廓特征、所述输入图像模板中的第一对比度特征以及所述第一预测输入图像中的第二对比度特征；
根据所述第一轮廓特征对所述第二轮廓特征进行调整，并根据所述第一对比度特征对所述第二对比度特征进行调整，得到所述目标输入图像。
在一种实施方式中，所述获取所述原始医学图像中的第一轮廓特征、所述预测输入图像中的第二轮廓特征、所述输入图像模板中的第一对比度特征以及所述第一预测输入图像中的第二对比度特征，包括：
分别对所述原始医学图像、所述预测输入图像和所述输入图像模板进行全局特征提取，得到与所述原始医学图像对应的第一全局特征、所述预测输入图像对应的第二全局特征以及所述输入图像模板对应的第三全局特征；
分别对所述第一全局特征和所述第二全局特征进行轮廓特征提取，得到与所述第一全局特征对应的所述第一轮廓特征和与所述第二全局特征对应的所述第二轮廓特征；
分别对所述第二全局特征和所述第三全局特征进行对比度特征提取，得到与所述第二全局特征对应的所述第二对比度特征和与所述第三全局特征对应的所述第一对比度特征。
在一种实施方式中，所述分别对所述第一全局特征和所述第二全局特征进行轮廓特征提取，得到与所述第一全局特征对应的所述第一轮廓特征和与所述第二全局特征对应的所述第二轮廓特征，包括：
将所述第一全局特征输入预设的内容编码器，得到所述内容编码器基于所述第一全局特征输出的所述第一轮廓特征；
将所述第二全局特征输入所述内容编码器，得到所述内容编码器基于所述第二全局特征输出的所述第二轮廓特征。
在一种实施方式中，所述分别对所述第二全局特征和所述第三全局特征进行对比度特征提取，得到与所述第二全局特征对应的所述第二对比度特征和与所述第三全局特征对应的所述第一对比度特征，包括：
将所述第二全局特征输入预设的风格编码器，得到所述风格编码器基于所述第二全局特征输出的所述第二对比度特征；
将所述第三全局特征输入所述风格编码器，得到所述风格编码器基于所述第三全局特征输出的所述第一对比度特征。
在一种实施方式中，所述根据所述第一轮廓特征对所述第二轮廓特征进行调整，并根据所述第一对比度特征对所述第二对比度特征进行调整，得到所述目标输入图像，包括：
将所述第一轮廓特征和所述第二轮廓特征输入第一损失函数中，得到第一误差反馈信息，根据所述第一误差反馈信息对所述第二轮廓特征进行调整；
将所述第一对比度特征和所述第二对比度特征输入第二损失函数中，得到第二误差反馈信息，根据所述第二误差反馈信息对所述第二对比度特征进行调整。
在一种实施方式中，所述将所述目标输入图像输入所述边界解码器中，得到与所述原始医学图像所对应的分割结果图，包括：
获取所述目标输入图像中的第三轮廓特征，对所述第三轮廓特征进行强化，得到所述目标输入图像对应的边界强化图像；
将所述边界强化图像输入所述边界解码器中，得到与所述原始医学图像所对应的分割结果图。
在一种实施方式中，所述获取所述目标输入图像中的第三轮廓特征，对所述第三轮廓特征进行强化，得到所述目标输入图像对应的边界强化图像，包括：
将所述目标输入图像输入边界注意力模型中，通过所述边界注意力模型提取所述第三轮廓特征，并对所述第三轮廓特征进行强化；
获取所述边界注意力模型基于所述目标输入图像输出的所述边界强化图像。
在一种实施方式中，所述方法还包括：
对所述原始医学图像、所述预测输入图像和所述输入图像模板分别进行局部特征提取，得到所述原始医学图像对应的第一局部特征、所述预测输入图像对应的第二局部特征以及所述输入图像模板对应的第三局部特征；
将所述第一局部特征、第二局部特征、第三局部特征、所述边界强化图像和所述分割结果图进行融合，得到融合图像；
将所述融合图像输入掩码解码器中，得到目标分割结果图。
在一种实施方式中，所述将所述融合图像输入掩码解码器中，得到目标分割结果图，包括：
将所述融合图像输入掩码解码器中，得到概率预测图；
根据归一化函数对所述概率预测图中每一像素点所对应的概率值进行归一化处理，得到目标概率预测图；
根据预设的颜色规则确定所述目标概率预测图中的每一像素点的颜色，得到所述目标分割结果图。
第二方面，本发明实施例还提供一种图像分割装置，其中，所述装置包括：
输入模块，用于获取原始医学图像，将所述原始医学图像输入图像合成模型中，得到与所述原始医学图像所对应的预测输入图像；
对齐模块，用于获取与边界解码器对应的输入图像模板，根据所述原始医学图像和所述输入图像模板对所述预测输入图像进行调整，得到目标输入图像；
分割模块，用于将所述目标输入图像输入所述边界解码器中，得到与所述原始医学图像所对应的分割结果图。
第三方面，本发明实施例还提供一种终端，所述终端包括有存储器和一个或者一个以上处理器；所述存储器存储有一个或者一个以上的程序；所述程序包含用于执行如上述中任一所述的图像分割方法的指令；所述处理器用于执行所述程序。
第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有多条指令，由处理器加载并执行所述指令，以实现如上述中任一所述的图像分割方法的步骤。
本发明的有益效果：本发明实施例通过生成原始医学图像对应的预测输入图像，采用原始医学图像对该预测输入图像中的轮廓进行调整，并采用输入图像模板对预测输入图像中的对比度进行调整，得到目标输入图像，再目标输入图像进行图像分割得到分割结果图。由于图像的对比度与图像的外观风格密切相关，因此本发明可以使得目标输入图像在保留原始医学图像中的轮廓特征的同时，还实现改变了图像的对比度以适配解码器。从而解决了现有技术中将不同外观风格的输入图像输入解码器进行图像分割，由于解码器的泛化能力差而导致分割结果图不准确的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像分割方法的步骤流程示意图。
图2是本发明实施例提供的图像分割方法的详细流程图。
图3是本发明实施例提供的图像分割装置的内部模块连接图。
图4是本发明实施例提供的终端的原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
青光眼是全球第二大导致致盲疾病(仅次于白内障)，也是导致不可逆转失明的首要原因。一种主要的青光眼筛查技术是视神经头(ONH)评估，它采用二元分类来识别青光眼患者和健康受试者。然而，由有经验的临床医生进行人工评估既费时又昂贵，而且不适合大范围的疾病筛查。一些临床测量方法可以采用计算机视觉的方法辅助医生进行患病风险评估，如垂直杯盘比(CDR)。CDR是通过垂直杯直径(VCD)与垂直盘直径(VDD)的比值来计算的。一般来说，CDR越大，青光眼的风险越高，反之亦然。精确的视盘(视盘)视杯(视杯)分割结果能够更准确的计算CDR，从而辅助医生评估青光眼患病的风险。
由于青光眼导致的视力下降无法逆转，早期筛查和检测方法对于保持视力和生活质量至关重要。近年来，卷积神经网络在视盘和视杯分割方面取得了很大的成功。然而，目前要求训练好的图像分割模型的输入图像需要与训练图像的外观风格尽可能一致，若相差较大则容易导致分割结果图不准确，即现有的图像分割模型的泛化能力较差。由于不同的医院使用的眼底图像采集设备的不同，采集得到的图像的整体外观风格的也不同。鉴于目前图像分割模型的泛化能力较差，因此现有技术中不同医院采集的眼底图像无法共用一个图像分割模型，否则导致分割结果图不准确。
针对现有技术的上述缺陷，本发明提供了一种图像分割方法，通过获取原始医学图像，将所述原始医学图像输入图像合成模型中，得到与所述原始医学图像所对应的预测输入图像；获取与边界解码器对应的输入图像模板，根据所述原始医学图像和所述输入图像模板对所述预测输入图像进行调整，得到目标输入图像；将所述目标输入图像输入所述边界解码器中，得到与所述原始医学图像所对应的分割结果图。本发明通过生成原始医学图像对应的预测输入图像，采用原始医学图像对该预测输入图像中的轮廓进行调整，并采用输入图像模板对预测输入图像中的对比度进行调整，得到目标输入图像，再目标输入图像进行图像分割得到分割结果图。由于图像的对比度与图像的外观风格密切相关，因此本发明可以使得目标输入图像在保留原始医学图像中的轮廓特征的同时，还实现改变了图像的对比度以适配解码器。从而解决了现有技术中将不同外观风格的输入图像输入解码器进行图像分割，由于解码器的泛化能力差而导致分割结果图不准确的问题。
如图1所示，所述方法包括如下步骤：
步骤S100、获取原始医学图像，将所述原始医学图像输入图像合成模型中，得到与所述原始医学图像所对应的预测输入图像。
本实施例预先训练了一个图像合成模型，该图像合成模型可以实现将输入的图像转换为预设外观风格的图像，同时保留输入图像的内容信息。为了得到更加准确的分割结果图，本实施例需要将输入解码器中的图像先转换为解码器的标准输入图像的外观风格，以适配解码器的输入端。因此在本实施例中，预设外观风格就是解码器的标准输入图像的外观风格。具体地，本实施例的目标是得到准确的原始医学图像对应的分割结果图，因此将原始医学图像作为输入图像输入该图像合成模型中，得到预测输入图像，该预测输入图像保留了原始医学图像的内容(例如图像内的轮廓信息)，且相较于原始医学图像更接近解码器的标准输入图像的外观风格。
在一种实现方式中，为了使预测输入图像在内容上更加原始医学图像，本实施例还可以采用重建生成器，将预测输入图像输入该重建生成器中，通过重建生成器中的损失函数计算预测输入图像与原始医学图像在内容上的误差，从而根据计算出的误差对预测输入图像进行优化，使得预测输入图像在内容上更加接近原始医学图像，并将优化后的预测输入图像作为后续使用的预测输入图像。
在一种实现方式中，为了获得更好的预测输入图像，本实施例还可以在图像合成模型的解码阶段之前加入原始医学图像中的轮廓信息。然后通过判别器去判断图像是来自于预测输入图像还是输入图像模板。例如，当原始医学图像是采集的眼底图像时，本实施例就可以在图像合成模型的解码阶段前加入原始医学图像中的视盘、视杯的边界信息。
如图1所示，所述方法还包括如下步骤：
步骤S200、获取与边界解码器对应的输入图像模板，根据所述原始医学图像和所述输入图像模板对所述预测输入图像进行调整，得到目标输入图像。
具体地，本实施例的目标是使预测输入图像尽可能保留原始医学图像的内容，且在外观风格上更加接近解码器的标准输入图像，从而实现解码器既可以基于原始医学图像的内容进行图像分割，又不会因为解码器泛化能力差而导致图像分割不准确的问题。因此本实施例在获得预测输入图像之后，还需要根据原始医学图像和输入图像模板对预测输入图像进行调整，由于输入图像模板的外观风格与解码器的训练图像的外观风格一致，因此调整以后得到的目标输入图像在内容上接近原始医学图像，在外观风格上更接近输入图像模板，将目标输入图像输入解码器以后不会因为解码器的泛化能力影响解码器的图像分割的准确性。
在一种实现方式中，所述根据所述原始医学图像和所述输入图像模板对所述预测输入图像进行调整，得到目标输入图像，包括：
步骤S201、获取所述原始医学图像中的第一轮廓特征、所述预测输入图像中的第二轮廓特征、所述输入图像模板中的第一对比度特征以及所述第一预测输入图像中的第二对比度特征；
步骤S202、根据所述第一轮廓特征对所述第二轮廓特征进行调整，并根据所述第一对比度特征对所述第二对比度特征进行调整，得到所述目标输入图像。
具体地，为了使预测输入图像保留更多原始医学图像中的内容，本实施例需要提取原始医学图像中的第一轮廓特征，以及预测输入图像中的第二轮廓特征，通过第一轮廓特征对第二轮廓特征进行调整。由于图像中的轮廓特征与图像中的内容信息密切相关，因此若第一轮廓特征与第二轮廓特征保持一致，就可以实现预测输入图像中保留更多原始医学图像的内容信息。在一种实现方式中，若所述原始医学图像为采集的眼底图像，则所述第一轮廓特征为所述眼底图像中的视盘和视杯轮廓特征，所述第二轮廓特征为所述预测输入图像中的视盘和视杯轮廓特征。
由于图像的对比度和图像的外观风格密切相关，因此为了使预测输入图像的外观风格尽可能接近输入图像模板的外观风格，本实施例需要提取输入图像模板中的第一对比度特征和预测输入图像中的第二对比度特征，通过第一对比度特征对第二对比度特征进行调整。图像的对比度可以反映图像中最亮处与最黑处的比值，图像的对比度越大，则色彩越鲜艳；图像的对比度越小，则色彩越暗，由于图像的外观风格与图像的对比度密切相关，因此若第一对比度特征与第二对比度特征保持一致，就可以实现预测输入图像在外观风格上更加接近输入图像模板。因此调整完毕以后得到的目标输入图像在内容上接近原始医学图像，但在外观风格上更接近输入图像模板。
在一种实现方式中，为了获取第一轮廓特征、第二轮廓特征、第一对比度特征以及第二对比度特征，本实施例需要分别对所述原始医学图像、所述预测输入图像和所述输入图像模板进行全局特征提取，得到与所述原始医学图像对应的第一全局特征、所述预测输入图像对应的第二全局特征以及所述输入图像模板对应的第三全局特征；然后再分别对所述第一全局特征和所述第二全局特征进行轮廓特征提取，得到与所述第一全局特征对应的所述第一轮廓特征和与所述第二全局特征对应的所述第二轮廓特征；并分别对所述第二全局特征和所述第三全局特征进行对比度特征提取，得到与所述第二全局特征对应的所述第二对比度特征和与所述第三全局特征对应的所述第一对比度特征。
具体地，全局特征指的是图像的整体属性,例如颜色特征、纹理特征和形状特征。因此本实施例首先提取出原始医学图像的全局特征，即第一全局特征，再通过第一全局特征提取出原始医学图像对应的轮廓特征，即第一轮廓特征；同理，首先提取出预测输入图像采用预测输入图像的全局特征，即第二全局特征，再通过第二全局特征提取出预测输入图像对应的轮廓特征和对比度特征，即第二轮廓特征和第二对比度特征；同理，首先提取出输入图像模板的全局特征，即第三全局特征，再通过第三全局特征提取出输入图像模板对应的对比度特征，即第一对比度特征。
在一种实现方式中，本实施例可以将所述第一全局特征输入预设的内容编码器，得到所述内容编码器基于所述第一全局特征输出的所述第一轮廓特征；将所述第二全局特征输入所述内容编码器，得到所述内容编码器基于所述第二全局特征输出的所述第二轮廓特征。
在一种实现方式中，本实施例可以将所述第二全局特征输入预设的风格编码器，得到所述风格编码器基于所述第二全局特征输出的所述第二对比度特征；将所述第三全局特征输入所述风格编码器，得到所述风格编码器基于所述第三全局特征输出的所述第一对比度特征。
简言之，本实施例预先训练了两种编码器，一种是针对图像中的轮廓特征进行编码的内容编码器，一种是针对图像中的对比度特征进行编码的风格编码器。将第一全局特征和第二全局特征分别输入内容编码器中，可以提取出第一全局特征中的轮廓特征，即第一轮廓特征；以及提取出第二全局特征中的轮廓特征，即第二轮廓特征。将第二全局特征和第三全局特征分别输入风格编码器中，可以提取出第二全局特征中的对比度特征，即第二对比度特征；并提取出第三全局特征中的对比度特征，即第一对比度特征。
在一种实现方式中，所述根据所述第一轮廓特征对所述第二轮廓特征进行调整，并根据所述第一对比度特征对所述第二对比度特征进行调整，得到所述目标输入图像，包括：将所述第一轮廓特征和所述第二轮廓特征输入第一损失函数中，得到第一误差反馈信息，根据所述第一误差反馈信息对所述第二轮廓特征进行调整；将所述第一对比度特征和所述第二对比度特征输入第二损失函数中，得到第二误差反馈信息，根据所述第二误差反馈信息对所述第二对比度特征进行调整。
本实施例的目标是使预测输入图像与原始医学图像中的轮廓保持一致，预测输入图像与输入图像模板中的对比度保持一致。概括地讲，本实施例采用第一轮廓特征对第二轮廓特征进行调整，从而使得预测输入图像中的轮廓与原始医学图像中的轮廓一致；采用第一对比度特征对第二对比度特征进行调整，从而使得预测输入图像中的对比度与输入图像模板的对比度一致。在具体调整的过程中，本实施例需要将第一轮廓特征和第二轮廓特征输入预设的第一损失函数中，并获取第一损失函数基于第一轮廓特征和第二轮廓特征输出的第一误差反馈信息。由于第一误差反馈信息可以反映第一轮廓特征与第二轮廓特征之间的差距，因此根据第一误差反馈信息对第二轮廓特征进行调整，可以使得第二轮廓特征更接近第一轮廓特征。同理，本实施例需要将第一对比度特征和第二对比度特征输入预设的第二损失函数中，并获取第二损失函数基于第一对比度特征和第二对比度特征输出的第二误差反馈信息。由于第二误差反馈信息可以反映第一对比度特征与第二对比度特征之间的差距，因此根据第二误差范阔信息对第二对比度特征进行调整，可以使得第二对比度特征更加接近第一对比度特征。调整完毕以后即得到目标输入图像。
举例说明，图像合成的作用过程如下：
假设原始医学图像为
Figure BDA0003131149430000131
轮廓信息
Figure BDA0003131149430000132
无标签输入图像模板
Figure BDA0003131149430000133
其中H和W分别表示图像的高度和宽度。图像合成的模型如下：
Figure BDA0003131149430000134
其中，xs表示原始医学图像，xt表示输入图像模板，bs表示视杯和视盘的边界信息,图像合成模型Gt用于生成具有原始医学图像内容和输入图像模板风格的图像，即目标输入图像。判别器Dt旨在区分图像的类别，即当前图像是目标输入图像还是输入图像模板还是原始医学图像。为了让生成的目标输入图像的内容信息更加接近于原始医学图像，在一种实现方式中还可以使用一个重建生成器Gr合成重建的图像xs→t→s,重建损失如下：
Figure BDA0003131149430000135
在一种实现方式中，所述判别器的损失函数为：
Figure BDA0003131149430000136
Figure BDA0003131149430000137
其中，Ue表示边界解码器。
Figure BDA0003131149430000138
和
Figure BDA0003131149430000139
分别表示原始医学图像，输入图像模板和预测输入图像的分割结果图。
Figure BDA0003131149430000141
表示交叉熵损失函数。
在一种实现方式中，所述第一损失函数如下所示：
Figure BDA0003131149430000142
所述第二损失函数如下所示：
Figure BDA0003131149430000143
如图1所示，所述方法还包括如下步骤：
步骤S300、将所述目标输入图像输入所述边界解码器中，得到与所述原始医学图像所对应的分割结果图。
具体地，由于目标输入图像中既保留了原始医学图像中的轮廓特征，同时其对比度，即外观风格又与边界解码器对应的输入图像模板接近，因此直接将目标输入图像输入边界解码器中，不需要考虑边界解码器的泛化能力，即可以得到基于原始医学图像中的轮廓特征进行分割产生的分割结果图。
在一种实现方式中，本实施例还可以采用边界判别器去判断哪些轮廓特征为第一轮廓特征，哪些为第二轮廓特征，从而使得第一轮廓特征与第二轮廓特征对齐。
在一种实现方式中，所述步骤S300具体包括如下步骤：
步骤S301、获取所述目标输入图像中的第三轮廓特征，对所述第三轮廓特征进行强化，得到所述目标输入图像对应的边界强化图像；
步骤S302、将所述边界强化图像输入所述边界解码器中，得到与所述原始医学图像所对应的分割结果图。
具体地，由于本实施例需要得到的是基于原始医学图像中的轮廓特征进行分割产生的分割结果图，因此为了使得分割结果图更加准确，本实施例在将目标输入图像输入边界解码器之前需要先对目标输入图像中的第三轮廓特征进行强化，使得第三轮廓特征更加清晰，强化后即得到边界强化图像，再将该边界强化图像输入边界解码器中，则边界解码器就可以准确的基于清晰的第三轮廓特征对目标输入图像进行图像分割，并输出准确的分割结果图。
在一种实现方式中，为了实现对第三轮廓特征进行强化，本实施例可以将所述目标输入图像输入边界注意力模型中，通过所述边界注意力模型提取所述第三轮廓特征，并对所述第三轮廓特征进行强化；获取所述边界注意力模型基于所述目标输入图像输出的所述边界强化图像。
具体地，为了强化第三轮廓特征，本实施例预先训练了一个边界注意力模型，该边界注意力模型采用注意力机制，将焦点聚焦在图像的轮廓特征上，使得边界注意力模型对输入的图像中的轮廓部位的关注程度更高，从而实现对第三轮廓特征的强化，得到边界强化图像。
在一种实现方式中，所述方法还包括如下步骤：
步骤S1、对所述原始医学图像、所述预测输入图像和所述输入图像模板分别进行局部特征提取，得到所述原始医学图像对应的第一局部特征、所述预测输入图像对应的第二局部特征以及所述输入图像模板对应的第三局部特征；
步骤S2、将所述第一局部特征、第二局部特征、第三局部特征、所述边界强化图像和所述分割结果图进行融合，得到融合图像；
步骤S3、将所述融合图像输入掩码解码器中，得到目标分割结果图。
具体地，由于全局特征相对的感受野较大，容易忽略局部的细节特征，因此为了得到更加准确的分割结果图，本实施例还需要对原始医学图像、预测输入图像和输入图像模板分别进行局部特征提取，得到第一局部特征、第二局部特征以及第三局部特征，然后将这三种局部特征、边界强化图像和分割结果图进行融合，得到融合图像，最后再将该融合图像输入掩码解码器中，通过掩码解码器对该融合图像进行图像分割，得到目标分割结果图。
在一种实现方式中，步骤S3具体包括如下步骤：
步骤S301、将所述融合图像输入掩码解码器中，得到概率预测图；
步骤S302、根据归一化函数对所述概率预测图中每一像素点所对应的概率值进行归一化处理，得到目标概率预测图；
步骤S303、根据预设的颜色规则确定所述目标概率预测图中的每一像素点的颜色，得到所述目标分割结果图。
具体地，将所述融合图像输入掩码解码器之后，所述掩码解码器会自动计算出所述融合图像中每一像素点为视盘或者视杯的概率，从而输出概率预测图。为了将视盘和视杯的轮廓与背景色清楚的区分开，因此本实施例还需要对概率预测图中每一像素点所对应的概率值进行归一化处理，得到目标概率预测图，并根据预设的颜色规则确定每一像素点的颜色，得到所述目标分割结果图。例如可以将背景色设置为黑色，前景色设置为白色，由于本实施例中的目标是视盘和视杯，因此可以将视盘设置为灰色，将视杯设置为白色(如图2所示)。
在一种实现方式中，对于目标概率预测图的优化可以采用原始医学图像和真实标签进行有监督学习，其中使用的损失函数如下所示：
Figure BDA0003131149430000161
Figure BDA0003131149430000162
其中，
Figure BDA0003131149430000163
和
Figure BDA0003131149430000164
分别表示真实的标签以及预测的结果。
在一种实现方式中，本实施例可以采用对抗损失函数去优化得到的目标分割结果图，让目标输入图像得到的分割结果图和输入图像模板对应的分割结果图，更接近于原始医学图像得到的结果分割结果图。其中，对抗损失函数如下所示：
Figure BDA0003131149430000171
Figure BDA0003131149430000172
在一种实现方式中，在进行有监督学习时，本实施例可以采用掩码判别器去分辨真实标签对应的真实概率图和目标输入图像对应的目标概率预测图，从而使得目标概率预测图与真实概率图对齐。
基于上述实施例，本发明还提供了一种图像分割装置，如图3所示，该装置包括：
输入模块01，用于获取原始医学图像，将所述原始医学图像输入图像合成模型中，得到与所述原始医学图像所对应的预测输入图像；
对齐模块02，用于获取与边界解码器对应的输入图像模板，根据所述原始医学图像和所述输入图像模板对所述预测输入图像进行调整，得到目标输入图像；
分割模块03，用于将所述目标输入图像输入所述边界解码器中，得到与所述原始医学图像所对应的分割结果图。
基于上述实施例，本发明还提供了一种终端，其原理框图可以如图4所示。该终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏。其中，该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现图像分割方法。该终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图4中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一种实现方式中，所述终端的存储器中存储有一个或者一个以上的程序，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行图像分割方法的指令。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了一种图像分割方法，通过生成原始医学图像对应的预测输入图像，采用原始医学图像对该预测输入图像中的轮廓进行调整，并采用输入图像模板对预测输入图像中的对比度进行调整，得到目标输入图像，再目标输入图像进行图像分割得到分割结果图。由于图像的对比度与图像的外观风格密切相关，因此本发明可以使得目标输入图像在保留原始医学图像中的轮廓特征的同时，还实现改变了图像的对比度以适配解码器。从而解决了现有技术中将不同外观风格的输入图像输入解码器进行图像分割，由于解码器的泛化能力差而导致分割结果图不准确的问题。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种图像分割方法，其特征在于，所述方法包括：
获取原始医学图像，将所述原始医学图像输入图像合成模型中，得到与所述原始医学图像所对应的预测输入图像；
获取与边界解码器对应的输入图像模板，根据所述原始医学图像和所述输入图像模板对所述预测输入图像进行调整，得到目标输入图像；
将所述目标输入图像输入所述边界解码器中，得到与所述原始医学图像所对应的分割结果图。
2.根据权利要求1所述的图像分割方法，其特征在于，所述根据所述原始医学图像和所述输入图像模板对所述预测输入图像进行调整，得到目标输入图像，包括：
获取所述原始医学图像中的第一轮廓特征、所述预测输入图像中的第二轮廓特征、所述输入图像模板中的第一对比度特征以及所述第一预测输入图像中的第二对比度特征；
根据所述第一轮廓特征对所述第二轮廓特征进行调整，并根据所述第一对比度特征对所述第二对比度特征进行调整，得到所述目标输入图像。
3.根据权利要求2所述的图像分割方法，其特征在于，所述获取所述原始医学图像中的第一轮廓特征、所述预测输入图像中的第二轮廓特征、所述输入图像模板中的第一对比度特征以及所述第一预测输入图像中的第二对比度特征，包括：
分别对所述原始医学图像、所述预测输入图像和所述输入图像模板进行全局特征提取，得到与所述原始医学图像对应的第一全局特征、所述预测输入图像对应的第二全局特征以及所述输入图像模板对应的第三全局特征；
分别对所述第一全局特征和所述第二全局特征进行轮廓特征提取，得到与所述第一全局特征对应的所述第一轮廓特征和与所述第二全局特征对应的所述第二轮廓特征；
分别对所述第二全局特征和所述第三全局特征进行对比度特征提取，得到与所述第二全局特征对应的所述第二对比度特征和与所述第三全局特征对应的所述第一对比度特征。
4.根据权利要求3所述的图像分割方法，其特征在于，所述分别对所述第一全局特征和所述第二全局特征进行轮廓特征提取，得到与所述第一全局特征对应的所述第一轮廓特征和与所述第二全局特征对应的所述第二轮廓特征，包括：
将所述第一全局特征输入预设的内容编码器，得到所述内容编码器基于所述第一全局特征输出的所述第一轮廓特征；
将所述第二全局特征输入所述内容编码器，得到所述内容编码器基于所述第二全局特征输出的所述第二轮廓特征。
5.根据权利要求3所述的图像分割方法，其特征在于，所述分别对所述第二全局特征和所述第三全局特征进行对比度特征提取，得到与所述第二全局特征对应的所述第二对比度特征和与所述第三全局特征对应的所述第一对比度特征，包括：
将所述第二全局特征输入预设的风格编码器，得到所述风格编码器基于所述第二全局特征输出的所述第二对比度特征；
将所述第三全局特征输入所述风格编码器，得到所述风格编码器基于所述第三全局特征输出的所述第一对比度特征。
6.根据权利要求2所述的图像分割方法，其特征在于，所述根据所述第一轮廓特征对所述第二轮廓特征进行调整，并根据所述第一对比度特征对所述第二对比度特征进行调整，得到所述目标输入图像，包括：
将所述第一轮廓特征和所述第二轮廓特征输入第一损失函数中，得到第一误差反馈信息，根据所述第一误差反馈信息对所述第二轮廓特征进行调整；
将所述第一对比度特征和所述第二对比度特征输入第二损失函数中，得到第二误差反馈信息，根据所述第二误差反馈信息对所述第二对比度特征进行调整。
7.根据权利要求1所述的图像分割方法，其特征在于，所述将所述目标输入图像输入所述边界解码器中，得到与所述原始医学图像所对应的分割结果图，包括：
获取所述目标输入图像中的第三轮廓特征，对所述第三轮廓特征进行强化，得到所述目标输入图像对应的边界强化图像；
将所述边界强化图像输入所述边界解码器中，得到与所述原始医学图像所对应的分割结果图。
8.根据权利要求7所述的图像分割方法，其特征在于，所述获取所述目标输入图像中的第三轮廓特征，对所述第三轮廓特征进行强化，得到所述目标输入图像对应的边界强化图像，包括：
将所述目标输入图像输入边界注意力模型中，通过所述边界注意力模型提取所述第三轮廓特征，并对所述第三轮廓特征进行强化；
获取所述边界注意力模型基于所述目标输入图像输出的所述边界强化图像。
9.根据权利要求7所述的图像分割方法，其特征在于，所述方法还包括：
对所述原始医学图像、所述预测输入图像和所述输入图像模板分别进行局部特征提取，得到所述原始医学图像对应的第一局部特征、所述预测输入图像对应的第二局部特征以及所述输入图像模板对应的第三局部特征；
将所述第一局部特征、第二局部特征、第三局部特征、所述边界强化图像和所述分割结果图进行融合，得到融合图像；
将所述融合图像输入掩码解码器中，得到目标分割结果图。
10.根据权利要求9所述的图像分割方法，其特征在于，所述将所述融合图像输入掩码解码器中，得到目标分割结果图，包括：
将所述融合图像输入掩码解码器中，得到概率预测图；
根据归一化函数对所述概率预测图中每一像素点所对应的概率值进行归一化处理，得到目标概率预测图；
根据预设的颜色规则确定所述目标概率预测图中的每一像素点的颜色，得到所述目标分割结果图。
CN202110705698.7A 2021-06-24 2021-06-24 一种图像分割方法 Active CN113592771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110705698.7A CN113592771B (zh) 2021-06-24 2021-06-24 一种图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110705698.7A CN113592771B (zh) 2021-06-24 2021-06-24 一种图像分割方法

Publications (2)

Publication Number Publication Date
CN113592771A true CN113592771A (zh) 2021-11-02
CN113592771B CN113592771B (zh) 2023-12-15

Family

ID=78244629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110705698.7A Active CN113592771B (zh) 2021-06-24 2021-06-24 一种图像分割方法

Country Status (1)

Country Link
CN (1) CN113592771B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028246A (zh) * 2019-12-09 2020-04-17 北京推想科技有限公司 一种医学图像分割方法、装置、存储介质及电子设备
CN111223102A (zh) * 2018-11-23 2020-06-02 银河水滴科技（北京）有限公司 一种图像分割模型训练方法、图像分割方法及装置
WO2020119679A1 (zh) * 2018-12-14 2020-06-18 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN112200773A (zh) * 2020-09-17 2021-01-08 苏州慧维智能医疗科技有限公司 一种基于空洞卷积的编码器和解码器的大肠息肉检测方法
CN112651979A (zh) * 2021-01-11 2021-04-13 华南农业大学 肺部x光图像分割方法、系统、计算机设备及存储介质
CN112669285A (zh) * 2020-12-29 2021-04-16 中山大学 一种基于共享解码器和残差塔式结构的眼底图像血管分割方法
CN112734764A (zh) * 2021-03-31 2021-04-30 电子科技大学 一种基于对抗网络的无监督医学图像分割方法
CN112949838A (zh) * 2021-04-15 2021-06-11 陕西科技大学 基于四分支注意力机制的卷积神经网络及图像分割方法
CN113012155A (zh) * 2021-05-07 2021-06-22 刘慧烨 髋关节图像中骨骼分割方法、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223102A (zh) * 2018-11-23 2020-06-02 银河水滴科技（北京）有限公司 一种图像分割模型训练方法、图像分割方法及装置
WO2020119679A1 (zh) * 2018-12-14 2020-06-18 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN111028246A (zh) * 2019-12-09 2020-04-17 北京推想科技有限公司 一种医学图像分割方法、装置、存储介质及电子设备
CN112200773A (zh) * 2020-09-17 2021-01-08 苏州慧维智能医疗科技有限公司 一种基于空洞卷积的编码器和解码器的大肠息肉检测方法
CN112669285A (zh) * 2020-12-29 2021-04-16 中山大学 一种基于共享解码器和残差塔式结构的眼底图像血管分割方法
CN112651979A (zh) * 2021-01-11 2021-04-13 华南农业大学 肺部x光图像分割方法、系统、计算机设备及存储介质
CN112734764A (zh) * 2021-03-31 2021-04-30 电子科技大学 一种基于对抗网络的无监督医学图像分割方法
CN112949838A (zh) * 2021-04-15 2021-06-11 陕西科技大学 基于四分支注意力机制的卷积神经网络及图像分割方法
CN113012155A (zh) * 2021-05-07 2021-06-22 刘慧烨 髋关节图像中骨骼分割方法、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李大湘;张振;: "基于改进U-Net视网膜血管图像分割算法", 光学学报, no. 10 *

Also Published As

Publication number Publication date
CN113592771B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
WO2020199593A1 (zh) 图像分割模型训练方法、图像分割方法、装置、设备及介质
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
CN107633237B (zh) 图像背景分割方法、装置、设备及介质
CN110827236B (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN110956628B (zh) 图片等级分类方法、装置、计算机设备和存储介质
US20230058876A1 (en) Image processing method and apparatus based on image processing model, electronic device, storage medium, and computer program product
CN113298830B (zh) 一种基于自监督的急性颅内ich区域图像分割方法
CN113298780B (zh) 一种基于深度学习的儿童骨龄评估方法及系统
CN111524109B (zh) 头部医学影像的评分方法和装置、电子设备及存储介质
US20230051951A1 (en) Method for training image processing model
CN112001399A (zh) 基于局部特征显著化的图像场景分类方法和装置
CN117764957A (zh) 基于人工神经网络的青光眼图像特征提取的训练系统
US20230115887A1 (en) Digital twin sub-millimeter alignment using multimodal 3d deep learning fusion system and method
Ha et al. Deep-learning-based enhanced optic-disc photography
CN111626379A (zh) 肺炎x光图像检测方法
CN113792581A (zh) 一种活体检测方法、装置及电子设备
CN113592771B (zh) 一种图像分割方法
CN116486465A (zh) 用于人脸结构分析的图像识别方法及其系统
CN111192252B (zh) 一种图像分割结果优化方法、装置、智能终端及存储介质
Mohammedhasan et al. A new deeply convolutional neural network architecture for retinal blood vessel segmentation
CN111179284B (zh) 交互式图像分割方法、系统及终端
CN111062860B (zh) 基于场景的图像色彩调整方法、装置和计算机设备
CN114359140A (zh) 一种使用计算机对冠状动脉狭窄诊断定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant