CN114972291A - 基于混合增强智能的医学影像结构化自动标注方法与系统 - Google Patents

基于混合增强智能的医学影像结构化自动标注方法与系统 Download PDF

Info

Publication number
CN114972291A
CN114972291A CN202210664274.5A CN202210664274A CN114972291A CN 114972291 A CN114972291 A CN 114972291A CN 202210664274 A CN202210664274 A CN 202210664274A CN 114972291 A CN114972291 A CN 114972291A
Authority
CN
China
Prior art keywords
image data
image
generator
data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210664274.5A
Other languages
English (en)
Other versions
CN114972291B (zh
Inventor
林格
周凡
陈小燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202210664274.5A priority Critical patent/CN114972291B/zh
Publication of CN114972291A publication Critical patent/CN114972291A/zh
Application granted granted Critical
Publication of CN114972291B publication Critical patent/CN114972291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于混合增强智能的医学影像结构化自动标注方法与系统。首先初始训练ALSS模型，之后根据模型参数预测的置信图使用ClassMix方法对MAE自编码器形成的配对图像进行数据增强，再利用数据增强的人工标注影像数据对ALSS模型进行迭代训练，最后利用未标注影像数据，使用半监督损失对ALSS模型的生成器进行训练得到最终生成器，当用户输入待处理图像到最终生成器时即可完成自动结构化标注。本发明通过语义标注的方式从较模糊的低分辨率图像中为医生指明对应像素区域所属的器官结构；使用半监督方法能有效利用大量的无标注数据更好地学习胸腔部位的轮廓信息；采用的ClassMix数据增强方案能将无标注数据人工地转化为有标注数据。

Description

基于混合增强智能的医学影像结构化自动标注方法与系统
技术领域
本发明涉及计算机视觉、图像处理技术领域，具体涉及一种基于混合增强智能的医学影像结构化自动标注方法与系统。
背景技术
医学影像作为医疗或医学研究的一门分支科学，是指对人体或人体部位，以非侵入式的方式取得内部组织影像的技术与处理过程。其重要特征在于非侵入式，即无需对人体造成任何物理创伤即可观察内部组织结构，主要手段包括X光，超声，核磁共振等。因此现代医学影像技术极大地方便了医生的病情推断，减轻了患者问诊过程中的身心上的痛苦。
作为医学影像要素产出的图像，在传统的医疗诊断或病情分析中，需要专家根据领域知识人工地观察所得图像，对所见图像中的病灶，可疑点进行分析。在当下社会，人们对健康的需求逐步提高，医院人员的工作压力也日益增大，传统地通过人工观察不仅加重了医生的工作负担，也无法在高强度工作条件下保证病情判断的准确度和工作效率。因此随着大数据和人工智能的发展，基于数据驱动的深度学习方法开始应用于医学影像处理。以利用医学影像进行胸腔病灶检测为例，这些方法通过标注的图像-病灶位置样本对训练神经网络，以学习从影像中自动推断存在病灶的概率以及病灶在图像中的具体位置的网络模型参数。或是将语义分割应用于医学图像的后处理，通过训练所得的神经网络模型快速定位胸腔内部图像各个部位的位置，以帮助医生在诊断中更方便，更准确地分析病情。
基于数据驱动的深度学习方法按输入数据中带标签数据在总数据中的占比，可分为有监督学习，半监督学习和无监督学习，通常情况下，更多的标注影像数据会使模型的性能更强，但也更需要人力成本处理数据。目前三甲医院自身数据库中存在大量的未标注影像数据，它们一般来自医院在处理业务时的日积月累，是第一手真实可靠的资料。另外一些设有科研部门的医院会对部分数据进行语义标注，但数量有限，因此基于半监督的医学影像语义分割具有相当的实际意义。
早期数据驱动的医学影像语义分割方法使用完全有监督的训练方式，这要求训练集中只包含标注影像数据，然而标注影像数据相对稀缺，在医院数据库逐渐膨胀的情况下，显然有大量数据无法得到充分利用。
目前的现有技术之一为论文“U-net:Convolutional networks for biomedicalimage segmentation”的一种基于U-net网络结构的语义分割模型。该技术在输入输出端都保持原有图像的分辨率，整个网络结构是多尺度带跳跃连接的有监督模型。在编码器部分通过全卷积网络逐渐降低分辨率并增加特征图的通道数，中间层部分使用全连接进行特征映射，解码器部分和编码器相同，逐层恢复原始分辨率，最终输出目标语义分割掩码。该技术的缺点是，有标注影像数据的医学影像很少，一般数据集的样本量只在三位数左右，且面临着分辨率低，对比度低等难点。因此U-net这样的有监督模型往往会在少量的数据样本上过拟合，从而导致网络模型学习到了特定医学影像机器产生的数据分布，而当更换机器时，整体语义分割效果急剧下降。标注影像数据量稀缺与医学影像语义分割追求高精度之间的矛盾在目前的有监督模型中是无法调和的。
目前的现有技术之二为论文“Adversarial learning for semi-supervisedsemantic segmentation”的一种基于原始ALSS的半监督语义分割方法。该技术对于标注影像数据，交替训练生成器和判别器；对于未标注影像数据，经过标注影像数据训练的判别器可以对当前图像输入生成语义掩码的概率置信图，对于置信度大于一定阈值的语义掩码，将该部分由生成器预测的语义掩码对应的像素当作标签值，与语义掩码一同计算交叉熵损失，从而完成在无标注影像数据下的网络参数优化。该技术的缺点是，对无标注影像数据的训练靠当前参数条件下的判别器完成，而判别器的参数更新靠标注影像数据完成，因此半监督部分的功能实际是用无标注影像数据强化模型在标注影像数据中学习到的数据分布和图像模式，无法在更多样的数据上，如由各种型号的医学影像机器获取到的数据上实现很好的泛化效果。所以其虽然旨在应用无标注影像数据学习更丰富的图像局部和全局模式，但模型语义分割准确率仍极大地受到标注影像数据质量和数量的影响。
发明内容
本发明的目的是克服现有方法的不足，提出了一种基于混合增强智能的医学影像结构化自动标注方法与系统。本发明解决的主要问题，是以半监督学习为基础，充分利用医院数据库中大量的未标注影像数据，同时针对ALSS模型依赖标注影像数据学习胸腔医学影像结构性先验的问题，提出基于ClassMix作为数据增强，并尽可能减少数据噪声。
为了解决上述问题，本发明提出了一种基于混合增强智能的医学影像结构化自动标注方法，所述方法包括：
步骤一，输入医学影像数据集，基于数据集中的标注影像数据，使用交叉熵损失和对抗损失训练ALSS模型的生成器和判别器，并得到ALSS模型的初始参数；
步骤二，基于当前ALSS模型的参数，用所述生成器预测所述医学影像数据集中的未标注影像数据的语义分割掩码，用所述判别器预测对于该语义分割掩码的置信图；
步骤三，使用MAE自编码器学习所述医学影像数据集中的未标注影像数据的低维隐编码空间；
步骤四，取所述经过学习的MAE自编码器中的编码器部分为所述医学影像数据集中的未标注影像数据生成低维隐编码，由此为未标注影像数据的每幅图像完成配对，形成未标注图像对集合；
步骤五，根据所述语义分割掩码的置信图，使用ClassMix方法对所述未标注图像对集合中的每对图像对进行数据增强，形成数据增强的人工标注影像数据；
步骤六，使用所述数据增强的人工标注影像数据训练所述ALSS模型的生成器和判别器，损失函数同样为所述交叉熵损失和对抗损失；
步骤七，迭代执行步骤二、步骤四、步骤五、步骤六多次，每次迭代中使用每次步骤五形成的数据增强的人工标注影像数据进行有监督学习，使所述ALSS模型的生成器和判别器的参数交替更新直至收敛；
步骤八，利用所述医学影像数据集中的未标注影像数据，使用半监督损失对在步骤七中训练完成的所述ALSS模型的生成器进行训练，更新此生成器参数，得到最终生成器；
步骤九，用户输入待处理的胸腔医学影像，通过所述最终生成器预测其语义分割掩码完成自动结构化标注。
优选地，所述交叉熵损失和对抗损失，具体为：
交叉熵损失：
Figure BDA0003692347690000051
对抗损失：
Figure BDA0003692347690000052
其中
Figure BDA0003692347690000053
为图像
Figure BDA0003692347690000054
语义分割掩码的标注值，S(Xn)(h,w,c)为生成器预测的语义分割标签，D(S(Xn))(h,w)为判别器对生成器输出的语义分割掩码的置信图。
优选地，所述ALSS模型的生成器和判别器均为全卷积网络结构。
优选地，所述使用MAE自编码器学习所述医学影像数据集中的未标注影像数据的低维隐编码空间，具体为：
对于所述医学影像数据集中的未标注影像数据，将其切分为不重叠的块，每个块的所有像素值拼接为序列元素的特征；
对所述序列元素的特征使用Transformer的编解码结构进行学习，解码器输出的图像与原图作逐像素损失，令其在未标注影像数据下收敛。
优选地，所述为医学影像数据集中的未标注影像数据生成低维隐编码，由此为未标注影像数据的每幅图像完成配对，具体为：
对于下标为i的未标注图像Ii及其对应隐编码zi，用下式获取其配对图像
Figure BDA0003692347690000061
的下标Pi：
Figure BDA0003692347690000062
其中N为未标注图像数据个数，z是来自所述MAE自编码器的隐编码。
优选地，所述根据所述语义分割掩码的置信图，使用ClassMix方法对所述未标注图像对集合中的每对图像对进行数据增强，形成数据增强的人工标注影像数据，具体为：
根据所述语义分割掩码的置信图，获取信度最高的语义类别；
使用所述语义类别对应的语义分割掩码获取原图中对应的像素区域，合并到配对图像对中，该操作在两幅图像中分别进行一次，由此获取到增强后的医学影像和对应的人工语义分割标签，影像与标签共同形成数据增强的人工标注影像数据。
优选地，所述半监督损失，具体为：
Figure BDA0003692347690000063
其中Tsemi为预定义的置信度阈值，I为符号指示函数，当
Figure BDA0003692347690000064
Figure BDA0003692347690000065
时，
Figure BDA0003692347690000066
否则
Figure BDA0003692347690000067
该式说明对于判别器输出的置信度高于预定义阈值的语义分割掩码区域，认为该语义分割掩码为真值并以此使用所述交叉熵损失训练生成器。
相应地，本发明还提供了一种基于混合增强智能的医学影像结构化自动标注系统，包括：
模型初始化单元，用于输入医学影像数据集，基于数据集中的标注影像数据，使用交叉熵损失和对抗损失训练ALSS模型的生成器和判别器，并得到ALSS模型的初始参数；
模型迭代训练单元，包括以下模块：
语义分割掩码与置信图生成模块，基于当前ALSS模型的参数，用所述生成器预测所述医学影像数据集中的未标注影像数据的语义分割掩码，用所述判别器预测对于该语义分割掩码的置信图；
MAE学习模块，用于使用MAE自编码器学习所述医学影像数据集中的未标注影像数据的低维隐编码空间；
未标注图像配对模块，用于取所述经过学习的MAE自编码器中的编码器部分为所述医学影像数据集中的未标注影像数据生成低维隐编码，由此为未标注影像数据的每幅图像完成配对，形成未标注图像对集合；
数据增强模块，用于根据所述语义分割掩码的置信图，使用ClassMix方法对所述未标注图像对集合中的每对图像对进行数据增强，形成数据增强的人工标注影像数据；
增强数据训练模型模块，用于使用所述数据增强的人工标注影像数据训练所述ALSS模型的生成器和判别器，损失函数同样为所述交叉熵损失和对抗损失；
在模型迭代训练单元中，通过语义分割掩码与置信图生成模块、未标注图像配对模块、数据增强模块、增强数据训练模型模块迭代执行多次，每次迭代中使用每次数据增强模块形成的数据增强的人工标注影像数据进行有监督学习，使所述ALSS模型的生成器和判别器的参数交替更新直至收敛；
最终生成器训练单元，用于利用所述医学影像数据集中的未标注影像数据，使用半监督损失对在步骤七中训练完成的所述ALSS模型的生成器进行训练，更新此生成器参数，得到最终生成器；
结构化标注单元，用于用户输入待处理的胸腔医学影像，通过所述最终生成器预测其语义分割掩码完成自动结构化标注。
实施本发明，具有如下有益效果：
本发明基于数据驱动和深度学习的方法辅助医生进行病情判断，通过语义标注的方式从较模糊的低分辨率图像中为医生指明对应像素区域所属的器官结构，能提高医生的工作效率，为其减轻身心负担；同时，本发明使用的半监督方法能有效利用现有的医疗数据，即利用大量的无标注数据更好地学习胸腔部位的各种语义和轮廓信息；并且本发明采用的ClassMix数据增强方案能将无标注数据人工地转化为有标注数据，迭代式的训练策略使得对抗生成网络的生成器部分可利用的信息量大大提高。
附图说明
图1是本发明实施例的一种基于混合增强智能的医学影像结构化自动标注方法的总体流程图；
图2是本发明实施例的基于ClassMix的未标注医学影像数据增强过程示意图；
图3是本发明实施例的一种基于混合增强智能的医学影像结构化自动标注系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的一种基于混合增强智能的医学影像结构化自动标注方法的总体流程图，如图1所示，该方法包括：
S1，输入医学影像数据集，基于数据集中的标注影像数据，使用交叉熵损失和对抗损失训练ALSS模型的生成器和判别器，并得到ALSS模型的初始参数；
S2，基于当前ALSS模型的参数，用生成器预测医学影像数据集中的未标注影像数据的语义分割掩码，用判别器预测对于该语义分割掩码的置信图；
S3，使用MAE自编码器学习医学影像数据集中的未标注影像数据的低维隐编码空间；
S4，取经过学习的MAE自编码器中的编码器部分为医学影像数据集中的未标注影像数据生成低维隐编码，由此为未标注影像数据的每幅图像完成配对，形成未标注图像对集合；
S5，根据语义分割掩码的置信图，使用ClassMix方法对未标注图像对集合中的每对图像对进行数据增强，形成数据增强的人工标注影像数据；
S6，使用数据增强的人工标注影像数据训练ALSS模型的生成器和判别器，损失函数同样为交叉熵损失和对抗损失；
S7，迭代执行S2、S4、S5、S6多次，每次迭代中使用每次步骤五形成的数据增强的人工标注影像数据进行有监督学习，使ALSS模型的生成器和判别器的参数交替更新直至收敛；
S8，利用医学影像数据集中的未标注影像数据，使用半监督损失对在步骤七中训练完成的ALSS模型的生成器进行训练，更新此生成器参数，得到最终生成器；
S9，用户输入待处理的胸腔医学影像，通过最终生成器预测其语义分割掩码完成自动结构化标注。
步骤S1与步骤S6的交叉熵损失和对抗损失，具体如下：
交叉熵损失：
Figure BDA0003692347690000101
对抗损失：
Figure BDA0003692347690000102
其中
Figure BDA0003692347690000103
为图像
Figure BDA0003692347690000104
语义分割掩码的标注值，S(Xn)(h,w,c)为生成器预测的语义分割标签，D(S(Xn))(h,w)为判别器对生成器输出的语义分割掩码的置信图。
步骤S3，具体如下：
S3-1，本实施例中使用MAE作为自编码器基本结构，对于医学影像数据集中的未标注影像数据，将其切分为不重叠的块，每个块的所有像素值拼接为序列元素的特征；
S3-2，对序列元素的特征使用Transformer的编解码结构进行学习，解码器输出的图像与原图作逐像素损失，令其在未标注影像数据下收敛。
步骤S4，具体如下：
对于下标为i的未标注图像Ii及其对应隐编码zi，用下式获取其配对图像
Figure BDA0003692347690000111
的下标Pi：
Figure BDA0003692347690000112
其中N为未标注图像数据个数，z是来自MAE自编码器的隐编码。
步骤S5，如图2所示，具体如下：
S5-1，根据语义分割掩码的置信图，获取信度最高的语义类别；
S5-2，使用语义类别对应的语义分割掩码获取原图中对应的像素区域，合并到配对图像对中，该操作在两幅图像中分别进行一次，由此获取到增强后的医学影像和对应的人工语义分割标签，影像与标签共同形成数据增强的人工标注影像数据。
步骤S8的半监督损失，具体如下：
Figure BDA0003692347690000113
其中Tsemi为预定义的置信度阈值，I为符号指示函数，当
Figure BDA0003692347690000114
Figure BDA0003692347690000115
时，
Figure BDA0003692347690000116
否则
Figure BDA0003692347690000117
该式说明对于判别器输出的置信度高于预定义阈值的语义分割掩码区域，认为该语义分割掩码为真值并以此使用交叉熵损失训练生成器。
相应地，本发明还提供了一种基于混合增强智能的医学影像结构化自动标注系统，如图3所示，包括：
模型初始化单元1，用于输入医学影像数据集，基于数据集中的标注影像数据，使用交叉熵损失和对抗损失训练ALSS模型的生成器和判别器，并得到ALSS模型的初始参数；
模型迭代训练单元2，包括以下模块：
语义分割掩码与置信图生成模块2-1，基于当前ALSS模型的参数，用生成器预测医学影像数据集中的未标注影像数据的语义分割掩码，用判别器预测对于该语义分割掩码的置信图；
MAE学习模块2-2，用于使用MAE自编码器学习医学影像数据集中的未标注影像数据的低维隐编码空间；
未标注图像配对模块2-3，用于取经过学习的MAE自编码器中的编码器部分为医学影像数据集中的未标注影像数据生成低维隐编码，由此为未标注影像数据的每幅图像完成配对，形成未标注图像对集合；
数据增强模块2-4，用于根据语义分割掩码的置信图，使用ClassMix方法对未标注图像对集合中的每对图像对进行数据增强，形成数据增强的人工标注影像数据；
增强数据训练模型模块2-5，用于使用数据增强的人工标注影像数据训练ALSS模型的生成器和判别器，损失函数同样为交叉熵损失和对抗损失；
在模型迭代训练单元中，通过语义分割掩码与置信图生成模块、未标注图像配对模块、数据增强模块、增强数据训练模型模块迭代执行多次，每次迭代中使用每次数据增强模块形成的数据增强的人工标注影像数据进行有监督学习，使ALSS模型的生成器和判别器的参数交替更新直至收敛；
最终生成器训练单元3，用于利用医学影像数据集中的未标注影像数据，使用半监督损失对在步骤七中训练完成的ALSS模型的生成器进行训练，更新此生成器参数，得到最终生成器；
结构化标注单元4，用于用户输入待处理的胸腔医学影像，通过最终生成器预测其语义分割掩码完成自动结构化标注。
因此，本发明基于数据驱动和深度学习的方法辅助医生进行病情判断，通过语义标注的方式从较模糊的低分辨率图像中为医生指明对应像素区域所属的器官结构，能提高医生的工作效率，为其减轻身心负担；同时，本发明使用的半监督方法能有效利用现有的医疗数据，即利用大量的无标注数据更好地学习胸腔部位的各种语义和轮廓信息；并且本发明采用的ClassMix数据增强方案能将无标注数据人工地转化为有标注数据，迭代式的训练策略使得对抗生成网络的生成器部分可利用的信息量大大提高。
以上对本发明实施例所提供的一种基于混合增强智能的医学影像结构化自动标注方法与系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于混合增强智能的医学影像结构化自动标注方法，其特征在于，所述方法包括：
步骤一，输入医学影像数据集，基于数据集中的标注影像数据，使用交叉熵损失和对抗损失训练ALSS模型的生成器和判别器，并得到ALSS模型的初始参数；
步骤二，基于当前ALSS模型的参数，用所述生成器预测所述医学影像数据集中的未标注影像数据的语义分割掩码，用所述判别器预测对于该语义分割掩码的置信图；
步骤三，使用MAE自编码器学习所述医学影像数据集中的未标注影像数据的低维隐编码空间；
步骤四，取所述经过学习的MAE自编码器中的编码器部分为所述医学影像数据集中的未标注影像数据生成低维隐编码，由此为未标注影像数据的每幅图像完成配对，形成未标注图像对集合；
步骤五，根据所述语义分割掩码的置信图，使用ClassMix方法对所述未标注图像对集合中的每对图像对进行数据增强，形成数据增强的人工标注影像数据；
步骤六，使用所述数据增强的人工标注影像数据训练所述ALSS模型的生成器和判别器，损失函数同样为所述交叉熵损失和对抗损失；
步骤七，迭代执行步骤二、步骤四、步骤五、步骤六多次，每次迭代中使用每次步骤五形成的数据增强的人工标注影像数据进行有监督学习，使所述ALSS模型的生成器和判别器的参数交替更新直至收敛；
步骤八，利用所述医学影像数据集中的未标注影像数据，使用半监督损失对在步骤七中训练完成的所述ALSS模型的生成器进行训练，更新此生成器参数，得到最终生成器；
步骤九，用户输入待处理的胸腔医学影像，通过所述最终生成器预测其语义分割掩码完成自动结构化标注。
2.如权利要求1所述的一种基于混合增强智能的医学影像结构化自动标注方法，其特征在于，所述交叉熵损失和对抗损失，具体为：
交叉熵损失：
Figure FDA0003692347680000021
对抗损失：
Figure FDA0003692347680000022
其中
Figure FDA0003692347680000023
为图像
Figure FDA0003692347680000024
语义分割掩码的标注值，S(Xn)(h,w,c)为生成器预测的语义分割标签，D(S(Xn))(h,w)为判别器对生成器输出的语义分割掩码的置信图。
3.如权利要求1所述的一种基于混合增强智能的医学影像结构化自动标注方法，其特征在于，所述ALSS模型的生成器和判别器均为全卷积网络结构。
4.如权利要求1所述的一种基于混合增强智能的医学影像结构化自动标注方法，其特征在于，所述使用MAE自编码器学习所述医学影像数据集中的未标注影像数据的低维隐编码空间，具体为：
对于所述医学影像数据集中的未标注影像数据，将其切分为不重叠的块，每个块的所有像素值拼接为序列元素的特征；
对所述序列元素的特征使用Transformer的编解码结构进行学习，解码器输出的图像与原图作逐像素损失，令其在未标注影像数据下收敛。
5.如权利要求1所述的一种基于混合增强智能的医学影像结构化自动标注方法，其特征在于，所述为医学影像数据集中的未标注影像数据生成低维隐编码，由此为未标注影像数据的每幅图像完成配对，具体为：
对于下标为i的未标注图像Ii及其对应隐编码zi，用下式获取其配对图像
Figure FDA0003692347680000031
的下标Pi：
Figure FDA0003692347680000032
其中N为未标注图像数据个数，z是来自所述MAE自编码器的隐编码。
6.如权利要求1所述的一种基于混合增强智能的医学影像结构化自动标注方法，其特征在于，所述根据所述语义分割掩码的置信图，使用ClassMix方法对所述未标注图像对集合中的每对图像对进行数据增强，形成数据增强的人工标注影像数据，具体为：
根据所述语义分割掩码的置信图，获取信度最高的语义类别；
使用所述语义类别对应的语义分割掩码获取原图中对应的像素区域，合并到配对图像对中，该操作在两幅图像中分别进行一次，由此获取到增强后的医学影像和对应的人工语义分割标签，影像与标签共同形成数据增强的人工标注影像数据。
7.如权利要求1所述的一种基于混合增强智能的医学影像结构化自动标注方法，其特征在于，所述半监督损失，具体为：
Figure FDA0003692347680000033
其中Tsemi为预定义的置信度阈值，I为符号指示函数，当
Figure FDA0003692347680000034
Figure FDA0003692347680000041
时，
Figure FDA0003692347680000042
否则
Figure FDA0003692347680000043
该式说明对于判别器输出的置信度高于预定义阈值的语义分割掩码区域，认为该语义分割掩码为真值并以此使用所述交叉熵损失训练生成器。
8.一种基于混合增强智能的医学影像结构化自动标注系统，其特征在于，所述系统包括：
模型初始化单元，用于输入医学影像数据集，基于数据集中的标注影像数据，使用交叉熵损失和对抗损失训练ALSS模型的生成器和判别器，并得到ALSS模型的初始参数；
模型迭代训练单元，包括以下模块：
语义分割掩码与置信图生成模块，基于当前ALSS模型的参数，用所述生成器预测所述医学影像数据集中的未标注影像数据的语义分割掩码，用所述判别器预测对于该语义分割掩码的置信图；
MAE学习模块，用于使用MAE自编码器学习所述医学影像数据集中的未标注影像数据的低维隐编码空间；
未标注图像配对模块，用于取所述经过学习的MAE自编码器中的编码器部分为所述医学影像数据集中的未标注影像数据生成低维隐编码，由此为未标注影像数据的每幅图像完成配对，形成未标注图像对集合；
数据增强模块，用于根据所述语义分割掩码的置信图，使用ClassMix方法对所述未标注图像对集合中的每对图像对进行数据增强，形成数据增强的人工标注影像数据；
增强数据训练模型模块，用于使用所述数据增强的人工标注影像数据训练所述ALSS模型的生成器和判别器，损失函数同样为所述交叉熵损失和对抗损失；
在模型迭代训练单元中，通过语义分割掩码与置信图生成模块、未标注图像配对模块、数据增强模块、增强数据训练模型模块迭代执行多次，每次迭代中使用每次数据增强模块形成的数据增强的人工标注影像数据进行有监督学习，使所述ALSS模型的生成器和判别器的参数交替更新直至收敛；
最终生成器训练单元，用于利用所述医学影像数据集中的未标注影像数据，使用半监督损失对在步骤七中训练完成的所述ALSS模型的生成器进行训练，更新此生成器参数，得到最终生成器；
结构化标注单元，用于用户输入待处理的胸腔医学影像，通过所述最终生成器预测其语义分割掩码完成自动结构化标注。
CN202210664274.5A 2022-06-14 2022-06-14 基于混合增强智能的医学影像结构化自动标注方法与系统 Active CN114972291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210664274.5A CN114972291B (zh) 2022-06-14 2022-06-14 基于混合增强智能的医学影像结构化自动标注方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210664274.5A CN114972291B (zh) 2022-06-14 2022-06-14 基于混合增强智能的医学影像结构化自动标注方法与系统

Publications (2)

Publication Number Publication Date
CN114972291A true CN114972291A (zh) 2022-08-30
CN114972291B CN114972291B (zh) 2024-04-05

Family

ID=82961103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210664274.5A Active CN114972291B (zh) 2022-06-14 2022-06-14 基于混合增强智能的医学影像结构化自动标注方法与系统

Country Status (1)

Country Link
CN (1) CN114972291B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372306A (zh) * 2023-11-23 2024-01-09 山东省人工智能研究院 一种基于双编码器的肺部医学影像增强方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949317A (zh) * 2019-03-06 2019-06-28 东南大学 基于逐步对抗学习的半监督图像实例分割方法
US20200372632A1 (en) * 2019-05-20 2020-11-26 MacuJect Pty Ltd Confidence-based method and system for analyzing images of a retina

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949317A (zh) * 2019-03-06 2019-06-28 东南大学 基于逐步对抗学习的半监督图像实例分割方法
US20200372632A1 (en) * 2019-05-20 2020-11-26 MacuJect Pty Ltd Confidence-based method and system for analyzing images of a retina

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢禹;李玉俊;董文生;: "基于SSD神经网络的图像自动标注及应用研究", 信息技术与标准化, no. 04, 10 April 2020 (2020-04-10) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372306A (zh) * 2023-11-23 2024-01-09 山东省人工智能研究院 一种基于双编码器的肺部医学影像增强方法
CN117372306B (zh) * 2023-11-23 2024-03-01 山东省人工智能研究院 一种基于双编码器的肺部医学影像增强方法

Also Published As

Publication number Publication date
CN114972291B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
Guan et al. Multi-site MRI harmonization via attention-guided deep domain adaptation for brain disorder identification
Zhuang et al. An Effective WSSENet-Based Similarity Retrieval Method of Large Lung CT Image Databases.
WO2023077603A1 (zh) 一种异常脑连接预测系统、方法、装置及可读存储介质
CN111429407B (zh) 基于双通道分离网络的胸部x光疾病检测装置及方法
CN107833629A (zh) 基于深度学习的辅助诊断方法及系统
CN113947609B (zh) 深度学习网络结构及多标签主动脉夹层ct图像分割方法
Du et al. Cardiac-DeepIED: Automatic pixel-level deep segmentation for cardiac bi-ventricle using improved end-to-end encoder-decoder network
CN114841320A (zh) 一种基于喉镜医学影像的器官自动分割方法
CN112785593A (zh) 一种基于深度学习的脑部图像分割方法
CN115423754A (zh) 一种图像分类方法、装置、设备及存储介质
Cui et al. Bidirectional cross-modality unsupervised domain adaptation using generative adversarial networks for cardiac image segmentation
CN113139974A (zh) 基于半监督学习的病灶分割模型训练、应用方法
CN116503668A (zh) 一种基于小样本元学习的医学影像分类方法
He et al. Differentiable automatic data augmentation by proximal update for medical image segmentation
Liu et al. MESTrans: Multi-scale embedding spatial transformer for medical image segmentation
CN114972291A (zh) 基于混合增强智能的医学影像结构化自动标注方法与系统
CN117012370A (zh) 多模态疾病辅助推理系统、方法、终端及存储介质
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN115496732B (zh) 一种半监督心脏语义分割算法
CN115760831A (zh) 一种图像处理模型的训练方法和系统
CN115565671A (zh) 基于跨模型相互教学半监督的房颤辅助分析方法
CN115239740A (zh) 基于GT-UNet的全心分割算法
Zhang et al. ETUNet: Exploring efficient transformer enhanced UNet for 3D brain tumor segmentation
Kalaivani et al. A Deep Ensemble Model for Automated Multiclass Classification Using Dermoscopy Images
CN117393100B (zh) 诊断报告的生成方法、模型训练方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant