CN118196013A - 支持多医生协同监督的多任务医学图像分割方法及系统 - Google Patents
支持多医生协同监督的多任务医学图像分割方法及系统 Download PDFInfo
- Publication number
- CN118196013A CN118196013A CN202410243695.XA CN202410243695A CN118196013A CN 118196013 A CN118196013 A CN 118196013A CN 202410243695 A CN202410243695 A CN 202410243695A CN 118196013 A CN118196013 A CN 118196013A
- Authority
- CN
- China
- Prior art keywords
- medical image
- image segmentation
- neural network
- medical
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012549 training Methods 0.000 claims abstract description 64
- 238000002372 labelling Methods 0.000 claims abstract description 56
- 238000013528 artificial neural network Methods 0.000 claims abstract description 54
- 230000011218 segmentation Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000012163 sequencing technique Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 27
- 230000007246 mechanism Effects 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000010339 dilation Effects 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种支持多医生协同监督的多任务医学图像分割方法及系统，方法包括：获取包含标注信息的至少一个医学图像集；根据差异系数的大小对同一医学图像集中各个医学图像进行排序，得到至少一个医学图像序列；将所述至少一个医学图像序列以及与所述至少一个医学图像序列对应的图像分割结果分别作为基于改进型卷积与注意力的混合神经网络的输入和输出，对所述混合神经网络进行迭代训练，得到图像分割模型；将实时获取的包含标注信息的医学图像输入至训练好的图像分割模型中，所述图像分割模型输出得到最终的医学图像分割结果。实现了基于多解码器的多任务处理，此设计增强了编码器提取图像特征的能力，从而提高了模型分割性能和准确度。
Description
技术领域
本发明属于图像分割技术领域，尤其涉及一种支持多医生协同监督的多任务医学图像分割方法及系统。
背景技术
医学图像分析已经从传统的图像处理技术逐渐发展到基于机器学习的高级分析方法。在早期的医学图像分析研究中，很多技术都基于传统的机器学习方法，如支持向量机(SVM)和随机森林。这些方法在某些特定的学术数据集上取得了很好的效果，但在实际的医疗环境中部署并不是那么理想。
其中一个主要原因是，学术研究通常倾向于在特定的、往往是标准化的单一模态，数据量有限的数据集上“刷指标”。这样的研究虽然在学术界有其价值，但在真实的医疗环境中，数据情况要复杂得多。例如，同一个医院可能使用不同的设备、不同的参数和不同的操作者，这导致实际获得的图像与学术数据集存在很大的差异，进而阻碍了人工智能技术(Artificial Intelligence,AI)从学术研究到实际应用的进展。更重要的是，大多数传统的机器学习和深度学习方法在设计时并没有考虑到多医生标注的问题。在现实的医疗环境中，不同的医生可能对同一张医学图像有不同的解读和标注(如图一所示)。这种差异可能是由于医生的专业背景、经验、或者是对某些疾病的理解。传统的AI方法通常假设有一个“标准”的标注数据集，进而进行训练与测试，而不是考虑到标注的多样性。
发明内容
本发明提供一种支持多医生协同监督的多任务医学图像分割方法、系统及可读存储介质，用于解决传统AI方法通常使用单一医生的标注信息作为基本标准搭建数据集并进行AI模型训练，这往往忽视了多个医生标注的丰富信息，也无法处理医生之间标注的微妙差异的技术问题。
第一方面，本发明提供一种支持多医生协同监督的多任务医学图像分割方法，包括：
获取包含标注信息的至少一个医学图像集，其中，一医学图像集中包含不同标注信息的同一张医学图像，所述标注信息为用户对医学图像中的目标区域进行标注的信息；
根据预设的差异函数计算同一医学图像集中各个医学图像之间的差异系数，并根据所述差异系数的大小对同一医学图像集中各个医学图像进行排序，得到至少一个医学图像序列，其中，一目标医学图像序列中仅包含不同标注信息的同一医学图像；
将所述至少一个医学图像序列以及与所述至少一个医学图像序列对应的图像分割结果分别作为基于改进型卷积与注意力的混合神经网络的输入和输出，对所述混合神经网络进行迭代训练，得到图像分割模型，其中，在所述混合神经网络进行迭代训练过程中根据预设的动态更新策略对所述至少一个医学图像序列进行更新；
将实时获取的包含标注信息的医学图像输入至训练好的图像分割模型中，所述图像分割模型输出得到最终的医学图像分割结果。
第二方面，本发明提供一种支持多医生协同监督的多任务医学图像分割系统，包括：
获取模块，配置为获取包含标注信息的至少一个医学图像集，其中，一医学图像集中包含不同标注信息的同一张医学图像，所述标注信息为用户对医学图像中的目标区域进行标注的信息；
计算模块，配置为根据预设的差异函数计算同一医学图像集中各个医学图像之间的差异系数，并根据所述差异系数的大小对同一医学图像集中各个医学图像进行排序，得到至少一个医学图像序列，其中，一目标医学图像序列中仅包含不同标注信息的同一医学图像；
训练模块，配置为将所述至少一个医学图像序列以及与所述至少一个医学图像序列对应的图像分割结果分别作为基于改进型卷积与注意力的混合神经网络的输入和输出，对所述混合神经网络进行迭代训练，得到图像分割模型，其中，在所述混合神经网络进行迭代训练过程中根据预设的动态更新策略对所述至少一个医学图像序列进行更新；
输出模块，配置为将实时获取的包含标注信息的医学图像输入至训练好的图像分割模型中，所述图像分割模型输出得到最终的医学图像分割结果。
第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的支持多医生协同监督的多任务医学图像分割方法的步骤。
第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序指令被处理器执行时，使所述处理器执行本发明任一实施例的支持多医生协同监督的多任务医学图像分割方法的步骤。
本申请的支持多医生协同监督的多任务医学图像分割方法及系统，具有以下有益效果：
1、本发明在网络的底层部分融入了自注意力机制，该机制可以使模型高效地学习高维特征，自动集中于图像的关键部分，有助于更深入地捕获和理解多医生标注之间的微妙差异；
2、本发明在编码器和双重解码器中采用了空洞卷积和可形变卷积。空洞卷积可以在不提升计算成本的情况下，增加网络的感受野；而可形变卷积则能够使网络更好地适应图像中的形变，提高模型对于不同医生标注差异的适应性；
3、本发明提出支持多任务的多解码器结构，在解码器支持输出图像分割预测的同时，另一解码器支持输出目标区域的几何中心，增强了编码器的特征提取能力；
4、本发明提出自适应训练策略，通过学习不同医生之间的标注差异，主动剔除潜在错误标注训练数据，能够综合各医生的专业知识和技能，不仅有助于生成具有更高级语义特征的图像，还可以优化图像分割的结果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种支持多医生协同监督的多任务医学图像分割方法的流程图；
图2为本发明一实施例提供一个具体实施例的在多医护人员标注数据情况下的模型训练流程示意图；
图3为本发明一实施例提供的一具体实施例的基于自注意力机制与新型卷积核的编码器-双重解码器图像分割神经网络架构图；
图4为本发明一实施例提供一个具体实施例的图像分割神经网络底部架构细节示意图；
图5为本发明一实施例提供一个具体实施例的图像分割神经网络编码器-解码器细节示意图；
图6为本发明一实施例提供一个具体实施例的剔除错误标注数据量与训练进程关系曲线图；
图7为本发明一实施例提供一个具体实施例的传统卷积核与提出的改进型卷积核简明示意图；
图8为本发明一实施例提供的一种支持多医生协同监督的多任务医学图像分割系统的结构框图；
图9是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
在医学影像分析中的图像目标区域分割任务中，各种类型的医学图像，如超声波、CT、MRI等影像，都需要被准确地对器官与病灶进行分割以提供精确的诊断信息。然而，由于医学图像的客观复杂性和医生标注的主观差异，准确的医学图像分割具有巨大的挑战性。过去的AI方法通常使用单一医生的标注信息作为基本标准搭建数据集并进行AI模型训练，然而这往往忽视了多个医生标注的丰富信息，也无法处理医生之间标注的微妙差异。因此，如何有效利用多医生标注进行医学图像分割人工神经网络训练成为了一个重要的问题。
以下将结合附图对本发明实施例提供的一种支持多医生协同监督的多任务医学图像分割方法进行详细介绍。
请参阅图1，其示出了本申请的一种支持多医生协同监督的多任务医学图像分割方法的流程图。
如图1所示，支持多医生协同监督的多任务医学图像分割方法具体包括步骤S101-步骤S104。
步骤S101，获取包含标注信息的至少一个医学图像集，其中，一医学图像集中包含不同标注信息的同一张医学图像，所述标注信息为用户对医学图像中的目标区域进行标注的信息。
在本步骤中，接收多医生的标注作为输入。这些标注可以被视为具有不同水平专业知识的多个评分者针对相同医学影像图片的反馈判断。针对每个医生，网络在训练过程中学习他们的特定标注风格和专业水平。这一步骤的目的是让神经网络能够从多个医生的视角理解和学习图像的结构和特征。神经网络实现参数初始化，训练过程使用梯度下降法进行优化。对于每一张图像，模型接受来自多个医生的标注，将全部医生的标注都加入后续的训练中，使模型的参数初始化，使模型对于医学影像数据得到初步的训练。虽然通常情况下多医生在目标区域的边界上易产生分歧，但是对于目标区域的中心位置往往是一致的，因此在数据预处理阶段，额外地基于多医生标注的区域边界生成区域几何中心，作为额外的辅助标注信息记录并加入到后续的训练中。
步骤S102，根据预设的差异函数计算同一医学图像集中各个医学图像之间的差异系数，并根据所述差异系数的大小对同一医学图像集中各个医学图像进行排序，得到至少一个医学图像序列，其中，一目标医学图像序列中仅包含不同标注信息的同一医学图像。
在本步骤中，通过比较不同医生的目标区域分割标注，医生针对同一张医疗影像图片两两计算差异，从而感知医生之间的差异，并量化这种差异。具体来说，差异计算基于Dice-Coefficient系数，该系数的取值范围从0到1，其中1表示完美的相似度，0表示没有任何相似性。需要说明的是，差异函数的表达式为：
式中，Dice为差异系数，X表示第一个医生的标注信息，Y表示第二个医生的标注信息，|X∩Y|表示为两个医生标注同一目标区域相同的像素数量，|X|+|Y/表示为两个医生各自标注同一目标区域数量的总数。
进一步地，根据模型后续训练的进度和当前的拟合状态，动态地调整使用哪些医生的标注数据，从而优化训练过程。模型的训练过程大致可以分为从欠拟合到过拟合。在模型的训练初期，由于参数初始化，模型是在欠拟合状态。这一阶段希望利用尽可能多的数据来加速模型的学习。而在模型训练后期，当模型性能已经较好时，希望模型能够识别出低质量或错误的标注并剔除，从而避免模型过拟合到这些可能的误标。
为了实现这种动态策略，量化了医生标注数据的使用。具体地说，计算了每一位医生的标注与其他医生标注之间的差异。通过差异函数，可以量化每位医生标注的质量和可信度。这些差异数据将由大到小排序，大的差异可能意味着该医生的标注与多数医生存在较大的偏差，具有潜在的错误标注的可能。
例如，有图片A、图片B、图片C、图片D，计算得到图片A-图片B的差异值、图片A-图片C的差异值、图片A-图片D的差异值、图片B-图片C的差异值、图片B-图片D的差异值、图片C-图片D的差异值。对于图片A来说，图片A可以和图片B、图片C、图片D分别计算差异并求和。同理图片B可以和图片A、图片C、图片D分别计算差异并求和。同理图片C可以和图片A、图片B、图片D分别计算差异并求和。同理图片D可以和图片A、图片B、图片C分别计算差异并求和。之后将图片A、图片B、图片C、图片D的差异进行排序。
步骤S103，将所述至少一个医学图像序列以及与所述至少一个医学图像序列对应的图像分割结果分别作为基于改进型卷积与注意力的混合神经网络的输入和输出，对所述混合神经网络进行迭代训练，得到图像分割模型，其中，在所述混合神经网络进行迭代训练过程中根据预设的动态更新策略对所述至少一个医学图像序列进行更新。
在本步骤中，在初步训练后，在后续训练中应用"少数服从多数"的策略，识别并降低由于主观或客观"错误噪声标注"。具体来说，当一个医生的标注与其他所有医生的标注都不同的时候，网络会主动剔除这个医生的标注。这一步骤的目的是避免单个医生的误判对整个神经网络训练的影响。在每一训练轮次中，针对同一图片，医生的标注进行两两差异性检测，同时由高至低进行排序，其中某一医生标注差异与其他医生越大则说明越有潜在可能存在错误标注，并进行剔除。剔除数量的确定与训练进程相关，在训练初期剔除图片较少，在训练后期剔除图片较多，原因是混合神经网络训练初期目标为模型的初步训练和初始化参数，所有医生的标注即使存在"错误噪声标注"但对于混合神经网络初始化训练也具有意义，在训练后期混合神经网络需要达到较高性能时，"错误噪声标注"对于混合神经网络训练影响较大，因此采用Ramp Up函数确定在不同训练阶段中的具体剔除图像数量，如图6所示，其中，Ramp Up函数的表达式为：y＝emx，式中，m为正实数，x为模型训练进度，y为剔除样本数量；根据剔除图像数量对至少一个医学图像序列进行更新。
这种策略保证了在混合神经网络的训练初期，最大限度地利用了所有数据，而在后期，我则聚焦于那些质量较高、差异较小的标注数据，从而提高混合神经网络的鲁棒性和稳定性。
步骤S104，将实时获取的包含标注信息的医学图像输入至训练好的图像分割模型中，所述图像分割模型输出得到最终的医学图像分割结果。
在本步骤中，在图像分割解码器产生的训练中，混合损失函数包含以下三种分割损失函数：
交叉熵损失(Cross-Entropy Loss)：用于计算模型在每一个像素点上预测与医生标注之间的差异。
Dice损失(Dice Loss)：衡量模型的预测与医生标注在尺寸面积上的相似度。
边界损失(Boundary-Aware Loss)：基于模型的预测与医生标注的拓扑学结构提出的损失函数。
通过结合这些损失，模型能够充分学习并基于给出的数据集准确分割图像，新颖的混合损失函数可以表达为：
同时另一几何中心解码器产生的预测结果中，取距离损失函，表达式为：
Loss距离＝(X目标-X标注)2+(Y目标-Y标注)2，
式中，X为目标区域几何中心的横坐标，Y为目标区域几何中心的纵坐标；
由此可得编码器-双重解码器的损失函数为：
Loss＝Loss分割+Loss距离，
式中，β，γ分别为交叉熵损失函数的权重、Dice损失函数的权重以及边界损失函数的权重，M为目标区域的类别数，c为具体类别，y为标注，p为模型预测，Loss分割为分割损失函数，Loss距离为距离损失函数，D表示距离变换，S是预测边界，g是标注边界，X目标为目标区域几何中心的横坐标，X标注为目标区域中任一点的横坐标，Y目标为目标区域几何中心的纵坐标，Y标注为目标区域中任一点的纵坐标，yc为医生标注此像素点属于c类，pc为模型预测此标注点属于c类的概率，sc为属于类别c的预测边界，gc为属于类别c的标注边界。
在得到损失函数Loss后，我们采用包括但不限于梯度下降(Gradient Descent)，随机梯度下降(Stochastic Gradient Descent,SGD)，Adagrad，RMSprop，或Adam(AdaptiveMoment Estimation)等优化器用于更新和计算网络中权重和参数以减少损失函数的算法。它们的目的是在训练过程中找到损失函数的最小值，从而提高模型的准确度和效率。每种优化器都有其适用的场景和特定类型的网络架构。在实际应用中，选择哪个优化器通常取决于特定问题的需求，数据类型，以及需要优化的模型的复杂性。有时，为了达到更好的训练效果，研究者和工程师可以尝试并调整优化器。
另外需要指出，在提出多医生标注协同训练的同时，在混合神经网络本身进行创新。本发明提出编码器-双重解码器架构，同时在神经网络每一层的设计中引入了一种自注意力机制(Self-Attention)与卷积神经网络(CNN)混合的方法，以更好地从多医生标注中学习和抽取有效信息。其目的是进一步提高网络的学习能力和适应性。提出编码器-双重解码器设计，包含一个图像通用特征编码过程，一个上采样图像分割解码过程，和一个基于VGG模型的目标中心坐标解码过程。在图像通用特征编码过程中，模型从输入的图像中抽取并学习特征；在目标中心坐标解码过程中，模型将实现预测目标区域几何中心任务；在上采样图像分割解码过程中，模型将学习到的特征映射回到像素级别，从而完成图像分割。Transformer是一种在自然语言处理中广泛应用的模型，其核心是自注意力机制(Self-Attention)。自注意力机制使得模型能够更好地捕捉输入数据中各部分之间的关系，而不仅仅是局部的信息。这使得Transformer在处理序列数据，例如文本时，具有优越的性能。在这个新的模型中，将自注意力机制引入到编码器-双重解码器中(如图2所示)，使得模型在处理医学图像分割任务时，不仅能够考虑到图像的局部信息，也能够考虑到图像的全局信息，从而更好地从多医生标注中学习和抽取有效信息。这种自注意力机制与卷积神经网络的混合方法，提高了网络的学习能力和适应性，使得医学图像分割的结果更为准确和高效。可分为一下几个阶段(如图3所示)：
输入阶段：网络接收一张医学图像作为输入。这张图像可能是一张CT、MRI或者其他类型的医学影像。
特征提取编码阶段：该阶段使用卷积神经网络层次对输入图像进行下采样处理，逐渐提取出图像的特征。每一次卷积操作都会使图像的尺寸减半，并增加特征图的数量。这个过程将图像的空间信息编码为深度特征，同时保留原始图像的位置信息。
自注意力机制阶段：在下采样阶段完成后，我们将自注意力机制应用于所提取的特征。这个阶段的目的是识别出影像中的各个特征之间的内在关联，即使这些特征在空间上是分离的。通过这种方式，模型能够捕捉到更复杂、更全局的信息，而不仅仅是局部的卷积窗口所能捕捉到的信息。
上采样图像分割解码阶段：此阶段使用逆卷积(或称为反卷积)神经网络将特征图扩展回原始图像的尺寸，完成图像的重建。在此过程中，网络会对每个像素进行分类，确定其是否属于某个特定的组织或结构。同时，解码阶段还会与编码阶段的相应层进行跳跃连接，以保留更多的细节信息。
几何中心解码阶段：此阶段采用基于VGG的经典卷积网络架构，在高纬特征中拟合不同目标区域的几何中心。
输出阶段：最后，网络输出分割后的医学图像。每个像素都被分类为一种特定的类别(如肿瘤、正常组织等)，形成了一张分割图。
这种包含自注意力机制的编码器结构能够更好地从多医生标注中学习和抽取有效信息，进一步提高医学图像分割的精度和效率。在双重解码器架构中，此设计尤其适用于在多医生协同训练的情境中，尽管不同医生对于边界的标注可能存在一定差异，但对目标区域的几何中心往往有较高的一致性。因此，通过同时训练模型在图像分割和几何中心定位两个任务上进行优化，可以有效提升编码器的特征提取能力，从而增强整体模型的性能。
神经网络编码器，双重解码器模块(如图4所示)。其中神经网络编码器包含四个下采样阶段，每个阶段由两个连续的卷积神经网络层组成。这些卷积操作是为了逐渐提取图像特征而执行的，并会逐渐增加特征图的深度。随着网络深度的增加，空间维度逐渐减少，但特征信息变得更加丰富。在每个下采样步骤后，通常会使用最大池化操作来降低特征图的空间尺寸，从而捕获更广泛的上下文信息。图像分割解码器与编码器相反，它包含四个上采样阶段。同样地，每个上采样阶段由两个连续的卷积神经网络层组成，但在这里，使用转置卷积或称为反卷积来增加特征图的空间尺寸。为了在解码阶段保留更多的细节信息，我们在每个上采样步骤之后插入一个跳跃连接，直接从编码器传递相应深度的特征图。这种跳跃连接确保了图像分割解码器可以利用编码器捕获的原始图像细节来更精确地进行图像重建。具体来说，特征提取过程可表示如下：
首先，从输入特征图Xi-1开始，其尺寸为Cin×H×W。其中，Cin是输入特征图的通道数，而H和W分别代表特征图的高度和宽度。
在传统的卷积操作中，可以表示为：
Xi＝Dropout(BatchNorm(W*Xi-1))，
式中，*表示卷积操作，BatchNorm为批标准化操作，Dropout为随机失活操作，Xi为经过经一层卷积神经网络处理得到的输出特征。
提出在编码器-双重解码器网络中(如图5所示)，使用新型的卷积操作。其中空洞卷积(Dilated CNN)通过引入一个扩张率因子r来增加卷积核的感受野，卷积核中的每个元素之间的间距会乘以扩张率r，扩张率r为1时，空洞卷积等同于标准卷积，而当扩张率r增加时，卷积核覆盖的输入特征图区域就会扩大，但实际参与运算的元素数量不增加。
另外，为了进一步捕捉复杂的几何变形，进一步增加了模型的灵活性引入可变卷积(Deformable CNN)。与传统的卷积不同，可变卷积可以对卷积核中的每个元素的位置进行微小的偏移，从而捕捉到更为复杂的几何结构。它在传统卷积的基础上添加了可学习的偏移量，这些偏移量允许卷积核的每个元素在输入特征图上自适应地移动。这意味着卷积核不再被固定在一个规则的网格上，而是可以根据图像内容自动调整其形状。在数学上，这可以通过添加一个偏移字段ΔP来表示，该字段是由网络通过学习得到的，用于调整每个卷积核元素的位置。具体而言，对于可形变卷积，每一个卷积核位置P0会根据学习到的偏移量ΔP调整位置，计算公式如下：
式中，Xi为神经网络第i层的输出特征，Dropout为通用的网络正则化技术，DilatedConv(W，r)为空洞卷积，Xi-1为神经网络第i-1层的输出特征，Deformable(W，r)为可形变卷积，BatchNorm为批标准化，*为卷积操作，W(Pn)为卷积核在位置Pn的权重，P0为卷积核位置，Pn为R中的一个位置，R为卷积核覆盖的规则网格区域，ΔPn为位置Pn对应的偏移量，Xi-1(P0+Pn+ΔPn)为输入特征图在调整后位置的值。
因此，综合空洞卷积和可形变卷积，的编码器和双重解码器中两层卷积操作可以更为通用地表示为：
Xi＝Dropout(BatchNorm(DeformableConv(DilatedConv(W，r)*Xi-1)))，
在这个公式中，编码器-双重解码器中采用的空洞卷积核，可形变卷积核，以及传统卷积核如图7所示。
最终，我们得到的输出特征图Xi的尺寸为Cout×H×W。这里的Cout是输出通道数，并由卷积网络的深度和设计决定，而H和W分别代表特征图的高度和宽度。
在编码器的底部，我们引入了自注意力层(如图4所示)。这是本架构的创新之处。自注意力机制使得模型能够关注输入特征图的各个部分，并根据其重要性赋予权重。这种机制允许模型更好地捕捉长距离的依赖关系，使得在高维特征空间中的各个部分都能得到妥善处理，具体数学表达式可表示为：
首先，我们有一个输入特征矩阵Xi-1，其中的每一行都是一个特征向量。
Xi-1＝[x1，x2，...，xn]T，
其中，n是序列长度。其次经过层规范化与多头自注意力机制处理。
Xi＝多头自注意力机制(层规范化(Xi-1))+Xi；
接下来特征信息进入多层感知器。
Xi+1＝多层感知器(层规范化(Xi))+Xi；
最终输出Xi+1为：
Xi-1＝[x1，x2，...，xn]T。
综上，本申请的方法，考虑到提出的富有挑战性的多医生协同标注情形，创新性的提出了多任务学习框架，通过一个编码器和两个解码器同时进行图像分割和几何中心预测，在医疗图像分割标注中，多医生标注产生争议的部分通常是围绕目标区域如肿瘤、器官等的边界区域，而目标区域的几何中心往往是没有争议的，所以充分利用了几何中心信息提出多任务训练框架，使模型的解码器在预测目标区域分割的同时也学习预测目标区域的几何中心，实现基于多解码器的多任务处理，此设计增强了编码器提取图像特征的能力，从而提高了模型分割性能和准确度；并且结合了CNN和自注意力机制的优势搭建了编码器-双重解码器人工神经网络，同时提出了新颖的自适应训练策略，为医学影像处理提供了一个更为强大和灵活的工具，特别是在处理复杂的、多医生标注的医学图像数据时。
请参图8，其示出了本申请的一种支持多医生协同监督的多任务医学图像分割系统的结构框图。
如图8所示，多任务医学图像分割系统200，包括获取模块210、计算模块220、训练模块230以及输出模块240。
其中，获取模块210，配置为获取包含标注信息的至少一个医学图像集，其中，一医学图像集中包含不同标注信息的同一张医学图像，所述标注信息为用户对医学图像中的目标区域进行标注的信息；计算模块220，配置为根据预设的差异函数计算同一医学图像集中各个医学图像之间的差异系数，并根据所述差异系数的大小对同一医学图像集中各个医学图像进行排序，得到至少一个医学图像序列，其中，一目标医学图像序列中仅包含不同标注信息的同一医学图像；训练模块230，配置为将所述至少一个医学图像序列以及与所述至少一个医学图像序列对应的图像分割结果分别作为基于改进型卷积与注意力的混合神经网络的输入和输出，对所述混合神经网络进行迭代训练，得到图像分割模型，其中，在所述混合神经网络进行迭代训练过程中根据预设的动态更新策略对所述至少一个医学图像序列进行更新；输出模块240，配置为将实时获取的包含标注信息的医学图像输入至训练好的图像分割模型中，所述图像分割模型输出得到最终的医学图像分割结果。
应当理解，图8中记载的诸模块与参考图1中描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征以及相应的技术效果同样适用于图8中的诸模块，在此不再赘述。
在另一些实施例中，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序指令被处理器执行时，使所述处理器执行上述任意方法实施例中的支持多医生协同监督的多任务医学图像分割方法；
作为一种实施方式，本发明的计算机可读存储介质存储有计算机可执行指令，计算机可执行指令设置为：
获取包含标注信息的至少一个医学图像集，其中，一医学图像集中包含不同标注信息的同一张医学图像，所述标注信息为用户对医学图像中的目标区域进行标注的信息；
根据预设的差异函数计算同一医学图像集中各个医学图像之间的差异系数，并根据所述差异系数的大小对同一医学图像集中各个医学图像进行排序，得到至少一个医学图像序列，其中，一目标医学图像序列中仅包含不同标注信息的同一医学图像；
将所述至少一个医学图像序列以及与所述至少一个医学图像序列对应的图像分割结果分别作为基于改进型卷积与注意力的混合神经网络的输入和输出，对所述混合神经网络进行迭代训练，得到图像分割模型，其中，在所述混合神经网络进行迭代训练过程中根据预设的动态更新策略对所述至少一个医学图像序列进行更新；
将实时获取的包含标注信息的医学图像输入至训练好的图像分割模型中，所述图像分割模型输出得到最终的医学图像分割结果。
计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据支持多医生协同监督的多任务医学图像分割系统的使用所创建的数据等。此外，计算机可读存储介质可以包括高速随机存取存储器，还可以包括存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至支持多医生协同监督的多任务医学图像分割系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图9是本发明实施例提供的电子设备的结构示意图，如图9所示，该设备包括：一个处理器310以及存储器320。电子设备还可以包括：输入装置330和输出装置340。处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接，图9中以通过总线连接为例。存储器320为上述的计算机可读存储介质。处理器310通过运行存储在存储器320中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例支持多医生协同监督的多任务医学图像分割方法。输入装置330可接收输入的数字或字符信息，以及产生与支持多医生协同监督的多任务医学图像分割系统的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
上述电子设备可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
作为一种实施方式，上述电子设备应用于支持多医生协同监督的多任务医学图像分割系统中，用于客户端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
获取包含标注信息的至少一个医学图像集，其中，一医学图像集中包含不同标注信息的同一张医学图像，所述标注信息为用户对医学图像中的目标区域进行标注的信息；
根据预设的差异函数计算同一医学图像集中各个医学图像之间的差异系数，并根据所述差异系数的大小对同一医学图像集中各个医学图像进行排序，得到至少一个医学图像序列，其中，一目标医学图像序列中仅包含不同标注信息的同一医学图像；
将所述至少一个医学图像序列以及与所述至少一个医学图像序列对应的图像分割结果分别作为基于改进型卷积与注意力的混合神经网络的输入和输出，对所述混合神经网络进行迭代训练，得到图像分割模型，其中，在所述混合神经网络进行迭代训练过程中根据预设的动态更新策略对所述至少一个医学图像序列进行更新；
将实时获取的包含标注信息的医学图像输入至训练好的图像分割模型中，所述图像分割模型输出得到最终的医学图像分割结果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种支持多医生协同监督的多任务医学图像分割方法，其特征在于，包括：
获取包含标注信息的至少一个医学图像集，其中，一医学图像集中包含不同标注信息的同一张医学图像，所述标注信息为用户对医学图像中的目标区域进行标注的信息；
根据预设的差异函数计算同一医学图像集中各个医学图像之间的差异系数，并根据所述差异系数的大小对同一医学图像集中各个医学图像进行排序，得到至少一个医学图像序列，其中，一目标医学图像序列中仅包含不同标注信息的同一医学图像；
将所述至少一个医学图像序列以及与所述至少一个医学图像序列对应的图像分割结果分别作为基于改进型卷积与注意力的混合神经网络的输入和输出，对所述混合神经网络进行迭代训练，得到图像分割模型，其中，在所述混合神经网络进行迭代训练过程中根据预设的动态更新策略对所述至少一个医学图像序列进行更新；
将实时获取的包含标注信息的医学图像输入至训练好的图像分割模型中，所述图像分割模型输出得到最终的医学图像分割结果。
2.根据权利要求1所述的一种支持多医生协同监督的多任务医学图像分割方法，其特征在于，所述图像分割模型的混合损失函数为：
Loss＝Loss分割+Loss距离，
Loss距离＝(X目标-X标注)2+(Y目标-Y标注)2,
式中，β，γ分别为交叉熵损失函数的权重、Dice损失函数的权重以及边界损失函数的权重，M为目标区域的类别数，c为具体类别，y为标注，p为模型预测，Loss分割为分割损失函数，Loss距离为距离损失函数，D表示距离变换,用于计算图像中每个像素点到最近边界像素点的距离，S是预测边界，g是标注边界，X目标为目标区域几何中心的横坐标，X标注为目标区域中任一点的横坐标，Y目标为目标区域几何中心的纵坐标，Y标注为目标区域中任一点的纵坐标，yc为医生标注此像素点属于c类，pc为模型预测此标注点属于c类的概率，gc为属于类别c的预测边界，gc为属于类别c的标注边界。
3.根据权利要求1所述的一种支持多医生协同监督的多任务医学图像分割方法，其特征在于，所述图像分割模型包括神经网络编码器、图像分割解码器以及基于VGG网络的目标中心坐标解码器；
所述将实时获取的包含标注信息的医学图像输入至训练好的图像分割模型中，所述图像分割模型输出得到最终的医学图像分割结果包括：
输入阶段：接收一张医学图像作为输入；
特征提取编码阶段：使用卷积神经网络层次对输入的医学图像进行下采样处理，提取出医学图像的特征，并将医学图像的空间信息编码为深度特征；
自注意力机制阶段：在下采样处理后，根据自注意力机制识别医学图像中各个特征之间的关联关系；
上采样图像分割解码阶段：使用逆卷积神经网络将特征图扩展回原始图像的尺寸，完成图像的重建，其中，在图像的重建过程中，对每个像素进行分类，确定每个像素是否属于某个特定的组织或结构，同时，解码阶段与编码阶段的相应层进行跳跃连接，以保留更多的细节信息；
几何中心解码阶段：采用基于VGG的经典卷积网络架构，在高纬特征中拟合不同目标区域的几何中心；
输出阶段：网络输出分割后的医学图像，每个像素都被分类为一种特定的类别，形成了一张分割图。
4.根据权利要求3所述的一种支持多医生协同监督的多任务医学图像分割方法，其特征在于，所述神经网络编码器包含四个下采样阶段，每个下采样阶段由两个连续的卷积神经网络层组成，所述图像分割解码器包含四个上采样阶段，每个上采样阶段由两个连续的卷积神经网络层组成；
其中，所述卷积神经网络层的数据特征处理的表达式为：
Xi＝Dropout(BatchNorm(DeformableConv(DilatedConv(W，r)*Xi-1)))，
式中，Xi为神经网络第i层的输出特征，Dropout为通用的网络正则化技术，DilatedConv(W，r)为空洞卷积，Xi-1为神经网络第i-1层的输出特征，Deformable(W，r)为可形变卷积，BatchNorm为批标准化，*为卷积操作，W(Pn)为卷积核在位置Pn的权重，P0为卷积核位置，Pn为R中的一个位置，R为卷积核覆盖的规则网格区域，ΔPn为位置Pn对应的偏移量，Xi-1(P0+Pn+ΔPn)为输入特征图在调整后位置的值。
5.根据权利要求1所述的一种支持多医生协同监督的多任务医学图像分割方法，其特征在于，所述差异函数的表达式为：
式中，Dice为差异系数，X表示第一个医生的标注信息，Y表示第二个医生的标注信息，|X∩Y|表示为两个医生标注同一目标区域相同的像素数量，|X|+|Y/表示为两个医生各自标注同一目标区域数量的总数。
6.根据权利要求1所述的一种支持多医生协同监督的多任务医学图像分割方法，其特征在于，所述在所述混合神经网络进行迭代训练过程中根据预设的动态更新策略对所述至少一个医学图像序列进行更新包括：
采用Ramp Up函数确定在不同训练阶段中的具体剔除图像数量，其中，所述Ramp Up函数的表达式为：
y＝emx，
式中，m为正实数，x为模型训练进度，y为剔除样本数量；
根据剔除图像数量对所述至少一个医学图像序列进行更新。
7.一种支持多医生协同监督的多任务医学图像分割系统，其特征在于，包括：
获取模块，配置为获取包含标注信息的至少一个医学图像集，其中，一医学图像集中包含不同标注信息的同一张医学图像，所述标注信息为用户对医学图像中的目标区域进行标注的信息；
计算模块，配置为根据预设的差异函数计算同一医学图像集中各个医学图像之间的差异系数，并根据所述差异系数的大小对同一医学图像集中各个医学图像进行排序，得到至少一个医学图像序列，其中，一目标医学图像序列中仅包含不同标注信息的同一医学图像；
训练模块，配置为将所述至少一个医学图像序列以及与所述至少一个医学图像序列对应的图像分割结果分别作为基于改进型卷积与注意力的混合神经网络的输入和输出，对所述混合神经网络进行迭代训练，得到图像分割模型，其中，在所述混合神经网络进行迭代训练过程中根据预设的动态更新策略对所述至少一个医学图像序列进行更新；
输出模块，配置为将实时获取的包含标注信息的医学图像输入至训练好的图像分割模型中，所述图像分割模型输出得到最终的医学图像分割结果。
8.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410243695.XA CN118196013A (zh) | 2024-03-04 | 2024-03-04 | 支持多医生协同监督的多任务医学图像分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410243695.XA CN118196013A (zh) | 2024-03-04 | 2024-03-04 | 支持多医生协同监督的多任务医学图像分割方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118196013A true CN118196013A (zh) | 2024-06-14 |
Family
ID=91403383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410243695.XA Pending CN118196013A (zh) | 2024-03-04 | 2024-03-04 | 支持多医生协同监督的多任务医学图像分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118196013A (zh) |
-
2024
- 2024-03-04 CN CN202410243695.XA patent/CN118196013A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10706333B2 (en) | Medical image analysis method, medical image analysis system and storage medium | |
| US10496884B1 (en) | Transformation of textbook information | |
| JP6843086B2 (ja) | 画像処理システム、画像においてマルチラベル意味エッジ検出を行う方法、および、非一時的コンピューター可読記憶媒体 | |
| US10452899B2 (en) | Unsupervised deep representation learning for fine-grained body part recognition | |
| US10691980B1 (en) | Multi-task learning for chest X-ray abnormality classification | |
| US10853449B1 (en) | Report formatting for automated or assisted analysis of medical imaging data and medical diagnosis | |
| CN110475505A (zh) | 利用全卷积网络的自动分割 | |
| US11263744B2 (en) | Saliency mapping by feature reduction and perturbation modeling in medical imaging | |
| CN112347977B (zh) | 一种诱导性多能干细胞的自动检测方法、存储介质及装置 | |
| US20230230241A1 (en) | System and method for detecting lung abnormalities | |
| CN109685765A (zh) | 一种基于卷积神经网络的x光片肺炎结果预测装置 | |
| KR20210036840A (ko) | 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치 | |
| CN111091010A (zh) | 相似度确定、网络训练、查找方法及装置和存储介质 | |
| Wang et al. | Medical matting: a new perspective on medical segmentation with uncertainty | |
| CN110570425B (zh) | 一种基于深度强化学习算法的肺结节分析方法及装置 | |
| CN111784713A (zh) | 一种引入注意力机制的u形心脏分割方法 | |
| CN111209946B (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
| Bakasa et al. | Stacked ensemble deep learning for pancreas cancer classification using extreme gradient boosting | |
| CN117456183A (zh) | 一种多层级特征提取融合注意力机制的医学图像分割方法 | |
| CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
| CN112785559B (zh) | 基于深度学习的多个异构模型相互组合的骨龄预测方法 | |
| CN115471512A (zh) | 一种基于自监督对比学习的医学影像分割方法 | |
| CN118196013A (zh) | 支持多医生协同监督的多任务医学图像分割方法及系统 | |
| Sorour et al. | A Deep Learning System for Detecting Cardiomegaly Disease Based on CXR Image | |
| Waseem Sabir et al. | FibroVit—Vision transformer-based framework for detection and classification of pulmonary fibrosis from chest CT images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |