CN115565671A - 基于跨模型相互教学半监督的房颤辅助分析方法 - Google Patents

基于跨模型相互教学半监督的房颤辅助分析方法 Download PDF

Info

Publication number
CN115565671A
CN115565671A CN202211264344.4A CN202211264344A CN115565671A CN 115565671 A CN115565671 A CN 115565671A CN 202211264344 A CN202211264344 A CN 202211264344A CN 115565671 A CN115565671 A CN 115565671A
Authority
CN
China
Prior art keywords
model
left atrium
encoder
layer
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211264344.4A
Other languages
English (en)
Inventor
向顺
王健儒
王元全
郭世杰
苏卫华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202211264344.4A priority Critical patent/CN115565671A/zh
Publication of CN115565671A publication Critical patent/CN115565671A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明为基于跨模型相互教学半监督的房颤辅助分析方法，引入可变形的Transformer，构建左心房分割模型，使左心房分割模型能够提取图像之间的长依赖信息，充分利用心脏核磁共振图像的空间信息提高左心房区域的分割精度；其次，搭建基于跨模型相互教学的半监督训练框架对左心房分割模型进行训练，利用训练后的左心房分割模型对3D心脏核磁共振图像进行分割，生成左心房分割预测图；最后，将生成的左心房分割预测图进行重建，计算左心房的直径、体积、体积指数和左心房球形度四种临床指标，并参考正常参考值范围，结合临床经验辅助医生进行房颤分析。该方法通过跨模型相互教学的半监督机制，在医学数据缺乏的情形下缓解了模型对标签数据的依赖。

Description

基于跨模型相互教学半监督的房颤辅助分析方法
技术领域
本发明属于房颤辅助分析技术领域，特别是涉及一种基于跨模型相互教学半监督的房颤辅助分析方法。
背景技术
房颤作为最常见的心脏疾病，通常表现为持续性心率失常和左心房增大，因此左心房的解剖结构能够为房颤病理分析提供重要信息，而左心房的直径、体积、体积指数和球形度这四个指标可以为房颤评估和分析提供重要依据，故准确计算这些指标值对房颤评估具有重要作用。然而，准确计算指标值依赖于左心房轮廓的准确描绘，目前在临床诊断上医生主要通过从心脏核磁共振图像手动分割左心房区域，不仅耗费时间，而且分割准确度较低。
随着深度学习技术的发展，基于深度学习的图像分割方法取得了良好的效果。目前大多数可用的临床数据库规模较小，因此很难使用全监督学习方式训练模型。对于医学影像来说获取大量的标签数据是一个费时费力的过程，标签结果受到医生主观影像较大。相较于标签数据，无标签数据是容易获得且能够大量提供，如何利用有限的标签数据和大量的无标签数据进行半监督学习已经成为很多研究者关注的重点。目前，在半监督学习中主要面临两大难点：1)一致性正则化约束问题。一致性正则化约束通过添加扰动加强模型在预测过程或者中间特征提取过程中的一致性。对于同一个无标签数据通过在扰动过程中随机扩充图像，使得模型在前向传播中获得两个不同的预测结果，并在增强图像的预测之间加入一致性约束，从而使模型更加关注低密度区域，以提高分割性能。一般来说，大多数教师-学生模型训练框架中使用的是基于指数移动平均(EMA)方法更新教师参数。然而，指数移动平均更侧重于在训练过程中的每个阶段对学生模型的参数进行加权，并没有评估模型生成的伪标签的质量。随着训练次数的增加，教师模型会累积学习到学生模型的参数，同时也会累积参数中的错误知识，这样不能够保证教师模型能够提供更好的伪标签进行监督。2)模型空间信息获取能力不足。在已有的大多数研究中采用的是基于纯卷积神经网络(CNN)的医学影像分割方法，其中大部分模型都是基于U-Net/V-Net模型及其变体衍化而来的，虽然在各种任务中取得了不错的结果，但是由于卷积运算有一定的局限性，基于CNN的方法对于全局信息和长依赖信息的建模能力有限，而且大多数医学影像都是基于3D结构的，每张图像之间都有很多空间信息，这些空间信息在CNN模型中无法很好地被获取。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提出一种基于跨模型相互教学半监督的房颤辅助分析方法。
本发明解决所述技术问题采用的技术方案如下：
一种基于跨模型相互教学半监督的房颤辅助分析方法，包括以下步骤：
S1、在训练阶段采用包含随机翻转、对比度增强以及随机裁剪在内的方式进行数据增强，在推理阶段采用中心裁剪进行数据增强，将待分割的3D心脏核磁共振图像裁剪为规定大小；
S2、引入可变形的Transformer，构建左心房分割模型；左心房分割模型包括基于卷积神经网络的编码器、3D可变形的Transformer编码器和基于卷积神经网络的解码器；
基于卷积神经网络的编码器包括多个级联的编码器层，每个编码器层均包含卷积层、归一化层、激活层和下采样层，待分割的3D心脏核磁共振图像通过基于卷积神经网络的编码器进行特征提取，得到多尺度空间特征图；
3D可变形的Transformer编码器由多个3D可变形的Transformer编码器层堆叠而成，每个3D可变形的Transformerr编码器层均包括级联的自注意力层、归一化层、前向反馈层和归一化层，自注意力层和前向反馈层采用残差连接；
基于卷积神经网络的编码器提取的空间特征图输入到3D可变形的Transformer编码器中，通过3D位置编码器对输入的空间特征图进行扁平化，同时将空间特征图中左心房区域的像素点作为关键点；将扁平化后的空间特征图和关键点输入到自注意力层中，自注意力层利用3D可变形的多头自注意力机制使3D可变形的Transformerr编码器只关注空间特征图的部分像素点，3D可变形的自注意力机制是将注意力机制在Z轴方向拓展得到，表达式为：
Figure BDA0003890297000000021
式中，
Figure BDA0003890297000000022
表示3D可变形的多头注意力机制，zq表示像素点的坐标，
Figure BDA0003890297000000023
表示zq的归一化坐标，
Figure BDA0003890297000000024
表示多尺度空间特征图，m表示多头注意力机制的自注意力头索引编号，M表示自注意力头数，L表示空间特征图数量，Wm、W′m均表示单位矩阵，K表示像素点的数量，Δpmlqk和Amlqk分别表示第m个注意力头第l个空间特征图第k个像素点的采样偏移量和注意力权重；
Figure BDA0003890297000000025
表示将归一化坐标
Figure BDA0003890297000000026
转换为对应的第l个空间特征图；
基于卷积神经网络的解码器包括与编码器层数量相同的解码器层，除最后一个解码器层为上采样层外，其余解码器层均为转置卷积；
S3、搭建基于跨模型相互教学的半监督训练框架；将左心房分割模型作为教师模型，V-Net模型作为学生模型，监督损失Lsup的表达式为：
Lsup＝0.5×(LCE(yi,pi)+LDICE(yi,pi)) (4)
式中，LCE(yi,pi)、LDICE(yi,pi)分别表示左心房分割预测图pi与真实标签yi之间的交叉熵损失和骰子系数损失；
对于未标签数据，使用跨模型相互教学的半监督训练，3D心脏核磁共振图像分别输入到教师模型和学生模型中产生两个伪标签，利用教师模型为学生模型提供伪标签，利用学生模型为教师模型提供伪标签；对生成的伪标签进行过滤，将左心房分割预测图中像素点的置信度作为过滤指标，分别对左心房分割预测图的前景和背景设置阈值，对于左心房分割预测图的前景选择置信度高于前景阈值的像素点，左心房分割预测图的背景选择置信度小于背景阈值的像素点，将左心房分割预测图中的其余像素点删除，得到过滤后的左心房分割预测图；利用过滤后的左心房分割预测图和伪标签计算模型训练的二交叉熵损失为：
Figure BDA0003890297000000027
其中，
Figure BDA0003890297000000028
分别表示左心房分割预测图的前景和背景，γ和β分别表示前景阈值和背景阈值；
Figure BDA0003890297000000029
表示伪标签，包括教师模型为学生模型提供的伪标签
Figure BDA00038902970000000210
和学生模型为教师模型提供的伪标签
Figure BDA0003890297000000031
左心房分割预测图pi包括教师模型和学生模型的预测结果；
跨模型相互教学的策略损失函数Lcmt定义为：
Figure BDA0003890297000000032
式中，
Figure BDA0003890297000000033
表示教师模型的预测结果与伪标签的二交叉熵损失，
Figure BDA0003890297000000034
表示学生模型的预测结果与伪标签的二交叉熵损失；
模型训练总的损失函数表示为：
Ltotal＝Lsup+αLcmt (11)
其中，Lsup表示监督损失，Lcmt表示跨模型相互教学的策略损失，α表示平衡因子；
平衡因子α的表达式为：
Figure BDA0003890297000000035
式中，t表示模型当前的训练步数，tmax表示模型的最大训练步数；
S4、对同一张3D心脏核磁共振图像生成的多张左心房分割预测图按照原来的位置进行3D重建，得到重建后的左心房分割预测图；基于重建后的左心房分割预测图，计算左心房的直径、体积、体积指数和左心房球形度四种临床指标，医生将这些临床指标与正常参考值范围进行比较，并结合临床经验判断患者是否有房颤，实现房颤的辅助分析。
与现有技术相比，本发明的有益效果为：
1、3D心脏核磁共振图像中含有丰富的空间信息，有利于左心房的准确分割。为了对3D心脏核磁共振图像进行分割，本发明在卷积神经网络中引入可变形的Transformer构建左心房分割模型，充分利用CNN提取局部特征和Transformer可以对远程长依赖信息进行建模，以提取空间信息的优势。与传统的Transformer模块相比，本发明的3D可变形的Transformer编码器将左心房区域的像素点作为关键点，使得3D可变形的Transformer编码器只关注左心房区域所在的关键点，而不管特征图的空间大小。通过为每个查询只分配少量固定数量的键，可以缓解收敛和特征空间分辨率的问题，减少计算量的同时加快了收敛速度。
2、在左心房分割模型与V-Net模型之间搭建跨模型相互教学的半监督机制，能够兼顾不同模型在同一数据上的信息类别，同时对预测结果设置了前景阈值和背景阈值，利用像素点的置信度对生成的伪标签进行过滤，进而提供准确稳定的伪标签，使两个模型预测逐渐达到一致性，从而提高左心房分割模型的分割精度。同时解决了现有的教师-学生模型半监督训练框架中，随着训练次数的增加，教师模型会累积错误的知识，而不能提供更好的伪标签进行监督的问题。在分割过程中充分利用了大量未标签数据，很大程度上缓解了模型对标签数据的依赖，减少了医生对3D MRI数据的标注时间和精力，减少人力成本。
3、本发明通过左心房分割模型获取左心房区域的图像，并通过3D重建左心房分割结果得到左心房直径、体积、体积指数和左心房球形度四种临床指标，能够帮助医生在房颤症状和心脏疾病方面的诊断，在临床实践中具有重要意义，有利于医学自动诊断技术从实验室到临床应用。
附图说明
图1为本发明的整体流程图；
图2为本发明的左心房分割模型的结构图；
图3为本发明的编码器的结构图；
图4为本发明的3D可变形的Transformerr编码器层的结构图。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案进行详细描述，但并不以此限定本申请的保护范围。
本发明提供一种基于跨模型相互教学半监督的房颤辅助分析方法(简称方法，参见图1～4)，具体包括以下步骤：
S1、定义数据集：遵循标准的半监督学习数据集设置，将数据集记为D，将标签数据集表示为Dl＝{xl,yl}，未标签数据集表示为Du＝{xu}，其中x表示3D心脏核磁共振图像，yl表示真实标签；选取20％的标签数据和80％的未标签数据用于模型训练，达到利用少量的标签数据和大量的未标签数据组成的样本训练模型的目的；
对数据集进行增强：目前医学影像的数据集与动辄几千、几万张的自然图像的数据集相比十分稀少，为了使模型的稳健性更强，在训练阶段采用组合方式进行数据增强，包含随机翻转15°、对比度增强以及随机裁剪等方式；在推理阶段使用中心裁剪的方式进行数据增强，将待分割的3D心脏核磁共振图像裁剪为240*240*80像素；
S2、引入可变形的Transformer，构建左心房分割模型；左心房分割模型包括基于卷积神经网络的编码器、3D可变形的Transformer编码器和基于卷积神经网络的解码器，参见图2；
S21、基于卷积神经网络的编码器包括四个级联的编码器层，每个编码器层均包含级联的卷积层、归一化层、激活层和下采样层；卷积层的卷积核大小为2*2*2，步长为2；激活层采用PRELU激活函数，归一化层采用BatchNorm层归一化函数；经过卷积层和下采样层后，特征图的通道数会增加一倍，分辨率减少一半；将待分割的3D心脏核磁共振图像输入到基于卷积神经网络的编码器中进行特征提取，得到多尺度空间特征图，多尺度空间特征图
Figure BDA0003890297000000041
表示为：
Figure BDA0003890297000000042
式中，
Figure BDA0003890297000000043
表示第l个编码器层提取的空间特征图，C表示通道数，Hl表示空间特征图fl的高度，Wl表示空间特征图fl的宽度，Dl表示空间特征图fl的深度；L表示编码器层数量，FCNN(.)表示基于卷积神经网络的编码器，θ为基于卷积神经网络的编码器参数；
S22、3D可变形的Transformer编码器由多个3D可变形的Transformer编码器层堆叠而成(本实施例为8个)，每个3D可变形的Transformerr编码器层均包括级联的自注意力层、归一化层、前向反馈层和归一化层，自注意力层和前向反馈层均采用残差连接，参见图3；将基于卷积神经网络的编码器的第二～四个编码器层提取的空间特征图输入到3D可变形的Transformer编码器中，得到Transformer编码器提取的空间特征图，进而提取到3D心脏核磁共振图像之间的长依赖信息；
Transformer是一种基于多头注意机制的网络架构，主要应用于自然语言处理，由于其在长依赖信息中的优势，在处理视觉任务中也取得了不错的效果；在Transformer模块中，给定一个查询元素(例如分割区域的一个像素点)和一组关键元素(例如待分割图像中的像素点)，多头注意力机制根据注意力权重自适应地聚合关键元素查询的匹配程度；为了让模型关注来自不同表示子空间和不同位置的内容，多头注意力机制将不同注意力头的输出与可学习的注意力权重进行线性聚合；本申请在传统Transformer模块的基础上进行改进，得到3D可变形的Transformer模块，一方面为了解决传统Transformer模块在收敛之前需要很长训练时间，而且Transformer模块比CNN收敛速度慢，需要更多数据集的问题；另一方面为了解决传统Transformer模块计算的是图像所有数据的权重，多头注意力的计算和记忆复杂度很高，如果有许多查询和关键元素，会使得计算量非常大难以适用于3D医学影像的问题；
因此，3D可变形的Transformer编码器首先通过3D位置编码器对输入的空间特征图进行扁平化，同时将空间特征图中左心房区域的像素点作为关键点；3D位置编码器的表达式为：
Figure BDA0003890297000000051
式中，PE(.)表示3D位置编码器，pos表示像素点，v表示像素点的位置权重，k表示像素点的索引编号；
然后，将扁平化后的空间特征图和关键点输入到自注意力层中，自注意力层通过3D可变形的多头自注意力机制使3D可变形的Transformerr编码器只关注空间特征图的部分像素点；3D可变形的自注意力机制是将注意力机制在Z轴方向(即增加一个通道)拓展得到，以适应3D环境；3D可变形的自注意力机制的表达式为：
Figure BDA0003890297000000052
式中，
Figure BDA0003890297000000053
表示3D可变形的多头注意力机制，zq表示像素点的坐标，
Figure BDA0003890297000000054
表示zq的归一化坐标，
Figure BDA0003890297000000055
表示多尺度空间特征图，m表示多头注意力机制的自注意力头索引编号，M表示自注意力头数，L表示空间特征图数量，Wm、W′m均表示单位矩阵，K表示像素点的数量，Δpmlqk和Amlqk分别表示第m个注意力头第l个空间特征图第k个像素点的采样偏移量和注意力权重；
Figure BDA0003890297000000056
表示将归一化坐标
Figure BDA0003890297000000057
转换为对应的第l个空间特征图；
S23、基于卷积神经网络的解码器包括四个级联的解码器层，前三个解码器层均采用卷积核大小为2*2*2，步长为2的转置卷积，将Transformer编码器提取的空间特征图返回到输入分辨率；最后一个解码器层为上采样层，用于输出左心房分割预测图；为了保留更多的底层细节，基于卷积神经网络的编码器和解码器之间采用跳跃连接。
S3、搭建基于跨模型相互教学的半监督训练框架，为了充分利用卷积神经网络在局部信息的处理优势以及Transformer模块在长依赖信息中的优势，将步骤S2构建的左心房分割模型作为教师模型，V-Net模型作为学生模型，这样能够在训练过程中提供更加准确的伪标签，进而可以在标签数据稀少的情况下更好地分割左心房区域；
为了保证跨模型相互教学中的教师模型和学生模型都可以学习标签数据的特征，对标签数据建立监督约束；将标签数据集分别输入到教师模型和学生模型中进行训练，采用交叉熵(CE)和骰子系数(DICE)计算左心房分割预测图与真实标签之间的监督损失，监督损失的表达式为：
Lsup＝0.5×(LCE(yi,pi)+LDICE(yi,pi)) (4)
式中，LCE(yi,pi)、LDICE(yi,pi)分别表示左心房分割预测图pi与真实标签yi之间的交叉熵损失和骰子系数损失；
对于未标签数据，使用跨模型相互教学的半监督训练策略；具体来说，将未标签数据集中的任意一张3D心脏核磁共振图像分别输入到教师模型和学生模型中，产生两个预测结果；
Figure BDA0003890297000000061
Figure BDA0003890297000000062
其中，FT(.)表示教师模型，FS(.)表示学生模型，
Figure BDA0003890297000000063
表示教师模型的预测结果，
Figure BDA0003890297000000064
表示学生模型的预测结果；
在半监督方法中，伪标签是一种提倡利用模型本身为未标签数据生成人工标签的方式；对于未标签数据，利用教师模型为学生模型提供伪标签，利用学生模型为教师模型提供伪标签，令
Figure BDA0003890297000000065
分别表示教师模型为学生模型提供的伪标签和学生模型为教师模型提供的伪标签，则有：
Figure BDA0003890297000000066
Figure BDA0003890297000000067
虽然伪标签与图像的模态无关，但是在训练过程中可能会存在大量错误的伪标签，因此对生成的伪标签进行过滤，以减少训练中存在的噪声，提高整体性能；将左心房分割预测图中像素点的置信度作为过滤指标，分别对左心房分割预测图的前景和背景设置阈值，对于左心房分割预测图的前景选择置信度高于前景阈值的像素点，左心房分割预测图的背景选择置信度小于背景阈值的像素点，将左心房分割预测图中的其余像素点删除，得到过滤后的左心房分割预测图；利用过滤后的左心房分割预测图和伪标签计算模型训练的二交叉熵损失为：
Figure BDA0003890297000000068
其中，
Figure BDA0003890297000000069
分别表示左心房分割预测图的前景和背景，γ和β分别表示前景阈值和背景阈值；
Figure BDA00038902970000000610
表示伪标签，包括教师模型为学生模型提供的伪标签
Figure BDA00038902970000000611
和学生模型为教师模型提供的伪标签
Figure BDA00038902970000000612
式(9)中的左心房分割预测图pi包括教师模型的预测结果
Figure BDA00038902970000000613
和学生模型的预测结果
Figure BDA00038902970000000614
跨模型相互教学的策略损失Lcmt定义为：
Figure BDA00038902970000000615
式中，
Figure BDA00038902970000000616
表示教师模型的预测结果与伪标签的二交叉熵损失，
Figure BDA00038902970000000617
表示学生模型的预测结果与伪标签的二交叉熵损失；
跨模型相互教学的策略损失函数结合了教师模型和学生模型对同一个未标签数据产生的不同预测结果，有利于提升左心房分割模型的预测精度；
综上，模型训练总的损失函数表示为：
Ltotal＝Lsup+αLcmt (11)
其中，α表示监督学习与半监督学习的平衡因子，用于确保总的损失函数开始时以全监督为主导，避免模型在训练过程中退化，α的表达式为：
Figure BDA00038902970000000618
式中，t表示模型当前的训练步数，tmax表示模型的最大训练步数。
S4、左心房分割预测模型采用滑动窗口的方式对3D心脏核磁共振图像进行分割预测，因此同一张3D心脏核磁共振图像生成多张左心房分割预测图，将所有左心房分割预测图按照原来的位置进行3D重建，得到重建后的左心房分割预测图；根据重建后的左心房分割预测图，计算左心房的直径LAdia、体积LAv、体积指数LAvi和左心房球形度LAsp这四种临床指标，医生将这些临床指标与正常参考值范围进行比较，并结合临床经验判断患者是否有房颤，以此达到房颤辅助分析的目的；
在临床应用中，常常使用心房大小和形态进行对房颤患者进行评估，因此，从重建后的左心房分割预测图中获取左心房的体积LAv、左心房前后径LAdap、左心房左右径LAdml、左心房上下径LAdsi，选取LAdap、LAdml、LAdsi中的最大值作为左心房的直径(单位：mm)，其表达式为：
LAdia＝max(LAdap；LAdml；LAdsi) (13)
左心房的体积指数LAvi为：
LAvi＝LAv/Bsa (14)
其中，体积指数的单位为ml/m2，LAv表示左心房的体积，Bsa表示患者的体表面积，计算公式为：
Bsa＝0.0061×身高+0.0124×体重–0.0099 (15)
其中，身高和体重的单位分别为cm和kg；
左心房球形度LAsp为：
LAsp(％)＝Vdia/LAdia (16)
其中，Vdia表示与左心房同容积球体的直径，单位为mm。
本发明未述及之处适用于现有技术。

Claims (3)

1.一种基于跨模型相互教学半监督的房颤辅助分析方法，其特征在于，该方法包括以下步骤：
S1、在训练阶段采用包含随机翻转、对比度增强以及随机裁剪在内的方式进行数据增强，在推理阶段采用中心裁剪进行数据增强，将待分割的3D心脏核磁共振图像裁剪为规定大小；
S2、引入可变形的Transformer，构建左心房分割模型；左心房分割模型包括基于卷积神经网络的编码器、3D可变形的Transformer编码器和基于卷积神经网络的解码器；
基于卷积神经网络的编码器包括多个级联的编码器层，每个编码器层均包含卷积层、归一化层、激活层和下采样层，待分割的3D心脏核磁共振图像通过基于卷积神经网络的编码器进行特征提取，得到多尺度空间特征图；
3D可变形的Transformer编码器由多个3D可变形的Transformer编码器层堆叠而成，每个3D可变形的Transformerr编码器层均包括级联的自注意力层、归一化层、前向反馈层和归一化层，自注意力层和前向反馈层采用残差连接；
基于卷积神经网络的编码器提取的空间特征图输入到3D可变形的Transformer编码器中，通过3D位置编码器对输入的空间特征图进行扁平化，同时将空间特征图中左心房区域的像素点作为关键点；将扁平化后的空间特征图和关键点输入到自注意力层中，自注意力层利用3D可变形的多头自注意力机制使3D可变形的Transformerr编码器只关注空间特征图的部分像素点，3D可变形的自注意力机制是将注意力机制在Z轴方向拓展得到，表达式为：
Figure FDA0003890296990000011
式中，
Figure FDA0003890296990000012
表示3D可变形的多头注意力机制，zq表示像素点的坐标，
Figure FDA0003890296990000013
表示zq的归一化坐标，
Figure FDA0003890296990000014
表示多尺度空间特征图，m表示多头注意力机制的自注意力头索引编号，M表示自注意力头数，L表示空间特征图数量，Wm、Wm均表示单位矩阵，K表示像素点的数量，Δpmlqk和Amtqk分别表示第m个注意力头第l个空间特征图第k个像素点的采样偏移量和注意力权重；
Figure FDA0003890296990000015
表示将归一化坐标
Figure FDA0003890296990000016
转换为对应的第l个空间特征图；
基于卷积神经网络的解码器包括与编码器层数量相同的解码器层，除最后一个解码器层为上采样层外，其余解码器层均为转置卷积；
S3、搭建基于跨模型相互教学的半监督训练框架；将左心房分割模型作为教师模型，V-Net模型作为学生模型，监督损失Lsup的表达式为：
Lsup＝0.5×(LCE(yi，pi)+LDICE(yi，pi)) (4)
式中，LCE(yi，pi)、LDICE(yi，pi)分别表示左心房分割预测图pi与真实标签yi之间的交叉熵损失和骰子系数损失；
对于未标签数据，使用跨模型相互教学的半监督训练，3D心脏核磁共振图像分别输入到教师模型和学生模型中产生两个伪标签，利用教师模型为学生模型提供伪标签，利用学生模型为教师模型提供伪标签；对生成的伪标签进行过滤，将左心房分割预测图中像素点的置信度作为过滤指标，分别对左心房分割预测图的前景和背景设置阈值，对于左心房分割预测图的前景选择置信度高于前景阈值的像素点，左心房分割预测图的背景选择置信度小于背景阈值的像素点，将左心房分割预测图中的其余像素点删除，得到过滤后的左心房分割预测图；利用过滤后的左心房分割预测图和伪标签计算模型训练的二交叉熵损失为：
Figure FDA0003890296990000021
其中，
Figure FDA0003890296990000022
分别表示左心房分割预测图的前景和背景，γ和β分别表示前景阈值和背景阈值；
Figure FDA0003890296990000023
表示伪标签，包括教师模型为学生模型提供的伪标签
Figure FDA0003890296990000024
和学生模型为教师模型提供的伪标签
Figure FDA0003890296990000025
左心房分割预测图pi包括教师模型和学生模型的预测结果；
跨模型相互教学的策略损失函数Lcmt定义为：
Figure FDA0003890296990000026
式中，
Figure FDA0003890296990000027
表示教师模型的预测结果与伪标签的二交叉熵损失，
Figure FDA0003890296990000028
表示学生模型的预测结果与伪标签的二交叉熵损失；
模型训练总的损失函数表示为：
Ltotal＝Lsup+αLcmt (11)
其中，Lsup表示监督损失，Lcmt表示跨模型相互教学的策略损失，α表示平衡因子；
平衡因子α的表达式为：
Figure FDA0003890296990000029
式中，t表示模型当前的训练步数，tmax表示模型的最大训练步数；
S4、对同一张3D心脏核磁共振图像生成的多张左心房分割预测图按照原来的位置进行3D重建，得到重建后的左心房分割预测图；基于重建后的左心房分割预测图，计算左心房的直径、体积、体积指数和左心房球形度四种临床指标，医生将这些临床指标与正常参考值范围进行比较，并结合临床经验判断患者是否有房颤，实现房颤的辅助分析。
2.根据权利要求1所述的基于跨模型相互教学半监督的房颤辅助分析方法，其特征在于，在步骤S4中，从重建后的左心房分割预测图中获取左心房的体积LAv、左心房前后径LAdap、左心房左右径LAdml、左心房上下径LAdsi，选取LAdap、LAdml、LAdsi中的最大值作为左心房的直径；
左心房的体积指数LAvi为：
LAvi＝LAv/Bsa (14)
其中，Bsa表示患者的体表面积，计算公式为：
Bsa＝0.0061×身高+0.0124×体重-0.0099 (15)
左心房球形度LAsp为：
LAsp＝Vdia/LAdia (16)
其中，Vdia表示与左心房同容积球体的直径。
3.根据权利要求1或2所述的基于跨模型相互教学半监督的房颤辅助分析方法，其特征在于，所述基于卷积神经网络的编码器包括四个编码器层，编码器层的卷积层的卷积核大小为2*2*2，步长为2；基于卷积神经网络的解码器包括四个解码器层，解码器层的转置卷积的卷积核大小为2*2*2，步长为2。
CN202211264344.4A 2022-10-14 2022-10-14 基于跨模型相互教学半监督的房颤辅助分析方法 Pending CN115565671A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211264344.4A CN115565671A (zh) 2022-10-14 2022-10-14 基于跨模型相互教学半监督的房颤辅助分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211264344.4A CN115565671A (zh) 2022-10-14 2022-10-14 基于跨模型相互教学半监督的房颤辅助分析方法

Publications (1)

Publication Number Publication Date
CN115565671A true CN115565671A (zh) 2023-01-03

Family

ID=84747014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211264344.4A Pending CN115565671A (zh) 2022-10-14 2022-10-14 基于跨模型相互教学半监督的房颤辅助分析方法

Country Status (1)

Country Link
CN (1) CN115565671A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710970A (zh) * 2024-02-05 2024-03-15 武汉互创联合科技有限公司 基于半监督算法的胚胎细胞多核目标检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710970A (zh) * 2024-02-05 2024-03-15 武汉互创联合科技有限公司 基于半监督算法的胚胎细胞多核目标检测方法
CN117710970B (zh) * 2024-02-05 2024-05-03 武汉互创联合科技有限公司 基于半监督算法的胚胎细胞多核目标检测方法

Similar Documents

Publication Publication Date Title
CN110475505A (zh) 利用全卷积网络的自动分割
WO2016192612A1 (zh) 基于深度学习对医疗数据进行分析的方法及其智能分析仪
CN113314205B (zh) 一种高效的医学影像标注与学习系统
CN111461232A (zh) 一种基于多策略批量式主动学习的核磁共振图像分类方法
CN111260705B (zh) 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法
CN113902761B (zh) 基于知识蒸馏的肺部疾病病灶无监督分割方法
CN116012344B (zh) 一种基于掩码自编码器CNN-Transformer的心脏磁共振图像配准方法
CN112258456B (zh) 一种基于卷积神经网络监督的三维图像分割方法
WO2022227407A1 (zh) 一种基于注意力的联合图像与特征自适应的语义分割方法
CN113763406B (zh) 基于半监督学习的婴儿脑mri分割方法
WO2022205500A1 (zh) 一种非刚性多模医学图像的配准模型建立方法及其应用
CN109840290A (zh) 一种基于端到端深度哈希的皮肤镜图像检索方法
CN115311194A (zh) 一种基于transformer和SE块的CT自动肝脏图像分割方法
CN115908463A (zh) 基于半监督一致性学习的3d冠状动脉图像分割方法
CN113808075A (zh) 一种基于深度学习的两阶段舌象识别方法
CN113781461A (zh) 一种病人智能监控排序方法
CN115661165A (zh) 基于增强注意力的编解码网络胶质瘤融合分割系统及方法
CN117274599A (zh) 一种基于组合双任务自编码器的脑磁共振分割方法及系统
CN115565671A (zh) 基于跨模型相互教学半监督的房颤辅助分析方法
CN114943721A (zh) 一种建立基于改进U-Net网络的颈部超声图像分割方法
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
CN112164447B (zh) 图像处理方法、装置、设备及存储介质
CN115496732B (zh) 一种半监督心脏语义分割算法
CN116823850A (zh) 基于U-Net和Transformer融合改进的心脏MRI分割方法及系统
CN114972291B (zh) 基于混合增强智能的医学影像结构化自动标注方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination