CN116762105A - 用于胸部x光片中的半监督骨折检测的具有自适应非对称标记锐化的知识蒸馏 - Google Patents

用于胸部x光片中的半监督骨折检测的具有自适应非对称标记锐化的知识蒸馏 Download PDF

Info

Publication number
CN116762105A
CN116762105A CN202180087642.8A CN202180087642A CN116762105A CN 116762105 A CN116762105 A CN 116762105A CN 202180087642 A CN202180087642 A CN 202180087642A CN 116762105 A CN116762105 A CN 116762105A
Authority
CN
China
Prior art keywords
image
level
training
pseudo
supervised
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180087642.8A
Other languages
English (en)
Inventor
王一睿
郑康
周晓云
吕乐
苗舜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of CN116762105A publication Critical patent/CN116762105A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

用于骨折检测的知识蒸馏方法包括获取胸部X光片中的医学图像，包括区域级标记图像、图像级诊断正片和图像级诊断负片；对区域级标记图像和图像级诊断负片执行有监督的预训练过程以训练神经网络以生成预训练权重；以及使用预训练权重对图像级诊断正片执行半监督训练过程。采用教师模型在图像级诊断正片上生成伪地面实况(GT)以监督学生模型的训练，伪GT由自适应非对称标记锐化(AALS)算子处理以生成锐化的伪GT以在图像级诊断正片上提供正检测响应。

Description

用于胸部X光片中的半监督骨折检测的具有自适应非对称标 记锐化的知识蒸馏
技术领域
本申请要求2020年12月27日提交的美国临时专利申请No.63/130,838的优先权。本申请还要求2021年3月26日提交的美国专利申请No.17/214,400的优先权。其全部内容通过引用并入本文。
本申请涉及医学图像的知识蒸馏领域，更具体地，涉及用于胸部X光片中骨折检测的知识蒸馏方法的方法、电子设备和计算机程序产品。
背景技术
在过去的十年中，医学图像的计算机辅助诊断(CAD)得到了广泛的研究。近年来，在开发基于深度学习的CAD系统以诊断各种病理方面取得了实质性进展。最先进的CAD解决方案通常是基于大规模专家标记开发的。然而，由于需要医学专业知识，因此在医学领域进行大规模标记的人工成本高得令人望而却步，这阻碍了针对尚不具备此类大规模标记的应用开发基于深度学习的CAD解决方案。
发明内容
本公开的一方面提供了一种用于骨折检测的知识蒸馏方法。知识蒸馏方法包括：获取胸部X光片中的医学图像，该医学图像包括区域级标记图像、图像级诊断正片和图像级诊断负片；对区域级标记图像和图像级诊断负片执行有监督的预训练过程以训练神经网络生成预训练权重；以及使用预训练权重对图像级诊断正片执行半监督训练过程。采用教师模型在图像级诊断正片上生成伪地面实况(GT)以监督学生模型的训练，伪GT由自适应非对称标记锐化(AALS)算子处理以生成锐化的伪GT以在图像级诊断正片上提供正检测响应。
本公开的另一方面提供了一种电子设备。该电子设备包括存储器，其上存储有计算机程序；处理器，与存储器耦合，当计算机程序被执行时，其配置为获取胸部X光片中的医学图像，包括区域级标记图像、图像级诊断正片和图像级诊断负片；对区域级标记图像和图像级诊断负片执行有监督的预训练过程以训练神经网络生成预训练权重；以及使用预训练权重对图像级诊断正片执行半监督训练过程。采用教师模型在图像级诊断正片上生成伪地面实况(GT)以监督学生模型的训练，伪GT由自适应非对称标记锐化(AALS)算子处理以生成锐化的伪GT以在图像级诊断正片上提供正检测响应。
本公开的另一方面提供了一种计算机程序产品。该计算机程序产品包括非暂时性计算机可读存储介质和存储在其中的程序指令。程序指令被配置为可由计算机执行以使得计算机执行包括以下操作的操作：获取胸部X光片中的医学图像，包括区域级标记图像、图像级诊断正片和图像级诊断负片；对区域级标记图像和图像级诊断负片执行有监督的预训练过程以训练神经网络生成预训练权重；以及使用预训练权重对图像级诊断正片执行半监督训练过程。采用教师模型在图像级诊断正片上生成伪地面实况(GT)以监督学生模型的训练，伪GT由自适应非对称标记锐化(AALS)算子处理以生成锐化的伪GT以在图像级诊断正片上提供正检测响应。
本领域的技术人员根据本公开的说明书、权利要求和附图能够理解本公开的其他方面。
附图说明
图1示出根据本公开的各种实施例的用于骨折检测的示例知识蒸馏方法。
图2示出根据本公开的各种实施例的用于骨折检测的另一个示例知识蒸馏方法。
图3示出根据本公开的各种实施例的用于骨折检测的知识蒸馏的示例电子设备。
图4示出根据本公开的各种实施例的非对称标记锐化函数。
图5示出根据本公开的各种实施例的使用图像级诊断正片的子集的模型性能。
图6示出根据本公开的各种实施例的骨折检测结果的示例。
图7示出根据本公开的各种实施例的使用不同方法的肋骨骨折(左)和锁骨骨折(右)检测结果的FROC(自由响应接受者操作特性)曲线。
具体实施方式
下面结合附图对本发明实施例的技术方案进行说明。在可能的情况下，贯穿附图将使用相同的附图标记来指代相同或相似的部分。显然，所描述的实施例只是本发明的一部分实施例，并不代表本发明的全部实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面首先解释本公开中使用的某些术语。
各种实施例提供了用于骨折检测的知识蒸馏方法的方法、电子设备和计算机程序产品。例如，可以使用自适应非对称标记锐化(AALS)执行知识蒸馏方法，以在胸部X光片(CXR)中进行半监督骨折检测。因此，可以使用有限的专家标记和丰富的临床诊断记录为CXR提供可靠、稳健和准确的骨折检测模型。
在一个实施例中，图像级CXR(例如，标记/未标记)和区域级标记CXR可用于开发骨折检测模型，以基于CXR识别骨折(包括例如肋骨和锁骨骨折和脊柱骨折)的分类和定位。
如本文所用，术语“胸部X光片”或CXR可指与胸部相关的X射线成像结果和/或X射线检查，包括肋骨、锁骨和/或脊柱骨等。
可以大规模有效地获得图像级标记，例如，通过挖掘医院的图像档案和临床记录。在一个示例中，可以通过在临床记录中找到匹配的诊断代码和/或关键词来获得图像级标记。图像级标记可以包括阳性标记(例如，用于阳性诊断)和阴性标记(例如，用于阴性诊断)。
区域级标记可以由专家手动标记且获得成本更高。例如，图像级诊断正片CXR可以由专家标记以提供区域级标记，例如，以边界框的形式。
图1示出根据本公开的各种实施例的用于骨折检测的示例知识蒸馏方法。图2示出根据本公开的各种实施例的用于骨折检测的知识蒸馏方法的另一示例。
在图1的110处，获得了CXR的医学图像，包括区域级标记图像(R)、图像级诊断正片(P)和图像级诊断负片(N)。
在示例性实施方式中，可以基于医疗中心的外伤登记获得大量CXR(例如，大约65,845个CXR)。通过匹配临床记录中的诊断代码和关键字，可以识别具有图像级阳性诊断标记和图像级阴性诊断标记的CXR(例如，包括6,792个阳性CXR和59,051个阴性CXR)。在具有图像级阳性诊断标记的CXR中，许多CXR可能由专家标记以提供边界框形式的区域级标记。
本公开的方法、设备和/或产品可以在极度不平衡的正负比下有效地利用具有区域级标记和图像级标记的CXR。
在一些实施例中，可以训练神经网络以产生指示检测到的骨折位置的概率图。由于裂缝的形状和尺度可能会有很大差异，因此可以采用具有ResNet-50主干的特征金字塔网络(FPN)通过融合多尺度特征来应对尺度变化的挑战。在一些实施例中，所述训练至少包括：有监督的预训练过程和半监督的训练过程。在预训练过程中，使用区域级标记图像(R)和图像级诊断负片(N)通过监督学习训练骨折检测模型。在半监督训练过程中，进一步利用图像级诊断正片(P)来促进本公开训练。
在图1的120处，对区域级标记图像(R)和图像级诊断负片(N)执行有监督的预训练过程以训练神经网络(例如，使用学生模型)以生成预训练权重.
可以仅使用区域级标记图像和图像级诊断负片来训练神经网络，其中可以生成像素级监督信号(或像素级监督)。在一个实施例中，像素级监督信号可以从医生标记的边界框转换而来，例如，通过在别处将边界框内的像素分配为“一”和“零”。例如，对于CXR中的区域级标记图像(R)，通过将“一”(“1”)分配给边界框内的像素(例如，作为区域级标记)并在别处分配“零”(“0”)。对于CXR中的图像级诊断负片(N)，生成全为“零”的GT掩码。
在训练期间，可以使用针对区域级标记图像(R)和图像级诊断负片(N)的有监督的预训练过程的相同监督损失。例如，预测概率图和生成的GT掩码之间的像素级二元交叉熵(BCE)损失可用于区域级标记图像(R)和图像级诊断负片(N)上的训练。
BCE损失(Lsup)如下所示：
其中x表示胸部X光片中区域级标记图像(R)或图像级诊断负片(N)，y表示X对应的像素级监督掩码，fθ(x)表示由θ参数化的神经网络的概率图输出。
在如图2所示的另一个示例中，可以对包括区域级标记图像(R)和图像级诊断负片(N)的“专家标记集”执行有监督的预训练过程，以使用基于预测概率图和基于专家标记生成的GT掩码之间的BCE损失(Lsup)的学生模型来训练神经网络。
在区域级标记图像(R)和图像级诊断负片(N)之间存在极度不平衡的情况下(例如，在一个示例中，R的808对照N的59,861)，预训练模型可能倾向于具有低检测灵敏度，例如，在骨折部位产生低概率。然后可以执行半监督训练过程。
在图1的130处，对图像级诊断正片(P)执行半监督训练过程。例如，可以采用包括学生模型和教师模型的师生范式。图2还包括根据本公开的各种实施例的师生范例的示例。
如图2所示，教师模型用于在图像级诊断正片(P)上生成伪地面实况(GT)，以监督学生模型的训练。学生模型从教师模型在图像级诊断正片(P)上生成的伪GT中学习。教师和学生模型共享相同的网络架构(包括例如具有特征金字塔网络(FPN)的ResNet-50)，并且都使用从图1的120处的示例性监督学习步骤获得的预训练权重进行初始化。
在一个实施例中，学生模型经由反向传播被训练并且也如图2中所示，在训练期间使用学生模型权重的指数移动平均数(EMA)迭代地更新教师模型。
教师模型的权重更新如下：
θ′t＝αθ′t-1+(1-α)θt (2)
其中θ′t和θt分别表示训练步骤t中教师和学生模型的权重，α是控制知识更新速度的平滑系数。例如，α可以根据需要设置为0.999。
在各种实施例中，区域级标记集(R)、图像级标记正集(P)和图像级标记负集(N)的CXR都可以用于训练师生模型。
返回图1的130，在半监督训练过程中，通过在图像级诊断正片(P)上使用教师模型产生的伪地面实况(GT)或伪GT图可以在自适应非对称标记锐化(AALS)算子中进一步执行自适应非对称标记锐化(AALS)过程。因此可以生成锐化/增强的伪GT。
图像(x)的锐化伪GT(y′)表示为：
其中表示第t步的教师模型，θ’t表示训练步骤t的教师模型的权重，S(·)表示自适应非对称标记锐化(AALS)。锐化的伪GT(y′)和学生模型的预测/>之间的KL散度计算为附加损失Lsemi(或KLD损失)：
因此，用于训练学生网络的总损失包括：
在其他知识蒸馏模型中，在未标记数据上生成伪GT以监督学生模型。由于没有给出未标记数据的知识，伪GT要么直接使用，要么在其他基线模型中进行对称软化或锐化处理。相反，本公开的知识蒸馏方法可以在以下情况下实施：1)CXR的图像级诊断正片包含可见的骨折部位，以及2)由于正负比不平衡，伪GT往往具有低灵敏度(即，骨折部位的概率低)。
因此，伪GT图的最大值可能较低。为了增强学生模型在骨折部位的激活，采用了AALS：
y′＝S(y)＝expit(A·logit(y)+(1-A)·logit(T)) (6)
其中expit(·)和logit(·)表示Sigmoid函数及其反函数，A和T分别控制锐化算子的强度和中心。
在一个实施例中，用于控制强度和中心的锐化的A和T的效果在图2中示出。如图所示，经过“锐化”后，“增强版伪GT”相比“伪掩码”的强度和中心都得到了增强。
本公开的非对称锐化(例如，AALS)用于增强伪GT中的低概率，其中T＜0.5因此可用于AALS过程。在一个示例中，可以选择使用T＝0.4。
在某些情况下，由于训练数据的不平衡以及由于在伪GT(y)中仍然可能遗漏一些骨折部位(例如，具有低概率值)，max(S(y)，y)被用作标记-锐化函数，以避免在伪GT(y)中对具有低概率值的骨折部位的学生模型激活进行过度惩罚。
根据伪GT图中的最大概率动态选择锐化强度A，写为：
A＝A0-(A0-1)ymax (7)
其中ymax是伪GT图中的最大概率，A0是控制允许的最大锐化强度的超参数。锐化强度A与最大概率ymax负相关。当ymax趋近于1时，A趋近于其最小值1，使S(·)成为恒等映射。当ymax减小时，A向A0增加，导致伪GT的锐化更强。需要动态的A，因为锐化算子是非对称的。如果使用常数A＞1，则锐化操作总是会扩大伪GT图中的激活区域，这会导致模型生成激活区域过大的概率图。使用自适应锐化强度，当在CXR中可靠地检测到骨折部位时(即ymax接近1)，锐化操作退化为恒等映射以避免持续扩大激活区域。
因此，本公开提供了有效的有监督的学习解决方案，例如，包括监督预训练过程和半监督训练过程，以充分利用具有不平衡数据分布的临床诊断来有效地训练骨折检测模型(例如，CAD模型)。本公开的CXR骨折检测方法更好地解决了不平衡的数据分布，并利用了未标记数据的图像级标记。
此外，本文还公开了一种教师-学生机制，其中教师模型被用于在图像级诊断正片上产生伪地面实况(GT)以监督学生模型的训练。与直接使用伪GT或通过对称锐化/软化处理的其他知识蒸馏方法不同，本公开的自适应非对称标记锐化(AALS)用于解决由不平衡数据分布引起的教师模型的低灵敏度，并提供对图像级诊断正片CXR图像的正检测响应。
在各种实施例中，本公开的用于骨折检测的知识蒸馏方法可以应用于一个或多个电子设备。
在各种实施例中，电子设备能够根据预先配置或存储的指令自动进行数值计算和/或信息处理，电子设备的硬件可以包括但不限于微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)和嵌入式设备等。电子设备可以是任何可以与用户交互的电子产品，例如个人电脑、平板电脑、智能手机、台式电脑、笔记本电脑、掌上电脑、个人数字助理(PDA)、游戏机、交互式网络电视(IPTV)、智能穿戴设备等。电子设备可以通过键盘、鼠标、遥控器、触摸屏或语音控制设备与用户进行人机交互。电子设备还可以包括网络设备和/或用户设备。网络设备可以包括但不限于云服务器、单个网络服务器、由多个网络服务器组成的服务器组、或者由多个主机或网络服务器组成的云计算系统。电子设备可以在网络中。网络可以包括但不限于因特网、广域网、城域网、局域网、虚拟专用网(VPN)等。
图3示出根据本公开的各个实施例的用于执行本公开的用于骨折检测的知识蒸馏方法的示例性电子设备的结构图。
参照图3，示例性电子设备包括存储计算机程序的存储器310，以及耦合到存储器310并被配置为在执行计算机程序时执行本公开的用于骨折检测的知识蒸馏方法的处理器320。
存储器310可以包括诸如随机存取存储器(RAM)的易失性存储器和诸如闪存、硬盘驱动器(HDD)或固态驱动器(SSD)的非易失性存储器。存储器310还可以包括各种上述存储器的组合。处理器320可以包括中央处理单元(CPU)、嵌入式处理器、微控制器和诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)和可编程逻辑阵列(PLD)等的可编程设备。
本公开还提供了一种存储计算机程序的计算机可读存储介质。计算机程序可以加载到计算机或可编程数据处理设备的处理器中，使得计算机程序由计算机或可编程数据处理设备的处理器执行以实现本公开的方法。
各种实施例还提供计算机程序产品。该计算机程序产品包括非暂时性计算机可读存储介质和存储在其中的程序指令。程序指令可以被配置为可由计算机执行以使计算机实现包括本公开的用于骨折检测的知识蒸馏方法的操作。
示例一
本公开的用于骨折检测的知识蒸馏方法由包括工作站的电子设备执行。例如，骨折检测模型是在具有单个IntelXeonE5-2650v4CPU@2.2GHz、128GBRAM、4NVIDIAQuadroRTX8000GPU的工作站上执行的。所有示例方法均在Python3.6和PyTorchv1.6中实现。ImageNet预训练权重用于初始化学生模型的主干网络。所有示例方法都采用了Adam优化器。使用4e-5的学习率、0.0001的权重衰减和48的批量大小来训练本公开的模型25个时期。所有图像都被填充为正方形并调整为1024X1024以进行网络训练和推理。随机执行旋转、水平翻转、强度和对比度抖动以增加训练数据。在每个训练时期后，在验证集上对训练模型进行评估，并选择接受者操作特征曲线下面积(AUROC)验证最高的模型作为最佳推理模型。
示例二
本公开的方法、电子设备和计算机程序产品在2008年至2016年在长庚纪念医院外伤中心拍摄的所有(N＝65,843)CXR图像的真实场景数据集上进行了评估。
基于临床诊断记录，为CXR分配肋骨和锁骨骨折的图像级标记。在总共65,843张CXR图像中，6,792张CXR具有诊断阳性标记，至少标记了一种骨折类型，而59,051张CXR具有两种骨折类型(包括肋骨和锁骨骨折)的诊断阴性标记。在6,792张图像级诊断正片CXR图像中，由两名经验丰富的创伤外科医生随机选择808张CXR进行专家标记。标记由最佳可用信息确认，包括原始CXR图像、放射科医师报告、临床诊断、高级成像模式发现等。所有实验均使用70％/10％/20％的五折交叉验证进行，分别用于训练、验证和测试拆分。
示例三
使用公开的分数检测模型评估骨折分类和定位性能。广泛使用的分类指标AUROC(接受者操作特征曲线下的面积)用于评估分类性能。对于目标检测，将所有预测边界框的最大分类分数作为分类分数。为了生成概率图，将概率图的最大值作为分类分数。
还评估了不同方法的骨折定位性能，包括本公开的示例方法和其他基线方法。如公开的，由于只能生成概率图，因此使用基于边界框预测的标准FROC(自由响应接受者操作特性)指标。如本文所用，修改后的FROC指标用于评估所有比较方法的定位性能，包括本公开的示例方法和其他基线方法。
如果骨折部位的边界框的中心被激活，则认为骨折部位被召回。边界框外的激活像素被视为误报。因此，修改后的FROC测量了骨折召回率和每张图像的误报像素的平均比率。为了计算用于物体检测方法的修改后的FROC，使用不同的阈值将预测的边界框转换为二进制掩码，预测框内的像素为正，框外的像素为负。为了量化定位性能，FROC分数被计算为在1％到10％的十个误报率下的召回平均值。
本公开的示例方法与以下三类中的其他基线方法进行了比较，包括：1)弱监督方法：CheXNet，一种纯粹使用图像级标记训练的具有代表性的最先进的X射线CAD方法；2)物体检测方法：包括基于锚点的检测器RetinaNet和无锚点检测器FCOS；3)半监督方法：包括II-Model、Temporal Ensemble和Mean Teacher，以及最先进的医学图像SSL方法。对于所有评估的方法，ResNet-50被用作骨干网络。RetinaNet和FCOS两种检测方法都采用了FPN。
表1
表1总结了所有比较方法与本公开的示例方法的定量结果。报告FROC分数用于定位性能。在更具挑战性的肋骨骨折检测任务中，Mean Teacher是最具竞争力的基线方法，测量的AUROC为0.9155，FROC得分为0.8540。本公开的方法测得的AUROC为0.9318，FROC得分为0.8914，这明显优于Mean Teacher，AUROC差距为1.63％，FROC得分差距为3.74％。
基于本公开方法的实验表明，在肋骨/锁骨骨折检测中，接受者操作特征曲线下的面积(AUROC)为0.9318/0.9646，自由响应接受者操作特征(FROC)得分为0.8914/0.9265。与其他最先进的基线方法相比，本公开的方法在肋骨/锁骨骨折检测方面分别显着提高了AUROC1.63％/0.86％和FROC3.74％/3.81％。
图7示出使用包括本公开的示例方法的不同方法的肋骨骨折(左)和锁骨骨折(右)检测结果的FROC曲线。在更简单的锁骨骨折检测任务中，CheXNet和Li-method报告了基线方法中最高的AUROC(即高于0.95)。Mean Teacher在基线方法中提供了最强的FROC得分0.8884。本公开的方法在锁骨骨折检测任务上也优于所有基线方法，报告的AUROC为0.9646，FROC为0.9265。值得注意的是，II-Model、Temporal Ensemble和Mean Teacher这三种知识蒸馏方法的性能优于有监督的检测方法。在更容易的锁骨骨折检测任务上优势更为显着。这主要是因为锁骨骨折具有更简单的几何特性和相似的视觉模式，知识蒸馏方法可以有效地从未标记数据的伪GT中学习。然而，在更复杂的肋骨骨折检测上，知识蒸馏方法的优势就不那么显着了。由于肋骨骨折的复杂视觉模式和有限的区域标记正数据，伪GT图的灵敏度较低(即，有监督的预训练模型报告的FROC得分较低，为0.7267)，这限制了转移到蒸馏模型的知识。使用AALS，本公开的方法有效地将更多知识转移到学生模型，因此与其他知识蒸馏方法相比实现了显着改进的性能。
观察到CheXNet和Li-method在锁骨骨折AUROC指标上显着优于其他基线知识蒸馏方法，但在肋骨骨折AUROC上没有观察到性能优势。这是因为CheXNet和Li-method专门使用正片级标记，而基线知识蒸馏方法则没有。特别是，CheXNet是通过纯粹使用图像级标记的弱监督学习进行训练的，而Li-method以多实例学习方式利用图像级正标记。
与公开的方法相比，基线知识蒸馏方法将图像级正片视为未标记数据。虽然弱监督学习和多实例学习对学习更简单的锁骨骨折有效，但它们对更复杂的肋骨骨折的效果较差。此外，CheXNet和Li-method的定位性能也很差。CheXNet通过类激活图(CAM)提供定位可视化。由于CAM值无法跨图像进行比较，因此无法计算CheXNet结果的FROC。由于Li-method始终产生过大的激活区域，因此Li-method不会报告有意义的FROC得分。对于CheXNet和Li-method，定性地验证了它们的定位性能比其他方法差，如图6中所示的骨折检测结果示例所示，其中说明了GT和FCOS检测到的断裂边界框。
示例四
本公开的AALS通过分别用不同的锐化强度A0和中心T进行实验来验证。首先，为了分析标记锐化中心T的影响，用T＝0.2；0.3；0.4和0.5评估AALS；并将结果总结在表2中。使用T＝0.4获得最佳检测性能，在肋骨/锁骨骨折检测中测量最高/第二高的AUROC得分为0.9318/0.9646，最高FROC得分为0.8914/0.9265。
请注意，对于锁骨骨折分类，在T＝0.2时获得的最佳AUROC得分0.9661，仅略好于t＝0.4时的分数。锐化中心表现为灵敏度和特异性之间的权衡。值得注意的是，本公开的方法始终优于使用所有四个T值的其他基线方法。其次，如图4所示，通过固定中心T＝0.4并评估A0＝1；4；8；16来研究锐化强度的影响。如表3所总结，强度A0＝4的标记锐化产生最佳检测性能。对于A0＝1，没有应用标记锐化，这导致性能下降。对于A0＝8；16，标记锐化变得过于激进(如图4所示)，这也会导致锐化伪GT中的误报，从而导致轻微的性能下降。
进一步研究了图像级正集P的参与。图5显示了使用不同比例(0％、20％、60％、100％)的P的子集对肋骨和锁骨的分类和检测性能，其中0％和100％分别对应于有监督的预训练学生模型和公开的方法。据观察，较大的P提高了分类AUROC和检测FROC得分。这证实了CAD模型训练可以受益于利用来自临床诊断的图像级标记。
尽管在说明书中采用示例性实施例描述了本公开的原理和实现方式，但是上述实施例的描述仅仅用于帮助理解本公开的方法及其核心思想。同时，本领域的普通技术人员可以根据本公开的思想对具体实现方式和应用范围进行修改。综上所述，说明书的内容不应理解为对本发明的限制。

Claims (20)

1.一种用于骨折检测的知识蒸馏方法，包括：
获取胸部X光片中的医学图像，包括区域级标记图像、图像级诊断正片和图像级诊断负片；
对所述区域级标记图像和所述图像级诊断负片执行有监督的预训练过程以训练神经网络生成预训练权重；以及
使用所述预训练权重对所述图像级诊断正片执行半监督训练过程，其中，使用教师模型在所述图像级诊断正片上产生伪地面实况(GT)以监督训练学生模型，所述伪GT由自适应非对称标记锐化(AALS)算子处理以产生锐化的伪GT以在所述图像级诊断正片上提供正检测响应。
2.根据权利要求1所述的方法，其中，进行有监督的预训练过程包括：
对所述区域级标记图像，通过将“一”分配给标记边界框内的像素并在其他地方分配“零”来生成GT掩码；
对所述图像级诊断负片，生成全为“零”的GT掩模；以及
对所述区域级标记图像和所述图像级诊断负片的所述有监督的预训练过程使用相同的监督损失。
3.根据权利要求2所述的方法，其中：
所述相同的监督损失包括像素级二元交叉熵(BCE)损失(Lsup)，其中：
x表示所述区域级标记图像或所述图像级诊断负片，
y表示对应于X的像素级监督掩码，并且
fθ(x)表示由θ参数化的所述神经网络的概率图输出。
4.根据权利要求1所述的方法，还包括：
使用从有监督的预训练过程中生成的预训练权重初始化每个所述教师和所述学生模型。
5.根据权利要求1所述的方法，还包括：
在半监督训练过程中，通过反向传播训练所述学生模型，并在训练过程中使用所述学生模型权重的指数移动平均数(EMA)迭代更新所述教师模型，其中：
教师模型的权重通过以下方式更新：
θ′t＝αθ′t-1+(1-α)θt
其中θ’t和θt分别表示所述教师模型和所述学生模型在训练步骤t的所述权重，α是控制知识更新速度的平滑系数。
6.根据权利要求5所述的方法，还包括：
处理通过在AALS算子中的所述图像级诊断正片上使用教师模型生成的所述伪GT，以生成锐化的伪GT，其中，图像x的所述锐化的伪GT包括：
其中y'表示锐化的伪GT，表示步骤t的所述教师模型，S(·)表示自适应非对称标记锐化(AALS)。
7.根据权利要求6所述的方法，其中：
所述锐化的伪GT和学生模型的预测之间的KL散度计算为附加损失(Lsemi)：
并且
用于训练所述学生网络的总损失(L)包括：
8.根据权利要求6所述的方法，其中：
所述图像级诊断正片包含可见骨折部位；并且
所述图像级诊断正片上的所述AALS包括：
y′＝S(y)＝expit(A·logit(y)+(1-A)·logit(T)),
其中，expit(·)和logit(·)分别表示Sigmoid函数和所述Sigmoid函数的反函数，A和T分别控制所述AALS算子的锐化强度和锐化中心，
其中：
A＝A0-(A0-1)ymax,
ymax是所述伪GT中的最大概率，A0是控制允许的最大锐化强度的超参数。
9.根据权利要求8所述的方法，还包括：
为非对称锐化选择动态锐化强度A，选择小于0.5的所述锐化中心。
10.一种电子设备，包括：
存储器，所述存储器包含存储在其上的计算机程序；以及
处理器，所述处理器与所述存储器耦合，并且当所述计算机程序被执行时，所述处理器被配置为：
获取胸部X光中的医学图像，包括区域级标记图像、图像级诊断正片和图像级诊断负片；
对所述区域级标记图像和所述图像级诊断负片进行有监督的预训练过程以训练神经网络以生成预训练权重；以及
使用所述预训练权重对所述图像级诊断正片执行半监督训练过程，其中，使用教师模型在所述图像级诊断正片上生成伪地面实况(GT)以监督学生模型的训练，所述伪GT由自适应非对称标记锐化(AALS)算子处理以产生锐化的伪GT，从而对所述图像级诊断正片提供正检测响应。
11.根据权利要求10所述的设备，其中，在所述有监督的预训练过程中，所述处理器还用于：
对所述区域级标记图像和所述图像级诊断负片的所述有监督的预训练过程使用相同的监督损失，其中：
所述相同的监督损失包括像素级二元交叉熵(BCE)损失(Lsup)，其中：
x表示所述区域级标记图像或所述图像级诊断负片，
y表示对应于X的像素级监督掩码，并且
fθ(x)表示由θ参数化的所述神经网络的概率图输出。
12.根据权利要求10所述的设备，其中，所述处理器还被配置为：
使用从所述有监督的预训练过程中生成的所述预训练权重来初始化每个所述教师和学生模型。
13.根据权利要求10所述的设备，其中，所述处理器还被配置为：
在所述半监督训练过程中，通过反向传播训练所述学生模型，并在训练过程中使用所述学生模型权重的指数移动平均数(EMA)迭代更新所述教师模型，其中：
教师模型的权重通过以下方式更新：
θ′t＝αθ′t-1+(1-α)θt
其中θ′t和θt分别表示所述教师模型和所述学生模型在训练步骤t的所述权重，α是控制知识更新速度的平滑系数。
14.根据权利要求13所述的设备，其中，所述处理器还被配置为：
在所述AALS算子中通过对所述图像级诊断正片采用所述教师模型产生的伪GT进行处理，生成锐化伪GT，其中，图像x的所述锐化伪GT包括：
其中，y'表示所述锐化的伪GT，表示步骤t的所述教师模型，S(·)表示自适应非对称标记锐化(AALS)。
15.根据权利要求14所述的设备，其中：
所述锐化的伪GT和学生模型的预测之间的KL散度计算为附加损失(Lsemi)：
并且
用于训练所述学生网络的总损失(L)包括：
16.根据权利要求14所述的设备，其中：
所述图像级诊断正片包含可见骨折部位；并且
所述图像级诊断正片上的所述AALS包括：
y′＝S(y)＝expit(A·logit(y)+(1-A)·logit(T)),
其中，expit(·)和logit(·)分别表示Sigmoid函数和所述Sigmoid函数的反函数，A和T分别控制所述AALS算子的锐化强度和锐化中心，
其中：
A＝A0-(A0-1)ymax,
ymax是所述伪GT中的最大概率，A0是控制允许的最大锐化强度的超参数。
17.一种计算机程序产品，包括非暂时性计算机可读存储介质和存储在其中的程序指令，所述程序指令被配置为可由计算机执行以使所述计算机执行包括以下操作的操作：
获取胸部X光片中的医学图像，包括区域级标记图像、图像级诊断正片和图像级诊断负片；
对所述区域级标记图像和所述图像级诊断负片进行有监督的预训练过程以训练神经网络以生成预训练权重；以及
使用所述预训练权重对所述图像级诊断正片执行半监督训练过程，其中，使用教师模型在所述图像级诊断正片上产生伪地面实况(GT)以监督学生模型的训练，且所述伪GT由自适应非对称标记锐化(AALS)算子处理以产生锐化的伪GT以在所述图像级诊断正片上提供正检测响应。
18.根据权利要求17所述的产品，其中，执行所述有监督的预训练过程包括：
对所述区域级标记图像和所述图像级诊断负片的所述有监督的预训练过程使用相同的监督损失，其中：
所述相同的监督损失包括像素级二元交叉熵(BCE)损失(Lsup)，其中：
x表示所述区域级标记图像或所述图像级诊断负片，
y表示对应于X的像素级监督掩码，并且
fθ(x)表示由θ参数化的所述神经网络的概率图输出。
19.根据权利要求17所述的产品，其中：
所述锐化的伪GT和学生模型的预测之间的KL散度计算为附加损失(Lsemi)：
并且
用于所述训练学生网络的总损失(L)包括：
其中，表示第t步的所述教师模型，S(·)表示自适应非对称标记锐化(AALS)。
20.根据权利要求17所述的产品，其中：
所述图像级诊断正片包含可见骨折部位；并且
所述图像级诊断正片上的所述AALS包括：
y′＝S(y)＝expit(A·logit(y)+(1-A)·logit(T)),
其中，expit(·)和logit(·)分别表示Sigmoid函数和所述Sigmoid函数的反函数，A和T分别控制所述AALS算子的锐化强度和锐化中心，
其中：
A＝A0-(A0-1)ymax,
ymax是所述伪GT中的最大概率，A0是控制允许的最大锐化强度的超参数。
CN202180087642.8A 2020-12-27 2021-11-26 用于胸部x光片中的半监督骨折检测的具有自适应非对称标记锐化的知识蒸馏 Pending CN116762105A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063130838P 2020-12-27 2020-12-27
US63/130838 2020-12-27
US17/214,400 US11823381B2 (en) 2020-12-27 2021-03-26 Knowledge distillation with adaptive asymmetric label sharpening for semi-supervised fracture detection in chest x-rays
US17/214400 2021-03-26
PCT/CN2021/133553 WO2022135031A1 (en) 2020-12-27 2021-11-26 Knowledge distillation with adaptive asymmetric label sharpening for semi-supervised fracture detection in chest x-rays

Publications (1)

Publication Number Publication Date
CN116762105A true CN116762105A (zh) 2023-09-15

Family

ID=82118876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180087642.8A Pending CN116762105A (zh) 2020-12-27 2021-11-26 用于胸部x光片中的半监督骨折检测的具有自适应非对称标记锐化的知识蒸馏

Country Status (3)

Country Link
US (1) US11823381B2 (zh)
CN (1) CN116762105A (zh)
WO (1) WO2022135031A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973156B (zh) * 2022-08-02 2022-10-25 松立控股集团股份有限公司 一种基于知识蒸馏的夜间渣土车检测方法
CN115147426B (zh) * 2022-09-06 2022-11-29 北京大学 基于半监督学习的模型训练与图像分割方法和系统
CN116363056B (zh) * 2023-01-16 2023-09-05 北京医准智能科技有限公司 胸部ct骨折检测优化的方法、装置及设备
CN117079276B (zh) * 2023-06-21 2024-02-09 江苏大学 一种基于知识蒸馏的语义分割方法、系统、设备及介质
CN116756574B (zh) * 2023-08-16 2023-11-21 腾讯科技（深圳）有限公司 多模态预训练模型的训练方法、使用方法、装置和设备
CN117333874A (zh) * 2023-10-27 2024-01-02 江苏新希望科技有限公司 一种图像分割方法、系统、存储介质和装置
CN117593648B (zh) * 2024-01-17 2024-04-05 中国人民解放军海军航空大学 基于弱监督学习的遥感目标建筑物提取方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170132528A1 (en) * 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Joint model training
US10643602B2 (en) * 2018-03-16 2020-05-05 Microsoft Technology Licensing, Llc Adversarial teacher-student learning for unsupervised domain adaptation
JP2020004178A (ja) * 2018-06-29 2020-01-09 ルネサスエレクトロニクス株式会社 学習モデルの評価方法、学習方法、装置、及びプログラム
US10430946B1 (en) * 2019-03-14 2019-10-01 Inception Institute of Artificial Intelligence, Ltd. Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques
US11586930B2 (en) * 2019-04-16 2023-02-21 Microsoft Technology Licensing, Llc Conditional teacher-student learning for model training
AU2019449346B2 (en) * 2019-06-04 2023-02-16 Elekta Ab (Publ) Radiotherapy plan parameters with privacy guarantees
GB2584727B (en) * 2019-06-14 2024-02-28 Vision Semantics Ltd Optimised machine learning

Also Published As

Publication number Publication date
US11823381B2 (en) 2023-11-21
WO2022135031A1 (en) 2022-06-30
US20220207718A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
CN116762105A (zh) 用于胸部x光片中的半监督骨折检测的具有自适应非对称标记锐化的知识蒸馏
Geras et al. Artificial intelligence for mammography and digital breast tomosynthesis: current concepts and future perspectives
Zargari Khuzani et al. COVID-Classifier: An automated machine learning model to assist in the diagnosis of COVID-19 infection in chest x-ray images
Khan et al. Intelligent pneumonia identification from chest x-rays: A systematic literature review
Rajaraman et al. Training deep learning algorithms with weakly labeled pneumonia chest X-ray data for COVID-19 detection
Albalawi et al. Classification of breast cancer mammogram images using convolution neural network
Junior et al. A mass classification using spatial diversity approaches in mammography images for false positive reduction
McEvoy et al. Using machine learning to classify image features from canine pelvic radiographs: evaluation of partial least squares discriminant analysis and artificial neural network models
Wang et al. Knowledge distillation with adaptive asymmetric label sharpening for semi-supervised fracture detection in chest x-rays
Wang et al. Improving the accuracy in detection of clustered microcalcifications with a context‐sensitive classification model
CN110555856A (zh) 一种基于深度神经网络的黄斑水肿病变区域分割方法
Kim et al. Optimal matrix size of chest radiographs for computer-aided detection on lung nodule or mass with deep learning
He et al. A calibrated deep learning ensemble for abnormality detection in musculoskeletal radiographs
Feng et al. Parts2whole: Self-supervised contrastive learning via reconstruction
Ma et al. A combined learning algorithm for prostate segmentation on 3D CT images
Qian et al. Breast cancer diagnosis using evolving deep convolutional neural network based on hybrid extreme learning machine technique and improved chimp optimization algorithm
Gundreddy et al. Assessment of performance and reproducibility of applying a content‐based image retrieval scheme for classification of breast lesions
Wollek et al. Attention-based saliency maps improve interpretability of pneumothorax classification
Bizopoulos et al. Comprehensive comparison of deep learning models for lung and COVID-19 lesion segmentation in CT scans
Pradhan et al. Machine learning model for multi-view visualization of medical images
CN110533120B (zh) 器官结节的图像分类方法、装置、终端及存储介质
VanBerlo et al. Accurate assessment of the lung sliding artefact on lung ultrasonography using a deep learning approach
Veturi et al. SynthEye: investigating the impact of synthetic data on artificial intelligence-assisted gene diagnosis of inherited retinal disease
Esmaeili et al. Generative adversarial networks for anomaly detection in biomedical imaging: A study on seven medical image datasets
Huang et al. Breast cancer diagnosis based on hybrid SqueezeNet and improved chef-based optimizer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination