CN116206164A - 基于半监督对比学习的多相期ct分类系统及构建方法 - Google Patents

基于半监督对比学习的多相期ct分类系统及构建方法 Download PDF

Info

Publication number
CN116206164A
CN116206164A CN202310500515.7A CN202310500515A CN116206164A CN 116206164 A CN116206164 A CN 116206164A CN 202310500515 A CN202310500515 A CN 202310500515A CN 116206164 A CN116206164 A CN 116206164A
Authority
CN
China
Prior art keywords
phase
layer
feature
network
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310500515.7A
Other languages
English (en)
Other versions
CN116206164B (zh
Inventor
吴元锋
朱闻韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202310500515.7A priority Critical patent/CN116206164B/zh
Publication of CN116206164A publication Critical patent/CN116206164A/zh
Application granted granted Critical
Publication of CN116206164B publication Critical patent/CN116206164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于半监督对比学习的多相期CT分类系统及构建方法，本发明通过有监督的学习，对图像进行特征提取，得到各个相期CT图像的特征向量，并完成分类，用于后续对无标签数据生成伪标签，随后通过半监督对比学习，利用无标签数据扩大训练集，继续加强对各相期图像的特征表达，扩大不同相之间、不同类之间图像特征表达差异，提升分类精度。本发明采用了对比学习机制，分离了不同相期、不同类别图像间的特征表示差异，提升了对图像的特征表达，同时采用半监督学习机制，利用无标签的数据扩大训练数据集，进一步加强了对图像的特征表达，提升了模型的分类精度，对于通过多相期CT图像进行分类的医学诊断非常具有适应性与实用性。

Description

基于半监督对比学习的多相期CT分类系统及构建方法
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种基于半监督对比学习的多相期CT分类系统及构建方法。
背景技术
现代医学影像学在疾病诊断中非常重要，它不仅可以为临床提供疾病的形态学诊断，也能够提供功能学的诊断。它的范畴包括常规X线诊断、超声成像、电子计算机体层摄影技术（Computed Tomography，CT）、发射体层成像（Positron Emission Tomography，PET）、磁共振成像（Magnetic Resonance Imaging，MRI）、介入放射学（InterventionalRadiology）等。各种医学影像成像技术的出现使疾病的物理诊断产生了根本性变革，它们之间的相辅相成不仅提高了诊断的准确度、敏感度和特异度，同时使传统的形态学诊断和功能学诊断并进、宏观诊断与微观诊断并进的局面出现，已成为临床不可或缺的工具。例如MRI的脑功能成像是探索大脑奥秘的最重要手段；介入放射学现今是治疗某些疾病的唯一有效手段，如用栓塞术治疗大咯血、呕血和外伤性大出血等。
CT是影像学中常用的一种成像技术。它是用X线束对人体某一厚度的层面进行扫描，由灵敏度极高的探测器接收透过该层面的线束，转变为光信号后，通过光电转换变为电信号，再经过模拟/数字转换器转换为数字信号，输入计算机进行处理。随着技术的发展，如探测器的增加、扫描方式的变化、计算机性能的提升，CT技术具有扫描时间快，图像清晰等优点，其图像具有很高的密度分辨力，易于检出病变，特别是能够较早的发现小病变和较准确的显示病变范围，因而广泛应用于临床，在各类肿瘤的诊断中也越来越普及，能够显示病变的位置、范围、与周围组织的空间关系，反映组织器官与病灶的血流灌注改变，提高了肿瘤的检出率，为及时、合理、有效的治疗提供可靠依据。
尽管CT技术已经广泛应用于临床诊断，但是部分病症无法通过普通的CT平扫（没有向血管内注药再进行扫描）诊断出来。为了提高病变的显示率、确定病灶的范围和临床分期，需要用到增强CT扫描。增强CT扫描就是把药从静脉（一般为肘前静脉）注入血管内同时进行CT扫描，可以提高病变的显示率、确定病灶的范围，了解病变的血供情况以帮助鉴别良、恶性病变等，便于对病灶进行分析，得到更明确的诊断。
近年来，人工智能(Artificial Intelligence，AI)蓬勃发展，在与医学影像学相结合后，随着计算能力的提高、可用数据的增长以及深度学习模型及其算法的不断改进，也取得快速发展。其实质是通过构建具有隐层的学习模型，利用大量数据进行训练，学习医学图像中的特征，最终提高其相关任务表现，在医学图像分类、检测、分割和配准等各方面都发挥了重要的作用，已经成为医学研究、临床疾病诊断和治疗中重要的技术手段
然而，恶性肿瘤的鉴别诊断仍具有挑战性。深度学习模型的表现与其训练数据，尤其是有标签数据的数量成正相关，受限于医学图像数据的特殊性，考虑到病患隐私等多方面因素，有标签数据有限，使得需要扩大对无标签数据的利用，以提高模型表现。同时，传统卷积神经网络在CT图像的局部特征提取方面有一定优势，能够快速地检查病灶情况，但是无法利用增强CT的多个相期图像，会使得时间上的信息联系减弱，信息利用不完全，影响最后的诊断结果。
中国专利申请CN114494199A公布了一种基于深度学习的肝脏CT肿瘤分割与分类的方法，该方法结合2D DenseU-Net与3D DenseU-Net，先进行肝脏与肿瘤的分割，再利用3D网络提取三维特征，组成生成对抗网络。然而，由于只考虑单相期CT图像，未考虑到增强CT具有多相期图像的情况，不能有效地结合病人多个相期的病变情况进行处理，不适用于基于多相期CT图像进行诊断的病症。其模型基于有标签数据进行监督训练，诊断表现受限于有标签数据量，而有标签的医学图像数据获取难度大。
因此亟需要一种能够将增强CT多相期图像结合处理，并能减少数据限制的方法。
发明内容
本发明的目的是针对现有技术的不足，考虑到进行增强CT扫描的一段时间内患者的病灶结构未发生剧烈变化，根据现有的医学图像处理方法和深度学习发展内容，考虑使用对比学习与半监督学习机制，提供一种基于半监督对比学习的多相期CT分类系统及构建方法；其中对比学习能够分离不同对象间的特征表达差异，增强多相期图像间的联系，半监督学习可以利用无标签数据帮助训练，减少数据对模型的限制。解决现有的基于传统卷积神经网络无法将多相期CT图像结合起来处理、模型表现受限于有限的有标签数据的问题。
本发明采用的技术方案具体如下：
一种基于半监督对比学习的多相期CT分类系统构建方法，所述多相期CT图像分类系统至少包括多相期CT图像分类单元，用于依据输入的多相期CT图像输出分类结果；所述多相期CT图像分类单元通过如下方法构建获得：
收集样本构建训练集，所述训练集包括有标签训练集和无标签训练集；
构建一个分类模型，包括与相期一一对应的s个特征提取器和一个分类器，所述特征提取器用于将对应相期的CT图像通过卷积生成特征向量，输入分类器获得分类结果；
将有标签训练集的样本作为分类模型的输入，进行有监督训练获得第一多相期CT图像分类单元；
利用第一多相期CT图像分类单元对部分或全部无标签训练集的样本构建伪标签；将构建有伪标签的样本加入有标签训练集对有标签训练集进行更新，再利用更新的有标签训练集的样本构建对比学习训练，微调第一多相期CT图像分类单元的特征提取器参数，再利用原始的有标签训练集的样本有监督训练获得第二多相期CT图像分类单元；循环执行此步骤直至全部无标签训练集的样本全部加入有标签训练集，获得训练好的多相期CT图像分类单元。
进一步地，所述有监督训练目标至少包括最小化模型输出的分类结果与标签的损失。
进一步地，所述对比学习训练的目标包括最小化相间差异和最大化类间差异。
进一步地，所述再利用更新的有标签训练集的样本构建对比学习训练，微调第一多相期CT图像分类单元的特征提取器参数，再利用原始的有标签训练集的样本有监督训练获得第二多相期CT图像分类单元；具体为：
对每一输入图像经过数据增强后得到两个同源图像，再输入至特征提取器根据特征向量计算相间差异对比损失，不断训练优化使损失降到最小，得到更新后的特征提取器。其中相间差异对比损失表示为：
Figure SMS_1
Figure SMS_2
其中，N表示一个训练批次的大小，s表示输入相期数量，
Figure SMS_3
表示一个输入图像经过数据增强后得到的两个同源图像通过特征提取器后产生的两个特征向量，/>
Figure SMS_4
表示除本身图像外剩余图像中任意一个图像通过特征提取器后产生的特征向量，h()为相似度计算函数，/>
Figure SMS_5
是可调节的参数，||*||2表示L2范数。
将一类疾病的每一组同相图像通过数据增强得到两组同源图像，再输入至特征提取器根据特征向量计算类间差异对比损失，不断训练优化使损失降到最小，得到更新后的特征提取器。其中类间差异对比损失表示为：
Figure SMS_6
Figure SMS_7
Figure SMS_8
其中，N表示一个训练批次的大小，s表示输入相期数量，C表示疾病种类数量，
Figure SMS_9
表示一类疾病p的一组同相图像通过数据增强得到的两组同源图像经过特征提取器产生的特征向量的平均值，/>
Figure SMS_10
是图像特征向量/>
Figure SMS_11
通过分类器生成的伪标签，h()为相似度计算函数，/>
Figure SMS_12
是可调节的参数，/>
Figure SMS_13
表示指示函数，当伪标签y等于当前计算类别l时函数值为1，其余为零。
一种上述方法构建获得的基于半监督对比学习的多相期CT分类系统。
进一步地，还包括数据获取单元，用于获取待分类患者的s个相期的CT图像。
进一步地，所述分类器包括一个嵌入层网络、L层多头注意力网络MSA、L层多层感知机MLP、一层归一化层和一个分类网络，其中，嵌入层网络用于将每个相期CT图像的特征向量拼接在一起，再将拼接后向量与类别标记向量合并后与同维度位置向量相加获得CT图像的嵌入向量，L层多头注意力网络MSA和L层多层感知机MLP依次交错连接，所述多头注意力网络MSA基于归一化的输入向量生成注意力函数；将注意力函数与输入向量相加作为对应下一层多层感知机MLP的输入向量；所述多层感知机对归一化的输入向量编码后与其输入向量相加作为对应下一层多头注意力网络MSA的输入；其中，第一层多头注意力网络MSA的输入向量为嵌入层网络输出的嵌入向量；归一化层用于对最后一层多层感知机输出的向量与其输入向量相加后的向量的第一维度向量进行归一化，作为结合各相期CT图像空间与时间特征的向量；分类层基于归一化层输出的特征向量输出分类结果。
进一步地，还包括半监督对比学习单元，所述半监督对比学习单元包括一个数据处理网络，一个相间差异对比学习网络，一个类间差异对比学习网络，一个分类器网络；其中数据处理网络利用基于有标签数据集训练好的第一多相期CT图像分类单元对无标签训练集的样本生成伪标签，将处理后数据添加至有标签训练集对有标签训练集进行更新；相间差异对比学习网络包含一个数据增强模块和s个特征提取器，类间差异对比学习网络包含一个数据增强模块和s个特征提取器，其中相间差异对比学习网络、类间差异对比学习网络中的特征提取器与监督学习单元中的特征提取器结构一致，参数共享，所述相间差异对比学习网络对每个输入图像使用数据增强模块生成两个同源图像，通过特征提取器提取对应相期CT图像的特征向量，利用对比学习机制，计算相间差异对比损失，分离不同相期图像间的特征表达差异，微调特征提取器；所述类间差异对比学习网络对每个输入图像使用数据增强模块生成两个同源图像，再通过特征提取器提取不同种类疾病的对应CT图像的特征向量，利用对比学习机制，计算类间差异对比损失，分离不同种类疾病对应图像间的特征表达差异，微调特征提取器；所述分类器网络包含与多相期CT图像分类单元中结构一致，参数共享的分类器，用于依据特征向量获得分类结果。
进一步地，所述特征提取器结构为ResNet或DenseNet。
进一步地，所述嵌入向量具体为：
X0 = [Xclass; X 1 p; X 2 p…X s p]+ Xpos
其中，Xclass表示类别标记向量，Xpos表示位置向量，Xp表示特征提取器提取的图像特征向量，s表示输入相期数量。
进一步地，所述多头注意力网络MSA包括多个自注意力模块SA、一个拼接层，其中，自注意力模块SA用于将归一化的输入向量转换为三个不同的查询矩阵Q，关键字矩阵K和值矩阵V，并依据三个不同的查询矩阵Q，关键字矩阵K和值矩阵V生成输入向量中每个向量之间的注意力函数：
Figure SMS_14
其中，dk表示关键字矩阵K中每个关键字向量k的维度；softmax（）是softmax函数。
拼接层用于拼接每个自注意力模块SA输出的注意力函数。
本发明的有益效果是：
（1）本发明提出了一种基于半监督对比学习的多相期CT分类系统的构建方法，包含半监督学习机制与对比学习机制。半监督学习机制可以有效利用无标签数据，而对比学习机制可以有效分离不同相期之间、不同类别之间图像特征的表达差异。
（2）本发明对需要依据多相期CT图像进行诊断的各类疾病具有普适性，可以更有效的利用不同相期图像之间的联系，利用其在空间与时间上的特征变化，增强诊断表现。能够打破有标签数据难以获取的困局，利用无标签数据辅助训练，使得模型训练集更大，更易习得目标的有用信息，模型训练效果更佳，诊断精度更高且诊断效果更稳定。
附图说明
图1是本发明一种基于半监督对比学习的多相期CT分类系统的结构图；
图2是本发明一种基于半监督对比学习的多相期CT分类系统的分类流程图；
图3是本发明一种基于半监督对比学习的多相期CT分类系统的构建方法流程图；
图4是本发明一种分类器的结构图；
图5是本发明半监督对比学习单元的结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。
在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明的核心思想在于提出了一种基于半监督对比学习的多相期CT分类系统及构建方法，解决现有的基于传统卷积神经网络无法将多相期CT图像结合起来处理、模型表现受限于有限的有标签数据的问题。需要指出的是，本发明的多相期CT图像包括临床上正常扫描的CT图像和注射造影剂后扫描的增强CT图像，其中，正常扫描的CT图像为平扫期CT图像，注射造影剂后扫描的增强CT图像包括动脉期、门静脉期、延迟期的CT图像。
本发明的一种基于半监督对比学习的多相期CT图像分类系统，如图1所示，至少包括多相期CT图像分类单元，用于依据输入的多相期CT图像输出分类结果。其中，多相期CT图像分类单元包括与相期一一对应的s个特征提取器和一个分类器，所述特征提取器用于将对应相期的CT图像通过卷积生成特征向量，输入分类器获得分类结果。
图2为本发明基于半监督对比学习的多相期CT图像分类系统的分类流程图，具体地为：
将获取的待分类患者的s个相期的CT图像输入至特征提取器得到特征向量，将获得的对应相期CT图像的特征向量输入至分类器中，输出最终分类结果。
图3为本发明一种基于半监督对比学习的多相期CT图像分类系统的构建方法流程图，该方法具体包括：
（1）收集样本构建训练集，所述训练集包括有标签训练集和无标签训练集；训练集的每个样本包括一个患者的s个相期的肝癌CT图像；有标签训练集的样本还包括患者的分类标签，一般情况下为疾病的分类标签。
以对肝癌CT图像进行肝细胞癌和肝内胆管细胞癌的二分类为例，其中，肝细胞癌(hepatocellular carcinoma，HCC)是一种高死亡率的原发性肝癌，肝内胆管细胞癌（intrahepatic cholangiocarcinoma ICC）是指起源于二级胆管及其分支上皮的腺癌，是发病率仅次于肝细胞肝癌的肝脏原发恶性肿瘤。肝细胞癌和肝内胆管细胞癌即为对应的分类标签；收集共有529例样本，其中有标签HCC样本72例，ICC样本57例，无标签HCC样本200例，无标签ICC样本200例，所有样本的标注均由专业医学影像科医生完成，具体如下：
（1.1）首先从医院收集肝癌患者的平扫期肝部CT图像和增强CT图像（动脉期、门静脉期、延迟期的肝部CT图像），通过数据筛查，挑选出具有完整研究信息的患者数据，通过数据脱敏技术，去除患者的个人敏感信息，有利于保护患者的隐私以及提高数据的保密性，最终收集到HCC和ICC患者共129例肝部CT图像以及对应的肝功能检测报告，其中HCC患者72例，ICC患者57例，为了便于处理，根据所属类别标签进行标注，HCC患者标注为1，ICC患者标注为0，无肝功能检测报告数据的肝部CT图像400例，其中HCC患者200例，ICC患者200例。
（1.2）由专业医学影像科医生将四相期的肝部CT图像中的病灶部分标记并分割出来，构建获得训练集。
进一步地，由于患者的个体性差异，检验科医生对不同的患者可能设置不同的扫描次数，使得原始的CT图像中的切片数量不同，为了研究的便利性，因此统一定义每个相期CT图像的大小以及张数；具体地，由专业的影像科医生对多相期CT图像进行病灶标注，再对图像进行处理，根据标注获得最小外接长方体，为了保留病灶与周围组织的相互关系，对最小外接长方体向三维空间xyz轴方向都扩展一定距离，把病灶部分分割出来，调整大小以适应模型输入，最终确定每个相期CT图像的大小以及张数。在本实施例中，将每个患者样本的肝部CT图像的大小处理为64×128×128×4，其中64表示每个相期的肝部CT图像层数，128和128表示每张肝部CT图像的长和宽，4表示四个相期；图像处理完成后即构建获得训练集。
（2）构建一个分类模型，包括与相期一一对应的s个特征提取器和一个分类器，所述特征提取器用于将对应相期的CT图像通过卷积生成特征向量，输入分类器获得分类结果；
（3）有监督训练：
将有标签训练集的样本作为分类模型的输入，输出是对应的分类结果，与标签进行计算得到损失，以二值交叉熵损失函数计算输出的分类结果与分类标签的损失为例，表示如下：
Figure SMS_15
其中，
Figure SMS_16
，是分类标签，0表示ICC患者，1表示HCC患者，Prob表示分类器输出的分类结果。
不断优化使损失降到最小，使用随机梯度下降算法对整个模型进行优化，目标是找到最小的误差损失，最终得到最佳分类模型。在本实施例中，使用Adam随机优化算法进行梯度的反向传播与优化，学习率设置为0.0001，最终获得实现肝细胞癌和肝内胆管细胞癌二分类的基于半监督对比学习模型的多相期CT图像分类系统的初步特征提取器与分类器即第一多相期CT图像分类单元。
（4）对比学习训练，包括以下子步骤：
（4.1）利用第一多相期CT图像分类单元对部分或全部无标签训练集的样本构建伪标签；将构建有伪标签的样本加入有标签训练集对有标签训练集进行更新；
（4.2）再利用更新的有标签训练集的样本构建对比学习训练，微调第一多相期CT图像分类单元的特征提取器参数；
该部分的目标是利用对比学习提升特征提取器的提取精度；包括相间差异对比学习和类间差异对比学习，其中特征提取器输入是有标签的多相期CT图像与有伪标签的多相期CT图像，输出是图像的特征向量，相间差异对比学习是对每一输入图像经过数据增强后得到两个同源图像，再输入至特征提取器根据特征向量计算相间差异对比损失，不断训练优化使损失降到最小，得到更新后的特征提取器。其中相间差异对比损失表示为：
Figure SMS_17
Figure SMS_18
其中，N表示一个训练批次的大小，s表示输入相期数量，
Figure SMS_19
表示一个输入图像经过数据增强后得到的两个同源图像通过特征提取器后产生的两个特征向量，/>
Figure SMS_20
表示一组经过数据增强后的多相期CT图像中除本身图像外剩余图像中任意一个图像通过特征提取器后产生的特征向量，h()为相似度计算函数，/>
Figure SMS_21
是可调节的参数，||*||2表示L2范数。
类间差异对比学习是一类疾病的每一组同相图像通过数据增强得到的两组同源图像，再输入至特征提取器根据特征向量计算类间差异对比损失，不断训练优化使损失降到最小，得到更新后的特征提取器。其中类间差异对比损失表示为：
Figure SMS_22
Figure SMS_23
Figure SMS_24
其中，N表示一个训练批次的大小，s表示输入相期数量，C表示疾病种类数量，
Figure SMS_25
表示一类疾病p的一组同相图像通过数据增强得到的两组同源图像经过特征提取器产生的特征向量的平均值，/>
Figure SMS_26
是图像特征向量/>
Figure SMS_27
通过分类器生成的伪标签，h()为相似度计算函数，/>
Figure SMS_28
是可调节的参数，/>
Figure SMS_29
表示指示函数，当伪标签y等于当前计算类别l时函数值为1，其余为零。此处是为了将当前批次N组图像中j相期图像属于l类的图像特征挑出来求平均值。
（4.3）再利用原始的有标签训练集进行有监督训练，输入是原有标签的多相CT图像，输出是图像的分类结果，最后与标签进行计算得到损失，不断训练优化使损失降到最小，得到更新后的分类器，获得第二多相期CT图像分类单元。
一般情况下，将无标签训练集的样本分成多次逐渐通过特征提取器与分类器，生成伪标签，将具有伪标签的数据添加到训练集中，逐步扩大训练集样本，可以尽可能地逐步利用无标签训练集样本完成对比学习训练，尽可能提升最终系统的精度。该情况下迭代步骤（4.1）~（4.3）进行对比训练，逐渐将无标签数据添加至训练集中，直至所有无标签数据加入训练，得到最终的特征提取器与分类器（多相期CT图像分类单元），应用于基于半监督对比学习的多相期CT分类系统。
本发明的方法对需要依据多相期CT图像进行诊断的各类疾病具有普适性，可以更有效的利用不同相期图像之间的联系，利用其在空间与时间上的特征变化，增强诊断表现。能够打破有标签数据难以获取的困局，利用无标签数据辅助训练，使得模型训练集更大，更易习得目标的有用信息，模型训练效果更佳，诊断精度更高且诊断效果更稳定。
作为一种可选的实施方案，本发明提供的一种基于半监督对比学习模型的多相期CT图像分类系统还包括数据获取单元，用于获取待分类患者的s个相期的CT图像。其中获取待分类患者的s个相期的CT图像符合前述多相期CT图像分类单元的输入规则，即与训练时样本的大小、规格一致。
作为一种可选的实施方案，本发明提供的一种基于半监督对比学习的多相期CT图像分类系统中，基于多相期图像处理，所述分类器的结构如图4所示，具体包括一个嵌入层网络、L层多头注意力网络MSA、L层多层感知机MLP、一层归一化层和一个分类层，其中，嵌入层网络用于将每个相期CT图像的特征向量拼接在一起，再将拼接后向量与类别标记向量合并后与同维度位置向量相加获得CT图像的嵌入向量，所述嵌入向量具体为：
X0 = [Xclass; X 1 p; X 2 p…X s p]+ Xpos
其中，Xclass表示类别标记向量，Xpos表示位置向量，Xp表示特征提取器提取的图像特征向量，s表示输入相期数量。
L层多头注意力网络MSA和L层多层感知机MLP依次交错连接，所述多头注意力网络MSA包括多个自注意力模块SA、一个拼接层，其中，自注意力模块SA用于将归一化的输入向量转换为三个不同的查询矩阵Q，关键字矩阵K和值矩阵V，并依据查询矩阵Q，关键字矩阵K和值矩阵V生成输入向量中每个向量之间的注意力函数：
Figure SMS_30
其中，dk表示关键字矩阵K中每个关键字向量k的维度；softmax（）是softmax函数。
拼接层用于拼接每个自注意力模块SA输出的注意力函数。多头注意力网络MSA基于归一化的输入向量生成注意力函数，将注意力函数与输入向量相加作为对应下一层多层感知机MLP的输入向量；所述多层感知机对归一化的输入向量编码后与其输入向量相加作为对应下一层多头注意力网络MSA的输入；其中，第一层多头注意力网络MSA的输入向量为嵌入层网络输出的嵌入向量；具体地，多头注意力网络MSA的输入向量为：
Figure SMS_31
LN表示归一化方法，xl表示多头注意力网络MSA的输入向量，MLP（）表示多层感知机的输出，
Figure SMS_32
表示第l-1层多层感知机的输入向量。
多层感知机的输入向量为：
Figure SMS_33
LN表示归一化方法，
Figure SMS_34
表示多层感知机MLP的输入向量，MSA（）表示多头注意力网络的输出，/>
Figure SMS_35
表示第l层多头注意力网络的输入向量。
归一化层用于对最后一层多层感知机输出的向量与其输入向量相加后的向量的第一维度向量进行归一化，作为结合各相期CT图像空间与时间特征的向量；分类层基于归一化层输出的特征向量输出分类结果。
作为一种可选的实施方案，本发明提供的一种基于半监督对比学习的多相期CT分类系统中，所述特征提取器结构为ResNet或DenseNet，但不限于此。
作为一种可选的实施方案，本发明提供的一种基于半监督对比学习模型的多相期CT图像分类系统中，还包括半监督对比学习单元，如图5所示，所述半监督对比学习单元包括一个数据处理网络，一个相间差异对比学习网络，一个类间差异对比学习网络，一个分类器网络；其中数据处理网络利用基于有标签数据集训练好的多相期CT图像分类单元对无标签训练集的样本生成伪标签，将处理后数据添加至有标签训练集对有标签训练集进行更新；相间差异对比学习网络包含一个数据增强模块和s个特征提取器，类间差异对比学习网络包含一个数据增强模块和s个特征提取器，其中相间差异对比学习网络、类间差异对比学习网络与监督学习单元中的特征提取器结构一致，参数共享，所述相间差异对比学习网络对每个输入图像使用数据增强模块生成两个同源图像，通过特征提取器提取对应相期CT图像的特征向量，利用对比学习机制，计算相间差异对比损失，分离不同相期图像间的特征表达差异，微调特征提取器；所述类间差异对比学习网络对每个输入图像使用数据增强模块生成两个同源图像，再通过特征提取器提取不同种类疾病的对应CT图像的特征向量，利用对比学习机制，计算类间差异对比损失，分离不同种类疾病对应图像间的特征表达差异，微调特征提取器；所述分类器网络包含与监督学习单元中结构一致，参数共享的分类器，用于依据特征向量获得分类结果。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于半监督对比学习的多相期CT分类系统构建方法，其特征在于，所述系统至少包括多相期CT图像分类单元，用于依据输入的多相期CT图像输出分类结果；所述多相期CT图像分类单元通过如下方法构建获得：
收集样本构建训练集，所述训练集包括有标签训练集和无标签训练集；
构建一个分类模型，包括与相期一一对应的s个特征提取器和一个分类器，所述特征提取器用于将对应相期的CT图像通过卷积生成特征向量，输入分类器获得分类结果；
将有标签训练集的样本作为分类模型的输入，进行有监督训练获得第一多相期CT图像分类单元；
利用第一多相期CT图像分类单元对部分或全部无标签训练集的样本构建伪标签；将构建有伪标签的样本加入有标签训练集对有标签训练集进行更新，再利用更新的有标签训练集的样本构建对比学习训练，调节第一多相期CT图像分类单元的特征提取器参数，再利用原始的有标签训练集的样本有监督训练获得第二多相期CT图像分类单元；循环执行此步骤直至全部无标签训练集的样本全部加入有标签训练集，获得训练好的多相期CT图像分类单元。
2.根据权利要求1所述的方法，其特征在于，所述有监督训练的目标至少包括最小化模型输出的分类结果与标签的损失。
3.根据权利要求1所述的方法，其特征在于，所述对比学习训练的目标包括最小化相间差异和最大化类间差异。
4.一种权利要求1-3任一种所述方法构建获得的基于半监督对比学习的多相期CT分类系统。
5.根据权利要求4所述的系统，其特征在于，还包括数据获取单元，用于获取待分类患者的s个相期的CT图像。
6.根据权利要求4所述的系统，其特征在于，所述分类器包括一个嵌入层网络、L层多头注意力网络MSA、L层多层感知机MLP、一层归一化层和一个分类层，其中，嵌入层网络用于将每个相期CT图像的特征向量拼接在一起，再将拼接后向量与类别标记向量合并后与同维度位置向量相加获得CT图像的嵌入向量，L层多头注意力网络MSA和L层多层感知机MLP依次交错连接，所述多头注意力网络MSA基于归一化的输入向量生成注意力函数；将注意力函数与多头注意力网络MSA的输入向量相加作为对应下一层多层感知机MLP的输入向量；所述多层感知机对归一化的输入向量编码后与多层感知机的输入向量相加作为对应下一层多头注意力网络MSA的输入；其中，第一层多头注意力网络MSA的输入向量为嵌入层网络输出的嵌入向量；归一化层用于对最后一层多层感知机输出的向量与多层感知机的输入向量相加后的向量的第一维度向量进行归一化，作为结合各相期CT图像空间与时间特征的向量；分类层基于归一化层输出的特征向量输出分类结果。
7.根据权利要求6所述的系统，其特征在于，所述嵌入向量具体为：
X0= [Xclass;X1 p;X2 p…Xs p]+Xpos；
其中，Xclass表示类别标记向量，Xpos表示位置向量，Xp表示特征提取器提取的特征向量，s表示输入相期数量。
8.根据权利要求6所述的系统，其特征在于，所述多头注意力网络MSA包括多个自注意力模块SA、一个拼接层，其中，自注意力模块SA用于将归一化的输入向量转换为查询矩阵Q，关键字矩阵K和值矩阵V，并依据查询矩阵Q，关键字矩阵K和值矩阵V生成输入向量中每个向量之间的注意力函数：
Figure QLYQS_1
；
其中，dk表示关键字矩阵K中每个关键字向量k的维度；softmax（）是softmax函数；
拼接层用于拼接每个自注意力模块SA输出的注意力函数。
9.根据权利要求4所述的系统，其特征在于，还包括半监督对比学习单元，所述半监督对比学习单元包括一个数据处理网络，一个相间差异对比学习网络，一个类间差异对比学习网络，一个分类器网络；其中数据处理网络利用基于有标签数据集训练好的第一多相期CT图像分类单元对无标签训练集的样本生成伪标签，将处理后数据添加至有标签训练集对有标签训练集进行更新；相间差异对比学习网络包含一个数据增强模块和s个特征提取器，类间差异对比学习网络包含一个数据增强模块和s个特征提取器，其中相间差异对比学习网络、类间差异对比学习网络中的特征提取器与监督学习单元中的特征提取器结构一致，参数共享，所述相间差异对比学习网络对每个输入图像使用数据增强模块生成两个同源图像，通过特征提取器提取对应相期CT图像的特征向量，利用对比学习机制，计算相间差异对比损失，分离不同相期图像间的特征表达差异，调节特征提取器参数；所述类间差异对比学习网络对每个输入图像使用数据增强模块生成两个同源图像，再通过特征提取器提取不同种类疾病的对应CT图像的特征向量，利用对比学习机制，计算类间差异对比损失，分离不同种类疾病对应图像间的特征表达差异，调节特征提取器参数；所述分类器网络包含与多相期CT图像分类单元中结构一致，参数共享的分类器，用于依据特征向量获得分类结果。
10.根据权利要求4所述的系统，其特征在于，所述特征提取器结构为ResNet或DenseNet。
CN202310500515.7A 2023-05-06 2023-05-06 基于半监督对比学习的多相期ct分类系统及构建方法 Active CN116206164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310500515.7A CN116206164B (zh) 2023-05-06 2023-05-06 基于半监督对比学习的多相期ct分类系统及构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310500515.7A CN116206164B (zh) 2023-05-06 2023-05-06 基于半监督对比学习的多相期ct分类系统及构建方法

Publications (2)

Publication Number Publication Date
CN116206164A true CN116206164A (zh) 2023-06-02
CN116206164B CN116206164B (zh) 2023-08-18

Family

ID=86517726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310500515.7A Active CN116206164B (zh) 2023-05-06 2023-05-06 基于半监督对比学习的多相期ct分类系统及构建方法

Country Status (1)

Country Link
CN (1) CN116206164B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894436A (zh) * 2023-09-06 2023-10-17 神州医疗科技股份有限公司 基于医学命名实体识别的数据增强方法及系统
CN117291921A (zh) * 2023-11-27 2023-12-26 哪吒港航智慧科技(上海)有限公司 集装箱偶发残损样本挖掘及学习方法、装置、设备、介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
US20210319266A1 (en) * 2020-04-13 2021-10-14 Google Llc Systems and methods for contrastive learning of visual representations
CN114037876A (zh) * 2021-12-16 2022-02-11 马上消费金融股份有限公司 一种模型优化方法和装置
US20220156591A1 (en) * 2020-11-13 2022-05-19 Salesforce.Com, Inc. Systems and methods for semi-supervised learning with contrastive graph regularization
CN114758032A (zh) * 2022-06-15 2022-07-15 之江实验室 基于时空注意力模型的多相期ct图像分类系统及构建方法
CN115410026A (zh) * 2022-07-14 2022-11-29 扬州大学 基于标签传播对比半监督学习的图像分类方法与系统
CN115439715A (zh) * 2022-09-12 2022-12-06 南京理工大学 基于反标签学习的半监督少样本图像分类学习方法及系统
CN115496955A (zh) * 2022-11-18 2022-12-20 之江实验室 图像分类模型训练方法、图像分类方法、设备和介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
US20210319266A1 (en) * 2020-04-13 2021-10-14 Google Llc Systems and methods for contrastive learning of visual representations
US20220156591A1 (en) * 2020-11-13 2022-05-19 Salesforce.Com, Inc. Systems and methods for semi-supervised learning with contrastive graph regularization
CN114037876A (zh) * 2021-12-16 2022-02-11 马上消费金融股份有限公司 一种模型优化方法和装置
CN114758032A (zh) * 2022-06-15 2022-07-15 之江实验室 基于时空注意力模型的多相期ct图像分类系统及构建方法
CN115410026A (zh) * 2022-07-14 2022-11-29 扬州大学 基于标签传播对比半监督学习的图像分类方法与系统
CN115439715A (zh) * 2022-09-12 2022-12-06 南京理工大学 基于反标签学习的半监督少样本图像分类学习方法及系统
CN115496955A (zh) * 2022-11-18 2022-12-20 之江实验室 图像分类模型训练方法、图像分类方法、设备和介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
MENGFAN XUE ET AL.: "CT-based COPD identification using multiple instance learning with two-stage attention", 《COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE》, pages 1 - 12 *
WENTAO ZHU ET AL.: "Contrastive Self-Supervised Learning with Hard Negative Pair Mining", 《ARXIV》, pages 1 - 8 *
YUHANG ZHANG ET AL.: "Semi-supervised Contrastive Learning with Similarity Co-calibration", 《IEEE TRANSACTIONS ON MULTIMEDIA ( EARLY ACCESS )》, pages 1 - 11 *
张艺: "少量标注数据下半监督医学图像分割算法研究", 《中国优秀硕士学位论文全文数据库》, pages 1 - 82 *
朱慧春: "基于对比学习和先验知识传播的深度半监督学习算法研究", 《中国优秀硕士学位论文全文数据库》, pages 1 - 79 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894436A (zh) * 2023-09-06 2023-10-17 神州医疗科技股份有限公司 基于医学命名实体识别的数据增强方法及系统
CN116894436B (zh) * 2023-09-06 2023-12-15 神州医疗科技股份有限公司 基于医学命名实体识别的数据增强方法及系统
CN117291921A (zh) * 2023-11-27 2023-12-26 哪吒港航智慧科技(上海)有限公司 集装箱偶发残损样本挖掘及学习方法、装置、设备、介质
CN117291921B (zh) * 2023-11-27 2024-03-12 哪吒港航智慧科技(上海)有限公司 集装箱偶发残损样本挖掘及学习方法、装置、设备、介质

Also Published As

Publication number Publication date
CN116206164B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
Schlemper et al. Attention gated networks: Learning to leverage salient regions in medical images
CN109493308B (zh) 基于条件多判别生成对抗网络的医疗图像合成与分类方法
CN116206164B (zh) 基于半监督对比学习的多相期ct分类系统及构建方法
Li et al. A 3D deep supervised densely network for small organs of human temporal bone segmentation in CT images
Walsh et al. Using U-Net network for efficient brain tumor segmentation in MRI images
CN114758032B (zh) 基于时空注意力模型的多相期ct图像分类系统及构建方法
Lei et al. Attention-guided multi-branch convolutional neural network for mitosis detection from histopathological images
Zhu et al. Segmentation of coronary arteries images using spatio-temporal feature fusion network with combo loss
Wu et al. W-Net: A boundary-enhanced segmentation network for stroke lesions
Shen et al. Medical image segmentation based on Transformer and HarDNet structures
CN115131280A (zh) 一种融合注意力机制的改进YOLO v4肺结节检测方法
Ha et al. Automatic Breast Tumor Diagnosis in MRI Based on a Hybrid CNN and Feature‐Based Method Using Improved Deer Hunting Optimization Algorithm
Zhou et al. [Retracted] Automatic Segmentation of MRI of Brain Tumor Using Deep Convolutional Network
Akkar et al. Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm
Wu et al. Unsupervised positron emission tomography tumor segmentation via GAN based adversarial auto-encoder
Luo et al. C2BA-UNet: A context-coordination multi-atlas boundary-aware UNet-like method for PET/CT images based tumor segmentation
Kong et al. Data enhancement based on M2-Unet for liver segmentation in Computed Tomography
CN114445328A (zh) 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统
Zhou et al. HAUNet-3D: a novel hierarchical attention 3D UNet for lung nodule segmentation
Wu et al. Human identification with dental panoramic images based on deep learning
Baydargil et al. Anomaly‐based Alzheimer's disease detection using entropy‐based probability Positron Emission Tomography images
Zhang et al. SEG-LUS: A novel ultrasound segmentation method for liver and its accessory structures based on muti-head self-attention
Qin et al. MAD-Net: Multi-attention dense network for functional bone marrow segmentation
Saad et al. Breastus: Vision transformer for breast cancer classification using breast ultrasound images
Wang et al. A feature regularization based meta-learning framework for generalizing prostate mri segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant