CN111932540B - 一种针对新冠肺炎临床分型的ct影像对比特征学习方法 - Google Patents
一种针对新冠肺炎临床分型的ct影像对比特征学习方法 Download PDFInfo
- Publication number
- CN111932540B CN111932540B CN202011093278.XA CN202011093278A CN111932540B CN 111932540 B CN111932540 B CN 111932540B CN 202011093278 A CN202011093278 A CN 202011093278A CN 111932540 B CN111932540 B CN 111932540B
- Authority
- CN
- China
- Prior art keywords
- feature
- learning
- samples
- sample
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种针对新冠肺炎临床分型的CT影像对比特征学习方法,包括以下步骤:S1、基于FPN的全自动肺分割算法;S2、构建特征学习网络;S3、样本对构建;S4、对比特征学习。本发明采用基于特征对比学习的卷积神经网络模型,通过结合特征距离与交叉熵损失函数,可使得同一类别的样本其深度学习特征相似,不同类别的样本其深度学习特征差异大,进而对特征进行优化,提升分类精度。可以将本发明的CT影像对比学习方法用于对新冠肺炎CT影像进行全自动图像处理,进而实现新冠肺炎的临床分型诊断。
Description
技术领域
本发明涉及一种医疗技术,尤其涉及一种针对新冠肺炎临床分型的CT影像对比特征学习方法。本发明还涉及将所述CT影像对比特征学习方法用于对新冠肺炎CT影像进行全自动图像处理的用途。
背景技术
新冠肺炎的临床分型可反映新冠肺炎的严重程度,根据临床分型的不同,所采取的治疗策略有所不同;在新冠肺炎患者的管理流程中,新冠肺炎的临床分型也是判断患者是否满足出院条件的标准之一。
新冠肺炎临床分型的金标准需要通过医生对CT影像进行判读、并结合血氧饱和度等生化指标来进行判断,一定程度上会受到医生的主观判读的影响。目前常用使用仅采用单个神经网络进行CT影像分类的方法,主要从单个CT影像中挖掘高维度信息,忽略了对不同样本间的差异性进行学习,这种方法的主要缺陷是精读较低,以通过这种方法获得的信息辅助新冠肺炎的临床分型,不仅效率较低,而且容易造成后续新冠肺炎临床分型的误诊。
因此,本发明设计了一种针对新冠肺炎临床分型的CT影像对比特征学习方法,该方法通过对不同样本间CT影像的差异性进行学习可以进一步提升新冠肺炎临床分型的诊断精度。
发明内容
本发明的目的是提供一种针对新冠肺炎临床分型的CT影像对比特征学习方法。通过使用新型的对比特征学习的方式每次从两个样本中进行特征的差异性学习,最终挖掘出在同一种临床分型中具有高度一致性、在不同的临床分型中具有高度差异性的CT影像特征,进而提升新冠肺炎临床分型的分类诊断精度。通过该方法可实现新冠肺炎临床分型诊断的全自动图像处理,方便推广应用,避免人工判断临床分型造成的主观性差异和耗费的人力劳动。
在第一个方面中,本发明涉及一种针对新冠肺炎临床分型的CT影像对比特征学习方法,其包括以下步骤:
S1、基于FPN的全自动肺分割算法
构建基于DenseNet的特征金字塔(Feature Pyramid Network)全卷积网络,从CT影像中全自动地分割出肺部区域;
在一个具体的实施方式中,所述S1具体包括以下步骤:
构建基于DenseNet121的特征金字塔(Feature Pyramid Network)全卷积神经网络,从CT影像中全自动地分割出肺部区域,所述FPN网络使用在ImageNet中预训练好权重的DenseNet121网络作为基础网络,然后通过特征金字塔的形式从DenseNet中的每一个Dense块中抽取最后一层卷积层的输出作为多尺度的特征,然后将不同尺度的特征逐级上采样并进行拼接,最后,通过全卷积网络的方式得到分割出的肺区域,即肺部ROI(Region ofInterest);
S2、构建特征学习网络
使用三维的ResNet50作为特征提取网络,进行肺部CT影像的特征提取;
在一个具体的实施方式中,所述S2具体包括以下步骤:
在通过步骤S1全自动地从CT图像中分割出肺区后,使用三维的ResNet50作为特征提取网络,对肺部ROI图像进行特征提取,ResNet50网络由多组堆叠的残差块构成,每一个残差块包含堆叠的3 x 3的卷积层和1 x 1的卷积层,其中,1 x 1的卷积层通过跳层连接的方式与3 x 3的卷积层相加,进行残差学习,可更好地训练深层卷积神经网络;
优选地,可以使用其他卷积神经网络作为特征提取网络替代ResNet50;
S3、样本对构建
在训练集中,每次随机抽取两个样本,构建样本对,若两个样本具有相同的临床分型,则将该样本对的标签赋为1,若两个样本具有不同的临床分型,则将该样本对的标签赋为-1;
S4、对比特征学习
基于步骤S2中的特征提取网络构建权重共享的孪生网络,分别用于提取步骤S3的样本对中的两个样本的特征,然后,提出对比特征损失函数,对两个样本的特征的距离进行度量,使同一类样本间特征距离相近,不同样本类别间特征距离较远;再结合交叉熵损失函数,实现模型的对比特征学习;
在一个具体的实施方式中,所述S4具体包括以下步骤:
在S3步骤中构建好样本对后,基于步骤S2中的特征提取网络构建权重共享的孪生网络,分别用于提取步骤S3的样本对中的两个样本的特征,在样本对中的两个样本分别经过两个特征提取网络后,将产生各自对应的深度学习特征,然后采用公式1所示的对比特征损失函数,对两个样本的深度学习特征的距离进行度量,使同一类样本间特征距离相近,不同样本类别间特征距离较远,进而保证类内的特征一致性和类间的特征差异性,
其中,对于样本对xi和xj,其对应的样本对标签为Pi,j,Pi,j由步骤S3获得,当样本xi和xj属于同样的样本类别临床分型时,Pi,j=1,当样本xi和xj属于不同样的样本类别临床分型时,Pi,j=-1,fi和fi分别表示样本xi和xj对应的深度学习特征,进而获得特征对比损失函数LF;
在所述S4中,进一步地使用公式2所示的损失函数Loss作为最终的损失函数对模型进行训练,
其中,yi表示样本xi真实的临床分型,1代表重型,0代表轻型;表示模型预测的样
本xi的临床分型,其取值在(0, 1)范围内,最后,使用Adam优化算法对公式2所示的损失函
数进行优化,直至模型收敛。
在第二个方面中,本发明涉及一种对新冠肺炎CT影像进行图像处理的方法,所述方法使用上述针对新冠肺炎临床分型的CT影像对比特征学习方法对CT影像进行全自动的图像处理,以用于对新冠肺炎进行临床分型。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为基于FPN的全自动肺分割算法的流程图。
图2为对比特征学习的流程图。
具体实施方式
以下将结合附图对本发明作进一步的描述,需要说明的是,本实施例以本技术方案为前提,给出了详细的实施方式和具体的操作过程,但本发明的保护范围并不限于本实施例。
本发明包括以下步骤:
S1、基于FPN的全自动肺分割算法
如图1所示,构建基于DenseNet121的特征金字塔(Feature Pyramid Network)全卷积神经网络,从CT影像中全自动地分割出肺部区域。该FPN网络使用在ImageNet中预训练好权重的DenseNet121网络作为基础网络,然后通过特征金字塔的形式从DenseNet中的每一个Dense块中抽取最后一层卷积层的输出作为多尺度的特征,然后将不同尺度的特征逐级上采样并进行拼接,最后,通过全卷积网络的方式得到分割出的肺区域,即肺部ROI(Region of Interest)。
S2、构建特征提取网络
在通过步骤S1全自动地从CT图像中分割出肺区后,使用三维的ResNet50作为特征提取网络,对肺部ROI图像进行特征提取。ResNet50网络由多组堆叠的残差块构成,每一个残差块包含堆叠的3 x 3的卷积层和1 x 1的卷积层,其中,1 x 1的卷积层通过跳层连接的方式与3 x 3的卷积层相加,进行残差学习,可更好地训练深层卷积神经网络。该发明中使用ResNet50作为基础网络构建分割模型,但不限于ResNet50网络,可使用任意卷积神经网络作为特征提取网络。
S3、样本对构建
常用的深度学习分类模型使用单个卷积神经网络直接对图像进行分类学习,这种方式着重于学习与分类任务相关的图像信息,但对不同类别的样本所具有的差异性特征的学习较弱。为了使卷积神经网络重点学习不同类别样本间所具有的差异性特征,本发明在模型训练过程中每次构建样本对进行学习而非直接使用单个样本进行学习。在样本对的构建过程中,每次随机地从训练集中选取两个训练样本(CT影像),若两个样本具有相同的临床分型,则将该样本对的标签赋为1,若两个样本具有不同的临床分型,则将该样本对的标签赋为-1;
S4、对比特征学习
在S3步骤中构建好样本对后,基于步骤S2中的特征提取网络构建权重共享的孪生网络,分别用于提取步骤S3的样本对中的两个样本的特征,其结构示意图如图2所示。在样本对中的两个样本分别经过两个特征提取网络后,将产生各自对应的深度学习特征。然后,本发明提出对比特征损失函数,对两个样本的深度学习特征的距离进行度量,使同一类样本间特征距离相近,不同样本类别间特征距离较远,进而保证类内的特征一致性和类间的特征差异性。
如上式所示,对于样本对xi和xj,其对应的样本对标签为Pi,j,Pi,j由步骤S3获得,当样本xi和xj属于同样的类别(临床分型)时,Pi,j=1,当样本xi和xj属于不同样的类别时,Pi,j=-1。fi和fi分别表示样本xi和xj对应的深度学习特征。最终,特征对比损失函数LF可由上式获得。为了进一步提升分类模型的性能,使用下式所示的损失函数Loss作为最终的损失函数对模型进行训练。
其中,yi表示样本xi真实的临床分型(1代表重型,0代表轻型);表示模型预测的
样本xi的临床分型,其取值在(0, 1)范围内。最后,使用Adam优化算法对公式2所示的损失
函数进行优化,直至模型收敛。
本发明可以采用上述针对新冠肺炎临床分型的CT影像对比特征学习方法,对新冠肺炎CT影像进行全自动图像处理,进而可以将该方法用于实现对新冠肺炎的临床分型诊断。具体的步骤为:
在训练好模型后,将步骤S4中的孪生网络中的一支网络取出,作为新冠肺炎临床分型诊断模型。在对未知的新冠肺炎CT影像进行临床分型预测时,将该CT影像的肺部ROI影像(步骤S1获得)输入至该模型即可得到该样本的临床分型预测结果。
最后应说明的是:以上实施例仅用以说明本发明的技术方案而非对其进行限制,尽管参照较佳实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对本发明的技术方案进行修改或者等同替换,而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (7)
1.一种针对新冠肺炎临床分型的CT影像对比特征学习方法,其特征在于:包括以下步骤:
S1、基于特征金字塔全卷积网络FPN的全自动肺分割算法:
构建基于DenseNet的FPN,从CT影像中全自动地分割出肺部区域;
S2、构建特征学习网络:
使用三维的ResNet50作为特征提取网络,进行肺部CT影像的特征提取;
S3、样本对构建:
在训练集中,每次随机抽取两个样本,构建样本对,若两个样本具有相同的临床分型,则将该样本对的标签赋为1,若两个样本具有不同的临床分型,则将该样本对的标签赋为-1;
S4、对比特征学习:
基于步骤S2中的特征提取网络构建权重共享的孪生网络,分别用于提取步骤S3的样本对中的两个样本的特征,然后,提出对比特征损失函数,对两个样本的特征的距离进行度量,使同一类样本间特征距离相近,不同样本类别间特征距离较远;再结合交叉熵损失函数,实现模型的对比特征学习。
2.根据权利要求1所述的CT影像对比特征学习方法,其特征在于:所述S1具体包括以下步骤:
构建基于DenseNet121的FPN,从CT影像中全自动地分割出肺部区域,所述FPN使用在ImageNet中预训练好权重的DenseNet121网络作为基础网络,然后通过特征金字塔的形式从DenseNet中的每一个Dense块中抽取最后一层卷积层的输出作为多尺度的特征,然后将不同尺度的特征逐级上采样并进行拼接,最后,通过全卷积网络的方式得到分割出的肺区域,即肺部目标区域ROI。
3.根据权利要求1所述的CT影像对比特征学习方法,其特征在于:所述S2具体包括以下步骤:
在通过步骤S1全自动地从CT图像中分割出肺区后,使用三维的ResNet50作为特征提取网络,对肺部ROI图像进行特征提取,ResNet50网络由多组堆叠的残差块构成,每一个残差块包含堆叠的3 x 3的卷积层和1 x 1的卷积层,其中,1 x 1的卷积层通过跳层连接的方式与3 x 3的卷积层相加,进行残差学习,以更好地训练深层卷积神经网络。
4.根据权利要求3所述的CT影像对比特征学习方法,其特征在于:使用其他卷积神经网络作为特征提取网络替代ResNet50。
5.根据权利要求1所述的CT影像对比特征学习方法,其特征在于:所述S4包括以下步骤:
在S3步骤中构建好样本对后,基于步骤S2中的特征提取网络构建权重共享的孪生网络,分别用于提取步骤S3的样本对中的两个样本的特征,在样本对中的两个样本分别经过两个特征提取网络后,将产生各自对应的深度学习特征,然后采用公式1所示的对比特征损失函数,对两个样本的深度学习特征的距离进行度量,使同一类样本间特征距离相近,不同样本类别间特征距离较远,进而保证类内的特征一致性和类间的特征差异性,
其中,对于样本对xi和xj,其对应的样本对标签为Pi,j,Pi,j由步骤S3获得,当样本xi和xj属于同样的样本类别临床分型时,Pi,j=1,当样本xi和xj属于不同样的样本类别临床分型时,Pi,j=-1,fi和fi分别表示样本xi和xj对应的深度学习特征,进而获得特征对比损失函数LF。
7.一种对新冠肺炎CT影像进行图像处理的方法,其特征在于:所述方法使用权利要求1-6中任一项所述的针对新冠肺炎临床分型的CT影像对比特征学习方法对CT影像进行全自动的图像处理,以用于对新冠肺炎进行临床分型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011093278.XA CN111932540B (zh) | 2020-10-14 | 2020-10-14 | 一种针对新冠肺炎临床分型的ct影像对比特征学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011093278.XA CN111932540B (zh) | 2020-10-14 | 2020-10-14 | 一种针对新冠肺炎临床分型的ct影像对比特征学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111932540A CN111932540A (zh) | 2020-11-13 |
CN111932540B true CN111932540B (zh) | 2021-01-05 |
Family
ID=73334428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011093278.XA Active CN111932540B (zh) | 2020-10-14 | 2020-10-14 | 一种针对新冠肺炎临床分型的ct影像对比特征学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111932540B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112766205B (zh) * | 2021-01-28 | 2022-02-11 | 电子科技大学 | 一种基于颜色模态图像的鲁棒性静默活体检测方法 |
CN112950582B (zh) * | 2021-03-01 | 2023-11-24 | 北京小白世纪网络科技有限公司 | 一种基于深度学习的3d肺部病灶分割方法、装置 |
CN113052186A (zh) * | 2021-03-17 | 2021-06-29 | 华中科技大学同济医学院附属协和医院 | 一种基于影像学的新冠肺炎诊断和病情追踪方法及系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108986067B (zh) * | 2018-05-25 | 2020-08-14 | 上海交通大学 | 基于跨模态的肺结节检测方法 |
EP3830793A4 (en) * | 2018-07-30 | 2022-05-11 | Memorial Sloan Kettering Cancer Center | MULTIMODE, MULTI-RESOLUTION DEEP LEARNING NETWORKS FOR SEGMENTATION, OUTCOME PREDICTION, AND MONITORING LONGITUDINAL RESPONSES TO IMMUNOTHERAPY AND RADIATION THERAPY |
CN110717526B (zh) * | 2019-09-23 | 2023-06-02 | 华南理工大学 | 一种基于图卷积网络的无监督迁移学习方法 |
CN110942446A (zh) * | 2019-10-17 | 2020-03-31 | 付冲 | 一种基于ct影像的肺结节自动检测方法 |
CN111653356A (zh) * | 2020-04-20 | 2020-09-11 | 浙江大学 | 一种基于深度学习的新冠肺炎筛查方法及新冠肺炎筛查系统 |
CN111639676B (zh) * | 2020-05-07 | 2022-07-29 | 安徽医科大学第二附属医院 | 一种能够应用于新冠肺炎影像分析的胸部医学影像识别分类方法 |
CN111612764B (zh) * | 2020-05-21 | 2023-09-22 | 广州普世医学科技有限公司 | 一种新冠肺炎磨玻璃病灶造影解析方法、系统及存储介质 |
-
2020
- 2020-10-14 CN CN202011093278.XA patent/CN111932540B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111932540A (zh) | 2020-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111932540B (zh) | 一种针对新冠肺炎临床分型的ct影像对比特征学习方法 | |
CN107273925B (zh) | 基于局部感受野和半监督深度自编码的肺实质ct影像处理装置 | |
CN109086799A (zh) | 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法 | |
CN111882560B (zh) | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 | |
US11544851B2 (en) | Systems and methods for mesothelioma feature detection and enhanced prognosis or response to treatment | |
CN111932541B (zh) | 一种用于预测新冠肺炎预后的ct影像图像处理方法 | |
CN114188020A (zh) | 一种基于Transformer-MIL的甲状腺乳头状癌淋巴结转移预测方法 | |
CN114549469A (zh) | 一种基于置信度校准的深层神经网络医疗图像诊断方法 | |
CN112819821A (zh) | 一种细胞核图像检测方法 | |
CN114330499A (zh) | 分类模型的训练方法、装置、设备、存储介质及程序产品 | |
CN114596467A (zh) | 基于证据深度学习的多模态影像分类方法 | |
Iparraguirre-Villanueva et al. | Convolutional neural networks with transfer learning for pneumonia detection | |
CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
CN113284627B (zh) | 基于患者表征学习的用药推荐方法 | |
CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
CN113052186A (zh) | 一种基于影像学的新冠肺炎诊断和病情追踪方法及系统 | |
CN117195027A (zh) | 基于成员选择的簇加权聚类集成方法 | |
CN111402205B (zh) | 一种基于多层感知机的乳腺肿瘤数据清洗方法 | |
CN115482530A (zh) | 程序产品、信息处理方法和信息处理装置 | |
Lagergren et al. | Few-Shot Learning Enables Population-Scale Analysis of Leaf Traits in Populus trichocarpa | |
Ling et al. | Deep ensemble learning over the microbial phylogenetic tree (DeepEn-Phy) | |
CN117690584B (zh) | 基于智能ai的慢性病患者管理系统及方法 | |
US20230326013A1 (en) | Method for predicting epidermal growth factor receptor mutations in lung adenocarcinoma | |
CN117079821B (zh) | 一种患者住院事件预测方法 | |
CN112508958B (zh) | 一种轻量多尺度的生物医学图像分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20211123 Address after: 300050 No. 1, Dali Road, Heping District, Tianjin Patentee after: ENVIRONMENTAL MEDICINE AND OPERATIONAL MEDICINE Research Institute ACADEMY OF MILITARY MEDICAL SCIENCES Address before: 1502, 12 / F, building 1, yard 1, Jiuqiao Road, Daxing District, Beijing 100163 Patentee before: Beijing Xinnuo Weikang Technology Co.,Ltd. |
|
TR01 | Transfer of patent right |