CN116229176A - 结合影像组学特征和临床特征的医学图像分类方法及设备 - Google Patents
结合影像组学特征和临床特征的医学图像分类方法及设备 Download PDFInfo
- Publication number
- CN116229176A CN116229176A CN202310236805.5A CN202310236805A CN116229176A CN 116229176 A CN116229176 A CN 116229176A CN 202310236805 A CN202310236805 A CN 202310236805A CN 116229176 A CN116229176 A CN 116229176A
- Authority
- CN
- China
- Prior art keywords
- image
- histology
- features
- clinical
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000009467 reduction Effects 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 238000010586 diagram Methods 0.000 claims abstract description 9
- 238000011282 treatment Methods 0.000 claims abstract description 6
- 238000012216 screening Methods 0.000 claims abstract description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000002790 cross-validation Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000011946 reduction process Methods 0.000 claims 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 17
- 238000012706 support-vector machine Methods 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 208000015634 Rectal Neoplasms Diseases 0.000 description 7
- 238000002597 diffusion-weighted imaging Methods 0.000 description 7
- 206010038038 rectal cancer Diseases 0.000 description 7
- 201000001275 rectum cancer Diseases 0.000 description 7
- 238000013136 deep learning model Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 206010009944 Colon cancer Diseases 0.000 description 4
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 230000002980 postoperative effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- INZOTETZQBPBCE-NYLDSJSYSA-N 3-sialyl lewis Chemical compound O[C@H]1[C@H](O)[C@H](O)[C@H](C)O[C@H]1O[C@H]([C@H](O)CO)[C@@H]([C@@H](NC(C)=O)C=O)O[C@H]1[C@H](O)[C@@H](O[C@]2(O[C@H]([C@H](NC(C)=O)[C@@H](O)C2)[C@H](O)[C@H](O)CO)C(O)=O)[C@@H](O)[C@@H](CO)O1 INZOTETZQBPBCE-NYLDSJSYSA-N 0.000 description 2
- 102000012406 Carcinoembryonic Antigen Human genes 0.000 description 2
- 108010022366 Carcinoembryonic Antigen Proteins 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000008595 infiltration Effects 0.000 description 2
- 238000001764 infiltration Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010052360 Colorectal adenocarcinoma Diseases 0.000 description 1
- 238000000729 Fisher's exact test Methods 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 238000000585 Mann–Whitney U test Methods 0.000 description 1
- 238000001358 Pearson's chi-squared test Methods 0.000 description 1
- 238000009098 adjuvant therapy Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 238000010832 independent-sample T-test Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种结合影像组学特征和临床特征的医学图像分类方法及设备，所述方法包括以下步骤：获取待分类MRI影像及该待分类MRI影像对应的临床特征数据；在所述待分类MRI影像中提取肿瘤VOI，并提取影像组学特征；将所述影像组学特征转换为影像组学特征图；对所述影像组学特征进行特征降维处理后，获得降维特征向量；对所述临床特征数据进行特征筛选处理，获得优化临床特征向量；将所述影像组学特征图、降维特征向量和优化临床特征向量作为经训练的融合模型的输入，获得针对所述待分类MRI影像的分类结果。与现有技术相比，本发明引入影像组学特征和临床特征，通过分别建模并加权混合的方式融合各特征，具有提高对医学图像的分类精确度和分类效率等优点。
Description
技术领域
本发明涉及医学影像处理技术领域，尤其是涉及一种结合影像组学特征和临床特征的医学图像分类方法及设备。
背景技术
结直肠癌是消化道最常见的恶性肿瘤之一，2020年全球癌症统计结果显示，该病发病率居第三位，死亡率居第二位。早期局部结直肠癌患者的5年生存率高达90％，而晚期远处转移患者则骤降至14％。治疗上，早期肿瘤通常通过手术直接切除，而局部晚期直肠癌则建议行术前新辅助治疗。因此，准确合理的术前分期对于最佳治疗方案的制定尤为重要，有助于降低术后复发率，改善患者预后，提高患者生存质量。
磁共振成像具有多模态、多方位、多角度的特点，是直肠癌局部分期的首选影像学检查手段，在直肠癌治疗前后的评估中发挥着关键作用。其中，T2WI，尤其是非抑脂、小FOV(Field of View，照射野)、轴位高分辨的T2WI(层厚＜3mm)，可以获得高质量的软组织对比度图像，对于主要解剖结构及其与肿瘤关系的表征至关重要，是评估肿瘤T分期(T分期指肿瘤原发灶的情况，随着肿瘤体积、浸润深度和邻近组织受累范围的增加，依次用T1-T4来表示)的主要序列。根据MRI进行分期诊断时，瘤周炎症反应、促结缔组织增生反应、微血管侵犯固有肌层等现象易与肿瘤浸润混淆，导致过分期和分期不足，而T2、T3期直肠癌的准确区分更是其中的一大难点。
影像组学技术通过从病灶中提取海量特征来编码肿瘤表型，有效解决了肿瘤异质性难以定量评估的问题，广泛应用于肿瘤分级、癌症分期和预后评估。目前已有一些研究基于术前T2WI建立预测直肠癌T分期的影像组学模型，但大部分研究都致力于区分pT1-2和pT3-4分期，且未使用充足的数据进行验证。
综上，现有针对直肠癌T分期的预测还存在不准确、影响术前判断精确度的问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种结合影像组学特征和临床特征的医学图像分类方法及设备，引入影像组学特征和临床特征，通过分别建模并加权混合的方式融合各特征，有效提高对医学图像的分类精确度和分类效率。
本发明的目的可以通过以下技术方案来实现：
一种结合影像组学特征和临床特征的医学图像分类方法，包括以下步骤：
获取待分类MRI影像及该待分类MRI影像对应的临床特征数据；
在所述待分类MRI影像中提取肿瘤VOI，并提取影像组学特征；
将所述影像组学特征转换为影像组学特征图；
对所述影像组学特征进行特征降维处理后，获得降维特征向量；
对所述临床特征数据进行特征筛选处理，获得优化临床特征向量；
将所述影像组学特征图、降维特征向量和优化临床特征向量作为经训练的融合模型的输入，获得针对所述待分类MRI影像的分类结果；
其中，所述融合模型包括用于对所述影像组学特征图进行处理的第一模型、用于对所述降维特征向量进行处理的第二模型和用于对所述优化临床特征向量进行处理的第三模型，所述第一模型、第二模型和第三模型输出结果的加权融合为融合模型的输出结果。
进一步地，所述临床特征数据包括年龄、性别和肿瘤信息。
进一步地，所述待分类MRI影像包括T2WI图像和DWI图像，所述提取肿瘤VOI具体包括：
基于所述DWI图像，在所述T2WI图像中勾画获得所述肿瘤VOI。
进一步地，对肿瘤VOI，按原始图像、LoG滤波图像和小波图像的图像类别分别提取所述影像组学特征。
进一步地，所述影像组学特征包括形状特征、直方图特征和纹理特征。
进一步地，将所述影像组学特征转换为影像组学特征图具体为：
将影像组学特征分为形状特征和其他特征，分别补零后按图像类别分通道转换为影像组学特征图。
进一步地，所述特征降维处理具体为：
使用LASSO算法和交叉验证选择最重要的特征，形成所述降维特征向量。
进一步地，所述第一模型基于CNN模型构建，该第一模型中，采用卷积和池化将不同类型的特征通过通道进行拼接整合，同时考虑通道维度和图像类别相关，采用分组卷积和全局平均池化进行针对性处理；
进一步地，所述第二模型和第三模型基于SVM模型构建。
进一步地，所述加权融合为线性加权融合。
本发明还提供一种电子设备，包括一个或多个处理器、存储器和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上所述结合影像组学特征和临床特征的医学图像分类的指令。
与现有技术相比，本发明具有以下有益效果：
1、本发明在影像组学特征基础上加入临床特征，进一步提升了模型的预测性能和鲁棒性。
2、本发明使用深度学习模型提取全体影像组学特征信息进行预测，充分利用其余特征中包含的有用信息，解决机器学习模型难以处理高维数据的问题。
3、本发明对提取的影像组学特征进行两种处理，连同临床特征通过三个子模型进行加权融合，不仅充分利用了不同模型的预测信息，同时，避免了不同模型特征间的互相影响，且不需要重新建模就能实现融合，更为简便高效。
4、本发明所使用的临床特征采用了原始数值，避免了量化带来的信息损失。
附图说明
图1为本发明的流程示意图；
图2为实施例中不同模型的ROC曲线(Receiver Operating Characteristiccurve，受试者工作特征曲线)对比图；
图3为实施例中采用的深度学习模型的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本发明提供一种结合影像组学特征和临床特征的医学图像分类方法，包括以下步骤：获取待分类MRI(Magnetic Resonance Imaging，磁共振成像)影像及该待分类MRI影像对应的临床特征数据，所述待分类MRI影像为带肿瘤的影像；在待分类MRI影像中提取肿瘤VOI，并提取影像组学特征；将影像组学特征转换为影像组学特征图；对影像组学特征进行特征降维处理后，获得降维特征向量；对临床特征数据进行特征筛选处理，获得优化临床特征向量；将影像组学特征图、降维特征向量和优化临床特征向量作为经训练的融合模型的输入，获得针对待分类MRI影像的分类结果。其中，融合模型包括用于对影像组学特征图进行处理的第一模型、用于对降维特征向量进行处理的第二模型和用于对优化临床特征向量进行处理的第三模型，第一模型、第二模型和第三模型输出结果的加权融合为融合模型的输出结果。上述方法将影像组学特征和临床特征相结合，并对提取的影像组学特征进行两种处理，通过融合的第一模型、第二模型和第三模型获得精确的图像分类结果，进而为术前肿瘤分期提供可靠的依据。
在另一个实施方式中，上述方法以软件功能单元的形式实现并作为独立的产品销售或使用，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在另一个实施方式中，还提供一种电子设备，包括一个或多个处理器、存储器和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上所述结合影像组学特征和临床特征的医学图像分类的指令。
实施例1
本实施例将上述结合影像组学特征和临床特征的医学图像分类方法应用于带直肠癌的图像分类中，以对直肠癌T分期进行分类鉴别。本实施例中以历史数据对融合模型进行训练，训练时，将所有数据在保持正负样本比例不变的情况下，随机划分成训练集和测试集，使用SMOTE(Synthetic Minority Oversampling Technique，合成少数类过采样技术)平衡训练集样本类别比至1：1，分期标签由术后病理检查根据TNM分期给出，包括T1、T2、T3。本实施例中使用的数据集包括MRI影像和对应的临床数据，共计纳入968例术后病理确认为T1-3期的直肠腺癌患者，包括125例T1，437例T2和406例T3。
如图1所示，融合模型的训练过程包括以下步骤：
在步骤S1中，获取MRI影像，MRI影像包括T2WI(T2 Weighted Image，T2加权成像)图像(T2WI序列)和DWI(Diffusion-Weighted Imaging，扩散加权成像)图像(DWI序列)。
在步骤S2中，基于DWI图像，在T2WI图像中勾画获得肿瘤VOI。
本实施例中，可以由放射科医生在参考DWI图像的情况下，在T2WI图像上逐层手动勾画直肠全肿瘤病灶区域VOI(Volume of Interest，三维感兴趣体积)。
在步骤S3中，根据T2WI影像和肿瘤VOI提取影像组学特征。
本实施例中，使用PyRadiomics从T2WI图像和肿瘤VOI中提取影像组学特征，其中，所提取特征的图像类别包括原始图像、LoG(Laplacian of Gaussian，高斯-拉普拉斯)滤波图像和小波图像，特征类别包括形状特征、直方图特征和纹理特征，纹理特征包括GLCM(Gray Level Co-occurence Matrix，灰度共生矩阵)特征、GLRLM(Gray Level Run LengthMatrix，灰度游程矩阵)特征、GLSZM(Gray Level Size Zone Matrix，灰度大小区域矩阵)特征、GLDM(Gray Level Dependence Matrix，灰度依赖矩阵)特征和NGTDM(NeigbouringGray Tone Difference Matrix，邻域灰度差矩阵)特征。
本实施例在训练时，对每个MRI影像提取1210个影像组学特征，其中，所提取特征的图像类别包括原始图像、LoG滤波图像(σ＝2,3,4,5)、小波图像，特征类别包括形状特征(14)、直方图特征(18)、纹理特征(GLCM(23)、GLRLM(16)、GLSZM(16)、GLDM(14)、NGTDM(5))。
本实施例中，对影像组学特征先采用z-score进行标准化，计算公式为：
其中Fmorm表示标准化后的特征，μ和σ表示特征的均值和标准差。然后采用两种处理方法：①直接将所有影像组学特征向量转换成影像组学特征图，②采用LASSO算法进行特征降维。此外，对临床特征先后使用统计学分析和RFE算法进行特征筛选。
在步骤S4中，将影像组学特征转换成影像组学特征图，具体地，将特征分为形状特征和其他特征，分别补零后按图像类别分通道转换为影像组学特征图。
在步骤S5中，对影像组学特征图使用CNN(Convolutional Neural Networks，卷积神经网络)进行建模，建立基于CNN的深度学习模型，即第一模型。CNN模型如图3所示。
在步骤S6中，使用LASSO(Least Absolute Shrinkage and Selection Operator，最小绝对收缩选择算子)算法和交叉验证选择最重要的特征，获得降维特征向量。
在步骤S7中，对筛选出的影像组学特征使用SVM(Support Vector Machine，支持向量机)进行建模，获得基于SVM的影像组学模型，即第二模型。
在步骤S8中，获取临床特征数据，包括年龄、性别和肿瘤信息等，其中，肿瘤信息包括肿瘤位置、病灶长度、术前CEA(Carcinoembryonic Antigen，癌胚抗原)、术前CA19-9(Carbohydrate Antigen 19-9，糖类抗原19-9)。
在步骤S9中，对临床特征数据中的连续变量先使用Kolmogorov-Smirnov检验正态性，若符合正态分布则采用两独立样本t-test，否则使用Mann-Whitney U test；对分类变量采用Pearson's chi-squared test或Fisher’s exact test；两类变量均保留具有显著性差异(p<0.05)的特征。接着，同样使用z-score进行标准化，并使用RFE(RecursiveFeature Elimination，递归特征消除)算法和交叉验证选择最重要的特征。本实施例筛选出最重要的4个特征。临床特征直接采用原始数值用于后续分析，不进行量化。
在步骤S10中，对筛选出的临床特征使用SVM进行建模，获得基于SVM的临床模型，即第三模型。
在步骤S11中，对第一模型、第二模型和第三模型进行线性加权融合构建融合模型。
上述训练过程，对影像组学特征图采用图3所示CNN模型结合五折交叉验证训练最佳的深度学习模型。损失函数采用交叉熵；优化器采用Adam；初始学习率0.001，每50个epoch衰减1/2；当验证集损失连续20个epoch不下降时早停。所设计的模型采用卷积和池化将不同类型的特征通过通道拼接整合到统一的模型中进行分析，同时考虑到通道维度和图像类别相关，采用分组卷积和全局平均池化分通道单独处理不同图像所提取的特征。
对筛选出的影像组学特征和临床特征，通过三次五折交叉验证和网格参数搜索分别建立最佳的SVM模型，所搜索的模型核函数包括rbf、linear、poly及对应核的参数。
基于上述融合模型可以先获得每个子模型的第一分类结果、第二分类结果和第三分类结果，均为预测概率，基于第一分类结果、第二分类结果和第三分类结果的线性加权融合，获得最终分类结果。融合输出结果的计算公式为：
其中yradiomics_dl是基于CNN的深度学习模型的预测概率，yradiomics是基于SVM的影像组学模型的预测概率，yclinical是基于SVM的临床模型的预测概率，α、β、γ是加权系数。最终的分期结果通过融合概率计算得到。
在本实施例中，经过反复实验后α、β、γ分别取为0.3，0.5，0.2。计算测试集的结果时，本实施例直接使用训练集特征相应的μ和σ进行计算。最终的分类预测概率采用加权融合进行计算，并使用0.5作为截断阈值得到分期预测结果。不同模型的预测效果对比如表1所示，其中，Acc(Accuracy，准确率)，Sens：(Sensitivity，敏感度)，Spec：(Specificity，特异度)，对应的ROC曲线如图2所示。对比之下，融合模型在测试集上的综合性能最佳，具备最高的AUC(Area Under Curve，曲线下面积)，表现更为均衡，能够为临床医生提供有效的分期建议。
表1 各模型和融合模型的预测性能对比
综上所述，本实施例通过影像组学技术从直肠癌患者T2WI图像和相应的三维VOI中提取大量特征，构建基于CNN的深度学习模型和基于SVM的影像组学模型，同时引入临床特征建立基于SVM的临床模型，并通过线性加权构建最终的融合预测模型。临床信息的运用，进一步提升了模型的性能，优于现有的仅依靠T2WI图像的研究。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本发明实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种结合影像组学特征和临床特征的医学图像分类方法，其特征在于，包括以下步骤：
获取待分类MRI影像及该待分类MRI影像对应的临床特征数据；
在所述待分类MRI影像中提取肿瘤VOI，并提取影像组学特征；
将所述影像组学特征转换为影像组学特征图；
对所述影像组学特征进行特征降维处理后，获得降维特征向量；
对所述临床特征数据进行特征筛选处理，获得优化临床特征向量；
将所述影像组学特征图、降维特征向量和优化临床特征向量作为经训练的融合模型的输入，获得针对所述待分类MRI影像的分类结果；
其中，所述融合模型包括用于对所述影像组学特征图进行处理的第一模型、用于对所述降维特征向量进行处理的第二模型和用于对所述优化临床特征向量进行处理的第三模型，所述第一模型、第二模型和第三模型输出结果的加权融合为融合模型的输出结果。
2.根据权利要求1所述的结合影像组学特征和临床特征的医学图像分类方法，其特征在于，所述临床特征数据包括年龄、性别和肿瘤信息。
3.根据权利要求1所述的结合影像组学特征和临床特征的医学图像分类方法，其特征在于，所述待分类MRI影像包括T2WI图像和DWI图像，所述提取肿瘤VOI具体包括：
基于所述DWI图像，在所述T2WI图像中勾画获得所述肿瘤VOI。
4.根据权利要求1所述的结合影像组学特征和临床特征的医学图像分类方法，其特征在于，对肿瘤VOI，按原始图像、LoG滤波图像和小波图像的图像类别分别提取所述影像组学特征。
5.根据权利要求1所述的结合影像组学特征和临床特征的医学图像分类方法，其特征在于，所述影像组学特征包括形状特征、直方图特征和纹理特征。
6.根据权利要求1所述的结合影像组学特征和临床特征的医学图像分类方法，其特征在于，将所述影像组学特征转换为影像组学特征图具体为：
将影像组学特征分为形状特征和其他特征，分别补零后按图像类别分通道转换为影像组学特征图。
7.根据权利要求1所述的结合影像组学特征和临床特征的医学图像分类方法，其特征在于，所述特征降维处理具体为：
使用LASSO算法和交叉验证选择最重要的特征，形成所述降维特征向量。
8.根据权利要求1所述的结合影像组学特征和临床特征的医学图像分类方法，其特征在于，所述第一模型基于CNN模型构建，该第一模型中，采用卷积和池化将不同类型的特征通过通道进行拼接整合，同时考虑通道维度和图像类别相关，采用分组卷积和全局平均池化进行针对性处理；
所述第二模型和第三模型基于SVM模型构建。
9.根据权利要求1所述的结合影像组学特征和临床特征的医学图像分类方法，其特征在于，所述加权融合为线性加权融合。
10.一种电子设备，其特征在于，包括一个或多个处理器、存储器和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-9任一所述结合影像组学特征和临床特征的医学图像分类的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310236805.5A CN116229176A (zh) | 2023-03-13 | 2023-03-13 | 结合影像组学特征和临床特征的医学图像分类方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310236805.5A CN116229176A (zh) | 2023-03-13 | 2023-03-13 | 结合影像组学特征和临床特征的医学图像分类方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116229176A true CN116229176A (zh) | 2023-06-06 |
Family
ID=86590903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310236805.5A Pending CN116229176A (zh) | 2023-03-13 | 2023-03-13 | 结合影像组学特征和临床特征的医学图像分类方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116229176A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011601A (zh) * | 2023-07-24 | 2023-11-07 | 中国医学科学院北京协和医院 | 多模态分类预测方法、装置、处理器及机器可读存储介质 |
-
2023
- 2023-03-13 CN CN202310236805.5A patent/CN116229176A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011601A (zh) * | 2023-07-24 | 2023-11-07 | 中国医学科学院北京协和医院 | 多模态分类预测方法、装置、处理器及机器可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111599464B (zh) | 基于直肠癌影像组学研究的新型多模态融合辅助诊断方法 | |
| CN108109140A (zh) | 基于深度学习的低级别脑胶质瘤柠檬酸脱氢酶无损预测方法及系统 | |
| CN108629785B (zh) | 基于自步学习的三维磁共振胰腺图像分割方法 | |
| CN111179237A (zh) | 一种肝脏以及肝脏肿瘤的图像分割方法和装置 | |
| US20230306598A1 (en) | Systems and methods for mesothelioma feature detection and enhanced prognosis or response to treatment | |
| Xu et al. | Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients | |
| CN112488992B (zh) | 表皮生长因子受体突变状态判断方法、介质及电子设备 | |
| Chatterjee et al. | An empirical approach for avoiding false discoveries when applying high-dimensional radiomics to small datasets | |
| Gao et al. | Attention‐based deep learning for the preoperative differentiation of axillary lymph node metastasis in breast cancer on DCE‐MRI | |
| CN110916666A (zh) | 一种基于多模态mri图像预测手术切除肝细胞癌复发的影像组学特征处理方法 | |
| CN113345576A (zh) | 一种基于深度学习多模态ct的直肠癌淋巴结转移诊断方法 | |
| CN116229176A (zh) | 结合影像组学特征和临床特征的医学图像分类方法及设备 | |
| CN113706486A (zh) | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 | |
| CN112651507A (zh) | 肝细胞癌的微血管侵犯预测模型构建方法与概率预测方法 | |
| CN117745717B (zh) | 一种剂量学与深度学习特征预测放射性肺炎的方法及系统 | |
| CN117711615A (zh) | 基于影像组学的淋巴结转移状态分类预测方法及设备 | |
| CN115861716B (zh) | 基于孪生神经网络和影像组学的胶质瘤分类方法及装置 | |
| Jiang et al. | Classification of benign and malignant breast cancer based on DWI texture features | |
| CN109800820B (zh) | 一种基于超声造影图像均匀程度的分类方法 | |
| CN115205276A (zh) | 局部晚期直肠癌疗效预测方法、系统、介质、设备及终端 | |
| Ulloa et al. | Improving multiple sclerosis lesion boundaries segmentation by convolutional neural networks with focal learning | |
| CN115500851A (zh) | 一种基于深度学习的早期肺癌风险分层预测系统 | |
| CN113793324A (zh) | 一种鼻咽癌诱导化疗疗效预测方法及系统 | |
| CN116547727A (zh) | 基于注意力的多示例学习 | |
| Panic et al. | A fully automatic deep learning algorithm to segment rectal Cancer on MR images: a multi-center study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |