CN114821157A - 基于混合模型网络的多模态影像分类方法 - Google Patents
基于混合模型网络的多模态影像分类方法 Download PDFInfo
- Publication number
- CN114821157A CN114821157A CN202210338626.8A CN202210338626A CN114821157A CN 114821157 A CN114821157 A CN 114821157A CN 202210338626 A CN202210338626 A CN 202210338626A CN 114821157 A CN114821157 A CN 114821157A
- Authority
- CN
- China
- Prior art keywords
- node
- nodes
- feature
- modal
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012795 verification Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 238000007788 roughening Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 206010028980 Neoplasm Diseases 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 9
- 230000003902 lesion Effects 0.000 abstract description 2
- 238000007500 overflow downdraw method Methods 0.000 abstract description 2
- 201000007983 brain glioma Diseases 0.000 description 4
- 102100037845 Isocitrate dehydrogenase [NADP], mitochondrial Human genes 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 201000007455 central nervous system cancer Diseases 0.000 description 2
- 208000025997 central nervous system neoplasm Diseases 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000000439 tumor marker Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/7635—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks based on graphs, e.g. graph cuts or spectral clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/86—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种混合模型网络的多模态影像分类方法、装置和计算机可读存储介质。通过对来自于多个不同模态的医学影像进行特征级融合，将特征视作节点构建特征图，通过多级粗化模块完成特征选择，并利用混合模型网络对图结构进行自适应学习，寻找特征间的潜在联系，从而得到更可靠、更准确的病灶类别属性信息的方法。利用BraTS2017数据集进行验证，与传统的特征级融合方法相比，基于混合模型网络的多模态影像分类方法具有更好的结果。
Description
技术领域
本发明属于图像处理与分析技术领域，具体涉及一种基于混合模型网络的多模态影像分类方法、装置和计算机可读存储介质。
背景技术
伴随高新技术的迅速发展和医学影像技术数字化的逐步实现，各种影像学检查为疾病的研究提供了宝贵的多模态医学影像数据。由于医学诊断的应用场景较为复杂，单模态影像数据往往难以解释疾病引起的所有可能的微妙变化或异常。因此有效的融合来自多种成像模态的病灶信息，发挥各个单模态数据的互补性优势，对医学临床诊断有着重要的指导意义。
脑胶质瘤作为一种复发率高、死亡率高的中枢神经系统肿瘤严重威胁着患者的健康和生命。近年来临床研究发现，其分子病理学信息不但能提高诊断准确性，还能对脑胶质瘤临床治疗和预后评估起到重要的指导作用。因此在第四版WHO中枢神经系统肿瘤分类中，整合了基因分子表型，如何利用多模态影像实现脑胶质瘤的分子表型分类成为了当前的热点问题。
目前通用的多模态影像融合分为：数据层融合、特征层融合、决策层融合。特征层融合是指特征提取后，对这些不同模态的特征采取特定组合规则得到融合后的特征，再进行分类。该方案相比其他两种方案，原始信息不易丢失，同时又具有良好的实时性，相对而言更具灵活性。然而传统的特征层融合方案往往多采用串行拼接等线性融合策略，忽略了特征间的互补性，且可能导致冗余向量的输入。
发明内容
传统的多模态特征层融合方案往往采用特征拼接或加权相加的策略，然后经分类器得出最后的分类结果，忽视了特征间的潜在联系和互补性信息。针对这一问题，本发明提出了一种基于混合模型网络的多模态影像分类方法，将特征视作节点并构建特征图，利用Graclus算法完成特征图的多级粗糙化，以实现特征选择；然后利用图结构上的卷积操作和高斯核权重函数，对节点的边权值自适应更新，完成对特征潜在关系的提取和更新；最后利用全连接网络映射到样本标记空间中以完成疾病的预测分类。
本发明采用的技术方案如下：
一种基于混合模型网络的多模态影像分类方法，将所有模态所提特征进行特征图的构建，借助Graclus算法进行粗糙化，最后基于混合模型网络完成预测分类，具体步骤包括：
(一)数据预处理：对每个分类对象进行标签的标记；
(二)特征提取：首先对图像数据进行感兴趣区域提取，然后以感兴趣区域为掩膜，对各模态影像进行特征提取，分别得到纹理特征、强度直方图特征和形状特征，并对其进行特征归一化处理；
(三)构建特征图：将上述单样本所提的每个特征看作为离散节点，并以节点间的欧氏距离为基础，利用K最近邻算法构建初始的特征图结构G0＝(V0,E0)，其中V0为特征图的节点集合，而E0为特征图中所有边的集合；
(四)特征图粗糙化：将上述所构建的特征图作为输入，基于Graclus多尺度聚类算法进行多级粗糙化，首先将划分目标设置为归一化切割，即节点的初始权重被设置为节点的度数；然后对特征图中所有节点进行随机访问，若访问的节点x未被标记，且其邻域中所有节点均已标记，则对节点x进行标记，并继续访问下一个节点；若该节点邻域中有尚未被标记的节点，则寻找邻域中未标记顶点y，使得下式最大化：
其中e(x,y)是指节点间的边权重，而w(x)和w(y)分别指节点x和y的自身权重，找到最大化的节点y之后，将匹配的两个节点合并为一个新的节点，新节点的权重为原始节点权重之和，当所有节点遍历完成后，特征图的规模可缩小近一倍，即完成了一级粗糙化过程；
(五)边权重更新：利用基于混合模型网络的图卷积核，对已粗糙化的特征图进行节点的边权重更新，首先将节点x放入极坐标中进行表示，并通过其邻域中的节点x′创建一个d维向量的伪坐标u(x,x′)，以确定节点x与其邻居x′之间的相对位置：
u(x)＝(ρ(x,x′),θ(x,x′))
其中在极坐标中，ρ表示极径，θ表示极角，将上述节点间的相对位置关系映射到节点之间的相对权重，并通过一组具有可学习参数的高斯核函数w1(u),…,wJ(u)不断进行图结构上的卷积操作，并自适应学习权重，最终完成节点的边权重更新，该高斯核函数的表示如下所示：
其中
和μj分别表示可学习的d×d和d×1协方差矩阵和高斯核的均值向量，J表示卷积操作时空间卷积核的维数，exp()代表e为底的指数函数；
(六)全连接网络：将边权重更新后的特征图借助全局最大池化展成一维向量，并利用全连接网络将其映射到样本标记空间，完成分类的显式表达。
特别地，在模型的训练中，需要对多模态数据进行顺序的打乱，将所有数据平均分成k份，取其中的一份作为验证集，剩下的k-1份作为训练集进行k折交叉验证，获得最终结果。
特别地，进行步骤(二)的特征提取时，针对多模态磁共振影像，可将其肿瘤标志部分作为感兴趣区域。
本发明还提供一种图像处理装置，该装置包括数据采集部件、存储器和处理器，其中数据预处理部件能够实现上述步骤(一)至步骤(二)；处理器可用于执行上述的步骤(三)至步骤(六)；存储器部分用于存储所有步骤中用到的计算机程序、处理后的数据、并且可以存储最终的训练模型。
本发明还包括一种计算机可读存储介质，其上存储有计算机程序，其特征在于该程序被执行时可实现上述方法的步骤。
附图说明
图1是本发明基于混合模型网络的多模态影像分类方法示意框图。
图2是本发明的图像处理装置示意框图。
具体实施方式
下面通过附图对本发明技术方案进行详细说明。
如图1所示，本发明基于混合模型网络的多模态影像分类方法示意框图如下文所述：
(一)数据预处理：对样本数据进行标签的标记。例如若为分子表型分类，有以下标记：将脑胶质瘤IDH突变且1p/19q联合缺失标记为0，其IDH突变且1p/19q非联合缺失标记为1，其IDH野生型标记为3。
(二)特征提取：首先对图像数据进行感兴趣区域提取，针对多模态磁共振影像，可将其肿瘤标志部分作为感兴趣区域。然后以感兴趣区域为掩膜，利用Pyradiomics工具包分别对各模态影像进行特征提取，分别得到纹理特征、强度直方图特征和形状特征，并对其进行特征归一化处理。
(三)构建特征图：将上述单样本所提的每个特征看作为离散节点，并以节点间的欧氏距离为基础，利用K最近邻算法构建初始的特征图结构G0＝(V0,E0)，其中V0为原始图的节点集合，而E0为特征图中所有边的集合。
(四)特征图粗糙化：将上述所构建的特征图作为输入，基于Graclus多尺度聚类算法进行多级粗糙化。首先将划分目标设置为归一化切割，即节点的初始权重被设置为节点的度数；然后对特征图中所有节点进行随机访问，若访问的节点x未被标记，且其邻域中所有节点均已标记，则对节点x进行标记，并继续访问下一个节点；若该节点邻域中有尚未被标记的节点，则寻找邻域中未标记顶点y，使得下式最大化：
其中e(x,y)是指节点与节点的边权重，而w(x)和w(y)分别指节点x和y的自身权重。找到最大化的节点y之后，将匹配的两个节点合并为一个新的节点，新节点的权重为原始节点权重之和，当所有节点遍历完成后，特征图的规模可缩小近一倍，即完成了一级粗糙化过程。根据数据集的应用场景不同，可选择不同层次的粗糙化级别。
(五)边权重更新：利用基于混合模型网络的图卷积核，对已粗糙化的特征图进行节点的边权重更新。首先将节点x放入极坐标中进行表示，并通过其邻域中的节点x′创建一个d维向量的伪坐标u(x,x′)，以确定节点x与其邻居x′之间的相对位置：
u(x)＝(ρ(x,x′),θ(x,x′))
其中在极坐标中，ρ表示极径，θ表示极角。将上述节点间的相对位置关系映射到节点之间的相对权重，并通过一组具有可学习参数的高斯核函数w1(u),…,wJ(u)不断进行特征图结构的卷积操作，并自适应地学习权重，最终完成节点的边权重更新。该高斯核函数的表示如下所示：
其中
和μj分别表示可学习的d×d维的协方差矩阵和和d×1维的高斯核的均值向量，J表示卷积操作时空间卷积核的维数，exp()代表e为底的指数函数。
(六)全连接网络：将边权重更新后的特征图借助全局最大池化展成一维向量，并利用全连接网络将其映射到样本标记空间，完成分类的显式表达。
图2给出了本发明的图像处理装置示意框图，主要包括三个部件：数据预处理部件、处理器及存储器，其中数据预处理部件能够实现上述步骤(一)至步骤(二)；处理器可用于执行上述的步骤(三)至步骤(六)；存储器部分用于存储所有步骤中用到的计算机程序、处理后的数据、并且可以存储最终的训练模型。
本发明与传统的方法相对比，不仅完成了特征选择，也关注了特征间图结构的隐层关系，分类精度更高，具有更好的泛化能力。
本发明的效果可以通过分类结果进一步说明：
实验用的数据集为BraTS2017及TCGA数据集，共有167个对象的多模态数据，在模型训练的数据预处理过程中，将数据随机打乱顺序，将数据集分为5份，选取其中4份作为训练集，选取剩余的1份作为验证集，对数据感兴趣区域进行特征提取，并利用所提出的基于混合模型网络的多模态融合方法进行分类。表1、表2分别与利用VAR和ExtraTreesClassifier特征选择方法进行特征降维后，在KNN、RF、SVM分类器上的分类准确率、AUC值及其总体标准差的对比。综上所述，本发明比经典方法的分类效果更好。
表1 VAR方案下的实验结果对比
| 实验方法 | 准确率ACC | AUC |
| VAR-KNN | 65.45％±9.725％ | 0.8533±0.054113 |
| VAR-RF | 76.36％±7.545％ | 0.9051±0.048985 |
| VAR-SVM | 80.00％±9.959％ | 0.9250±0.038269 |
| Ours | 81.82％±4.285％ | 0.9409±0.038539 |
表2 ExtraTreesClassifier方案下的实验结果对比
| 实验方法 | 准确率ACC | AUC |
| ExtraTreesClassifier-KNN | 71.52％±7.902％ | 0.8854±0.040820 |
| ExtraTreesClassifier-RF | 78.18％±9.191％ | 0.9150±0.052226 |
| ExtraTreesClassifier-SVM | 80.61％±9.958％ | 0.9325±0.044927 |
| Ours | 81.82％±4.285％ | 0.9409±0.038539 |
Claims (5)
1.一种基于混合模型网络的多模态影像分类方法，将所有模态所提特征进行特征图的构建，借助Graclus算法进行粗糙化，最后基于混合模型网络完成预测分类，具体步骤包括：
(一)数据预处理：对每个分类对象进行标签的标记；
(二)特征提取：首先对图像数据进行感兴趣区域提取，然后以感兴趣区域为掩膜，对各模态影像进行特征提取，分别得到纹理特征、强度直方图特征和形状特征，并对其进行特征归一化处理；
(三)构建特征图：将上述单样本所提的每个特征看作为离散节点，并以节点间的欧氏距离为基础，利用K最近邻算法构建初始的特征图结构G0＝(V0,E0)，其中V0为特征图的节点集合，而E0为特征图中所有边的集合；
(四)特征图粗糙化：将上述所构建的特征图作为输入，基于Graclus多尺度聚类算法进行多级粗糙化，首先将划分目标设置为归一化切割，即节点的初始权重被设置为节点的度数；然后对特征图中所有节点进行随机访问，若访问的节点x未被标记，且其邻域中所有节点均已标记，则对节点x进行标记，并继续访问下一个节点；若该节点邻域中有尚未被标记的节点，则寻找邻域中未标记顶点y，使得下式最大化：
其中e(x,y)是指节点间的边权重，而w(x)和w(y)分别指节点x和y的自身权重，找到最大化的节点y之后，将匹配的两个节点合并为一个新的节点，新节点的权重为原始节点权重之和，当所有节点遍历完成后，特征图的规模可缩小近一倍，即完成了一级粗糙化过程；
(五)边权重更新：利用基于混合模型网络的图卷积核，对已粗糙化的特征图进行节点的边权重更新，首先将节点x放入极坐标中进行表示，并通过其邻域中的节点x′创建一个d维向量的伪坐标u(x,x′)，以确定节点x与其邻居x′之间的相对位置：
u(x)＝(ρ(x,x′),θ(x,x′))
其中在极坐标中，ρ表示极径，θ表示极角，将上述节点间的相对位置关系映射到节点之间的相对权重，并通过一组具有可学习参数的高斯核函数w1(u),…,wJ(u)不断进行图结构上的卷积操作，并自适应学习权重，最终完成节点的边权重更新，
该高斯核函数的表示如下所示：
其中
和μj分别表示可学习的d×d和d×1协方差矩阵和高斯核的均值向量，J表示卷积操作时空间卷积核的维数，exp()代表e为底的指数函数；
(六)全连接网络：将边权重更新后的特征图借助全局最大池化展成一维向量，并利用全连接网络将其映射到样本标记空间，完成分类的显式表达。
2.根据权利要求1所述的基于混合模型网络的多模态影像分类方法，其特征在于：在模型的训练中，需要对多模态数据进行顺序的打乱，将所有数据平均分成k份，取其中的一份作为验证集，剩下的k-1份作为训练集进行k折交叉验证，获得最终结果。
3.根据权利要求1所述的基于混合模型网络的多模态影像分类方法，其特征在于：进行步骤(二)的特征提取时，针对多模态磁共振影像，可将其肿瘤标志部分作为感兴趣区域。
4.一种图像处理装置，该装置包括数据预处理部件、存储器和处理器，其中数据预处理部件能够实现权利要求1所述的步骤(一)至步骤(二)；处理器可用于执行权利要求1所述的步骤(三)至步骤(六)；存储器部分用于存储权利要求1所述各步骤中用到的计算机程序、处理后的数据、并且可以存储最终的训练模型。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于该程序被执行时可实现权利要求1所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210338626.8A CN114821157B (zh) | 2022-04-01 | 基于混合模型网络的多模态影像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210338626.8A CN114821157B (zh) | 2022-04-01 | 基于混合模型网络的多模态影像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114821157A true CN114821157A (zh) | 2022-07-29 |
| CN114821157B CN114821157B (zh) | 2024-11-08 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116977909A (zh) * | 2023-09-22 | 2023-10-31 | 中南民族大学 | 一种基于多模态数据的深度学习火灾强度识别方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296699A (zh) * | 2016-08-16 | 2017-01-04 | 电子科技大学 | 基于深度神经网络和多模态mri图像的脑肿瘤分割方法 |
| CN110674866A (zh) * | 2019-09-23 | 2020-01-10 | 兰州理工大学 | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 |
| CN111738317A (zh) * | 2020-06-11 | 2020-10-02 | 山东大学 | 一种基于图卷积神经网络的特征选择与分类方法、装置和计算机可读存储介质 |
| WO2021022752A1 (zh) * | 2019-08-07 | 2021-02-11 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296699A (zh) * | 2016-08-16 | 2017-01-04 | 电子科技大学 | 基于深度神经网络和多模态mri图像的脑肿瘤分割方法 |
| WO2021022752A1 (zh) * | 2019-08-07 | 2021-02-11 | 深圳先进技术研究院 | 一种多模态三维医学影像融合方法、系统及电子设备 |
| CN110674866A (zh) * | 2019-09-23 | 2020-01-10 | 兰州理工大学 | 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法 |
| CN111738317A (zh) * | 2020-06-11 | 2020-10-02 | 山东大学 | 一种基于图卷积神经网络的特征选择与分类方法、装置和计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 蒋志方;祝翠玲;吴强;: "一个对不带类别标记文本进行分类的方法", 计算机工程, no. 12, 20 June 2007 (2007-06-20) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116977909A (zh) * | 2023-09-22 | 2023-10-31 | 中南民族大学 | 一种基于多模态数据的深度学习火灾强度识别方法及系统 |
| CN116977909B (zh) * | 2023-09-22 | 2023-12-19 | 中南民族大学 | 一种基于多模态数据的深度学习火灾强度识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110837836B (zh) | 基于最大化置信度的半监督语义分割方法 | |
| CN111161879B (zh) | 一种基于大数据的疾病预测系统 | |
| Abualigah et al. | Improved reptile search algorithm by salp swarm algorithm for medical image segmentation | |
| CN113408605A (zh) | 基于小样本学习的高光谱图像半监督分类方法 | |
| CN111553127A (zh) | 一种多标记的文本类数据特征选择方法及装置 | |
| CN111583194B (zh) | 基于贝叶斯粗糙集和布谷鸟算法的高维特征选择算法 | |
| CN112163599B (zh) | 一种基于多尺度多层次融合的图像分类方法 | |
| CN109543775A (zh) | 一种基于密度聚类的面向聚类算法的特征选择方法 | |
| Sethy et al. | A data constrained approach for brain tumour detection using fused deep features and SVM | |
| CN114596467A (zh) | 基于证据深度学习的多模态影像分类方法 | |
| CN110781295A (zh) | 一种多标记数据的特征选择方法及装置 | |
| CN111984817A (zh) | 一种基于自注意力机制加权的细粒度图像检索方法 | |
| CN111797267A (zh) | 一种医学图像检索方法及系统、电子设备、存储介质 | |
| CN114399731B (zh) | 一种单粗点监督下的目标定位方法 | |
| Saha et al. | BCM-VEMT: Classification of brain cancer from MRI images using deep learning and ensemble of machine learning techniques | |
| Yuan et al. | Feature selection using a sinusoidal sequence combined with mutual information | |
| CN117972122A (zh) | 基于相关性匹配的跨模态图文检索方法 | |
| CN117195027A (zh) | 基于成员选择的簇加权聚类集成方法 | |
| Qiu et al. | Medical image retrieval based on the deep convolution network and hash coding | |
| CN114821157B (zh) | 基于混合模型网络的多模态影像分类方法 | |
| CN114821157A (zh) | 基于混合模型网络的多模态影像分类方法 | |
| CN107492101B (zh) | 基于自适应构造最优图的多模态鼻咽肿瘤分割算法 | |
| Tong et al. | A joint multi-scale convolutional network for fully automatic segmentation of the left ventricle | |
| CN103336781A (zh) | 一种医学图像聚类方法 | |
| Zhuang et al. | Progressive detail-content-based similarity retrieval over large lung CT image database based on WSLN model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |