CN112434718A - 基于深度图的新冠肺炎多模态特征提取融合方法及系统 - Google Patents
基于深度图的新冠肺炎多模态特征提取融合方法及系统 Download PDFInfo
- Publication number
- CN112434718A CN112434718A CN202010907271.0A CN202010907271A CN112434718A CN 112434718 A CN112434718 A CN 112434718A CN 202010907271 A CN202010907271 A CN 202010907271A CN 112434718 A CN112434718 A CN 112434718A
- Authority
- CN
- China
- Prior art keywords
- data
- fusion
- graph
- feature extraction
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010035664 Pneumonia Diseases 0.000 title claims abstract description 56
- 238000000605 extraction Methods 0.000 title claims abstract description 35
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 54
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000003745 diagnosis Methods 0.000 claims abstract description 10
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012512 characterization method Methods 0.000 claims description 6
- 230000003902 lesion Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 208000015181 infectious disease Diseases 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于深度图的新冠肺炎多模态特征提取融合方法及系统，融合过程由数据表征和数据融合两个阶段构成，在数据表征阶段，综合利用CT影像数据和临床生理指标数据，采用基于图神经网络的语义分割模型来提取肺炎感染部位的高级ROI特征，接着将提取到的ROI特征和其他临床数据转化为图的结构，利用图嵌入技术构建统一的多模态数据表征空间；在特征融合阶段，基于自注意力机制在医学影像图、生理指标图、医疗报告文本之间进行多模态特征融合和逻辑推理，为新冠肺炎诊断提供数据支撑。
Description
技术领域
本发明属于计算机辅助医学图像处理领域，涉及基于多模态深度图推理的新 冠肺炎影像特征提取及融合方法。
背景技术
目前，世界各国在新冠肺炎的快速诊断和病情评估方面面临着急迫的挑战。 一方面，被奉为确诊金标准的核酸检测方法成本较高、假阳性率较高、耗时较长， 迅速攀升的感染人数造成了挤兑式的医疗检测资源短缺问题；另一方面，对于已 确诊的新冠肺炎患者，缺乏提供有效的实时病情评估数据依据的技术手段，无法 有效支持医护即时针对病情处于不同严重程度的病人制定合理的治疗措施，从而 加速病人的治愈速度、提升治愈率。
CT影像是快速检测新型冠状病毒肺炎最有效的影像学手段之一，它具有灵 敏度高、操作简单、普及率高等特点。然而，由于存在大量无症状感染者肺部 CT影像学表现不明显、医院无法为每位患者做到实时CT检测等问题，怎样有 效利用CT影像，从技术上提供进一步地有效支持，是目前亟待解决的技术问题。
发明内容
针对现有技术存在的不足，本发明提供了一种高效利用多模态医疗检测数据 的基于深度图认知推理的新冠肺炎特征提取及融合方法。
为解决上述技术问题，本发明采用如下的技术方案：
一种基于深度图的新冠肺炎多模态特征提取融合方法，由数据表征和数据融 合两个阶段构成， 在数据表征阶段，综合利用CT影像数据和临床生理指标数据，采用基于图神经 网络的语义分割模型来提取肺炎感染部位的高级ROI特征，接着将提取到的ROI 特征和其他临床数据转化为图的结构，利用图嵌入技术构建统一的多模态数据表 征空间；
在特征融合阶段，基于自注意力机制在医学影像图、生理指标图、医疗报告文本之间进行多模态特征融合和逻辑推理，为新冠肺炎诊断提供数据支撑。
而且，在数据表征阶段，首先进行数据预处理，包括对自然语言文本进行分 词处理，对CT医疗影像进行数据预处理，对结构化数据进行图数据构造；然后 基于图神经网络进行高级病灶分割特征提取。
而且，在数据预处理中，对采集的数据分布进行统计分析，对像素范围进行 裁剪，保留1％到99％之间的像素值，去除异常点，使得图像有较高的对比度； 同时，统计所有图像体素间距，利用平均体素间距对图像进行重采样。
而且，基于图神经网络进行高级病灶分割特征提取，过U-net网络提取医 学影像的特征，得到图像的节点特征矩阵，包括在基于U-net网络的视觉信息编 码阶段实现网络权值的共享，在解码阶段进行多尺度的融合及跳跃连接将底层的 特征信息和高层的特性信息进行融合，从而实现图像的精准分割。
而且，在特征融合阶段，基于自注意力机制和图嵌入表征技术对CT影像数 据、自然语言数据、结构化生理指标数据进行多模态数据融合。
而且，在特征融合阶段中，基于多模态数据融合网络，将由语义分割得到的 多个ROI特征作为图中的节点，构建一个图，从而在各ROI特征之间进行逻辑 推理；对结构化临床数据和流行病学数据，基于相应表的结构，将表中每个样本 的属性进行向量编码后作为图中的节点，将表格信息转化为另一个图，从而在各 属性之间进行逻辑推理。
本发明还提供一种基于深度图的新冠肺炎多模态特征提取融合系统，用于实 现如上所述的一种基于深度图的新冠肺炎多模态特征提取融合方法。
而且，包括以下模块，
第一模块，用于综合利用CT影像数据和临床生理指标数据，采用基于图神 经网络的语义分割模型来提取肺炎感染部位的高级ROI特征，接着将提取到的 ROI特征和其他临床数据转化为图的结构，利用图嵌入技术构建统一的多模态数 据表征空间；
第二模块，用于基于自注意力机制在医学影像图、生理指标图、医疗报告文 本之间进行多模态特征融合和逻辑推理，为新冠肺炎诊断提供数据支撑。
或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用处 理器中的存储指令执行如上所述的一种基于深度图的新冠肺炎多模态特征提取 融合方法。
或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计 算机程序执行时，实现如上所述的一种基于深度图的新冠肺炎多模态特征提取融 合方法。
本发明的有益效果为：
(1)本发明提出了一种能够用于挖掘新冠肺炎轻症期、普通期、重症期、 危重期在影像学特征和临床指标上的差异的方法，为医疗专家认识新冠疫情提供 了辅助的参考数据。
(2)本发明提出了一种自适应的多模态医学数据融合方法，综合利用了CT 影像、医疗报告文本、临床生化检测数据、护理检测指标数据，解决了无症状感 染者缺乏相应数据支持难以确诊、CT影像数据滞后等问题。
(3)本发明的应用，有望为帮助医疗专家确诊新冠患者、为患者制定合理 的治疗方案，提供了宝贵的数据支撑，有助于提升诊断准确率、诊疗效率、治愈 率，可以有效降低由于医疗资源不足造成的社会压力。
附图说明
图1为本发明实施例的基于图神经网络的高级病灶分割特征提取示意图；
图2为本发明实施例的基于自注意力的多模态数据融合网络示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明技术方案，下面结合附图和 实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于 说明和解释本发明，并不用于限定本发明。
本发明实施例公开了一种基于多模态深度图推理的新冠肺炎特征提取融合 方法。该方法由数据表征和特征融合两个阶段构成：
在数据表征阶段，本发明综合利用了CT影像数据、临床生理指标数据，采 用基于图神经网络的语义分割模型来提取肺炎感染部位的高级ROI(感兴趣区 域)特征，接着本发明将提取到的ROI特征和其他临床数据转化为图的结构， 利用图嵌入技术构建了统一的多模态数据表征空间。
在特征融合阶段，基于自注意力机制在医学影像图、生理指标图、医疗报告 文本之间进行多模态特征融合和逻辑推理，实现高效、高准确率、可解释的新冠 肺炎特征提取及融合。
本发明实施例采用Python平台基于Pytorch库实现，Python医学影像读写函 数、nltk自然语言处理函数、图神经网络程序库DGL为实施基础。
实施例中，首先进行数据预处理：对自然语言文本进行分词处理，对CT医 疗影像进行数据预处理，对结构化数据进行图数据构造。具体实现如下：
对采集的数据分布进行统计分析，对像素范围进行裁剪，保留1％到99％之 间的像素值，去除异常点，使得图像有较高的对比度。同时，统计所有图像体素 间距，利用平均体素间距对图像进行重采样。
对于医学影像数据，调用医学影像函数，将医学影像I读入大小为X×Y×Z 的矩阵中，矩阵中各元素为各维度的对应的像素值，Z为医学影像的切片数， X,Y分别为医学影像的长和宽。对于医疗报告数据T，T＝{S1,S2,...,Sn},， S＝{W1,W2,...,Wm}，其中S1,S2,...,Sn为T中的句子向量，共n个，W1,W2,...,Wm为句子向量中的单词向量，共m个，采用nltk自然语言处理函数对文本进行分 词处理。对于图数据，G＝{V,E}，其中V为节点集合、E为边集合，通过DGL 程序库应用GCN模块。Python医学影像读写函数为本技术领域的公共技术，在此不作赘述。
实施例中，基于上述数据进行如下操作：
(1)基于图神经网络的高级病灶分割特征提取：进行基于语义分割的高级 语义特征提取，采用基于深度学习的语义分割模型来精确定位出发生 肺炎感染的部位，并得到相应的含有丰富语义信息的高级ROI特征。
由于新冠肺炎CT影像样本量少，因此本发明需要高效利用影像的语义信息。 这里本发明采用语义分割来定位出感染新冠肺炎的部位，并得到相应的含有丰富 语义信息的高级ROI特征。传统的语义分割只是简单地利用卷积网络进行逐像 素点的分类，这既造成了局部位置信息的丢失，致使分割结果不够精确，也导致 了提取的特征语义信息薄弱、不够鲁棒。为了克服这些问题，本发明拟采用基于 图神经网络的语义分割模型，其通过图(Graph)将各像素点的特征关联起来， 有效利用了像素点之间的位置信息，得到了更为丰富和鲁棒的高级语义特征。
参见图1，本发明通过U-net网络提取医学影像的特征，得到图像的节点特 征矩阵；通过高斯核函数将原始文字、结构化数据的图结构变换为|N|*|N|的特 征矩阵，即带权邻接矩阵，其中N为图中节点个数；将以上两个特征矩阵重采 样后输入给GCN网络，从而进行节点分类。
本发明实现的高级病灶分割特征提取网络中，在基于Unet的视觉信息编码 阶段实现网络权值的共享，在解码阶段进行多尺度的融合及跳跃连接将底层的特 征信息和高层的特性信息进行融合，从而实现图像的精准分割。实施例中，其网 络结构如附图1，共训练200轮，学习率设置为10e-4。
本发明实施例使用U-Net来进一步提取新冠肺炎CT影像的特征，得到影像 的网格特征V；接着，本发明利用卷积网络将影像网格特征扩展为图结构特征 G＝(V,E)，将语义分割问题转化为图节点分类问题；然后，本发明利用谱域上的 图卷积网络来解决这个图节点分类问题。如图1，图卷积神经网络包括输入层 input Layar、隐藏层hidden layer和输出层output layer。例如输入层input Layar 包括节点X1-X4，输出层output layer包括节点Z1-Z4，最终得到分类Y1、Y2。
本发明实施例使用V的邻接矩阵A来表示图的边E，A中每个节点都连接 到其最近的m个节点。考虑到距离对相关性的影响，本发明使用高斯核函数加 权邻接矩阵A。据此，本发明可以得到归一化的拉普拉斯矩阵L：
L＝I-D-1/2AD-1/2 (1)
其中，D为A的度矩阵。对L，有特征值分解L＝UΛUT，其中U是列向量为单 位特征向量的矩阵，Λ是n个特征值构成的对角阵。图卷积公式如下：
gθ(L)*v＝gθ(UΛUT)*v＝Ugθ(Λ)UTv＝Udiag(θ)UTv (2)
其中，gθ(L)为拉普拉斯矩阵L上参数为θ的卷积核，v∈Rn为图中每个顶点 的特征向量，Rn为特征空间。
使用切比雪夫多项式对gθ进行近似，得到：
gθ*v＝θ0v-θ1D-1/2AD-1/2v (3)
其中，θi为第切比雪夫多项式中第i项的系数，i＝0,1。令θ0＝-θ1，得到：
gθ*v＝θ0(I+D-1/2AD-1/2)v (4)
整理得图卷积公式：
其中，
为归一化后的邻接矩阵，vk为更新k步后的节点特征，vk+1为更新k+1 步后的节点特征，
是I+A的度矩阵。
本发明实施例使用的图卷积网络有2层。最终的损失函数Loss为：
Loss＝cross_entropy(FwG(V,E),label) (6)
其中，label为节点标签，cross_entropy()为交叉熵损失，Fw为全连接层， 其将图神经网络的输出映射为相应的类别。根据语义分割的结果，本发明可以得 到感染新冠肺炎的部位对应的ROI，对每个ROI的特征进行池化后，本发明得 到含有丰富语义信息的高级ROI特征。
(2)基于自注意力机制的多模态数据融合：提出数据融合模型，基于多模态数 据和逻辑推理的特征融合，将ROI特征、结构化的临床数据和流行病学数据 均转化为图结构数据，在图之间进行多模态特征融合。
实施例中，除了CT影像，还要利用结构化的临床数据和流行病学数据。为 了支持对新冠肺炎影像进行准确分型和预测，本发明进行多模态数据的融合和特 征重构，并在此基础上进行逻辑推理。对CT影像，本发明将由语义分割得到的 多个ROI特征作为图中的节点，构建一个图G1＝(V,E)，从而在各ROI特征之 间进行逻辑推理。对结构化临床数据和流行病学数据，它们是表的结构，本发明 将表中每个样本的属性进行向量编码后作为图中的节点，将表格信息转化为另一 个图G2＝(V,E)，从而在各属性之间进行逻辑推理。这样本发明就得到了多个图。
为了能够更好地融合多模态数据，如图2所示，本发明实施例设计了一个 GraphTransformer模块，它可以融合转化多个图，使得融合转化后的图不仅包含 本身的信息，还包含了其它图的相关信息，为后续的逻辑推理和肺炎分型及预测 提供了更丰富有效的语义信息。具体做法如下：
对于任意两种不同结构的图G＝(V,E)和G'＝(V',E')，本发明将G的信息 融合转化到G’中，G为源(S)图，G’为目标(T)图，融合转化公式如下：
其中，v′j为目标图中节点j的特征向量，vi为源图中第i个节点的特征限量，N 为源图中节点个数，σ()为注意力模块。
设Ws为d’×d的投影矩阵，
为源图的第i个节点和目标图的第j个节点 之间的边的权重，其通过Attention机制来计算，公式如下：
其中，
为
的估计值，和Ws类似，
和
为vi、v′j相应的投影矩阵，Attention()可以为最简单的点乘操作。对
用softmax函数归一化后得到新的 结果
为了使融合转化的过程更为平稳，本发明对
采用指数滑动平均，这使得对信息更新的同时也保留了之前的信息，公式如下：
其中，λ∈[0,1]为平衡参数，
为采用指数滑动平均后的
在融合转化目标图的同时，对目标图内的节点，本发明也采用Attention机制进行融合转化，其 和图间节点的融合转化类似，只需要把不同的图的不同结点换成同一个图的不同 节点即可，公式如下：
其中Wt为节点的权重矩阵，v'new_j为转换后结果。
具体实施时，可采用软件方式实现流程的自动运行。运行流程的装置也应当 在本发明的保护范围内。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软 件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计 算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也 应当在本发明的保护范围内。
在一些可能的实施例中，提供一种基于深度图的新冠肺炎多模态特征提取融 合系统，包括以下模块，
第一模块，用于综合利用CT影像数据和临床生理指标数据，采用基于图神 经网络的语义分割模型来提取肺炎感染部位的高级ROI特征，接着将提取到的 ROI特征和其他临床数据转化为图的结构，利用图嵌入技术构建统一的多模态数 据表征空间；
第二模块，用于基于自注意力机制在医学影像图、生理指标图、医疗报告文 本之间进行多模态特征融合和逻辑推理，为新冠肺炎诊断提供数据支撑。
在一些可能的实施例中，提供一种基于深度图的新冠肺炎多模态特征提取融 合系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用处理 器中的存储指令执行如上所述的一种基于深度图的新冠肺炎多模态特征提取融 合方法。
在一些可能的实施例中，提供一种基于深度图的新冠肺炎多模态特征提取融 合系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算 机程序执行时，实现如上所述的一种基于深度图的新冠肺炎多模态特征提取融合 方法。
基于本发明提供的方法可以很容易地实现系统装置，本发明不予赘述。
具体实施时，在完成多模态数据融合后，可以将所得融合结果应用于后续数 据自动分类。例如基于自注意力机制在医学影像图、生理指标图、医疗报告文本 之间进行多模态特征融合和逻辑推理后，提供高效、高准确率、可解释的新冠肺 炎诊断和病情评估分型参考。建议的应用方式为：
对每个图中的所有节点采用加权求和后，得到每个图对应的嵌入向量；
接着，将不同图的嵌入向量拼接在一起，得到每个样本的高级结构化特征；
然后，用全连接网络对得到的特征再次进行逻辑推理，得到患者的新冠肺炎 属于轻症期、普通期、重症期、危重期的不同概率。
可以采用交叉熵(cross entropy)作为损失函数训练整个网络。多模态图结 构特征的融合转化提供了更丰富有效的语义信息，使得逻辑推理得到的分型和预 测结果更为准确可靠。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是 对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不 脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发 明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (10)
1.一种基于深度图的新冠肺炎多模态特征提取融合方法，由数据表征和数据融合两个阶段构成，
在数据表征阶段，综合利用CT影像数据和临床生理指标数据，采用基于图神经网络的语义分割模型来提取肺炎感染部位的高级ROI特征，接着将提取到的ROI特征和其他临床数据转化为图的结构，利用图嵌入技术构建统一的多模态数据表征空间；
在特征融合阶段，基于自注意力机制在医学影像图、生理指标图、医疗报告文本之间进行多模态特征融合和逻辑推理，为新冠肺炎诊断提供数据支撑。
2.根据权利要求1所述基于深度图的新冠肺炎多模态特征提取融合方法，其特征在于：在数据表征阶段，首先进行数据预处理，包括对自然语言文本进行分词处理，对CT医疗影像进行数据预处理，对结构化数据进行图数据构造；然后基于图神经网络进行高级病灶分割特征提取。
3.根据权利要求2所述基于深度图的新冠肺炎多模态特征提取融合方法，其特征在于：在数据预处理中，对采集的数据分布进行统计分析，对像素范围进行裁剪，保留1％到99％之间的像素值，去除异常点，使得图像有较高的对比度；同时，统计所有图像体素间距，利用平均体素间距对图像进行重采样。
4.根据权利要求2所述基于深度图的新冠肺炎多模态特征提取融合方法，其特征在于：基于图神经网络进行高级病灶分割特征提取，过U-net网络提取医学影像的特征，得到图像的节点特征矩阵，包括在基于U-net网络的视觉信息编码阶段实现网络权值的共享，在解码阶段进行多尺度的融合及跳跃连接将底层的特征信息和高层的特性信息进行融合，从而实现图像的精准分割。
5.根据权利要求1或2或3或4所述基于深度图的新冠肺炎多模态特征提取融合方法，其特征在于：在特征融合阶段，基于自注意力机制和图嵌入表征技术对CT影像数据、自然语言数据、结构化生理指标数据进行多模态数据融合。
6.根据权利要求5所述基于深度图的新冠肺炎多模态特征提取融合方法，其特征在于：在特征融合阶段中，基于多模态数据融合网络，将由语义分割得到的多个ROI特征作为图中的节点，构建一个图，从而在各ROI特征之间进行逻辑推理；对结构化临床数据和流行病学数据，基于相应表的结构，将表中每个样本的属性进行向量编码后作为图中的节点，将表格信息转化为另一个图，从而在各属性之间进行逻辑推理。
7.一种基于深度图的新冠肺炎多模态特征提取融合系统，其特征在于：用于实现如权利要求1-6任一项所述的一种基于深度图的新冠肺炎多模态特征提取融合方法。
8.根据权利要求7所述基于深度图的新冠肺炎多模态特征提取融合系统，其特征在于：包括以下模块，
第一模块，用于综合利用CT影像数据和临床生理指标数据，采用基于图神经网络的语义分割模型来提取肺炎感染部位的高级ROI特征，接着将提取到的ROI特征和其他临床数据转化为图的结构，利用图嵌入技术构建统一的多模态数据表征空间；
第二模块，用于基于自注意力机制在医学影像图、生理指标图、医疗报告文本之间进行多模态特征融合和逻辑推理，为新冠肺炎诊断提供数据支撑。
9.根据权利要求7所述基于深度图的新冠肺炎多模态特征提取融合系统，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用处理器中的存储指令执行如权利要求1-6任一项所述的一种基于深度图的新冠肺炎多模态特征提取融合方法。
10.根据权利要求7所述基于深度图的新冠肺炎多模态特征提取融合系统，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-6任一项所述的一种基于深度图的新冠肺炎多模态特征提取融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010907271.0A CN112434718B (zh) | 2020-09-02 | 2020-09-02 | 基于深度图的新冠肺炎多模态特征提取融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010907271.0A CN112434718B (zh) | 2020-09-02 | 2020-09-02 | 基于深度图的新冠肺炎多模态特征提取融合方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112434718A true CN112434718A (zh) | 2021-03-02 |
| CN112434718B CN112434718B (zh) | 2023-04-18 |
Family
ID=74689985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010907271.0A Active CN112434718B (zh) | 2020-09-02 | 2020-09-02 | 基于深度图的新冠肺炎多模态特征提取融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112434718B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159156A (zh) * | 2021-04-15 | 2021-07-23 | 南通大学 | 一种用于宫颈癌数据分类的粗糙图卷积方法 |
| CN113223723A (zh) * | 2021-05-11 | 2021-08-06 | 胡敏雄 | 一种多模态肾肿瘤保肾手术难度和并发症的预测方法 |
| CN113868374A (zh) * | 2021-09-15 | 2021-12-31 | 西安交通大学 | 基于多头注意力机制的图卷积网络生物医学信息提取方法 |
| CN114821254A (zh) * | 2022-03-18 | 2022-07-29 | 武汉大学 | 一种基于深度学习的新冠肺炎重症检测模型的构建方法及系统 |
| CN116883329A (zh) * | 2023-06-21 | 2023-10-13 | 东软集团(广州)有限公司 | 一种医学ct影像的数据分析方法、装置及相关产品 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259804A (zh) * | 2020-01-16 | 2020-06-09 | 合肥工业大学 | 一种基于图卷积的多模态融合手语识别系统及方法 |
| CN111444960A (zh) * | 2020-03-26 | 2020-07-24 | 上海交通大学 | 基于多模态数据输入的皮肤病图像分类系统 |
| CN111598214A (zh) * | 2020-04-02 | 2020-08-28 | 浙江工业大学 | 一种基于图卷积神经网络的跨模态检索方法 |
-
2020
- 2020-09-02 CN CN202010907271.0A patent/CN112434718B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259804A (zh) * | 2020-01-16 | 2020-06-09 | 合肥工业大学 | 一种基于图卷积的多模态融合手语识别系统及方法 |
| CN111444960A (zh) * | 2020-03-26 | 2020-07-24 | 上海交通大学 | 基于多模态数据输入的皮肤病图像分类系统 |
| CN111598214A (zh) * | 2020-04-02 | 2020-08-28 | 浙江工业大学 | 一种基于图卷积神经网络的跨模态检索方法 |
Non-Patent Citations (5)
| Title |
|---|
| KITTIPAT KAMPA, ET.AL: "Dynamic factor graphs: A novel framework for multiple features data fusion", 《IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING》 * |
| MICHAEL J. HORRY, ET.AL: "COVID-19 Detection Through Transfer Learning Using Multimodal Imaging Data", 《IEEE ACCESS》 * |
| 仝宗和: "图卷积神经网络理论与应用", 《信息技术与信息化》 * |
| 唐迁等: "COVID-19 CT影像智能诊断系统", 《武汉大学学报(信息科学版)》 * |
| 张向荣等: "《人工智能前沿技术丛书 模式识别》", 30 September 2019, 西安电子科技大学出版社 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159156A (zh) * | 2021-04-15 | 2021-07-23 | 南通大学 | 一种用于宫颈癌数据分类的粗糙图卷积方法 |
| CN113223723A (zh) * | 2021-05-11 | 2021-08-06 | 胡敏雄 | 一种多模态肾肿瘤保肾手术难度和并发症的预测方法 |
| CN113223723B (zh) * | 2021-05-11 | 2023-08-25 | 福建省立医院 | 一种多模态肾肿瘤保肾手术难度和并发症的预测方法 |
| CN113868374A (zh) * | 2021-09-15 | 2021-12-31 | 西安交通大学 | 基于多头注意力机制的图卷积网络生物医学信息提取方法 |
| CN113868374B (zh) * | 2021-09-15 | 2024-04-12 | 西安交通大学 | 基于多头注意力机制的图卷积网络生物医学信息提取方法 |
| CN114821254A (zh) * | 2022-03-18 | 2022-07-29 | 武汉大学 | 一种基于深度学习的新冠肺炎重症检测模型的构建方法及系统 |
| CN114821254B (zh) * | 2022-03-18 | 2024-08-09 | 武汉大学 | 一种基于深度学习的新冠肺炎重症检测模型的构建方法及系统 |
| CN116883329A (zh) * | 2023-06-21 | 2023-10-13 | 东软集团(广州)有限公司 | 一种医学ct影像的数据分析方法、装置及相关产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112434718B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112434718B (zh) | 基于深度图的新冠肺炎多模态特征提取融合方法及系统 | |
| Dildar et al. | Skin cancer detection: a review using deep learning techniques | |
| Habib et al. | Ensemble of CheXNet and VGG-19 feature extractor with random forest classifier for pediatric pneumonia detection | |
| CN113241135A (zh) | 一种基于多模态融合的疾病风险预测方法和系统 | |
| WO2016192612A1 (zh) | 基于深度学习对医疗数据进行分析的方法及其智能分析仪 | |
| CN107516110A (zh) | 一种基于集成卷积编码的医疗问答语义聚类方法 | |
| Jaiswal et al. | Covidpen: A novel covid-19 detection model using chest x-rays and ct scans | |
| Awotunde et al. | An improved machine learnings diagnosis technique for COVID-19 pandemic using chest X-ray images | |
| WO2020224433A1 (zh) | 基于机器学习的目标对象属性预测方法及相关设备 | |
| Zhou et al. | Cohesive multi-modality feature learning and fusion for COVID-19 patient severity prediction | |
| CN113033321A (zh) | 目标行人属性识别模型的训练方法及行人属性识别方法 | |
| CN116884623B (zh) | 基于激光扫描成像的医疗康复预测系统 | |
| Abbas et al. | Enhanced Skin Disease Diagnosis through Convolutional Neural Networks and Data Augmentation Techniques | |
| CN113392254A (zh) | 一种基于上下文感知注意的图像文本检索方法 | |
| CN116129141A (zh) | 医学数据处理方法、装置、设备、介质和计算机程序产品 | |
| CN114065744B (zh) | 中文电子病历手术操作文本的icd自动编码方法及装置 | |
| Ameen et al. | Explainable residual network for tuberculosis classification in the IoT era | |
| CN112216379A (zh) | 一种基于智能联合学习的疾病诊断系统 | |
| Sun et al. | TSRNet: Diagnosis of COVID-19 based on self-supervised learning and hybrid ensemble model | |
| CN113987188A (zh) | 一种短文本分类方法、装置及电子设备 | |
| CN116612843B (zh) | 一种心理测评掩饰性行为识别方法及系统 | |
| CN116797817A (zh) | 基于自监督图卷积模型的自闭症疾病预测技术 | |
| Darapaneni et al. | Explainable diagnosis, lesion segmentation and quantification of COVID-19 infection from CT images using convolutional neural networks | |
| Naveen et al. | COVID salvation: A theoretical model for Predicting coronavirus from chest radiology imagery | |
| CN116434951A (zh) | 疾病预警方法、装置、电子设备、存储介质以及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |