CN112434718B - 基于深度图的新冠肺炎多模态特征提取融合方法及系统 - Google Patents

基于深度图的新冠肺炎多模态特征提取融合方法及系统 Download PDF

Info

Publication number
CN112434718B
CN112434718B CN202010907271.0A CN202010907271A CN112434718B CN 112434718 B CN112434718 B CN 112434718B CN 202010907271 A CN202010907271 A CN 202010907271A CN 112434718 B CN112434718 B CN 112434718B
Authority
CN
China
Prior art keywords
data
fusion
graph
depth map
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010907271.0A
Other languages
English (en)
Other versions
CN112434718A (zh
Inventor
杜博
熊宇轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010907271.0A priority Critical patent/CN112434718B/zh
Publication of CN112434718A publication Critical patent/CN112434718A/zh
Application granted granted Critical
Publication of CN112434718B publication Critical patent/CN112434718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于深度图的新冠肺炎多模态特征提取融合方法及系统，融合过程由数据表征和数据融合两个阶段构成，在数据表征阶段，综合利用CT影像数据和临床生理指标数据，采用基于图神经网络的语义分割模型来提取肺炎感染部位的高级ROI特征，接着将提取到的ROI特征和其他临床数据转化为图的结构，利用图嵌入技术构建统一的多模态数据表征空间；在特征融合阶段，基于自注意力机制在医学影像图、生理指标图、医疗报告文本之间进行多模态特征融合和逻辑推理，为新冠肺炎诊断提供数据支撑。

Description

基于深度图的新冠肺炎多模态特征提取融合方法及系统
技术领域
本发明属于计算机辅助医学图像处理领域，涉及基于多模态深度图推理的新冠肺炎影像特征提取及融合方法。
背景技术
目前，世界各国在新冠肺炎的快速诊断和病情评估方面面临着急迫的挑战。一方面，被奉为确诊金标准的核酸检测方法成本较高、假阳性率较高、耗时较长，迅速攀升的感染人数造成了挤兑式的医疗检测资源短缺问题；另一方面，对于已确诊的新冠肺炎患者，缺乏提供有效的实时病情评估数据依据的技术手段，无法有效支持医护即时针对病情处于不同严重程度的病人制定合理的治疗措施，从而加速病人的治愈速度、提升治愈率。
CT影像是快速检测新型冠状病毒肺炎最有效的影像学手段之一，它具有灵敏度高、操作简单、普及率高等特点。然而，由于存在大量无症状感染者肺部CT影像学表现不明显、医院无法为每位患者做到实时CT检测等问题，怎样有效利用CT影像，从技术上提供进一步地有效支持，是目前亟待解决的技术问题。
发明内容
针对现有技术存在的不足，本发明提供了一种高效利用多模态医疗检测数据的基于深度图认知推理的新冠肺炎特征提取及融合方法。
为解决上述技术问题，本发明采用如下的技术方案：
一种基于深度图的新冠肺炎多模态特征提取融合方法，由数据表征和数据融合两个阶段构成，在数据表征阶段，综合利用CT影像数据和临床生理指标数据，采用基于图神经网络的语义分割模型来提取肺炎感染部位的高级ROI特征，接着将提取到的ROI特征和其他临床数据转化为图的结构，利用图嵌入技术构建统一的多模态数据表征空间；
在特征融合阶段，基于自注意力机制在医学影像图、生理指标图、医疗报告文本之间进行多模态特征融合和逻辑推理，为新冠肺炎诊断提供数据支撑。
而且，在数据表征阶段，首先进行数据预处理，包括对自然语言文本进行分词处理，对CT医疗影像进行数据预处理，对结构化数据进行图数据构造；然后基于图神经网络进行高级病灶分割特征提取。
而且，在数据预处理中，对采集的数据分布进行统计分析，对像素范围进行裁剪，保留1％到99％之间的像素值，去除异常点，使得图像有较高的对比度；同时，统计所有图像体素间距，利用平均体素间距对图像进行重采样。
而且，基于图神经网络进行高级病灶分割特征提取，过U-net网络提取医学影像的特征，得到图像的节点特征矩阵，包括在基于U-net网络的视觉信息编码阶段实现网络权值的共享，在解码阶段进行多尺度的融合及跳跃连接将底层的特征信息和高层的特性信息进行融合，从而实现图像的精准分割。
而且，在特征融合阶段，基于自注意力机制和图嵌入表征技术对CT影像数据、自然语言数据、结构化生理指标数据进行多模态数据融合。
而且，在特征融合阶段中，基于多模态数据融合网络，将由语义分割得到的多个ROI特征作为图中的节点，构建一个图，从而在各ROI特征之间进行逻辑推理；对结构化临床数据和流行病学数据，基于相应表的结构，将表中每个样本的属性进行向量编码后作为图中的节点，将表格信息转化为另一个图，从而在各属性之间进行逻辑推理。
本发明还提供一种基于深度图的新冠肺炎多模态特征提取融合系统，用于实现如上所述的一种基于深度图的新冠肺炎多模态特征提取融合方法。
而且，包括以下模块，
第一模块，用于综合利用CT影像数据和临床生理指标数据，采用基于图神经网络的语义分割模型来提取肺炎感染部位的高级ROI特征，接着将提取到的ROI特征和其他临床数据转化为图的结构，利用图嵌入技术构建统一的多模态数据表征空间；
第二模块，用于基于自注意力机制在医学影像图、生理指标图、医疗报告文本之间进行多模态特征融合和逻辑推理，为新冠肺炎诊断提供数据支撑。
或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用处理器中的存储指令执行如上所述的一种基于深度图的新冠肺炎多模态特征提取融合方法。
或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于深度图的新冠肺炎多模态特征提取融合方法。
本发明的有益效果为：
(1)本发明提出了一种能够用于挖掘新冠肺炎轻症期、普通期、重症期、危重期在影像学特征和临床指标上的差异的方法，为医疗专家认识新冠疫情提供了辅助的参考数据。
(2)本发明提出了一种自适应的多模态医学数据融合方法，综合利用了CT影像、医疗报告文本、临床生化检测数据、护理检测指标数据，解决了无症状感染者缺乏相应数据支持难以确诊、CT影像数据滞后等问题。
(3)本发明的应用，有望为帮助医疗专家确诊新冠患者、为患者制定合理的治疗方案，提供了宝贵的数据支撑，有助于提升诊断准确率、诊疗效率、治愈率，可以有效降低由于医疗资源不足造成的社会压力。
附图说明
图1为本发明实施例的基于图神经网络的高级病灶分割特征提取示意图；
图2为本发明实施例的基于自注意力的多模态数据融合网络示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明技术方案，下面结合附图和实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例公开了一种基于多模态深度图推理的新冠肺炎特征提取融合方法。该方法由数据表征和特征融合两个阶段构成：
在数据表征阶段，本发明综合利用了CT影像数据、临床生理指标数据，采用基于图神经网络的语义分割模型来提取肺炎感染部位的高级ROI(感兴趣区域)特征，接着本发明将提取到的ROI特征和其他临床数据转化为图的结构，利用图嵌入技术构建了统一的多模态数据表征空间。
在特征融合阶段，基于自注意力机制在医学影像图、生理指标图、医疗报告文本之间进行多模态特征融合和逻辑推理，实现高效、高准确率、可解释的新冠肺炎特征提取及融合。
本发明实施例采用Python平台基于Pytorch库实现，Python医学影像读写函数、nltk自然语言处理函数、图神经网络程序库DGL为实施基础。
实施例中，首先进行数据预处理：对自然语言文本进行分词处理，对CT医疗影像进行数据预处理，对结构化数据进行图数据构造。具体实现如下：
对采集的数据分布进行统计分析，对像素范围进行裁剪，保留1％到99％之间的像素值，去除异常点，使得图像有较高的对比度。同时，统计所有图像体素间距，利用平均体素间距对图像进行重采样。
对于医学影像数据，调用医学影像函数，将医学影像I读入大小为X×Y×Z的矩阵中，矩阵中各元素为各维度的对应的像素值，Z为医学影像的切片数，X,Y分别为医学影像的长和宽。对于医疗报告数据T，T＝{S1,S2,...,Sn},，S＝{W1,W2,...,Wm}，其中S1,S2,...,Sn为T中的句子向量，共n个，W1,W2,...,Wm为句子向量中的单词向量，共m个，采用nltk自然语言处理函数对文本进行分词处理。对于图数据，G＝{V,E}，其中V为节点集合、E为边集合，通过DGL程序库应用GCN模块。Python医学影像读写函数为本技术领域的公共技术，在此不作赘述。
实施例中，基于上述数据进行如下操作：
(1)基于图神经网络的高级病灶分割特征提取：进行基于语义分割的高级语义特征提取，采用基于深度学习的语义分割模型来精确定位出发生肺炎感染的部位，并得到相应的含有丰富语义信息的高级ROI特征。
由于新冠肺炎CT影像样本量少，因此本发明需要高效利用影像的语义信息。这里本发明采用语义分割来定位出感染新冠肺炎的部位，并得到相应的含有丰富语义信息的高级ROI特征。传统的语义分割只是简单地利用卷积网络进行逐像素点的分类，这既造成了局部位置信息的丢失，致使分割结果不够精确，也导致了提取的特征语义信息薄弱、不够鲁棒。为了克服这些问题，本发明拟采用基于图神经网络的语义分割模型，其通过图(Graph)将各像素点的特征关联起来，有效利用了像素点之间的位置信息，得到了更为丰富和鲁棒的高级语义特征。
参见图1，本发明通过U-net网络提取医学影像的特征，得到图像的节点特征矩阵；通过高斯核函数将原始文字、结构化数据的图结构变换为|N|*|N|的特征矩阵，即带权邻接矩阵，其中N为图中节点个数；将以上两个特征矩阵重采样后输入给GCN网络，从而进行节点分类。
本发明实现的高级病灶分割特征提取网络中，在基于Unet的视觉信息编码阶段实现网络权值的共享，在解码阶段进行多尺度的融合及跳跃连接将底层的特征信息和高层的特性信息进行融合，从而实现图像的精准分割。实施例中，其网络结构如附图1，共训练200轮，学习率设置为10e-4。
本发明实施例使用U-Net来进一步提取新冠肺炎CT影像的特征，得到影像的网格特征V；接着，本发明利用卷积网络将影像网格特征扩展为图结构特征G＝(V,E)，将语义分割问题转化为图节点分类问题；然后，本发明利用谱域上的图卷积网络来解决这个图节点分类问题。如图1，图卷积神经网络包括输入层input Layar、隐藏层hidden layer和输出层output layer。例如输入层input Layar包括节点X1-X4，输出层output layer包括节点Z1-Z4，最终得到分类Y1、Y2。
本发明实施例使用V的邻接矩阵A来表示图的边E，A中每个节点都连接到其最近的m个节点。考虑到距离对相关性的影响，本发明使用高斯核函数加权邻接矩阵A。据此，本发明可以得到归一化的拉普拉斯矩阵L：
L＝I-D-1/2AD-1/2 (1)
其中，D为A的度矩阵。对L，有特征值分解L＝UΛUT，其中U是列向量为单位特征向量的矩阵，Λ是n个特征值构成的对角阵。图卷积公式如下：
gθ(L)*v＝gθ(UΛUT)*v＝Ugθ(Λ)UTv＝Udiag(θ)UTv (2)
其中，gθ(L)为拉普拉斯矩阵L上参数为θ的卷积核，v∈Rn为图中每个顶点的特征向量，Rn为特征空间。
使用切比雪夫多项式对gθ进行近似，得到：
gθ*v＝θ0v-θ1D-1/2AD-1/2v (3)
其中，θi为第切比雪夫多项式中第i项的系数，i＝0,1。令θ0＝-θ1，得到：
gθ*v＝θ0(I+D-1/2AD-1/2)v (4)
整理得图卷积公式：
Figure GDA0002902642770000051
其中，
Figure GDA0002902642770000052
为归一化后的邻接矩阵，vk为更新k步后的节点特征，vk+1为更新k+1步后的节点特征，
Figure GDA0002902642770000053
是I+A的度矩阵。
本发明实施例使用的图卷积网络有2层。最终的损失函数Loss为：
Loss＝cross_entropy(FwG(V,E),label) (6)
其中，label为节点标签，cross_entropy()为交叉熵损失，Fw为全连接层，其将图神经网络的输出映射为相应的类别。根据语义分割的结果，本发明可以得到感染新冠肺炎的部位对应的ROI，对每个ROI的特征进行池化后，本发明得到含有丰富语义信息的高级ROI特征。
(2)基于自注意力机制的多模态数据融合：提出数据融合模型，基于多模态数据和逻辑推理的特征融合，将ROI特征、结构化的临床数据和流行病学数据均转化为图结构数据，在图之间进行多模态特征融合。
实施例中，除了CT影像，还要利用结构化的临床数据和流行病学数据。为了支持对新冠肺炎影像进行准确分型和预测，本发明进行多模态数据的融合和特征重构，并在此基础上进行逻辑推理。对CT影像，本发明将由语义分割得到的多个ROI特征作为图中的节点，构建一个图G1＝(V,E)，从而在各ROI特征之间进行逻辑推理。对结构化临床数据和流行病学数据，它们是表的结构，本发明将表中每个样本的属性进行向量编码后作为图中的节点，将表格信息转化为另一个图G2＝(V,E)，从而在各属性之间进行逻辑推理。这样本发明就得到了多个图。
为了能够更好地融合多模态数据，如图2所示，本发明实施例设计了一个GraphTransformer模块，它可以融合转化多个图，使得融合转化后的图不仅包含本身的信息，还包含了其它图的相关信息，为后续的逻辑推理和肺炎分型及预测提供了更丰富有效的语义信息。具体做法如下：
对于任意两种不同结构的图G＝(V,E)和G'＝(V',E')，本发明将G的信息融合转化到G’中，G为源(S)图，G’为目标(T)图，融合转化公式如下：
Figure GDA0002902642770000061
其中，v’j为目标图中节点j的特征向量，vi为源图中第i个节点的特征限量，N为源图中节点个数，σ()为注意力模块。
设Ws为d’×d的投影矩阵，
Figure GDA0002902642770000062
为源图的第i个节点和目标图的第j个节点之间的边的权重，其通过Attention机制来计算，公式如下：
Figure GDA0002902642770000063
其中，
Figure GDA0002902642770000064
为
Figure GDA0002902642770000065
的估计值，和Ws类似，
Figure GDA0002902642770000066
和
Figure GDA0002902642770000067
为vi、v′j相应的投影矩阵，Attention()可以为最简单的点乘操作。对
Figure GDA0002902642770000071
用softmax函数归一化后得到新的结果
Figure GDA0002902642770000072
Figure GDA0002902642770000073
为了使融合转化的过程更为平稳，本发明对
Figure GDA0002902642770000074
采用指数滑动平均，这使得对信息更新的同时也保留了之前的信息，公式如下：
Figure GDA0002902642770000075
其中，λ∈[0,1]为平衡参数，
Figure GDA0002902642770000076
为采用指数滑动平均后的
Figure GDA0002902642770000077
在融合转化目标图的同时，对目标图内的节点，本发明也采用Attention机制进行融合转化，其和图间节点的融合转化类似，只需要把不同的图的不同结点换成同一个图的不同节点即可，公式如下：
Figure GDA0002902642770000078
其中Wt为节点的权重矩阵，v'new_j为转换后结果。
具体实施时，可采用软件方式实现流程的自动运行。运行流程的装置也应当在本发明的保护范围内。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种基于深度图的新冠肺炎多模态特征提取融合系统，包括以下模块，
第一模块，用于综合利用CT影像数据和临床生理指标数据，采用基于图神经网络的语义分割模型来提取肺炎感染部位的高级ROI特征，接着将提取到的ROI特征和其他临床数据转化为图的结构，利用图嵌入技术构建统一的多模态数据表征空间；
第二模块，用于基于自注意力机制在医学影像图、生理指标图、医疗报告文本之间进行多模态特征融合和逻辑推理，为新冠肺炎诊断提供数据支撑。
在一些可能的实施例中，提供一种基于深度图的新冠肺炎多模态特征提取融合系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用处理器中的存储指令执行如上所述的一种基于深度图的新冠肺炎多模态特征提取融合方法。
在一些可能的实施例中，提供一种基于深度图的新冠肺炎多模态特征提取融合系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于深度图的新冠肺炎多模态特征提取融合方法。
基于本发明提供的方法可以很容易地实现系统装置，本发明不予赘述。
具体实施时，在完成多模态数据融合后，可以将所得融合结果应用于后续数据自动分类。例如基于自注意力机制在医学影像图、生理指标图、医疗报告文本之间进行多模态特征融合和逻辑推理后，提供高效、高准确率、可解释的新冠肺炎诊断和病情评估分型参考。建议的应用方式为：
对每个图中的所有节点采用加权求和后，得到每个图对应的嵌入向量；
接着，将不同图的嵌入向量拼接在一起，得到每个样本的高级结构化特征；
然后，用全连接网络对得到的特征再次进行逻辑推理，得到患者的新冠肺炎属于轻症期、普通期、重症期、危重期的不同概率。
可以采用交叉熵(cross entropy)作为损失函数训练整个网络。多模态图结构特征的融合转化提供了更丰富有效的语义信息，使得逻辑推理得到的分型和预测结果更为准确可靠。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (10)

1.一种基于深度图的新冠肺炎多模态特征提取融合方法，由数据表征和数据融合两个阶段构成，
在数据表征阶段，综合利用CT影像数据和临床生理指标数据，采用基于图神经网络的语义分割模型来提取肺炎感染部位的高级ROI特征，接着将提取到的ROI特征和其他临床数据转化为图的结构，利用图嵌入技术构建统一的多模态数据表征空间；其中ROI为感兴趣区域；
在特征融合阶段，基于自注意力机制在医学影像图、生理指标图、医疗报告文本之间进行多模态特征融合和逻辑推理，为新冠肺炎诊断提供数据支撑。
2.根据权利要求1所述基于深度图的新冠肺炎多模态特征提取融合方法，其特征在于：在数据表征阶段，首先进行数据预处理，包括对自然语言文本进行分词处理，对CT医疗影像进行数据预处理，对结构化数据进行图数据构造；然后基于图神经网络进行高级病灶分割特征提取。
3.根据权利要求2所述基于深度图的新冠肺炎多模态特征提取融合方法，其特征在于：在数据预处理中，对采集的数据分布进行统计分析，对像素范围进行裁剪，保留1％到99％之间的像素值，去除异常点，使得图像有较高的对比度；同时，统计所有图像体素间距，利用平均体素间距对图像进行重采样。
4.根据权利要求2所述基于深度图的新冠肺炎多模态特征提取融合方法，其特征在于：基于图神经网络进行高级病灶分割特征提取，通过U-net网络提取医学影像的特征，得到图像的节点特征矩阵，包括在基于U-net网络的视觉信息编码阶段实现网络权值的共享，在解码阶段进行多尺度的融合及跳跃连接将底层的特征信息和高层的特性信息进行融合，从而实现图像的精准分割。
5.根据权利要求1或2或3或4所述基于深度图的新冠肺炎多模态特征提取融合方法，其特征在于：在特征融合阶段，基于自注意力机制和图嵌入表征技术对CT影像数据、自然语言数据、结构化生理指标数据进行多模态数据融合。
6.根据权利要求5所述基于深度图的新冠肺炎多模态特征提取融合方法，其特征在于：在特征融合阶段中，基于多模态数据融合网络，将由语义分割得到的多个ROI特征作为图中的节点，构建一个图，从而在各ROI特征之间进行逻辑推理；对结构化临床数据和流行病学数据，基于相应表的结构，将表中每个样本的属性进行向量编码后作为图中的节点，将表格信息转化为另一个图，从而在各属性之间进行逻辑推理。
7.一种基于深度图的新冠肺炎多模态特征提取融合系统，其特征在于：用于实现如权利要求1-6任一项所述的一种基于深度图的新冠肺炎多模态特征提取融合方法。
8.根据权利要求7所述基于深度图的新冠肺炎多模态特征提取融合系统，其特征在于：包括以下模块，
第一模块，用于综合利用CT影像数据和临床生理指标数据，采用基于图神经网络的语义分割模型来提取肺炎感染部位的高级ROI特征，接着将提取到的ROI特征和其他临床数据转化为图的结构，利用图嵌入技术构建统一的多模态数据表征空间；
第二模块，用于基于自注意力机制在医学影像图、生理指标图、医疗报告文本之间进行多模态特征融合和逻辑推理，为新冠肺炎诊断提供数据支撑。
9.根据权利要求7所述基于深度图的新冠肺炎多模态特征提取融合系统，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用处理器中的存储指令执行如权利要求1-6任一项所述的一种基于深度图的新冠肺炎多模态特征提取融合方法。
10.根据权利要求7所述基于深度图的新冠肺炎多模态特征提取融合系统，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-6任一项所述的一种基于深度图的新冠肺炎多模态特征提取融合方法。
CN202010907271.0A 2020-09-02 2020-09-02 基于深度图的新冠肺炎多模态特征提取融合方法及系统 Active CN112434718B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010907271.0A CN112434718B (zh) 2020-09-02 2020-09-02 基于深度图的新冠肺炎多模态特征提取融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010907271.0A CN112434718B (zh) 2020-09-02 2020-09-02 基于深度图的新冠肺炎多模态特征提取融合方法及系统

Publications (2)

Publication Number Publication Date
CN112434718A CN112434718A (zh) 2021-03-02
CN112434718B true CN112434718B (zh) 2023-04-18

Family

ID=74689985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010907271.0A Active CN112434718B (zh) 2020-09-02 2020-09-02 基于深度图的新冠肺炎多模态特征提取融合方法及系统

Country Status (1)

Country Link
CN (1) CN112434718B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159156B (zh) * 2021-04-15 2023-04-18 南通大学 一种用于宫颈癌数据分类的粗糙图卷积方法
CN113223723B (zh) * 2021-05-11 2023-08-25 福建省立医院 一种多模态肾肿瘤保肾手术难度和并发症的预测方法
CN113868374B (zh) * 2021-09-15 2024-04-12 西安交通大学 基于多头注意力机制的图卷积网络生物医学信息提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259804A (zh) * 2020-01-16 2020-06-09 合肥工业大学 一种基于图卷积的多模态融合手语识别系统及方法
CN111444960A (zh) * 2020-03-26 2020-07-24 上海交通大学 基于多模态数据输入的皮肤病图像分类系统
CN111598214A (zh) * 2020-04-02 2020-08-28 浙江工业大学 一种基于图卷积神经网络的跨模态检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259804A (zh) * 2020-01-16 2020-06-09 合肥工业大学 一种基于图卷积的多模态融合手语识别系统及方法
CN111444960A (zh) * 2020-03-26 2020-07-24 上海交通大学 基于多模态数据输入的皮肤病图像分类系统
CN111598214A (zh) * 2020-04-02 2020-08-28 浙江工业大学 一种基于图卷积神经网络的跨模态检索方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
COVID-19 CT影像智能诊断系统;唐迁等;《武汉大学学报(信息科学版)》;20200619;第45卷(第6期);全文 *
COVID-19 Detection Through Transfer Learning Using Multimodal Imaging Data;Michael J. Horry, et.al;《IEEE Access》;IEEE;20200814;第8卷;全文 *
Dynamic factor graphs: A novel framework for multiple features data fusion;Kittipat Kampa, et.al;《IEEE International Conference on Acoustics, Speech and Signal Processing》;20100628;全文 *
图卷积神经网络理论与应用;仝宗和;《信息技术与信息化》;20200228(第2期);全文 *
张向荣等.图卷积推导.《人工智能前沿技术丛书 模式识别》.西安电子科技大学出版社,2019,第211-217页. *

Also Published As

Publication number Publication date
CN112434718A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
Dildar et al. Skin cancer detection: a review using deep learning techniques
CN112434718B (zh) 基于深度图的新冠肺炎多模态特征提取融合方法及系统
CN110459287B (zh) 来自医学文本报告的结构化报告数据
WO2016192612A1 (zh) 基于深度学习对医疗数据进行分析的方法及其智能分析仪
CN113241135A (zh) 一种基于多模态融合的疾病风险预测方法和系统
Jaiswal et al. Covidpen: A novel covid-19 detection model using chest x-rays and ct scans
WO2020224433A1 (zh) 基于机器学习的目标对象属性预测方法及相关设备
CN112732921B (zh) 一种虚假用户评论检测方法及系统
Fan et al. GFNet: Automatic segmentation of COVID-19 lung infection regions using CT images based on boundary features
CN113033321A (zh) 目标行人属性识别模型的训练方法及行人属性识别方法
CN115359873B (zh) 用于手术质量的控制方法
Xu et al. Intelligent emotion detection method based on deep learning in medical and health data
CN116884623B (zh) 基于激光扫描成像的医疗康复预测系统
Zhou et al. Cohesive multi-modality feature learning and fusion for COVID-19 patient severity prediction
CN113077001A (zh) 一种基于生成型张量网络的医学图像分类系统
Shoaib et al. Hybrid classification structures for automatic COVID-19 detection
CN116129141A (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
CN116883768A (zh) 基于多模态特征融合的肺结节智能分级方法及系统
CN112216379A (zh) 一种基于智能联合学习的疾病诊断系统
CN113392254A (zh) 一种基于上下文感知注意的图像文本检索方法
CN111950646A (zh) 电磁图像的层次化知识模型构建方法及目标识别方法
Hanif et al. Role of CBIR In a Different fields-An Empirical Review
CN115457329B (zh) 图像分类模型的训练方法、图像分类方法和装置
CN114299342B (zh) 一种基于深度学习的多标记图片分类中未知标记分类方法
CN116313141A (zh) 一种基于知识图谱的不明原因发热智能问诊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant