CN114446486A - 基于多模态图编码的传染病风险评估方法和系统 - Google Patents

基于多模态图编码的传染病风险评估方法和系统 Download PDF

Info

Publication number
CN114446486A
CN114446486A CN202111609779.3A CN202111609779A CN114446486A CN 114446486 A CN114446486 A CN 114446486A CN 202111609779 A CN202111609779 A CN 202111609779A CN 114446486 A CN114446486 A CN 114446486A
Authority
CN
China
Prior art keywords
image
sample
graph
coding
infectious disease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111609779.3A
Other languages
English (en)
Inventor
胡利荣
尤堃
张跃华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Feitu Imaging Technology Co ltd
Original Assignee
Zhejiang Feitu Imaging Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Feitu Imaging Technology Co ltd filed Critical Zhejiang Feitu Imaging Technology Co ltd
Priority to CN202111609779.3A priority Critical patent/CN114446486A/zh
Publication of CN114446486A publication Critical patent/CN114446486A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Public Health (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明涉及医学影像处理技术，公开了基于多模态图编码的传染病风险评估方法和系统，基于多模态图编码的传染病风险评估方法，应用于PACS系统中，其方法包括：对于输入的影像数据进行影像特征的提取，依据影像特征确定影像样本类别；将文本特征与影像特征拼接，降维并通过两层图神经网络输出获得拼接图编码，拼接图编码输入至kmeans聚类模型中，确定检查样本的类别；聚类后，将各类别当日新增样本数输入至预警模型从而确定其置信度；将获得的置信度与设置的阈值比较，从而确定其风险系数。本发明采用图神经网络来转换单纯的模式识别特征为图编码，强调了相似样本间的联系，使得kmeans聚类的效果更准确，进而对风险的评估也更敏感。

Description

基于多模态图编码的传染病风险评估方法和系统
技术领域
本发明涉及医学影像处理技术，尤其涉及了应用于NUMA架构中的基于多模态图编码的传染病风险评估方法和系统。
背景技术
医院现有PACS系统主要保存影像和报告，由于医院的阅片主要依靠放射科医生。当呼吸道传染病出现时，如肺炎疫情爆发时，会出现医疗资源挤兑，积压影像无多余医生资源阅片撰写报告，无法及时评估传染病的风险。
如专利申请号：CN202011497563.8的现有技术对于传染病的风险评估一般都是基于单个样本进行评估，其未评估样本间关联性，未利用传染病样本间具有相似特征的优势，因为评估结果缺乏足够的传染病证据。
发明内容
本发明针对现有技术对于传染病的风险评估一般都是基于单个样本进行评估，其评估的关联性差，结果不准确的问题，提供了基于多模态图编码的传染病风险评估方法和系统。
为了解决上述技术问题，本发明通过下述技术方案得以解决：
基于多模态图编码的传染病风险评估方法，应用于PACS系统中，其方法包括：
影像样本类别的确定，对于输入的影像数据进行影像特征的确定，依据影像特征确定影像样本类别；
检查样本类别的确定，对于输入的影像报告文本获取其文本特征，并将文本特征与影像特征拼接，降维并通过两层图神经网络输出获得拼接图编码，拼接图编码输入至kmeans聚类模型中，从而确定检查样本的类别；
新增样本置信度的确定，对于确定的各类别当日新增样本数输入至预警模型从而确定其置信度；
风险评估，将获得的置信度与设置的阈值比较，从而确定其风险系数。
作为优选，还包括kmeans聚类模型的更新，将新增的样本拼接图编码输入至kmeans聚类模型进行迭代，并更新kmeans聚类。
作为优选，影像样本类别的确定方法包括：
影像特征的获取，将获取的影像数据，输入影像模式识别模型，输出影像特征；
特征向量的降维，将影像特征输入影像特征PCA模型进行降维；
编码特征的获取，将降维后的特征向量输入至两层图神经网络，并通过两层图神经网络输出得到编码特征；
影像样本类别的确定，编码特征与三个聚类中心为ci,i∈{1,2,3}的kmeans聚类分别计算欧式距离，将距离最小的聚类中心所属类别为影像样本类别。
作为优选，检查样本类别的确定方法包括：
文本特征向量的获取，将影像报告文本输入至语义分析模型获取文本特征向量；
特征向量的拼接，将影像特征向量与文本特征向量进行拼接，从而得到拼接后的特征向量；
特征向量的降维，将拼接后的特征向量输入至文本拼接PCA模型进行降维；
拼接图编码特征的获取，将降维后的特征向量输入至两层图神经网络，并通过两层图神经网络输出得到拼接图编码特征；
影像样本类别的确定，拼接图编码特征与三个聚类中心为ci，i∈{1，2，3}的kmeans聚类分别计算欧式距离，将距离最小的聚类中心所属类别为影像样本类别。
作为优选，输出编码特征的两层图神经网络通过无监督聚类方式训练。
作为优选，无监督聚类方式训练的方法包括：
步骤1，输入两个特征向量，分别为vi和vj，输出两个样本特征的相似系数cij；以两个样本特征vi和vj是否均为验证的样本特征为标签，若均为验证的标本，则为1；否则为0，采用梯度下降法训练；
步骤2，基于样本间的相似系数cij，设定相似阈值θ，当cij＞θ时，连接两个样本，构建无向图；
步骤3，构建图拓扑矩阵A和h阶相似矩阵M，
M＝(B+B2+…+Bh)/h 公式1
其中，B为训练集样本的转移矩阵，若样本特征vi和vj间存在边，则Aij＝1，Bij＝1/di，di为样本vi的度；否则，Aij＝0，Bij＝0；
步骤4，对于目标样本vi及其邻居节点vj∈Nr，其中Nr为vj邻居节点集合，计算其注意力系数αij；
Figure BDA0003434995480000041
步骤5.构建两层图神经网络W0和W1，以节点vi为例，通过两层图神经网络编码为xi，可以表示为
Figure BDA0003434995480000042
Figure BDA0003434995480000043
其中，x′i为中间转换结果，σ是非线性函数，利用两层神经网络，基于每个节点vi的邻居节点重构图关系；
步骤6，基于编码特征xi，构建解码拓扑矩阵A′，
Figure BDA0003434995480000044
构建损失函数Lr，
Figure BDA0003434995480000045
步骤5中的两层图神经网络的W0和W1以最小化损失Lr为目标，采用梯度下降法训练。
为了解决上述技术问题，本发明还提供了基于多模态图编码的传染病风险评估系统，应用于PACS系统中，其包括：影像样本类别确定模块、检查样本类别确定模块、新增样本置信度确定模块和风险评估模块
影像样本类别确定模块，影像样本类别确定模块对输入的影像数据进行影像特征的确定，依据影像特征确定影像样本类别；
检查样本类别确定模块，检查样本类别确定模块对输入的影像报告文本获取其文本特征，并将文本特征与影像特征拼接，降维并通过两层图神经网络输出获得拼接图编码，拼接图编码输入至kmeans聚类模型中，从而确定检查样本的类别；
新增样本置信度确定模块，新增样本置信度确定模块对确定的各类别当日新增样本数输入至预警模型从而确定其置信度；
风险评估模块，风险评估模块将获得的置信度与设置的阈值比较，从而确定其风险系数。
作为优选，还包括kmeans聚类更新模块，kmeans聚类更新模块将新增的样本拼接图编码输入至kmeans聚类进行迭代，并更新kmeans聚类。
为了解决上述技术问题，本发明还提供了一种电子设备，其包括：
至少一个处理器和存储器；
所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如所述的基于多模态图编码的传染病风险评估方法。
为了解决上述技术问题，本发明还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如所述的基于多模态图编码的传染病风险评估方法。
本发明由于采用了以上技术方案，具有显著的技术效果：
本发明通过对影像和报告双重分析，在缺少报告时可以单独识别影像，在医疗资源充足、影像报告及时撰写完成时，可以综合分析影像和报告，及时评估传染病的风险。
本发明采用图神经网络来转换单纯的模式识别特征为图编码，强调了相似样本间的联系，这样后面kmeans聚类会更准确，进而对风险的评估也更敏感。
附图说明
图1是本发明的流程图。
图2是本发明的实施例1流程图。
图3是本发明的实施例5流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步详细描述。
实施例1
基于多模态图编码的传染病风险评估方法，应用于PACS系统中，其方法包括：
影像样本类别的确定，对于输入的影像数据进行影像特征的确定，依据影像特征确定影像样本类别；
检查样本类别的确定，对于输入的影像报告文本获取其文本特征，并将文本特征与影像特征拼接，降维并通过两层图神经网络输出获得拼接图编码，拼接图编码输入至kmeans聚类模型中，从而确定检查样本的类别；
新增样本置信度的确定，对于确定的各类别当日新增样本数输入至预警模型从而确定其置信度；
风险评估，将获得的置信度与设置的阈值比较，从而确定其风险系数。
还包括kmeans聚类模型的更新，将新增的样本拼接图编码输入至kmeans聚类模型进行迭代，并更新kmeans聚类。
影像样本类别的确定方法包括：
影像特征的获取，将获取的影像数据，输入影像模式识别模型，输出影像特征；
特征向量的降维，将影像特征输入影像特征PCA模型进行降维；
编码特征的获取，将降维后的特征向量输入至两层图神经网络，并通过两层图神经网络输出得到编码特征；
影像样本类别的确定，编码特征与三个聚类中心为ci,i∈{1,2,3}的kmeans聚类分别计算欧式距离，将距离最小的聚类中心所属类别为影像样本类别。
检查样本类别的确定方法包括：
文本特征向量的获取，将影像报告文本输入至语义分析模型获取文本特征向量；
特征向量的拼接，将影像特征向量与文本特征向量进行拼接，从而得到拼接后的特征向量；
特征向量的降维，将拼接后的特征向量输入至文本拼接PCA模型进行降维；
拼接图编码特征的获取，将降维后的特征向量输入至两层图神经网络，并通过两层图神经网络输出得到拼接图编码特征；
影像样本类别的确定，拼接图编码特征与三个聚类中心为ci，i∈{1，2，3}的kmeans聚类分别计算欧式距离，将距离最小的聚类中心所属类别为影像样本类别。
输出编码特征的两层图神经网络通过无监督聚类方式训练。
无监督聚类方式训练的方法包括：
步骤1，输入两个特征向量，分别为vi和vj，输出两个样本特征的相似系数cij；以两个样本特征vi和vj是否均为验证的样本特征为标签，若均为验证的标本，则为1；否则为0，采用梯度下降法训练；
步骤2，基于样本间的相似系数cij，设定相似阈值θ，当cij＞θ时，连接两个样本，构建无向图；
步骤3，构建图拓扑矩阵A和h阶相似矩阵M，
M＝(B+B2+…+Bh)/h 公式1
其中，B为训练集样本的转移矩阵，若样本特征vi和vj间存在边，则Aij＝1，Bij＝1/di，di为样本vi的度；否则，Aij＝0，Bij＝0；
步骤4，对于目标样本vi及其邻居节点vj∈Nr，其中Nr为vj邻居节点集合，计算其注意力系数αij；
Figure BDA0003434995480000081
步骤5.构建两层图神经网络W0和W1，以节点vi为例，通过两层图神经网络编码为xi，可以表示为
Figure BDA0003434995480000083
Figure BDA0003434995480000082
其中，x′i为中间转换结果，σ是非线性函数，利用两层神经网络，基于每个节点vi的邻居节点重构图关系；
步骤6，基于编码特征xi，构建解码拓扑矩阵A′，
Figure BDA0003434995480000091
构建损失函数Lr，
Figure BDA0003434995480000092
步骤5中的两层图神经网络的W0和W1以最小化损失Lr为目标，采用梯度下降法训练。
预警模型为高斯核密度估计，输入3个类别各自的每日新增数量，输出0-100％的浮点置信度，该置信度表示当前值在总历史值中所处的分位点，即超过多少历史值，该置信度越高代表风险越大，作为传染病风险评估值。
实施例2
在实施例1基础上，本发明还提供了基于多模态图编码的传染病风险评估系统，应用于PACS系统中，其包括：影像样本类别确定模块、检查样本类别确定模块、新增样本置信度确定模块和风险评估模块
影像样本类别确定模块，影像样本类别确定模块对输入的影像数据进行影像特征的确定，依据影像特征确定影像样本类别；
检查样本类别确定模块，检查样本类别确定模块对输入的影像报告文本获取其文本特征，并将文本特征与影像特征拼接，降维并通过两层图神经网络输出获得拼接图编码，拼接图编码输入至kmeans聚类模型中，从而确定检查样本的类别；
新增样本置信度确定模块，新增样本置信度确定模块对确定的各类别当日新增样本数输入至预警模型从而确定其置信度；
风险评估模块，风险评估模块将获得的置信度与设置的阈值比较，从而确定其风险系数。
作为优选，还包括kmeans聚类更新模块，kmeans聚类更新模块将新增的样本拼接图编码输入至kmeans聚类进行迭代，并更新kmeans聚类。
实施例3
在实施例1基础上，本发明还提供了一种电子设备，其包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如所述的基于多模态图编码的传染病风险评估方法。
实施例4
在实施例1基础上，本发明还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如所述的基于多模态图编码的传染病风险评估方法。
实施例5
在上述实施例基础上，本实施例影像报告语义分析模型以node2vec为预处理方法、以LSTM神经网络为基础架构，模型训练时以该样本是否包含肺部传染病相关描述为目标，采用梯度下降法训练，将最终的LSTM细胞状态作为文本特征向量w1；
影像模式识别模型为三维ResNet模型，模型训练时以该影像样本是否包含肺部传染病病灶为目标，采用梯度下降法训练，将模型第一个全连接层的输入作为影像特征向量w2；
图模型可能接收到长度为m的影像特征或长度为m+n的影像文本拼接特征，为确保输入图神经网络的特征长度固定，首先需要对特征进行PCA降维至t(t＜m＜m+n)；
图模型的PCA降维包含两个PCA模型，分别针对影像特征和影像文本拼接特征，将其降维至t。
设当前图编码特征的kmeans聚类结果的三个聚类中心为ci，i∈{1，2，3}，当日新增1000条胸部CT平扫检查，包含1000个影像数据及对应的报告文本数据。
S1.从影像数据库中读取影像数据，输入影像模式识别模型，输出长度为m维的浮点数影像特征向量w2；
S2.将影像特征向量w2输入影像特征PCA模型降为至t维向量v2；
S3.将向量v输入两层图神经网络得到编码特征x2；
S4.将编码特征x与三个聚类中心为ci，i∈{1，2，3}分别计算欧式距离，将距离最小的聚类中心所属类别作为当前样本的类别；
S5.在样本的影像报告撰写完成后，将影像报告文本输入报告语义分析模型获取n维文本特征向量w1；
S6.将w1与w2拼接组成m+n维特征w，并输入文本拼接特征PCA模型降维至t维特征v，然后重复S3至S4，得到该检查样本的最终分类；
S7.当完成所有1000个当日胸部CT平扫检查的分类后，分别计算无感染、低概率存在感染和较高概率存在感染这三个类别当日新增样本数，并输入预警模型，输出三个类别的置信度；
S8.将三个类别的置信度与阈值θ对比，若低概率存在感染或较高概率存在感染这两个类别的置信度任一或均高于阈值θ，说明当日存在肺部传染病异常情况，需要预警；
S9.将当日所有新增样本的影像文本拼接图编码特征纳入kmeans聚类的迭代中，更新kmeans聚类的三个聚类中心。

Claims (10)

1.基于多模态图编码的传染病风险评估方法，应用于PACS系统中，其特征在于，方法包括：
影像样本类别的确定，对于输入的影像数据进行影像特征的提取，依据影像特征确定影像样本类别；
检查样本类别的确定，对于输入的影像报告文本获取其文本特征，并将文本特征与影像特征拼接，降维并通过两层图神经网络输出获得拼接图编码，拼接图编码输入至kmeans聚类模型中，从而确定检查样本的类别；
新增样本置信度的确定，对于确定的各类别当日新增样本数输入至预警模型从而确定其置信度；
风险评估，将获得的置信度与设置的阈值比较，从而确定其风险系数。
2.根据权利要求1所述的基于多模态图编码的传染病风险评估方法，其特征在于，还包括kmeans聚类模型的更新，将新增的样本拼接图编码输入至kmeans聚类模型进行迭代，并更新kmeans聚类。
3.根据权利要求1所述的基于多模态图编码的传染病风险评估方法，其特征在于，影像样本类别的确定方法包括：
影像特征的获取，将获取的影像数据，输入影像模式识别模型，输出影像特征；
特征向量的降维，将影像特征输入影像特征PCA模型进行降维；
编码特征的获取，将降维后的特征向量输入至两层图神经网络，并通过两层图神经网络输出得到编码特征；
影像样本类别的确定，编码特征与三个聚类中心为ci，i∈{1，2，3}的kmeans聚类分别计算欧式距离，将距离最小的聚类中心所属类别为影像样本类别。
4.根据权利要求1所述的基于多模态图编码的传染病风险评估方法，其特征在于，检查样本类别的确定方法包括：
文本特征向量的获取，将影像报告文本输入至语义分析模型获取文本特征向量；
特征向量的拼接，将影像特征向量与文本特征向量进行拼接，从而得到拼接后的特征向量；
特征向量的降维，将拼接后的特征向量输入至文本拼接PCA模型进行降维；
拼接图编码特征的获取，将降维后的特征向量输入至两层图神经网络，并通过两层图神经网络输出得到拼接图编码特征；
影像样本类别的确定，拼接图编码特征与三个聚类中心为ci，i∈{1，2，3}的kmeans聚类分别计算欧式距离，将距离最小的聚类中心所属类别为影像样本类别。
5.根据权利要求3或4任一所述的基于多模态图编码的传染病风险评估方法，其特征在于，输出编码特征的两层图神经网络通过无监督聚类方式训练。
6.根据权利要求5所述的基于多模态图编码的传染病风险评估方法，其特征在于，无监督聚类方式训练的方法包括：
步骤1，输入两个特征向量，分别为vi和vj，输出两个样本特征的相似系数cij；以两个样本特征vi和vj是否均为验证的样本特征为标签，若均为验证的标本，则为1；否则为0，采用梯度下降法训练；
步骤2，基于样本间的相似系数cij，设定相似阈值θ，当cij＞θ时，连接两个样本，构建无向图；
步骤3，构建图拓扑矩阵A和h阶相似矩阵M，
M＝(B+B2+…+Bh)/h公式1
其中，B为训练集样本的转移矩阵，若样本特征vi和vj间存在边，则Aij＝1，Bij＝1/di，di为样本vi的度；否则，Aij＝0，Bij＝0；
步骤4，对于目标样本vi及其邻居节点vj∈Nr，其中Nr为vj邻居节点集合，计算其注意力系数αij；
Figure FDA0003434995470000031
步骤5.构建两层图神经网络W0和W1，以节点vi为例，通过两层图神经网络编码为xi，可以表示为：
Figure FDA0003434995470000032
Figure FDA0003434995470000033
其中，x′i为中间转换结果，σ是非线性函数，利用两层神经网络，基于每个节点vi的邻居节点重构图关系；
步骤6，基于编码特征xi，构建解码拓扑矩阵A′，
Figure FDA0003434995470000034
构建损失函数Lr，
Figure FDA0003434995470000035
步骤5所述两层图神经网络的W0和W1以最小化损失Lr为目标，采用梯度下降法训练。
7.基于多模态图编码的传染病风险评估系统，应用于PACS系统中，其特征在于，包括：影像样本类别确定模块、检查样本类别确定模块、新增样本置信度确定模块和风险评估模块
影像样本类别确定模块，影像样本类别确定模块对输入的影像数据进行影像特征的确定，依据影像特征确定影像样本类别；
检查样本类别确定模块，检查样本类别确定模块对输入的影像报告文本获取其文本特征，并将文本特征与影像特征拼接，降维并通过两层图神经网络输出获得拼接图编码，拼接图编码输入至kmeans聚类模型中，从而确定检查样本的类别；
新增样本置信度确定模块，新增样本置信度确定模块对确定的各类别当日新增样本数输入至预警模型从而确定其置信度；
风险评估模块，风险评估模块将获得的置信度与设置的阈值比较，从而确定其风险系数。
8.根据权利要求7所述的基于多模态图编码的传染病风险评估系统，其特征在于，还包括kmeans聚类更新模块，kmeans聚类更新模块将新增的样本拼接图编码输入至kmeans聚类进行迭代，并更新kmeans聚类。
9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至6任一项所述的基于多模态图编码的传染病风险评估方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至6任一项所述的基于多模态图编码的传染病风险评估方法。
CN202111609779.3A 2021-12-27 2021-12-27 基于多模态图编码的传染病风险评估方法和系统 Pending CN114446486A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111609779.3A CN114446486A (zh) 2021-12-27 2021-12-27 基于多模态图编码的传染病风险评估方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111609779.3A CN114446486A (zh) 2021-12-27 2021-12-27 基于多模态图编码的传染病风险评估方法和系统

Publications (1)

Publication Number Publication Date
CN114446486A true CN114446486A (zh) 2022-05-06

Family

ID=81363398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111609779.3A Pending CN114446486A (zh) 2021-12-27 2021-12-27 基于多模态图编码的传染病风险评估方法和系统

Country Status (1)

Country Link
CN (1) CN114446486A (zh)

Similar Documents

Publication Publication Date Title
JP6941123B2 (ja) 適応型追加学習を用いた細胞のアノテーション法及びアノテーションシステム
CN109583332B (zh) 人脸识别方法、人脸识别系统、介质及电子设备
US20230084910A1 (en) Semantic segmentation network model uncertainty quantification method based on evidence inference
CN111476315A (zh) 一种基于统计相关性与图卷积技术的图像多标签识别方法
CN112070058A (zh) 人脸面部复合情感表情识别方法及系统
CN113657425A (zh) 基于多尺度与跨模态注意力机制的多标签图像分类方法
CN112765370B (zh) 知识图谱的实体对齐方法、装置、计算机设备和存储介质
CN111639607A (zh) 模型训练、图像识别方法和装置、电子设备及存储介质
CN108171261A (zh) 鲁棒的自适应半监督图像分类方法、装置、设备及介质
CN112766376A (zh) 一种基于gacnn的多标签眼底图像识别方法
CN116597377A (zh) 牛养殖的智能监控管理方法及其系统
CN115841607A (zh) 一种基于图注意力网络的脑网络结构和相似度的联合学习方法
CN112215845B (zh) 基于多神经网络的医学影像信息识别方法、装置、系统
CN112786160A (zh) 基于图神经网络的多图片输入的多标签胃镜图片分类方法
CN113065409A (zh) 一种基于摄像分头布差异对齐约束的无监督行人重识别方法
EP4285281A1 (en) Annotation-efficient image anomaly detection
CN116796248A (zh) 森林康养环境评估系统及其方法
CN114428860A (zh) 院前急救病例文本的识别方法、装置、终端及存储介质
CN117893843A (zh) 模型训练方法、目标检测方法、目标检测装置及存储介质
CN112949637A (zh) 基于idcnn和注意力机制的招投标文本实体识别方法
CN117012370A (zh) 多模态疾病辅助推理系统、方法、终端及存储介质
CN116596836A (zh) 基于多视图邻域证据熵的肺炎ct影像属性约简方法
CN112861962B (zh) 样本处理方法、装置、电子设备和存储介质
CN114446486A (zh) 基于多模态图编码的传染病风险评估方法和系统
CN114841168A (zh) 影像学报告文本的结构化信息处理方法、肺部疾病监测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination