CN114897057A - 基于多模态数据融合的阴虚证智能诊断系统、方法、设备 - Google Patents

基于多模态数据融合的阴虚证智能诊断系统、方法、设备 Download PDF

Info

Publication number
CN114897057A
CN114897057A CN202210398886.4A CN202210398886A CN114897057A CN 114897057 A CN114897057 A CN 114897057A CN 202210398886 A CN202210398886 A CN 202210398886A CN 114897057 A CN114897057 A CN 114897057A
Authority
CN
China
Prior art keywords
data
classification
deficiency syndrome
modal
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210398886.4A
Other languages
English (en)
Inventor
王坤峰
温浩
吕茂斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Chemical Technology
Original Assignee
Beijing University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Chemical Technology filed Critical Beijing University of Chemical Technology
Priority to CN202210398886.4A priority Critical patent/CN114897057A/zh
Publication of CN114897057A publication Critical patent/CN114897057A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明属于机器学习技术领域，具体涉及一种基于多模态数据融合的阴虚证智能诊断系统、方法、设备，旨在解决现有技术对阴虚证的多模态数据的分类准确性较差的问题。本发明系统包括：数据采集模块，配置为获取阴虚证待诊断病例的多模态数据；数据处理模块，配置为将多模态数据中的文本数据进行向量转化；初始结果获取模块，配置为按照预设的分类模型对应关系，确定所述图像数据、向量转化后的文本数据对应的分类模型，并输入对应的分类模型，得到初始分类结果；加权融合模块，配置为根据各分类模型对应的分类正确率权重值，对初始分类结果进行加权求和，得到最终的分类结果。本发明提升了阴虚证的多模态数据的分类准确性。

Description

基于多模态数据融合的阴虚证智能诊断系统、方法、设备
技术领域
本发明属于机器学习技术领域，具体涉及一种基于多模态数据融合的阴虚证智能诊断系统、方法、设备。
背景技术
医疗行业长期存在着人力紧缺、物资分配不均、漏诊误诊率高、医疗费用成本高等问题。随着近些年深度学习技术的不断进步，人工智能逐步从前沿技术转变为现实应用。现阶段，机器学习方法已经应用到医疗的各个方面。随着信息科技的不断发展和医疗行业的壮大，信息化诊疗成为大趋势。尤其是机器学习和深度学习，已经逐步被应用在医疗诊断的各个环节，例如电子病历、智能可穿戴检查设备、医学图像识别和药物安全等。这类应用大幅度提高了医疗诊断的服务效率，成为提升医疗服务水平的重要因素。人工智能技术应用到医学领域已经有几十年的历史，特别是在中医领域取得了许多显著的成果。本专利将深度学习技术与中医的病症诊断结合起来，实现阴虚证辩证的人工智能新方法。
阴虚证是中医常见的证候之一。《中医学常用名词解释》中将人体脏腑组织津、液、精、血等物质不足统称为阴虚。该病症的主要表现为腰膝酸软、夜间盗汗、虚烦失眠、手足心热、口鼻干燥、干咳少痰或痰中带血、大便干燥、舌红少苔、脉细或细数。目前临床应用的阴虚概念，是指阴液亏虚而非阴气虚。中医在进行阴虚证诊断时，从舌诊、目诊和患者的生理生化指标几个方向进行综合判断。本专利采用不同的深度学习框架分别提取舌诊、目诊的数据特征，将生理生化指标数值化处理后采用机器学习算法提取特征，然后采用一定的融合策略，将三部分的结果进行融合，建立多模态多源信息融合的病证结合阴虚证分类模型，实现阴虚证的智能化辅助诊断与分类。
发明内容
为了解决现有技术中的上述问题，即为了解决现有技术对阴虚证的多模态数据的分类准确性较差的问题，本发明提出了一种基于多模态数据融合的阴虚证智能诊断系统，该系统包括：数据采集模块、数据处理模块、初始结果获取模块、加权融合模块；
所述数据采集模块，配置为获取阴虚证待诊断病例的多模态数据；所述多模态数据包括图像数据、文本数据；所述图像数据包括目诊图像、舌诊图像；所述文本数据包括生理生化指标相关的文本数据；
所述数据处理模块，配置为将所述文本数据进行向量转化；
所述初始结果获取模块，配置为基于所述图像数据、向量转化后的文本数据，按照预设的分类模型对应关系，确定所述图像数据、向量转化后的文本数据对应的分类模型；
将所述图像数据、向量转化后的文本数据，输入对应的分类模型，得到初始分类结果；
所述加权融合模块，配置为根据各分类模型对应的分类正确率权重值，对所述初始分类结果进行加权求和，得到最终的分类结果；
其中，所述分类模型对应关系，为预设的多模态数据中的各模态数据与处理该模态数据的分类模型的映射关系。
在一些优选的实施方式中，所述分类模型包括卷积神经网络模型、机器学习模型；对于所述图像数据，通过卷积神经网络模型进行特征提取与分类；对于所述文本数据，通过机器学习模型进行分类。
在一些优选的实施方式中，所述分类模型，其训练方法为：
步骤A100，获取多模态数据的训练集；所述训练集包括多模态数据及其对应的阴虚证分类结果的真值标签；
步骤A200，对所述训练集中的文本数据进行向量转化；
步骤A300，基于所述图像数据、向量转化后的文本数据，按照预设的分类模型对应关系，确定所述图像数据、向量转化后的文本数据对应的分类模型；将所述图像数据、向量转化后的文本数据，输入对应的分类模型，得到初始分类结果，作为预测结果；
步骤A400，根据所述预测结果、所述阴虚证分类结果的真值标签，计算各模态数据对应的分类模型的损失值，更新模型参数；
步骤A500，循环执行步骤A100-A400，直至得到训练好的各模态数据对应的分类模型。
在一些优选的实施方式中，步骤A300还包括：
当诊断模型的输入为同一模态数据的多张图像数据时，通过预设的投票计算方法获取各分类结果的比例，并将最大比例对应的分类结果，作为初始分类结果。
在一些优选的实施方式中，通过预设的投票计算方法获取各分类结果的比例，其方法为：
Figure BDA0003598765190000031
其中，counti表示分类结果中属于第i种分类结果的个数，m表示类别个数，Vote(i)表示第i种分类结果所占的比例。
在一些优选的实施方式中，所述分类正确率权重值，其计算方法为：
获取多模态数据中的各模态数据对应的分类模型在训练结束后的分类正确率；根据所述分类正确率，通过预设的权重计算方法获取各模态数据对应的分类模型的权重，即分类正确率权重值；
通过预设的权重计算方法获取各模态数据对应的分类模型的权重，其计算方法：
Figure BDA0003598765190000041
errori＝1-ci
其中，ci表示第i个模型分支的分类准确率，errori表示第i个模型分支的分类错误率，Weighti表示第i个模型分支的权重，n表示模型分支的个数。
本发明的第二方面，提出了一种基于多模态数据融合的阴虚证智能诊断方法，该方法包括以下步骤：
步骤S100，获取阴虚证待诊断病例的多模态数据；所述多模态数据包括图像数据、文本数据；所述图像数据包括目诊图像、舌诊图像；所述文本数据包括生理生化指标相关的文本数据；
步骤S200，将所述文本数据进行向量转化；
步骤S300，基于所述图像数据、向量转化后的文本数据，按照预设的分类模型对应关系，确定所述图像数据、向量转化后的文本数据对应的分类模型；
将所述图像数据、向量转化后的文本数据，输入对应的分类模型，得到初始分类结果；
步骤S400，根据各分类模型对应的分类正确率权重值，对所述初始分类结果进行加权求和，得到最终的分类结果；
其中，所述分类模型对应关系，为预设的多模态数据中的各模态数据与处理该模态数据的分类模型的映射关系。
本发明的第三方面，提出了一种计算机设备，包括：至少一个处理器以及与至少一个所述处理器通讯连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于多模态数据融合的阴虚证智能诊断方法。
本发明的第四方面，提出了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于多模态数据融合的阴虚证智能诊断方法。
本发明的有益效果：
本发明提升了阴虚证的多模态数据的分类准确性。
本发明通过获取阴虚证诊断病例的多模态数据，建立原始数据集，再对获取的文本数据进行量化，转化成向量形式；然后根据数据的模态选择对应的预先训练好的分类模型，得出单独基于某个模态数据的阴虚证分类结果，再根据各个模态分类模型的准确率确定相应模态分支的权重，对准确率高的模型分支赋予更大的权重，更大的权重可以对结果产生更大的影响，之后利用权重对各个分支的诊断结果进行决策级的多模态融合，以此得出基于多模态数据融合的阴虚证分类结果。实现了对阴虚证灵活高效的分类，使得阴虚证的分类过程更加客观和全面。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于多模态数据融合的阴虚证智能诊断系统的框架示意图；
图2是本发明一种实施例的基于多模态数据融合的阴虚证智能诊断方法的流程示意图；
图3是本发明一种实施例的分类模型的训练过程以及应用过程的流程示意图；
图4是本发明一种实施例的基于多模态数据融合的阴虚证智能诊断系统的分类过程的详细流程示意图；
图5是本发明一种实施例的基于多模态数据融合的阴虚证智能诊断系统的卷积神经网络计算过程的流程示意图；
图6是本发明一种实施例的基于多模态数据融合的阴虚证智能诊断系统的EXP(x)函数图像的示例图；
图7是本发明一种实施例的基于多模态数据融合的阴虚证智能诊断系统的分类结果示意图；
图8是本发明一种实施例的适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步地详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明第一实施例的一种基于多模态数据融合的阴虚证智能诊断系统，如图1所示，该系统包括数据采集模块100、数据处理模块200、初始结果获取模块300、加权融合模块400；
所述数据采集模块100，配置为获取阴虚证待诊断病例的多模态数据；所述多模态数据包括图像数据、文本数据；所述图像数据包括目诊图像、舌诊图像；所述文本数据包括生理生化指标相关的文本数据；
所述数据处理模块200，配置为将所述文本数据进行向量转化；
所述初始结果获取模块300，配置为基于所述图像数据、向量转化后的文本数据，按照预设的分类模型对应关系，确定所述图像数据、向量转化后的文本数据对应的分类模型；
将所述图像数据、向量转化后的文本数据，输入对应的分类模型，得到初始分类结果；
所述加权融合模块400，配置为根据各分类模型对应的分类正确率权重值，对所述初始分类结果进行加权求和，得到最终的分类结果；
其中，所述分类模型对应关系，为预设的多模态数据中的各模态数据与处理该模态数据的分类模型的映射关系。
为了更清晰地对本发明基于多模态数据融合的阴虚证智能诊断系统进行说明，下面对本发明方法一种实施例中各步骤进行展开详述。
在下述实施例中，先对诊断模型的训练过程进行详述，再对基于多模态数据融合的阴虚证智能诊断系统获取待诊断病例的阴虚证的最终诊断结果的具体过程进行详述。如图3所示。
1、诊断模型的训练过程
步骤A100，获取多模态数据的训练集；所述训练集包括多模态数据及其对应的阴虚证分类结果的真值标签；
步骤A200，对所述训练集中的文本数据进行向量转化；
在本实施例中，获取阴虚证待诊断病例的多模态数据(即诊断数据)，建立原始训练数据集。所述多模态数据包括图像数据、文本数据；图像数据包括目诊图像、舌诊图像；文本数据包括生理生化指标相关的文本数据。
由于本发明中优选机器学习模型对文本数据进行分类识别，而机器学习模型无法直接处理文本数据，因此，先对获取的文本数据进行量化，转化成向量形式，例如，将“是、否”转化成“1、0”，“轻度、中度、重度”转化成“0、1、2”，并为多模态数据添加真值标签，真值标签表示采集的多模态数据的病例是否有阴虚证，其中，添加标签和向量转化的顺序没有先后。
步骤A300，基于所述图像数据、向量转化后的文本数据，按照预设的分类模型对应关系，确定所述图像数据、向量转化后的文本数据对应的分类模型；将所述图像数据、向量转化后的文本数据，输入对应的分类模型，得到初始分类结果，作为预测结果；
步骤A400，根据所述预测结果、所述阴虚证分类结果的真值标签，计算各模态数据对应的分类模型的损失值，更新模型参数；
步骤A500，循环执行步骤A100-A400，直至得到训练好的各模态数据对应的分类模型。
在本实施例中，在对数据进行分类之前，需要根据数据的类型选择不同的分类模型。对于图像数据，本发明选择使用卷积神经网络模型来进行特征提取和分类，对于从文本数据转化而来的向量数据，本发明选择使用机器学习模型来进行分类。将所述图像数据、向量转化后的文本数据，输入对应的分类模型，得到初始分类结果；
其中，卷积神经网络模型和机器学习模型在使用之前都需要进行训练，需要收集多个样本数据，再基于这些数据对模型进行训练，得到最佳的模型参数，下面先对模型的训练过程进行解释说明：
在进行模型训练之前，需要收集一定数量的数据，并且需要给数据加上相应的标签。比如先获取大量的舌诊图像，再按病例是否有阴虚证将舌诊图像区分为两部分数据。图像数据的分类采用卷积神经网络模型进行，一般而言，卷积神经网络包含卷积层、池化层、全连接层，卷积层靠近输入，而全连接层靠近输出。卷积神经网络的特征提取及训练过程如图5所示，模型的训练过程是先用一组初始化参数的卷积核对图像进行特征提取(提取后的特征，如图5中的c11.....c55)，再经过池化层处理(池化层处理后的特征如图5中的p11....·p33)，循环若干次卷积层和池化层后，将特征转化成一维的向量，送入全连接层(如图5中的F1.....F6)，经过全连接层的运算得出最终的分类结果(如图5中的o1、o2)。将结果与标签值(即真值标签，如图5中的T1、T2)对比，结合误差反向传播算法和优化器更新模型参数。全连接层的输出值可能不在[0，1]之间，因此需要对输出结果做一定的处理，一般来说采用SoftMax函数对输出进行归一化处理。SoftMax函数相关图像如图6，SoftMax函数需要先计算以输出值为指数以e(自然对数底数)为底数的数值，将所有输出值转化成正值，再计算相应的SoftMax值。归一化处理后的结果可以作为该模型的分类结果，通常取数值最大的那个类别。
其中，SoftMax函数的计算公式如下：
Figure BDA0003598765190000091
其中，outi表示第i个节点的输出结果，n表示总的输出个数，即分类的类别数，e表示自然对数的底数。
此外，对于使用多张图像的情况，可以采用投票的方式来确定诊断结果。具体方法是，对多张图像的分类结果进行统计，分别统计各个类别的数量，再计算各个类别数量占总体的比例，将比例最大的那个类作为初始分类结果。各个类的占比作为分类结果为该类的概率，以这个作为后续决策级融合的基础数据。
其中，所述的投票结果计算公式如下：
Figure BDA0003598765190000101
其中，counti表示分类结果中属于第i种分类结果的个数，m表示类别个数，Vote(i)表示第i种分类结果所占的比例。
采用机器学习模型进行分类中，先收集多个病例的文本数据，并将其转化成向量形式，之后按照是否是阴虚证将数据区分为两部分。机器学习模型的训练过程是将所有的向量数据输入到模型中，模型计算出一组最佳的参数将输入的向量数据划分成指定的类别数，一般使用损失函数来衡量划分的效果，损失函数越小说明划分越合理。在损失函数取最小值时的划分即为最佳划分，意味着机器学习模型训练结束。通常而言，机器学习模型会为每个类别计算出一个数值，但该数值同样需要先进行归一化，之后将归一化结果作为各个类别的概率，用以进行决策级融合。以支持向量机(SVM)模型为例，其损失函数如下：
Figure BDA0003598765190000102
其中，yi表示样本数据的标签值，xi为样本数据，w为超平面的参数，α||w||2为正则化项，[1-yi*(w*xi)]+表示取0和(1-yi*(w*xi))中较大的一个。
最后，基于上述的损失函数，计算各模态数据对应的分类模型的损失值，更新模型参数；更新后，循环对分类模型进行训练，直至得到训练好的各模态数据对应的分类模型。
2、基于多模态数据融合的阴虚证智能诊断系统
基于多模态数据融合的阴虚证智能诊断系统包括数据采集模块、数据处理模块、初始结果获取模块、加权融合模块；
所述数据采集模块，配置为获取阴虚证待诊断病例的多模态数据；所述多模态数据包括图像数据、文本数据；所述图像数据包括目诊图像、舌诊图像；所述文本数据包括生理生化指标相关的文本数据；
在本实施例中，先获取阴虚证待诊断病例的多模态数据。
所述数据处理模块，配置为将所述文本数据进行向量转化；
在本实施例中，将多模态数据中的文本数据进行向量转化。
所述初始结果获取模块，配置为基于所述图像数据、向量转化后的文本数据，按照预设的分类模型对应关系，确定所述图像数据、向量转化后的文本数据对应的分类模型；将所述图像数据、向量转化后的文本数据，输入对应的分类模型，得到初始分类结果；其中，所述分类模型对应关系，为预设的多模态数据中的各模态数据与处理该模态数据的分类模型的映射关系；
在本实施例中，如图4所示，将目诊图像、舌诊图像、向量转化后的文本数据，分别输入至对应的分类模型(即图4中的分类器1、分类器2、分类器3)，得到初始分类结果。
所述加权融合模块，配置为根据各分类模型对应的分类正确率权重值，对所述初始分类结果进行加权求和，得到最终的分类结果；
理论上，准确率越高的模型在多模态融合的时候应该占据越高的权重。
在本实施例中，在计算各个分支权重时采取以下计算方法，根据模型的正确率(即多模态数据中的各模态数据对应的分类模型在训练结束后统计的分类正确率)，先计算出其错误率，再对错误率取倒数，错误率越低其倒数越大，再计算各个模型错误率倒数占总体的比值，以此作为权重。使用以上计算方法，可以做到给准确率高的模型以更大的权重，给准确率低的模型更小的权重。权重的具体计算方式如下：
errori＝1-ci (4)
Figure BDA0003598765190000111
其中，ci表示第i个模型分支的准确率，errori表示第i个模型的错误率，Weighti表示第i个模型分支的权重，n表示模型分支的个数。
使用上述计算得到的权重对各个分支的分类结果进行加权求和。同一个分支产生的结果共用一个权重值，分别对该分支的分类结果进行加权。分类结果以概率的形式参与计算，所有概率均在区间[0，1]之间，且属于同一分支模型的各个类别的概率之和为1。加权求和的结果为各个类别的加权概率，以此作为多模态数据融合的结果。融合之后，取概率最大的类别作为模型最终的分类结果。最终的分类结果，如图7所示。
其中，所述的加权求和公式如下：
Figure BDA0003598765190000121
Result＝Max(Classi) (7)
其中，Weightk表示第k个模型分支的权重，
Figure BDA0003598765190000122
表示第k个模型分支的分类结果是第i类的概率，Classi表示多模态数据融合的分类结果是第i类的概率，结果Result取概率数值最大的那个类。
基于多模态数据融合的阴虚证智能诊断系统得到阴虚证待诊断病例的多模态数据的分类结果，如图7所示。
需要说明的是，上述实施例提供的基于多模态数据融合的阴虚证智能诊断系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第二实施例的一种基于多模态数据融合的阴虚证智能诊断方法，如图2所示，包括以下步骤：
步骤S100，获取阴虚证待诊断病例的多模态数据；所述多模态数据包括图像数据、文本数据；所述图像数据包括目诊图像、舌诊图像；所述文本数据包括生理生化指标相关的文本数据；
步骤S200，将所述文本数据进行向量转化；
步骤S300，基于所述图像数据、向量转化后的文本数据，按照预设的分类模型对应关系，确定所述图像数据、向量转化后的文本数据对应的分类模型；
将所述图像数据、向量转化后的文本数据，输入对应的分类模型，得到初始分类结果；
步骤S400，根据各分类模型对应的分类正确率权重值，对所述初始分类结果进行加权求和，得到最终的分类结果；
其中，所述分类模型对应关系，为预设的多模态数据中的各模态数据与处理该模态数据的分类模型的映射关系。
所述技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法的具体的工作过程及有关说明，可以参考前述系统实施例中的对应过程，在此不再赘述。
本发明第三实施例的基于多模态数据融合的阴虚证智能诊断装置，包括数据采集设备、中央处理设备；
所述数据采集设备，包括相机、摄影机、录入数据装置(例如键盘)，用于获取/采集阴虚证待诊断病例的多模态数据；所述多模态数据包括图像数据、文本数据；所述图像数据包括目诊图像、舌诊图像；所述文本数据包括生理生化指标相关的文本数据；
所述中央处理设备包括GPU，配置为将文本数据进行向量转化；基于图像数据、向量转化后的文本数据，按照预设的分类模型对应关系，确定图像数据、向量转化后的文本数据对应的分类模型；将图像数据、向量转化后的文本数据，输入对应的分类模型，得到初始分类结果；根据各分类模型对应的分类正确率权重值，对所述初始分类结果进行加权求和，得到最终的分类结果；
其中，所述分类模型对应关系，为预设的多模态数据中的各模态数据与处理该模态数据的分类模型的映射关系。
本发明第四实施例，提出了一种计算机设备，包括：至少一个处理器以及与至少一个所述处理器通讯连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于多模态数据融合的阴虚证智能诊断方法。
本发明第五实施例，提出了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于多模态数据融合的阴虚证智能诊断方法。
所述技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的基于多模态数据融合的阴虚证智能诊断装置、计算机设备、计算机可读存储介质的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
下面参考图8，其示出了适于用来实现本申请系统、方法、设备实施例的服务器的计算机系统的结构示意图。图8示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统包括中央处理单元(CPU，Central Processing Unit)801，其可以根据存储在只读存储器(ROM，Read Only Memory)802中的程序或者从存储部分808加载到随机访问存储器(RAM，Random Access Memory)803中的程序而执行各种适当的动作和处理。在RAM803中，还存储有系统操作所需的各种程序和数据。CPU801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O，Input/Output)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管、液晶显示器等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如局域网卡、调制解调器等的网络接口卡的通讯部分809。通讯部分809经由诸如因特网的网络执行通讯处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通讯部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被CPU801执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言，如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，如C语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网或广域网连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于多模态数据融合的阴虚证智能诊断系统，其特征在于，该系统包括数据采集模块、数据处理模块、初始结果获取模块、加权融合模块；
所述数据采集模块，配置为获取阴虚证待诊断病例的多模态数据；所述多模态数据包括图像数据、文本数据；所述图像数据包括目诊图像、舌诊图像；所述文本数据包括生理生化指标相关的文本数据；
所述数据处理模块，配置为将所述文本数据进行向量转化；
所述初始结果获取模块，配置为基于所述图像数据、向量转化后的文本数据，按照预设的分类模型对应关系，确定所述图像数据、向量转化后的文本数据对应的分类模型；
将所述图像数据、向量转化后的文本数据，输入对应的分类模型，得到初始分类结果；
所述加权融合模块，配置为根据各分类模型对应的分类正确率权重值，对所述初始分类结果进行加权求和，得到最终的分类结果；
其中，所述分类模型对应关系，为预设的多模态数据中的各模态数据与处理该模态数据的分类模型的映射关系。
2.根据权利要求1所述的基于多模态数据融合的阴虚证智能诊断系统，其特征在于，所述分类模型包括卷积神经网络模型、机器学习模型；对于所述图像数据，通过卷积神经网络模型进行特征提取与分类；对于所述文本数据，通过机器学习模型进行分类。
3.根据权利要求2所述的基于多模态数据融合的阴虚证智能诊断系统，其特征在于，所述分类模型，其训练方法为：
步骤A100，获取多模态数据的训练集；所述训练集包括多模态数据及其对应的阴虚证分类结果的真值标签；
步骤A200，对所述训练集中的文本数据进行向量转化；
步骤A300，基于所述图像数据、向量转化后的文本数据，按照预设的分类模型对应关系，确定所述图像数据、向量转化后的文本数据对应的分类模型；将所述图像数据、向量转化后的文本数据，输入对应的分类模型，得到初始分类结果，作为预测结果；
步骤A400，根据所述预测结果、所述阴虚证分类结果的真值标签，计算各模态数据对应的分类模型的损失值，更新模型参数；
步骤A500，循环执行步骤A100-A400，直至得到训练好的各模态数据对应的分类模型。
4.根据权利要求3所述的基于多模态数据融合的阴虚证智能诊断系统，其特征在于，步骤A300还包括：
当诊断模型的输入为同一模态数据的多张图像数据时，通过预设的投票计算方法获取各分类结果的比例，并将最大比例对应的分类结果，作为初始分类结果。
5.根据权利要求4所述的基于多模态数据融合的阴虚证智能诊断系统，其特征在于，通过预设的投票计算方法获取各分类结果的比例，其方法为：
Figure FDA0003598765180000021
其中，counti表示分类结果中属于第i种分类结果的个数，m表示类别个数，Vote(i)表示第i种分类结果所占的比例。
6.根据权利要求3所述的基于多模态数据融合的阴虚证智能诊断系统，其特征在于，所述分类正确率权重值，其计算方法为：
获取多模态数据中的各模态数据对应的分类模型在训练结束后的分类正确率；根据所述分类正确率，通过预设的权重计算方法获取各模态数据对应的分类模型的权重，即分类正确率权重值；
通过预设的权重计算方法获取各模态数据对应的分类模型的权重，其计算方法：
Figure FDA0003598765180000031
errori＝1-ci
其中，ci表示第i个模型分支的分类准确率，errori表示第i个模型分支的分类错误率，Weighti表示第i个模型分支的权重，n表示模型分支的个数。
7.一种基于多模态数据融合的阴虚证智能诊断方法，其特征在于，该方法包括以下步骤：
步骤S100，获取阴虚证待诊断病例的多模态数据；所述多模态数据包括图像数据、文本数据；所述图像数据包括目诊图像、舌诊图像；所述文本数据包括生理生化指标相关的文本数据；
步骤S200，将所述文本数据进行向量转化；
步骤S300，基于所述图像数据、向量转化后的文本数据，按照预设的分类模型对应关系，确定所述图像数据、向量转化后的文本数据对应的分类模型；
将所述图像数据、向量转化后的文本数据，输入对应的分类模型，得到初始分类结果；
步骤S400，根据各分类模型对应的分类正确率权重值，对所述初始分类结果进行加权求和，得到最终的分类结果；
其中，所述分类模型对应关系，为预设的多模态数据中的各模态数据与处理该模态数据的分类模型的映射关系。
8.一种计算机设备，其特征在于，包括：至少一个处理器以及与至少一个所述处理器通讯连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求7所述的基于多模态数据融合的阴虚证智能诊断方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求7所述的基于多模态数据融合的阴虚证智能诊断方法。
CN202210398886.4A 2022-04-15 2022-04-15 基于多模态数据融合的阴虚证智能诊断系统、方法、设备 Pending CN114897057A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210398886.4A CN114897057A (zh) 2022-04-15 2022-04-15 基于多模态数据融合的阴虚证智能诊断系统、方法、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210398886.4A CN114897057A (zh) 2022-04-15 2022-04-15 基于多模态数据融合的阴虚证智能诊断系统、方法、设备

Publications (1)

Publication Number Publication Date
CN114897057A true CN114897057A (zh) 2022-08-12

Family

ID=82717720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210398886.4A Pending CN114897057A (zh) 2022-04-15 2022-04-15 基于多模态数据融合的阴虚证智能诊断系统、方法、设备

Country Status (1)

Country Link
CN (1) CN114897057A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116077071A (zh) * 2023-02-10 2023-05-09 湖北工业大学 一种智能康复按摩方法、机器人及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532907A (zh) * 2019-08-14 2019-12-03 中国科学院自动化研究所 基于面象和舌象双模态特征提取的中医人体体质分类方法
CN112530584A (zh) * 2020-12-15 2021-03-19 贵州小宝健康科技有限公司 一种医疗诊断辅助方法及系统
CN113012811A (zh) * 2020-08-17 2021-06-22 杭州泉脉科技有限公司 一种结合深度卷积网络和图神经网络的中医证候诊断和健康评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532907A (zh) * 2019-08-14 2019-12-03 中国科学院自动化研究所 基于面象和舌象双模态特征提取的中医人体体质分类方法
CN113012811A (zh) * 2020-08-17 2021-06-22 杭州泉脉科技有限公司 一种结合深度卷积网络和图神经网络的中医证候诊断和健康评价方法
CN112530584A (zh) * 2020-12-15 2021-03-19 贵州小宝健康科技有限公司 一种医疗诊断辅助方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116077071A (zh) * 2023-02-10 2023-05-09 湖北工业大学 一种智能康复按摩方法、机器人及存储介质
CN116077071B (zh) * 2023-02-10 2023-11-17 湖北工业大学 一种智能康复按摩方法、机器人及存储介质

Similar Documents

Publication Publication Date Title
Wu et al. Cascaded fully convolutional networks for automatic prenatal ultrasound image segmentation
CN111160139B (zh) 心电信号的处理方法、装置及终端设备
CN112529839B (zh) 一种核磁共振图像中颈动脉血管中心线的提取方法及系统
CN109559300A (zh) 图像处理方法、电子设备及计算机可读存储介质
CN114864076A (zh) 基于图注意力网络的多模态乳腺癌分类训练方法及系统
Liu et al. A classification model for the prostate cancer based on deep learning
CN114359666A (zh) 多模态融合的肺癌患者疗效预测方法、系统、装置及介质
CN115018809B (zh) Ct图像的靶区分割识别方法及系统
CN113610859B (zh) 一种基于超声图像的甲状腺结节自动分割方法
WO2022127500A1 (zh) 基于多个神经网络的mri图像分割方法、装置及设备
CN109994201B (zh) 一种基于深度学习的糖尿病与高血压概率计算系统
Zhang et al. A survey of wound image analysis using deep learning: Classification, detection, and segmentation
Xie et al. Optic disc and cup image segmentation utilizing contour-based transformation and sequence labeling networks
CN110110724A (zh) 基于指数型挤压函数驱动胶囊神经网络的文本验证码识别方法
CN113610118A (zh) 一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质
CN116310343A (zh) 一种基于特征解耦的多模态脑肿瘤mri分割方法
Khan et al. MKIS-Net: A light-weight multi-kernel network for medical image segmentation
CN113674291B (zh) 一种全类型主动脉夹层真假腔图像分割方法及系统
CN114820450A (zh) 适宜李氏人工肝治疗的ct血管造影图像分类方法
CN114897057A (zh) 基于多模态数据融合的阴虚证智能诊断系统、方法、设备
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN116843995A (zh) 细胞影像学预训练模型构建方法和装置
CN114783597B (zh) 多类疾病诊断的诊断方法及装置、电子设备和存储介质
CN115100155B (zh) 放射性肺炎预测模型的建立方法与系统
CN116150690A (zh) DRGs决策树构建方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination