CN107247881B - 一种多模态智能分析方法及系统 - Google Patents
一种多模态智能分析方法及系统 Download PDFInfo
- Publication number
- CN107247881B CN107247881B CN201710468651.7A CN201710468651A CN107247881B CN 107247881 B CN107247881 B CN 107247881B CN 201710468651 A CN201710468651 A CN 201710468651A CN 107247881 B CN107247881 B CN 107247881B
- Authority
- CN
- China
- Prior art keywords
- diagnosis
- data
- text
- description
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 20
- 238000003745 diagnosis Methods 0.000 claims abstract description 130
- 201000010099 disease Diseases 0.000 claims abstract description 86
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 86
- 239000013598 vector Substances 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000000007 visual effect Effects 0.000 claims abstract description 42
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 33
- 238000003556 assay Methods 0.000 claims abstract description 16
- 208000024891 symptom Diseases 0.000 claims abstract description 13
- 239000003814 drug Substances 0.000 claims abstract description 8
- 229940079593 drug Drugs 0.000 claims abstract description 8
- 238000007689 inspection Methods 0.000 claims description 14
- 230000001575 pathological effect Effects 0.000 claims description 14
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000002787 reinforcement Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000012958 reprocessing Methods 0.000 claims description 5
- 108010076504 Protein Sorting Signals Proteins 0.000 description 21
- 238000012549 training Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 8
- 238000013519 translation Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012854 evaluation process Methods 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 1
- 206010037660 Pyrexia Diseases 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000004820 blood count Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及一种多模态智能分析方法及系统，病情描述为多模态数据，多模态数据包括文字数据、时间序列信号数据和视觉数据；该方法用于根据病情描述进行诊断导航和诊断决策，该方法包括：将视觉数据通过图文解码器转换成文字描述；将时间序列信号数据通过信号文字解码器转换成文字描述；将文字数据、视觉数据的文字描述和时间序列信号数据的文字描述分别转换成以医疗知识图谱为轴心的语义向量；其中，医疗知识图谱描述了症状、化验指标、检查标志物、疾病、药品和手术之间的拓扑关系；根据语义向量利用第一卷积神经网络CNN模型进行诊断导航和诊断决策。本发明实施例，能够获得最佳诊断路径及较高正确率的诊断结果。
Description
技术领域
本发明涉及信息处理技术领域，尤其涉及一种多模态智能分析方法及系统。
背景技术
随着科技的发展，信息处理技术逐渐应用到临床诊断中，这种诊断称为智能疾病诊断。智能疾病诊断中经常要使用多模态智能分析方法，智能疾病诊断天然是多模态机器学习问题。
多模态机器学习，旨在针对某个研究目标构建机器学习模型，处理并关联针对该目标的多源的异构的数据。主要是三类数据，文字(Verbal)、音频(Vocal)、视觉(Visual)。
智能疾病诊断也需要综合考虑多源异构的数据，包括患者口述的症状、机器测量的体征、化验指标、心脑电图、各种影像图片。其中症状、查房记录等等用文字记录，心脑电图是时间序列信号(也可称为信号序列)，与音频类似。所以，智能疾病诊断天然是多模态机器学习问题。
现有技术的多模态智能分析方法中，多模态的信息表述(Representation)需要一种超越文字、信号序列和影像的能够支持多模态数据互操作的信息表述方式。技术难度在于，a.文字符号、信号序列、影像像素，各有各的处理方法，难以直接融合。b.文字符号不存在分辨率的问题，而信号序列和影像像素有分辨率。c.文字记录存在主观描述的模糊性和人为笔误，信号序列不仅存在人为误操作，而且也存在机器本身的噪音。d.文字记录、信号序列、影像图片，数量有多有寡，分布不均，可靠性不一致。
由于现有技术中无法找到多模态的信息表述(Representation)的合适的信息表述方式，因此无法获得最佳诊断路径及较高正确率的诊断结果。
发明内容
本发明提供一种多模态智能分析方法及系统，能够获得最佳诊断路径及较高正确率的诊断结果。
一方面，提供了一种多模态智能分析方法。病情描述为多模态数据，所述多模态数据包括文字数据、时间序列信号数据和视觉数据；所述方法用于根据所述病情描述进行诊断导航和诊断决策，所述方法包括：将所述视觉数据通过图文解码器转换成所述视觉数据的文字描述；将所述时间序列信号数据通过信号文字解码器转换成所述时间序列信号数据的文字描述；将所述文字数据、所述视觉数据的文字描述和所述时间序列信号数据的文字描述分别转换成以医疗知识图谱为轴心的语义向量；其中，所述医疗知识图谱描述了症状、化验指标、检查标志物、疾病、药品和手术之间的拓扑关系；根据所述语义向量利用第一卷积神经网络CNN模型进行诊断导航和诊断决策。
另一方面，提供了一种多模态智能分析系统。病情描述为多模态数据，所述多模态数据包括文字数据、时间序列信号数据和视觉数据；所述系统用于根据所述病情描述进行诊断导航和诊断决策，所述系统包括：图文解码模块，用于将所述视觉数据通过图文解码器转换成所述视觉数据的文字描述；信号文字解码模块，用于将所述时间序列信号数据通过信号文字解码器转换成所述时间序列信号数据的文字描述；语义向量转换模块，用于将所述文字数据、所述图文解码模块得到的所述视觉数据的文字描述和所述时间序列信号数据的文字描述分别转换成以医疗知识图谱为轴心的语义向量；其中，所述医疗知识图谱描述了症状、化验指标、检查标志物、疾病、药品和手术之间的拓扑关系；诊断模块，用于根据所述语义向量转换模块得到的语义向量利用第一卷积神经网络CNN模型进行诊断导航和诊断决策。
本发明实施例中，把文字符号、信号序列、影像像素，转换成为以医疗知识图谱为轴心的语义向量以后，相互比较与交叉操作就易如反掌了。各个模态的数据，分辨率不同、噪音不同、数据量不同，在语义向量里，体现在向量的具体数值有差异，因此能够获得最佳诊断路径及较高正确率的诊断结果。
附图说明
图1为本发明实施例提供的一种多模态智能分析方法流程图；
图2为一种多模态智能分析系统结构图；
图3为本发明实施例提供的智能诊断全流程示意图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
图1为本发明实施例提供的一种多模态智能分析方法流程图，病情描述为多模态数据，多模态数据包括文字数据、时间序列信号数据和视觉数据；该方法用于根据病情描述进行诊断导航和诊断决策，该方法包括：
步骤101，将视觉数据通过图文解码器转换成视觉数据的文字描述。
其中，视觉数据可以为各种影像图片，例如，X光片、B超或CT检查得到的影像图片。
步骤102，将时间序列信号数据通过信号文字解码器转换成时间序列信号数据的文字描述。
其中，时间序列信号数据可以为心电图或脑电图。
步骤103，将文字数据、视觉数据的文字描述和时间序列信号数据的文字描述分别转换成以医疗知识图谱为轴心的语义向量；其中，医疗知识图谱描述了症状、化验指标、检查标志物、疾病、药品和手术之间的拓扑关系。
本发明实施例中，当进行多模态智能诊断体系构建时，也就是进行模型训练时，前述病情描述可以为海量病例中单份病例的病情描述，单份病例的病情描述中可能包括多模态数据中的一种或多种类型，例如，仅包括时间序列信号数据和视觉数据，或仅包括文字数据。但是针对海量病例来说，必然包括多模态数据的所有类型。当多模态智能诊断体系构建完成后，可以针对一个患者的病情描述进行诊断分析，即确定诊断路径和诊断结果，这里一个患者的病情描述中可能包括多模态数据中的一种或多种类型，可以理解的是病情描述的类型涵盖越广泛、数目越多，相应的确定诊断路径和诊断结果越准确。
通常地，文字数据、视觉数据的文字描述和时间序列信号数据的文字描述为不定长输入序列。针对这一情况，在一个示例中，利用循环神经网络(Recurrent neuralNetwork，RNN)，把所述不定长输入序列编辑成定长输入张量；根据所述定长输入张量，利用第二卷积神经网络(Convolutional Neural Network，CNN)模型使用聚焦机制，找到所述医疗知识图谱中相应的病理逻辑，用所述病理逻辑再加工所述定长输入张量生成以医疗知识图谱为轴心的语义向量。
步骤104，根据语义向量利用第一CNN模型进行诊断导航和诊断决策。
在一个示例中，图文解码器具体为一个CNN模型，本发明实施例还可以包括图文解码器的评估过程。在步骤101之前，所述图文解码器使用深度学习中的目标识别技术，来自动完成检查所见的撰写；以及，所述图文解码器还使用深度学习中的图像标题技术，来自动完成检查结论的撰写；用生成对抗网络(Generative Adversarial Network，GAN)，评估所述图文解码器的解码的质量。
在一个示例中，信号文字解码器具体为一个CNN模型，本发明实施例还可以包括信号文字解码器的评估过程。在步骤102之前，用生成对抗网络GAN，评估所述信号文字解码器的解码的质量。
在一个示例中，在步骤104之前，还可以用深度强化学习中的深度价值学习网络DQN技术，从海量病历中分析各种疾病的最佳诊断路径。步骤104包括：根据所述语义向量利用第一CNN模型和所述各种疾病的最佳诊断路径进行诊断导航。
本发明实施例中，把文字符号、信号序列、影像像素，转换成为以医疗知识图谱为轴心的语义向量以后，相互比较与交叉操作就易如反掌了。各个模态的数据，分辨率不同、噪音不同、数据量不同，在语义向量里，体现在向量的具体数值有差异，因此能够获得最佳诊断路径及较高正确率的诊断结果。
图2为一种多模态智能分析系统结构图，病情描述为多模态数据，多模态数据包括文字数据、时间序列信号数据和视觉数据；该系统用于执行本发明实施例提供的多模态智能分析方法，即根据病情描述进行诊断导航和诊断决策，该系统包括：
图文解码模块201，用于将所述视觉数据通过图文解码器转换成所述视觉数据的文字描述；
信号文字解码模块202，用于将所述时间序列信号数据通过信号文字解码器转换成所述时间序列信号数据的文字描述；
语义向量转换模块203，用于将所述文字数据、所述图文解码模块201得到的所述视觉数据的文字描述和所述信号文字解码模块202得到的所述时间序列信号数据的文字描述分别转换成以医疗知识图谱为轴心的语义向量；其中，所述医疗知识图谱描述了症状、化验指标、检查标志物、疾病、药品和手术之间的拓扑关系；
诊断模块204，用于根据所述语义向量转换模块204得到的语义向量利用第一卷积神经网络CNN模型进行诊断导航和诊断决策。
可选地，所述文字数据、所述视觉数据的文字描述和所述时间序列信号数据的文字描述为不定长输入序列；所述语义向量转换模块203，具体用于利用循环神经网络RNN，把所述不定长输入序列编辑成定长输入张量；根据所述定长输入张量，利用第二CNN模型使用聚焦机制，找到所述医疗知识图谱中相应的病理逻辑，用所述病理逻辑再加工所述定长输入张量生成以医疗知识图谱为轴心的语义向量。
可选地，所述系统还包括：第一评估模块，用于在所述图文解码模块201将所述视觉数据通过图文解码器转换成所述视觉数据的文字描述之前，所述图文解码器使用深度学习中的目标识别技术，来自动完成检查所见的撰写；以及，所述图文解码器还使用深度学习中的图像标题技术，来自动完成检查结论的撰写；用生成对抗网络GAN，评估所述图文解码器的解码的质量。
可选地，所述系统还包括：第二评估模块，用于在所述信号文字解码模块202将所述时间序列信号数据通过信号文字解码器转换成所述时间序列信号数据的文字描述之前，用生成对抗网络GAN，评估所述信号文字解码器的解码的质量。
可选地，所述诊断模块204，具体用于用深度强化学习中的深度价值学习网络DQN技术，从海量病历中分析各种疾病的最佳诊断路径；根据所述语义向量利用第一CNN模型和所述各种疾病的最佳诊断路径进行诊断导航。
下面结合图3所示的智能诊断全流程示意图，对本发明实施例提供的多模态智能分析方法作出进一步的说明。
为了能够准确的确定诊断路径和诊断结果，本发明实施例中针对以下问题作出了进一步的研究。
多模态智能疾病诊断必须解决5个方面的问题，多模态的信息表述(Representation)、翻译和匹配(Translation/Mapping)、对齐(Alignment)、融合(Fusion)、和相互学习(Co-learning)。
1.多模态的信息表述(Representation)：需要一种超越文字、信号序列、和影像的，能够支持多模态数据互操作的信息表述方式。技术难度在于，a.文字符号、信号序列、影像像素，各有各的处理方法，难以直接融合。b.文字符号不存在分辨率的问题，而信号序列和影像像素有分辨率。c.文字记录存在主观描述的模糊性和人为笔误，信号序列不仅存在人为误操作，而且也存在机器本身的噪音。d.文字记录、信号序列、影像图片，数量有多有寡，分布不均，可靠性不一致。
2.翻译和匹配(Translation/Mapping)：需要把检查结论文字记录，与影像图片对应起来。技术难度在于，a.文字符号、信号序列、影像像素，相互之间不存在直接的对应关系。b.难以客观地量化地精准地评估翻译是否准确。
3.相互对应(Alignment)：需要把检查所见文字记录中描述的标志物，与影像图片中某些区域对应起来。技术难度在于，a.文字记录需要解决跨段落的语义关联的问题，b.图像分割的边界缺乏明确标准，c.标注图像非常耗费人力，被标注过的图像数量稀少，d.存在一对多的映射关系。
4.综合考虑(Fusion)：综合症状、体征、化验结果、检查报告等多模态数据，诊断患者可能罹患的疾病及其概率。技术难度在于，a.不同模态数据，缺乏统一的衡量尺度，b.信号序列涉及时间的连续性，而文字记录和影像图片基本是静态数据，c.不同模态的数据，对疾病诊断的贡献大小不同，d.不同模态的数据，噪音度不同，e.各个模态数据之间的映射关系不明确。
5.相互学习(Co-learning)：根据检查所见，训练机器学习模型，自动识别影像图片中的标志物。综合影像图片中的各种标志物，训练机器学习模型，自动判断最可能的检查结论。技术难度在于，a.各模态的数据，都存在缺失数据，b.不同模态的数据，缺乏公认的参照系，c.相互学习有可能相互放大噪音，导致训练不收敛，d.相互学习有可能相互误导，导致过度拟合。
本发明实施例中，针对多模态智能疾病诊断面临的5个方面的技术难题，使用深度强化学习和GAN模型来构建多模态智能疾病诊断的新体系。新体系包括10个要素。
1.把医学教材、临床指南和专家共识，转换成网络状的医学知识图谱。
其中，上述医学知识图谱也可以称为医疗知识图谱。
可以理解的是，上述转换过程可以采用人工转换的方式，也可以采用计算机辅助转换的方式。
医学知识图谱描述了哪些症状，与哪些化验指标和检查标志物，与哪些疾病有关联，哪些疾病与哪些药品和手术有关联。医学知识图谱可以只描述拓扑关系，而不描述关联强弱。由于医学教材、临床指南和专家共识数量不算太多，人工编辑医学知识图谱是可行的。
2.用深度学习中的编码解码技术，从病历的文字记录中，摘录出关键词，以及关键词之间的语义关系。这样，每一份病历也变成网络状图谱。
如果把单份病历的图谱，与医学知识图谱相比较，单份病历的图谱近似于医学知识图谱的一个局部。把海量病历的图谱，全部叠加在一起，构成临床数据图谱。
临床数据图谱与医学知识图谱的区别有三点。a.临床数据图谱中点与点之间的连边，是附带权重的，权重越高，关联强度越大。b.临床数据图谱中夹杂着噪音，有些症状与有些疾病之间，根据临床指南，不应该有关联，但是在临床数据图谱中，这些症状和疾病之间，可能会错误地有连边。c.医学知识图谱涵盖了病理，病理是隐藏在病情描述背后的内在生物学逻辑，而病历中只记录了病情描述的表象，缺失了病理逻辑。
3.临床数据图谱与医学知识图谱的语义向量表述。
以医学文献和海量病历为训练语料，为每一个医学术语生成语义向量。用语义向量表述临床数据图谱与医学知识图谱。语义向量是超脱了各种自然语言的语义的数学表述，具有可微分、可编辑的特点，便于深度学习建模和训练。不仅病历的文字记录，可以被转换成语义向量及其相互关系。而且可以从心脑电图的信号序列中，提炼出信号序列的特征，然后把信号特征也转换成语义向量及其相互关系。同理，也可以从医学检查影像图片中，提炼出图像特征，然后把图像特征也转换成语义向量及其相互关系。所以，临床数据图谱与医学知识图谱的语义向量表述，是各个模态临床数据的轴心表述。各个模态的临床数据都转换成语义向量表述后，就可以相互比较和交叉处理了。
4.把医学检查的影像图片转换成文字描述的图文解码器。
图文解码器的输入是影像图片的像素张量，输出是影像图片的文字描述，包括检查报告中的检查所见和检查结论两个段落。图文解码器使用深度学习中的目标识别技术，来自动完成检查所见的撰写。图文解码器还使用深度学习中的图像标题技术，来自动完成检查结论的撰写。
5.用生成对抗网络GAN，解决图文解码器的质量评价问题。
GAN由两个神经网络构成，一个是生成器，用于生成伪造数据，另一个是识别器，用于识别数据是真实数据还是伪造数据。如果真实数据与伪造数据非常近似，说明生成伪造数据的神经网络已经精准地把握了数据分布的特征。
图文解码器的输入是医学影像，输出是文字描述。对于同一张影像，可以有多种文字描述。如何评价文字描述的准确性，缺乏量化的客观的衡量尺度。
给定一张医学影像图片，从病历中找到与之对应的检查报告，是真实数据。把图文解码器生成的检查所见和检查结论，当成伪造数据。把真实数据和伪造数据同时交给GAN的识别器。如果识别器无法区别病历中医生人工撰写的检查报告，与图文识别器自动生成的检查报告，那么说明图文识别器的精度，已经可以与人类医生媲美了。
6.与图文解码器类似，构建从信号序列到文字描述的解码器。
信号文字解码器也使用GAN模型，来评估从信号序列到文字描述的解码的质量。
7.用循环神经网络，把不定长输入序列，编辑成定长输入张量。
每位患者的病情不同，罹患疾病不同，需要做的化验和检查项目，数量不同，先后顺序也不同。所以，病情描述的输入，是不定长的序列。
使用循环神经网络，对输入序列进行编辑，提炼关键特征，压缩关联特征。譬如症状发烧，与化验指标白细胞计数偏高，都是炎症的表征，这两项输入可以压缩成一体。
无论输入序列长度多少，先后顺序如何，经过循环神经网络的编辑，都转换成定长的病情描述，方便后续卷积神经网络进行疾病诊断。
8.用深度学习中的卷积神经模型技术，构建诊断模型。
诊断模型的输入是病情描述，输出是诊断决策和诊断导航，诊断决策的内容包括患者可能罹患的疾病及其概率，诊断导航是给医生的建议，后续应该给患者做什么化验或检查。
输入的病情描述中包含很多重复的或者相互关联的内容，以及不重要的内容，卷积的目的是去除重复，忽略冗余，提炼重点。
9.在卷积神经模型中使用了聚焦机制，引入隐藏的病理逻辑。
根据精炼出的病情要素，使用聚焦机制，找到医学知识图谱中相应的病理逻辑。用病理逻辑再加工病情描述，可以显著提高疾病诊断的准确性。
10.卷积神经模型的输出，包括两部分内容，疾病诊断决策，和诊断路径导航。
根据输入的病情描述，加上医学知识图谱关于病理的补充，疾病诊断决策判断患者可能罹患的疾病和概率。当病情描述越详实，诊断决策越精准。
诊断路径导航的任务是提示医生，后续应该让患者做哪些化验和检查项目，用最少最便宜的化验和检查项目，尽快收集到诊断金指标。我们用深度强化学习中的深度价值学习网络(DQN)技术，从海量病历中分析各种疾病的最佳诊断路径。在估算最佳路径的基础上，用蒙特卡洛搜索树(MCST)技术，精准推荐下一步的最佳化验或检查项目。
可以理解的是，诊断导航的功能和诊断决策的功能可以由不同的模块来实现，也可以由同一模块来实现。
在一个示例中，诊断导航的功能和诊断决策的功能由不同的模块来实现，诊断决策的功能由CNN模块来实现，诊断导航的功能由DQN模块来实现，CNN模块需要估算在只有有限的病情描述的情况下，对疾病的诊断概率是多少。病情描述越少，推测的可能的疾病数量越多，而且每种疾病的概率越低。病情描述越多，推测的可能的疾病数量越少，而且每种疾病的概率越高。本发明实施例中，可以设定疾病数量阈值和/或疾病概率阈值，一种可能的实施方式中，当CNN模块输出的诊断决策中的疾病数量大于或等于疾病数量阈值时，指示DQN模块进行诊断导航。
整个诊断过程可以描述为，少量病情描述->CNN的诊断结果，精度较差->DQN推荐后续该做什么化验和检查->更多病情描述->CNN的诊断结果，精度好一些->DQN推荐再后续该做什么化验和检查->更多更多病情描述->CNN的诊断结果，精度变好。直到CNN的诊断结果满足预设精度时，可以不必进行诊断导航，诊断过程结束。
下面结合本发明实施例中采用的技术手段对本发明实施例的效果进行说明。
1.多模态的信息表述(Representation)：把文字符号、信号序列、影像像素转换成为以医学知识图谱为轴心的语义向量以后，相互比较与交叉操作就易如反掌了。各个模态的数据分辨率不同、噪音不同、数据量不同，在语义向量里体现在向量的具体数值有差异。
2.翻译和匹配(Translation/Mapping)：用解码器把信号序列和影像像素转换成文字描述的语义向量，解决了各个模态的数据之间无法直接对应的问题。用生成对抗模型，鉴别解码器的翻译与医生撰写的病历，间接评估翻译是否准确，简便易行、可靠性高。
3.相互对应(Alignment)：用聚焦机制，把病历中的检查所见文字记录与影像中的区域特征对应起来，解决了标注图像费时费力的困难，大大丰富了训练数据的数量，同时避开了人工标注图像时图像分割边界不一致的麻烦。
4.综合考虑(Fusion)：把不同模态的数据都转换成知识图谱的语义向量，在同一个空间中相互比较、交叉操作，既统一了多模态数据的衡量尺度，又让精度、价值、数量各不相同的多模态数据相互补充。
5.相互学习(Co-learning)：多模态数据以知识图谱为轴心参照系，并且用隐藏的病理逻辑来补充表象的病情描述，提高诊断精度。又利用生成对抗GAN模型，作为评价函数，以便训练过程中可能发生的过度拟合，加速训练过程的收敛。
本发明实施例针对多模态智能疾病诊断面临的多方面的技术难题，使用深度强化学习和GAN模型来构建多模态智能疾病诊断的新体系。新体系包括以下特点。
1.把多模态数据，都转换成以医疗知识图谱为轴心的语义向量，在同一个参照系下进行相互比较和交叉操作，不仅简化了预处理的难度和强度，而且提高了旨在特征提取的预处理精度。
2.在知识图谱为轴心的语义向量空间中，融合多模态数据，相互印证，使用图像标题和目标识别技术，从医学图像中提炼医学语义，并使用生成对抗模型提供可行又可靠的质量评估。
3.用卷积神经网络技术，从病情描述中提炼病情特征，用聚焦机制，从医学知识图谱中补充相应病理逻辑，优化疾病的诊断与验证。
4.用深度强化学习和蒙特卡洛搜索树技术，给医生推荐最佳后续化验和检查项目，补充病情描述，用最少的代价，找到诊断金指标，提高诊断精度。
5.把卷积神经网络、循环神经网络、聚焦机制、生成对抗模型、深度强化学习、蒙特卡洛搜索树、知识图谱等等多种前沿技术融为一体，构建医学图像分析和智能诊断新体系，在理论和方法论上均有突破性创新。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种多模态智能分析方法，其特征在于，病情描述为多模态数据，所述多模态数据包括文字数据、时间序列信号数据和视觉数据；所述方法用于根据所述病情描述进行诊断导航和诊断决策，所述方法包括：
将所述视觉数据通过图文解码器转换成所述视觉数据的文字描述；
将所述时间序列信号数据通过信号文字解码器转换成所述时间序列信号数据的文字描述；
将所述文字数据、所述视觉数据的文字描述和所述时间序列信号数据的文字描述分别转换成以医疗知识图谱为轴心的语义向量；其中，所述医疗知识图谱描述了症状、化验指标、检查标志物、疾病、药品和手术之间的拓扑关系；
用深度强化学习中的深度价值学习网络DQN技术，从海量病历中分析各种疾病的最佳诊断路径；
根据所述语义向量利用第一CNN模型和所述各种疾病的最佳诊断路径进行诊断导航；根据所述语义向量利用第一卷积神经网络CNN模型诊断决策；
所述诊断决策和所述诊断导航交替进行， 如果所述诊断决策达不到预设精度， 则进行所述诊断导航， 根据所述诊断导航的推荐进行检查和化验项目， 然后由所述检查和化验项目的结果，再次进行所述诊断决策，如果所述诊断决策结果达到预设精度，则完成诊断，如果没有，则继续所述诊断导航和所述诊断决策交替过程，直到完成诊断。
2.如权利要求1所述的方法，其特征在于，所述文字数据、所述视觉数据的文字描述和所述时间序列信号数据的文字描述为不定长输入序列；所述将所述文字数据、所述视觉数据的文字描述和所述时间序列信号数据的文字描述分别转换成以医疗知识图谱为轴心的语义向量，包括：
利用循环神经网络RNN，把所述不定长输入序列编辑成定长输入张量；
根据所述定长输入张量，利用第二CNN模型使用聚焦机制，找到所述医疗知识图谱中相应的病理逻辑，用所述病理逻辑再加工所述定长输入张量生成以医疗知识图谱为轴心的语义向量。
3.如权利要求1或2所述的方法，其特征在于，所述将所述视觉数据通过图文解码器转换成所述视觉数据的文字描述之前，所述方法还包括：
所述图文解码器使用深度学习中的目标识别技术，来自动完成检查所见的撰写；以及，所述图文解码器还使用深度学习中的图像标题技术，来自动完成检查结论的撰写；
用生成对抗网络GAN，评估所述图文解码器的解码的质量。
4.如权利要求1或2所述的方法，其特征在于，所述将所述时间序列信号数据通过信号文字解码器转换成所述时间序列信号数据的文字描述之前，所述方法还包括：
用生成对抗网络GAN，评估所述信号文字解码器的解码的质量。
5.一种多模态智能分析系统，其特征在于，病情描述为多模态数据，所述多模态数据包括文字数据、时间序列信号数据和视觉数据；所述系统用于根据所述病情描述进行诊断导航和诊断决策，所述系统包括：
图文解码模块，用于将所述视觉数据通过图文解码器转换成所述视觉数据的文字描述；
信号文字解码模块，用于将所述时间序列信号数据通过信号文字解码器转换成所述时间序列信号数据的文字描述；
语义向量转换模块，用于将所述文字数据、所述图文解码模块得到的所述视觉数据的文字描述和所述信号文字解码模块得到的所述时间序列信号数据的文字描述分别转换成以医疗知识图谱为轴心的语义向量；其中，所述医疗知识图谱描述了症状、化验指标、检查标志物、疾病、药品和手术之间的拓扑关系；
诊断模块，使用深度强化学习中的深度价值学习网络DQN技术，从海量病历中分析各种疾病的最佳诊断路径；
所述诊断模块，根据所述语义向量利用第一CNN模型和所述各种疾病的最佳诊断路径进行诊断导航；
所述诊断模块，根据所述语义向量转换模块得到的语义向量利用第一卷积神经网络CNN模型进行诊断决策；
所述诊断决策和所述诊断导航交替进行， 如果所述诊断决策达不到预设精度， 则进行所述诊断导航， 根据所述诊断导航的推荐进行检查和化验项目， 然后由所述检查和化验项目的结果，再次进行所述诊断决策，如果所述诊断决策结果达到预设精度，则完成诊断，如果没有，则继续所述诊断导航和所述诊断决策交替过程，直到完成诊断。
6.如权利要求5所述的系统，其特征在于，所述文字数据、所述视觉数据的文字描述和所述时间序列信号数据的文字描述为不定长输入序列；所述语义向量转换模块，具体用于利用循环神经网络RNN，把所述不定长输入序列编辑成定长输入张量；根据所述定长输入张量，利用第二CNN模型使用聚焦机制，找到所述医疗知识图谱中相应的病理逻辑，用所述病理逻辑再加工所述定长输入张量生成以医疗知识图谱为轴心的语义向量。
7.如权利要求5或6所述的系统，其特征在于，所述系统还包括：
第一评估模块，用于在所述图文解码模块将所述视觉数据通过图文解码器转换成所述视觉数据的文字描述之前，所述图文解码器使用深度学习中的目标识别技术，来自动完成检查所见的撰写；以及，所述图文解码器还使用深度学习中的图像标题技术，来自动完成检查结论的撰写；用生成对抗网络GAN，评估所述图文解码器的解码的质量。
8.如权利要求5或6所述的系统，其特征在于，所述系统还包括：
第二评估模块，用于在所述信号文字解码模块将所述时间序列信号数据通过信号文字解码器转换成所述时间序列信号数据的文字描述之前，用生成对抗网络GAN，评估所述信号文字解码器的解码的质量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710468651.7A CN107247881B (zh) | 2017-06-20 | 2017-06-20 | 一种多模态智能分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710468651.7A CN107247881B (zh) | 2017-06-20 | 2017-06-20 | 一种多模态智能分析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107247881A CN107247881A (zh) | 2017-10-13 |
| CN107247881B true CN107247881B (zh) | 2020-04-28 |
Family
ID=60019277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710468651.7A Expired - Fee Related CN107247881B (zh) | 2017-06-20 | 2017-06-20 | 一种多模态智能分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107247881B (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107863147B (zh) * | 2017-10-24 | 2021-03-16 | 清华大学 | 基于深度卷积神经网络的医疗诊断的方法 |
| CN107910060A (zh) * | 2017-11-30 | 2018-04-13 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN108205686A (zh) * | 2017-12-06 | 2018-06-26 | 中国电子科技集团公司电子科学研究院 | 视频情感分类方法及装置 |
| CN108182262B (zh) * | 2018-01-04 | 2022-03-04 | 华侨大学 | 基于深度学习和知识图谱的智能问答系统构建方法和系统 |
| CN108198620B (zh) * | 2018-01-12 | 2022-03-22 | 洛阳飞来石软件开发有限公司 | 一种基于深度学习的皮肤疾病智能辅助诊断系统 |
| CN108241322B (zh) * | 2018-01-16 | 2020-08-04 | 电子科技大学 | 一种fpga互联资源的优化配置生成方法 |
| CN108256065B (zh) * | 2018-01-16 | 2021-11-09 | 智言科技（深圳）有限公司 | 基于关系检测和强化学习的知识图谱推理方法 |
| CN108198621B (zh) * | 2018-01-18 | 2022-03-08 | 中山大学 | 一种基于神经网络的数据库数据综合诊疗决策方法 |
| CN108376558B (zh) * | 2018-01-24 | 2021-08-20 | 复旦大学 | 一种多模态核磁共振影像病历报告自动生成方法 |
| CN108735198B (zh) * | 2018-05-29 | 2019-08-30 | 杭州认识科技有限公司 | 基于医学疾病数据的语音合成方法、装置及电子设备 |
| CN109063756A (zh) * | 2018-07-20 | 2018-12-21 | 天津师范大学 | 一种基于多模态生成式对抗网络的云图分类方法 |
| CN109739992B (zh) * | 2018-11-26 | 2021-06-11 | 厦门市美亚柏科信息股份有限公司 | 一种获取关联信息的方法及终端 |
| CN109727680A (zh) * | 2018-12-28 | 2019-05-07 | 上海列顿信息科技有限公司 | 一种基于大数据技术的区域临床路径管理系统 |
| CN109920541A (zh) * | 2019-03-21 | 2019-06-21 | 武汉千屏影像技术有限责任公司 | 一种基于数据分析的病理诊断方法 |
| CN112216379A (zh) * | 2019-07-12 | 2021-01-12 | 刘璐 | 一种基于智能联合学习的疾病诊断系统 |
| CN110675951A (zh) * | 2019-08-26 | 2020-01-10 | 北京百度网讯科技有限公司 | 智能化的疾病诊断方法及装置、计算机设备与可读介质 |
| CN110808095B (zh) * | 2019-09-18 | 2023-08-04 | 平安科技（深圳）有限公司 | 诊断结果识别、模型训练的方法、计算机设备及存储介质 |
| CN110895561B (zh) * | 2019-11-13 | 2022-04-01 | 中国科学院自动化研究所 | 基于多模态知识感知的医疗问答检索方法、系统、装置 |
| CN112989176A (zh) * | 2019-12-12 | 2021-06-18 | 国网电子商务有限公司 | 一种信息推荐方法及装置 |
| CN111933251B (zh) * | 2020-06-24 | 2021-04-13 | 安徽影联云享医疗科技有限公司 | 一种医学影像标注方法及系统 |
| CN111933279A (zh) * | 2020-09-14 | 2020-11-13 | 江苏瑞康成医疗科技有限公司 | 智能化疾病诊疗系统 |
| CN112164448B (zh) * | 2020-09-25 | 2021-06-22 | 上海市胸科医院 | 免疫治疗疗效预测模型训练方法、预测系统及方法和介质 |
| CN113010783A (zh) * | 2021-03-17 | 2021-06-22 | 华南理工大学 | 基于多模态心血管疾病信息的医疗推荐方法、系统及介质 |
| CN112800247B (zh) * | 2021-04-09 | 2021-06-18 | 华中科技大学 | 基于知识图谱共享的语义编/解码方法、设备和通信系统 |
| CN113488183B (zh) * | 2021-06-30 | 2023-10-31 | 吾征智能技术(北京)有限公司 | 一种发热疾病多模态特征融合认知系统、设备、存储介质 |
| CN114999599A (zh) * | 2022-05-26 | 2022-09-02 | 中国科学技术信息研究所 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
| CN117251699B (zh) * | 2023-11-17 | 2024-02-02 | 北京无极慧通科技有限公司 | 基于人工智能的医疗大数据分析方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778014A (zh) * | 2016-12-29 | 2017-05-31 | 浙江大学 | 一种基于循环神经网络的患病风险预测方法 |
| CN106776711A (zh) * | 2016-11-14 | 2017-05-31 | 浙江大学 | 一种基于深度学习的中文医学知识图谱构建方法 |
| EP3173983A1 (en) * | 2015-11-26 | 2017-05-31 | Siemens Aktiengesellschaft | A method and apparatus for providing automatically recommendations concerning an industrial system |
-
2017
- 2017-06-20 CN CN201710468651.7A patent/CN107247881B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3173983A1 (en) * | 2015-11-26 | 2017-05-31 | Siemens Aktiengesellschaft | A method and apparatus for providing automatically recommendations concerning an industrial system |
| CN106776711A (zh) * | 2016-11-14 | 2017-05-31 | 浙江大学 | 一种基于深度学习的中文医学知识图谱构建方法 |
| CN106778014A (zh) * | 2016-12-29 | 2017-05-31 | 浙江大学 | 一种基于循环神经网络的患病风险预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| "Augmented LSTM Framework to Construct Medical Self-Diagnosis Android";Chaochun Liu;《2016 IEEE 16th International Conference on Data Mining (ICDM)》;20161231;第251-260页 * |
| "基于知识图谱的智能医疗研究";俞思伟 等;《医疗卫生装备》;20170331(第3期);第109-111、126页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107247881A (zh) | 2017-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107247881B (zh) | 一种多模态智能分析方法及系统 | |
| CN108831559B (zh) | 一种中文电子病历文本分析方法与系统 | |
| US10929420B2 (en) | Structured report data from a medical text report | |
| CN100481096C (zh) | 心脏成像的自动区域心肌评定的方法 | |
| CN112712879B (zh) | 医学影像报告的信息提取方法、装置、设备及存储介质 | |
| CN108628824A (zh) | 一种基于中文电子病历的实体识别方法 | |
| Carchiolo et al. | Medical prescription classification: a NLP-based approach | |
| CN111145903B (zh) | 获取眩晕症问诊文本的方法、装置、电子设备及问诊系统 | |
| CN113662664B (zh) | 一种基于仪器追踪的外科手术质量客观自动化评估方法 | |
| CN114242194A (zh) | 一种基于人工智能的医学影像诊断报告自然语言处理装置及方法 | |
| CN112749277A (zh) | 医学数据的处理方法、装置及存储介质 | |
| CN118098585A (zh) | 一种基于数据驱动与大模型的医学ai助理实现方法及系统 | |
| CN111524570A (zh) | 一种基于机器学习的超声随访患者筛选方法 | |
| CN113838018B (zh) | 基于Cnn-former的肝纤维化病变检测模型训练方法与系统 | |
| CN111724873B (zh) | 一种数据处理方法及装置 | |
| CN116452592B (zh) | 脑血管病ai认知功能评测模型的构建方法、装置及系统 | |
| CN113553840A (zh) | 一种文本信息处理方法、装置、设备及存储介质 | |
| CN116524248B (zh) | 医学数据处理装置、方法及分类模型训练装置 | |
| CN115089112B (zh) | 卒中后认知障碍风险评估模型建立方法、装置及电子设备 | |
| Rammal et al. | Heart failure prediction models using big data techniques | |
| CN113298067A (zh) | 体检结果自动审核方法及系统、电子设备及存储介质 | |
| CN112735543A (zh) | 医学数据的处理方法、装置及存储介质 | |
| CN112712868A (zh) | 医学数据的分析方法、装置及存储介质 | |
| US20230096522A1 (en) | Method and system for annotation of medical images | |
| CN118430778A (zh) | 一种试剂盒联合多因素鼻腔鼻窦淋巴瘤诊断辅助系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200428 |