CN115700789A - 一种基于多模态医学数据的肺炎预检分诊系统 - Google Patents
一种基于多模态医学数据的肺炎预检分诊系统 Download PDFInfo
- Publication number
- CN115700789A CN115700789A CN202110845084.9A CN202110845084A CN115700789A CN 115700789 A CN115700789 A CN 115700789A CN 202110845084 A CN202110845084 A CN 202110845084A CN 115700789 A CN115700789 A CN 115700789A
- Authority
- CN
- China
- Prior art keywords
- data
- pneumonia
- modal
- network
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010035664 Pneumonia Diseases 0.000 title claims abstract description 94
- 239000013598 vector Substances 0.000 claims abstract description 55
- 230000004927 fusion Effects 0.000 claims abstract description 46
- 241000711573 Coronaviridae Species 0.000 claims abstract description 40
- 238000003745 diagnosis Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000007246 mechanism Effects 0.000 claims abstract description 25
- 238000012512 characterization method Methods 0.000 claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000002601 radiography Methods 0.000 claims abstract description 9
- 238000007689 inspection Methods 0.000 claims abstract description 7
- 150000007523 nucleic acids Chemical class 0.000 claims abstract description 5
- 102000039446 nucleic acids Human genes 0.000 claims abstract description 5
- 108020004707 nucleic acids Proteins 0.000 claims abstract description 5
- 238000002591 computed tomography Methods 0.000 claims description 60
- 208000025721 COVID-19 Diseases 0.000 claims description 44
- 230000002457 bidirectional effect Effects 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 201000010099 disease Diseases 0.000 claims description 11
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 11
- 238000013473 artificial intelligence Methods 0.000 claims description 7
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 239000008280 blood Substances 0.000 claims description 6
- 210000004369 blood Anatomy 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000013178 mathematical model Methods 0.000 claims description 4
- 208000024891 symptom Diseases 0.000 claims description 4
- 208000017667 Chronic Disease Diseases 0.000 claims description 3
- 238000011976 chest X-ray Methods 0.000 claims description 3
- 230000015271 coagulation Effects 0.000 claims description 3
- 238000005345 coagulation Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 210000004072 lung Anatomy 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 2
- 208000015181 infectious disease Diseases 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000003902 lesion Effects 0.000 description 6
- 238000011282 treatment Methods 0.000 description 5
- 208000003322 Coinfection Diseases 0.000 description 3
- 238000013399 early diagnosis Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000001528 Coronaviridae Infections Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005541 medical transmission Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种基于多模态医学数据的肺炎预检分诊系统，包括对胸片数据进行数据标注的方法、基于BERT和带注意力机制的双向LSTM的文本编码算法、基于向量外积和自适应特征关注表征融合卷积网络算法、基于动态多模态数据跟踪分析的深度网络算法，其特征在于：本发明以理论研究与工程应用相结合的设计思路，构建高质量的新型冠状病毒患者医学数据，本发明包含医学文本数据向量化算法、多模态医学数据有效融合表征方法和动态多模态医学数据的实时跟踪预测方法，并搭建了智能动态新型冠状病毒肺炎的预检分诊系统，用于新型冠状病毒肺炎的预检分诊。该系统诊断性能高于核酸检测结果，假阴性率低于30％，准确率达90％以上。克服了现有技术的不足。
Description
技术领域
本发明涉及一种医学图像与医学数据处理技术领域，尤其涉及一种基于多模态医学数据的肺炎预检分诊系统。
背景技术
有效的预检分诊可以尽早筛查感染新冠肺炎的病例和疑似病例，可以提高医护人员工作效率，做到早发现、早隔离、早诊治，在实际接诊治疗中发挥关键作用。由于核酸检测存在比例的假阴性，而且一些感染患者存在正常的放射学表现，仅靠CT确诊COVID-19准确率只有76.4％。此外，医护人员对疑似病例进行标本的采集时，过程中容易造成二次传染。有很多有COVID-19病人接触史但是没有任何临床表现、处于感染潜伏期、有传染性的带菌者，对这类人群的筛查至关重要。所以如果能够做到对预检分诊的患者以及与其有密切接触者，或者是目前处于潜伏期的患者进行快速筛查，做到及时隔离，则对防控起到重要作用。专业人员面对大量的COVID-19患者，人工的预检分诊不仅效率低，也给医护人员带来巨大的工作和精神负担。COVID-19病人因就诊时间长而得不到及时隔离及治疗，则容易导致疾病进一步传播。
综上所述，利用人工智能技术，结合一线专家的经验，开发实现新型冠状病毒肺炎精准预检系统，是当前可行有效的解决方案。
发明内容
本发明的目的在于提供一种基于多模态医学数据的肺炎预检分诊系统，合理有效地解决了现有技术的新型冠状病毒肺炎预检精准度不足、成本高、耗时长、有二次传染风险等问题。
本发明采用如下技术方案：
一种基于多模态医学数据的肺炎预检分诊系统，包括对胸片数据进行数据标注的方法、基于BERT和带注意力机制的双向LSTM的文本编码算法、基于向量外积和自适应特征关注表征融合卷积网络算法、基于动态多模态数据跟踪分析的深度网络算法，其特征在于：
所述对胸片数据进行数据标注的方法，包括图像存储模式和CT影像数据标签模式，采用COVID-19胸部CT数据dcm转bmp格式，将不需要做标注部分的后缀为.bmp图片剔除，剔除的所述图片为非胸部区域和/或胸部区域但是没有显著病灶区的CT片剔除，保留的后缀为.bmp图片，后续将对其进行数据标注；所述图像存储模式为新建一个文件夹，命名为COVID_19_年份参数，CT图片命名模式式为患者编号_新冠肺炎诊断结果_CT片编号_性别_出生年月日_就诊年月日.jpg，患者编号采用0表示新冠肺炎阴性，1表示新冠肺炎阳性，CT片编号采用自然数序号，性别采用0表示女性，1表示男性，出生日期和就诊日期采用连续无间隔8位数，后缀采用.jpg，将所有的CT影像数据放入到年份文件夹COVID_19_年份参数的文件夹中；
所述CT影像数据标签模式，采用在新冠肺炎阳性患者的CT影像，观察肺窗部位，找到有明显新冠肺炎病灶特征的CT影像区域，每个新冠肺炎病灶区域，均用长方形框标记，将CT标注信息保存在COVID_19_年份.txt文件中，每个CT影像信息对应所述COVID_19_年份.txt文件的一行数据，标注信息包括：CT影像数据路径信息、病灶区域是否为新冠肺炎阳性信息，采用1表示新冠肺炎阳性、病灶区域的长方形框坐标信息、CT图片大小信息即图片的宽度和高度，保存具体模式如下：采用逗号和空格分开，CT影像数据路径1，1表示新冠肺炎阳性，依次标记每个长方形框x轴min和max、y轴min和max，所述长方形框的编号采用从左至右向下换行的连续自然数序标记，CT片路径模式为COVID_19_2020\001_1_200_1_19661010_20200408.jpg；
所述基于BERT和带注意力机制的双向LSTM的文本编码算法，为了编码医学文本数据，采用基于转换器的双向编码器表征(Bidirectional Encoder Representation fromTransformers，BERT)和带关注机制的双向长短期记忆网络(Long-short Term MemoryNetwork，LSTM)网络将文本转换成可以计算的向量；把带有注意力机制的双向LSTM层应用到BERT编码网络的上方，可以把BERT输出的文字编码向量序列进一步编码为一个向量，这个向量包含了所有文本的信息，作为文本编码算法的输出，算法关键步骤在于BERT和带注意力机制的双向LSTM网络实现医学文本数据向量化，将提出的模型应用于肺炎疫情数据库得到了验证；
所述基于向量外积和自适应特征关注表征融合卷积网络算法，为了实现多模态医学数据信息的有效融合，采用设计所述向量外积与自适应特征关注卷积网络的融合算法，将多种医学数据，包括流行病学史，入院时的体征和症状、慢性疾病、胸部X线和CT表现、血常规、凝结功能、血液生化等等输入网络形成融合表征；首先将医学文本数据用网络构建成一个向量，同时用图像特征提取网络采用DenseNet获取医学图像的特征图表征，并将该特征图重塑为一个多通道的向量，可看作是重塑为一个矩阵；然后将两种数据的各个向量尾部补1后用向量外积融合，形成一个多通道的矩阵，即融合成一个三维张量，向量补1后用外积进行融合可以有效地探索模态之间的交互信息以及保留各个模态特有的信息，从而使融合后的三维张量可以包含最多的信息；
再将得到的三维张量输入到自适应特征关注表征融合卷积网络，自适应特征关注机制的引入，使得模型关注对COVID-19敏感的特征，并形成鲁棒的融合表征，再将融合得到的特征向量送入到一个二分类器，即一个softmax激活的全连接层中，可以得到该病人染上COVID-19的概率；另外，为防止某些病例只有文本或图像的数据，还没来得及获得医学图像数据，采用文本向量和图像数据分别设计了一个二分类器，可直接获得基于单个模态的患病概率，模型有更广泛的适用性；
所述基于动态多模态数据跟踪分析的深度网络算法，为了实现基于动态医学数据的新型冠状病毒实时跟踪预测，采用和设计基于动态多模态数据跟踪分析的深度网络算法，对疑似病例多天的动态多模态医学数据进行实时的分析，实现准确有效的智能新型冠状病毒实时跟踪预测；首先将动态多模态医学数据进行补1向量外积，并输入到自适应特征关注表征融合卷积网络获取融合的多模态表征，融合的表征输入到循环神经网络，拟采用LSTM，循环神经网络能够动态地推断COVID-19诊断结果，并且会对每天的医学数据进行累计分析，实现精准快速的智能动态COVID-19的预检分诊；将循环神经网络的最后一个隐含状态作为该循环神经网络的输出，将这个隐含状态通过一个二分类器，即可得到跟踪预测的肺炎患病概率；若只有文本或图像数据，该动态追踪网络同样可以实现，只需将多模态数据替换为单模态数据，得益于动态跟踪网络，即使一个病例在前几天均没有测出患有COVID-19，也可以通过这几天患病概率的变化规律，随着时间的推移，该病例患病概率越来越大，但没有达到阈值，得出该病例是否患有COVID-19，从而达到尽早准确诊断的目的；
所述基于多模态医学数据的肺炎预检分诊系统首先采用所述对胸片数据进行数据标注的方法构建高质量的新型冠状病毒肺炎患者医学数据库，提高人工智能对新型冠状病毒肺炎感染者筛查性能；然后采用所述基于BERT和带注意力机制的双向LSTM的文本编码算法，从复杂的数据中发现和识别新型冠状病毒肺炎感染者和数据之间的模式和关系；提出基于孪生神经网络的新型冠状病毒肺炎医学数据文本向量化方法，能够使得语义不同的文本词向量之间更加分散；再采用所述基于向量外积和自适应特征关注表征融合卷积网络算法，提出多模态医学数据有效融合表征方法，建立多模态医学数据融合数学模型，实现鲁棒的多模态医学数据融合表征；最后采用所述基于动态多模态数据跟踪分析的深度网络算法，在多模态医学数据融合表征的基础上，进一步构建动态跟踪网络用于处理动态多模态医学数据，实现智能动态新型冠状病毒肺炎预检分诊技术。
进一步地，所述一种基于多模态医学数据的肺炎预检分诊系统用于新型冠状病毒肺炎的智能动态预检分诊。
进一步地，所述基于多模态医学数据的肺炎预检分诊系统诊断准确率高于核酸检测结果，假阴性率低于30％，准确率达90％以上。
本发明的有益技术效果是:
本发明公开了一种基于多模态医学数据的肺炎预检分诊系统，合理有效地解决了现有技术的新型冠状病毒肺炎预检精准度不足、成本高、耗时长、有二次传染风险等问题。
本发明采用对胸片数据进行数据标注的方法、基于BERT和带注意力机制的双向LSTM的文本编码算法、基于向量外积和自适应特征关注表征融合卷积网络算法、基于动态多模态数据跟踪分析的深度网络算法建构的系统架构，实现一种基于多模态医学数据的肺炎预检分诊系统，在新型冠状病毒肺炎的智能动态预检分诊过程中，构建高质量的新型冠状病毒肺炎患者医学数据库，提高人工智能对新型冠状病毒肺炎感染者筛查性能。从复杂的数据中发现和识别新型冠状病毒肺炎感染者和数据之间的模式和关系，通过人工智能算法实现新型冠状病毒肺炎感染者精准筛查。人工智能算法在保持新型冠状病毒肺炎感染筛查精准度的同时，提高系统筛查效率。提出基于BERT和带注意力机制的双向LSTM算法的新型冠状病毒医学数据文本向量化方法，能够学习到不同词(或症状)之间的相关性以及联系，并关注到对诊断新型冠状病毒肺炎敏感的文本信息。提出基于向量外积和自适应特征关注融合卷积网络的多模态医学数据有效融合表征方法，建立多模态医学数据融合数学模型，实现鲁棒的多模态医学数据融合表征，从而可以利用尽可能多的数据来提高新型冠状病毒肺炎感染筛查的精准度。在多模态医学数据融合表征的基础上，进一步构建基于循环神经网络的动态跟踪网络用于处理动态多模态医学数据，实现智能动态新型冠状病毒预检分诊技术，从而可以及时发现疑似病例患病概率变化的规律，达到尽早诊断的目的。实现基于动态多模态医学数据的新型冠状病毒感染概率实时跟踪预测。传统方法比较多是针对静态的历史数据进行预测。克服了现有技术的不足。
附图说明
图1是本发明系统架构电路图。
图2是本发明系统新冠肺炎阳性胸片图。
图3是本发明系统新冠肺炎阳性胸片方框标记图。
图4是本发明系统新冠肺炎阳性胸片方框坐标信息标记图。
图5是基于BERT和带注意力机制的双向LSTM的文本向量化算法框架图。
图6是基于向量外积和自适应特征关注表征融合卷积网络算法框架图。
图7是基于动态多模态数据跟踪分析的深度网络算法框架图。
具体实施方式
通过下面对实施例的描述，将更加有助于公众理解本发明，但不能也不应当将申请人所给出的具体的实施例视为对本发明技术方案的限制，任何对部件或技术特征的定义进行改变和/或对整体结构作形式的而非实质的变换都应视为本发明的技术方案所限定的保护范围。
实施例:
如图1-7所示的一种基于多模态医学数据的肺炎预检分诊系统，包括对胸片数据进行数据标注的方法、基于BERT和带注意力机制的双向LSTM的文本编码算法、基于向量外积和自适应特征关注表征融合卷积网络算法、基于动态多模态数据跟踪分析的深度网络算法，其特征在于：
所述对胸片数据进行数据标注的方法，包括图像存储模式和CT影像数据标签模式，采用COVID-19胸部CT数据dcm转bmp格式，将不需要做标注部分的后缀为.bmp图片剔除，剔除的所述图片为非胸部区域和/或胸部区域但是没有显著病灶区的CT片剔除，保留的后缀为.bmp图片，后续将对其进行数据标注；所述图像存储模式为新建一个文件夹，命名为COVID_19_年份参数，CT图片命名模式式为患者编号_新冠肺炎诊断结果_CT片编号_性别_出生年月日_就诊年月日.jpg。示例：患者001，新冠肺炎阳性(0表示新冠肺炎阴性，1表示新冠肺炎阳性)，CT片编号200，性别男(0表示性别是女性，1表示性别是男性)，出生日期1966年10月10日，就诊日期2020年4月8日，则该CT片命名为001_1_200_1_19661010_20200408.jpg。将所有的CT影像数据放入到文件夹COVID_19_2020中，其中示例的路径为COVID_19_2020\001_1_200_1_19661010_20200408.jpg。
患者编号采用0表示新冠肺炎阴性，1表示新冠肺炎阳性，CT片编号采用自然数序号，性别采用0表示女性，1表示男性，出生日期和就诊日期采用连续无间隔8位数，后缀采用.jpg，将所有的CT影像数据放入到年份文件夹COVID_19_年份参数的文件夹中；COVID_19_2020.txt中，记录新冠阳性患者CT影像信息的例子。
患者001，新冠肺炎阳性(0表示新冠肺炎阴性，1表示新冠肺炎阳性)，CT片编号200，性别男(0表示性别是女性，1表示性别是男性)，出生日期1966年10月10日，就诊日期2020年4月8。该CT片路径为COVID_19_2020\001_1_200_1_19661010_20200408.jpg。假设该CT片如图2所示，有四处明显的病灶区域。其标注的图片如图3所示。获取长方形框坐标信息方法如图4所示，需要构建x轴和y轴坐标系。图4中，只画出了1号病灶区域的长方形框坐标信息获取方法，2、3、4号病灶区域获取方法与1号类似。现假设该CT片COVID_19_2020\001_1_200_1_19661010_20200408.jpg图像的尺度大小为宽度1000，长度1100，各个病灶区域的长方形框坐标信息如下：
1号病灶区域：长方形框x轴min为54，长方形框y轴min为87，长方形框x轴max为256，长方形框y轴max为499
2号病灶区域：长方形框x轴min为11，长方形框y轴min为514，长方形框x轴max为46，长方形框y轴max为676
3号病灶区域：长方形框x轴min为433，长方形框y轴min为77，长方形框x轴max为654，长方形框y轴max为456
4号病灶区域：长方形框x轴min为452，长方形框y轴min为421，长方形框x轴max为711，长方形框y轴max为655
则COVID_19_2020.txt文件中对该CT影像记录的信息为：COVID_19_2020\001_1_200_1_19661010_20200408.jpg
1,54,87,256,499
1,11,514,46,676
1,433,77,654,456
1,452,421,711,655 1000
所述CT影像数据标签模式，采用在新冠肺炎阳性患者的CT影像，观察肺窗部位，找到有明显新冠肺炎病灶特征的CT影像区域，每个新冠肺炎病灶区域，均用长方形框标记，将CT标注信息保存在COVID_19_年份.txt文件中，每个CT影像信息对应所述COVID_19_年份.txt文件的一行数据，标注信息包括：CT影像数据路径信息、病灶区域是否为新冠肺炎阳性信息，采用1表示新冠肺炎阳性、病灶区域的长方形框坐标信息、CT图片大小信息即图片的宽度和高度，保存具体模式如下：采用逗号和空格分开，CT影像数据路径1，1表示新冠肺炎阳性，依次标记每个长方形框x轴min和max、y轴min和max，所述长方形框的编号采用从左至右向下换行的连续自然数序标记，CT片路径模式为COVID_19_2020\001_1_200_1_19661010_20200408.jpg；
所述基于BERT和带注意力机制的双向LSTM的文本编码算法，为了编码医学文本数据，采用基于转换器的双向编码器表征(Bidirectional Encoder Representation fromTransformers，BERT)和带关注机制的双向长短期记忆网络(Long-short Term MemoryNetwork，LSTM)网络将文本转换成可以计算的向量；把带有注意力机制的双向LSTM层应用到BERT编码网络的上方，可以把BERT输出的文字编码向量序列进一步编码为一个向量，这个向量包含了所有文本的信息，作为文本编码算法的输出，算法关键步骤在于BERT和带注意力机制的双向LSTM网络实现医学文本数据向量化，将提出的模型应用于肺炎疫情数据库得到了验证；
所述基于向量外积和自适应特征关注表征融合卷积网络算法，为了实现多模态医学数据信息的有效融合，采用设计所述向量外积与自适应特征关注卷积网络的融合算法，将多种医学数据，包括流行病学史，入院时的体征和症状、慢性疾病、胸部X线和CT表现、血常规、凝结功能、血液生化等等输入网络形成融合表征；首先将医学文本数据用网络构建成一个向量，同时用图像特征提取网络采用DenseNet获取医学图像的特征图表征，并将该特征图重塑为一个多通道的向量，可看作是重塑为一个矩阵；然后将两种数据的各个向量尾部补1后用向量外积融合，形成一个多通道的矩阵，即融合成一个三维张量，向量补1后用外积进行融合可以有效地探索模态之间的交互信息以及保留各个模态特有的信息，从而使融合后的三维张量可以包含最多的信息；
再将得到的三维张量输入到自适应特征关注表征融合卷积网络，自适应特征关注机制的引入，使得模型关注对COVID-19敏感的特征，并形成鲁棒的融合表征，再将融合得到的特征向量送入到一个二分类器，即一个softmax激活的全连接层中，可以得到该病人染上COVID-19的概率；另外，为防止某些病例只有文本或图像的数据，还没来得及获得医学图像数据，采用文本向量和图像数据分别设计了一个二分类器，可直接获得基于单个模态的患病概率，模型有更广泛的适用性；
所述基于动态多模态数据跟踪分析的深度网络算法，为了实现基于动态医学数据的新型冠状病毒实时跟踪预测，采用和设计基于动态多模态数据跟踪分析的深度网络算法，对疑似病例多天的动态多模态医学数据进行实时的分析，实现准确有效的智能新型冠状病毒实时跟踪预测；首先将动态多模态医学数据进行补1向量外积，并输入到自适应特征关注表征融合卷积网络获取融合的多模态表征，融合的表征输入到循环神经网络，拟采用LSTM，循环神经网络能够动态地推断COVID-19诊断结果，并且会对每天的医学数据进行累计分析，实现精准快速的智能动态COVID-19的预检分诊；将循环神经网络的最后一个隐含状态作为该循环神经网络的输出，将这个隐含状态通过一个二分类器，即可得到跟踪预测的肺炎患病概率；若只有文本或图像数据，该动态追踪网络同样可以实现，只需将多模态数据替换为单模态数据，得益于动态跟踪网络，即使一个病例在前几天均没有测出患有COVID-19，也可以通过这几天患病概率的变化规律，随着时间的推移，该病例患病概率越来越大，但没有达到阈值，得出该病例是否患有COVID-19，从而达到尽早准确诊断的目的；
所述基于多模态医学数据的肺炎预检分诊系统首先采用所述对胸片数据进行数据标注的方法构建高质量的新型冠状病毒肺炎患者医学数据库，提高人工智能对新型冠状病毒肺炎感染者筛查性能；然后采用所述基于BERT和带注意力机制的双向LSTM的文本编码算法，从复杂的数据中发现和识别新型冠状病毒肺炎感染者和数据之间的模式和关系；提出基于孪生神经网络的新型冠状病毒肺炎医学数据文本向量化方法，能够使得语义不同的文本词向量之间更加分散；再采用所述基于向量外积和自适应特征关注表征融合卷积网络算法，提出多模态医学数据有效融合表征方法，建立多模态医学数据融合数学模型，实现鲁棒的多模态医学数据融合表征；最后采用所述基于动态多模态数据跟踪分析的深度网络算法，在多模态医学数据融合表征的基础上，进一步构建动态跟踪网络用于处理动态多模态医学数据，实现智能动态新型冠状病毒肺炎预检分诊技术。
进一步地，所述一种基于多模态医学数据的肺炎预检分诊系统用于新型冠状病毒肺炎的智能动态预检分诊。
进一步地，所述基于多模态医学数据的肺炎预检分诊系统诊断准确率高于核酸检测结果，假阴性率低于30％，准确率达90％以上。完成所述一种基于多模态医学数据的肺炎预检分诊系统的实施。
当然，本发明还可以有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可以根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (3)
1.一种基于多模态医学数据的肺炎预检分诊系统，包括对胸片数据进行数据标注的方法、基于BERT和带注意力机制的双向LSTM的文本编码算法、基于向量外积和自适应特征关注表征融合卷积网络算法、基于动态多模态数据跟踪分析的深度网络算法，其特征在于：
所述对胸片数据进行数据标注的方法，包括图像存储模式和CT影像数据标签模式，采用COVID-19胸部CT数据dcm转bmp格式，将不需要做标注部分的后缀为.bmp图片剔除，剔除的所述图片为非胸部区域和/或胸部区域但是没有显著病灶区的CT片剔除，保留的后缀为.bmp图片，后续将对其进行数据标注；所述图像存储模式为新建一个文件夹，命名为COVID_19_年份参数，CT图片命名模式式为患者编号_新冠肺炎诊断结果_CT片编号_性别_出生年月日_就诊年月日.jpg，患者编号采用0表示新冠肺炎阴性，1表示新冠肺炎阳性，CT片编号采用自然数序号，性别采用0表示女性，1表示男性，出生日期和就诊日期采用连续无间隔8位数，后缀采用.jpg，将所有的CT影像数据放入到年份文件夹COVID_19_年份参数的文件夹中；
所述CT影像数据标签模式，采用在新冠肺炎阳性患者的CT影像，观察肺窗部位，找到有明显新冠肺炎病灶特征的CT影像区域，每个新冠肺炎病灶区域，均用长方形框标记，将CT标注信息保存在COVID_19_年份.txt文件中，每个CT影像信息对应所述COVID_19_年份.txt文件的一行数据，标注信息包括：CT影像数据路径信息、病灶区域是否为新冠肺炎阳性信息，采用1表示新冠肺炎阳性、病灶区域的长方形框坐标信息、CT图片大小信息即图片的宽度和高度，保存具体模式如下：采用逗号和空格分开，CT影像数据路径1，1表示新冠肺炎阳性，依次标记每个长方形框x轴min和max、y轴min和max，所述长方形框的编号采用从左至右向下换行的连续自然数序标记，CT片路径模式为COVID_19_2020\001_1_200_1_19661010_20200408.jpg；
所述基于BERT和带注意力机制的双向LSTM的文本编码算法，为了编码医学文本数据，采用基于转换器的双向编码器表征(Bidirectional Encoder Representation fromTransformers，BERT)和带关注机制的双向长短期记忆网络(Long-short Term MemoryNetwork，LSTM)网络将文本转换成可以计算的向量；把带有注意力机制的双向LSTM层应用到BERT编码网络的上方，可以把BERT输出的文字编码向量序列进一步编码为一个向量，这个向量包含了所有文本的信息，作为文本编码算法的输出，算法关键步骤在于BERT和带注意力机制的双向LSTM网络实现医学文本数据向量化，将提出的模型应用于肺炎疫情数据库得到了验证；
所述基于向量外积和自适应特征关注表征融合卷积网络算法，为了实现多模态医学数据信息的有效融合，采用设计所述向量外积与自适应特征关注卷积网络的融合算法，将多种医学数据，包括流行病学史，入院时的体征和症状、慢性疾病、胸部X线和CT表现、血常规、凝结功能、血液生化等等输入网络形成融合表征；首先将医学文本数据用网络构建成一个向量，同时用图像特征提取网络采用DenseNet获取医学图像的特征图表征，并将该特征图重塑为一个多通道的向量，可看作是重塑为一个矩阵；然后将两种数据的各个向量尾部补1后用向量外积融合，形成一个多通道的矩阵，即融合成一个三维张量，向量补1后用外积进行融合可以有效地探索模态之间的交互信息以及保留各个模态特有的信息，从而使融合后的三维张量可以包含最多的信息；
再将得到的三维张量输入到自适应特征关注表征融合卷积网络，自适应特征关注机制的引入，使得模型关注对COVID-19敏感的特征，并形成鲁棒的融合表征，再将融合得到的特征向量送入到一个二分类器，即一个softmax激活的全连接层中，可以得到该病人染上COVID-19的概率；另外，为防止某些病例只有文本或图像的数据，还没来得及获得医学图像数据，采用文本向量和图像数据分别设计了一个二分类器，可直接获得基于单个模态的患病概率，模型有更广泛的适用性；
所述基于动态多模态数据跟踪分析的深度网络算法，为了实现基于动态医学数据的新型冠状病毒实时跟踪预测，采用和设计基于动态多模态数据跟踪分析的深度网络算法，对疑似病例多天的动态多模态医学数据进行实时的分析，实现准确有效的智能新型冠状病毒实时跟踪预测；首先将动态多模态医学数据进行补1向量外积，并输入到自适应特征关注表征融合卷积网络获取融合的多模态表征，融合的表征输入到循环神经网络，拟采用LSTM，循环神经网络能够动态地推断COVID-19诊断结果，并且会对每天的医学数据进行累计分析，实现精准快速的智能动态COVID-19的预检分诊；将循环神经网络的最后一个隐含状态作为该循环神经网络的输出，将这个隐含状态通过一个二分类器，即可得到跟踪预测的肺炎患病概率；若只有文本或图像数据，该动态追踪网络同样可以实现，只需将多模态数据替换为单模态数据，得益于动态跟踪网络，即使一个病例在前几天均没有测出患有COVID-19，也可以通过这几天患病概率的变化规律，随着时间的推移，该病例患病概率越来越大，但没有达到阈值，得出该病例是否患有COVID-19，从而达到尽早准确诊断的目的；
所述基于多模态医学数据的肺炎预检分诊系统首先采用所述对胸片数据进行数据标注的方法构建高质量的新型冠状病毒肺炎患者医学数据库，提高人工智能对新型冠状病毒肺炎感染者筛查性能；然后采用所述基于BERT和带注意力机制的双向LSTM的文本编码算法，从复杂的数据中发现和识别新型冠状病毒肺炎感染者和数据之间的模式和关系；提出基于孪生神经网络的新型冠状病毒肺炎医学数据文本向量化方法，能够使得语义不同的文本词向量之间更加分散；再采用所述基于向量外积和自适应特征关注表征融合卷积网络算法，提出多模态医学数据有效融合表征方法，建立多模态医学数据融合数学模型，实现鲁棒的多模态医学数据融合表征；最后采用所述基于动态多模态数据跟踪分析的深度网络算法，在多模态医学数据融合表征的基础上，进一步构建动态跟踪网络用于处理动态多模态医学数据，实现智能动态新型冠状病毒肺炎预检分诊技术。
2.根据权利要求1所述一种基于多模态医学数据的肺炎预检分诊系统，其特征在于：所述一种基于多模态医学数据的肺炎预检分诊系统用于新型冠状病毒肺炎的智能动态预检分诊。
3.根据权利要求1所述一种基于多模态医学数据的肺炎预检分诊系统，其特征在于：所述基于多模态医学数据的肺炎预检分诊系统诊断准确率高于核酸检测结果，假阴性率低于30％，准确率达90％以上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110845084.9A CN115700789A (zh) | 2021-07-26 | 2021-07-26 | 一种基于多模态医学数据的肺炎预检分诊系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110845084.9A CN115700789A (zh) | 2021-07-26 | 2021-07-26 | 一种基于多模态医学数据的肺炎预检分诊系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115700789A true CN115700789A (zh) | 2023-02-07 |
Family
ID=85120554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110845084.9A Pending CN115700789A (zh) | 2021-07-26 | 2021-07-26 | 一种基于多模态医学数据的肺炎预检分诊系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115700789A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351317A (zh) * | 2023-10-25 | 2024-01-05 | 中国人民解放军总医院第二医学中心 | 一种末次大便性状图片自动识别方法及系统 |
-
2021
- 2021-07-26 CN CN202110845084.9A patent/CN115700789A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351317A (zh) * | 2023-10-25 | 2024-01-05 | 中国人民解放军总医院第二医学中心 | 一种末次大便性状图片自动识别方法及系统 |
| CN117351317B (zh) * | 2023-10-25 | 2024-04-09 | 中国人民解放军总医院第二医学中心 | 一种末次大便性状图片自动识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jin et al. | AI-assisted CT imaging analysis for COVID-19 screening: Building and deploying a medical AI system in four weeks | |
| WO2023202508A1 (zh) | 一种基于认知图谱的全科患者个性化诊疗方案推荐系统 | |
| Pinto-Coelho | How artificial intelligence is shaping medical imaging technology: A survey of innovations and applications | |
| Kathamuthu et al. | A deep transfer learning-based convolution neural network model for COVID-19 detection using computed tomography scan images for medical applications | |
| Ulloa Cerna et al. | Deep-learning-assisted analysis of echocardiographic videos improves predictions of all-cause mortality | |
| Madhavan et al. | Res-CovNet: an internet of medical health things driven COVID-19 framework using transfer learning | |
| CN113421652A (zh) | 对医疗数据进行分析的方法、训练模型的方法及分析仪 | |
| Rajaraman et al. | Chest x-ray bone suppression for improving classification of tuberculosis-consistent findings | |
| Strzelecki et al. | Machine learning for biomedical application | |
| CN113284572B (zh) | 多模态异构的医学数据处理方法及相关装置 | |
| Cui et al. | Artificial intelligence in spinal imaging: current status and future directions | |
| Gomes et al. | A comprehensive review of machine learning used to combat COVID-19 | |
| Suman et al. | Attention based CNN-LSTM network for pulmonary embolism prediction on chest computed tomography pulmonary angiograms | |
| Chien et al. | Yolov8-am: Yolov8 with attention mechanisms for pediatric wrist fracture detection | |
| Messaoud et al. | Virtual Healthcare Center for COVID‐19 Patient Detection Based on Artificial Intelligence Approaches | |
| CN115700789A (zh) | 一种基于多模态医学数据的肺炎预检分诊系统 | |
| Udbhav et al. | Pneumonia Detection Using Chest X-Ray with the Help of Deep Learning | |
| Eze et al. | Development of a Novel Multi-Modal Contextual Fusion Model for Early Detection of Varicella Zoster Virus Skin Lesions in Human Subjects | |
| Akinyelu et al. | COVID-19 diagnosis in computerized tomography (CT) and X-ray scans using capsule neural network | |
| Gao et al. | A Collaborative Multimodal Learning-Based Framework for COVID-19 Diagnosis | |
| Velusamy et al. | Faster Region‐based Convolutional Neural Networks with You Only Look Once multi‐stage caries lesion from oral panoramic X‐ray images | |
| Khaniki et al. | A Novel Approach to Chest X-ray Lung Segmentation Using U-net and Modified Convolutional Block Attention Module | |
| Petreska et al. | Machine Learning Algorithms for Heart Disease Prognosis Using IoMT Devices | |
| Rahman et al. | A Systematic Literature Review of 3D Deep Learning Techniques in Computed Tomography Reconstruction | |
| Jia et al. | Value of medical imaging artificial intelligence in the diagnosis and treatment of new coronavirus pneumonia |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |