CN113284572B - 多模态异构的医学数据处理方法及相关装置 - Google Patents
多模态异构的医学数据处理方法及相关装置 Download PDFInfo
- Publication number
- CN113284572B CN113284572B CN202110485389.3A CN202110485389A CN113284572B CN 113284572 B CN113284572 B CN 113284572B CN 202110485389 A CN202110485389 A CN 202110485389A CN 113284572 B CN113284572 B CN 113284572B
- Authority
- CN
- China
- Prior art keywords
- data
- interest
- acquiring
- medical
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 201000010099 disease Diseases 0.000 claims abstract description 111
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 111
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims description 137
- 238000012545 processing Methods 0.000 claims description 24
- 238000010801 machine learning Methods 0.000 claims description 20
- 238000013136 deep learning model Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000007405 data analysis Methods 0.000 abstract description 10
- 201000007270 liver cancer Diseases 0.000 description 23
- 208000014018 liver neoplasm Diseases 0.000 description 23
- 238000003745 diagnosis Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000003556 assay Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000007170 pathology Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000012216 screening Methods 0.000 description 6
- 238000013523 data management Methods 0.000 description 5
- 208000002454 Nasopharyngeal Carcinoma Diseases 0.000 description 4
- 206010061306 Nasopharyngeal cancer Diseases 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 201000011216 nasopharynx carcinoma Diseases 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000005311 nuclear magnetism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 102400000921 Gastrin Human genes 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 2
- 208000005718 Stomach Neoplasms Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 229910052788 barium Inorganic materials 0.000 description 2
- DSAJWYNOEDNPEQ-UHFFFAOYSA-N barium atom Chemical compound [Ba] DSAJWYNOEDNPEQ-UHFFFAOYSA-N 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 206010017758 gastric cancer Diseases 0.000 description 2
- 230000002496 gastric effect Effects 0.000 description 2
- 108010066264 gastrin 17 Proteins 0.000 description 2
- GKDWRERMBNGKCZ-RNXBIMIWSA-N gastrin-17 Chemical compound C([C@@H](C(=O)NCC(=O)N[C@@H](CC=1C2=CC=CC=C2NC=1)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CC(O)=O)C(=O)N[C@@H](CC=1C=CC=CC=1)C(N)=O)NC(=O)[C@H](C)NC(=O)[C@H](CCC(O)=O)NC(=O)[C@H](CCC(O)=O)NC(=O)[C@H](CCC(O)=O)NC(=O)[C@H](CCC(O)=O)NC(=O)[C@H](CCC(O)=O)NC(=O)[C@H](CC(C)C)NC(=O)[C@H](CC=1C2=CC=CC=C2NC=1)NC(=O)[C@H]1N(CCC1)C(=O)CNC(=O)[C@H]1NC(=O)CC1)C1=CC=C(O)C=C1 GKDWRERMBNGKCZ-RNXBIMIWSA-N 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 201000011549 stomach cancer Diseases 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 208000021994 Diffuse astrocytoma Diseases 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 208000019425 cirrhosis of liver Diseases 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 201000001169 fibrillary astrocytoma Diseases 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 201000005787 hematologic cancer Diseases 0.000 description 1
- 208000024200 hematopoietic and lymphoid system neoplasm Diseases 0.000 description 1
- 210000005161 hepatic lobe Anatomy 0.000 description 1
- 208000002672 hepatitis B Diseases 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请提供了一种多模态异构的医学数据处理方法、装置、电子设备及计算机可读存储介质，所述方法包括：获取待测对象的电子病历，基于所述电子病历，获取所述待测对象与预设疾病的关联度，当所述待测对象与所述预设疾病的关联度不小于预设阈值时，确定所述待测对象作为感兴趣对象；获取所述感兴趣对象的医学影像数据和临床数据；根据所述感兴趣对象的医学影像数据和临床数据，获取所述感兴趣对象的最终预测结果。利用该方法可以从待测对象中筛选出感兴趣对象，针对感兴趣对象进行数据分析，从而减少计算量，提高工作效率。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及多模态异构的医学数据处理方法、装置、电子设备及计算机可读存储介质。
背景技术
近年来，医疗领域的各项人工智能应用不断涌现，如语音录入病历、医疗影像智能识别、智能诊断、医疗机器人、个人健康大数据的智能分析、AI医药研发等。
目前国内外大部分医学人工智能企业的产品还处于单一模态数据源加上单病种智能诊断的阶段，对于异构多模态数据集的建设和多模态数据融合分析主要还处在学术研究阶段，还未发现多模态医学数据的融合分析在临床上进行应用的例子，多模态医学数据的融合分析与放疗计划生成，在国内临床应用领域仍然有充足的发展空间。
现有的智能诊断技术在医学数据的分析时，需要对大量的患者对象进行分析，工作量较大，预测效率较低。
发明内容
本申请的目的在于提供多模态异构的医学数据处理方法、装置、电子设备及计算机可读存储介质，从待测对象中筛选出感兴趣对象，针对感兴趣对象进行数据分析，从而减少计算量，提高工作效率。
本申请的目的采用以下技术方案实现：
第一方面，本申请提供了一种多模态异构的医学数据处理方法，所述方法包括：获取待测对象的电子病历，基于所述电子病历，获取所述待测对象与预设疾病的关联度，当所述待测对象与所述预设疾病的关联度不小于预设阈值时，确定所述待测对象作为感兴趣对象；获取所述感兴趣对象的医学影像数据和临床数据；根据所述感兴趣对象的医学影像数据和临床数据，获取所述感兴趣对象的最终预测结果。该技术方案的有益效果在于，可以基于待测对象的电子病历获取待测对象与预设疾病的关联度，通过将该关联度与预设阈值进行对比，确定待测对象是否为感兴趣对象，当该关联度不小于预设阈值时，确定待测对象为感兴趣对象，基于感兴趣对象的医学影像数据和临床数据获取最终预测结果，利用该方法可以从待测对象中筛选出感兴趣对象，针对感兴趣对象进行数据分析，从而减少计算量，提高工作效率。
在一些可选的实施例中，所述根据所述感兴趣对象的医学影像数据和临床数据，获取所述感兴趣对象的最终预测结果，包括：对所述感兴趣对象的医学影像数据进行特征提取，得到影像特征；对所述感兴趣对象的临床数据进行特征提取，得到临床特征；根据所述影像特征和所述临床特征进行融合，得到融合特征，基于所述融合特征，获取所述感兴趣对象的针对所述预设疾病的最终预测结果。该技术方案的有益效果在于，可以分别对感兴趣对象的医学影像数据和临床数据进行特征提取，将得到的影像特征和临床特征进行融合，得到融合特征，基于融合特征获取最终预测结果，相比于单独基于影像特征或者临床特征的预测方式，该方法结合影像特征和临床特征两种特征进行预测，预测准确率更高。
在一些可选的实施例中，所述感兴趣对象的医学影像数据包括多模态的医学影像数据；所述对所述感兴趣对象的医学影像数据进行特征提取，得到影像特征，包括：对所述感兴趣对象的医学影像数据进行多模态数据融合，得到阶段融合结果；对所述阶段融合结果进行特征提取，得到所述影像特征。该技术方案的有益效果在于，医学影像数据可能包括X光数据、CT数据、MRI数据等数据，可以对多种模态的医学影像数据进行多模态数据融合，其融合结果能够反应多种数据的特征，基于该融合结果做特征提取，所得到的影像特征更能准确反应多种医学影像数据的特点，从而提高最终预测结果的准确率。
在一些可选的实施例中，所述方法还包括：基于所述影像特征，获取所述感兴趣对象的针对所述预设疾病的初次预测结果；所述基于所述融合特征，获取所述感兴趣对象的针对所述预设疾病的最终预测结果，包括：基于所述融合特征以及所述感兴趣对象的针对所述预设疾病的初次预测结果，获取所述感兴趣对象的针对所述预设疾病的最终预测结果。该技术方案的有益效果在于，可以针对影像特征进行第一次预测，针对影像特征和临床特征的融合特征以及第一次预测结果进行第二次预测，例如第一次预测结果是A，则倾向于认定基于影像特征和临床特征的融合特征以及第一次预测结果的预测结果是A的可能性大于仅基于融合特征进行预测时预测结果是A的可能性，由此，第二次预测结果受第一次预测结果影响，与实际情况相符，可以进一步提高预测准确率。
在一些可选的实施例中，利用深度学习模型执行以下处理：对所述感兴趣对象的医学影像数据进行多模态数据融合，得到阶段融合结果；对所述阶段融合结果进行特征提取，得到所述影像特征；基于所述影像特征，获取所述感兴趣对象的针对所述预设疾病的初次预测结果；利用机器学习模型执行以下处理：对所述感兴趣对象的临床数据进行特征提取，得到临床特征；对所述影像特征和所述临床特征进行融合，并对融合结果进行特征提取，得到融合特征，并基于所述融合特征以及所述感兴趣对象的针对所述预设疾病的初次预测结果，获取所述感兴趣对象的针对所述预设疾病的最终预测结果。该技术方案的有益效果在于，深度学习模型可以处理以图像为主的医学影像数据以提取影像特征，可以解决海量数据中存在的高维、冗杂、高噪等传统机器学习模型难以处理的问题；机器学习模型可以提取文本信息为主的临床特征以及结合影像特征和临床特征的融合特征，相比于深度学习模型，机器学习模型对数据量的要求和对硬件配置的要求较低，模型训练的时间较短。
在一些可选的实施例中，所述获取所述感兴趣对象的医学影像数据和临床数据，包括：从第一预设数据库中获取所述感兴趣对象的医学影像数据并存储至消息队列；从第二预设数据库中获取批量数据，扫描所述批量数据，当扫描到所述感兴趣对象的临床数据时，将所述感兴趣对象的临床数据放入所述消息队列；利用所述消息队列，将所述感兴趣对象的医学影像数据发送至所述深度学习模型，将所述感兴趣对象的临床数据发送至所述机器学习模型。该技术方案的有益效果在于，可以先将医学影像数据进行存储，但并非立刻进行数据传输，而是等待相应的临床数据，只有当感兴趣对象的医学影像数据和临床数据都到位时再进行数据传输，一方面，利用消息队列可以提高系统性能、削峰、降低系统耦合性；另一方面，将感兴趣对象的医学影像数据和临床数据一起传输，可以减少数据传输次数，减轻服务器压力。
在一些可选的实施例中，所述基于所述电子病历，获取所述待测对象与预设疾病的关联度，包括：获取所述预设疾病对应的融合方案；基于所述融合方案，确定所述预设疾病对应的关联度计算策略以及所述预设阈值；基于所述待测对象的电子病历，通过语义网关，获取至少一种特定字段及其字段值；基于所述至少一种特定字段及其字段值以及所述关联度计算策略，计算得到所述待测对象与所述预设疾病的关联度。该技术方案的有益效果在于，融合方案可以是自定义的融合方案，可以基于融合方案确定预设疾病对应的关联度计算策略以及预设阈值，结合待测对象的电子病历中的至少一种特定字段及其字段值，计算待测对象与预设疾病的关联度，通过对比关联度和预设阈值，来判断待测对象是否为感兴趣对象。
在一些可选的实施例中，所述获取所述感兴趣对象的医学影像数据和临床数据，包括：基于所述融合方案，确定所述预设疾病对应的医学影像数据和临床数据的类型；基于所述预设疾病对应的医学影像数据和临床数据的类型，获取所述感兴趣对象的医学影像数据和临床数据。该技术方案的有益效果在于，融合方案可以是自定义的融合方案，可以基于融合方案对医学影像数据和临床数据进行筛选，选取相应类型的医学影像数据和临床数据，使得到的预测结果准确性更高。
在一些可选的实施例中，所述方法还包括：基于所述最终预测结果以及所述感兴趣对象的电子病历，生成所述感兴趣对象对应的参考治疗方案。该技术方案的有益效果在于，可以基于最终预测结果以及感兴趣对象的电子病历生成对应的参考治疗方案，提高诊断效率，辅助医护人员做出更准确的诊断。
第二方面，本申请提供了一种多模态异构的医学数据处理装置，所述装置包括：确定对象模块，用于获取待测对象的电子病历，基于所述电子病历，获取所述待测对象与预设疾病的关联度，当所述待测对象与所述预设疾病的关联度不小于预设阈值时，确定所述待测对象作为感兴趣对象；获取数据模块，用于获取所述感兴趣对象的医学影像数据和临床数据；获取结果模块，用于根据所述感兴趣对象的医学影像数据和临床数据，获取所述感兴趣对象的最终预测结果。
在一些可选的实施例中，所述获取结果模块包括：影像特征单元，用于对所述感兴趣对象的医学影像数据进行特征提取，得到影像特征；临床特征单元，用于对所述感兴趣对象的临床数据进行特征提取，得到临床特征；融合特征单元，用于根据所述影像特征和所述临床特征进行融合，得到融合特征，基于所述融合特征，获取所述感兴趣对象的针对所述预设疾病的最终预测结果。
在一些可选的实施例中，所述感兴趣对象的医学影像数据包括多模态的医学影像数据；所述影像特征单元包括：阶段融合子单元，用于对所述感兴趣对象的医学影像数据进行多模态数据融合，得到阶段融合结果；提取特征子单元，用于对所述阶段融合结果进行特征提取，得到所述影像特征。
在一些可选的实施例中，所述装置还包括：初次预测模块，用于基于所述影像特征，获取所述感兴趣对象的针对所述预设疾病的初次预测结果；所述融合特征单元用于：基于所述融合特征以及所述感兴趣对象的针对所述预设疾病的初次预测结果，获取所述感兴趣对象的针对所述预设疾病的最终预测结果。
在一些可选的实施例中，所述阶段融合子单元用于：利用深度学习模型对所述感兴趣对象的医学影像数据进行多模态数据融合，得到阶段融合结果；所述提取特征子单元用于：利用深度学习模型对所述阶段融合结果进行特征提取，得到所述影像特征；所述初次预测模块用于：基于所述影像特征，利用深度学习模型获取所述感兴趣对象的针对所述预设疾病的初次预测结果；所述临床特征单元用于：利用机器学习模型对所述感兴趣对象的临床数据进行特征提取，得到临床特征；所述融合特征单元用于：利用机器学习模型对所述影像特征和所述临床特征进行融合，并对融合结果进行特征提取，得到融合特征，并基于所述融合特征以及所述感兴趣对象的针对所述预设疾病的初次预测结果，获取所述感兴趣对象的针对所述预设疾病的最终预测结果。
在一些可选的实施例中，所述获取数据模块包括：第一数据单元，用于从第一预设数据库中获取所述感兴趣对象的医学影像数据并存储至消息队列；第二数据单元，用于从第二预设数据库中获取批量数据，扫描所述批量数据，当扫描到所述感兴趣对象的临床数据时，将所述感兴趣对象的临床数据放入所述消息队列；发送数据单元，用于利用所述消息队列，将所述感兴趣对象的医学影像数据发送至所述深度学习模型，将所述感兴趣对象的临床数据发送至所述机器学习模型。
在一些可选的实施例中，所述获取数据模块包括：确定类型单元，用于基于所述融合方案，确定所述预设疾病对应的医学影像数据和临床数据的类型；获取数据单元，用于基于所述预设疾病对应的医学影像数据和临床数据的类型，获取所述感兴趣对象的医学影像数据和临床数据。
在一些可选的实施例中，所述确定对象模块包括：获取方案单元，用于获取所述预设疾病对应的融合方案；确定策略单元，用于基于所述融合方案，确定所述预设疾病对应的关联度计算策略以及所述预设阈值；获取字段单元，用于基于所述待测对象的电子病历，通过语义网关，获取至少一种特定字段及其字段值；计算关联度单元，用于基于所述至少一种特定字段及其字段值以及所述关联度计算策略，计算得到所述待测对象与所述预设疾病的关联度。
在一些可选的实施例中，所述装置还包括：生成方案模块，用于基于所述最终预测结果以及所述感兴趣对象的电子病历，生成所述感兴趣对象对应的参考治疗方案。
第三方面，本申请提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项方法的步骤。
附图说明
下面结合附图和实施例对本申请进一步说明。
图1是本申请实施例提供的一种多模态异构的医学数据处理方法的流程示意图；
图2是本申请实施例提供的一种获取关联度的流程示意图；
图3是本申请实施例提供的一种获取医学影像数据和临床数据的流程示意图；
图4是本申请实施例提供的一种获取最终预测结果的流程示意图；
图5是本申请实施例提供的一种得到影像特征的流程示意图；
图6是本申请实施例提供的另一种多模态异构的医学数据处理方法的流程示意图；
图7是本申请实施例提供的另一种获取医学影像数据和临床数据的流程示意图；
图8是本申请实施例提供的又一种多模态异构的医学数据处理方法的流程示意图；
图9是本申请实施例提供的一种多模态异构的医学大数据智能分析与诊断云平台系统的结构示意图；
图10是本申请实施例提供的一种多模态医学数据采集与存储模块的结构示意图；
图11是本申请实施例提供的一种多模态医学数据智能融合模块的流程示意图；
图12是本申请实施例提供的再一种多模态异构的医学数据处理方法的流程示意图；
图13是本申请实施例提供的一种多模态异构的医学数据处理装置的结构示意图；
图14是本申请实施例提供的一种确定对象模块的结构示意图；
图15是本申请实施例提供的一种获取数据模块的结构示意图；
图16是本申请实施例提供的一种获取结果模块的结构示意图；
图17是本申请实施例提供的一种影像特征单元的结构示意图；
图18是本申请实施例提供的另一种多模态异构的医学数据处理装置的结构示意图；
图19是本申请实施例提供的另一种获取数据模块的结构示意图；
图20是本申请实施例提供的又一种多模态异构的医学数据处理装置的结构示意图；
图21是本申请实施例提供的一种电子设备的结构示意图；
图22是本申请实施例提供的一种用于实现多模态异构的医学数据处理方法的程序产品的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本申请做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
参见图1，本申请实施例提供了一种多模态异构的医学数据处理方法，所述方法包括步骤S101～S103。
步骤S101：获取待测对象的电子病历，基于所述电子病历，获取所述待测对象与预设疾病的关联度，当所述待测对象与所述预设疾病的关联度不小于预设阈值时，确定所述待测对象作为感兴趣对象。其中，电子病历可以包括待测对象的个人信息和/或特定检查项目信息，个人信息例如是年龄、病史等，特定检查项目信息例如是心率数据、血检数据等。
参见图2，在一些实施方式中，所述步骤S101中基于所述电子病历，获取所述待测对象与预设疾病的关联度的方法可以包括步骤S201～S204。
步骤S201：获取所述预设疾病对应的融合方案。预设疾病可以是预先设定的疾病，例如是鼻咽癌、肝癌等。融合方案可以是多种医学数据相结合以获取预设疾病的预测结果的方案，例如鼻咽癌的确诊需要结合CT数据和化验检查数据进行判断，另外，融合方案还可以包括预设疾病对应的关联度计算策略以及预设阈值。
步骤S202：基于所述融合方案，确定所述预设疾病对应的关联度计算策略以及所述预设阈值。关联度计算策略用于指示关联度的计算方式，例如，关联度可以是对特定字段的字段值的评分进行加权求和。在一实际应用中，假设关联度计算策略对应的特定字段是第一特定字段至第三特定字段，预设阈值是60，其中第一特定字段的字段值的评分为80，权重为40％，第二特定字段的字段值的评分为70，权重为30％，第三特定字段的字段值的评分为70，权重为30％，则预设疾病对应的关联度为：80×40％+70×30％+70×30％＝74。其中，每种特定字段及其字段值的评分表示待测对象患预设疾病的可能性，评分越高，待测对象患预设疾病的可能性越大。
步骤S203：基于所述待测对象的电子病历，通过语义网关，获取至少一种特定字段及其字段值。至少一种特定字段及其字段值，是指至少一种特定字段以及每个特定字段的字段值。预设疾病例如是血癌，通过语义网关可以在待测对象的电子病历中，筛选出与血红蛋白相关的特定字段及其字段值。本申请实施例中，语义网关是一种获取特定字段及其字段值的实施方式，具体而言，语义可以简单地看作是数据所对应的现实世界中的事物所代表的概念的含义，以及这些含义之间的关系，是数据在某个领域上的解释和逻辑表示。对于计算机科学来说，语义一般是指用户对于那些用来描述现实世界的计算机表示(即符号)的解释，也就是用户用来联系计算机表示和现实世界的途径。网关是对某些有着类似工作机理的处理机制的概括。通过具体的语义网关，计算机可以执行对应的语义处理机制，实现基于语义的数据筛选等数据处理功能。
举例说明，使用语义网关来筛选电子病历中的性别、年龄、血小板浓度这三个字段及其字段值，语义网关可以构建为从电子病历的文本信息中检索“性别”、“年龄”、“血小板浓度”这三个特定字段，并寻找字段临近的语句结尾，例如是换行符，以语句结尾作为该字段对应的字段值结束的标志，再将特定字段及其字段值输出。
除语义网关外，还可以通过其他方式获取特定字段及其字段值，例如通过外部数据导入等。
在一具体应用中，可以通过语义网关提取感兴趣对象的电子病历中的特定字段的字段值，将其作为特征向量输入机器学习模型(如逻辑斯蒂回归模型)进行二分类，从而获取最终预测结果。
步骤S204：基于所述至少一种特定字段及其字段值以及所述关联度计算策略，计算得到所述待测对象与所述预设疾病的关联度。下文将举具体实例说明如何计算待测对象与预设疾病的关联度。
在一具体应用中，预设疾病为肝癌，肝癌的融合方案为核磁检测报告数据、CT检测报告数据、个人病史数据以及家族病史数据相结合，关联度计算策略可以是对特定字段的字段值的评分进行加权求和。
通过语义网关对多个待测对象的电子病历进行筛选，得到三种特定字段及其字段值，其中，第一特定字段为腹部CT，腹部CT的字段值为肝右叶见团块状低密度影；第二特定字段为核磁，核磁的字段值为肝硬化；第三特定字段为家族病史，家族病史的字段值为母亲患乙肝。假设某个待测对象的第一特定字段的字段值的评分为80，权重为40％，第二特定字段的字段值的评分为70，权重为30％，第三特定字段的字段值的评分为70，权重为30％，其中，每种特定字段的字段值的评分表示待测对象患肝癌的可能性，评分越高，待测对象患肝癌的可能性越大。
肝癌对应的关联度为：80×40％+70×30％+70×30％＝74，预设阈值为60。关联度大于预设阈值，确定该待测对象为感兴趣对象。
由此，融合方案可以是自定义的融合方案，可以基于融合方案确定预设疾病对应的关联度计算策略以及预设阈值，结合待测对象的电子病历中的至少一种特定字段及其字段值，计算待测对象与预设疾病的关联度，通过对比关联度和预设阈值，来判断待测对象是否为感兴趣对象。
通过上述方式获取感兴趣对象，所获取的感兴趣对象与预设疾病的关联度较高，对应患者有更大概率罹患该预设疾病，相比于对所有待测对象进行无差别的预测来说，提前筛选出感兴趣对象，再对感兴趣对象进行预测，这种预测方式更有针对性，通过较少的预测量，能够发现最多的疑似患病人员，对医疗机构级别的单位来说，尽可能动用较少的计算资源，又能实现更大的辅助诊断效果。
步骤S102：获取所述感兴趣对象的医学影像数据和临床数据。其中，医学影像数据可以包括以下至少一种：X光数据、CT数据和MRI数据；临床数据可以包括以下至少一种：病理报告数据、体重指数数据和化验检查数据。
在一具体应用中，可以基于不同的融合方案获取所述感兴趣对象的医学影像数据和临床数据。
预设疾病例如是鼻咽癌，其融合方案可以是结合CT数据和化验检查数据进行判断，可以基于鼻咽癌的融合方案获取CT数据和化验检查数据。预设疾病又例如是胃癌，其融合方案可以是结合上消化道钡餐、PGI/II、胃泌素17检测以及内镜检测结果中的至少两种进行判断，可以基于胃癌的融合方案获取上消化道钡餐、PGI/II、胃泌素17检测以及内镜检测结果。
参见图3，在一些实施方式中，所述步骤S102可以包括步骤S301～S302。
步骤S301：基于所述融合方案，确定所述预设疾病对应的医学影像数据和临床数据的类型。医学影像数据和临床数据的类型可以有多种，例如图像数据、报告文档、数据库中的表、csv文件、json文件、日志文件等。
步骤S302：基于所述预设疾病对应的医学影像数据和临床数据的类型，获取所述感兴趣对象的医学影像数据和临床数据。
由此，融合方案可以是自定义的融合方案，可以基于融合方案对医学影像数据和临床数据进行筛选，选取相应类型的医学影像数据和临床数据，使得到的预测结果准确性更高。
相比于基于关键词或者其他数据指标的筛选来说，基于数据类型的筛选过程其运算量小，能够加快数据处理效率。数据类型例如是csv文件，关键词例如是血红蛋白，显然，基于数据类型的筛选过程涉及的字节数更少，运算量更小，数据处理效率更高。
步骤S103：根据所述感兴趣对象的医学影像数据和临床数据，获取所述感兴趣对象的最终预测结果。
在一具体应用中，预设疾病例如是肝癌，可以利用分类模型获取所述感兴趣对象的最终预测结果，最终预测结果可以包括感兴趣对象未患肝癌、肝癌一期、肝癌二期、肝癌三期和/或置信度。
在一具体应用中，预设疾病例如是肝癌，可以利用检测模型获取所述感兴趣对象的最终预测结果，最终预测结果可以包括感兴趣对象未患肝癌、肝癌一期、肝癌二期、肝癌三期和/或置信度以及肝癌病灶的位置(通过边界框来确定)。
在一具体应用中，预设疾病例如是肝癌，可以利用分割模型获取所述感兴趣对象的最终预测结果，最终预测结果可以包括感兴趣对象未患肝癌、肝癌一期、肝癌二期、肝癌三期和/或置信度以及肝癌病灶的形状(通过轮廓线来确定)。
由此，可以基于待测对象的电子病历获取待测对象与预设疾病的关联度，通过将该关联度与预设阈值进行对比，确定待测对象是否为感兴趣对象，当该关联度不小于预设阈值时，确定待测对象为感兴趣对象，基于感兴趣对象的医学影像数据和临床数据获取最终预测结果，利用该方法可以从待测对象中筛选出感兴趣对象，针对感兴趣对象进行数据分析，从而减少计算量，提高工作效率。
参见图4，在一些实施方式中，所述步骤S103可以包括步骤S401～S403。
步骤S401：对所述感兴趣对象的医学影像数据进行特征提取，得到影像特征。
参见图5，在一些实施方式中，所述感兴趣对象的医学影像数据可以包括多模态的医学影像数据；所述步骤S401可以包括步骤S501～S502。
步骤S501：对所述感兴趣对象的医学影像数据进行多模态数据融合，得到阶段融合结果。
步骤S502：对所述阶段融合结果进行特征提取，得到所述影像特征。
由此，医学影像数据可能包括X光数据、CT数据、MRI数据等数据，可以对多种模态的医学影像数据进行多模态数据融合，其融合结果能够反应多种数据的特征，基于该融合结果做特征提取，所得到的影像特征更能准确反应多种医学影像数据的特点，从而提高最终预测结果的准确率。
在一具体应用中，感兴趣对象的医学影像数据包括CT数据和MRI数据，对CT数据和MRI数据进行多模态数据融合，得到阶段融合结果，对该阶段融合结果进行特征提取，得到影像特征。
步骤S402：对所述感兴趣对象的临床数据进行特征提取，得到临床特征。
步骤S403：根据所述影像特征和所述临床特征进行融合，得到融合特征，基于所述融合特征，获取所述感兴趣对象的针对所述预设疾病的最终预测结果。
由此，可以分别对感兴趣对象的医学影像数据和临床数据进行特征提取，将得到的影像特征和临床特征进行融合，得到融合特征，基于融合特征获取最终预测结果，相比于单独基于影像特征或者临床特征的预测方式，该方法结合影像特征和临床特征两种特征进行预测，预测准确率更高。例如单独基于影像特征进行预测时，无法排除影像成像过程中的干扰因素；而单独基于临床特征进行预测时，又可能因为某些指标日常波动幅度较大而出现误判(例如人在饮水前后做B超其成像效果的参考价值相差很大)。
例如，预设疾病是肝癌，基于CT数据和MRI数据得到影像特征，基于病理报告数据和化验检查数据得到临床特征，对上述两个特征进行融合得到融合特征，基于融合特征得到肝癌的最终预测结果。
参见图6，在一些实施方式中，所述方法还可以包括步骤S104。
步骤S104：基于所述影像特征，获取所述感兴趣对象的针对所述预设疾病的初次预测结果。
所述步骤S103可以包括：基于所述融合特征以及所述感兴趣对象的针对所述预设疾病的初次预测结果，获取所述感兴趣对象的针对所述预设疾病的最终预测结果。
由此，可以针对影像特征进行第一次预测，针对影像特征和临床特征的融合特征以及第一次预测结果进行第二次预测，例如第一次预测结果是A，则倾向于认定基于影像特征和临床特征的融合特征以及第一次预测结果的预测结果是A的可能性大于仅基于融合特征进行预测时预测结果是A的可能性，由此，第二次预测结果受第一次预测结果影响，与实际情况相符，可以进一步提高预测准确率。举例说明，有一待测对象小李，针对脑瘤这一预设疾病，基于影像特征进行预测，得到的初次预测结果是2级(低度弥漫型星形细胞瘤)，则在基于(影像特征和临床特征的)融合特征以及第一次预测结果的基础上进行第二次预测，预测结果是2级的可能性(例如是92％)要高于单纯基于融合特征进行预测时预测结果是2级的可能性(例如是83％)。
在一些实施方式中，可以利用深度学习模型执行以下处理：对所述感兴趣对象的医学影像数据进行多模态数据融合，得到阶段融合结果；对所述阶段融合结果进行特征提取，得到所述影像特征；基于所述影像特征，获取所述感兴趣对象的针对所述预设疾病的初次预测结果；
可以利用机器学习模型执行以下处理：对所述感兴趣对象的临床数据进行特征提取，得到临床特征；对所述影像特征和所述临床特征进行融合，并对融合结果进行特征提取，得到融合特征，并基于所述融合特征以及所述感兴趣对象的针对所述预设疾病的初次预测结果，获取所述感兴趣对象的针对所述预设疾病的最终预测结果。
由此，深度学习模型可以处理以图像为主的医学影像数据以提取影像特征，可以解决海量数据中存在的高维、冗杂、高噪等传统机器学习模型难以处理的问题；机器学习模型可以提取文本信息为主的临床特征以及结合影像特征和临床特征的融合特征，相比于深度学习模型，机器学习模型对数据量的要求和对硬件配置的要求较低，模型训练的时间较短。
参见图7，在一些实施方式中，所述步骤S102可以包括步骤S303～S305。
步骤S303：从第一预设数据库中获取所述感兴趣对象的医学影像数据并存储至消息队列。第一预设数据库可以是预先设定的数据库，可以存储大量的医学影像数据，第一预设数据库例如是RIS数据库。
在一具体应用中，医学影像数据可以包括不同维度、不同扫描参数的CT数据和核磁数据，医学影像数据可以为二进制数据。
步骤S304：从第二预设数据库中获取批量数据，扫描所述批量数据，当扫描到所述感兴趣对象的临床数据时，将所述感兴趣对象的临床数据放入所述消息队列。第二预设数据库可以是预先设定的数据库，可以存储大量的临床数据，第二预设数据库例如是HIS数据库。
在一具体应用中，临床数据可以包括病理报告数据、体重指数数据和化验检查数据中的一种或多种，临床数据的格式包括以下至少一种：结构化数据、半结构化数据和非结构化数据。结构化数据例如是关系型数据库中的表，半结构化数据例如是CSV文件、日志文件、XML文件、JSON文件等，非结构化数据例如是文档、PDF等。
步骤S305：利用所述消息队列，将所述感兴趣对象的医学影像数据发送至所述深度学习模型，将所述感兴趣对象的临床数据发送至所述机器学习模型。
由此，可以先将医学影像数据进行存储，但并非立刻进行数据传输，而是等待相应的临床数据，只有当感兴趣对象的医学影像数据和临床数据都进入消息队列时再进行数据传输，一方面，利用消息队列可以提高系统性能、削峰、降低系统耦合性；另一方面，将感兴趣对象的医学影像数据和临床数据一起传输，可以减少数据传输次数，减轻服务器压力。
参见图8，在一些实施方式中，所述方法还可以包括步骤S105。
步骤S105：基于所述最终预测结果以及所述感兴趣对象的电子病历，生成所述感兴趣对象对应的参考治疗方案。
在一具体应用中，感兴趣对象的最终预测结果为肝癌二期，感兴趣对象的电子病历显示年龄32岁，感兴趣对象对应的参考治疗方案可以为进行肝叶切除术后再配合介入、化疗等治疗方式。
由此，可以基于最终预测结果以及感兴趣对象的电子病历生成对应的参考治疗方案，提高诊断效率，辅助医护人员做出更准确的诊断。
参照图9，本申请实施例还提供了一种多模态异构的医学大数据智能分析与诊断云平台系统，所述系统包括多模态医学数据采集与存储模块、多模态医学数据智能融合模块和多模态医学数据分析与诊断模块。所述多模态医学数据采集与存储模块、多模态医学数据智能处理模块以及多模态医学数据分析与诊断模块均依次连接，并形成实时融合多模态异构数据流。其中，该系统可以使用数据湖技术，数据湖可以是一个存储企业的各种各样原始数据的大型仓库，数据湖中的数据可供存取、处理、分析及传输。
在一些实施方式中，所述多模态医学数据采集与存储模块用于自动采集并存储患者相应的医学数据，医学数据包括医学影像数据和临床数据。数据采集的范围包括不同维度、不同扫描参数的CT数据、核磁数据等多模态医学影像数据，以及病理报告数据、体重指数数据、化验检查数据等临床数据。这些数据格式不一，包括结构化数据(如关系型数据库中的表)、半结构化数据(如CSV、日志、XML、JSON)、非结构化数据(如文档、PDF)和二进制数据(如医学影像)。
所述多模态医学数据采集与存储模块可以包括：数据采集单元、数据集成单元、数据存储单元和数据管理单元。
所述数据采集单元可以根据不同需求实时或批量采集来自不同数据源的数据。
所述数据集成单元可以集成数据采集单元采集到的不同数据源，所述数据源可以包括医学影像、病理报告、数据库中的表(关系型或者非关系型)、各种格式的文件(csv、json、文档等)、应用API获取的数据(如日志)等。
所述数据管理单元可以对实时和批量数据流执行ETL功能，通过ETL工具对原始数据进行相应的转换和管理，使得来自不同设备的传感器数据可以与其他数据源一起融合到数据湖中。其中，ETL(Extract-Transform-Load，数据仓库技术)是指将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
所述数据管理单元支持异构和多样的存储，例如分步式文件系统Ceph、分布式文件系统HDFS、分布式对象存储MinIO、分布式数据库HBase、数据仓库工具Hive等。数据管理单元可以将所有的原始数据存储到分布式文件系统中。
参照图10，在一具体应用中，多模态医学数据采集与存储模块包括采集模块、管理模块、接口模块和存储模块，采集模块通过实时采集、批量采集、作业调度以及集成接口这四种方式采集数据源，数据源包括医学影像、病理报告、数据库、日志文件等；存储模块可以将数据存储至分布式文件系统、文档数据库、影像数据库和结构型数据库中；接口模块可以包括文件接口、文档接口、影像接口和表格接口，管理模块包括数据管理工具和ETL工具。
在一些实施方式中，所述多模态医学数据智能融合模块用于对多模态的医学数据进行融合处理。
参照图11，在一具体应用中，所述多模态医学数据智能融合模块可以使用不同的融合方案同时分析多种模态的医学数据，所述医学数据包括CT、MR等影像数据以及病理特征、检验报告等临床数据，并以按照以下步骤进行融合：
首先，根据不同的融合方案向采集模块与存储模块请求不同形式的医学影像数据和临床数据；
其次，基于卷积神经网络，对医学影像数据进行初步的影像特征提取，得到医学影像特征；
再次，基于机器学习模型，对临床数据进行特定的临床特征提取，得到临床特征；
最后，将医学影像特征和临床特征进行融合并作进一步特征提取。
在一些实施方式中，所述多模态医学数据分析与诊断模块用于对多模态医学数据智能融合模块的融合数据进行处理和分析。
在一具体应用中，多模态医学数据分析与诊断模块可以对医学影像融合数据进行三维分割和检测，对临床特征进行分类和识别。
多模态医学数据分析与诊断模块还可以采用用户结合软件联合决策的方式，即“人工智能辅助医生”的模式，以医生为主导，结合多模态医学数据分析结果和临床经验，来对患者的病情进行合理的诊断。
由于经验、资历不同，不同医生之间难免存在水平差异，即使是同一医生，实时工作状态不同，也会存在水平高低不同的情况，相比于单纯依靠医生进行人工诊断来说，结合人工智能进行诊断，能够在一定程度上弥补个体医生之间的水平差异或者医生自身状态不稳定所造成的水平差异，提高诊断准确度，避免医生误判给患者造成无法挽回的严重后果，通过科技手段减缓当下医患关系日趋紧张的发展态势，使互联网+医疗真正造福广大患者和从业人员。
参照图12，本申请实施例还提供了一种多模态异构的医学数据处理方法，利用实时多模态异构数据流对数据进行存储、融合以及分析。在一具体应用中，上述方法的具体步骤如下：
首先，根据融合方案，通过语义网关对待测对象的电子病历进行筛选，确定感兴趣对象，实时地采集数据源中感兴趣对象的多模态数据；感兴趣对象的多模态数据例如可以包括多种医学影像数据以及临床数据，医学影像数据包括X光数据、CT数据、MRI数据中的一种或多种，临床数据包括病理报告数据、体重指数数据、化验检查数据中的一种或多种；
其次，先将感兴趣对象的医学影像数据存储至消息队列，但并非立刻进行数据传输，而是等待相应的临床数据，只有当感兴趣对象的医学影像数据和临床数据都进入消息队列时再进行数据传输，这样的异步处理方式能够提高系统性能和削峰、降低系统耦合性；
再次，基于流计算技术，例如Stream SQL(流式SQL，SQL是一种特殊目的的编程语言，具有数据定义、数据操纵和数据控制的功能)以及Storm/Spark(一种实时数据流处理系统)，对流式数据进行实时分析，捕捉到可能有用的信息，实时存储到对应的数据库，例如分布式文件系统、文档数据库、影像数据库、结构性数据库等；其中，影像数据库可以存储医学影像数据，分布式文件系统、文档数据库、结构性数据库可以存储多种格式的临床数据；在对流式数据进行实时分析时，可以筛选特定格式的数据，也可以筛选具备某些关键词的数据；
最后，将感兴趣对象的医学影像数据通过卷积神经网络进行预测，输出特征向量存储到缓存中，若检索到同一患者的临床数据，如检验报告数据(核磁检测报告数据、CT检测报告数据等)，则对这些临床数据进行特征提取，并依据融合方案进行特征融合，用于进一步分析。进一步分析例如是对感兴趣对象针对预设疾病的分类结果进行预测，用以辅助医生获取疾病的诊断结果。在此基础上，还可以基于预测结果，结合感兴趣对象的电子病历，生成对应的参考治疗方案。
上述方法可以使数据流一直保持运行状态，通过实时地抽取数据源的多模态数据，并在极短的时间内进行存储、融合以及分析，使得在数据的使用和传输上达到实时的效果，从而提高平台运行效率。
参照图13，本申请实施例还提供了一种多模态异构的医学数据处理装置，其具体实现方式与上述多模态异构的医学数据处理方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
所述装置包括：确定对象模块11，用于获取待测对象的电子病历，基于所述电子病历，获取所述待测对象与预设疾病的关联度，当所述待测对象与所述预设疾病的关联度不小于预设阈值时，确定所述待测对象作为感兴趣对象；获取数据模块12，用于获取所述感兴趣对象的医学影像数据和临床数据；获取结果模块13，用于根据所述感兴趣对象的医学影像数据和临床数据，获取所述感兴趣对象的最终预测结果。
参见图14，在一些实施方式中，所述确定对象模块11可以包括：获取方案单元111，可以用于获取所述预设疾病对应的融合方案；确定策略单元112，可以用于基于所述融合方案，确定所述预设疾病对应的关联度计算策略以及所述预设阈值；获取字段单元113，可以用于基于所述待测对象的电子病历，通过语义网关，获取至少一种特定字段及其字段值；计算关联度单元114，可以用于基于所述至少一种特定字段及其字段值以及所述关联度计算策略，计算得到所述待测对象与所述预设疾病的关联度。
参见图15，在一些实施方式中，所述获取数据模块12可以包括：确定类型单元121，可以用于基于所述融合方案，确定所述预设疾病对应的医学影像数据和临床数据的类型；获取数据单元122，可以用于基于所述预设疾病对应的医学影像数据和临床数据的类型，获取所述感兴趣对象的医学影像数据和临床数据。
参见图16，在一些实施方式中，所述获取结果模块13可以包括：影像特征单元131，可以用于对所述感兴趣对象的医学影像数据进行特征提取，得到影像特征；临床特征单元132，可以用于对所述感兴趣对象的临床数据进行特征提取，得到临床特征；融合特征单元133，可以用于根据所述影像特征和所述临床特征进行融合，得到融合特征，基于所述融合特征，获取所述感兴趣对象的针对所述预设疾病的最终预测结果。
参见图17，在一些实施方式中，所述感兴趣对象的医学影像数据可以包括多模态的医学影像数据；所述影像特征单元131可以包括：阶段融合子单元1311，可以用于对所述感兴趣对象的医学影像数据进行多模态数据融合，得到阶段融合结果；提取特征子单元1312，可以用于对所述阶段融合结果进行特征提取，得到所述影像特征。
参见图18，在一些实施方式中，所述装置还可以包括：初次预测模块14，可以用于基于所述影像特征，获取所述感兴趣对象的针对所述预设疾病的初次预测结果；所述融合特征单元133可以用于：基于所述融合特征以及所述感兴趣对象的针对所述预设疾病的初次预测结果，获取所述感兴趣对象的针对所述预设疾病的最终预测结果。
在一些实施方式中，所述阶段融合子单元1311可以用于：利用深度学习模型对所述感兴趣对象的医学影像数据进行多模态数据融合，得到阶段融合结果；所述提取特征子单元1312可以用于：利用深度学习模型对所述阶段融合结果进行特征提取，得到所述影像特征；所述初次预测模块14可以用于：基于所述影像特征，利用深度学习模型获取所述感兴趣对象的针对所述预设疾病的初次预测结果；所述临床特征单元132可以用于：利用机器学习模型对所述感兴趣对象的临床数据进行特征提取，得到临床特征；所述融合特征单元133可以用于：利用机器学习模型对所述影像特征和所述临床特征进行融合，并对融合结果进行特征提取，得到融合特征，并基于所述融合特征以及所述感兴趣对象的针对所述预设疾病的初次预测结果，获取所述感兴趣对象的针对所述预设疾病的最终预测结果。
参见图19，在一些实施方式中，所述获取数据模块12可以包括：第一数据单元123，可以用于从第一预设数据库中获取所述感兴趣对象的医学影像数据并存储至消息队列；第二数据单元124，可以用于从第二预设数据库中获取批量数据，扫描所述批量数据，当扫描到所述感兴趣对象的临床数据时，将所述感兴趣对象的临床数据放入所述消息队列；发送数据单元125，可以用于利用所述消息队列，将所述感兴趣对象的医学影像数据发送至所述深度学习模型，将所述感兴趣对象的临床数据发送至所述机器学习模型。
参见图20，在一些实施方式中，所述装置还可以包括：生成方案模块15，可以用于基于所述最终预测结果以及所述感兴趣对象的电子病历，生成所述感兴趣对象对应的参考治疗方案。
参见图21，本申请实施例还提供了一种电子设备200，电子设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。
存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)211和/或高速缓存存储器212，还可以进一步包括只读存储器(ROM)213。
其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220执行本申请实施例中多模态异构的医学数据处理方法的步骤，其具体实现方式与上述多模态异构的医学数据处理方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
存储器210还可以包括具有至少一个程序模块215的实用工具214，这样的程序模块215包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
相应的，处理器220可以执行上述计算机程序，以及可以执行实用工具214。
总线230可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口250进行。并且，电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，所述计算机程序被执行时实现本申请实施例中多模态异构的医学数据处理方法的步骤，其具体实现方式与上述多模态异构的医学数据处理方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
图22示出了本实施例提供的用于实现上述多模态异构的医学数据处理方法的程序产品300，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品300不限于此，在本申请中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本申请从使用目的上，效能上，进步及新颖性等观点进行阐述，已符合专利法所强调的功能增进及使用要件，本申请以上的说明书及说明书附图，仅为本申请的较佳实施例而已，并非以此局限本申请，因此，凡一切与本申请构造，装置，特征等近似、雷同的，即凡依本申请专利申请范围所作的等同替换或修饰等，皆应属本申请的专利申请保护的范围之内。
Claims (10)
1.一种多模态异构的医学数据处理方法，其特征在于，所述方法包括：
获取待测对象的电子病历，基于所述电子病历，获取所述待测对象与预设疾病的关联度，当所述待测对象与所述预设疾病的关联度不小于预设阈值时，确定所述待测对象作为感兴趣对象；
获取所述感兴趣对象的医学影像数据和临床数据；
根据所述感兴趣对象的医学影像数据和临床数据，获取所述感兴趣对象的最终预测结果；
其中，所述基于所述电子病历，获取所述待测对象与预设疾病的关联度，包括：
获取所述预设疾病对应的融合方案；
基于所述融合方案，确定所述预设疾病对应的关联度计算策略以及所述预设阈值；
其中，所述融合方案包括多种医学数据相结合以获取预设疾病的预测结果的方案。
2.根据权利要求1所述的多模态异构的医学数据处理方法，其特征在于，所述根据所述感兴趣对象的医学影像数据和临床数据，获取所述感兴趣对象的最终预测结果，包括：
对所述感兴趣对象的医学影像数据进行特征提取，得到影像特征；
对所述感兴趣对象的临床数据进行特征提取，得到临床特征；
根据所述影像特征和所述临床特征进行融合，得到融合特征，基于所述融合特征，获取所述感兴趣对象的针对所述预设疾病的最终预测结果。
3.根据权利要求2所述的多模态异构的医学数据处理方法，其特征在于，所述感兴趣对象的医学影像数据包括多模态的医学影像数据；
所述对所述感兴趣对象的医学影像数据进行特征提取，得到影像特征，包括：
对所述感兴趣对象的医学影像数据进行多模态数据融合，得到阶段融合结果；
对所述阶段融合结果进行特征提取，得到所述影像特征。
4.根据权利要求2所述的多模态异构的医学数据处理方法，其特征在于，所述方法还包括：
基于所述影像特征，获取所述感兴趣对象的针对所述预设疾病的初次预测结果；
所述基于所述融合特征，获取所述感兴趣对象的针对所述预设疾病的最终预测结果，包括：
基于所述融合特征以及所述感兴趣对象的针对所述预设疾病的初次预测结果，获取所述感兴趣对象的针对所述预设疾病的最终预测结果。
5.根据权利要求4所述的多模态异构的医学数据处理方法，其特征在于，利用深度学习模型执行以下处理：对所述感兴趣对象的医学影像数据进行多模态数据融合，得到阶段融合结果；对所述阶段融合结果进行特征提取，得到所述影像特征；基于所述影像特征，获取所述感兴趣对象的针对所述预设疾病的初次预测结果；
利用机器学习模型执行以下处理：对所述感兴趣对象的临床数据进行特征提取，得到临床特征；对所述影像特征和所述临床特征进行融合，并对融合结果进行特征提取，得到融合特征，并基于所述融合特征以及所述感兴趣对象的针对所述预设疾病的初次预测结果，获取所述感兴趣对象的针对所述预设疾病的最终预测结果。
6.根据权利要求5所述的多模态异构的医学数据处理方法，其特征在于，所述获取所述感兴趣对象的医学影像数据和临床数据，包括：
从第一预设数据库中获取所述感兴趣对象的医学影像数据并存储至消息队列；
从第二预设数据库中获取批量数据，扫描所述批量数据，当扫描到所述感兴趣对象的临床数据时，将所述感兴趣对象的临床数据放入所述消息队列；
利用所述消息队列，将所述感兴趣对象的医学影像数据发送至所述深度学习模型，将所述感兴趣对象的临床数据发送至所述机器学习模型。
7.根据权利要求1所述的多模态异构的医学数据处理方法，其特征在于，所述基于所述电子病历，获取所述待测对象与预设疾病的关联度，还包括：
基于所述待测对象的电子病历，通过语义网关，获取至少一种特定字段及其字段值；
基于所述至少一种特定字段及其字段值以及所述关联度计算策略，计算得到所述待测对象与所述预设疾病的关联度。
8.根据权利要求1所述的多模态异构的医学数据处理方法，其特征在于，所述方法还包括：
基于所述最终预测结果以及所述感兴趣对象的电子病历，生成所述感兴趣对象对应的参考治疗方案。
9.一种多模态异构的医学数据处理装置，其特征在于，所述装置包括：
确定对象模块，用于获取待测对象的电子病历，基于所述电子病历，获取所述待测对象与预设疾病的关联度，当所述待测对象与所述预设疾病的关联度不小于预设阈值时，确定所述待测对象作为感兴趣对象；
获取数据模块，用于获取所述感兴趣对象的医学影像数据和临床数据；
获取结果模块，用于根据所述感兴趣对象的医学影像数据和临床数据，获取所述感兴趣对象的最终预测结果；
其中，所述基于所述电子病历，获取所述待测对象与预设疾病的关联度，包括：
获取所述预设疾病对应的融合方案；
基于所述融合方案，确定所述预设疾病对应的关联度计算策略以及所述预设阈值；
其中，所述融合方案包括多种医学数据相结合以获取预设疾病的预测结果的方案。
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110485389.3A CN113284572B (zh) | 2021-04-30 | 2021-04-30 | 多模态异构的医学数据处理方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110485389.3A CN113284572B (zh) | 2021-04-30 | 2021-04-30 | 多模态异构的医学数据处理方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113284572A CN113284572A (zh) | 2021-08-20 |
| CN113284572B true CN113284572B (zh) | 2024-04-23 |
Family
ID=77278030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110485389.3A Active CN113284572B (zh) | 2021-04-30 | 2021-04-30 | 多模态异构的医学数据处理方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113284572B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113823413A (zh) * | 2021-10-22 | 2021-12-21 | 上海长征医院 | 肺部功能小气道疾病预测系统、方法、介质及电子设备 |
| CN115131642B (zh) * | 2022-08-30 | 2022-12-27 | 之江实验室 | 一种基于多视子空间聚类的多模态医学数据融合系统 |
| CN115579094B (zh) * | 2022-11-16 | 2023-02-28 | 神州医疗科技股份有限公司 | 一种多模态医疗数据湖构建方法及系统 |
| CN116705297B (zh) * | 2023-06-07 | 2024-01-23 | 广州华科盈医疗科技有限公司 | 一种基于多信息处理的颈动脉检测仪 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001057785A1 (en) * | 2000-02-01 | 2001-08-09 | Chromavision Medical Systems, Inc. | Method and apparatus for automated image analysis of biological specimens |
| WO2017009372A2 (en) * | 2015-07-13 | 2017-01-19 | Cartagenia Nv | System and methodology for the analysis of genomic data obtained from a subject |
| CN109243608A (zh) * | 2018-09-11 | 2019-01-18 | 北京唐冠天朗科技开发有限公司 | 一种高危人群识别方法和系统 |
| KR20190131267A (ko) * | 2018-05-16 | 2019-11-26 | 고려대학교 산학협력단 | 기계 학습을 이용한 관상 동맥 질환 예측 방법 및 시스템 |
| CN111631730A (zh) * | 2020-05-15 | 2020-09-08 | 中国科学院深圳先进技术研究院 | 基于传感数据和生理信息融合的低血糖预警方法和系统 |
| CN111915596A (zh) * | 2020-08-07 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种肺结节良恶性预测方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140058738A1 (en) * | 2012-08-21 | 2014-02-27 | International Business Machines Corporation | Predictive analysis for a medical treatment pathway |
| US9147041B2 (en) * | 2012-09-13 | 2015-09-29 | Parkland Center For Clinical Innovation | Clinical dashboard user interface system and method |
-
2021
- 2021-04-30 CN CN202110485389.3A patent/CN113284572B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001057785A1 (en) * | 2000-02-01 | 2001-08-09 | Chromavision Medical Systems, Inc. | Method and apparatus for automated image analysis of biological specimens |
| WO2017009372A2 (en) * | 2015-07-13 | 2017-01-19 | Cartagenia Nv | System and methodology for the analysis of genomic data obtained from a subject |
| KR20190131267A (ko) * | 2018-05-16 | 2019-11-26 | 고려대학교 산학협력단 | 기계 학습을 이용한 관상 동맥 질환 예측 방법 및 시스템 |
| CN109243608A (zh) * | 2018-09-11 | 2019-01-18 | 北京唐冠天朗科技开发有限公司 | 一种高危人群识别方法和系统 |
| CN111631730A (zh) * | 2020-05-15 | 2020-09-08 | 中国科学院深圳先进技术研究院 | 基于传感数据和生理信息融合的低血糖预警方法和系统 |
| CN111915596A (zh) * | 2020-08-07 | 2020-11-10 | 杭州深睿博联科技有限公司 | 一种肺结节良恶性预测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 多参数MRI影像组学特征识别HER-2过表达型乳腺癌;薛珂;李卓琳;李振辉;赵美琳;孙诗昀;丁莹莹;;放射学实践;20200220(第02期);第68-71页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113284572A (zh) | 2021-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Comparison of chest radiograph interpretations by artificial intelligence algorithm vs radiology residents | |
| CN113284572B (zh) | 多模态异构的医学数据处理方法及相关装置 | |
| Pezoulas et al. | Medical data quality assessment: On the development of an automated framework for medical data curation | |
| US10929420B2 (en) | Structured report data from a medical text report | |
| WO2022227294A1 (zh) | 一种基于多模态融合的疾病风险预测方法和系统 | |
| US20200303072A1 (en) | Method and system for supporting medical decision making | |
| US20200265931A1 (en) | Systems and methods for coding health records using weighted belief networks | |
| US20200160510A1 (en) | Automated Patient Complexity Classification for Artificial Intelligence Tools | |
| CN111564223B (zh) | 传染病生存概率的预测方法、预测模型的训练方法及装置 | |
| CN112232065B (zh) | 挖掘同义词的方法及装置 | |
| Gu et al. | Tracking knowledge evolution in cloud health care research: Knowledge map and common word analysis | |
| McMaster et al. | Artificial intelligence and deep learning for rheumatologists | |
| US20210057058A1 (en) | Data processing method, apparatus, and device | |
| Yoon et al. | Accelerated training of bootstrap aggregation-based deep information extraction systems from cancer pathology reports | |
| WO2019132686A1 (ru) | Способ формирования математических моделей пациента с использованием технологий искусственного интеллекта | |
| CN113269721B (zh) | 模型训练方法、装置、电子设备及存储介质 | |
| Gunturu et al. | A Smart Multimodal Biomedical Diagnosis Based on Patient's Medical Questions and Symptoms | |
| Nguyen et al. | Learning to diagnose common thorax diseases on chest radiographs from radiology reports in Vietnamese | |
| Mohsen et al. | Artificial Intelligence-Based Methods for Precision Cardiovascular Medicine | |
| CN116564505A (zh) | 基于深度学习的甲状腺疾病筛查方法、系统、设备及存储介质 | |
| Sachdeva | Standard-based personalized healthcare delivery for kidney illness using deep learning | |
| Gan et al. | Arch: Large-scale knowledge graph via aggregated narrative codified health records analysis | |
| US20140278527A1 (en) | Large scale identification and analysis of population health risks | |
| Sibanda et al. | Nindustry 4.0 technologies in maternal healthcare: A systematic review | |
| Bagheri et al. | Automatic Prediction of Recurrence of Major Cardiovascular Events: A Text Mining Study Using Chest X-Ray Reports |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |