CN115132376A - 一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统 - Google Patents
一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统 Download PDFInfo
- Publication number
- CN115132376A CN115132376A CN202110329146.0A CN202110329146A CN115132376A CN 115132376 A CN115132376 A CN 115132376A CN 202110329146 A CN202110329146 A CN 202110329146A CN 115132376 A CN115132376 A CN 115132376A
- Authority
- CN
- China
- Prior art keywords
- cardiovascular
- diagnosis
- cerebrovascular
- data
- disease
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 110
- 208000026106 cerebrovascular disease Diseases 0.000 title claims abstract description 90
- 230000002526 effect on cardiovascular system Effects 0.000 title claims abstract description 81
- 208000024172 Cardiovascular disease Diseases 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 230000003902 lesion Effects 0.000 claims abstract description 36
- 206010008111 Cerebral haemorrhage Diseases 0.000 claims abstract description 28
- 206010008118 cerebral infarction Diseases 0.000 claims abstract description 28
- 208000002330 Congenital Heart Defects Diseases 0.000 claims abstract description 23
- 208000028831 congenital heart disease Diseases 0.000 claims abstract description 22
- 238000011282 treatment Methods 0.000 claims abstract description 21
- 208000029078 coronary artery disease Diseases 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 238000005065 mining Methods 0.000 claims abstract description 5
- 230000009133 cooperative interaction Effects 0.000 claims abstract description 4
- 201000010099 disease Diseases 0.000 claims description 19
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012797 qualification Methods 0.000 claims description 2
- 208000024891 symptom Diseases 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000002195 synergetic effect Effects 0.000 abstract description 2
- 210000004556 brain Anatomy 0.000 description 18
- 230000008569 process Effects 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 9
- 230000004927 fusion Effects 0.000 description 8
- 208000035478 Interatrial communication Diseases 0.000 description 6
- 206010003664 atrial septal defect Diseases 0.000 description 6
- 210000004351 coronary vessel Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 201000003130 ventricular septal defect Diseases 0.000 description 6
- 238000002592 echocardiography Methods 0.000 description 4
- 230000000977 initiatory effect Effects 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000003759 clinical diagnosis Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000010223 real-time analysis Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 2
- 201000000057 Coronary Stenosis Diseases 0.000 description 2
- 206010018985 Haemorrhage intracranial Diseases 0.000 description 2
- 208000008574 Intracranial Hemorrhages Diseases 0.000 description 2
- 101100382067 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) BUD14 gene Proteins 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 208000013914 atrial heart septal defect Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000001562 sternum Anatomy 0.000 description 2
- 201000001320 Atherosclerosis Diseases 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 208000031226 Hyperlipidaemia Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 101150060512 SPATA6 gene Proteins 0.000 description 1
- 101100065656 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) ERV46 gene Proteins 0.000 description 1
- 101100033865 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) RFA1 gene Proteins 0.000 description 1
- 101100202934 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SEN34 gene Proteins 0.000 description 1
- 208000001910 Ventricular Heart Septal Defects Diseases 0.000 description 1
- 210000000709 aorta Anatomy 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000003143 atherosclerotic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 208000031169 hemorrhagic disease Diseases 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 208000023589 ischemic disease Diseases 0.000 description 1
- 230000000302 ischemic effect Effects 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统，所述系统包括心脑血管疑似病变区域检测系统，被配置为：基于多模态、多视角医疗影像数据病变区域检测算法，通过研究多视角协同分析方法，提高心脑血管疑似病变区域检测性能；基于高阶关联挖掘的心脑血管疾病识别系统，被配置为：通过超图建模及学习方法应用于多模态诊疗数据进行心脑血管疾病识别；基于云端人机协同的可解释规范化报告自动生成系统，被配置为：人机协同机制，建立医疗专家的协同交互，实现医疗专家和机器智能的联合分析与诊疗。该系统使用人工智能深度学习技术分析医疗影像给出辅助诊断结果，用于心脑血管疾病（先心病、脑出血、脑梗死、冠心病）辅助诊断。
Description
技术领域
本发明涉及心脑血管疾病协同诊断模型系统，特别涉及到疾病诊疗数据协同共享及应用平台。
背景技术
心脑血管疾病是心脏血管和脑血管疾病的统称，泛指由于高脂血症、动脉粥样硬化、高血压等所导致的心脏及脑发生的缺血性或出血性疾病。心脑血管疾病是一种严重威胁人类，特别是50岁以上中老年人健康的常见病，具有高患病率、高致残率和高死亡率的特点，有50％以上的脑血管意外幸存者生活不能完全自理，全世界每年死于心脑血管疾病的人数高达1500万人，居各种死因首位。
我国医疗资源的协同难以在大范围、多地域间广泛开展，主要原因来自两个方面。首先，医疗设备数据在院间、院内、设备间等层面存在交互困难，医务人员水平参差不齐，在数据质量、医生水平、医院服务等方面缺乏整体评价标准、质量评判及服务考核等体系。其次，院间诊疗数据交互要求更高性能的病患隐私保护。针对这些挑战亟需创建协同诊疗服务模式，规范报告标准。因此，本领域亟需一种综合性的心脑血管疾病协同诊断系统，该软件使用人工智能深度学习技术分析心脑血管医疗影像数据给出智能辅助诊断结果，以便医生轻松高效施诊。
发明内容
如上所述，需要面向心脑血管疑似病变区域检测、心脑血管疾病识别和可解释规范化报告自动生成的需求，以深度学习和计算机视觉技术为算法核心，实现心脑血管疾病的病变区域检测和规范化报告的自动生成，搭建一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统。
因此，本发明提供了一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统，所述系统整合三大子系统，包括基于多模态、多视角医疗影像数据的心脑血管疑似病变区域检测子系统，基于高阶关联挖掘的心脑血管疾病识别子系统，基于云端人机协同的可解释规范化报告自动生成子系统，形成可以在内网浏览器访问的人机交互界面。本发明的系统可以采用B/S架构，在客户端使用浏览器中的web界面与用户进行交互，服务端封装算法并提供RESTful API接口供客户端访问调用。
本发明的系统可用于心脑血管疾病(先心病、脑出血、脑梗死、冠心病)的辅助诊断，包含各类疾病的自动化报告生成、相似病例检索、病灶区域分割/检测功能。该系统使用人工智能深度学习方法对医学影像进行自动化分析，提供诊断意见和相似诊断结果，为医生的诊疗提供参考。在一个实施方案中，该系统使用B/S架构，使用网页与用户进行交互，在后台服务器部署人工智能算法，通过网页代码与服务器间的交互实现用户请求的各项功能，并根据组件化的设计思想，将各个功能模块抽象为组件实现功能页面。
因此，在第一方面，本发明提供了一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统，所述系统包括：
基于多模态、多视角医疗影像数据的心脑血管疑似病变区域检测子系统，被配置为基于多模态、多视角医疗影像数据的病变区域检测算法，通过多视角协同分析方法，提高心脑血管疑似病变区域检测性能。心脑血管疾病种类繁多，诊疗数据种类也有多种模态，常见的医疗数据有CT、MR、超声等数据模态。由于心脑血管疑似病变区域精确标记获取困难，同时多模态诊疗数据也具备多视角属性，如超声心动图的多个切面(胸骨旁左室长轴切面、胸骨旁主动脉根部短轴切面、心尖四腔切面等)，由于病人生理特征或仪器问题，往往会有一些噪声较大、较难判断其分类的视角数据。因此对单视角的超声图像进行分类或病变区域检测具有较大的偶然性和不确定性。针对这一难题，设计基于多模态、多视角医疗影像数据的病变区域检测算法，通过研究多视角协同分析方法，提高心脑血管疑似病变区域检测性能。
基于高阶关联挖掘的心脑血管疾病识别子系统，被配置为通过超图建模及学习方法应用于多模态诊疗数据进行心脑血管疾病识别。首先，通过对多模态数据进行半监督学习来估计两个患者属于相同类别的概率。进一步，通过多模态数据及已获得的相似病例信息构建超图结构，用于描述患者病症的高阶关联。与仅连接两个顶点的简单图结构相比，超图能够通过连接两个或更多顶点来表达高阶关联信息。最后，通过在超图结构上的优化实现心脑血管疾病类型的精准识别。多元异构心脑血管数据为心脑血管疾病提供多维度描述能力，其有效融合可实现心脑血管疾病的精确识别，同时也存在着多维数据融合及关联学习问题。针对这一难题，通过上述配置在超图结构上的优化实现心脑血管疾病类型的精准识别。
基于云端人机协同的可解释规范化报告自动生成子系统，被配置为人机协同机制，建立医疗专家的协同交互，实现医疗专家和机器智能的联合分析与诊疗。经验丰富的医疗专家对心脑血管疾病的诊断能够一针见血，其在自动诊疗的过程中的交互指导可大幅提升诊疗性能。如何实现人机协同的联合诊疗是一个技术难题。本发明研究人机协同机制，建立医疗专家的协同交互，实现医疗专家和机器智能的联合分析与诊疗。针对不同的专家的潜在多种判断，根据专家的资质、经验和疾病诊疗的历史数据等信息建立专家权重计算机制，以正则约束的形式构建于超图结构中，实现协同联合的诊疗。需要特别指出的是，人机协同机制在心脑血管智能诊疗的三个主要部分(疑似病变区域检测、疾病类型识别和规范化报告自动生成)中均有参与。将心脑血管疾病的自动诊断结果(包括疑似病变区域、疾病类型等)、检索的相似病例和云端人机交互协同的结果融合到一起，自动生成图文并茂的可解释规范化报告，实现从碎片化知识到可解释规范化报告自动生成的机制演进。
在一个实施方案中，针对所述基于多模态、多视角医疗影像数据的心脑血管疑似病变区域检测子系统，针对多视角多模态的大规模立体医疗数据的表征与融合问题，本发明展开深入研究。针对以多视角超声心动图为代表得多视角医学影像数据，首先探索基于立体医疗数据的有效分类及检索方法。提出了基于组视图卷积神经网络的架构来建模立体医疗数据的层级关联特征，从而获得更有可辨别性的立体医疗数据的特征表示。首先提出了辨识性EMD度量学习方法，实现了基于有标记样本的EMD度量辨识性更新学习，有效提升多视图医疗数据检索性能。提出基于KL散度的多视角医疗数据分类方法。通过引入线性映射，将传统的KLD度量推广到一组KLD类型的度量，从而找到最佳的线性映射。所研究方法可以极大地辅助多视图医疗数据的智能诊断任务。随后，提出了组视图卷积神经网络的架构来建模立体医疗数据的层级关联特征，从而获得更有可辨别性的立体数据的特征表示。进一步的，提出了基于多环路多视图立体数据表示框架的神经网络模型，该模型首先使用多个正交的环路进行多视图投影得到多组具有强时序关系的试图序列。该模型旨在从视图层级、环路层级、物体层级逐级抽取特征最后联合得到全局特征表示，实现高精度检索。为降低多视图检索模型对于视图采集位置的依赖性，提出一种高效的特征增强方法。为解决医疗数据的数据量巨大，同一患者也存在不同模态、不同次诊断等大量数据的问题，发明并设计基于哈希表示的大规模多视图检索方法，可以支撑大规模医疗数据的高速高精度检索任务。此外，针对多模态立体医疗数据的融合、分类难题，针对多模态立体医疗数据的表示进行研究，设计多模态的立体数据表示方法，可以广泛应用于立体医疗数据的有效表示，极大提升立体医疗数据大规模分类与检索的精度与效率，辅助实现智能化诊疗。随后，本发明首次提出点云与视图数据融合的三维立体视觉表征学习算法，以提升多模态立体医疗数据的使用性能。进一步的，对于立体多模态数据，从各个模态中分别提取的特征通常的关联性非常低。目前常用的利用注意力机制来学习多模态特征融合的联合网络的泛化能力较弱。因此，本发明提出了一种新颖的基于汉明嵌入灵敏度的多模态特征融合网络，以实现所有三维模态的特征融合。综上所述，本发明针对多视角多模态立体医疗数据的分类检索及表征融合进行研究，取得极大地进展，有效提升项目智能辅助诊疗效果。
在一个实施方案中，针对基于高阶关联挖掘的心脑血管疾病识别子系统，本发明提出了基于超图学习的疾病类型判别方法，对心脑血管疾病的多种疾病类型，如先天性心脏病、冠脉粥样硬化性心脏病、颅内出血、脑梗死等进行疾病诊断，医疗数据也有多种模态，常用的医疗数据模态有CT、MR、超声等。因此，本发明研究了基于多超图交叉扩散的立体数据识别方法，可以有效地融合多模态数据的信息，同时提高立体数据识别的准确率和效率，促进多模态立体医疗数据的应用。此外，考虑到实际应用中立体数据多模态的特点，本发明提出了归纳式多超图学习方法，并在立体数据检索任务上进行了应用。该方法可以支持大规模三维立体医疗数据的检索任务。进一步的，针对数据的复杂关联建模难题，本发明提出了基于超图的非线性复杂关联建模及动态结构表示方法。进一步的，本发明提出了超图神经网络、动态超图神经网络等方法对多模态数据之间的高阶关联进行精确建模，提高疾病判别精度。
在一个实施方案中，针对基于云端人机协同的可解释规范化报告自动生成子系统，包含了基于先心病超声数据的辅助诊断报告生成系统、基于脑出血CT数据的辅助诊断报告生成系统和基于脑梗死MRI数据的辅助报告生成系统。系统的核心算法涉及到利用多尺度特征提取模块、病理标签图和报告生成模块的方法。
第二方面，本发明提供了一种服务器，其中，所述服务器包括本发明第一方面所述的基于多元异构医疗数据的心脑血管疾病协同诊断模型系统。
本发明的有益效果为：
(1)本发明完成新一代基于人工智能的心脑血管疾病协同诊断模型系统，本系统面向心脑血管疑似病变区域检测、心脑血管疾病识别和可解释规范化报告自动生成的需求，以深度学习和计算机视觉技术为算法核心，实现了心脑血管疾病的病变区域检测、识别和规范化报告的自动生成。
(2)本发明的一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统用于心脑血管疾病(先心病、脑出血、脑梗死、冠心病)的辅助诊断，包含心脑血管疑似病变区域检测、心脑血管疾病识别、心脑血管规范化报告自动生成的功能。该软件使用人工智能深度学习方法对医学影像进行自动化分析，提供诊断意见和相似诊断结果，为医生的诊疗提供参考。
附图说明
本领域普通技术人员应理解，附图1至附图5中示出的基于多元异构医疗数据的心脑血管疾病协同诊断模型系统的示意图仅仅是与本发明的方案相关的部分结构的示例性说明框图，并不构成对体现本发明的方案的计算机设备、处理器或计算机程序的限定。具体的计算机设备、处理器或计算机程序可以包括比图中所示更多或更少的部件或模块，或者组合或拆分某些部件或模块，或者可具有不同的部件或模块布置。
现在将仅通过参考附图的非限制性示例来描述本发明，其中：
图1是根据本发明一个实施方案的一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统的内部架构图。
图2是根据本发明一个实施方案的一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统的程序层次结构关系图。
图3是根据本发明一个实施方案的一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统的RESTful API执行流程图。
图4是根据本发明一个实施方案的一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统的DICOM存储示意图。
图5是根据本发明一个实施方案的一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统的心脑血管疾病协同诊断模型系统示意图。
具体实施方式
为更好地说明本发明的目的、技术方案和优点，下面将结合附图和具体实施例对本发明进一步说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。所描述的实施方案仅仅是本发明的一部分实施方案，而不是全部的实施方案。基于本发明中的实施方案，本领域普通技术人员可以获得的所有其他实施方案，并且它们都属于本发明保护的范围。
心脑血管疾病协同诊断模型系统
面向心脑血管疑似病变区域检测、心脑血管疾病识别和可解释规范化报告自动生成的需求，以深度学习和计算机视觉技术为算法核心，实现了心脑血管疾病的病变区域检测和规范化报告的自动生成，搭建了AI智能辅助诊断系统。
能用于心脑血管疾病(先心病、脑出血、脑梗死、冠心病)的辅助诊断，包含各类疾病的自动化报告生成、相似病例检索、病灶区域分割/检测功能。
具体包括如下部分：
脑出血检测
(1)编号和名称：FUN5脑出血检测
(2)输入：脑CT DICOM文件。
(3)过程：选择病人，显示其对应的脑CT图像，对脑CT图像进行分割，检测出图像中存在的脑出血病灶区域。
(4)输出：与脑CT图像同样大小的矩阵，矩阵元素为1表示该像素属于病灶区域，为0表示该像素不属于病灶区域。
脑梗死检测
(1)编号和名称：FUN6脑梗死检测
(2)输入：脑MR DICOM文件。
(3)过程：选择病人，显示其对应的脑MR图像，对脑MR图像进行分割，检测出图像中存在的脑梗死病灶区域。
(4)输出：与脑MR图像同样大小的矩阵，矩阵元素为1表示该像素属于病灶区域，为0表示该像素不属于病灶区域。
冠心病检测
(1)编号和名称：FUN2冠心病检测
(2)输入：超声心动图DICOM文件。
(3)过程：选择病人，显示其对应的超声心动图，对超声心动图进行病变区域的检测，诊断出影像是否属于冠心病患者。
(4)输出：超声心动图检测图像列表，对于疑似病变区域使用检测框标出。
脑出血诊断
(1)编号和名称：FUN3脑出血诊断
(2)输入：脑CT DICOM文件。
(3)过程：对脑CT进行分类，诊断出影像是否属于脑出血患者。
(4)输出：布尔值，是否属于脑出血患者。
脑梗死诊断
(1)编号和名称：FUN4脑梗死诊断
(2)输入：脑MR DICOM文件。
(3)过程：对脑MR进行分类，诊断出影像是否属于脑梗死患者。
(4)输出：布尔值，是否属于脑梗死患者。
先心病诊断
(1)编号和名称：FUN1先心病诊断
(2)输入：超声心动图DICOM文件。
(3)过程：对超声心动图进行分类，诊断出影像是否属于先心病患者。
(4)输出：布尔值，是否属于先心病患者。
冠心病诊断
(1)编号和名称：FUN2冠心病诊断
(2)输入：超声心动图DICOM文件。
(3)过程：对超声心动图进行分类，诊断出影像是否属于冠心病患者。
(4)输出：布尔值，是否属于冠心病患者。
先心病报告生成
(1)编号和名称：FUN7先心病报告生成
(2)输入：超声心动图DICOM文件。
(3)过程：根据超声心动图生成诊断文本。
(4)输出：纯文本，诊断意见，并允许用户针对诊断意见进行修改。
脑出血报告生成
(1)编号和名称：FUN8脑出血报告生成
(2)输入：脑CT DICOM文件。
(3)过程：根据脑CT生成诊断文本。
(4)输出：纯文本，诊断意见，并允许用户针对诊断意见进行修改。
脑梗死报告生成
(1)编号和名称：FUN9脑梗死报告生成
(2)输入：脑MR DICOM文件。
(3)过程：根据脑MR生成诊断文本。
(4)输出：纯文本，诊断意见。
心脑血管疾病识别系统包括4个功能：脑出血诊断、脑梗死诊断、先心病诊断、冠心病诊断。操作方法如下：
脑出血诊断
输入$IP:10186/index_system.html访问系统主页。
选择进入“心脑血管疾病识别系统”。
在上方标签页中选择“脑出血诊断”功能。
在左侧病人列表中点击选择需要分析的病人，点击“选择病例”按钮，此时浏览器向算法服务器发起请求，算法服务器调用算法进行计算。
滑动滑块浏览影像序列，在下方的缩略图中显示所有图像，右方“诊断结果”显示该病人的诊断结果及可疑切片数量与编号。
总体来说，本发明设计了一个可以自动进行脑出血病变区域分割的计算机辅助诊断系统，该系统采用深度学习的方法，能够高效而准确的实现脑出血病变区域的分割，同时实现分割不确定性估计。该方法充分利用了切片内和切片间上下文，同时通过一次推断就可以估计网络的分段不确定性。实验结果表明，该方法可以准确地分割颅内出血，从而实现精确的体积估计，并提供有效的不确定性估计结果，在很大程度上优于其他先进的方法。该脑出血病变区域分割计算机辅助诊断系统可极大程度上降低医生工作量，提高工作效率，可作为临床诊断过程中十分重要的一个参考指标。
脑梗死诊断
输入$IP:10186/index_system.html访问系统主页。
选择进入“心脑血管疾病识别系统”。
在上方标签页中选择“脑梗死诊断”功能。
在左侧病人列表中点击选择需要分析的病人，点击“选择病例”按钮，此时浏览器向算法服务器发起请求，算法服务器调用算法进行计算。
滑动滑块浏览影像序列，在下方的缩略图中显示所有图像，右方“诊断结果”显示该病人的诊断结果及可疑切片数量与编号。
总体来说，在本发明中，采用deeplabv3+成熟的网络框架，迁移到脑梗死的分割任务中。解码器中利用空洞卷积的ASPP模块可以在不降低特征图分辨率的情况下维持较高的感受野，这种特性可以较好的解决医学图像分割中边缘模糊的情况，实验结果也证明了这一猜想。最终，借助于深度学习这一工具，可以极大的减轻医生的工作量，此外精确的脑梗死区域分割，可以较好的辅助下游任务，比如对整个脑部的三维重建。最终整体框架的检测性能达到了87.6％，利用深度可分离卷积大幅度的压缩了网络的参数，该算法可以保持较快的推理速度的情况下维持较高的检测性能。
先心病诊断
输入$IP:10186/index_system.html访问系统主页。
选择进入“心脑血管疾病识别系统”。
在上方标签页中选择“先心病诊断”功能。
在左侧病人列表中点击选择需要分析的病人，点击“选择病例”按钮，此时浏览器向算法服务器发起请求，算法服务器调用算法进行计算。
滑动滑块浏览影像序列，在下方的缩略图中显示所有图像，右方“诊断结果”显示该病人的诊断结果及可疑切片数量与编号。
本发明基于先心病多超声切面的病变区域检测模型结构，该模型建立在临床的基础需求上，主要起到对医生进行辅助诊断的作用。在总体的基于先心病多超声切面的病变区域检测模型结构中，本发明提出同时使用焦点区域和原始图像对超声图像进行分类的方式，有效保留了原始图像中其它区域的信息。本发明创新性地提出了使用现有的多尺度特征提取网络、焦点区域检测网络与深度特征提取网络相结合的结构，使用检测特定区域后进行分类的方法来弥补这一缺陷。
冠心病诊断
输入$IP:10186/index_system.html访问系统主页。
选择进入“心脑血管疾病识别系统”。
在上方标签页中选择“冠心病诊断”功能。
在左侧病人列表中点击选择需要分析的病人，点击“选择病例”按钮，此时浏览器向算法服务器发起请求，算法服务器调用算法进行计算。
滑动滑块浏览影像序列，在下方的缩略图中显示所有图像，右方“诊断结果”显示该病人的诊断结果及可疑切片数量与编号。
本发明使用小型卷积核对图像进行沿中心线的连续卷积的网络模型智能化对冠脉斑块进行检测，能够有效地减少网络模型中参数的数量，降低过拟合情况发生的风险。在冠脉分支、冠脉树以及患者三个层面进行评估，检测准确率都在0.95以上，这表明本系统通过使用上述方法能够完成对输入的体数据进行快速且准确的处理，并定位冠脉具有斑块的位置的任务。
心脑血管规范化报告自动生成系统包含3个功能：先心病报告生成、脑梗死报告生成、脑出血报告生成。其操作方式如下：脑出血报告生成
输入$IP:10186/index_system.html访问系统主页。
选择进入“心脑血管规范化报告自动生成系统”。
在上方标签页中选择“脑出血报告生成”功能。
在左侧病人列表中点击选择需要分析的病人，点击“实时分析”按钮，此时浏览器向算法服务器发起请求，算法服务器调用算法进行计算。界面显示病人影像序列视频以及算法生成的检查报告文本。
点击视频下方的“2Hz/5Hz/10Hz”按钮可以切换视频的变化频率。
针对算法生成的检查报告文本，单击“编辑”进行编辑，点击“保存”对修改后的文本进行保存。
脑梗死报告生成
输入$IP:10186/index_system.html访问系统主页。
选择进入“心脑血管规范化报告自动生成系统”。
在上方标签页中选择“脑梗死报告生成”功能。
在左侧病人列表中点击选择需要分析的病人，点击“实时分析”按钮，此时浏览器向算法服务器发起请求，算法服务器调用算法进行计算。界面显示病人影像序列视频以及算法生成的检查报告文本。
点击视频下方的“2Hz/5Hz/10Hz”按钮可以切换视频的变化频率。
针对算法生成的检查报告文本，单击“编辑”进行编辑，点击“保存”对修改后的文本进行保存。
先心病报告生成
输入$IP:10186/index_system.html访问系统主页。
选择进入“心脑血管规范化报告自动生成系统”。
在上方标签页中选择“先心病报告生成”功能。
在左侧病人列表中点击选择需要分析的病人，点击“实时分析”按钮，此时浏览器向算法服务器发起请求，算法服务器调用算法进行计算。界面显示病人影像序列视频以及算法生成的检查报告文本。
点击视频下方的“2Hz/5Hz/10Hz”按钮可以切换视频的变化频率。
针对算法生成的检查报告文本，单击“编辑”进行编辑，点击“保存”对修改后的文本进行保存。
先心病训练数据及模型
本模型训练数据共310例，其中正常人切面数据61例，先天性心脏病房间隔缺损病人切面数据104例，先天性心脏病室间隔缺损病人切面数据145例。训练数据以DICOM 格式进行储存，且各个切面的帧数不同，因此需经过预处理方可进行训练。本发明将多切面联合诊断与单切面诊断进行了分类准确率的比较，验证了多切面联合诊断的实用性。联合诊断结果如表1所示。可以看出，加入了联合诊断算法之后，在VSD的诊断中由于第一个切面的准确率较高，没有体现出明显的提升，而在ASD的诊断中，相比准确率最高的切面2，联合诊断提升了3.80％的准确率，效果较好。同时，联合诊断算法与医生的诊断流程相同，具有可解释性。因此，加入联合诊断算法有助于提升模型的准确率和稳定性。
表1联合诊断准确率
| 切面名称 | 分类准确率 |
| ASD-切面1 | 0.9176 |
| ASD-切面2 | 0.9325 |
| ASD-切面3 | 0.8806 |
| ASD-联合诊断 | 0.9705 |
| VSD-切面1 | 0.9837 |
| VSD-切面2 | 0.9016 |
| VSD-切面3 | 0.8758 |
| VSD-联合诊断 | 0.9822 |
如表2所示，在190例房间隔缺损的病人的数据中，基于多切面超声数据的先心病辅助诊断模型诊断正确188例，诊断错误2例。而在201例正常人数据中，基于多切面超声数据的先心病辅助诊断模型诊断正确197例，诊断错误4例。总计391例疑似患者数据中，诊断正确385例，诊断错误6例。计算得到基于多切面超声数据的先心病辅助诊断模型的各项临床诊断指标为：符合率为98.46％，敏感性为98.95％，漏诊率为1.05％，特异性为98.01％，误诊率为1.99％。可以看出，医生在符合率，敏感性和漏诊率方面表现较好，而所提出的基于多切面超声数据的先心病辅助诊断模型在特异性和误诊率方面表现较好。作为辅助诊断模型，基于多切面超声数据的先心病辅助诊断模型可以与医生互补，为先天性心脏病的临床诊疗提供帮助。
表2基于多切面超声数据的先心病辅助诊断模型测试结果
冠心病训练数据及模型
本发明系统从冠脉分支、冠脉树以及患者三个层面评估预测结果。其中冠脉分支层面的评估以每条冠脉分支作为类别预测的评估单位。冠脉树层面的评估以完整的冠脉树作为类别预测的评估单位。患者层面的评估以所有患者的冠脉树作为类别预测的评估单位。冠脉分支层面本系统首先计算每条冠脉分支斑块标签预测的平均准确率。为评估整体表现，而后计算所有冠脉分支的预测准确率的未加权平均值，即求被正确预测斑块的冠脉分支所占平均百分比。冠脉树以及患者的层面本系统分别计算以整颗冠脉树为单位和以患者为单位冠脉狭窄程度预测的准确率。而后通过分别计算所有冠脉树和所有患者的预测准确率的未加权平均值，评估冠脉狭窄程度预测准确率的整体一致性。在进行训练之后，本系统使用三个层面的评估方法对网络模型进行评估，评估结果如表3所示。本系统使用小型卷积核对图像进行沿中心线的连续卷积的网络模型智能化对冠脉斑块进行检测，能够有效地减少网络模型中参数的数量，降低过拟合情况发生的风险。在冠脉分支、冠脉树以及患者三个层面进行评估，检测准确率都在0.95以上，这表明本系统通过使用上述方法能够完成对输入的体数据进行快速且准确的处理，并定位冠脉具有斑块的位置的任务。
表3冠脉斑块检测评估结果
脑出血训练数据及模型
为了证明本系统中提出的网络的有效性，实验结果与其他一些工作进行了比较。首先比较U-Net作为验证基准。为了更好地展示所提出的网络结构能够以高效利用上下文的优点，与Patch-based 3D U-Net，以及BDC-LSTM进行对比，该方法将切片间上下文信息与RNN整合到了医学领域图像分割任务。表4显示了这些方法的分割结果。显然，本发明提出的SEX-Net在所有指标上都大大优于其他最新方法。这些改进表明，本发明提出的SEX-Net可以有效地分割脑出血，并在脑出血分割中更好地利用上下文信息。此外，与3DU-Net相比，本发明提出的网络体量更小。因此，所提出的架构也可以作为一种用于解决内存消耗和上下文信息之间的矛盾的权衡解决方案。此外，BDC-LSTM通过将切片的特征与双向LSTM模型结合使用了切片间上下文，根据实验结果，可以发现，对于本实验的各向异性的脑出血CT数据，通过利用SEX-Net提出的显式标签建模的方法要优于上述隐式特征建模。
表4颅脑出血分割在各种方法上的结果对比
脑梗塞训练数据及模型
为了较为准确的评估算法的性能，将数据划分为训练集和测试集两个部分，两个部分的比例为17：3，评估指标采用mIoU，该指标定义如下：
其中A为预测，B为真实标签。
如表5所示，最终在测试集上的评测分数为87.6％，总体性能较好。
在本系统中，本发明采用deeplabv3+成熟的网络框架，迁移到脑梗死的分割任务中。解码器中利用空洞卷积的ASPP模块可以在不降低特征图分辨率的情况下维持较高的感受野，这种特性可以较好的解决医学图像分割中边缘模糊的情况，实验结果也证明了这一猜想。最终，借助于深度学习这一工具，可以极大的减轻医生的工作量，此外精确的脑梗死区域分割，可以较好的辅助下游任务，比如对整个脑部的三维重建。最终整体框架的检测性能达到了87.6％，利用深度可分离卷积大幅度的压缩了网络的参数，该算法可以保持较快的推理速度的情况下维持较高的检测性能。
表5脑梗死分割实验结果
Claims (6)
1.一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统，所述系统包括：
基于多模态、多视角医疗影像数据的心脑血管疑似病变区域检测子系统，被配置为基于多模态、多视角医疗影像数据的病变区域检测算法，通过多视角协同分析方法，提高心脑血管疑似病变区域检测性能；
基于高阶关联挖掘的心脑血管疾病识别子系统，被配置为通过超图建模及学习方法应用于多模态诊疗数据进行心脑血管疾病识别，
基于云端人机协同的可解释规范化报告自动生成子系统，被配置为人机协同机制，建立医疗专家的协同交互，实现医疗专家和机器智能的联合分析与诊疗。
2.根据权利要求1所述的系统，其特征在于，通过超图建模及学习方法应用于多模态诊疗数据进行心脑血管疾病识别包括：首先，通过对多模态数据进行半监督学习来估计两个患者属于相同类别的概率；进一步，通过多模态数据及已获得的相似病例信息构建超图结构，用于描述患者病症的高阶关联；与仅连接两个顶点的简单图结构相比，超图能够通过连接两个或更多顶点来表达高阶关联信息；最后，通过在超图结构上的优化实现心脑血管疾病类型的精准识别。
3.根据权利要求1所述的系统，其特征在于，在基于云端人机协同的可解释规范化报告自动生成子系统中，针对不同的专家的潜在多种判断，根据专家的资质、经验和疾病诊疗的历史数据等信息建立专家权重计算机制，以正则约束的形式构建于超图结构中，实现协同联合的诊疗。
4.根据权利要求1所述的系统，其特征在于，在基于云端人机协同的可解释规范化报告自动生成子系统中，将心脑血管疾病的自动诊断结果（包括疑似病变区域、疾病类型等）、检索的相似病例和云端人机交互协同的结果融合到一起，自动生成图文并茂的可解释规范化报告。
5.根据权利要求1所述的系统，其特征在于，用于心脑血管疾病（先心病、脑出血、脑梗死、冠心病）的辅助诊断，包含各类疾病的自动化报告生成、相似病例检索、病灶区域分割/检测功能。
6.一种服务器，其中，所述服务器包括根据权利要求1-5任一项的基于多元异构医疗数据的心脑血管疾病协同诊断模型系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110329146.0A CN115132376A (zh) | 2021-03-27 | 2021-03-27 | 一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110329146.0A CN115132376A (zh) | 2021-03-27 | 2021-03-27 | 一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115132376A true CN115132376A (zh) | 2022-09-30 |
Family
ID=83374597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110329146.0A Pending CN115132376A (zh) | 2021-03-27 | 2021-03-27 | 一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115132376A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115690556A (zh) * | 2022-11-08 | 2023-02-03 | 河北北方学院附属第一医院 | 一种基于多模态影像学特征的图像识别方法及系统 |
-
2021
- 2021-03-27 CN CN202110329146.0A patent/CN115132376A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115690556A (zh) * | 2022-11-08 | 2023-02-03 | 河北北方学院附属第一医院 | 一种基于多模态影像学特征的图像识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dey et al. | Artificial intelligence in cardiovascular imaging: JACC state-of-the-art review | |
| CN110993064B (zh) | 面向深度学习的医学影像标注方法及装置 | |
| Gudigar et al. | Automated detection and screening of traumatic brain injury (TBI) using computed tomography images: a comprehensive review and future perspectives | |
| EP3654343A1 (en) | Application of deep learning for medical imaging evaluation | |
| US20090228299A1 (en) | Methods and apparatus for context-sensitive telemedicine | |
| US20240331156A1 (en) | Method and System for Automatic Multiple Lesion Annotation of Medical Images with Hybrid Deep-Learning Networks | |
| US20240127436A1 (en) | Multi-modal computer-aided diagnosis systems and methods for prostate cancer | |
| CN113298773A (zh) | 基于深度学习的心脏视图识别与左心室检测装置、系统 | |
| EP4327333A1 (en) | Methods and systems for automated follow-up reading of medical image data | |
| Catalano et al. | Exploiting 3D part-based analysis, description and indexing to support medical applications | |
| Dong et al. | A novel end‐to‐end deep learning solution for coronary artery segmentation from CCTA | |
| CN115132376A (zh) | 一种基于多元异构医疗数据的心脑血管疾病协同诊断模型系统 | |
| Bondfale et al. | Convolutional neural network for categorization of lung tissue patterns in interstitial lung diseases | |
| US11842492B2 (en) | Cerebral hematoma volume analysis | |
| CN111436212A (zh) | 用于医学成像评估的深度学习的应用 | |
| Deepika et al. | Deep learning based automated screening for intracranial hemorrhages and grad-cam visualizations on non-contrast head computed tomography volumes | |
| CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
| Wu et al. | Segmentation of carotid artery vessel wall and diagnosis of carotid atherosclerosis on black blood magnetic resonance imaging with multi‐task learning | |
| JP2023034089A (ja) | 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム | |
| Salih et al. | A Review of Evaluation Approaches for Explainable AI With Applications in Cardiology | |
| Ashtari-Majlan et al. | Glaucoma diagnosis in the era of deep learning: A survey | |
| Kalpathy-Cramer et al. | Systematic evaluations and ground truth | |
| CN112633405A (zh) | 模型训练方法、医学影像分析方法及装置、设备、介质 | |
| Bhandari et al. | Soft Attention Mechanism Based Network to Extract Blood Vessels From Retinal Image Modality | |
| EP4198997A1 (en) | A computer implemented method, a method and a system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |