CN109378054A - 一种多模态图像辅助诊断系统及其搭建方法 - Google Patents
一种多模态图像辅助诊断系统及其搭建方法 Download PDFInfo
- Publication number
- CN109378054A CN109378054A CN201811528324.7A CN201811528324A CN109378054A CN 109378054 A CN109378054 A CN 109378054A CN 201811528324 A CN201811528324 A CN 201811528324A CN 109378054 A CN109378054 A CN 109378054A
- Authority
- CN
- China
- Prior art keywords
- image
- modality images
- development platform
- deep learning
- calculation rod
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 63
- 230000001537 neural effect Effects 0.000 claims abstract description 48
- 238000011161 development Methods 0.000 claims abstract description 43
- 210000005036 nerve Anatomy 0.000 claims abstract description 15
- 238000013136 deep learning model Methods 0.000 claims abstract description 4
- 230000018109 developmental process Effects 0.000 claims description 39
- 238000013135 deep learning Methods 0.000 claims description 35
- 210000003734 kidney Anatomy 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 17
- 206010028980 Neoplasm Diseases 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 11
- 238000003325 tomography Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 5
- 210000001015 abdomen Anatomy 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000002059 diagnostic imaging Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 238000009434 installation Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000003759 clinical diagnosis Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 244000131316 Panax pseudoginseng Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30084—Kidney; Renal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种多模态图像辅助诊断系统及其搭建方法，其中该系统包括：医院服务器、嵌入式开发平台和神经计算棒；所述神经计算棒与所述嵌入式开发平台相连；所述嵌入式开发平台与所述医院服务器相连；且所述医院服务器、所述嵌入式开发平台和所述神经计算棒均处于同一局域网环境中；其中，所述医院服务器中存储有患者信息及对应的多模态图像数据；所述神经计算棒中部署有预先训练好的深度学习模型，不仅可以同时减轻患者和医生的负担，且能够提高工作效率。
Description
技术领域
本发明涉及医学诊断技术领域，更具体的说是涉及一种多模态图像辅助诊断系统及其搭建方法。
背景技术
在临床医学诊断过程中，病人的图像数据往往需要通过专家来手动选取目标区域、分割ROI区域，这是一个非常耗时耗力的任务。且当前医院的检查工具和手段多样，能够获取病人的多种图像数据，如CT、MR、PET、SPECT 等，但是，这些多模态图像往往并不是由同一个科室能够完成采集并汇集在同一台诊断设备中，患者经常需要打印多种图像的诊断结果拿给诊断医生来做最终决策，同时加重了患者和医生的负担，且工作效率低。
因此，如何减轻患者和医生的负担，并提高工作效率是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种多模态图像辅助诊断系统及其搭建方法，不仅可以同时减轻患者和医生的负担，且能够提高工作效率。
为了实现上述目的，本发明采用如下技术方案：
一种多模态图像辅助诊断系统，包括：医院服务器、嵌入式开发平台和神经计算棒；
所述神经计算棒与所述嵌入式开发平台相连；所述嵌入式开发平台与所述医院服务器相连；且所述医院服务器、所述嵌入式开发平台和所述神经计算棒均处于同一局域网环境中；
其中，所述医院服务器中存储有患者信息及对应的多模态图像数据；所述神经计算棒中部署有预先训练好的深度学习模型。
优选的，所述嵌入式开发平台包括：RaspberryPi微型电脑，所述神经计算棒包括：英特尔神经计算棒。
优选的，所述神经计算棒通过USB接口与所述嵌入式开发平台相连。
优选的，所述嵌入式开发平台包括：处理器，与所述处理器相连的局域网请求单元和数据库管理单元；其中，所述局域网请求单元与所述医院服务器进行网络数据交互，并发送给所述处理器，所述处理器通过USB接口与所述神经计算棒进行数据交互。
优选的，所述神经计算棒包括：图像加速器单元和深度学习网络模型单元；
所述图像加速器单元与所述深度学习网络模型单元相连，对所述深度学习网络模型单元进行加速；
所述深度学习网络模型单元通过USB接口与所述处理器相连，进行数据交互。
一种多模态图像辅助诊断系统的搭建方法，适用上述的一种多模态图像辅助诊断系统，所述搭建方法具体包括：
S1：在嵌入式开发平台中装备Ubuntu操作系统，将神经计算棒与嵌入式开发平台进行连接，安装SDK和Caffe到神经计算棒；
S2：基于嵌入式开发平台搭建服务器框架和数据库；
S3：搭建连接医院服务器的网络环境；
S4：安全访问设置，设置IP地址校验，只有医院内部的IP地址才允许注册访问；
S5：利用GPU服务器对深度学习网络模型进行训练；对深度学习网络模型进行编译和调优，并将深度学习网络模型编译成神经计算棒能够运行的专用模型文件；在神经计算棒上调用SDL API运行深度学习网络模型。
优选的，当所述嵌入式开发平台为RaspberryPi微型电脑时，在步骤S1 中，在RaspberryPi微型电脑中装备Ubuntu操作系统，将神经计算棒通过USB 与RaspberryPi微型电脑进行连接；安装SDK和Caffe到神经计算棒。
优选的，步骤S2具体包括：
安装并配置Apache，设置默认网页目录，安装并配置MySQL数据库；安装并配置PHP；安装并配置phpMyAdmin；
设置MySQL存储多模态图像数据的方式，其中，以医院对病人的编号和病人姓名作为多模态图像数据的主键。
优选的，存储图像数据的方式包括：
方式一：针对诊断报告图像按照二进制类型方式存储；
方式二：针对序列医学图像，将图片保存的路径存储到数据库。
优选的，在步骤S5中，利用GPU服务器对深度学习网络模型进行训练具体包括：
步骤1.1，利用标注后的增强CT图像，训练用于腹部增强CT图像分割的深度学习网络；
步骤1.2，采用训练好的深度学习网络对增强CT图像中的目标组织进行自动分割，得到增强CT肾脏及肿瘤的分割效果；
步骤1.3，提取断层CT图像与增强CT图像的特征点，并进行配准，得到特征映射关系；
步骤1.4，根据配准得到的特征映射关系，把步骤1.2中的增强CT肾脏及肿瘤的分割结果映射到断层CT图像中，重复此步骤完成全部增强CT肾脏及肿瘤的分割结果到断层CT图像的映射，最终通过三维重建得到肾脏的3维模型，其中，3维模型中包括正常组织及肿瘤组织；
步骤1.5，利用步骤1.4得到的肾脏的3维模型，投影到二维的SPECT图像上，作为肾脏的ROI勾画；
步骤1.6，利用步骤1.5的SPECT肾脏的ROI勾画区域，统计其区域内部的像素点计数，带入到Gate’s法计算公式计算GFR值。
优选的，步骤1.2具体包括：
步骤2.1，从医院服务器中筛选出已标记的临床图像作为训练集，按照病人的编号/CT序列编号保存为JPG格式；
步骤2.2，采用Tensorflow自带的图像库解析步骤2.1中的jpg图片，解析后图片格式为uint8，可直接传送入网络中进行运算；
步骤2.3，训练时随机选取，不做图像增强和平移，采用医学影像网络 U-net作为基准线，在此基础上进行残差学习；
步骤2.4，U-net通过对称的网络结构，在6-10层中，将相同大小的特征映射与前1-5层做连接；
步骤2.5，将U-net中卷积模块换成稠密模块，得改进后的全卷积网络；
步骤2.6，改进后的全卷积网络中采用转置采样对特征映射进行上采样；
步骤2.7，采用CT图像和手动标记区域进行训练，在改进后的全卷积网络前面引入新的缩放模块，再连接原全卷积网络；
步骤2.8，引入缩放模块后再进行插值运算，得到分割结果。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了多模态图像辅助诊断系统及其搭建方法，利用神经计算棒构建适用于多模态医学图像临床诊断的低成本辅助诊断平台，能够降低医院对高性能GPU服务器的依赖，同时可以汇集患者分布在不同科室、不同时间、不同模态的图像数据，且应用神经计算棒进行辅助诊断能够实现图像的自动校准、分割及融合，其效果优于现有的计算机，极大地减小了医生的工作量，提高了工作效率，同时降低了患者的负荷。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的多模态图像辅助诊断系统的结构示意图一；
图2为本发明提供的多模态图像辅助诊断系统的结构示意图二；
图3为本发明提供的SPECT二维动态图像的示意图；
图4为本发明提供的断层CT图像的示意图；
图5为本发明提供的增强CT图像的示意图；
图6为本发明提供的增强CT图像分割的示意图；
图7为本发明提供的多模态图像融合的示意图；
图8为本发明提供的多模态图像目标区域分割的示意图；
图9为本发明提供的肾脏的ROI勾画区域的示意图；
图10为本发明提供的分割效果示意图一；
图11为本发明提供的分割效果示意图二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见附图1，本发明实施例公开了一种多模态图像辅助诊断系统，包括：医院服务器、嵌入式开发平台和神经计算棒；
神经计算棒与嵌入式开发平台相连；嵌入式开发平台与医院服务器相连；且医院服务器、嵌入式开发平台和神经计算棒均处于同一局域网环境中；
其中，医院服务器中存储有患者信息及对应的多模态图像数据；神经计算棒中部署有预先训练好的深度学习模型。
2017年推出的视觉处理单元(VPU-Visual Processing Unit)——神经计算棒，其最大的特性是可以在1瓦的功率下提供超过每秒1000亿次浮点运算的性能。根据这一特性，发明人将其与嵌入式开发平台相连，构建了适用于多模态医学图像临床诊断的低成本辅助诊断平台，使得普通计算设备也具有运行实时深度神经网络(DNN-Deep NeuralNetwork)的能力，从而使得各种人工智能应用都能够离线部署。
通过本发明提供的多模态图像辅助诊断系统可以快速的获取病人的多模态图像，并在神经计算棒中进行融合、分割、识别，相对于传统计算机，提高了临床诊断的效率，减轻了医生的工作强度和患者的负担。
为了进一步优化上述技术方案，嵌入式开发平台包括：RaspberryPi微型电脑，具体为RaspberryPi 3B+微型电脑。
为了进一步优化上述技术方案，神经计算棒包括：英特尔神经计算棒。
为了进一步优化上述技术方案，神经计算棒通过USB与嵌入式开发平台相连，具体的，神经计算棒可以采用USB3.0与嵌入式开发平台相连。
RaspberryPi微型电脑结合神经计算棒，能够降低医院对高性能GPU服务器的依赖，极大地减小了医院应用人工智能进行辅助诊断的成本。而且，本方案能够针对不同科室的不同诊断需求，灵活应用深度学习网络实现批量、高效辅助诊断。且神经计算棒的浮点性能可达100GFLOPs，优于现有主流PC 设备，并且能够保持较低功耗。
基于嵌入式开发平台搭建网络服务器，实现与医院服务器的数据交互，汇集多模态数据到具体诊室中的嵌入式开发平台中(具体为嵌入式开发平台汇中的MySQL数据库)，其具有如下优势：基于嵌入式开发平台搭建网络服务器实现与医院服务器的数据交互，可以汇集患者分布在不同科室、不同时间、不同模态的图像数据，极大减小了医生的工作量；多模态图像数据应用 Blob方式存储及路径存储相结合的方式，提高数据检索效率。
利用医院服务器的数据库中的大量数据，结合高性能GPU服务器预先训练好深度学习网络模型，并部署在低功耗的神经计算棒中，能够减小每天诊断大量病人造成的时间及能源耗费；减少医生的重复性工作，并为医生提供可信的诊断建议。
应用神经计算棒进行辅助诊断能够实现图像的自动配准、分割及融合，其效果优于现有的计算机。
为了进一步优化上述技术方案，嵌入式开发平台包括：处理器，与处理器相连的局域网请求单元和数据库管理单元；其中，局域网请求单元与医院服务器进行网络数据交互，并发送给处理器，处理器通过USB接口与神经计算棒进行数据交互。
为了进一步优化上述技术方案，神经计算棒包括：图像加速器单元和深度学习网络模型单元；
图像加速器单元与深度学习网络模型单元相连，对深度学习网络模型单元进行加速；
深度学习网络模型单元通过USB接口与处理器相连，进行数据交互。
通过局域网请求单元向医院服务器发送请求，医院服务器将病人的多种模态图像通过局域网请求单元发送至处理器，并在数据库管理单元中进行存储，例如数据库管理单元可以是MySQL；深度学习网络模型通过USB接口从处理器中获取数据，并在图像加速器单元的作用下进行融合、分割、识别，之后将处理结果通过USB接口传输给处理器，在具体应用时，处理器可以通过显示模块将诊断结果进行显示。
本专利采用以上技术方案，可以快速从医院局域网中获取病人的多种模态图像，并在神经计算棒中进行融合、分割、识别，提高了临床诊断的效率及准确率，减轻了专业医师的工作强度。
此外，本发明实施例还公开了一种多模态图像辅助诊断系统的搭建方法，适用于上述的多模态图像辅助诊断系统，其搭建方法具体包括：
S1：在嵌入式开发平台中装备Ubuntu操作系统，具体可以为Ubuntu16.04 操作系统，将神经计算棒与嵌入式开发平台进行连接，具体可以通过USB3.0 接口进行连接；
安装SDK和Caffe到神经计算棒；
S2：基于嵌入式开发平台搭建服务器框架和数据库；
S3：搭建连接医院服务器的网络环境；
S4：安全访问设置，设置IP地址校验，只有医院内部的IP地址才允许注册访问；
S5：利用GPU服务器对深度学习网络模型进行训练；对深度学习网络模型进行编译和调优，并将模型编译成神经计算棒能够运行的专用模型文件；在神经计算棒上调用SDLAPI运行深度学习网络模型。
应用RaspberryPi 3B+提供的硬件资源搭建轻量级高性能的服务器框架和数据库LAMP(即Linux+Apache+MySQL+PHP)。
为了进一步优化上述技术方案，当嵌入式开发平台为Raspberry Pi微型电脑时，在步骤S1中，在RaspberryPi微型电脑中装备Ubuntu操作系统，将神经计算棒通过USB3.0与RaspberryPi微型电脑进行连接；安装SDK和Caffe 到神经计算棒。
为了进一步优化上述技术方案，在步骤S2具体包括：
安装并配置Apache，设置默认网页目录，安装并配置MySQL数据库；安装并配置PHP；安装并配置phpMyAdmin；
设置MySQL存储多模态图像数据的方式，其中，以医院对病人的编号和病人姓名作为多模态图像数据的主键，以避免同名数据的混淆。
为了进一步优化上述技术方案，存储图像数据的方式包括：
方式一：针对诊断报告图像按照二进制类型(Blob)方式存储；一般为较小数据类型，不超过64K。
方式二：针对序列医学图像，将图片保存的路径存储到数据库，一般为较大的DICOM格式。
神经计算棒作为多模态医学图像的辅助诊断单元，其实现方法包括以下步骤：(以腹部多模态图像的分割及辅助诊断为例，多模态图像分别为SPECT 二维动态图像如附图3所示、断层CT图像如附图4所示、增强CT图像如附图5所示)
步骤1，依据运算能力强大的GPU服务器进行深度网络训练，针对临床辅助诊断的需求训练出的网络能够实现快速的多模态图像配准、融合及目标区域分割，如附图6至附图8所示。具体的，其步骤可以通过步骤1.1至步骤 1.6实现：
步骤1.1，利用标注后的CT增强图像，训练用于腹部增强CT图像分割的深度学习网络；
步骤1.2，采用训练好的深度学习网络对增强CT图像中的目标组织进行自动分割，得到增强CT肾脏及肿瘤的分割效果，具体如附图6所示；
步骤1.3，提取断层CT图像与增强CT图像的特征点，并进行配准，得到特征映射关系，配准结果如附图7所示；
步骤1.4，根据配准得到的特征映射关系，把步骤1.2中的增强CT肾脏及肿瘤的分割结果映射到断层CT图像中，如附图8所示。重复此步骤完成全部增强CT肾脏及肿瘤的分割结果到断层CT图像的映射，最终通过三维重建得到肾脏的3维模型(正常组织及肿瘤组织)；
步骤1.5，利用步骤1.4得到的肾脏的3维模型(正常组织及肿瘤组织)，投影到二维的SPECT图像上，作为肾脏的ROI勾画，能够减少医生勾画ROI 的误差，并且能够省略医生的本底区域勾画，如附图9所示；
步骤1.6，利用步骤1.5的SPECT肾脏的ROI勾画区域，统计其区域内部的像素点计数，带入到Gate’s法计算公式计算GFR值；
进一步优化上述技术方案，实现优化步骤1.2中的分割效果。具体的，其步骤可以通过2.1至2.8实现：
步骤2.1，从医院服务器中筛选出已标记的临床图像作为训练集，按照病人的编号和/或CT序列编号保存为JPG格式；
步骤2.2，采用Tensorflow自带的图像库解析步骤2.1中的jpg图片，解析后图片格式为uint8，可直接传送入网络中进行运算，均为512×512×1的灰度图像；
步骤2.3，训练时随机选取，不做图像增强和平移。采用医学影像网络U-net作为基准线，在此基础上进行残差学习；
步骤2.4，U-net通过对称的网络结构，在6-10层中，将相同大小的特征映射与前1-5层做连接，从而保证了特征重用，防止了梯度弥散，但是每个块还是简单的卷积+激活+dropout的设计，如Vgg结构，故网络参数量很大，学习很慢，实现效果如附图6所示。
步骤2.5，将U-net中卷积模块换成稠密模块，得改进后的全卷积网络，其中，稠密模块能够有效解决梯度消失问题，强化特征传播并支持特征重用，进而能够大幅度减少参数数量；
步骤2.6，U-net中对特征映射进行上采样时采用Up-sampling，而全卷积网络中对特征映射进行上采样是采用转置采样，相当于重新学习特征而非简单缩放；
步骤2.7，采用256×256的CT图像和256×256的mask进行训练，原图片尺寸为512×512，在缩放到256×256后有部分的信息损失，改进后的全卷积网络前面引入新的缩放模块(7×7卷积+最大池化+3×3卷积+最大池化)，即将原始图片调整至128×128的特征映射，再连接原全卷积网络。该模块所学习的特征比根据差值所取得的原始图像上表现更好；
步骤2.8，通过引入缩放模块，网络输入为512×512的CT图像，输出 128×128的mask，再通过插值(4倍放大)到512×512。最终效果如附图10 及附图11所示。
步骤2，对深度学习网络模型进行编译和调优，
步骤3，将模型编译成神经计算棒可以运行的专用模型文件，即graph文件；
步骤4，在神经计算棒上调用SDKAPI运行深度学习网络模型。
步骤4.1，枚举设备并打开神经计算棒；
步骤4.2，读取并加载graph文件，加载完成后用graph.LoadTensor输入待诊断图像数据，训练后应用graph.GetResult获取诊断结果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种多模态图像辅助诊断系统，其特征在于，包括：医院服务器、嵌入式开发平台和神经计算棒；
所述神经计算棒与所述嵌入式开发平台相连；所述嵌入式开发平台与所述医院服务器相连；且所述医院服务器、所述嵌入式开发平台和所述神经计算棒均处于同一局域网环境中；
其中，所述医院服务器中存储有患者信息及对应的多模态图像数据；所述神经计算棒中部署有预先训练好的深度学习模型。
2.根据权利要求1所述的多模态图像辅助诊断系统，其特征在于，所述嵌入式开发平台包括：RaspberryPi微型电脑，所述神经计算棒包括：英特尔神经计算棒。
3.根据权利要求1所述的多模态图像辅助诊断系统，其特征在于，所述神经计算棒通过USB接口与所述嵌入式开发平台相连。
4.根据权利要求3所述的多模态图像辅助诊断系统，其特征在于，所述嵌入式开发平台包括：处理器，与所述处理器相连的局域网请求单元和数据库管理单元；其中，所述局域网请求单元与所述医院服务器进行网络数据交互，并发送给所述处理器，所述处理器通过USB接口与所述神经计算棒进行数据交互。
5.根据权利要求4所述的多模态图像辅助诊断系统，其特征在于，所述神经计算棒包括：图像加速器单元和深度学习网络模型单元；
所述图像加速器单元与所述深度学习网络模型单元相连，对所述深度学习网络模型单元进行加速；
所述深度学习网络模型单元通过USB接口与所述处理器相连，进行数据交互。
6.一种多模态图像辅助诊断系统的搭建方法，其特征在于，适用于权利要求1-5任意一项所述的一种多模态图像辅助诊断系统，所述搭建方法具体包括：
S1：在嵌入式开发平台中装备Ubuntu操作系统，将神经计算棒与嵌入式开发平台进行连接，安装SDK和Caffe到神经计算棒；
S2：基于嵌入式开发平台搭建服务器框架和数据库；
S3：搭建连接医院服务器的网络环境；
S4：安全访问设置，设置IP地址校验，只有医院内部的IP地址才允许注册访问；
S5：利用GPU服务器对深度学习网络模型进行训练；对深度学习网络模型进行编译和调优，并将深度学习网络模型编译成神经计算棒能够运行的专用模型文件；在神经计算棒上调用SDL API运行深度学习网络模型。
7.根据权利要求6所述的多模态图像辅助诊断系统的搭建方法，其特征在于，当所述嵌入式开发平台为RaspberryPi微型电脑时，在步骤S1中，在Raspberry Pi微型电脑中装备Ubuntu操作系统，将神经计算棒通过USB与RaspberryPi微型电脑进行连接；安装SDK和Caffe到神经计算棒。
8.根据权利要求7所述的多模态图像辅助诊断系统的搭建方法，其特征在于，步骤S2具体包括：
安装并配置Apache，设置默认网页目录，安装并配置MySQL数据库；安装并配置PHP；安装并配置phpMyAdmin；
设置MySQL存储多模态图像数据的方式，其中，以医院对病人的编号和病人姓名作为多模态图像数据的主键，其中，存储图像数据的方式包括：
方式一：针对诊断报告图像按照二进制类型方式存储；
方式二：针对序列医学图像，将图片保存的路径存储到数据库。
9.根据权利要求8所述的多模态图像辅助诊断系统的搭建方法，其特征在于，在步骤S5中，利用GPU服务器对深度学习网络模型进行训练具体包括：
步骤1.1，利用标注后的增强CT图像，训练用于腹部增强CT图像分割的深度学习网络；
步骤1.2，采用训练好的深度学习网络对增强CT图像中的目标组织进行自动分割，得到增强CT肾脏及肿瘤的分割效果；
步骤1.3，提取断层CT图像与增强CT图像的特征点，并进行配准，得到特征映射关系；
步骤1.4，根据配准得到的特征映射关系，把步骤1.2中的增强CT肾脏及肿瘤的分割结果映射到断层CT图像中，重复此步骤完成全部增强CT肾脏及肿瘤的分割结果到断层CT图像的映射，最终通过三维重建得到肾脏的3维模型，其中，3维模型中包括正常组织及肿瘤组织；
步骤1.5，利用步骤1.4得到的肾脏的3维模型，投影到二维的SPECT图像上，作为肾脏的ROI勾画；
步骤1.6，利用步骤1.5的SPECT肾脏的ROI勾画区域，统计其区域内部的像素点计数，带入到Gate’s法计算公式中计算GFR值。
10.根据权利要求9所述的多模态图像辅助诊断系统的搭建方法，其特征在于，步骤1.2具体包括：
步骤2.1，从医院服务器中筛选出已标记的临床图像作为训练集，按照病人的编号和/或CT序列编号保存为JPG格式；
步骤2.2，采用Tensorflow自带的图像库解析步骤2.1中的jpg图片，解析后图片格式为uint8，可直接传送入网络中进行运算；
步骤2.3，训练时随机选取，不做图像增强和平移，采用医学影像网络U-net作为基准线，在此基础上进行残差学习；
步骤2.4，U-net通过对称的网络结构，在6-10层中，将相同大小的特征映射与前1-5层做连接；
步骤2.5，将U-net中卷积模块换成稠密模块，得改进后的全卷积网络；
步骤2.6，改进后的全卷积网络中采用转置采样对特征映射进行上采样；
步骤2.7，采用CT图像和手动标注区域进行训练，在改进后的全卷积网络前面引入新的缩放模块，再连接原全卷积网络；
步骤2.8，引入缩放模块后再进行插值运算，得到分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811528324.7A CN109378054A (zh) | 2018-12-13 | 2018-12-13 | 一种多模态图像辅助诊断系统及其搭建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811528324.7A CN109378054A (zh) | 2018-12-13 | 2018-12-13 | 一种多模态图像辅助诊断系统及其搭建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109378054A true CN109378054A (zh) | 2019-02-22 |
Family
ID=65374549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811528324.7A Pending CN109378054A (zh) | 2018-12-13 | 2018-12-13 | 一种多模态图像辅助诊断系统及其搭建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109378054A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110060234A (zh) * | 2019-03-21 | 2019-07-26 | 山西医科大学第一医院 | 基于spect断层图像计算肾脏gfr值的方法和装置 |
| CN111259461A (zh) * | 2020-01-20 | 2020-06-09 | 北京科芮智盈技术有限公司 | 防窃照方法、终端设备及系统 |
| CN111314665A (zh) * | 2020-03-07 | 2020-06-19 | 上海中科教育装备集团有限公司 | 一种视频事后评分的关键视频段提取系统及方法 |
| CN111461203A (zh) * | 2020-03-30 | 2020-07-28 | 北京百度网讯科技有限公司 | 跨模态处理方法、装置、电子设备和计算机存储介质 |
| CN111933279A (zh) * | 2020-09-14 | 2020-11-13 | 江苏瑞康成医疗科技有限公司 | 智能化疾病诊疗系统 |
| CN112349369A (zh) * | 2020-11-27 | 2021-02-09 | 广州瀚信通信科技股份有限公司 | 医疗影像大数据智能分析方法、系统及存储介质 |
| CN112598718A (zh) * | 2020-12-31 | 2021-04-02 | 北京深睿博联科技有限责任公司 | 一种无监督多视角多模态智能眼镜图像配准方法及装置 |
| CN113707289A (zh) * | 2021-07-16 | 2021-11-26 | 联影智能医疗科技(北京)有限公司 | 医学人工智能平台及其搭建方法 |
| CN113780425A (zh) * | 2021-09-13 | 2021-12-10 | 四川大学 | 一种肾小球滤过率自动计算方法 |
| US11366979B2 (en) * | 2019-11-14 | 2022-06-21 | Alibaba Group Holding Limited | Using selected components of frequency domain image data in artificial intelligence tasks |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110052017A1 (en) * | 2009-08-25 | 2011-03-03 | Olympus Corporation | Processor for Pathologic Diagnosis and Processing System for Pathologic Diagnosis |
| CN106599549A (zh) * | 2016-11-25 | 2017-04-26 | 上海联影医疗科技有限公司 | 一种计算机辅助诊断系统、方法及其医疗系统 |
| CN106780499A (zh) * | 2016-12-07 | 2017-05-31 | 电子科技大学 | 一种基于堆叠自动编码网络的多模态脑肿瘤图像分割方法 |
| CN107403201A (zh) * | 2017-08-11 | 2017-11-28 | 强深智能医疗科技（昆山）有限公司 | 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法 |
| CN207663490U (zh) * | 2017-11-27 | 2018-07-27 | 浙江理工大学 | 一种基于神经计算棒的混合识别门禁管理系统 |
| CN208622438U (zh) * | 2018-12-13 | 2019-03-19 | 山西医科大学第一医院 | 一种多模态图像辅助诊断系统 |
-
2018
- 2018-12-13 CN CN201811528324.7A patent/CN109378054A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110052017A1 (en) * | 2009-08-25 | 2011-03-03 | Olympus Corporation | Processor for Pathologic Diagnosis and Processing System for Pathologic Diagnosis |
| CN106599549A (zh) * | 2016-11-25 | 2017-04-26 | 上海联影医疗科技有限公司 | 一种计算机辅助诊断系统、方法及其医疗系统 |
| CN106780499A (zh) * | 2016-12-07 | 2017-05-31 | 电子科技大学 | 一种基于堆叠自动编码网络的多模态脑肿瘤图像分割方法 |
| CN107403201A (zh) * | 2017-08-11 | 2017-11-28 | 强深智能医疗科技（昆山）有限公司 | 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法 |
| CN207663490U (zh) * | 2017-11-27 | 2018-07-27 | 浙江理工大学 | 一种基于神经计算棒的混合识别门禁管理系统 |
| CN208622438U (zh) * | 2018-12-13 | 2019-03-19 | 山西医科大学第一医院 | 一种多模态图像辅助诊断系统 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110060234A (zh) * | 2019-03-21 | 2019-07-26 | 山西医科大学第一医院 | 基于spect断层图像计算肾脏gfr值的方法和装置 |
| CN110060234B (zh) * | 2019-03-21 | 2022-12-02 | 山西医科大学第一医院 | 基于spect断层图像计算肾脏gfr值的方法和装置 |
| US11366979B2 (en) * | 2019-11-14 | 2022-06-21 | Alibaba Group Holding Limited | Using selected components of frequency domain image data in artificial intelligence tasks |
| CN111259461A (zh) * | 2020-01-20 | 2020-06-09 | 北京科芮智盈技术有限公司 | 防窃照方法、终端设备及系统 |
| CN111314665A (zh) * | 2020-03-07 | 2020-06-19 | 上海中科教育装备集团有限公司 | 一种视频事后评分的关键视频段提取系统及方法 |
| US11341366B2 (en) | 2020-03-30 | 2022-05-24 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Cross-modality processing method and apparatus, and computer storage medium |
| CN111461203A (zh) * | 2020-03-30 | 2020-07-28 | 北京百度网讯科技有限公司 | 跨模态处理方法、装置、电子设备和计算机存储介质 |
| CN111933279A (zh) * | 2020-09-14 | 2020-11-13 | 江苏瑞康成医疗科技有限公司 | 智能化疾病诊疗系统 |
| CN112349369A (zh) * | 2020-11-27 | 2021-02-09 | 广州瀚信通信科技股份有限公司 | 医疗影像大数据智能分析方法、系统及存储介质 |
| CN112598718A (zh) * | 2020-12-31 | 2021-04-02 | 北京深睿博联科技有限责任公司 | 一种无监督多视角多模态智能眼镜图像配准方法及装置 |
| CN113707289A (zh) * | 2021-07-16 | 2021-11-26 | 联影智能医疗科技(北京)有限公司 | 医学人工智能平台及其搭建方法 |
| CN113707289B (zh) * | 2021-07-16 | 2023-11-10 | 联影智能医疗科技(北京)有限公司 | 医学人工智能平台及其搭建方法 |
| CN113780425A (zh) * | 2021-09-13 | 2021-12-10 | 四川大学 | 一种肾小球滤过率自动计算方法 |
| CN113780425B (zh) * | 2021-09-13 | 2023-07-21 | 四川大学 | 一种肾小球滤过率自动计算方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109378054A (zh) | 一种多模态图像辅助诊断系统及其搭建方法 | |
| Qiu et al. | Automatic segmentation of the mandible from computed tomography scans for 3D virtual surgical planning using the convolutional neural network | |
| US11862325B2 (en) | System and method for processing medical image data | |
| JP2021513697A (ja) | 完全畳み込みニューラル・ネットワークを用いた心臓ｃｔａにおける解剖学的構造のセグメンテーションのためのシステム | |
| CN100452067C (zh) | 一种医学图像数据传输与三维可视化的实现方法 | |
| JP2020529292A (ja) | 一連のスライス画像を再構成する方法およびこれを利用した装置 | |
| Livieratos | Technical pitfalls and limitations of SPECT/CT | |
| CN111447877A (zh) | 使用深度成像的正电子发射断层摄影(pet)系统设计优化 | |
| Zhang et al. | Semi-supervised cardiac image segmentation via label propagation and style transfer | |
| Xu et al. | Patient-specific three-dimensional printed heart models benefit preoperative planning for complex congenital heart disease | |
| CN208622438U (zh) | 一种多模态图像辅助诊断系统 | |
| Zhao et al. | One model to rule them all: Towards universal segmentation for medical images with text prompts | |
| Wang et al. | Prediction of major torso organs in low-contrast micro-CT images of mice using a two-stage deeply supervised fully convolutional network | |
| Jaus et al. | Towards unifying anatomy segmentation: automated generation of a full-body CT dataset via knowledge aggregation and anatomical guidelines | |
| Arabi et al. | MRI‐guided attenuation correction in torso PET/MRI: Assessment of segmentation‐, atlas‐, and deep learning‐based approaches in the presence of outliers | |
| CN111105475A (zh) | 一种基于正交角度x光的骨骼三维重建方法 | |
| Li et al. | Cardiac MRI segmentation with focal loss constrained deep residual networks | |
| Chen et al. | Transformer-based multilevel region and edge aggregation network for magnetic resonance image segmentation | |
| Banerjee et al. | Optimised misalignment correction from cine MR slices using statistical shape model | |
| US8818066B2 (en) | Grid computing on radiology network | |
| CN117252820A (zh) | 基于多模影像与交互设备的解剖导航构建方法及装置 | |
| Liu et al. | Fully automatic multi-atlas segmentation of CTA for partial volume correction in cardiac SPECT/CT | |
| Li et al. | An analysis of the health care platform in the cloud environment | |
| Romano et al. | Emergency radiology today between philosophy of science and the reality of emergency care | |
| Wang et al. | DeTransUnet: attenuation correction of gated cardiac images without structural information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |