CN109598294B

CN109598294B - 基于软硬件平台的云端视网膜oct识别智能诊断系统及其使用方法

Info

Publication number: CN109598294B
Application number: CN201811407872.4A
Authority: CN
Inventors: 汲清波; 侯长波; 代冲
Original assignee: Harbin Engineering University
Current assignee: Harbin Engineering University
Priority date: 2018-11-23
Filing date: 2018-11-23
Publication date: 2023-06-13
Anticipated expiration: 2038-11-23
Also published as: CN109598294A

Abstract

本发明提供一种基于软硬件平台的云端视网膜OCT识别智能诊断系统及其使用方法，包括光学相干断层扫描仪、医生客户端计算机、云端视网膜OCT识别服务器和交换机；所述光学相干断层扫描仪与医生客户端计算机相连接，医生客户端计算机通过交换机和云端视网膜OCT识别服务器相连接。本发明能快速正确鉴别脉络膜新生血管、糖尿病黄斑水肿、玻璃膜疣以及正常视网膜的OCT图像，本发明提出的一种基于嵌入式软硬件平台的眼科视网膜OCT云端服务器的智能诊断系统可以对诊前疾病的筛查、预防，就诊时医疗图像辅助诊断、检验结果分析、手术辅助，以及就诊后的医疗随访、慢性病监测、康复协助、健康管理等。

Description

基于软硬件平台的云端视网膜OCT识别智能诊断系统及其使用方法

技术领域

本发明涉及一种智能诊断系统及其使用方法，尤其涉及一种基于软硬件平台的云端视网膜OCT识别智能诊断系统及其使用方法。

背景技术

目前我国医疗领域存在着各地区医疗资源分配不均、误诊漏诊率较高、医疗成本过高、以及医生资源供需不足和医生培养周期漫长等问题。在医疗数据中，医学影像占到超过90％的比重，但我国医疗影像的医生人数却远跟不上医疗数据量的增长速度需求。优质医生资源的供需问题在影像科、病理科方面尤其严重，超负荷工作导致医务人员的工作压力越来越大，误诊率和漏诊率随之增大，再加上基层医疗机构的医务人员和医疗设备无论是质量还是数量，都远远不能与大型医院相媲美。另外依赖于人工主观分析与经验判断，受医生经验水平、医疗成本、医疗设施等因素的限制，很难有效的大幅降低误诊漏诊率。

视网膜的脉络膜新生血管、黄斑水肿、玻璃膜疣是我国以及世界上的主要致盲眼科疾病，其起病隐匿，不易被觉察。由于视神经的损害不能逆转，等到病人发现不适去医院就诊时，通常视力已经严重受损，因此早期诊断对这三种疾病的治疗而言非常重要。随着眼科光学相干断层扫描影像(OCT)技术应用于眼病诊断与治疗等各方面，面对海量的数据，医生迫切需要高效的视网膜OCT图像分析方法。

发明内容

本发明的目的是为了助力影像医生诊断效率的大幅提升而提供一种基于软硬件平台的云端视网膜OCT识别智能诊断系统及其使用方法。

本发明的目的是这样实现的：

一种基于软硬件平台的云端视网膜OCT识别智能诊断系统，包括光学相干断层扫描仪、医生客户端计算机、云端视网膜OCT识别服务器和交换机；所述光学相干断层扫描仪与医生客户端计算机相连接，医生客户端计算机通过交换机和云端视网膜OCT识别服务器相连接。

本发明还包括这样一些特征：

1.所述云端视网膜OCT识别服务器包括网络通信模块和视网膜OCT识别模块；

2.所述视网膜OCT识别服务器为嵌入式的软硬件平台；

3.将深度学习算法移植到嵌入式软硬件平台上，所述平台采用异构多核处理器，通过ARM与FPGA的协同工作完成视网膜OCT识别并给出初步诊断。

一种基于软硬件平台的云端视网膜OCT识别智能诊断系统的使用方法，包括如下步骤：

步骤一：光学相干断层扫描仪采集视网膜的光学相干断层影像，通过接口传输到医生客户端计算机；

步骤二：医生客户端计算机选择影像文件并将影像文件通过交换机传送给云端视网膜OCT识别服务器；

步骤三：云端视网膜OCT识别服务器的视网膜OCT识别模块完成光学相干断层影像的识别，判断出视网膜疾病和正常视网膜并给出初步诊断；网络通讯模块将诊断建议通过网络返回到医生的客户端上给医生提供参考。

所述视网膜疾病包括脉络膜新生血管、糖尿病黄斑水肿、玻璃膜疣。

与现有技术相比，本发明的有益效果是：

在视网膜眼病方面，本系统能快速正确鉴别脉络膜新生血管、糖尿病黄斑水肿、玻璃膜疣以及正常视网膜的OCT图像，系统可以准确判断患者是哪种眼疾，是否需要紧急转诊，这可以帮助医生快速判断哪些患者属于重症患者，需要及时治疗，以避免疾病对患者造成不可逆的伤害。本发明提出的一种基于嵌入式软硬件平台的眼科视网膜OCT云端服务器的智能诊断系统可以对诊前疾病的筛查、预防，就诊时医疗图像辅助诊断、检验结果分析、手术辅助，以及就诊后的医疗随访、慢性病监测、康复协助、健康管理等。

附图说明

图1是本发明一种基于嵌入式软硬件平台的云端视网膜OCT识别智能诊断系统整体结构框图；

图2是本发明的一种基于嵌入式软硬件平台的云端视网膜OCT识别智能诊断系统功能示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。

发明针对现有技术中存在的不足，提供了一种基于软硬件平台的云端视网膜OCT识别智能诊断系统，该系统不但可以在云端服务器对眼科视网膜OCT的三种致盲疾病及正常的视网膜进行识别，并且能给出初步诊断意见。

如图1所示，一种嵌入式软硬件平台的云端视网膜OCT识别智能诊断系统，包括：光学相干断层扫描仪、医生客户端计算机、云端视网膜OCT识别服务器、交换机。其特征在于：所述的光学相干断层扫描仪采集的视网膜的光学相干断层影像，通过接口传输到医生客户端计算机；所述的医生客户端计算机用于和医生的交互、选择影像文件、将影像文件通过交换机传送给云端视网膜OCT识别服务器，查看云端视网膜OCT识别服务器返回的识别结果和初步诊断结果；所述的云端视网膜OCT识别服务器通过TCP IP协议连接到局域网中作为服务器，局域网内部的所有医生客户端能随时将待识别诊断的医疗影像通过网络发送到本视网膜OCT识别服务器中，服务器完成视网膜的光学相干断层影像的三种视网膜疾病(脉络膜新生血管、糖尿病黄斑水肿、玻璃膜疣)和正常的视网膜识别并给出初步诊断，将诊断建议通过网络返回到医生的客户端上给医生提供参考，以此来降低医生的误诊率和漏诊率。

所述的光学相干断层扫描仪与医生客户端计算机相连接，将患者的光学相干断层扫描影像传送到医生客户端计算机。

所述的医生客户端计算机具有医生客户端程序，该程序具有存储影像文件，选择影像文件，上传影像文件到云端视网膜OCT识别服务器功能，并且查看视网膜疾病的识别结果以及初步诊断。

所述的云端视网膜OCT识别服务器，主要执行以下步骤：

A通过TCP IP协议远程接收影像文件；

B采用深度学习的卷积神经网络模型完成视网膜的光学相干断层影像的三种视网膜疾病(脉络膜新生血管、糖尿病黄斑水肿、玻璃膜疣)和正常的视网膜识别并给出初步诊断；

C将云端视网膜OCT识别服务器的识别结果和初步诊断传输给医生客户端软件。

云端视网膜OCT识别服务器将深度学习算法移植到嵌入式软硬件平台上，通过ARM与FPGA的协同工作，极大提高了运算速度、降低了系统功耗。

如图2所示是本发明的功能示意图。下面结合图2具体描述本发明的一种基于眼科的视网膜OCT云端服务器的智能诊断系统的各个部分功能，视网膜OCT采集由光学相干断层扫描仪采集图片；医生客户端应用程序在计算机上，通过图形界面的人机交互系统实现医生客户端程序，该程序具有存储影像文件、选择影像文件、上传影像文件到云端OCT识别服务器功能，并且查看视网膜疾病的识别结果以及初步诊断；通信模块由交换机和网线或无线路由器组成，完成网络通信功能；云端视网膜OCT识别服务器由网络通信模块和视网膜OCT识别模块组成，网络通信模块用于和医生客户端应用程序通信接收影像文件，以及将云端视网膜OCT识别服务器的识别结果和初步诊断传输给医生客户端软件，视网膜OCT识别模块实现一种基于深度学习的视网膜OCT识别方法。

一种基于深度学习的视网膜OCT识别方法，可应用于脉络膜新生血管、糖尿病黄斑水肿、玻璃膜疣以及正常视网膜的OCT图像的识别，具体包括以下三个步骤：

第一步：训练建立视网膜OCT识别模型，在计算机上，利用深度学习框架实现卷积神经网络模型的训练得到视网膜OCT识别模型，包括以下四个步骤。

步骤A数据预处理，由于训练的数据量非常大，直接从图像文件中读取数据并进行初始化的效率是非常低的，所以首先把识别的影像进行简单的预处理(改变图像大小、数据增强、裁剪、打乱数据集等)，然后保存到LMDB格式的数据库中来加快训练节奏。

步骤B网络结构与模型参数配置，在网络结构配置文件中，定义每个层的类型和该层相关参数的值。在模型参数配置文件中，设置批处理量的大小、学习策略、学习率等参数。

步骤C训练网络模型，做好上述工作后，开始训练模型，经过一段时间的训练，命令行产生大量训练日志，训练结束后，生成模型文件。

步骤D训练日志分析，在训练过程中产生的日志包含了很多训练过程中的信息，其中最重要的参数就是损失函数的变化曲线，分析损失函数的变化趋势观察模型是否收敛，损失函数的收敛值是否在可接受的范围内等。

第二步：测试集对模型的测试，模型完成训练后，对模型的性能做测试，评估测试结果，与预期的模型结果进行对比。将错误的数据取出来分析存在的问题，从而更改学习率、调整模型的结构，记录实验结果。通过反复训练、测试和修改模型参数，直到模型达到97％以上的正确率。

第三步：采用嵌入式的软硬件平台实现云端视网膜OCT识别服务器的在线识别，将训练好的网络模型移植到嵌入式软硬件平台上，该平台采用异构多核处理器，由ARM负责整个云端视网膜OCT识别服务器系统的调度和部分计算，FPGA对卷积、池化等运算进行并行运算来减少运算时间，通过ARM与FPGA的协同工作完成视网膜OCT识别并给出初步诊断。通过TCP IP协议可将本平台连接到局域网中作为视网膜OCT识别服务器，局域网内部的所有客户端能随时将待识别诊断的医疗影像通过网络发送到本视网膜OCT识别服务器中，服务器做出诊断后，将诊断建议通过网络返回到医务人员的客户端上给医生提供参考，以此来降低医生的误诊率和漏诊率。

以上实施例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人士能够了解本发明的内容并据此实施,并不能限制本发明的保护范围。应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

综上所述：本发明公开的一种基于嵌入式软硬件平台的眼科视网膜OCT(光学相干断层扫描影像)智能辅助诊断系统，帮助医疗专家解决视网膜疾病的诊断问题，提高诊断效率和准确率。该系统包括光学相干断层扫描仪、医生客户端计算机、云端OCT识别服务器以及交换机。其中，最关键的模块是云端视网膜OCT识别服务器，采用Xilinx最新推出的ZynqUltaScale+MPSoC作为处理器，将深度学习算法移植到嵌入式软硬件平台上，通过ARM与FPGA的协同工作完成三种视网膜疾病(脉络膜新生血管、糖尿病黄斑水肿、玻璃膜疣)和正常的视网膜识别并给出初步诊断，具有处理速度快，功耗低、识别率高的特点，并且该系统具有操作简便、用户体验好、便携、方便组网等特点，适合广泛推广应用，尤其是基层医疗机构。

Claims

1.一种基于软硬件平台的云端视网膜OCT识别智能诊断系统，其特征是，包括光学相干断层扫描仪、医生客户端计算机、云端视网膜OCT识别服务器和交换机；所述的光学相干断层扫描仪采集的视网膜的光学相干断层影像，通过接口传输到医生客户端计算机；所述的医生客户端计算机用于和医生的交互、选择影像文件、将影像文件通过交换机传送给云端视网膜OCT识别服务器，查看云端视网膜OCT识别服务器返回的识别结果和初步诊断结果；所述的云端视网膜OCT识别服务器通过TCP IP协议连接到局域网中作为服务器，局域网内部的所有医生客户端能随时将待识别诊断的医疗影像通过网络发送到本视网膜OCT识别服务器中，服务器完成视网膜的光学相干断层影像的三种视网膜疾病：脉络膜新生血管、糖尿病黄斑水肿、玻璃膜疣和正常的视网膜识别并给出初步诊断，将诊断建议通过网络返回到医生的客户端上给医生提供参考，以此来降低医生的误诊率和漏诊率；

所述视网膜OCT识别服务器为嵌入式的软硬件平台，将深度学习算法移植到嵌入式软硬件平台上，所述平台采用异构多核处理器，通过ARM与FPGA的协同工作完成视网膜OCT识别并给出初步诊断。

2.一种基于软硬件平台的云端视网膜OCT识别方法，其特征是，可应用于脉络膜新生血管、糖尿病黄斑水肿、玻璃膜疣以及正常视网膜的 OCT 图像的识别，具体包括以下三个步骤：

第一步：训练建立视网膜OCT识别模型，在计算机上，利用深度学习框架实现卷积神经网络模型的训练得到视网膜OCT识别模型，包括以下四个步骤：

步骤A数据预处理；首先把识别的影像进行简单的预处理：改变图像大小、数据增强、裁剪、打乱数据集，然后保存到LMDB格式的数据库中来加快训练节奏；

步骤B网络结构与模型参数配置；在网络结构配置文件中，定义每个层的类型和该层相关参数的值，在模型参数配置文件中，设置批处理量的大小、学习策略和学习率参数；

步骤C训练网络模型；经过训练命令行产生大量训练日志，训练结束后，生成模型文件；

步骤D训练日志分析，分析损失函数的变化趋势观察模型是否收敛，损失函数的收敛值是否在可接受的范围内；

第二步：测试集对模型的测试，使模型达到97%以上的正确率；

第三步：采用嵌入式的软硬件平台实现云端视网膜OCT识别服务器的在线识别，将训练好的网络模型移植到嵌入式软硬件平台上，该平台采用异构多核处理器，由ARM负责整个云端视网膜OCT识别服务器系统的调度和部分计算，FPGA对卷积、池化运算进行并行运算来减少运算时间，通过ARM与FPGA的协同工作完成视网膜OCT识别并给出初步诊断，通过TCP IP协议可将本平台连接到局域网中作为视网膜OCT识别服务器，局域网内部的所有客户端能随时将待识别诊断的医疗影像通过网络发送到本视网膜OCT识别服务器中，服务器做出诊断后，将诊断建议通过网络返回到医务人员的客户端上给医生提供参考，以此来降低医生的误诊率和漏诊率。