CN107967946B - 基于深度学习的胃镜操作实时辅助系统及方法 - Google Patents

Abstract

本发明提供一种基于深度学习的胃镜操作实时辅助系统，它包括至少一个客户端，用于监听并通过网络上传当前胃镜设备采集的胃镜图像，接收和显示反馈的分析结果；服务端，用于采用REST架构，根据从客户端采集的胃镜图像，即时判断胃镜图像对应的部位及部位特征，将分析结果反馈给客户端；所述的服务端包括样本数据库、卷积神经网络模型和web服务模块。通过本发明对采集的图像进行图像质量识别、部位识别和部位特征的识别，并在客户端进行显示，为操作者提供更为可靠的参考依据，提高检测的准确度和有效性，简单易用，避免因为一次检查不到位而让患者二次痛苦。

Description

基于深度学习的胃镜操作实时辅助系统及方法

技术领域

本发明属于医疗检测辅助领域，具体涉及一种基于深度学习的胃镜操作实时辅助系统及方法。

背景技术

为提高早期胃癌发现率，大面积的普查是必要的，而目前主要的手段就是胃镜检查，因此医院的胃肠科门前常常排起长龙，对操作医生的熟练度和判断准确度都提出了很高的要求。而对于患者，胃镜检查也绝不轻松，除了检查前至少需要禁食6小时，插管带来的痛苦也让很多患者望而生畏。

通常一份完整的胃镜检查报告需要包含口咽部、食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠球部及降部10个部位的至少31张图片，若发现存在病灶或者可疑的部位还需靠近进行更细节的拍摄。要求医生在胃镜检查过程中实时拍摄图片，发现可疑部位时及时进行进一步的检查。医生常常需要通过长时间经验的积累才能顺利流畅地完成一次胃镜检查。对于经验不太丰富的医生来说，漏掉检查部位或者未能发现可疑区域是常有的事。前者就需要患者再重新经历一次痛苦的检查，既消磨患了者的时间与金钱，也浪费了医院的检测资源；而后者更是会把患者的生命置于危险的境地。

发明内容

本发明要解决的技术问题是：提供一种基于深度学习的胃镜操作实时辅助系统及方法，确保一次检查覆盖全部部位，同时智能识别部位特征，进行主动提示，提高检测效率。

本发明为解决上述技术问题所采取的技术方案为：一种基于深度学习的胃镜操作实时辅助系统，其特征在于：它包括：

至少一个客户端，用于监听并通过网络上传当前胃镜设备采集的胃镜图像，接收和显示反馈的分析结果；

服务端，采用REST架构，根据从客户端采集的胃镜图像，即时判断胃镜图像对应的部位及部位特征，将分析结果反馈给客户端；

所述的服务端包括样本数据库、卷积神经网络模型和web服务模块；其中，

样本数据库用于存储典型胃镜图像的样本，包括合格图片库、部位库和部位特征库，合格图片库中存储的是拍摄清楚的胃镜图像，部位库中存储的是对合格图片中的物体形态进行部位标注的胃镜图像，部位特征库中存储的是对合格图片中的胃镜图像进行病变标注的胃镜图像；

卷积神经网络模型为根据合格图片库、部位库和部位特征库训练好的三个模型，分别用于胃镜图像是否合格、部位判断和部位特征识别；

Web服务模块用于接收客户端的请求，将接收到的胃镜图像作为参数调用卷积神经网络模型进行胃镜图像是否合格、部位判断和部位特征识别的分析，得到分析结果反馈给客户端。

按上述系统，所述的部位库中包含所需要的所有部位，即：口咽部、食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠球部和降部；在进行部位判断时，必须包含所有上述部位的胃镜图像的识别，若缺少其中的部位，则发出提示给客户端。

按上述系统，所述的客户端包括通信模块和图像演示模块；其中，

通信模块用于发送请求到服务端，及从服务端获取分析结果；

图像演示模块用于根据获取的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示。

一种所述的基于深度学习的胃镜操作实时辅助系统的操作方法，其特征在于：它包括以下步骤：

S1、当胃镜设备进行图像采集，客户端被触发获取锁采集的胃镜图像，并上传至服务端；

S2、服务端接收胃镜图像作为参数，调用卷积神经网络模型进行识别：

首先判断胃镜图像是否为合格图片，若不合格则输出分析结果为不合格；

当胃镜图像判断为合格图片后，识别该胃镜图像中的具体部位和部位特征并输出；

S3、客户端接收并显示分析结果；

S4、操作人员根据客户端显示的分析结果进行下一步操作：

当分析结果为不合格时，继续采集胃镜图像；当识别出的具体部位不够完整时继续采集遗漏的部位；当识别出的具体部位完整时，结束操作。

按上述方法，所述的S2中，所述的部位包括口咽部、食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠球部和降部；在进行部位判断时，必须包含所有上述部位的胃镜图像的识别，若缺少其中的部位，则发出提示。

按上述方法，所述的部位特征包括NBI癌、NBI正常、白光癌和白光正常。

按上述方法，所述的S3具体为：

根据获取的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示。

按上述方法，所述的客户端实时记录采集的胃镜图像的数量、服务端发回的部位数量及部位特征数量，并进行显示。

本发明的有益效果为：通过本发明对采集的图像进行图像质量识别、部位识别和部位特征的识别，并在客户端进行显示，为操作者提供更为可靠的参考依据，提高检测的准确度和有效性，简单易用，避免因为一次检查不到位而让患者二次痛苦。

附图说明

图1为本发明一实施例的系统结构框图。

图2为卷积神经网络模型训练图。

具体实施方式

下面结合具体实例和附图对本发明做进一步说明。

本发明提供一种基于深度学习的胃镜操作实时辅助系统，如图1所示，它包括：

至少一个客户端，用于监听并通过网络上传当前胃镜设备采集的胃镜图像，接收和显示反馈的分析结果。每个客户端均包括通信模块和图像演示模块；其中，通信模块用于发送请求到服务端，及从服务端获取分析结果，具体实现为http通信方式；图像演示模块用于根据获取的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示。本实施例中，图像演示模块包括一张食管、胃部和十二指肠球部及降部整体的背景示意图；十张用于表示各个部位的PNG格式的示意图；用于表示存在病灶（即部位特征）的红点图片。根据服务端发回的信息调用表示各部位的图片和病灶（即部位特征）的红点图片在背景示意图上覆盖以表示胃镜操作已检查的部位及存在病变的部位。

服务端，用于采用REST架构，根据从客户端采集的胃镜图像，即时判断胃镜图像对应的部位及部位特征，将分析结果反馈给客户端。所述的服务端包括样本数据库、卷积神经网络模型和web服务模块。

样本数据库用于存储典型胃镜图像的样本，包括合格图片库、部位库和部位特征库，合格图片库中存储的是拍摄清楚的胃镜图像，部位库中存储的是对合格图片中的物体形态进行部位标注的胃镜图像，部位特征库中存储的是对合格图片中的胃镜图像进行病变标注的胃镜图像。通常一份完整的胃镜检查报告需要包含口咽部、食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠球部及降部10个部位的至少31张图片，若发现存在病灶或者可疑的部位还需靠近进行更细节的拍摄。因此，本实施例中，所述的部位库中包含所需要的所有部位，即：口咽部、食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠球部和降部；在进行部位判断时，必须包含所有上述部位的胃镜图像的识别，若缺少其中的部位，则发出提示给客户端。所述的部位特征包括NBI癌、NBI正常、白光癌和白光正常，具体为结构体数组。在此，需要强调的是，本实施例中所提及的“口咽部、食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠球部和降部”、“NBI癌、NBI正常、白光癌和白光正常”并非对疾病的诊断，只是作为图片中的特征，可以理解为一个参数，而对它们的判断和识别是对图片的特征比对。

卷积神经网络模型为根据合格图片库、部位库和部位特征库训练好的三个模型，分别用于胃镜图像是否合格、部位判断和部位特征识别。模型为Resnet50，采用Python语言开发，封装成RESTful API（REST风格的网络接口）后被其他模块调用。卷积神经网络模型的训练过程如图2所示，卷积神经网络模型用于图像识别领域为常规技术手段，在此不再复述。

Web服务模块用于接收客户端的请求，将接收到的胃镜图像作为参数调用卷积神经网络模型依次进行胃镜图像是否合格、部位判断和部位特征识别的分析，得到分析结果反馈给客户端。

一种所述的基于深度学习的胃镜操作实时辅助系统的操作方法，其特征在于：它包括以下步骤：

S1、当胃镜设备进行图像采集，客户端被触发获取锁采集的胃镜图像，并上传至服务端。具体的来说，当用户踩踏脚踏板或点击响应按钮时，会触发胃镜设备的影像采集，客户端则被触发。

S2、服务端接收胃镜图像作为参数，调用卷积神经网络模型进行识别：

首先判断胃镜图像是否为合格图片，若不合格则输出分析结果为不合格。具体来说，判断胃镜图像是否清晰完整，能够提供有用的诊断信息，若合格则继续进行判断，若为不合格图片则跳过其它步骤直接输出结果“不合格”。

当胃镜图像判断为合格图片后，识别该胃镜图像中的具体部位并输出。所述的部位包括口咽部、食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠球部和降部；在进行部位判断时，必须包含所有上述部位的胃镜图像的识别，若缺少其中的部位，则发出提示。

识别出具体部位后的胃镜图像，进一步识别部位特征并输出。

S3、客户端接收并显示分析结果。S3具体为：根据获取的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示。在本实施例中，客户端根据服务端发回的分析结果调用表示各部位（即口咽部、食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠球部和降部）的图片和病灶红点（即部位特征的标记）图片在背景示意图上覆盖以表示胃镜操作已检查的部位及存在病变的部位。

S4、操作人员根据客户端显示的分析结果进行下一步操作：

当分析结果为不合格时，继续采集胃镜图像；当识别出的具体部位不够完整时继续采集遗漏的部位；当识别出的具体部位完整时，结束操作。

进一步的，所述的客户端实时记录采集的胃镜图像的数量、服务端发回的部位数量及部位特征数量，并进行显示。

本发明具有如下优点：解决胃镜检查流程复杂，对医师水平要求高，容易出现图像盲点和病灶漏诊断的问题，通过卷积神经网络模型对于采集的胃镜图像进行即时识别图片质量、识别部位和部位特征的识别，在图像显示系统上进行实时提示，为医师提供准确可靠的参考，提高检测的准确度和有效性，简单易用，具有显著的社会及经济价值。一个服务器能够对应若干个客户端，每个客户端对应一台胃镜设备。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (2)

1.一种基于深度学习的胃镜操作实时辅助系统，其特征在于：它包括：

至少一个客户端，用于监听并通过网络上传当前胃镜设备采集的胃镜图像，接收和显示反馈的分析结果；每个客户端对应一台胃镜设备；

服务端，用于采用REST架构，根据从客户端采集的胃镜图像，即时判断胃镜图像对应的部位及部位特征，将分析结果反馈给客户端；一个服务器对应若干个客户端；

所述的服务端包括样本数据库、卷积神经网络模型和web服务模块；其中，

样本数据库用于存储典型胃镜图像的样本，包括合格图片库、部位库和部位特征库，合格图片库中存储的是拍摄清楚的胃镜图像，部位库中存储的是对合格图片中的物体形态进行部位标注的胃镜图像，部位特征库中存储的是对合格图片中的胃镜图像进行病变标注的胃镜图像；

卷积神经网络模型为根据合格图片库、部位库和部位特征库训练好的三个模型，分别用于胃镜图像是否合格、部位判断和部位特征识别；

Web服务模块用于接收客户端的请求，将接收到的胃镜图像作为参数调用卷积神经网络模型进行胃镜图像是否合格、部位判断和部位特征识别的分析，得到分析结果反馈给客户端；

所述的部位库中包含所需要的所有部位，即：口咽部、食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠球部和降部；在进行部位判断时，必须包含所有上述部位的胃镜图像的识别，若缺少其中的部位，则发出提示给客户端；

所述的客户端包括通信模块和图像演示模块；其中，

通信模块用于发送请求到服务端，及从服务端获取分析结果；

图像演示模块用于根据获取的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示。

2.一种权利要求1所述的基于深度学习的胃镜操作实时辅助系统的操作方法，其特征在于：它包括以下步骤：

S1、当胃镜设备进行图像采集，客户端被触发获取锁采集的胃镜图像，并上传至服务端；

S2、服务端接收胃镜图像作为参数，调用卷积神经网络模型进行识别：

首先判断胃镜图像是否为合格图片，若不合格则输出分析结果为不合格；

当胃镜图像判断为合格图片后，识别该胃镜图像中的具体部位和部位特征并输出；

S3、客户端接收并显示分析结果；

S4、操作人员根据客户端显示的分析结果进行下一步操作：

当分析结果为不合格时，继续采集胃镜图像；当识别出的具体部位不够完整时继续采集遗漏的部位；当识别出的具体部位完整时，结束操作；

所述的S2中，所述的部位包括口咽部、食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠球部和降部；在进行部位判断时，必须包含所有上述部位的胃镜图像的识别，若缺少其中的部位，则发出提示；

所述的部位特征包括NBI癌、NBI正常、白光癌和白光正常；

所述的S3具体为：

根据获取的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示；

所述的客户端实时记录采集的胃镜图像的数量、服务端发回的部位数量及部位特征数量，并进行显示。

Images