CN108615037A - 基于深度学习的可控胶囊内镜操作实时辅助系统及操作方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的可控胶囊内镜操作实时辅助系统及操作方法，该系统包括：客户端和服务端；其中：客户端，设置有至少一个，与胶囊内镜相连，用于获取当前胶囊内镜采集到的胶囊内镜图像，通过网络将胶囊内镜图像上传到服务端；并接收和显示服务端反馈回来的分析结果；服务端，根据客户端发送来的胶囊内镜图像，进行胶囊内镜图像处理，即时判断胶囊内镜图像对应的部位及部位特征，并将分析结果反馈给客户端；服务端包括样本数据库、卷积神经网络模型和web服务模块。本发明对可控胶囊内镜采集的图像进行盲区监控和癌症病灶识别，并在客户端进行显示，辅助操作医师进行可控胶囊内镜的检查，提高检测的准确度和有效性，降低漏诊发生概率。

Description

基于深度学习的可控胶囊内镜操作实时辅助系统及操作方法

技术领域

本发明涉及医疗检测辅助领域，尤其涉及一种基于深度学习的可控胶囊内镜操作实时辅助系统及操作方法。

背景技术

目前，中国居民癌症发病率和死亡率持续上升，已经成为最主要的疾病死亡原因。其中消化道恶性肿瘤，如食管癌，胃癌和结肠癌死亡率位居前五位，消化道恶性肿瘤早期发现早期治疗对提高生存率意义重大，因此进行大面积的普查是必要的。近几十年来，消化系统内镜技术取得了长足的进展，内镜下早癌的筛查也随之广泛开展。传统的电子胃镜肠镜作为一项侵入性检查，在实施过程中，给患者带来生理不适，患者的依从性降低，耽误病情的早期诊断。胶囊内镜的出现解决了上述问题，同时具有检查方便、无创伤、无导线、无痛苦、无交叉感染、不影响患者的正常工作等优点。其中，磁控胶囊内镜优势更加明显。它作为一种可控胶囊内镜，可以由医师推动操控杆遥控改变外部磁场进行操纵，实现小步长(2mm)平移和小角度(3°)转动，提高了检查的完整度，已应用于少数高端体检中。

现有可控胶囊仍需要医生在胶囊内镜检查过程中实时拍摄图片，发现可疑部位时及时进行进一步的检查。对于经验不太丰富的医生来说，漏掉检查部位或者未能发现可疑区域是常有的事。因此，急需一套能够帮助医生辅助检查的系统，提示已经检查的部位以及可能存在的疾病。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于深度学习的可控胶囊内镜操作实时辅助系统及操作方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于深度学习的可控胶囊内镜操作实时辅助系统，该系统包括：客户端和服务端；其中：

客户端，设置有至少一个，与胶囊内镜相连，用于获取当前胶囊内镜采集到的胶囊内镜图像，通过网络将胶囊内镜图像上传到服务端；并接收和显示服务端反馈回来的分析结果；

服务端，根据客户端发送来的胶囊内镜图像，进行胶囊内镜图像处理，即时判断胶囊内镜图像对应的部位及部位特征，并将分析结果反馈给客户端；

服务端包括样本数据库、卷积神经网络模型和web服务模块；其中：

样本数据库，用于存储典型胶囊内镜图像的样本，包括合格图片库、部位库和部位特征库；

卷积神经网络模型，为根据合格图片库、部位库和部位特征库训练得到的三个模型，分别用于胶囊内镜图像是否合格、部位判断和部位特征识别；

Web服务模块，用于接收客户端的请求，将接收到的胶囊内镜图像作为输入参数，调用卷积神经网络模型进行胶囊内镜图像是否合格、部位判断和部位特征识别的分析，并将得到的分析结果反馈给客户端。

进一步地，本发明的部位库中包含胶囊内镜检测的所有部位的图像，包括：口咽部、食管、胃底、贲门远景、贲门近景、胃体后壁、胃体大小弯、胃体前壁、胃角、胃窦、幽门、十二指肠球部、降部、空肠、回肠、回盲部、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、直肠、肛管的图片；在进行部位判断时，若缺少其中的部位，则发送提示给客户端。

进一步地，本发明的合格图片库中存储的是拍摄清楚的胶囊内镜图像，部位库中存储的是对合格图片中的物体形态进行部位标注的胶囊内镜图像，部位特征库中存储的是对合格图片中的胶囊内镜图像进行病变标注的胶囊内镜图像。

进一步地，本发明的该系统还包括通信模块，客户端和服务端均与通信模块相连，通信模块用于实现客户端向服务端发送请求，以及从服务端获取分析结果。

进一步地，本发明的该系统还包括图像演示模块，用于根据获取到的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示。

本发明提供一种基于深度学习的可控胶囊内镜操作实时辅助系统的操作方法，包括以下步骤：

S1、当胶囊内镜设备采集图像，客户端触发并获取所采集的胶囊内镜图像，并上传至服务端；

S2、服务端接收胶囊内镜图像作为参数，调用卷积神经网络模型进行识别：

首先判断胶囊内镜图像是否为合格图片，若不合格则输出分析结果为不合格；当胶囊内镜图像判断为合格图片后，识别该胶囊内镜图像中的具体部位和部位特征并输出；

S3、客户端接收并显示分析结果；

S4、操作人员根据客户端显示的分析结果进行下一步操作：

当分析结果为不合格时，继续采集胶囊内镜图像；当识别出的具体部位不够完整时继续采集遗漏的部位；当识别出的具体部位完整时，结束操作。

进一步地，本发明的步骤S2中识别的部位包括口咽部、食管、胃底、贲门远景、贲门近景、胃体后壁、胃体大小弯、胃体前壁、胃角、胃窦、幽门、十二指肠球部、降部、空肠、回肠、回盲部、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、直肠、肛管；在进行部位判断时，部位库中必须包含所有上述部位的肠镜图像，若缺少其中的部位，则发出提示。

进一步地，本发明的步骤S2中识别的部位特征包括NBI癌、NBI正常、NBI非癌病灶，白光癌和白光正常，白光非癌病灶。

进一步地，本发明的步骤S3中客户端接收并显示分析结果，包括调用表示各部位的图片和部位特征的标记进行叠加展示。

进一步地，本发明的步骤S3中客户端实时记录采集的肠镜图像的数量、服务端发回的部位数量及部位特征数量，并进行显示。

本发明产生的有益效果是：本发明的基于深度学习的可控胶囊内镜操作实时辅助系统及操作方法，对采集的图像进行图像质量识别、部位识别和部位特征的识别，并在客户端进行显示，为操作者提供更为可靠的参考依据，提高检测的准确度和有效性。避免漏诊出现，为患者健康提供保障；同时也节省医生时间精力。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的系统结构框图；

图2是本发明实施例的卷积神经网络模型训练图；

图3是本发明实施例的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的基于深度学习的可控胶囊内镜操作实时辅助系统，包括：

至少一个客户端，用于监听并通过网络上传当前胶囊内镜设备采集的胶囊内镜图像，接收和显示反馈的分析结果。每个客户端均包括通信模块和图像演示模块；其中，通信模块用于发送请求到服务端，及从服务端获取分析结果，具体实现为http通信方式；图像演示模块用于根据获取的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示。本实施例中，图像演示模块包括一张食管、胃部、十二指肠球部及降部、空肠、回肠、结肠、肛管整体的背景示意图；用于表示各个部位的PNG格式的示意图；用于表示存在病灶(即部位特征)的红点图片。根据服务端发回的信息调用表示各部位的图片和病灶(即部位特征)的红点图片在背景示意图上覆盖以表示胶囊内镜操作已检查的部位及存在病变的部位。

服务端，用于采用J2EE架构，根据从客户端采集的胶囊内镜图像，即时判断胶囊内镜图像对应的部位及部位特征，将分析结果反馈给客户端。所述的服务端包括样本数据库、卷积神经网络模型和web服务模块。

样本数据库用于存储典型胶囊内镜图像的样本，包括合格图片库、部位库和部位特征库，合格图片库中存储的是拍摄清楚的胶囊内镜图像，部位库中存储的是对合格图片中的物体形态进行部位标注的胶囊内镜图像，部位特征库中存储的是对合格图片中的胶囊内镜图像进行病变标注的胶囊内镜图像。通常一份完整的胶囊内镜检查报告需要包含口咽部、食管、胃底、贲门(远景)、贲门(近景)、胃体后壁、胃体大小弯、胃体前壁、胃角、胃窦、幽门、十二指肠球部、降部、空肠、回肠、回盲部、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、直肠、肛管24个部位的图片，若发现存在病灶或者可疑的部位还需靠近进行更细节的拍摄。因此，本实施例中，所述的部位库中包含所需要的所有部位，即：口咽部、食管、胃底、贲门(远景)、贲门(近景)、胃体后壁、胃体大小弯、胃体前壁、胃角、胃窦、幽门、十二指肠球部、降部、空肠、回肠、回盲部、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、直肠、肛管；在进行部位判断时，必须包含所有上述部位的胶囊内镜图像的识别，若缺少其中的部位，则发出提示给客户端。所述的部位特征包括NBI癌、NBI正常、NBI非癌病灶(包括息肉、炎症性肠病、糜烂)，白光癌和白光正常，白光非癌病灶(包括息肉、炎症性肠病、糜烂)，具体为结构体数组。在此，需要强调的是，本实施例中所提及的“口咽部、食管、胃底、贲门(远景)、贲门(近景)、胃体后壁、胃体大小弯、胃体前壁、胃角、胃窦、幽门、十二指肠球部、降部、空肠、回肠、回盲部、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、直肠、肛管”、“NBI癌、NBI正常、NBI非癌病灶(包括息肉、炎症性肠病、糜烂)，白光癌和白光正常，白光非癌病灶(包括息肉、炎症性肠病、糜烂)”并非对疾病的诊断，只是作为图片中的特征，可以理解为一个参数，而对它们的判断和识别是对图片的特征比对。

卷积神经网络模型为根据合格图片库、部位库和部位特征库训练好的三个模型，分别用于胶囊内镜图像是否合格、部位判断和部位特征识别。模型为Resnet50，采用Python语言开发，封装成RESTful API(REST风格的网络接口)后被其他模块调用。卷积神经网络模型的训练过程如图2所示，卷积神经网络模型用于图像识别领域为常规技术手段，在此不再复述。

Web服务模块用于接收客户端的请求，将接收到的胶囊内镜图像作为参数调用卷积神经网络模型依次进行胶囊内镜图像是否合格、部位判断和部位特征识别的分析，得到分析结果反馈给客户端。

如图2和图3所示，本发明实施例的基于深度学习的可控胶囊内镜操作实时辅助系统的操作方法，包括以下步骤：

S1、当胶囊内镜设备进行图像采集，客户端被触发获取锁采集的胶囊内镜图像，并上传至服务端。

S2、服务端接收胶囊内镜图像作为参数，调用卷积神经网络模型进行识别：

首先判断胶囊内镜图像是否为合格图片，若不合格则输出分析结果为不合格。具体来说，判断胶囊内镜图像是否清晰完整，能够提供有用的诊断信息，若合格则继续进行判断，若为不合格图片则跳过其它步骤直接输出结果“不合格”。

当胶囊内镜图像判断为合格图片后，识别该胶囊内镜图像中的具体部位并输出。所述的部位包括口咽部、食管、胃底、贲门(远景)、贲门(近景)、胃体后壁、胃体大小弯、胃体前壁、胃角、胃窦、幽门、十二指肠球部、降部、空肠、回肠、回盲部、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、直肠、肛管；在进行部位判断时，必须包含所有上述部位的胶囊内镜图像的识别，若缺少其中的部位，则发出提示。

识别出具体部位后的胶囊内镜图像，进一步识别部位特征并输出。

S3、客户端接收并显示分析结果。S3具体为：根据获取的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示。在本实施例中，客户端根据服务端发回的分析结果调用表示各部位(即口咽部、食管、胃底、贲门(远景)、贲门(近景)、胃体后壁、胃体大小弯、胃体前壁、胃角、胃窦、幽门、十二指肠球部、降部、空肠、回肠、回盲部、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、直肠、肛管)的图片和病灶红点(即部位特征的标记)图片在背景示意图上覆盖以表示胶囊内镜操作已检查的部位及存在病变的部位。

S4、操作人员根据客户端显示的分析结果进行下一步操作：

当分析结果为不合格时，继续采集胶囊内镜图像；当识别出的具体部位不够完整时继续采集遗漏的部位；当识别出的具体部位完整时，结束操作。

客户端实时记录采集的胶囊内镜图像的数量、服务端发回的部位数量及部位特征数量，并进行显示。

本发明具有如下优点：解决可控胶囊内镜检查结果，对医师水平要求高，容易出现图像盲点和病灶漏诊断的问题，通过卷积神经网络模型对于采集的胶囊内镜图像进行即时识别图片质量、识别部位和部位特征的识别，在图像显示系统上进行实时提示，为医师提供准确可靠的参考，提高检测的准确度和有效性，简单易用，具有显著的社会及经济价值。一个服务器能够对应若干个客户端，每个客户端对应一台胶囊内镜设备。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于深度学习的可控胶囊内镜操作实时辅助系统，其特征在于，该系统包括：客户端和服务端；其中：

客户端，设置有至少一个，与胶囊内镜相连，用于获取当前胶囊内镜采集到的胶囊内镜图像，通过网络将胶囊内镜图像上传到服务端；并接收和显示服务端反馈回来的分析结果；

服务端，根据客户端发送来的胶囊内镜图像，进行胶囊内镜图像处理，即时判断胶囊内镜图像对应的部位及部位特征，并将分析结果反馈给客户端；

服务端包括样本数据库、卷积神经网络模型和web服务模块；其中：

样本数据库，用于存储典型胶囊内镜图像的样本，包括合格图片库、部位库和部位特征库；

卷积神经网络模型，为根据合格图片库、部位库和部位特征库训练得到的三个模型，分别用于胶囊内镜图像是否合格、部位判断和部位特征识别；

Web服务模块，用于接收客户端的请求，将接收到的胶囊内镜图像作为输入参数，调用卷积神经网络模型进行胶囊内镜图像是否合格、部位判断和部位特征识别的分析，并将得到的分析结果反馈给客户端。

2.根据权利要求1所述的基于深度学习的可控胶囊内镜操作实时辅助系统，其特征在于，部位库中包含胶囊内镜检测的所有部位的图像，包括：口咽部、食管、胃底、贲门远景、贲门近景、胃体后壁、胃体大小弯、胃体前壁、胃角、胃窦、幽门、十二指肠球部、降部、空肠、回肠、回盲部、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、直肠、肛管的图片；在进行部位判断时，若缺少其中的部位，则发送提示给客户端。

3.根据权利要求1所述的基于深度学习的可控胶囊内镜操作实时辅助系统，其特征在于，合格图片库中存储的是拍摄清楚的胶囊内镜图像，部位库中存储的是对合格图片中的物体形态进行部位标注的胶囊内镜图像，部位特征库中存储的是对合格图片中的胶囊内镜图像进行病变标注的胶囊内镜图像。

4.根据权利要求1所述的基于深度学习的可控胶囊内镜操作实时辅助系统，其特征在于，该系统还包括通信模块，客户端和服务端均与通信模块相连，通信模块用于实现客户端向服务端发送请求，以及从服务端获取分析结果。

5.根据权利要求4所述的基于深度学习的可控胶囊内镜操作实时辅助系统，其特征在于，该系统还包括图像演示模块，用于根据获取到的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示。

6.一种权利要求1所述的基于深度学习的可控胶囊内镜操作实时辅助系统的操作方法，其特征在于，包括以下步骤：

S1、当胶囊内镜设备采集图像，客户端触发并获取所采集的胶囊内镜图像，并上传至服务端；

S2、服务端接收胶囊内镜图像作为参数，调用卷积神经网络模型进行识别：

首先判断胶囊内镜图像是否为合格图片，若不合格则输出分析结果为不合格；当胶囊内镜图像判断为合格图片后，识别该胶囊内镜图像中的具体部位和部位特征并输出；

S3、客户端接收并显示分析结果；

S4、操作人员根据客户端显示的分析结果进行下一步操作：

当分析结果为不合格时，继续采集胶囊内镜图像；当识别出的具体部位不够完整时继续采集遗漏的部位；当识别出的具体部位完整时，结束操作。

7.根据权利要求6所述的基于深度学习的可控胶囊内镜操作实时辅助操作方法，其特征在于，步骤S2中识别的部位包括口咽部、食管、胃底、贲门远景、贲门近景、胃体后壁、胃体大小弯、胃体前壁、胃角、胃窦、幽门、十二指肠球部、降部、空肠、回肠、回盲部、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、直肠、肛管；在进行部位判断时，部位库中必须包含所有上述部位的肠镜图像，若缺少其中的部位，则发出提示。

8.根据权利要求6所述的基于深度学习的可控胶囊内镜操作实时辅助操作方法，其特征在于，步骤S2中识别的部位特征包括NBI癌、NBI正常、NBI非癌病灶，白光癌和白光正常，白光非癌病灶。

9.根据权利要求6所述的基于深度学习的可控胶囊内镜操作实时辅助操作方法，其特征在于，步骤S3中客户端接收并显示分析结果，包括调用表示各部位的图片和部位特征的标记进行叠加展示。

10.根据权利要求6所述的基于深度学习的可控胶囊内镜操作实时辅助操作方法，其特征在于，步骤S3中客户端实时记录采集的肠镜图像的数量、服务端发回的部位数量及部位特征数量，并进行显示。