CN109091098A - 磁控胶囊式内窥镜诊查系统 - Google Patents

Abstract

本发明提出了一种磁控胶囊内窥镜诊查系统，包括设有磁铁的胶囊式内窥镜、控制单元和控制胶囊内窥镜移动的机械臂，控制单元包括信息接收模块、图像识别模块和磁控制模块；信息接收模块接收胶囊式内窥镜所发送的图像数据信息以及胶囊姿态信息，信息接收模块的图像数据信息输出端连接图像识别模块输入端，图像识别模块根据图像数据信息识别胶囊式内窥镜的位置，其输出端连接至磁控制模块的位置信息输入端；信息接收模块的胶囊姿态信息输出端连接磁控制模块，磁控制模块控制输出端连接机械臂驱动端。该磁控胶囊内窥镜诊查系统结构简单，能准确的对胶囊式内窥镜进行位置定位，有助于胶囊式内窥镜更加准确全面的采集图像信息。

Description

磁控胶囊式内窥镜诊查系统

技术领域

本发明涉及医疗器械领域，具体涉及一种磁控胶囊内窥镜诊查系统。

背景技术

磁控胶囊式内窥镜系统是由磁控式胶囊内窥镜、磁场控制器和图像记录仪组成，磁控式胶囊内窥镜由光学前盖、后壳、磁铁、天线、射频模块、磁感应模块、加速度传感器、信号处理模块、图像采集模块和电池组成。磁场控制台外部结构由诊查床、支撑柱、控制磁铁、可移动机械臂、显示屏幕、可找回功能按键、控制手柄和台车主体组成；电路由控制模块、驱动模块、显示模块、存储模块和电源模块组成。图像记录仪由天线、射频模块、信号处理模块、控制模块、存储模块和电源模块组成。

其工作原理是利用磁效应实现对胶囊的控制，胶囊上的磁感应模块可以感知周围磁场的大小，并将感知到的数据传输控制台，操作人员再根据控制台显示的磁控制相关数据调整操作方式。控制磁铁安装在可移动机械臂上，驱动模块用来驱动可移动机械臂的移动；控制模块用来控制整个系统的运行，包括控制可移动机械臂的移动方向和高度；图像记录仪与胶囊实现通信；显示模块是用来实时显示胶囊拍摄的图片；存储模块用来存储图片数据；电源模块则为整个系统供电。

然而这仍然需要操作人员人为操作控制台的柄去控制可移动机械臂的移动，利用磁效应去控制胶囊在体内的运动，这样就可以有目的性的观察目标区域。但这种方式仍然消耗较多时间，操作人员需要在胶囊停留在胃中的40分钟内全程操作，操作完成后需要下载数据到影像工作站，再读图观察，手动编辑诊断报告，这种方式太繁琐，也太耗时。

为了解决这一问题，目前有提出一种胶囊式内窥镜的控制系统，其申请号为2017112117965，该控制系统包括控制端和机器人本体，机器人本体上固定有用于牵引胶囊式内窥镜的磁铁，控制端根据预设检测位置点参数，利用机器人多轴插补控制算法，生成控制指令，并发送控制指令至机器人本体，机器人本体解析控制指令，得出运动轨迹曲线，并根据运动曲线，自动牵引胶囊式内窥镜至中个预设位置点进行多角度拍摄。该控制系统通过自动牵引胶囊式内窥镜，进行全面扫描，机器人本体自动牵引，长时间运行不公产生疲劳问题，同时根据运动轨迹曲线进行牵引，能避免手动牵引时引入的精度误差。然而由于个体差异原因在对具体位置进行检查，仍然存在检测位置是否准确的问题。

发明内容

为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种磁控胶囊内窥镜诊查系统。

为了实现本发明的上述目的，本发明提供了一种磁控胶囊内窥镜诊查系统，包括设有磁铁的胶囊式内窥镜、控制单元和控制所述胶囊内窥镜移动的机械臂，所述控制单元包括信息接收模块、图像识别模块和磁控制模块；

所述信息接收模块接收所述胶囊式内窥镜所发送的图像数据信息以及胶囊姿态信息，所述信息接收模块的图像数据信息输出端连接所述图像识别模块输入端，所述图像识别模块根据图像数据信息识别所述胶囊式内窥镜的位置，其输出端连接至所述磁控制模块的位置信息输入端；所述信息接收模块的胶囊姿态信息输出端连接所述磁控制模块，所述磁控制模块控制输出端连接所述机械臂驱动端。

通过图像识别模块对胶囊式内窥镜的位置进行识别，磁控制模块根据胶囊内窥镜所在的具体位置控制胶囊式内窥镜的姿态，便于胶囊式内窥镜能按该位置的设定拍摄角度完成拍摄任务。该磁控胶囊内窥镜诊查系统结构简单，能准确的对胶囊式内窥镜进行位置定位，有助于胶囊式内窥镜更加准确全面的采集图像信息。

进一步的，所述图像识别模块包括位置识别模块和病灶识别模块，所述位置识别模块输出端连接所述磁控制模块的位置信息输入端，所述病灶识别模块对病灶进行识别。

病灶识别模块代替了人读片，不再需要人再花费时间去读片，节省了人力和物力，同时还提高了效率。

进一步的，所述控制单元还包括存储模块，所述病灶识别模块输出端连接所述存储模块，将检查信息进行实时存储。

进一步的，还包括显示模块和/或打印模块，所述存储模块输出端分别连接所述打印模块以及显示模块。打印模块打印检测报告，显示模块显示检测的信息。

进一步的，所述控制单元还包括信息处理模块，所述信息接收模块输出端连接所述信息处理模块，所述信息处理模块分别连接所述磁控制模块和图像识别模块。

该磁控胶囊内窥镜诊查系统结构简单，能明显缩短检查时间，节省人力消耗，提高了检查效率。

进一步的，所述图像识别模块根据图像数据信息识别所述胶囊式内窥镜的位置的方法包括以下步骤：

S1，选取数据：选取磁控胶囊已经拍摄的其运行区域不同位置的多张图像，每一张图像对应的运行区域位置可辨认且图像不带有拍摄时间先后顺序特征；

S2，将步骤S1选取的图像进行分类，并对分类后的图像添加表示其不同位置的标记，将标记后的图像分为训练集和测试集，所述训练集中图像和测试集中图像无重叠；

S3，对位置识别网络模型进行预训练：采用自然场景数据进行网络模型权重初始化，在初始化基础上使用已有的包含海量样本的数据集训练调节网络权重，使深度网络适应各种自然场景的分类；

S4，对位置识别网络模型逐层调节：采用预训练模型和训练集中不同位置图像对网络逐层调节训练，具体为先锁定模型的卷积层，训练全链接层，从上到下逐层放开卷基层进行训练，获得位置识别网络模型并设定为当前深度网络模型；

S5，利用训练集对当前深度网络模型进行训练，利用测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别精度、灵敏度、特异性之一或它们的任意组合，判断识别精度、灵敏度、特异性是否符合预设要求，若是，则确定训练后的当前网络模型为完成训练的深度网络模型，若否，则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型，返回步骤S5的开始位置继续利用所述训练集对当前深度网络模型进行训练；

S6，使用胶囊进行检查时，将胶囊内镜采集的图片输入至训练完成的深度网络模型，得到深度网络模型输出的该图片对应的位置。

该位置识别方法对磁控胶囊采集到的图片位置进行自动识别，对胶囊是否完成整个运行区域检查提供依据，采用对位置识别网络模型进行预训练，在训练集中数据较少时仍然能够进行深度网络训练，采用了基于大量自然图像首先对网络模型进行初步训练得到一个基础网络模型，进而再采用训练出的基础网络模型来对磁控胶囊采集到的图像进行训练的方法，并采用了逐层参数训练法，从而得准确度高的深度网络模型。采用该种方法，能够满足样本量相对较少的解剖位置的自动识别。减少了标注训练数据需要的时间和人力，降低了人力负担，提高了效率。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是实施例的原理框图；

图2是所述实施例的优选方案的原理框图；

图3是位置识别流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，本发明提供了一种磁控胶囊内窥镜诊查系统，包括设有磁铁的胶囊式内窥镜、控制单元和控制所述胶囊内窥镜移动的机械臂，所述控制单元包括信息接收模块、图像识别模块和磁控制模块。

所述信息接收模块接收所述胶囊式内窥镜所发送的图像数据信息以及胶囊姿态信息，所述信息接收模块的图像数据信息输出端连接所述图像识别模块输入端，所述图像识别模块根据图像数据信息识别所述胶囊式内窥镜的位置，其输出端连接至所述磁控制模块的位置信息输入端；所述信息接收模块的胶囊姿态信息输出端连接所述磁控制模块，所述磁控制模块控制输出端连接所述机械臂驱动端。

所述控制单元还包括信息处理模块，所述信息接收模块输出端连接所述信息处理模块，所述信息处理模块分别连接所述磁控制模块和图像识别模块。

该胶囊式内窥镜被吞服后进入胃部，胃部主要的观察区域由上自下分别为贲门、胃底、胃体、胃角、胃窦和幽门。胶囊式内窥镜分别在胃部的这6个部位设置有多个固定观察位置和相应的观察角度。胶囊进入胃后，胶囊式内窥镜的加速度传感器可以感知胶囊的姿态角度，胶囊姿态信息被发送至磁控制模块，图像信息被发送至图像识别模块，图像识别模块识别胶囊式内窥镜在胃中的位置，再将该位置信息传至磁控制模块，磁控制单元根据胶囊姿态信息和位置信息，得到胶囊式内窥镜当前的位置和姿态。磁控制模块根据设定将机械臂上安装的磁铁移动到设定的观察位置，并自动调整磁铁的角度，直至胶囊式内窥镜的姿态角度与设定的拍摄角度相同时，完成拍摄任务，再依次移到到下一个拍摄位置，并调整角度进行拍摄，直至所有位置拍摄任务完成。

作为本实施例的优选方案，如图2所示，该磁控胶囊内窥镜诊查系统中的图像识别模块包括位置识别模块和病灶识别模块，所述位置识别模块输出端连接所述磁控制模块的位置信息输入端，所述病灶识别模块对病灶进行识别，然后发送到自动诊断模块进行诊查。

该实施例中，控制单元还包括存储模块，所述病灶识别模块输出端连接所述存储模块。

此时，图像识别模块有两个作用，一是识别胃中位置，二是识别病灶。胃中位置的信息会传至位置识别模块控制模块，位置识别模块会识别胶囊当前位置，病灶识别模块对图片进行智能识别，可以自动识别有无病灶，若有病灶，对应的症状，并将病灶信息存储在存储模块里。

该实施例中所涉及的病灶识别方法可采用现有方法，如申请号为2017102673298名称为胶囊内窥镜图像预处理系统及方法所公开的病灶识别方法进行识别。

该磁控胶囊内窥镜诊查系统还包括显示模块和/或打印模块，所述存储模块输出端分别连接所述打印模块以及显示模块。待检查结束后，打印模块将检查结果进行打印，显示模块显示检测结果。

该实施例中，图像识别模块根据图像数据信息识别所述胶囊式内窥镜的位置的方法，如图3所示，包括如下步骤：

S1，选取数据：选取磁控胶囊已经拍摄的其运行区域不同位置的多张图像，每一张图像对应的运行区域位置可辨认且图像不带有拍摄时间先后顺序特征。

S2，将步骤S1选取的图像进行分类，并对分类后的图像添加表示其不同位置的标记，将标记后的图像分为训练集和测试集，所述训练集中图像和测试集中图像无重叠。

S3，对位置识别网络模型进行预训练：采用自然场景数据进行网络模型权重初始化，在初始化基础上使用已有的包含海量样本的数据集训练调节网络权重，使深度网络适应各种自然场景的分类。

S4，对位置识别网络模型逐层调节：采用预训练模型和训练集中不同位置图像对网络逐层调节训练，具体为先锁定模型的卷积层，训练全链接层，从上到下逐层放开卷基层进行训练，获得位置识别网络模型并设定为当前深度网络模型。

S5，利用训练集对当前深度网络模型进行训练，利用测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别精度、灵敏度、特异性之一或它们的任意组合，判断识别精度、灵敏度、特异性是否符合预设要求，若是，则确定训练后的当前网络模型为完成训练的深度网络模型，若否，则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型，返回步骤S5的开始位置继续利用所述训练集对当前深度网络模型进行训练。

在本实施方式中，识别精度＝识别出的测试集中所有真阳性图片数/测试集中标记出的所有图片数，真阳性是指被检出为正确的图片。

灵敏度＝自动识别出的某位置的真阳性图片数/标记出的对应位置的图片张数*100％。

特异性＝自动识别出的某位置的真阴性图片数/标记出的其他位置对应的图片张数，其中，真阴性是指该位置之外的其他位置被正确排除的图片。

本发明中，利用所述训练集对当前深度网络模型进行训练包括:将所述训练集中包含的图片组合成多个子训练集，其中每个子训练集包含的图片不完全相同；利用所述多个子训练集分别训练当前深度网络模型得到对应的多个深度网络模型，并利用所述测试集分别对该多个深度网络模型进行测试得到对应深度网络模型的识别精度，选取对应识别精度表明识别精度最高的深度网络模型为利用所述训练集对当前深度网络模型进行训练后的当前深度网络模型。

S6，使用胶囊进行检查时，将胶囊内镜采集的图片输入至训练完成的深度网络模型，得到深度网络模型输出的该图片对应的位置。

以胶囊内镜对胃部检查为例，首先由临床医生将不同解剖位置的胶囊内镜图像挑选出来，依据为单张图像的解剖位置可明显辨认。为了排除时间关联的影响，将所有图片顺序打乱，再由医生进行分类，将不同解剖位置的单张图片分别归类到不同类别的文件夹中。

然后对上述不同类别的文件夹进行编号，如0,1,2，...，不同数字表示不同的解剖部位，如贲门，胃底，胃体，胃角，胃窦，幽门等。若某一患者数据要作为测试使用，则训练的图像数据需要排除该患者图像，将剩下的患者图像合并为训练数据集。

由于标注用于训练的数据需要耗费大量的时间和人力，为了克服标注的数据量不足以满足深度网络训练的要求。本发明对网络初始化训练采用了自然场景数据来进行网络权重初始化，首先采用了ImageNet数据来对模型进行初始化，在本实施例中，采用了ImageNet 1000个类的网络，也可以加载训练好的ImageNet模型。在ImageNet的基础上，采用海量数据调节网络权重，例如使用Places365数据集训练(1000万张图片)调节网络权重。使网络能能够更好的适应各种自然场景的分类问题。最后再用磁控胃胶囊数据逐层调节与训练模型网络。采用这种方式优点在于：当人工标记的胃部解剖位置图片数据不足或者图片数据量不足以满足深度网络训练的要求时，利用现有的自然图像数据库来对网络模型进行初始化和权重调节，再利用相对人工标记出的胃部位置图片数据库来对网络进行逐层调节，可以得到相对较好的网络训练结果，这样对于医学领域中目前没有形成统一的病例数据集的情况或者某一些解剖位置类别图片数据较少的情况，是一种较好的基于大数据的深度网络学习模式。

为了克服模型生成中的一些问题包括：训练数据太少、内镜图像呈现不同的变化状态、模型过拟合。本发明中可以对训练集和测试集中包含的图像进行预设角度旋转处理、图像增强处理、预设范围的图像平移处理、预设范围的图像剪切和预设范围的图像缩放处理。例如：180度随机图像旋转保证模型适应图像旋转；±20％范围内图像随机左右平移；±20％范围内图像随机上下平移；±20％范围内图像随机剪切变换,±20％范围内图像随机缩放。

胃部位置识别网络模型逐层调节过程为：除了第一次完全从数据训练网络以外，采用与训练模型和胃部不同位置图片数据对网络的训练均采用逐层调节方法。具体做法上，先锁定模型的卷积层，训练全链接层；在实验条件较好即胃部解剖图片数据量较大的情况下，从上到下逐层放开卷基层进行训练，以获得适应于胃部解剖位置识别的网络模型。

数据测试：通过读取每张图像并判断类别,最后将每个病人的图像测试结果与标注结果进行比对，计算模型的检测性能。对于分类别检测最重要的评价指标主要包括：精度、灵敏度、特异性。检测系统的统计性能是将多个病人测试的精度、灵敏度、特异性做平均。若统计性能指标满足预先设定要求，则所述深度网络模型可以用于后期产品用，若不满足要求，则需要对网络模型进行调参或者模型网络结构进行调整。

对于不断进行调整和训练得到的满足要求的深度网络模型，加载到本文所述的处理器中位置识别单元，供处理器实时调用。由胶囊采集到每张图像，都通过处理器中的位置识别单元进行分类，并统计每一种解剖位置识别出的已检图像张数，若达到预设条件，则将该类解剖位置进行保存，并标记为已检位置存储在消化道已检部位存储模块中。本发明预设条件根据解剖位置的不同而不同，并且根据临床实际操作得到的经验数据。如胃角、贲门位置由本系统得到的图片数量相对较少，一般设置为10张左右，而对于胃底，胃体，胃窦区域，采集到的图像数量较多，一般设置为100张以上。从而判断是否已经对该部位进行了检测。

本发明中还可以具有如下步骤：判断识别出的位置是否满足预设条件，若是，则保存该解剖位置，所述预设条件为每个位置对应的待检测图像张数，设定不同位置对应的待检图像张数不同。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种磁控胶囊内窥镜诊查系统，包括设有磁铁的胶囊式内窥镜、控制单元和控制所述胶囊内窥镜移动的机械臂，其特征在于，所述控制单元包括信息接收模块、图像识别模块和磁控制模块；

所述信息接收模块接收所述胶囊式内窥镜所发送的图像数据信息以及胶囊姿态信息，所述信息接收模块的图像数据信息输出端连接所述图像识别模块输入端，所述图像识别模块根据图像数据信息识别所述胶囊式内窥镜的位置，其输出端连接至所述磁控制模块的位置信息输入端；所述信息接收模块的胶囊姿态信息输出端连接所述磁控制模块，所述磁控制模块控制输出端连接所述机械臂驱动端。

2.根据权利要求1所述的磁控胶囊内窥镜诊查系统，其特征在于，所述图像识别模块包括位置识别模块和病灶识别模块，所述位置识别模块输出端连接所述磁控制模块的位置信息输入端，所述病灶识别模块对病灶进行识别。

3.根据权利要求2所述的磁控胶囊内窥镜诊查系统，其特征在于，所述控制单元还包括存储模块，所述病灶识别模块输出端连接所述存储模块。

4.根据权利要求3所述的磁控胶囊内窥镜诊查系统，其特征在于，还包括显示模块和/或打印模块，所述存储模块输出端分别连接所述打印模块以及显示模块。

5.根据权利要求1所述的磁控胶囊内窥镜诊查系统，其特征在于，所述控制单元还包括信息处理模块，所述信息接收模块输出端连接所述信息处理模块，所述信息处理模块分别连接所述磁控制模块和图像识别模块。

6.根据权利要求1所述的磁控胶囊内窥镜诊查系统，其特征在于，所述图像识别模块根据图像数据信息识别所述胶囊式内窥镜的位置的方法包括以下步骤：

S1，选取数据：选取胶囊已经拍摄的其运行区域不同位置的多张图像，每一张图像对应的运行区域位置可辨认且图像不带有拍摄时间先后顺序特征；

S2，将步骤S1选取的图像进行分类，并对分类后的图像添加表示其不同位置的标记，将标记后的图像分为训练集和测试集，所述训练集中图像和测试集中图像无重叠；

S3，对位置识别网络模型进行预训练：采用自然场景数据进行网络模型权重初始化，在初始化基础上使用已有的包含海量样本的数据集训练调节网络权重，使深度网络适应各种自然场景的分类；

S4，对位置识别网络模型逐层调节：采用预训练模型和训练集中不同位置图像对网络逐层调节训练，具体为先锁定模型的卷积层，训练全链接层，从上到下逐层放开卷基层进行训练，获得位置识别网络模型并设定为当前深度网络模型；

S5，利用训练集对当前深度网络模型进行训练，利用测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别精度、灵敏度、特异性之一或它们的任意组合，判断识别精度、灵敏度、特异性是否符合预设要求，若是，则确定训练后的当前网络模型为完成训练的深度网络模型，若否，则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型，返回步骤S5的开始位置继续利用所述训练集对当前深度网络模型进行训练；

S6，使用胶囊进行检查时，将胶囊内镜采集的图片输入至训练完成的深度网络模型，得到深度网络模型输出的该图片对应的位置。

7.根据权利要求6所述的磁控胶囊内窥镜诊查系统，其特征在于，将步骤S1中使图像不带有拍摄时间先后顺序特征的方法为：将所有图片顺序打乱，再由检测者进行分类，将不同位置的单张图片分别归类。

8.根据权利要求6所述的磁控胶囊内窥镜诊查系统，其特征在于，在步骤S3和S4之间还具有图片数据预处理的步骤：

对所述训练集和所述测试集中包含的图像进行预设角度旋转处理、图像增强处理、预设范围的图像平移处理、预设范围的图像剪切和预设范围的图像缩放处理。

9.根据权利要求6所述的磁控胶囊内窥镜诊查系统，其特征在于，利用所述训练集对当前深度网络模型进行训练，包括:

将所述训练集中包含的图片组合成多个子训练集，其中每个子训练集包含的图片不完全相同；利用所述多个子训练集分别训练当前深度网络模型得到对应的多个深度网络模型，并利用所述测试集分别对该多个深度网络模型进行测试得到对应深度网络模型的识别精度，选取对应识别精度表明识别精度最高的深度网络模型为利用所述训练集对当前深度网络模型进行训练后的当前深度网络模型。

10.根据权利要求6所述的磁控胶囊内窥镜诊查系统，其特征在于，在步骤S6中，还具有如下步骤：判断识别出的位置是否满足预设条件，若是，则保存该解剖位置，所述预设条件为每个位置对应的待检测图像张数，设定不同位置对应的待检图像张数不同。