CN109846444A - 一种胶囊自动导航系统及导航方法 - Google Patents
一种胶囊自动导航系统及导航方法 Download PDFInfo
- Publication number
- CN109846444A CN109846444A CN201910140363.8A CN201910140363A CN109846444A CN 109846444 A CN109846444 A CN 109846444A CN 201910140363 A CN201910140363 A CN 201910140363A CN 109846444 A CN109846444 A CN 109846444A
- Authority
- CN
- China
- Prior art keywords
- capsule
- module
- network model
- mechanical arm
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Endoscopes (AREA)
Abstract
本发明公开了一种胶囊自动导航系统及导航方法,该系统包括胶囊内镜控制器,胶囊内镜控制器包括自动检查控制装置;还包括磁控装置;自动检查控制装置包括捕获胶囊模块、胶囊姿态获取模块、胶囊图像位置识别模块以及胶囊基本动作检查模块;磁控装置包括多自由度的机械手臂、带动机械手臂运动的电机以及永磁铁;自动检查控制装置捕获胶囊位置,调整胶囊姿态并结合胶囊图像位置识别模块进行导航,自动检查控制装置控制机械手臂牵引胶囊运动到指定解剖位置,并在各个解剖位置完成检查,直至完成所有解剖位置的自动检查。本发明能够自动实现胶囊的自动导航检查,大大降低医生的操作负担,同时,胶囊图像位置识别模块保证对所有的解剖位置进行检查,降低了漏检的风险。
Description
技术领域
本发明属于医疗器械技术领域,涉及一种胶囊自动导航系统及导航方法。
背景技术
近年来,在检查人体消化道的胶囊内镜的应用中,为了克服依靠消化道蠕动从而带动胶囊内镜在体内运动(属于被动式的检查方式)所带来的漏检风险较大的缺点,市场上出现了能够实现主动控制的磁控胶囊内镜装置,即利用外部磁力来驱动带有小磁体的胶囊内镜,从而达到对消化道进行主动检查的目的,比如安翰光电技术(武汉)有限公司的自动磁控胶囊Ankon system和重庆金山科技的磁控胶囊系统。
目前,市场上的磁控胶囊系统分为两种,一种是人工手动操作操控杆,通过机械手臂带动外部磁体运动,由外部磁力强度的变化驱动带有小磁体的胶囊内镜运动,从而达到主动控制胶囊内镜进行人体消化道内部检查的目的,例如申请人已有的专利CN206880655U中的技术;另外一种是手持外部磁体,直接控制外部磁体运动来带动体内带有小磁体的胶囊内镜运动,上述两种方式,均需要医生手工进行控制,无疑加重了操作医生的负担,由于手工操作带来的不规律性,带来漏检的风险较大。
发明内容
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种胶囊自动导航系统及导航方法。
为了实现本发明的上述目的,根据本发明的第一个方面,本发明提供了一种胶囊自动导航系统,其包括胶囊内镜控制器,所述胶囊内镜控制器包括自动检查控制装置,还包括与自动检查控制装置电连接的磁控装置;所述自动检查控制装置包括捕获胶囊模块、胶囊姿态获取模块、胶囊图像位置识别模块以及胶囊基本动作检查模块;所述捕获胶囊模块用于捕捉胶囊,姿态获取模块用于获取胶囊姿态;胶囊图像位置识别模块用于对胶囊采集到的图片实时进行解剖位置的识别,胶囊基本动作检查模块用于控制胶囊基本动作;所述磁控装置包括多自由度的机械手臂、带动机械手臂运动的电机以及永磁铁;所述自动检查控制装置捕获胶囊位置,调整胶囊姿态并结合胶囊图像位置识别模块进行导航,自动检查控制装置控制机械手臂牵引胶囊运动到指定解剖位置,并在各个解剖位置完成检查,通过图像位置识别模块完成下一解剖位置的检查直到完成所有解剖位置的自动检查。
本发明的胶囊自动导航系统能够自动实现胶囊的自动导航检查,大大降低了医生的操作负担,同时,胶囊图像位置识别模块保证对所有的解剖位置进行检查,降低了漏检的风险。
在本发明的一种优选实施方式中,还包括反馈模块,所述反馈模块分别与自动检查控制装置的其他模块互联,反馈模块用于监测胶囊运动情况是否可控,即是否与外部机械手臂设定运动符合以及胶囊是否处于受机械手臂控制状态,根据胶囊内部磁传感器中的磁场数据来进行判断,若随着机械手臂运动,胶囊磁传感器中的磁场数据逐渐减少,则说胶囊运动不可控,该次机械手臂运动无效;反之,则说明胶囊运动可控并有效。
通过反馈模块,实现胶囊的完全可控。
为了实现本发明的上述目的,根据本发明的第二个方面,本发明提供了一种胶囊自动导航方法,其包括如下步骤:
S1,待检人员吞服胶囊,捕获胶囊模块对胶囊进行捕获;
S2,利用姿态获取模块获取并调整胶囊姿态,寻找并识别解剖位置;
S3,利用机械手臂带动磁体运动并牵引胶囊运动到指定解剖位置,并实时对胶囊运动状态进行实时监控和/或校正;
S4,控制胶囊对消化道壁进行检查;
S5,调整胶囊姿态,寻找下一解剖位置;
S6,重复步骤S2至S5,直到完成所有解剖部位的检查;
S7,检查结束,系统复位。
本发明的胶囊自动导航方法能够自动实现胶囊的自动导航检查,大大降低了医生的操作负担,同时,胶囊图像位置识别模块保证对所有的解剖位置进行检查,降低了漏检的风险。
在本发明的一种优选实施方式中,解剖位置的识别的方法为:
选取数据:选取胶囊已经拍摄的其运行区域不同位置的多张图像,每一张图像对应的运行区域位置可辨认且图像不带有拍摄时间先后顺序特征;
将选取的图像进行分类,并对分类后的图像添加表示其不同位置的标记,将标记后的图像分为训练集和测试集,所述训练集中图像和测试集中图像无重叠;
对位置识别网络模型进行预训练:采用自然场景数据进行网络模型权重初始化,在初始化基础上使用已有的包含海量样本的数据集训练调节网络权重,使深度网络适应各种自然场景的分类;
对位置识别网络模型逐层调节:采用预训练模型和训练集中不同位置图像对网络逐层调节训练,具体为先锁定模型的卷积层,训练全链接层,从上到下逐层放开卷积层进行训练,获得位置识别网络模型并设定为当前深度网络模型;
利用训练集对当前深度网络模型进行训练,利用测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别精度、灵敏度、特异性之一或它们的任意组合,判断识别精度、灵敏度、特异性是否符合预设要求,若是,则确定训练后的当前网络模型为完成训练的深度网络模型,若否,则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型,继续利用所述训练集对当前深度网络模型进行训练;
使用胶囊进行检查时,将胶囊内镜采集的图片输入至训练完成的深度网络模型,得到深度网络模型输出的该图片对应的位置。
实现对磁控胶囊采集到的图片位置进行自动识别,对胶囊是否完成整个运行区域检查提供依据。
在本发明的另一种优选实施方式中,胶囊对消化道壁进行检查的方法为:
S51,捕获胶囊,使胶囊贴近消化道壁;
S52,调整机械手臂,使胶囊俯仰至少一次,当多次时,俯仰角度相同、全部不相同或不全部相同,并使胶囊镜头远离粘膜端;
S53,控制胶囊按照预定旋转角度进行旋转,并设置最多旋转周数;
S54,判断是否找到解剖位置,若否,则重复该步骤,直到寻找到解剖位置或者超过最多旋转周数,若超过最多旋转周数依然没找到解剖位置,则执行步骤S56;如果检测到,则执行步骤S55;
S55,停止旋转,判断胶囊所拍图片距离粘膜的远近,若距离大于阈值,则进入步骤S57,若否,则进入步骤S58;
S56,停止旋转,胶囊向着患者Y-或者Y+方向移动,移动一定步长,判断是否移动成功,如不成功,则向着患者左右两侧方向或者X+/X-方向移动,再向着Y-或者Y+方向移动,移动后跳转至步骤S53;
S57,胶囊向着当前解剖位置的方向运动,该步骤具体包含:
S571,目标方向确定后,设置机械手臂在目标方向上运动的步长,采用直线运动,或者平移拉动,或者翻滚运动的方式前行;
S572,确定运动是否有效的向着目标位置移动;运动完成后,跳转至步骤S53,否则重复S572,直到距离小于设定阈值;
S58,贴近该解剖位置完成检查动作;
S59,更换解剖位置,执行步骤S51至步骤S58,依次完成所有解剖位置的检查。
从而实现对任意解剖位置的准确检查。
在本发明的另一种优选实施方式中,控制器控制胶囊内镜在整个或部分人体内腔中的全部或者部分运行过程中跳跃式行进;在行进过程或者跳跃间隔中,胶囊内镜的镜头对内腔壁进行图像扫描。跳跃式前进,防止阻挡等现象的发生,保证了检查准确度。
附图说明
图1是本发明一种具体实施方式中胶囊内镜检查系统的构成示意图;
图2是本发明一种具体实施方式中磁控胶囊传感器单元构成图;
图3是本发明一种具体实施方式中自动导航检查流程图;
图4是本发明一种具体实施方式中相对空间坐标示意图;
图5为是本发明一种具体实施方式中胃部检查示意图;
图6是本发明一种具体实施方式中自动导航检查详细流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
本文提出了一种自动导航检查系统和方法,可以用于对人体消化道主要是胃部进行检查,通过自动控制磁控胶囊在体内的运动来实现全自动检查,下面以对胃部的检查进行说明。
如图1所示,胶囊内镜检查系统主要包含磁控胶囊内窥镜1、图像记录仪2、胶囊内镜控制器3、诊查床4四大部分。
在本实施方式中,磁控胶囊内窥镜1由镜头、照明装置、内部磁体、电池、微处理器单元、磁场传感器和加速度传感器、无线电通讯装置、透明前盖和外壳组成,具体连接可参考申请人已公开的专利中的技术方案。其中,磁场传感器和加速度传感器通过IIC总线将获得的数据传输给微处理单元,如图2所示,微处理器单元通过无线电通讯装置将参数实时发送给图像记录仪。
图像记录仪2用来接收胶囊内镜图像数据以及发送胶囊控制指令,并接收来自胶囊微处理器中磁场传感器和加速度传感器的数据,并保存图像数据。
诊查床4主要包含多自由度的机械手臂、运动控制卡、电机和永磁铁以及患者诊查床,其中,机械手臂能够带动永磁铁在空间上以患者诊查床为参考坐标的上下、左右、前后、及翻转运动;永磁铁分布在患者诊察床上下两侧;电机用于带动机械手臂运动;运动控制卡用于设定电机运动参数。
本发明的胶囊自动导航系统,其包括胶囊内镜控制器,所述胶囊内镜控制器包括自动检查控制装置,还包括与自动检查控制装置电连接的磁控装置(具体可以为诊查床4上的磁控装置)。自动检查控制装置包括捕获胶囊模块、胶囊姿态获取模块、胶囊图像位置识别模块以及胶囊基本动作检查模块,其中,捕获胶囊模块用于捕捉胶囊(具体捕获方法可采用现有技术),姿态获取模块用于获取胶囊姿态(比如俯仰、翻滚、偏航角度);胶囊图像位置识别模块用于对胶囊采集到的胃部图片实时进行解剖位置的识别,胶囊基本动作检查模块用于控制胶囊基本动作(例如平移、翻滚、旋转等动作)。所述磁控装置包括多自由度的机械手臂、带动机械手臂运动的电机以及永磁铁。自动检查控制装置捕获胶囊位置,调整胶囊姿态并结合胶囊图像位置识别模块进行导航,自动检查控制装置控制机械手臂牵引胶囊运动到指定解剖位置,并在各个解剖位置完成检查,通过图像位置识别模块完成下一解剖位置的检查直到完成胃部所有解剖位置的自动检查。
在本实施方式中,获取胶囊姿态的姿态获取模块和胶囊基本动作检查模块,可以采用现有技术。
胶囊内镜控制器3还可以包括操作台,操作台设置有操作杆、急停、复位等按钮。
在本实施方式中,还包括反馈模块,所述反馈模块分别与自动检查控制装置的捕获胶囊模块以及胶囊基本动作检查模块互联,反馈模块用于监测胶囊运动情况是否可控,即是否与外部机械手臂设定运动符合以及胶囊是否处于受机械手臂控制状态,根据胶囊内部磁传感器中的磁场数据来进行判断,若随着机械手臂运动,胶囊磁传感器中的磁场数据逐渐减少,则说胶囊运动不可控,该次机械手臂运动无效;反之,则说明胶囊运动可控并有效。
本发明提供了一种胶囊自动导航方法,如图3所示,包括如下步骤:
S1,待检人员吞服胶囊,并处于诊察床平躺状态,自动检查开始,系统复位,磁控装置中机械手臂复位到系统初始位置,接着自动运动到工作区,所谓工作区为诊察床与机械手臂预先设定好的用于自动检查患者的工作区域,捕获胶囊模块对胶囊进行捕获;
S2,利用姿态获取模块获取并调整胶囊姿态,寻找并识别解剖位置;
S3,结合位置识别模块进行导航,利用机械手臂带动磁体运动并牵引胶囊运动到指定解剖位置,并实时对胶囊运动状态进行实时监控和/或校正;
S4,控制胶囊对胃壁进行检查;
S5,调整胶囊姿态,寻找下一解剖位置;
S6,重复步骤S2至S5,直到完成所有解剖部位的检查;
S7,检查结束,系统复位。
在本实施方式中,解剖位置识别的方法为:
选取数据:选取胶囊已经拍摄的其运行区域不同位置的多张图像,每一张图像对应的运行区域位置可辨认且图像不带有拍摄时间先后顺序特征,具体可将所有图片顺序打乱,再由检测者进行分类,将不同位置的单张图片分别归类。
将选取的图像进行分类,并对分类后的图像添加表示其不同位置的标记,将标记后的图像分为训练集和测试集,所述训练集中图像和测试集中图像无重叠。
对位置识别网络模型进行预训练:采用自然场景数据进行网络模型权重初始化,在初始化基础上使用已有的包含海量样本的数据集训练调节网络权重,使深度网络适应各种自然场景的分类。
或者进一步对所述训练集和所述测试集中包含的图像进行预设角度旋转处理、图像增强处理、预设范围的图像平移处理、预设范围的图像剪切和预设范围的图像缩放处理。
然后,对位置识别网络模型逐层调节:采用预训练模型和训练集中不同位置图像对网络逐层调节训练,具体为先锁定模型的卷积层,训练全链接层,从上到下逐层放开卷积层进行训练,获得位置识别网络模型并设定为当前深度网络模型;
利用训练集对当前深度网络模型进行训练,利用测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别精度、灵敏度、特异性之一或它们的任意组合,判断识别精度、灵敏度、特异性是否符合预设要求,若是,则确定训练后的当前网络模型为完成训练的深度网络模型,若否,则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型,继续利用所述训练集对当前深度网络模型进行训练。具体利用所述训练集对当前深度网络模型进行训练,包括:将所述训练集中包含的图片组合成多个子训练集,其中每个子训练集包含的图片不完全相同;利用所述多个子训练集分别训练当前深度网络模型得到对应的多个深度网络模型,并利用所述测试集分别对该多个深度网络模型进行测试得到对应深度网络模型的识别精度,选取对应识别精度表明识别精度最高的深度网络模型为利用所述训练集对当前深度网络模型进行训练后的当前深度网络模型。
使用胶囊进行检查时,将胶囊内镜采集的图片输入至训练完成的深度网络模型,得到深度网络模型输出的该图片对应的位置。判断识别出的位置是否满足预设条件,若是,则保存该解剖位置,所述预设条件为每个位置对应的待检测图像张数,设定不同位置对应的待检图像张数不同。
如图4所示,假设病人吞服磁控胶囊后,出现在胃内随机位置A点,通过控制机械手臂的运动,带动体内胶囊先后移动至各个解剖位置,比如胃底、胃体、胃窦路线,对各个区的检查通过控制胶囊位于胃前壁和胃后壁位置,完成各个部位的基本检查动作,自动检查过程步骤如下,见图5所示:具体胶囊对胃壁进行检查的方法为:
S51,捕获胶囊,使胶囊贴近胃壁;
S52,调整机械手臂,使胶囊俯仰至少一次,当多次时,俯仰角度相同、全部不相同或不全部相同,并使胶囊镜头远离粘膜端;
S53,控制胶囊按照预定旋转角度进行旋转,并设置最多旋转周数;
S54,判断是否找到解剖位置,若否,则重复该步骤,直到寻找到解剖位置或者超过最多旋转周数,若超过最多旋转周数依然没找到解剖位置,则执行步骤S56;如果检测到,则执行步骤S55;
S55,停止旋转,判断胶囊所拍图片距离粘膜的远近,若距离大于阈值,则进入步骤S57,若否,则进入步骤S58;
S56,停止旋转,胶囊向着患者Y-或者Y+方向移动,移动一定步长,判断是否移动成功,如不成功,则向着患者左右两侧方向或者X+/X-方向移动,再向着Y-或者Y+方向移动,移动后跳转至步骤S53;
S57,胶囊向着当前解剖位置的方向运动,该步骤具体包含:
S571,目标方向确定后,设置机械手臂在目标方向上运动的步长,采用直线运动,或者平移拉动,或者翻滚运动的方式前行;
S572,确定运动是否有效的向着目标位置移动;运动完成后,跳转至步骤S53,否则重复S572,直到距离小于设定阈值;
S58,贴近该解剖位置完成检查动作;
S59,更换解剖位置,执行步骤S51至步骤S58,依次完成所有解剖位置的检查。
在本实施方式中,以待检测人员平躺在检查床上为例,头部为Y-方向,左右两侧分别为X+/X-方向,面朝方向为Z+方向。
在本实施方式中,控制器控制胶囊内镜在整个或部分人体内腔中的全部或者部分运行过程中跳跃式行进;在行进过程或者跳跃间隔中,胶囊内镜的镜头对内腔壁进行图像扫描。
在本发明的一种优选实施方式中,具体一种检测步骤为:
a)病人吞服胶囊,胶囊随机出现在胃内腔A点,系统复位并回到工作区,通过捕获胶囊模块,对胶囊进行捕获;
b)调整胶囊姿态,寻找解剖位置;
c)控制机械手臂带动磁体运动并牵引胶囊运动到指定解剖位置,并实时对胶囊运动状态进行实时监控和/或校正;
d)控制胶囊位于胃前壁和胃后壁(注意胶囊镜头均需要远离粘膜方向),对上述两位置实现基本检查动作,这里的基本检查动作包含俯仰不同设定角度并旋转360度;
e)调整胶囊姿态,寻找下一解剖位置;
f)重复运动及基本检查步骤,直到完成所有解剖部位的检查;
g)检查结束,系统复位。
本发明实施例中,以磁控胶囊自动检查的一种胃部运动路线来进行自动检查过程的详细说明,本实施采用胃底→贲门→胃体→胃窦→幽门方向控制胶囊运动,当然,其他检查路线也应当在本发明保护范围内。
以图6为例进行说明,本发明的磁控胶囊自动检查方法具体步骤如下:
1)机械手臂复位,回到原点位置;
2)机械手臂回到工作区;
3)自动寻找胶囊,并判断是否搜索到,如否,则继续寻找,若是,则下一步;
4)移动机械手臂沿着Z轴下降至下限位,捕获胶囊,使之上升,贴近胃前壁;
5)调整机械手臂,使胶囊俯视45度,并将胶囊镜头远离粘膜端;
6)控制胶囊旋转按照固定旋转角度进行旋转,并设置最多旋转周数,默认为2周;
7)判断是否找到胃底图片,若否,则重复步骤6),直到寻找到胃底或者超过2周,若超过2周依然没找到胃底,则进入第9)步骤;若是,则执行下一步;
8)停止旋转,判断距离是否大于阈值,判断胶囊所拍图片距离粘膜的远近,这里阈值为试验待定,若距离大于阈值,则进入步骤10),若否,则进入步骤11);
9)停止旋转,胶囊向着患者头部或者Y+方向移动,移动步长待定(判断是否移动成功,如不成功,则向着患者左右两侧方向或者X+/X-方向移动,再向着Y+方向移动),移动后跳转至步骤6);
10)胶囊向着当前胃底方向运动,该步骤具体包含:
10-1:目标方向确定后,设置机械手臂在目标方向上运动的步长,采用直线运动或者翻滚运动的方式前行均可,本实施例中采用平移拉动胶囊的方式前行;
10-2:确定运动是否有效的向着目标位置移动,运动是否有效的判断,是否被阻挡;
运动完成后,跳转至步骤6),重复,直到距离小于设定阈值;
11)完成基本检查动作,这里含有贴近前壁完成基本动作,然后升高z轴翻转胶囊180度,胶囊贴近后壁,镜头朝胃前壁,完成基本动作,其基本动作在本实施例中列举如下:
11-1:俯仰30度,旋转360度;
11-2:俯仰60度,旋转360度;
11-3:俯仰90度,旋转360度;
11-5:根据胶囊内磁场传感器数据分析来对胶囊每个动作是否完成的或者成功的判断,若否,则机械手臂需要回到上一位置,重新操作;
12)调整姿态,胶囊仰视45度,并将胶囊镜头远离粘膜端;
13)胶囊旋转;旋转角度试验待定,最多设置可以旋转2周;
14)判断是否为胃体图片,若是,则进入下一步,若否,则返回(13),直到旋转角度大于2周或者找到胃体图片,如旋转角度大于2周,则停止旋转,向着患者腿部方向移动;
15)判断粘膜距离是否大于阈值,若是,则胶囊向着胃体方向移动,若否,则完成基本检查动作,同步骤11);
16)调整姿态,胶囊俯视45度,并将胶囊镜头远离粘膜端;
17)胶囊旋转;旋转角度试验待定,最多设置可以旋转2周;
18)判断是否为胃窦图片,若是,则进入下一步,若否,则返回步骤13),直到旋转角度大于2周或者找到胃窦图片,如旋转角度大于2周,则停止旋转,向着y-方向移动;
19)判断粘膜距离是否大于阈值,若是,则胶囊向着胃窦方向移动,若否,则完成基本检查动作,同步骤11)。
在本实施方式中,判断胶囊所拍图片距离粘膜的远近的方法可以采用胶囊采集图片亮度与距离之间的对应关系来获得。例如申请人的专利申请CN201710146566.9中记载的技术方案。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
Claims (6)
1.一种胶囊自动导航系统,其特征在于,包括胶囊内镜控制器,所述胶囊内镜控制器包括自动检查控制装置;
还包括与自动检查控制装置电连接的磁控装置;
所述自动检查控制装置包括捕获胶囊模块、胶囊姿态获取模块、胶囊图像位置识别模块以及胶囊基本动作检查模块;
所述捕获胶囊模块用于捕捉胶囊,姿态获取模块用于获取胶囊姿态;胶囊图像位置识别模块用于对胶囊采集到的图片实时进行解剖位置的识别,胶囊基本动作检查模块用于控制胶囊基本动作;
所述磁控装置包括多自由度的机械手臂、带动机械手臂运动的电机以及永磁铁;
所述自动检查控制装置捕获胶囊位置,调整胶囊姿态并结合胶囊图像位置识别模块进行导航,自动检查控制装置控制机械手臂牵引胶囊运动到指定解剖位置,并在各个解剖位置完成检查,通过图像位置识别模块完成下一解剖位置的检查直到完成所有解剖位置的自动检查。
2.如权利要求1所述的胶囊自动导航系统,其特征在于,还包括反馈模块,所述反馈模块分别与自动检查控制装置的其他模块互联,反馈模块用于监测胶囊运动情况是否可控,即是否与外部机械手臂设定运动符合以及胶囊是否处于受机械手臂控制状态,根据胶囊内部磁传感器中的磁场数据来进行判断,若随着机械手臂运动,胶囊磁传感器中的磁场数据逐渐减少,则说明胶囊运动不可控,该次机械手臂运动无效;反之,则说明胶囊运动可控并有效。
3.一种胶囊自动导航方法,其特征在于,包括如下步骤:
S1,待检人员吞服胶囊,捕获胶囊模块对胶囊进行捕获;
S2,利用姿态获取模块获取并调整胶囊姿态,寻找并识别解剖位置;
S3,利用机械手臂带动磁体运动并牵引胶囊运动到指定解剖位置,并实时对胶囊运动状态进行实时监控和/或校正;
S4,控制胶囊对指定解剖位置的消化道壁进行检查;
S5,调整胶囊姿态,寻找下一解剖位置;
S6,重复步骤S2至S5,直到完成所有解剖部位的检查;
S7,检查结束,系统复位。
4.如权利要求3所述的胶囊自动导航方法,其特征在于,解剖位置的识别的方法为:
选取数据:选取胶囊已经拍摄的其运行区域不同位置的多张图像,每一张图像对应的运行区域位置可辨认且图像不带有拍摄时间先后顺序特征;
将选取的图像进行分类,并对分类后的图像添加表示其不同位置的标记,将标记后的图像分为训练集和测试集,所述训练集中图像和测试集中图像无重叠;
对位置识别网络模型进行预训练:采用自然场景数据进行网络模型权重初始化,在初始化基础上使用已有的包含海量样本的数据集训练调节网络权重,使深度网络适应各种自然场景的分类;
对位置识别网络模型逐层调节:采用预训练模型和训练集中不同位置图像对网络逐层调节训练,具体为先锁定模型的卷积层,训练全链接层,从上到下逐层放开卷积层进行训练,获得位置识别网络模型并设定为当前深度网络模型;
利用训练集对当前深度网络模型进行训练,利用测试集测试训练后的当前深度网络模型得到当前深度网络模型的识别精度、灵敏度、特异性之一或它们的任意组合,判断识别精度、灵敏度、特异性是否符合预设要求,若是,则确定训练后的当前网络模型为完成训练的深度网络模型,若否,则确定对训练后的当前深度网络模型进行调整后得到的深度网络模型为当前深度网络模型,继续利用所述训练集对当前深度网络模型进行训练;
使用胶囊进行检查时,将胶囊内镜采集的图片输入至训练完成的深度网络模型,得到深度网络模型输出的该图片对应的位置。
5.如权利要求3所述的胶囊自动导航方法,其特征在于,胶囊对消化道壁进行检查的方法为:
S51,捕获胶囊,使胶囊贴近消化道壁;
S52,调整机械手臂,使胶囊俯仰至少一次,当多次时,俯仰角度相同、全部不相同或不全部相同,并使胶囊镜头远离粘膜端;
S53,控制胶囊按照预定旋转角度进行旋转,并设置最多旋转周数;
S54,判断是否找到解剖位置,若否,则重复该步骤,直到寻找到解剖位置或者超过最多旋转周数,若超过最多旋转周数依然没找到解剖位置,则执行步骤S56;如果检测到,则执行步骤S55;
S55,停止旋转,判断胶囊所拍图片距离粘膜的远近,若距离大于阈值,则进入步骤S57,若否,则进入步骤S58;
S56,停止旋转,胶囊向着患者Y-或者Y+方向移动,移动一定步长,判断是否移动成功,如不成功,则向着患者左右两侧方向或者X+/X-方向移动,再向着Y-或者Y+方向移动,移动后跳转至步骤S53;
S57,胶囊向着当前解剖位置的方向运动,该步骤具体包含:
S571,目标方向确定后,设置机械手臂在目标方向上运动的步长,采用直线运动,或者平移拉动,或者翻滚运动的方式前行;
S572,确定运动是否有效的向着目标位置移动;运动完成后,跳转至步骤S53,否则重复S572,直到距离小于设定阈值;
S58,贴近该解剖位置完成检查动作;
S59,更换解剖位置,执行步骤S51至步骤S58,依次完成所有解剖位置的检查。
6.如权利要求3所述的胶囊自动导航方法,其特征在于,控制器控制胶囊内镜在整个或部分人体内腔中的全部或者部分运行过程中跳跃式行进;在行进过程或者跳跃间隔中,胶囊内镜的镜头对内腔壁进行图像扫描。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910140363.8A CN109846444A (zh) | 2019-02-26 | 2019-02-26 | 一种胶囊自动导航系统及导航方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910140363.8A CN109846444A (zh) | 2019-02-26 | 2019-02-26 | 一种胶囊自动导航系统及导航方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109846444A true CN109846444A (zh) | 2019-06-07 |
Family
ID=66898984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910140363.8A Pending CN109846444A (zh) | 2019-02-26 | 2019-02-26 | 一种胶囊自动导航系统及导航方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109846444A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110811497A (zh) * | 2019-12-06 | 2020-02-21 | 深圳市资福医疗技术有限公司 | 一种胶囊内窥镜的控制方法及应用其的胶囊内窥镜 |
CN111227768A (zh) * | 2020-01-16 | 2020-06-05 | 重庆金山医疗技术研究院有限公司 | 一种内窥镜的导航控制方法及装置 |
CN112075914A (zh) * | 2020-10-14 | 2020-12-15 | 深圳市资福医疗技术有限公司 | 胶囊内窥镜检查系统 |
WO2021139672A1 (zh) * | 2020-01-07 | 2021-07-15 | 日本电气株式会社 | 医疗辅助操作方法、装置、设备和计算机存储介质 |
CN114913173A (zh) * | 2022-07-15 | 2022-08-16 | 天津御锦人工智能医疗科技有限公司 | 内镜辅助检查系统、方法、装置及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040015053A1 (en) * | 2000-05-22 | 2004-01-22 | Johannes Bieger | Fully-automatic, robot-assisted camera guidance susing positions sensors for laparoscopic interventions |
US20120289780A1 (en) * | 2009-11-17 | 2012-11-15 | Laszlo Farkas | Intralumen medical delivery vessel propelled by superconductive repulsion-levitation magnetic fields |
CN106691366A (zh) * | 2016-12-13 | 2017-05-24 | 重庆金山医疗器械有限公司 | 一种可控胶囊内镜的控制方法 |
CN106725272A (zh) * | 2016-12-21 | 2017-05-31 | 重庆金山医疗器械有限公司 | 胶囊内窥镜在生物腔体内的自动扫描方法 |
CN109091098A (zh) * | 2017-10-27 | 2018-12-28 | 重庆金山医疗器械有限公司 | 磁控胶囊式内窥镜诊查系统 |
-
2019
- 2019-02-26 CN CN201910140363.8A patent/CN109846444A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040015053A1 (en) * | 2000-05-22 | 2004-01-22 | Johannes Bieger | Fully-automatic, robot-assisted camera guidance susing positions sensors for laparoscopic interventions |
US20120289780A1 (en) * | 2009-11-17 | 2012-11-15 | Laszlo Farkas | Intralumen medical delivery vessel propelled by superconductive repulsion-levitation magnetic fields |
CN106691366A (zh) * | 2016-12-13 | 2017-05-24 | 重庆金山医疗器械有限公司 | 一种可控胶囊内镜的控制方法 |
CN106725272A (zh) * | 2016-12-21 | 2017-05-31 | 重庆金山医疗器械有限公司 | 胶囊内窥镜在生物腔体内的自动扫描方法 |
CN109091098A (zh) * | 2017-10-27 | 2018-12-28 | 重庆金山医疗器械有限公司 | 磁控胶囊式内窥镜诊查系统 |
Non-Patent Citations (1)
Title |
---|
孙桂杰 等: ""磁控胶囊内镜在体检中心疾病筛查应用"", 《黑龙江中医药》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110811497A (zh) * | 2019-12-06 | 2020-02-21 | 深圳市资福医疗技术有限公司 | 一种胶囊内窥镜的控制方法及应用其的胶囊内窥镜 |
WO2021109408A1 (zh) * | 2019-12-06 | 2021-06-10 | 深圳市资福医疗技术有限公司 | 一种胶囊内窥镜的控制方法及应用其的胶囊内窥镜 |
WO2021139672A1 (zh) * | 2020-01-07 | 2021-07-15 | 日本电气株式会社 | 医疗辅助操作方法、装置、设备和计算机存储介质 |
JP2023509075A (ja) * | 2020-01-07 | 2023-03-06 | 日本電気株式会社 | 医療支援操作方法、デバイス及びコンピュータプログラム製品 |
JP7517430B2 (ja) | 2020-01-07 | 2024-07-17 | 日本電気株式会社 | 医療支援操作デバイス及びコンピュータプログラム製品 |
CN111227768A (zh) * | 2020-01-16 | 2020-06-05 | 重庆金山医疗技术研究院有限公司 | 一种内窥镜的导航控制方法及装置 |
CN112075914A (zh) * | 2020-10-14 | 2020-12-15 | 深圳市资福医疗技术有限公司 | 胶囊内窥镜检查系统 |
CN114913173A (zh) * | 2022-07-15 | 2022-08-16 | 天津御锦人工智能医疗科技有限公司 | 内镜辅助检查系统、方法、装置及存储介质 |
WO2024012080A1 (zh) * | 2022-07-15 | 2024-01-18 | 天津御锦人工智能医疗科技有限公司 | 内镜辅助检查系统、方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109846444A (zh) | 一种胶囊自动导航系统及导航方法 | |
CN103370001B (zh) | 基于体内捕捉的图像流自动导航胶囊的系统和方法 | |
CN101351147B (zh) | 被检体内导入系统以及被检体内导入装置的引导方法 | |
US9460536B2 (en) | Endoscope system and method for operating endoscope system that display an organ model image to which an endoscopic image is pasted | |
CN109091098A (zh) | 磁控胶囊式内窥镜诊查系统 | |
US8353816B2 (en) | Endoscopy system and method therefor | |
CN211749479U (zh) | 胶囊内窥镜系统 | |
JP5750669B2 (ja) | 内視鏡システム | |
CN101053517A (zh) | 一种跟踪体内微型装置的方法及系统 | |
CN112998630B (zh) | 胶囊内窥镜的完备性自检方法、电子设备及可读存储介质 | |
JP2007195961A (ja) | 被検体内導入システム | |
CN103705241B (zh) | 具有电极的活体内胶囊装置 | |
CN102436665A (zh) | 消化道图像二维平面表示方法 | |
CN113017544B (zh) | 胶囊内窥镜的分区完备性自检方法、设备及可读存储介质 | |
JP2012228346A (ja) | 画像表示装置 | |
CN110505383B (zh) | 一种图像获取方法、图像获取装置及内窥镜系统 | |
CN209059133U (zh) | 基于图像识别的可控胶囊式内窥镜诊查系统 | |
US20240013389A1 (en) | Medical information processing apparatus, endoscope system, medical information processing method, and medical information processing program | |
CN108460820B (zh) | 基于图像反馈的微型移动设备控制装置和方法 | |
WO2019207740A1 (ja) | 移動支援システム及び移動支援方法 | |
US20240180409A1 (en) | Capsule endoscope system and its magnetic positioning method | |
CN113545731B (zh) | 胶囊内窥镜系统 | |
CN108185976A (zh) | 一种胶囊内镜的控制方法、装置及可读存储介质 | |
Abu-Kheil et al. | Trajectory analysis of endoscopic capsule images: A feasibility study | |
Li et al. | Simulation of manual and automatic navigation of magnetically controlled wireless capsule endoscopy examination of human gastric |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210903 Address after: 401120 1-1, 2-1, 3-1, building 5, No. 18, Cuiping Lane 2, Huixing street, Yubei District, Chongqing Applicant after: Chongqing Jinshan Medical Technology Research Institute Co.,Ltd. Address before: 401120 1 office buildings, Jinshan International Industrial City, 18 of Nei sang Road, Hui Xing street, Yubei District, Chongqing. Applicant before: CHONGQING JINSHAN MEDICAL APPLIANCE Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190607 |
|
RJ01 | Rejection of invention patent application after publication |