CN108460820B - 基于图像反馈的微型移动设备控制装置和方法 - Google Patents

Abstract

本发明提供了一种基于图像反馈信息控制微型移动设备运动的装置和方法，所述装置包括：移动设备模块，集成相机模组和磁体；图像显示模块，显示图像信息；计算处理模块，计算处理并存储数据；运动执行模块，移动引导磁体；引导磁体，产生引导内嵌磁体的磁场；磁场感应模块，感应磁体信息；所述方法：移动设备模块捕捉当前图像信息；操作者根据图像信息估计移动设备到达目的观测点所需的运动期望值；计算机根据映射表将内嵌磁体的运动期望值转为引导磁体的运动指令，操作者根据运动指令控制引导磁体运动，使移动设备到达期望观测点。本发明提供的根据图像反馈信息利用磁场控制微型移动设备的方法，可使该移动设备在复杂环境中完成期望的运动。

Description

基于图像反馈的微型移动设备控制装置和方法

技术领域

本发明属于胶囊内窥镜技术领域，具体涉及一种基于图像反馈的微型移动设备的控制装置和方法。

背景技术

胶囊内窥镜在检测胃肠道疾病特别是肠道疾病方面显示出了极大的优势，克服了传统插入式内窥镜存在检测盲区和易造成组织损伤的缺陷。但是，到目前为止，商业化的胶囊内窥镜都是靠肠道蠕动和自身重力驱动，在诸多方面存在不足。第一，胶囊内窥镜在肠道内的位置与姿态不受控制，在肠道内拍摄图像属随机行为，不具针对性和选择性，不能对可疑病灶进行重点观察。第二，胶囊内窥镜主要依靠消化系统蠕动波向前移行，且供给相机的电池容量有限。移行速度太慢则检查费时过长以致无法完成全肠道检查，从而使肠道疾病的检出率下降；移行速度过快(如肠道有蠕动脉冲时)可能无法发现或明确是否存在肠道病变。第三，不能控制器官内胶囊内窥镜的移动和方向，不能观察盲区如褶皱后和弯曲处，变换过程中易出现漏检。

发明内容

为了解决上述技术问题，本发明提供一种基于图像反馈的微型移动设备的控制装置和方法，使微型移动设备能在复杂环境中完成期望的运动。

实现本发明的技术方案如下：

一种基于图像反馈的微型移动设备控制装置包括七个模块：移动设备模块、运动执行模块、磁场感应模块、用户接口模块、计算处理模块、图像显示模块和引导磁体，其中，移动设备模块与计算处理模块通过无线网络互连；

引导磁体用于产生可引导内嵌磁体的磁场；

移动设备模块主要由相机模组和内嵌磁体构成，所述相机模组负责实时采集肠道内部图像信息，采集的图像通过无线网络实时传输给计算机处理模块；

运动执行模块主要由机械设备和位姿传感器构成，操作人员按照运动指令控制机械设备负责带动引导磁体移动，所述位姿传感器用于感应引导磁体位姿信息，并将其传输给计算处理模块；

磁场感应模块用于感应内嵌磁体位姿信息，并将其传输给计算处理模块；

计算处理模块事先存储了内嵌磁体和引导磁体的运动关系映射表；该模块根据肠道内部图像信息进行三维地图重构，生成肠道内部三维地图重构图像；该模块根据内嵌磁体位姿信息和引导磁体位姿信息生成引导磁体-内嵌磁体相对位姿图像，同时获得引导磁体与内嵌磁体之间实际的相对位姿；该模块根据引导磁体与内嵌磁体之间的实际相对位姿和运动期望值查询运动关系映射表得到引导磁体的运动指令；

用户接口模块接收外部输入的内嵌磁体的运动期望值并传输给计算处理模块；接收计算处理模块传输过来的引导磁体的运动指令并显示；

图像显示模块用于实时显示计算处理模块传输过来的肠道内部实时采集图像、引导磁体-内嵌磁体相对位姿图像和肠道内部三维地图重构图像。

进一步地，本发明所述内嵌磁体为圆柱形，且沿移动设备主轴方向磁化；引导磁体为圆柱形，且沿径向磁化。

进一步地，本发明所述引导磁体固联在机械设备末端，可以完成沿机械设备末端坐标轴的平移运动和绕各坐标轴的旋转运动，所述位姿传感器位于机械设备末端。

进一步地，本发明所述位姿信息包括位置信息、俯仰角、偏航角；所述相对位姿包括相对距离d、相对俯仰角θ和相对偏航角

所述运动期望值包括沿主轴方向的平移期望值ΔL、俯仰期望值Δθ和偏航期望值

每次输入的三个期望值要求有且仅有一个期望值有有效数值，其余期望值均为0。

进一步地，本发明所述引导磁体的运动指令包括引导磁体沿各坐标轴的平移运动指令和绕各坐标轴的旋转运动指令；所述运动关系映射表包括三个子表：平移运动关系表、俯仰运动关系表、偏航运动关系表，每个子表均为二维表，且均为m行n列，在平移运动关系表中，每一相对位姿

和每一平移期望值ΔL_j组成一组，每组对应一个运动指令(△X_M,△Y_M,△Z_M,△α_M,△β_M,△γ_M)，其中，△X_M为沿x轴平移距离，△Y_M为沿y轴平移距离，△Z_M为沿z轴平移距离，△α_M为绕x轴旋转角度，△β_M为绕y轴旋转角度，△γ_M为绕z轴旋转角度；在俯仰运动关系表中，每一相对位姿

和每一俯仰期望值Δθ_j组成一组，每组对应一个运动指令，在偏航运动关系表中，每一相对位姿

和每一偏航期望值

组成一组，每组对应一个运动指令；其中i＝1，2......n，j＝1，2.....m；

表1平移运动关系表

表2俯仰运动关系表

表3偏航运动关系表

进一步地，计算处理模块得到引导磁体的运动指令的方式为：

先根据运动期望值选取相应的子表：当

时选取平移运动关系表，当

时选取俯仰运动关系表，当Δθ＝0&&ΔL＝0时选取偏航运动关系表；

然后根据表格中的运动期望值和相对位姿以及用户输入的运动期望值和实际的相对位姿算出误差值f_ij，选取最小的f_ij对应的表格项，其中f_ij的求取公式如下：

其中带上标“′”的参数为表格中的运动期望值和引导磁体与内嵌磁体之间的相对位姿，不带上标“′”的参数为用户输入的运动期望值和引导磁体与内嵌磁体之间实际的相对位姿。

一种基于图像反馈的微型移动设备控制方法，具体步骤如下：

步骤一：在正式使用前进行大量实验，根据实验结果获得引导磁体与内嵌磁体间的相对运动关系，得到该运动关系映射表，运动关系映射表包括三个子表：俯仰运动关系表、偏航运动关系表、平移运动关系表，将运动关系映射表存入计算处理模块；

步骤二：移动设备模块实时采集肠道内部图像信息，并将采集的图像通过无线网络实时传输给计算机处理模块；同时，磁场感应模块感应得到内嵌磁体位姿信息，并将该信息实时传输给计算处理模块；位姿传感器感应得到引导磁体位姿信息，并将该信息实时传输给计算处理模块；

步骤三：计算处理模块根据接收的肠道内部图像信息进行三维地图重构，生成肠道内部三维地图重构图像；计算处理模块还根据引导磁体位姿信息和内嵌磁体位姿信息生成引导磁体-内嵌磁体相对位姿图像，同时算出引导磁体与内嵌磁体实际的相对位姿；计算处理模块将当前帧肠道内部图像信息、肠道内部三维地图重构图像和引导磁体-内嵌磁体相对位姿图像传输给图像显示模块显示；

步骤四：根据当前显示的图像信息以及期望观测的部位，估计内嵌磁体下一步应该完成的运动期望值，并输入给计算处理模块，所述运动期望值包括平移期望值、俯仰期望值和偏航期望值；

步骤五：计算机处理模块根据输入的运动期望值，从运动关系映射表中选取相应的子表，根据运动期望值和引导磁体与内嵌磁体之间实际的相对位姿，查表可获得对应的引导磁体的运动指令；

步骤六：根据获得的运动指令，操作人员控制机械设备末端运动，使得引导磁体实现沿坐标轴的平移运动和绕坐标轴的旋转运动，从而带动内嵌磁体运动到距离期望观测部位更近一步的位置。

进一步地，本发明所述内嵌磁体位姿信息由磁场感应模块通过磁传感器阵列定位方法获得；所述肠道内部三维地图重构图像是由计算处理模块根据SFS方法构建的。

有效益处：

本发明提供的微型移动设备控制装置与方法，能够实现对胶囊内窥镜在肠道内位姿的主动控制，其有效益处包括以下几个方面：

第一、根据移动设备模块获得的肠道内部图像信息，利用引导磁体控制移动设备模块运动，主动对可疑病灶部位进行重点观察，具有针对性和选择性，可提高诊断质量；

第二、利用外部引导磁体带动内嵌磁体运动，可主动控制胶囊内窥镜的移动方向，能观测褶皱后、弯曲处等盲区，降低漏检概率；

第三、该装置根据观测区情况，利用外部引导磁体带动内嵌磁体运动，主动控制内窥镜的移动速度，提高诊断质量；

第四、不需要依靠消化系统蠕动波向前移行，可由引导磁体主动控制胶囊移动速度，无需考虑电池容量限制，可完成全肠道的检查，实现诊断的完整性。

附图说明

图1基于图像反馈的微型移动设备控制装置结构；

图2基于图像反馈的微型移动设备控制方法；

其中,(a)为引导磁体与胶囊的相对距离；(b)为在引导磁体的拖动下，胶囊在肠道中的平移；

图3基于图像反馈的微型移动设备控制示意图。

实施方式

下面结合附图并举实施例，对本发明进行详细描述，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

一种基于图像反馈的微型移动设备控制装置如图1所示，包括七个模块：移动设备模块、运动执行模块、磁场感应模块、用户接口模块、计算处理模块、图像显示模块和引导磁体，其中，移动设备模块与计算处理模块通过无线网络互连；

引导磁体用于产生可引导内嵌磁体的磁场；

移动设备模块主要由相机模组和内嵌磁体构成，所述相机模组负责实时采集肠道内部图像信息，采集的图像通过无线网络实时传输给计算机处理模块；

运动执行模块主要由机械设备和位姿传感器构成，所述机械设备负责带动引导磁体移动，所述位姿传感器位于机械设备末端，用于感应得到引导磁体位姿信息，并将其传输给计算处理模块；

磁场感应模块用于感应内嵌磁体位姿信息，并将其传输给计算处理模块；

计算处理模块事先存储了内嵌磁体和引导磁体之间的运动关系映射表；该模块根据肠道内部图像信息进行三维地图重构，生成肠道内部三维地图重构图像；该模块还根据内嵌磁体位姿信息和引导磁体位姿信息生成引导磁体-内嵌磁体相对位姿图像，同时获得引导磁体与内嵌磁体之间实际的相对位姿；除此之外，该模块根据引导磁体与内嵌磁体之间的实际相对位姿和运动期望值查询运动关系映射表可得到引导磁体的运动指令；

用户接口模块接收外部输入的内嵌磁体的运动期望值并传输给计算处理模块；接收计算处理模块传输过来的引导磁体的运动指令并显示；

图像显示模块用于实时显示计算处理模块传输过来的肠道内部实时采集图像、引导磁体-内嵌磁体相对位姿图像和肠道内部三维地图重构图像。

实施例2：

在实施例1的基础上，基于图像反馈的微型移动设备控制方法如图2所示，包括以下步骤：

步骤一：根据实验获得的引导磁体与内嵌磁体间的相对运动关系，建立运动关系映射表，运动关系映射表包括三个子表：平移运动关系表、俯仰运动关系表、偏航运动关系表，如表1、表2和表3所示，每个子表均为m行n列，每个子表均为二维表，且均为m行n列，在平移运动关系表中，每一相对位姿

和每一平移期望值ΔL_j组成一组，每组对应一个运动指令(△X_M,△Y_M,△Z_M,△α_M,△β_M,△γ_M)，其中，△X_M为沿x轴平移距离，△Y_M为沿y轴平移距离，△Z_M为沿z轴平移距离，△α_M为绕x轴旋转角度，△β_M为绕y轴旋转角度，△γ_M为绕z轴旋转角度；在俯仰运动关系表中，每一相对位姿

和每一俯仰期望值Δθ_j组成一组，每组对应一个运动指令；在偏航运动关系表中，每一相对位姿

和每一偏航期望值

组成一组，每组对应一个运动指令；其中i＝1，2......n，j＝1，2.....m；表1、2、3分别显示了，在引导磁体与胶囊不同相对位姿下，实现平移、俯仰、偏航指令的运动关系映射子表:

表1平移运动关系表

表2俯仰运动关系表

表3偏航运动关系表

步骤二：移动设备模块实时采集肠道内部图像信息，并将采集的图像通过无线网络实时传输给计算机处理模块；同时，磁场感应模块感应得到内嵌磁体位姿信息，并将该信息实时传输给计算处理模块；运动执行模块的位姿传感器感应得到引导磁体位姿信息，并将该信息实时传输给计算处理模块。

步骤三：将移动设备模块集成的相机模组捕捉到的帧图像通过无线网络实时发送给计算处理模块，计算机处理模块根据接收到的全部图像进行胃肠道内部三维重构；除此之外，计算机处理模块还根据引导磁体位姿信息和内嵌磁体位姿信息生成引导磁体-内嵌磁体相对位姿图像，同时算出引导磁体与内嵌磁体之间的实际相对位姿。

步骤四：将移动设备模块集成的相机模组捕捉到的当前帧图像显示在图像显示模块第一部分，将磁体-胶囊相对位姿显示在图像显示模块第二部分，将肠道内部三维重构图像显示在图像显示模块第三部分。

步骤五：操作者(通常为专业医务人员)根据显示模块显示的实时胃肠道图像和引导磁体与胶囊的实际相对位姿(相对距离d，相对俯仰角θ，相对偏航角

)，判断下一步观测部位，估计出胶囊的运动期望值(期望的平移距离ΔL、期望的俯仰角度Δθ和期望的偏航角度

)并通过用户接口模块输入。

步骤六：计算机处理模块根据用户输入的运动期望值

从运动关系映射表中选取相应的子表，选取规则如下：当

时选取平移运动关系表；当

时选取俯仰运动关系表；当Δθ＝0&&ΔL＝0时选取偏航运动关系表，查询选取的子表就可以得到引导磁体的运动指令。查表方式如下：根据表格中的运动期望值和相对位姿以及用户输入的运动期望值和实际的相对位姿算出误差值f_ij，选取最小的f_ij对应的表格项，其中f_ij的求取公式如下：

其中带上标“′”的参数为表格中的运动期望值和引导磁体与内嵌磁体之间的相对位姿，不带上标“′”的参数为用户输入的运动期望值和引导磁体与内嵌磁体之间实际的相对位姿。

步骤七：根据查询得到的引导磁体运动指令，操作者通过接口设备操作机械臂，从而带动引导磁体移动，胶囊在引导磁铁的作用下被拖动到目标位置。

实施例3：

在实施例1的基础上，基于图像反馈的微型移动设备控制方法如图3所示，包括以下步骤：

集成相机模组和内嵌磁体的胶囊，在肠道内部沿着胶囊主轴方向移动。相机模组可观察该胶囊主轴方向上前方的图像，内嵌磁体为圆柱形磁体，自身主轴方向与胶囊主轴方向相同，且沿主轴方向磁化。

将移动设备模块集成的相机模组捕捉到的帧图像通过无线网络实时发送给计算处理模块，计算机处理模块根据接收到的全部图像进行胃肠道内部三维重构；除此之外，计算机处理模块还根据引导磁体位姿和内嵌磁体位姿算出引导磁体-内嵌磁体相对位姿。

图像显示模块显示了相机模组捕捉到的图像信息、引导磁体-内嵌磁体相对位姿和肠道内部三维重构图像。

操作者依据工作站上显示的肠道图像、引导磁体-内嵌磁体相对位姿、肠道内部三维重构图像判断磁性胶囊下一步的位置与姿态，计算处理模块通过查询预先建立的引导磁体与内嵌磁体运动关系表，计算出使胶囊达到目标位姿所需的引导磁体的运动指令。

操作者通过控制患者体外机械臂的运动而控制引导磁铁的运动，胶囊内窥镜在引导磁铁的作用下调整其与肠道的相对方位并向前运动一段距离。

重复执行上述操作，磁性胶囊就可以通过其视觉引导被操纵着在肠道内行走与疾病检查。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于图像反馈的微型移动设备控制装置，其特征在于，包括七个模块：移动设备模块、运动执行模块、磁场感应模块、用户接口模块、计算处理模块、图像显示模块和引导磁体，其中，移动设备模块与计算处理模块通过无线网络互连；

引导磁体用于产生可引导内嵌磁体的磁场；

移动设备模块主要由相机模组和内嵌磁体构成，所述相机模组负责实时采集肠道内部图像信息，采集的图像通过无线网络实时传输给计算机处理模块；

运动执行模块主要由机械设备和位姿传感器构成，操作人员按照运动指令控制机械设备负责带动引导磁体移动，所述位姿传感器用于感应引导磁体位姿信息，并将其传输给计算处理模块；

磁场感应模块用于感应内嵌磁体位姿信息，并将其传输给计算处理模块；

计算处理模块事先存储了内嵌磁体和引导磁体的运动关系映射表；该模块根据肠道内部图像信息进行三维地图重构，生成肠道内部三维地图重构图像；该模块根据内嵌磁体位姿信息和引导磁体位姿信息生成引导磁体-内嵌磁体相对位姿图像，同时获得引导磁体与内嵌磁体之间实际的相对位姿；该模块根据引导磁体与内嵌磁体之间的实际相对位姿和运动期望值查询运动关系映射表得到引导磁体的运动指令；

用户接口模块接收外部输入的内嵌磁体的运动期望值并传输给计算处理模块；接收计算处理模块传输过来的引导磁体的运动指令并显示；

图像显示模块用于实时显示计算处理模块传输过来的肠道内部实时采集图像、引导磁体-内嵌磁体相对位姿图像和肠道内部三维地图重构图像。

2.根据权利要求1所述的一种基于图像反馈的微型移动设备控制装置，其特征在于，所述内嵌磁体为圆柱形，且沿移动设备主轴方向磁化；引导磁体为圆柱形，且沿径向磁化。

3.根据权利要求1所述的一种基于图像反馈的微型移动设备控制装置，其特征在于，所述引导磁体固联在机械设备末端，可以完成沿机械设备末端坐标轴的平移运动和绕各坐标轴的旋转运动，所述位姿传感器位于机械设备末端。

4.根据权利要求1所述的一种基于图像反馈的微型移动设备控制装置，其特征在于，所述位姿信息包括位置信息、俯仰角、偏航角；所述相对位姿包括相对距离d、相对俯仰角θ和相对偏航角

所述运动期望值包括沿主轴方向的平移期望值ΔL、俯仰期望值Δθ和偏航期望值

每次输入的三个期望值要求有且仅有一个期望值有有效数值，其余期望值均为0。

5.根据权利要求4所述的一种基于图像反馈的微型移动设备控制装置，其特征在于，所述引导磁体的运动指令包括引导磁体沿各坐标轴的平移运动指令和绕各坐标轴的旋转运动指令；所述运动关系映射表包括三个子表：平移运动关系表、俯仰运动关系表、偏航运动关系表，每个子表均为二维表，且均为m行n列，在平移运动关系表中，每一相对位姿

和每一平移期望值ΔL_j组成一组，每组对应一个运动指令(△X_M,△Y_M,△Z_M,△α_M,△β_M,△γ_M)，其中，△X_M为沿x轴平移距离，△Y_M为沿y轴平移距离，△Z_M为沿z轴平移距离，△α_M为绕x轴旋转角度，△β_M为绕y轴旋转角度，△γ_M为绕z轴旋转角度；在俯仰运动关系表中，每一相对位姿

和每一俯仰期望值Δθ_j组成一组，每组对应一个运动指令；在偏航运动关系表中，每一相对位姿

和每一偏航期望值

组成一组，每组对应一个运动指令；其中i＝1,2……n,j＝1,2……m；所述平移运动关系表、俯仰运动关系表、偏航运动关系表如表1、表2、表3所示：

表1平移运动关系表

表2俯仰运动关系表

表3偏航运动关系表

6.根据权利要求5所述的一种基于图像反馈的微型移动设备控制装置，其特征在于，计算处理模块得到引导磁体的运动指令的方式为：

先根据运动期望值选取相应的子表：当

时选取平移运动关系表，当

时选取俯仰运动关系表，当Δθ＝0&&ΔL＝0时选取偏航运动关系表；

然后根据表格中的运动期望值和相对位姿以及用户输入的运动期望值和实际的相对位姿算出误差值f_ij，选取最小的f_ij对应的表格项，其中f_ij的求取公式如下：

其中带上标“′”的参数为表格中的运动期望值和引导磁体与内嵌磁体之间的相对位姿，不带上标“′”的参数为用户输入的运动期望值和引导磁体与内嵌磁体之间实际的相对位姿。

7.一种基于图像反馈的微型移动设备控制方法，其特征在于，具体步骤如下：

步骤一：在正式使用前进行大量实验，根据实验结果获得引导磁体与内嵌磁体间的相对运动关系，得到该运动关系映射表，运动关系映射表包括三个子表：俯仰运动关系表、偏航运动关系表、平移运动关系表，将运动关系映射表存入计算处理模块；

步骤二：移动设备模块实时采集肠道内部图像信息，并将采集的图像通过无线网络实时传输给计算机处理模块；同时，磁场感应模块感应得到内嵌磁体位姿信息，并将该信息实时传输给计算处理模块；位姿传感器感应得到引导磁体位姿信息，并将该信息实时传输给计算处理模块；

步骤三：计算处理模块根据接收的肠道内部图像信息进行三维地图重构，生成肠道内部三维地图重构图像；计算处理模块还根据引导磁体位姿信息和内嵌磁体位姿信息生成引导磁体-内嵌磁体相对位姿图像，同时算出引导磁体与内嵌磁体实际的相对位姿；计算处理模块将当前帧肠道内部图像信息、肠道内部三维地图重构图像和引导磁体-内嵌磁体相对位姿图像传输给图像显示模块显示；

步骤四：根据当前显示的图像信息以及期望观测的部位，估计内嵌磁体下一步应该完成的运动期望值，并输入给计算处理模块，所述运动期望值包括平移期望值、俯仰期望值和偏航期望值；

步骤五：计算机处理模块根据输入的运动期望值，从运动关系映射表中选取相应的子表，根据运动期望值和引导磁体与内嵌磁体之间实际的相对位姿，查表可获得对应的引导磁体的运动指令；

步骤六：根据获得的运动指令，操作人员控制机械设备末端运动，使得引导磁体实现沿坐标轴的平移运动和绕坐标轴的旋转运动，从而带动内嵌磁体运动到距离期望观测部位更近一步的位置。

8.根据权利要求7所述的一种基于图像反馈的微型移动设备控制方法，其特征在于，内嵌磁体位姿信息由磁场感应模块通过磁传感器阵列定位方法获得；肠道内部三维地图重构图像是由计算处理模块根据SFS方法构建的。

Images