CN108460820A - 基于图像反馈的微型移动设备控制装置和方法 - Google Patents

基于图像反馈的微型移动设备控制装置和方法 Download PDF

Info

Publication number
CN108460820A
CN108460820A CN201810082803.4A CN201810082803A CN108460820A CN 108460820 A CN108460820 A CN 108460820A CN 201810082803 A CN201810082803 A CN 201810082803A CN 108460820 A CN108460820 A CN 108460820A
Authority
CN
China
Prior art keywords
magnet
movement
image
module
desired value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810082803.4A
Other languages
English (en)
Other versions
CN108460820B (zh
Inventor
李敬
吴磊
黄强
张沛森
保罗·达里奥
加斯托内·丘蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201810082803.4A priority Critical patent/CN108460820B/zh
Publication of CN108460820A publication Critical patent/CN108460820A/zh
Application granted granted Critical
Publication of CN108460820B publication Critical patent/CN108460820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供了一种基于图像反馈信息控制微型移动设备运动的装置和方法，所述装置包括：移动设备模块，集成相机模组和磁体；图像显示模块，显示图像信息；计算处理模块，计算处理并存储数据；运动执行模块，移动引导磁体；引导磁体，产生引导内嵌磁体的磁场；磁场感应模块，感应磁体信息；所述方法：移动设备模块捕捉当前图像信息；操作者根据图像信息估计移动设备到达目的观测点所需的运动期望值；计算机根据映射表将内嵌磁体的运动期望值转为引导磁体的运动指令，操作者根据运动指令控制引导磁体运动，使移动设备到达期望观测点。本发明提供的根据图像反馈信息利用磁场控制微型移动设备的方法，可使该移动设备在复杂环境中完成期望的运动。

Description

基于图像反馈的微型移动设备控制装置和方法
技术领域
本发明属于胶囊内窥镜技术领域，具体涉及一种基于图像反馈的微型移动设备的控制装置和方法。
背景技术
胶囊内窥镜在检测胃肠道疾病特别是肠道疾病方面显示出了极大的优势，克服了传统插入式内窥镜存在检测盲区和易造成组织损伤的缺陷。但是，到目前为止，商业化的胶囊内窥镜都是靠肠道蠕动和自身重力驱动，在诸多方面存在不足。第一，胶囊内窥镜在肠道内的位置与姿态不受控制，在肠道内拍摄图像属随机行为，不具针对性和选择性，不能对可疑病灶进行重点观察。第二，胶囊内窥镜主要依靠消化系统蠕动波向前移行，且供给相机的电池容量有限。移行速度太慢则检查费时过长以致无法完成全肠道检查，从而使肠道疾病的检出率下降；移行速度过快(如肠道有蠕动脉冲时)可能无法发现或明确是否存在肠道病变。第三，不能控制器官内胶囊内窥镜的移动和方向，不能观察盲区如褶皱后和弯曲处，变换过程中易出现漏检。
发明内容
为了解决上述技术问题，本发明提供一种基于图像反馈的微型移动设备的控制装置和方法，使微型移动设备能在复杂环境中完成期望的运动。
实现本发明的技术方案如下：
一种基于图像反馈的微型移动设备控制装置包括七个模块：移动设备模块、运动执行模块、磁场感应模块、用户接口模块、计算处理模块、图像显示模块和引导磁体，其中，移动设备模块与计算处理模块通过无线网络互连；
引导磁体用于产生可引导内嵌磁体的磁场；
移动设备模块主要由相机模组和内嵌磁体构成，所述相机模组负责实时采集肠道内部图像信息，采集的图像通过无线网络实时传输给计算机处理模块；
运动执行模块主要由机械设备和位姿传感器构成，操作人员按照运动指令控制机械设备负责带动引导磁体移动，所述位姿传感器用于感应引导磁体位姿信息，并将其传输给计算处理模块；
磁场感应模块用于感应内嵌磁体位姿信息，并将其传输给计算处理模块；
计算处理模块事先存储了内嵌磁体和引导磁体的运动关系映射表；该模块根据肠道内部图像信息进行三维地图重构，生成肠道内部三维地图重构图像；该模块根据内嵌磁体位姿信息和引导磁体位姿信息生成引导磁体-内嵌磁体相对位姿图像，同时获得引导磁体与内嵌磁体之间实际的相对位姿；该模块根据引导磁体与内嵌磁体之间的实际相对位姿和运动期望值查询运动关系映射表得到引导磁体的运动指令；
用户接口模块接收外部输入的内嵌磁体的运动期望值并传输给计算处理模块；接收计算处理模块传输过来的引导磁体的运动指令并显示；
图像显示模块用于实时显示计算处理模块传输过来的肠道内部实时采集图像、引导磁体-内嵌磁体相对位姿图像和肠道内部三维地图重构图像。
进一步地，本发明所述内嵌磁体为圆柱形，且沿移动设备主轴方向磁化；引导磁体为圆柱形，且沿径向磁化。
进一步地，本发明所述引导磁体固联在机械设备末端，可以完成沿机械设备末端坐标轴的平移运动和绕各坐标轴的旋转运动，所述位姿传感器位于机械设备末端。
进一步地，本发明所述位姿信息包括位置信息、俯仰角、偏航角；所述相对位姿包括相对距离d、相对俯仰角θ和相对偏航角所述运动期望值包括沿主轴方向的平移期望值ΔL、俯仰期望值Δθ和偏航期望值每次输入的三个期望值要求有且仅有一个期望值有有效数值，其余期望值均为0。
进一步地，本发明所述引导磁体的运动指令包括引导磁体沿各坐标轴的平移运动指令和绕各坐标轴的旋转运动指令；所述运动关系映射表包括三个子表：平移运动关系表、俯仰运动关系表、偏航运动关系表，每个子表均为二维表，且均为m行n列，在平移运动关系表中，每一相对位姿和每一平移期望值ΔLj组成一组，每组对应一个运动指令(△XM,△YM,△ZM,△αM,△βM,△γM)，其中，△XM为沿x轴平移距离，△YM为沿y轴平移距离，△ZM为沿z轴平移距离，△αM为绕x轴旋转角度，△βM为绕y轴旋转角度，△γM为绕z轴旋转角度；在俯仰运动关系表中，每一相对位姿和每一俯仰期望值Δθj组成一组，每组对应一个运动指令，在偏航运动关系表中，每一相对位姿和每一偏航期望值组成一组，每组对应一个运动指令；其中i＝1，2......n，j＝1，2.....m；
表1平移运动关系表
表2俯仰运动关系表
表3偏航运动关系表
进一步地，计算处理模块得到引导磁体的运动指令的方式为：
先根据运动期望值选取相应的子表：当时选取平移运动关系表，当时选取俯仰运动关系表，当Δθ＝0&&ΔL＝0时选取偏航运动关系表；
然后根据表格中的运动期望值和相对位姿以及用户输入的运动期望值和实际的相对位姿算出误差值fij，选取最小的fij对应的表格项，其中fij的求取公式如下：
其中带上标“′”的参数为表格中的运动期望值和引导磁体与内嵌磁体之间的相对位姿，不带上标“′”的参数为用户输入的运动期望值和引导磁体与内嵌磁体之间实际的相对位姿。
一种基于图像反馈的微型移动设备控制方法，具体步骤如下：
步骤一：在正式使用前进行大量实验，根据实验结果获得引导磁体与内嵌磁体间的相对运动关系，得到该运动关系映射表，运动关系映射表包括三个子表：俯仰运动关系表、偏航运动关系表、平移运动关系表，将运动关系映射表存入计算处理模块；
步骤二：移动设备模块实时采集肠道内部图像信息，并将采集的图像通过无线网络实时传输给计算机处理模块；同时，磁场感应模块感应得到内嵌磁体位姿信息，并将该信息实时传输给计算处理模块；位姿传感器感应得到引导磁体位姿信息，并将该信息实时传输给计算处理模块；
步骤三：计算处理模块根据接收的肠道内部图像信息进行三维地图重构，生成肠道内部三维地图重构图像；计算处理模块还根据引导磁体位姿信息和内嵌磁体位姿信息生成引导磁体-内嵌磁体相对位姿图像，同时算出引导磁体与内嵌磁体实际的相对位姿；计算处理模块将当前帧肠道内部图像信息、肠道内部三维地图重构图像和引导磁体-内嵌磁体相对位姿图像传输给图像显示模块显示；
步骤四：根据当前显示的图像信息以及期望观测的部位，估计内嵌磁体下一步应该完成的运动期望值，并输入给计算处理模块，所述运动期望值包括平移期望值、俯仰期望值和偏航期望值；
步骤五：计算机处理模块根据输入的运动期望值，从运动关系映射表中选取相应的子表，根据运动期望值和引导磁体与内嵌磁体之间实际的相对位姿，查表可获得对应的引导磁体的运动指令；
步骤六：根据获得的运动指令，操作人员控制机械设备末端运动，使得引导磁体实现沿坐标轴的平移运动和绕坐标轴的旋转运动，从而带动内嵌磁体运动到距离期望观测部位更近一步的位置。
进一步地，本发明所述内嵌磁体位姿信息由磁场感应模块通过磁传感器阵列定位方法获得；所述肠道内部三维地图重构图像是由计算处理模块根据SFS方法构建的。
有效益处：
本发明提供的微型移动设备控制装置与方法，能够实现对胶囊内窥镜在肠道内位姿的主动控制，其有效益处包括以下几个方面：
第一、根据移动设备模块获得的肠道内部图像信息，利用引导磁体控制移动设备模块运动，主动对可疑病灶部位进行重点观察，具有针对性和选择性，可提高诊断质量；
第二、利用外部引导磁体带动内嵌磁体运动，可主动控制胶囊内窥镜的移动方向，能观测褶皱后、弯曲处等盲区，降低漏检概率；
第三、该装置根据观测区情况，利用外部引导磁体带动内嵌磁体运动，主动控制内窥镜的移动速度，提高诊断质量；
第四、不需要依靠消化系统蠕动波向前移行，可由引导磁体主动控制胶囊移动速度，无需考虑电池容量限制，可完成全肠道的检查，实现诊断的完整性。
附图说明
图1基于图像反馈的微型移动设备控制装置结构；
图2基于图像反馈的微型移动设备控制方法；
其中,(a)为引导磁体与胶囊的相对距离；(b)为在引导磁体的拖动下，胶囊在肠道中的平移；
图3基于图像反馈的微型移动设备控制示意图。
实施方式
下面结合附图并举实施例，对本发明进行详细描述，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1：
一种基于图像反馈的微型移动设备控制装置如图1所示，包括七个模块：移动设备模块、运动执行模块、磁场感应模块、用户接口模块、计算处理模块、图像显示模块和引导磁体，其中，移动设备模块与计算处理模块通过无线网络互连；
引导磁体用于产生可引导内嵌磁体的磁场；
移动设备模块主要由相机模组和内嵌磁体构成，所述相机模组负责实时采集肠道内部图像信息，采集的图像通过无线网络实时传输给计算机处理模块；
运动执行模块主要由机械设备和位姿传感器构成，所述机械设备负责带动引导磁体移动，所述位姿传感器位于机械设备末端，用于感应得到引导磁体位姿信息，并将其传输给计算处理模块；
磁场感应模块用于感应内嵌磁体位姿信息，并将其传输给计算处理模块；
计算处理模块事先存储了内嵌磁体和引导磁体之间的运动关系映射表；该模块根据肠道内部图像信息进行三维地图重构，生成肠道内部三维地图重构图像；该模块还根据内嵌磁体位姿信息和引导磁体位姿信息生成引导磁体-内嵌磁体相对位姿图像，同时获得引导磁体与内嵌磁体之间实际的相对位姿；除此之外，该模块根据引导磁体与内嵌磁体之间的实际相对位姿和运动期望值查询运动关系映射表可得到引导磁体的运动指令；
用户接口模块接收外部输入的内嵌磁体的运动期望值并传输给计算处理模块；接收计算处理模块传输过来的引导磁体的运动指令并显示；
图像显示模块用于实时显示计算处理模块传输过来的肠道内部实时采集图像、引导磁体-内嵌磁体相对位姿图像和肠道内部三维地图重构图像。
实施例2：
在实施例1的基础上，基于图像反馈的微型移动设备控制方法如图2所示，包括以下步骤：
步骤一：根据实验获得的引导磁体与内嵌磁体间的相对运动关系，建立运动关系映射表，运动关系映射表包括三个子表：平移运动关系表、俯仰运动关系表、偏航运动关系表，如表1、表2和表3所示，每个子表均为m行n列，每个子表均为二维表，且均为m行n列，在平移运动关系表中，每一相对位姿和每一平移期望值ΔLj组成一组，每组对应一个运动指令(△XM,△YM,△ZM,△αM,△βM,△γM)，其中，△XM为沿x轴平移距离，△YM为沿y轴平移距离，△ZM为沿z轴平移距离，△αM为绕x轴旋转角度，△βM为绕y轴旋转角度，△γM为绕z轴旋转角度；在俯仰运动关系表中，每一相对位姿和每一俯仰期望值Δθj组成一组，每组对应一个运动指令；在偏航运动关系表中，每一相对位姿和每一偏航期望值组成一组，每组对应一个运动指令；其中i＝1，2......n，j＝1，2.....m；表1、2、3分别显示了，在引导磁体与胶囊不同相对位姿下，实现平移、俯仰、偏航指令的运动关系映射子表:
表1平移运动关系表
表2俯仰运动关系表
表3偏航运动关系表
步骤二：移动设备模块实时采集肠道内部图像信息，并将采集的图像通过无线网络实时传输给计算机处理模块；同时，磁场感应模块感应得到内嵌磁体位姿信息，并将该信息实时传输给计算处理模块；运动执行模块的位姿传感器感应得到引导磁体位姿信息，并将该信息实时传输给计算处理模块。
步骤三：将移动设备模块集成的相机模组捕捉到的帧图像通过无线网络实时发送给计算处理模块，计算机处理模块根据接收到的全部图像进行胃肠道内部三维重构；除此之外，计算机处理模块还根据引导磁体位姿信息和内嵌磁体位姿信息生成引导磁体-内嵌磁体相对位姿图像，同时算出引导磁体与内嵌磁体之间的实际相对位姿。
步骤四：将移动设备模块集成的相机模组捕捉到的当前帧图像显示在图像显示模块第一部分，将磁体-胶囊相对位姿显示在图像显示模块第二部分，将肠道内部三维重构图像显示在图像显示模块第三部分。
步骤五：操作者(通常为专业医务人员)根据显示模块显示的实时胃肠道图像和引导磁体与胶囊的实际相对位姿(相对距离d，相对俯仰角θ，相对偏航角)，判断下一步观测部位，估计出胶囊的运动期望值(期望的平移距离ΔL、期望的俯仰角度Δθ和期望的偏航角度)并通过用户接口模块输入。
步骤六：计算机处理模块根据用户输入的运动期望值从运动关系映射表中选取相应的子表，选取规则如下：当时选取平移运动关系表；当时选取俯仰运动关系表；当Δθ＝0&&ΔL＝0时选取偏航运动关系表，查询选取的子表就可以得到引导磁体的运动指令。查表方式如下：根据表格中的运动期望值和相对位姿以及用户输入的运动期望值和实际的相对位姿算出误差值fij，选取最小的fij对应的表格项，其中fij的求取公式如下：
其中带上标“′”的参数为表格中的运动期望值和引导磁体与内嵌磁体之间的相对位姿，不带上标“′”的参数为用户输入的运动期望值和引导磁体与内嵌磁体之间实际的相对位姿。
步骤七：根据查询得到的引导磁体运动指令，操作者通过接口设备操作机械臂，从而带动引导磁体移动，胶囊在引导磁铁的作用下被拖动到目标位置。
实施例3：
在实施例1的基础上，基于图像反馈的微型移动设备控制方法如图3所示，包括以下步骤：
集成相机模组和内嵌磁体的胶囊，在肠道内部沿着胶囊主轴方向移动。相机模组可观察该胶囊主轴方向上前方的图像，内嵌磁体为圆柱形磁体，自身主轴方向与胶囊主轴方向相同，且沿主轴方向磁化。
将移动设备模块集成的相机模组捕捉到的帧图像通过无线网络实时发送给计算处理模块，计算机处理模块根据接收到的全部图像进行胃肠道内部三维重构；除此之外，计算机处理模块还根据引导磁体位姿和内嵌磁体位姿算出引导磁体-内嵌磁体相对位姿。
图像显示模块显示了相机模组捕捉到的图像信息、引导磁体-内嵌磁体相对位姿和肠道内部三维重构图像。
操作者依据工作站上显示的肠道图像、引导磁体-内嵌磁体相对位姿、肠道内部三维重构图像判断磁性胶囊下一步的位置与姿态，计算处理模块通过查询预先建立的引导磁体与内嵌磁体运动关系表，计算出使胶囊达到目标位姿所需的引导磁体的运动指令。
操作者通过控制患者体外机械臂的运动而控制引导磁铁的运动，胶囊内窥镜在引导磁铁的作用下调整其与肠道的相对方位并向前运动一段距离。
重复执行上述操作，磁性胶囊就可以通过其视觉引导被操纵着在肠道内行走与疾病检查。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于图像反馈的微型移动设备控制装置，其特征在于，包括七个模块：移动设备模块、运动执行模块、磁场感应模块、用户接口模块、计算处理模块、图像显示模块和引导磁体，其中，移动设备模块与计算处理模块通过无线网络互连；
引导磁体用于产生可引导内嵌磁体的磁场；
移动设备模块主要由相机模组和内嵌磁体构成，所述相机模组负责实时采集肠道内部图像信息，采集的图像通过无线网络实时传输给计算机处理模块；
运动执行模块主要由机械设备和位姿传感器构成，操作人员按照运动指令控制机械设备负责带动引导磁体移动，所述位姿传感器用于感应引导磁体位姿信息，并将其传输给计算处理模块；
磁场感应模块用于感应内嵌磁体位姿信息，并将其传输给计算处理模块；
计算处理模块事先存储了内嵌磁体和引导磁体的运动关系映射表；该模块根据肠道内部图像信息进行三维地图重构，生成肠道内部三维地图重构图像；该模块根据内嵌磁体位姿信息和引导磁体位姿信息生成引导磁体-内嵌磁体相对位姿图像，同时获得引导磁体与内嵌磁体之间实际的相对位姿；该模块根据引导磁体与内嵌磁体之间的实际相对位姿和运动期望值查询运动关系映射表得到引导磁体的运动指令；
用户接口模块接收外部输入的内嵌磁体的运动期望值并传输给计算处理模块；接收计算处理模块传输过来的引导磁体的运动指令并显示；
图像显示模块用于实时显示计算处理模块传输过来的肠道内部实时采集图像、引导磁体-内嵌磁体相对位姿图像和肠道内部三维地图重构图像。
2.根据权利1所述的一种基于图像反馈的微型移动设备控制装置，其特征在于，所述内嵌磁体为圆柱形，且沿移动设备主轴方向磁化；引导磁体为圆柱形，且沿径向磁化。
3.根据权利1所述的一种基于图像反馈的微型移动设备控制装置，其特征在于，所述引导磁体固联在机械设备末端，可以完成沿机械设备末端坐标轴的平移运动和绕各坐标轴的旋转运动，所述位姿传感器位于机械设备末端。
4.根据权利1所述的一种基于图像反馈的微型移动设备控制装置，其特征在于，所述位姿信息包括位置信息、俯仰角、偏航角；所述相对位姿包括相对距离d、相对俯仰角θ和相对偏航角所述运动期望值包括沿主轴方向的平移期望值ΔL、俯仰期望值Δθ和偏航期望值每次输入的三个期望值要求有且仅有一个期望值有有效数值，其余期望值均为0。
5.根据权利要求4所述的一种基于图像反馈的微型移动设备控制装置，其特征在于，所述引导磁体的运动指令包括引导磁体沿各坐标轴的平移运动指令和绕各坐标轴的旋转运动指令；所述运动关系映射表包括三个子表：平移运动关系表、俯仰运动关系表、偏航运动关系表，每个子表均为二维表，且均为m行n列，在平移运动关系表中，每一相对位姿和每一平移期望值ΔLj组成一组，每组对应一个运动指令(△XM,△YM,△ZM,△αM,△βM,△γM)，其中，△XM为沿x轴平移距离，△YM为沿y轴平移距离，△ZM为沿z轴平移距离，△αM为绕x轴旋转角度，△βM为绕y轴旋转角度，△γM为绕z轴旋转角度；在俯仰运动关系表中，每一相对位姿和每一俯仰期望值Δθj组成一组，每组对应一个运动指令；在偏航运动关系表中，每一相对位姿和每一偏航期望值组成一组，每组对应一个运动指令；其中i＝1，2......n，j＝1，2.....m；所述平移运动关系表、俯仰运动关系表、偏航运动关系表如表1、表2、表3所示：
表1平移运动关系表
表2俯仰运动关系表
表3偏航运动关系表
6.根据权利5所述的一种基于图像反馈的微型移动设备控制装置，其特征在于，计算处理模块得到引导磁体的运动指令的方式为：
先根据运动期望值选取相应的子表：当时选取平移运动关系表，当时选取俯仰运动关系表，当Δθ＝0&&ΔL＝0时选取偏航运动关系表；
然后根据表格中的运动期望值和相对位姿以及用户输入的运动期望值和实际的相对位姿算出误差值fij，选取最小的fij对应的表格项，其中fij的求取公式如下：
其中带上标“′”的参数为表格中的运动期望值和引导磁体与内嵌磁体之间的相对位姿，不带上标“′”的参数为用户输入的运动期望值和引导磁体与内嵌磁体之间实际的相对位姿。
7.一种基于图像反馈的微型移动设备控制方法，其特征在于，具体步骤如下：
步骤一：在正式使用前进行大量实验，根据实验结果获得引导磁体与内嵌磁体间的相对运动关系，得到该运动关系映射表，运动关系映射表包括三个子表：俯仰运动关系表、偏航运动关系表、平移运动关系表，将运动关系映射表存入计算处理模块；
步骤二：移动设备模块实时采集肠道内部图像信息，并将采集的图像通过无线网络实时传输给计算机处理模块；同时，磁场感应模块感应得到内嵌磁体位姿信息，并将该信息实时传输给计算处理模块；位姿传感器感应得到引导磁体位姿信息，并将该信息实时传输给计算处理模块；
步骤三：计算处理模块根据接收的肠道内部图像信息进行三维地图重构，生成肠道内部三维地图重构图像；计算处理模块还根据引导磁体位姿信息和内嵌磁体位姿信息生成引导磁体-内嵌磁体相对位姿图像，同时算出引导磁体与内嵌磁体实际的相对位姿；计算处理模块将当前帧肠道内部图像信息、肠道内部三维地图重构图像和引导磁体-内嵌磁体相对位姿图像传输给图像显示模块显示；
步骤四：根据当前显示的图像信息以及期望观测的部位，估计内嵌磁体下一步应该完成的运动期望值，并输入给计算处理模块，所述运动期望值包括平移期望值、俯仰期望值和偏航期望值；
步骤五：计算机处理模块根据输入的运动期望值，从运动关系映射表中选取相应的子表，根据运动期望值和引导磁体与内嵌磁体之间实际的相对位姿，查表可获得对应的引导磁体的运动指令；
步骤六：根据获得的运动指令，操作人员控制机械设备末端运动，使得引导磁体实现沿坐标轴的平移运动和绕坐标轴的旋转运动，从而带动内嵌磁体运动到距离期望观测部位更近一步的位置。
8.根据权利7所述的一种基于图像反馈的微型移动设备控制方法，其特征在于，内嵌磁体位姿信息由磁场感应模块通过磁传感器阵列定位方法获得；肠道内部三维地图重构图像是由计算处理模块根据SFS方法构建的。
CN201810082803.4A 2018-01-29 2018-01-29 基于图像反馈的微型移动设备控制装置和方法 Active CN108460820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810082803.4A CN108460820B (zh) 2018-01-29 2018-01-29 基于图像反馈的微型移动设备控制装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810082803.4A CN108460820B (zh) 2018-01-29 2018-01-29 基于图像反馈的微型移动设备控制装置和方法

Publications (2)

Publication Number Publication Date
CN108460820A true CN108460820A (zh) 2018-08-28
CN108460820B CN108460820B (zh) 2022-05-10

Family

ID=63239295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810082803.4A Active CN108460820B (zh) 2018-01-29 2018-01-29 基于图像反馈的微型移动设备控制装置和方法

Country Status (1)

Country Link
CN (1) CN108460820B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109259715A (zh) * 2018-09-04 2019-01-25 北京理工大学 集成交互功能的胶囊内镜磁引导控制装置
CN109259716A (zh) * 2018-09-04 2019-01-25 北京理工大学 一种胶囊内镜磁引导控制装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009006563A1 (en) * 2007-07-03 2009-01-08 Med-Surg Solutions, L.P. Medical surgical sponge and instrument detection system and method
CN101351147A (zh) * 2005-12-28 2009-01-21 奥林巴斯医疗株式会社 被检体内导入系统以及被检体内导入装置的引导方法
US20100016672A1 (en) * 2007-03-30 2010-01-21 Olympus Medical Systems Corp. Capsule medical device and method of manufacturing capsule medical device
CN103300862A (zh) * 2013-05-24 2013-09-18 浙江大学宁波理工学院 一种胶囊内窥镜病灶组织深度和三维尺寸的测量方法
CN104240297A (zh) * 2014-09-02 2014-12-24 东南大学 一种救援机器人三维环境地图实时构建方法
CN105074785A (zh) * 2013-04-03 2015-11-18 德国捷德有限公司 装备有磁性材料的防伪元件的检查
CN105942959A (zh) * 2016-06-01 2016-09-21 安翰光电技术（武汉）有限公司 胶囊内窥镜系统及其三维成像方法
CN106264427A (zh) * 2016-08-04 2017-01-04 北京千安哲信息技术有限公司 胶囊内窥镜及其控制装置、系统和检测方法
CN106618454A (zh) * 2016-11-21 2017-05-10 电子科技大学 一种胶囊式内窥镜系统
CN107374574A (zh) * 2017-07-26 2017-11-24 北京理工大学 一种用于确定内窥镜胶囊体内位姿的装置及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101351147A (zh) * 2005-12-28 2009-01-21 奥林巴斯医疗株式会社 被检体内导入系统以及被检体内导入装置的引导方法
US20100016672A1 (en) * 2007-03-30 2010-01-21 Olympus Medical Systems Corp. Capsule medical device and method of manufacturing capsule medical device
WO2009006563A1 (en) * 2007-07-03 2009-01-08 Med-Surg Solutions, L.P. Medical surgical sponge and instrument detection system and method
CN105074785A (zh) * 2013-04-03 2015-11-18 德国捷德有限公司 装备有磁性材料的防伪元件的检查
CN103300862A (zh) * 2013-05-24 2013-09-18 浙江大学宁波理工学院 一种胶囊内窥镜病灶组织深度和三维尺寸的测量方法
CN104240297A (zh) * 2014-09-02 2014-12-24 东南大学 一种救援机器人三维环境地图实时构建方法
CN105942959A (zh) * 2016-06-01 2016-09-21 安翰光电技术（武汉）有限公司 胶囊内窥镜系统及其三维成像方法
CN106264427A (zh) * 2016-08-04 2017-01-04 北京千安哲信息技术有限公司 胶囊内窥镜及其控制装置、系统和检测方法
CN106618454A (zh) * 2016-11-21 2017-05-10 电子科技大学 一种胶囊式内窥镜系统
CN107374574A (zh) * 2017-07-26 2017-11-24 北京理工大学 一种用于确定内窥镜胶囊体内位姿的装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MEHMET TURAN等: "Sparse-then-dense alignment-based 3D map reconstruction method for endoscopic capsule robots", 《MACHINE VISION AND APPLICATIONS 》 *
胡超等: "基于胶囊内窥镜图像的肠胃道三维重建技术", 《传感技术学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109259715A (zh) * 2018-09-04 2019-01-25 北京理工大学 集成交互功能的胶囊内镜磁引导控制装置
CN109259716A (zh) * 2018-09-04 2019-01-25 北京理工大学 一种胶囊内镜磁引导控制装置
CN109259716B (zh) * 2018-09-04 2021-03-09 北京理工大学 一种胶囊内镜磁引导控制装置
CN109259715B (zh) * 2018-09-04 2021-04-27 北京理工大学 集成交互功能的胶囊内镜磁引导控制装置

Also Published As

Publication number Publication date
CN108460820B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
US20240180647A1 (en) Robotic Port Placement Guide and Method of Use
CN106102549B (zh) 用于控制成像器械定向的系统和方法
CN110051436B (zh) 自动化协同工作组件及其在手术器械中的应用
CN105082161B (zh) 双目立体摄像机机器人视觉伺服控制装置及其使用方法
CN103533909B (zh) 用于控制工具运动的标架的位置和定向的估计
CN104983385B (zh) 一种主被动双半球形胶囊机器人及其姿态调整与转弯驱动控制方法
CN113288429A (zh) 一种乳腺微创介入手术机器人空间配准与实时导航方法
CN109164829B (zh) 一种基于力反馈装置和vr感知的飞行机械臂系统及控制方法
JP5737796B2 (ja) 内視鏡操作システムおよび内視鏡操作プログラム
CN101001563A (zh) 胶囊式内窥镜控制系统
CN110111880A (zh) 柔性针的基于障碍分级的人工势场路径规划方法及装置
KR102023676B1 (ko) X-선 촬영 시스템
CN105939647A (zh) 机器人辅助腔内外科手术系统及相关方法
US12089910B2 (en) Mobile-electromagnetic coil-based magnetic actuation systems
CN108245122B (zh) 磁引导式胶囊内窥镜系统及轨迹规划方法
US10148162B2 (en) System for controlling micro-robot using transfer robot
CN108460820A (zh) 基于图像反馈的微型移动设备控制装置和方法
CN105962879A (zh) 胶囊内窥镜的位姿控制系统、控制方法及胶囊内窥镜
CN110811497A (zh) 一种胶囊内窥镜的控制方法及应用其的胶囊内窥镜
CN107363834A (zh) 一种基于认知地图的机械臂抓取方法
CN102768541B (zh) 手术机器人的控制方法和系统
CN109717957A (zh) 基于混合现实的控制系统
CN109620108B (zh) 一种双半球型胶囊机器人弯曲肠道内视觉导航方法
Fu et al. A control system of the wireless microrobots in pipe
CN106903665A (zh) 一种基于立体视觉的主从式遥操作手术机器人控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant