CN114452508A - 导管运动控制方法、介入手术系统、电子设备和存储介质 - Google Patents

导管运动控制方法、介入手术系统、电子设备和存储介质 Download PDF

Info

Publication number
CN114452508A
CN114452508A CN202111221692.9A CN202111221692A CN114452508A CN 114452508 A CN114452508 A CN 114452508A CN 202111221692 A CN202111221692 A CN 202111221692A CN 114452508 A CN114452508 A CN 114452508A
Authority
CN
China
Prior art keywords
catheter
endoscopic image
current frame
target
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111221692.9A
Other languages
English (en)
Other versions
CN114452508B (zh
Inventor
曹后俊
占雄
宋雪迎
吴井胜
杨智媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weiwei Aviation Robot Co ltd
Original Assignee
Shanghai Weiwei Aviation Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weiwei Aviation Robot Co ltd filed Critical Shanghai Weiwei Aviation Robot Co ltd
Priority to CN202111221692.9A priority Critical patent/CN114452508B/zh
Publication of CN114452508A publication Critical patent/CN114452508A/zh
Application granted granted Critical
Publication of CN114452508B publication Critical patent/CN114452508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes
    • A61M25/0067—Catheters; Hollow probes characterised by the distal end, e.g. tips
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • Hematology (AREA)
  • Anesthesiology (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种导管运动控制方法、介入手术系统、电子设备和存储介质，所述导管的末端安装有图像采集装置，所述方法包括：获取图像采集装置在目标器官所提供的空间中所采集的当前帧真实内窥图像以及与当前帧真实内窥图像相对应的当前帧虚拟内窥图像；对当前帧真实内窥图像和当前帧虚拟内窥图像进行匹配，以获取导管的末端的当前位姿偏差信息；根据当前位姿偏差信息以及预先获取的根据目标器官的三维模型规划好的目标运动路径，控制导管沿所述目标运动路径进行运动。本发明可以在术中实现导管运动的自动控制，无需人工干预，从而可以有效降低手术难度。同时，本发明可以实现导管运动的精确控制，有效减少对患者的伤害，提高手术安全性。

Description

导管运动控制方法、介入手术系统、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域，特别涉及一种导管运动控制方法、介入手术系统、电子设备和存储介质。
背景技术
微创介入技术是在术前医学影像(例如CT)和术中成像技术(例如医学电子内镜、微创介入磁共振、超声成像)共同引导下，以最小的创伤将器具或药物置入到病变组织，对其进行诊断或治疗的外科手术方法。微创介入技术以其出血少、创伤小、并发症少，安全可靠和术后恢复快等优点，在世界范围内得到了广泛应用。导管作为介入技术中最主要的工具，医生借助图像导航的引导，遥控导管运动到达病变位置进行介入治疗活诊断。
导管手术是将细长的且头部可弯曲的导管经口或鼻置入患者的下呼吸道，即经过声门进入气管和支气管以及更远端，通过安装于导管头部的图像采集装置直接观察气管和支气管的病变，并根据病变进行相应的检查和治疗。在实际操作过程中，医生手持导管，通过图像采集装置采集的图像实时观察支气管内的情况，控制导管伸缩或弯曲，到达目标位置后进行检查和治疗。。
基于定位系统的支气管检查，可以借助外部定位系统，如电磁定位系统，建立真实人体肺部及医学影像的映射关系，在医生操控导管时，实时提示导管末端在肺部的位置和姿态。然而引入电磁定位系统，会扩大患者的禁忌症范围，如不能为安装心脏起搏器或除颤器的患者进行检查，且电磁定位系统对周围环境也较为敏感。此外，现有的电磁定位系统，在术中无法和X光机/CT机联合使用，且现有的电磁定位系统在配准完成后，病人和磁场发生器之间的相对位姿不能改变，否则会大幅度影响导航精度，影响手术效果。
另外，现有技术中，导管的运动过程主要通过人工进行控制。然而，在传统导管手术过程中，人工操作导管在人体内部进行伸缩或弯曲运动的操作难度较大，且人工控制导管运动，由于运动精度较差，很可能会对病人造成伤害，安全性较低。此外，人工控制导管运动，导管的运动精度和手术效果由操作人员的经验和能力决定，手术效果差异大。
发明内容
本发明的目的在于提供一种导管运动控制方法、介入手术系统、电子设备和存储介质，可以解决现有技术中，人工控制导管运动，操作难度大，安全性低，控制精度低的问题。
为解决上述技术问题，本发明提供一种导管运动控制方法，所述导管的末端安装有图像采集装置，所述控制方法包括：
获取所述图像采集装置在目标器官所提供的空间中所采集的当前帧真实内窥图像以及与所述当前帧真实内窥图像相对应的当前帧虚拟内窥图像；
对所述当前帧真实内窥图像和所述当前帧虚拟内窥图像进行匹配，以获取所述导管的末端的当前位姿偏差信息；
根据所述当前位姿偏差信息以及预先获取的根据所述目标器官的三维模型规划好的目标运动路径，控制所述导管沿所述目标运动路径进行运动。
可选的，所述导管的末端还安装有位置传感器；
所述获取与所述当前帧真实内窥图像相对应的当前帧虚拟内窥图像包括：
获取所述导管的末端的当前位置信息；
根据所述当前位置信息以及所述目标运动路径，对所述目标器官的三维模型进行渲染，以获取与所述当前帧真实内窥图像相对应的当前帧虚拟内窥图像。
可选的，所述根据所述当前位置信息以及所述目标运动路径，对所述目标器官的三维模型进行渲染，包括：
根据所述当前位置信息，在所述目标运动路径上查找与所述当前位置距离最近的当前路径点；
根据所述当前路径点的位置信息以及所述当前路径点所对应的路径方向信息，对所述目标器官的三维模型进行渲染。
可选的，所述目标器官的三维模型通过以下步骤获得：
对预先获取的医学图像进行分割，以获取目标器官的掩膜图像；
根据所述目标器官的掩膜图像进行三维重建，以获取所述目标器官的三维模型。
可选的，所述对所述当前帧真实内窥图像和所述当前帧虚拟内窥图像进行匹配，以获取所述导管的末端的当前位姿偏差信息，包括：
对所述当前帧真实内窥图像进行特征提取，以获取第一特征点集；
对所述当前帧虚拟内窥图像进行特征提取，以获取第二特征点集；
对所述第一特征点集与所述第二特征点集进行匹配，以获取所述当前帧真实内窥图像与所述当前帧虚拟内窥图像之间的空间映射关系；
根据所述空间映射关系，获取所述导管的末端的当前位姿偏差信息。
可选的，所述对所述当前帧真实内窥图像进行特征提取，以获取第一特征点集，包括：
采用ORB算法对所述当前帧真实内窥图像进行特征提取，以获取第一特征点集；
所述对所述当前帧虚拟内窥图像进行特征提取，以获取第二特征点集，包括：
采用ORB算法对所述当前帧虚拟内窥图像进行特征提取，以获取第二特征点集。
可选的，所述对所述第一特征点集与所述第二特征点集进行匹配，以获取所述当前帧真实内窥图像与所述当前帧虚拟内窥图像之间的空间映射关系，包括：
对所述第一特征点集与所述第二特征点集进行匹配，以确定出相匹配的第一特征点和第二特征点；
根据所述第二特征点的像素坐标信息以及所述当前帧虚拟内窥图像在世界坐标系下所对应的位姿信息，获取所述第二特征点在世界坐标系下的位置信息；
根据所述第一特征点的像素坐标信息以及与其相匹配的第二特征点在世界坐标系下的位置信息，获取所述当前帧真实内窥图像在世界坐标系下所对应的位姿信息；
根据当前帧真实内窥图像在世界坐标系下所对应的位姿信息以及所述当前帧虚拟内窥图像在世界坐标系下所对应的位姿信息，获取所述当前帧真实内窥图像与所述当前帧虚拟内窥图像之间的空间映射关系。
可选的，所述当前帧虚拟内窥图像在世界坐标系下所对应的第二位姿信息通过以下过程获得：
根据所述当前帧虚拟内窥图像在所述三维模型坐标系下所对应的位置和方向信息以及预先获取的所述三维模型坐标系与所述世界坐标系之间的映射关系，获取所述当前帧虚拟内窥图像在世界坐标系下所对应的第二位姿信息。
可选的，所述三维模型坐标系与所述世界坐标系之间的映射关系，通过以下过程得到：
在所述目标器官的三维模型中确定多个目标标记点，并获取所述目标标记点在三维模型坐标系下的位置信息；
控制所述导管的末端移动至所述目标器官中的与所述目标标记点对应的目标位置处，并获取所述目标位置在世界坐标系下的位置信息；
根据所述目标标记点在所述三维模型坐标系下的位置信息以及所述目标位置在世界坐标系下的位置信息，获取所述三维模型坐标系与所述世界坐标系之间的映射关系。
可选的，所述根据所述当前位姿偏差信息以及预先根据所述目标器官的三维模型规划好的目标运动路径，控制所述导管沿所述目标运动路径进行运动，包括：
根据所述当前位姿偏差信息，判断所述导管当前是否偏离所述目标运动路径；
若是，则根据所述当前位姿偏差信息，计算所述导管的调整运动参数，并根据所述调整运动参数，控制所述导管进行相应弯曲运动以使得所述导管能够沿所述目标运动路径进行运动；
若否，则控制所述导管继续沿所述目标运动路径进行运动。
为解决上述技术问题，本发明还提供一种介入手术系统，包括通信连接的机器人和控制器，所述机器人包括台车和安装于所述台车上的机械臂，所述机械臂的末端用于安装导管，所述导管的末端安装有图像采集装置，所述控制器被配置用于实现上文所述的导管运动控制方法。
可选的，所述导管内穿设有至少一根导丝，所述导丝的近端与一第一驱动装置相连，所述第一驱动装置安装于所述机械臂的末端且与所述控制器通信连接，所述导丝的远端与所述导管的末端相连，在所述第一驱动装置的作用下，所述导丝能够伸长和缩短，以使得所述导管的末端沿至少一个方向弯曲。
可选的，所述机械臂的末端设有一安装板，所述第一驱动装置安装于所述安装板上，所述第一驱动装置能够在所述安装板上往复移动。
可选的，所述机械臂的末端还设有与所述第一驱动装置相连且与所述控制器通信连接的第二驱动装置，所述第二驱动装置用于驱动所述第一驱动装置在所述安装板上往复移动。
可选的，所述安装板的远端设有一用于固定所述导管的固定座，所述导管的末端能够靠近和远离所述固定座。
可选的，所述手术系统还包括与所述控制器通信连接的显示装置，所述显示装置用于显示所述图像采集装置采集的真实内窥图像和/或所述目标器官的三维模型。
可选的，所述手术系统还包括磁场发生器，所述导管的末端安装有磁感应器，所述磁场发生器用于产生穿过所述目标器官的磁场，所述磁感应器用于在所述磁场内采集磁场强度信息，所述控制器用于根据所述磁感应器采集的磁感强度信息，获取所述导管的末端的位置信息。
为解决上述技术问题，本发明还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上文所述的导管运动控制方法。
为解决上述技术问题，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上文所述的导管运动控制方法。
与现有技术相比，本发明提供的导管运动控制方法、介入手术系统、电子设备和存储介质具有以下优点：本发明通过先获取安装于所述导管的末端的图像采集装置在目标器官所提供的空间中所采集的当前帧真实内窥图像以及与所述当前帧真实内窥图像相对应的当前帧虚拟内窥图像；再对所述当前帧真实内窥图像与所述当前帧虚拟内窥图像进行匹配，根据匹配结果获取所述导管的末端的当前位姿偏差信息；最后再根据所述当前位姿偏差信息以及预先获取的根据所述目标器官的三维模型规划好的目标运动路径，控制所述导管沿所述目标运动路径进行运动。由此可见，本发明可以在术中实现导管运动的自动控制，无需人工干预，从而可以有效降低手术难度。同时，本发明可以实现导管运动的精确控制，有效减少对患者的伤害，提高手术安全性。
附图说明
图1为本发明一实施方式中的导管的局部结构示意图；
图2为本发明一实施方式中的导管定位方法的流程示意图；
图3为本发明一具体示例中的当前帧真实内窥图像的特征点的提取示意图；
图4为本发明一具体示例中的提取关键点的原理示意图；
图5为本发明一具体示例中的特征直方图的示意图；
图6为本发明一实施方式中的特征词典的获取流程示意图；
图7为本发明一具体示例中的虚拟内窥图像的特征点的提取示意图；
图8为本发明一实施方式中的获取虚拟内窥图像序列的流程示意图；
图9为本发明一具体示例中的渲染位置的选取示意图；
图10为本发明一实施方式中的获取支气管树拓扑结构的流程示意图；
图11为本发明一具体示例中的提取出的支气管的骨架的示意图；
图12为本发明一具体示例中的支气管树拓扑结构的局部示意图；
图13为本发明一具体示例中的支气管树拓扑结构与树形数据结构之间的映射关系示意图；
图14为本发明一实施方式中的定位的具体流程示意图；
图15为本发明一具体示例中的特征词典和特征向量集合的载入示意图；
图16为本发明一具体示例中的当前帧真实内窥图像和虚拟内窥图像之间的匹配示意图；
图17为本发明一实施方式中的导管的运动控制方法的流程示意图；
图18为本发明另一实施方式中的导管的局部结构示意图；
图19为本发明另一实施方式中的获取虚拟内窥图像的示意图；
图20为本发明一实施方式中的获取导管的末端的当前位姿偏差信息的具体流程示意图；
图21为本发明一具体示例中的提取出的第一特征点集的示意图；
图22为本发明一具体示例中的提取出的第二特征点集的示意图；
图23为本发明一实施方式中的第一特征点集与所述第二特征点集的匹配流程示意图；
图24为本发明一具体示例中的第一特征点集与第二特征点集的匹配结果示意图；
图25为本发明一实施方式中的获取三维模型坐标系与世界坐标系之间的映射关系的流程示意图；
图26为本发明一具体示例提供的配准场景示意图；
图27为本发明一具体示例中的导管初始化的运动状态示意图；
图28为本发明一具体示例中的导管偏离目标运动路径200时的运动状态示意图；
图29为本发明一具体示例中的导管未偏离目标运动路径时的运动状态示意图；
图30为本发明一实施方式中的介入手术系统的应用场景示意图；
图31为本发明一实施方式中的导管与机械臂之间的连接关系结构示意图；
图32为本发明另一实施方式中的介入手术系统的应用场景示意图；
图33为本发明一实施方式中的电子设备的方框结构示意图。
其中，附图标记如下：
导管-100；图像采集装置-110；位置传感器-120；导丝-130；
目标运动路径-200；路径点-210；真实内窥图像-300；第一特征点-310；虚拟内窥图像-400；第二特征点-410；三维模型-500；目标标记点-510；目标器官-600；特征点-1、2；
机器人-10；台车-11；机械臂-12；控制器-20；第一驱动装置-30；安装板-40；固定座-50；显示装置-60；磁场发生器-70；
处理器-101；通信接口-102；存储器-103；通信总线-104。
具体实施方式
以下结合附图和具体实施方式对本发明提出的导管定位方法、导管运动控制方法、介入手术系统、电子设备和存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在与本发明所能产生的功效及所能达成的目的相同或近似的情况下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的核心思想在于提供一种导管定位方法、导管运动控制方法、介入手术系统、电子设备和存储介质，以解决现有技术中，人工控制导管运动，操作难度大，安全性低，控制精度低的问题；或者解决现有的电磁定位系统，在术中无法和X光机/CT机联合使用，且现有的电磁定位系统在配准完成后，病人和磁场发生器之间的相对位姿不能改变，否则会大幅度影响导航精度，影响手术效果的问题。
需要说明的是，本发明实施方式的导管定位方法、导管运动控制方法可应用于本发明实施方式的电子设备上，该电子设备可被配置于介入手术系统上，其中，该电子设备可以是个人计算机、移动终端等，该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。此外，需要说明的是，虽然本文是以支气管镜的导管为例进行说明，为例进行说明，但是如本领域技术人员所能理解的，本发明中的导管还可以是其它类型的内窥镜的导管，例如获取胃镜、肠镜、喉镜等内窥镜的导管，本发明对此并不进行限定。
为实现上述思想，本发明提供一种导管定位方法。请参考图1，其示意性地给出了本发明一实施方式提供的导管的局部结构示意图。如图1所示，所述导管100的末端安装有图像采集装置110，所述导管100的末端能够发生弯曲。请继续参考图3，其示意性地给出了本发明一实施方式提供的导管定位方法的流程示意图。如图3所示，所述导管定位方法包括如下步骤：
步骤S110、获取图像采集装置在目标器官所提供的空间中所采集的当前帧真实内窥图像。
步骤S120、获取所述当前帧真实内窥图像的特征向量。
步骤S130、在预先获取的特征向量集合中查找与所述当前帧真实内窥图像的特征向量相匹配的特征向量。
步骤S140、根据所述特征向量集合中相匹配的特征向量所对应的虚拟内窥图像所对应的位姿，获取所述导管的末端的当前位姿。
由此，本发明提供的导管定位方法是基于视觉的导管定位方法，不需要依赖其它的定位设备，如电磁定位系统，因此可以有效减少介入手术系统对环境及患者的约束条件，扩大介入手术系统的适用范围。此外，由于本发明不需要使用额外的定位设备，因此使得整个介入手术系统的结构更加简化，用户操作更加简便，有效提高手术速度，减少患者手术时间。需要说明的是，如本领域技术人员所能理解的，所述当前帧为动态变化的，即所述当前帧真实内窥图像是随着时间而改变的。此外，需要说明的是，如本领域技术人员所能理解的，如后文所介绍的那样，本发明中的虚拟内窥图像是通过对所述目标器官的三维模型进行渲染得到的，由此，所述虚拟内窥图像所对应的位姿可为三维模型坐标系下的位姿，此时，根据所述特征向量集合中相匹配的特征向量所对应的虚拟内窥图像所对应的位姿，可以直接获取导管100的末端在三维模型坐标系下的位姿，当然，也可以通过根据预先获取的三维模型坐标系与世界坐标系之间的映射关系，将所述导管100的末端在三维模型坐标系下的当前位姿转换为在世界坐标系下的位姿，本发明对此并不进行限定。关于如何获取三维模型坐标系与世界坐标系之间的映射关系，可以参考下文中的相关描述，故对此不再进行赘述。
进一步地，所述步骤S120、获取所述当前帧真实内窥图像的特征向量，包括：
对所述当前帧真实内窥图像进行特征提取，以获取所述当前帧真实内窥图像的特征点；
根据所述特征点以及预先获取的特征词典，获取所述当前帧真实内窥图像的特征向量。
由此，本发明通过根据所述当前帧真实内窥图像的特征点以及预先获取的特征词典，获取所述当前帧真实内窥图像的特征向量，可以降低计算量，提高定位速度。
在一种示范性的实施方式中，所述对所述当前帧真实内窥图像进行特征提取，以获取所述当前帧真实内窥图像的特征点，包括：
采用ORB算法，对所述当前帧真实内窥图像进行特征提取，以获取所述当前帧真实内窥图像的特征点。
由此，通过采用ORB(OrientedFAST andRotated BRIEF)算法进行特征点的提取，不仅提高提取速度，而且在一定程度上不受噪点和图像变换的影响，例如不受旋转和缩放变换等的影响。请参考图3，其示意性的给出了本发明一具体示例中的当前帧真实内窥图像的特征点的提取示意图。如图3所示，通过采用ORB算法，对所述当前帧真实内窥图像进行特征提取，可以准确、快速地提取所述当前帧真实内窥图像的特征点1。
具体地，ORB算法是检测关键点并计算关键点的方向，通过随机选取关键点邻域内的像素点对进行比较，获得所述关键点的二进制描述符，从而获取ORB特征点。一个ORB特征点可以包括FAST角点(即关键点)和BRIEF描述符(即二进制描述符)两部分，其中，FAST角点是指该ORB特征点在图像中的位置，FAST角点主要检测局部像素灰度变化明显的区域，计算速度快，其核心思想是，如果一个像素与邻域的像素差别较大(过暗或过亮)，则该像素为一个角点。具体地，请参考图4，其示意性地给出了本发明一具体示例中的提取关键点的原理示意图。如图4所示，，可以将所述当前帧真实内窥图像中的每一像素点与其周围距离相近的16个邻域像素点进行比较，如果该像素点与其中8个以上的邻域像素点的亮度差异较大，则将该像素点作为角点。BRIEF描述符是一个由二进制表示的向量，该向量按照人为设定的方式描述了FAST角点周围像素的信息，也就是说，BRIEF描述符的向量由多个0和1组成，表征FAST角点与附近邻像素之间的像素值大小关系。具体地，在一个角点的邻域内，选择n对像素点pi、qi(i＝1,2,……,n)。然后比较每个点对的像素值I的大小。如果I(pi)＞I(qi)，则生成二进制串中的1，否则为0。所有的点对都进行比较，则生成长度为n的二进制串。一般n取128、256或512，opencv默认为256。本实施方式中，为了增加特征描述符的抗噪性，在采用ORB算法对所述当前帧真实内窥图像进行特征提取之前，先对所述当前帧真实内窥图像进行高斯平滑处理。由此，在获取各个角点的BRIEF描述符时，选取的像素点pi服从N(μ，σ)的高斯分布，选取的像素点qi服从N(μ，σ/2)的高斯分布。
需要说明的是，如本领域技术人员所能理解的，在使用FAST提取出角点之后，给其定义一个方向，可以实现ORB特征点的旋转不变性。此外，需要说明的是，虽然本文是以采用ORB算法提取特征点为例进行说明，但是，如本领域技术人员所能理解的，在其它一些实施方式中，还可以采用现有技术中的其它特征点提取方法进行特征点的提取，例如harris角点检测法、SIFT算法、SURF算法等。
优选地，在采用ORB算法，对所述当前帧真实内窥图像进行特征提取之前，所述方法还包括：
对所述当前帧真实内窥图像进行预处理，以将所述当前帧真实内窥图像转化为灰度图像。
对应地，所述采用ORB算法，对所述当前帧真实内窥图像进行特征提取，具体包括：
采用ORB算法，对所述当前帧真实内窥图像进行特征提取。
由此，通过先将所述当前帧帧内窥图像转化为灰度图像，再对所述灰度图像进行特征提取，可以有效降低计算量，进一步提高定位速度。
进一步地，所述根据所述特征点以及预先获取的特征词典，获取所述当前帧真实内窥图像的特征向量，包括：
根据所述特征点以及预先获取的特征词典，统计所述特征词典中的每一特征类型在所述当前帧真实内窥图像中出现的频次；
根据每一特征类型在所述当前帧真实内窥图像中出现的频次，获取所述当前帧真实内窥图像的特征直方图；
根据所述当前帧真实内窥图像的特征直方图，获取所述当前帧真实内窥图像的特征向量。
请参考图5，其示意性地给出了本发明一具体示例中的特征直方图的示意图。如图5所示，所述特征直方图的横坐标表示特征类型，所述特征直方图的纵坐标表示特征类型出现的频次。假设所获取的特征词典包括四种特征类型，这四种特征类型在所述当前帧真实内窥图像中出现的频次分别为100,10,20,10，则所述当前帧真实内窥图像的特征向量为(100,10,20,10)。
进一步地，请参考图6，其示意性地给出了本发明一实施方式提供的特征词典的获取流程示意图。如图6所示，所述特征词典通过以下步骤得到：
获取所述目标器官的虚拟内窥图像序列；
对每一幅所述虚拟内窥图像进行特征提取，以获取所述虚拟内窥图像的特征点；
对所有的所述虚拟内窥图像的特征点进行聚类，根据聚类结果生成特征词典。
具体地，可以采用现有技术中的任一种特征提取方法对所述虚拟内窥图像进行特征提取，但是，如本领域技术人员所能理解的，应采用同一种方法对所述当前帧真实内窥图像和所述虚拟内窥图像进行特征提取，例如若采用ORB算法对所述虚拟内窥图像进行特征提取，则对应的也采用ORB算法对所述当前帧真实内窥图像进行特征提取；若采用SIFT算法对所述虚拟内窥图像进行特征提取，则对应的也采用SIFT算法对所述当前帧真实内窥图像进行特征提取。此外，需要说明的是，可以采用例如K-means算法等聚类算法对所述虚拟内窥图像的特征点进行聚类，根据聚类结果生成特征词典，所述特征词典即为聚类所得到的的聚类中心的集合，即所述特征词典中的特征类型与聚类所得到的聚类中心一一对应。请参考图7，其示意性地给出了本发明一具体示例中的虚拟内窥图像的特征点的提取示意图。如图7所示，通过对所述虚拟内窥图像进行特征提取，可以准确地在所述虚拟内窥图像上提取出特征点2。
请继续参考图8，其示意性地给出了本发明一实施方式提供的获取虚拟内窥图像序列的流程示意图。如图8所示，所述目标器官的虚拟内窥图像序列通过以下步骤得到：
获取所述目标器官的掩膜图像；
根据所述掩膜图像进行三维重建，以获取所述目标器官的三维模型；
按照预设路径并沿不同方向对所述三维模型进行渲染，以获取所述目标器官的虚拟内窥图像序列。
具体地，可以通过采用例如阈值分割法、或区域生成法等图像分割法，对预先获取的包含目标器官(例如支气管)的医学图像(例如肺部CT图像)进行分割，以获取所述目标器官(例如支气管)的掩膜图像(即目标器官的二值图像，在该图像中，目标器官所在区域的像素点的像素值为1，其它区域的像素点的像素值为0)。其中，虚拟成像参数信息可以通过标定得到，具体地标定流程包括：使用所述图像采集装置110采集多张棋盘格图像，计算各幅棋盘格图像中的角点坐标及亚角点坐标，根据所述角点坐标和亚角点坐标，计算所述图像采集装置110的内参矩阵及畸变系数(包括镜头的焦距、光学中心和径向畸变系数等)，以获取虚拟成像参数信息。利用光源在导管100中的位置、出光强度以及目标器官的内壁(例如支气管壁)的漫反射、镜面反射等参数，并采用有限元等算法即可获取光照模型，根据所得到的光照模型即可计算在图像采集装置110视场范围内，所述目标器官(例如支气管)的三维模型内壁各位置的光辐射变化，所述光辐射变化用于表示在图像采集装置110视场范围内的光路传输方向、光线叠加等因素导致的光能衰减情况。由此，根据虚拟成像参数信息以及光照模型，在所述目标器官(例如支气管)的三维模型的各个位置并沿不同方向进行渲染，即可得到所述目标器官的三维模型所对应的虚拟内窥图像序列。
由于在实际操作过程中，导管100一般沿所述目标器官(例如支气管)的中心线方向进行移动，由此，在对所述目标器官的三维模型进行渲染(渲染的具体过程可参考：https://en-m.jinzhao.wiki/wiki/Physically_based_rendering、https://en-m.jinzhao.wiki/wiki/
Global_illumination)时，优选沿所述目标器官的三维模型的中心线(即目标运动路径)方向，选取所述目标器官的三维模型的中心线上的各个像素点所在位置并沿不同方向进行渲染，即可得到在图像采集装置110视角下的虚拟内窥图像序列。优选地，为了进一步扩充特征集合，在对所述三维模型进行渲染时，还选取所述目标器官的三维模型的中心线的附近区域的各个像素点所在位置并沿不同方向进行渲染，以获取更多位姿下的虚拟内窥图像。需要说明的是，如本领域技术人员所能理解的，所述虚拟内窥图像所对应的位姿由与其对应的渲染位置和方向表示。请参考图9，其示意性地给出了本发明一具体示例中的渲染位置的选取示意图，如图9所示，对于同一位置A，可以沿不同的方向D1和方向D2进行渲染，从而可以获取不同的虚拟内窥图像。
对应地，所述特征向量集合通过以下步骤得到：
统计所述特征词典中的每一特征类型在所述虚拟内窥图像中出现的频次；
根据每一特征类型在所述虚拟内窥图像中出现的频次，获取所述虚拟内窥图像的特征直方图；
根据所述虚拟内窥图像的特征直方图，获取所述虚拟内窥图像的特征向量；
根据所有的虚拟内窥图像的特征向量，获取特征向量集合。
更进一步地，所述对所述虚拟内窥图像的特征点进行聚类，根据聚类结果生成特征词典，包括：
将预先获取的所述目标器官的三维模型划分成多个器官区域；
对每一所述器官区域所对应的所有所述虚拟内窥图像的特征点进行聚类，根据聚类结果，生成所述器官区域所对应的特征词典。
对应地，所述根据所有的虚拟内窥图像的特征向量，获取特征向量集合，包括：
根据所述器官区域所对应的所有所述虚拟内窥图像的特征向量，获取所述器官区域所对应的特征向量集合。
对应地，所述根据所述特征点以及预先获取的特征词典，获取所述当前帧真实内窥图像的特征向量，包括：
根据所述特征点以及预先获取的对应器官区域的特征词典，获取所述当前帧真实内窥图像的特征向量。
对应地，所述在预先获取的特征向量集合中查找与所述当前帧真实内窥图像的特征向量相匹配的特征向量，包括：
在预先获取的对应器官区域的特征向量集合中查找与所述当前帧真实内窥图像的特征向量相匹配的特征向量。
由此，通过将目标器官的三维模型划分成多个器官区域，并且针对每一所述器官区域，将该器官区域所对应的所有虚拟内窥图像的特征点进行聚类(例如采用K-means算法进行聚类)，以生成该器官区域所对应的特征词典，根据该器官区域所对应的特征词典，即可获取该器官区域所对应的所有虚拟内窥图像的特征向量，从而获取该器官区域所对应的特征向量集合，即不同的器官区域对应不同的特征词典和特征向量集合。进而在具体定位时，选取对应器官区域所对应的特征词典，获取所述当前帧真实内窥图像的特征向量，并在对应器官区域所对应的特征向量集合中查找与所述当前帧真实内窥图像的特征向量相匹配的特征向量，从而不仅可以降低匹配量，提高匹配速度，而且还可以有效避免误匹配，提高匹配的准确度，从而进一步提高本发明提供的导管定位方法的定位准确度。需要说明的是，如本领域技术人员所能理解的，所述导管100一般是按照预先规划好的路径插入目标器官内的，由此，根据所述路径并结合所述导管100的末端的上一位置，即可确定所述导管100的末端当前所处的器官区域。
在一种示范性的实施方式中，当所述目标器官为支气管时，所述将预先获取的所述目标器官的三维模型划分成多个器官区域，包括：
根据预先获取的支气管树拓扑结构，将预先获取的支气管三维模型划分成多个气道区域。
由此，根据预先获取的支气管树拓扑结构，可以准确地将支气管三维模型划分成多个气道区域，进而根据各个气道区域所处的位置信息以及各幅所述虚拟内窥图像所对应的位姿，即可知晓所述虚拟内窥图像序列中的每一幅虚拟内窥图像应归属于哪一个气道区域，从而根据每一气道区域所对应的所有虚拟内窥图像，即可获取该气道区域所对应的特征词典和特征向量集合。
进一步地，请参考图10，其示意性地给出了本发明一实施方式提供的获取支气管树拓扑结构的示意图。如图10所示，所述支气管树拓扑结构通过以下过程获得：
获取支气管掩膜图像；
对所述支气管掩膜图像进行细化处理，以提取出骨架；
遍历所述骨架上的每一像素点，标记出每一像素点所在气道的编号和/或所在气道所处的层数和/或所在气道的父气道的编号和/或所在气道的子气道的编号，以获取支气管树拓扑结构。
具体地，可以采用图像分割法，例如阈值分割法或区域生成法等，对预先获取的肺部医学图像进行分割，以获取初步支气管掩膜图像，再采用形态学方法对所述初步支气管掩膜图像进行孔洞填充，即可获取清楚完整的支气管掩膜图像。通过对所述支气管掩膜图像进行细化处理，即可提取出支气管的骨架(即支气管的中心线)。
在一种示范性的实施方式中，所述对所述支气管掩膜图像进行细化处理，以提取出骨架，包括：
对所述支气管掩膜图像进行细化处理，以提取出初步骨架；
对所述初步骨架进行去环和剪枝操作，以提取出最终的骨架。
由此，通过先对所述支气管掩膜图像进行细化处理，以提取出初步骨架，再对所述初步骨架进行去环和剪枝操作，可以有效去除干扰区域，进一步保证提取出的骨架的准确性。
请参考图11，其示意性地给出了本发明一具体示例中的提取出的支气管的骨架的示意图，其中黑色的线条表示提取出的骨架。如图11所示，通过对所述支气管掩膜图像进行细化处理、去环和剪枝操作后，可以提取出完整的骨架。
在提取出骨架后，遍历所述骨架上的每一像素点，以标记出每一像素点所在气道的编号和/或所在气道所处的层数和/或所在气道的父气道的编号和/或所在气道的子气道的编号，即可获取支气管树拓扑结构。需要说明的是，如本领域技术人员所能理解的，在其它一些实施方式中，还可以采用其它的方法获取支气管树拓扑结构，本发明对此并不进行限定。
请参考图12，其示意性地给出了本发明一具体示例中的支气管树拓扑结构的局部示意图。如图12所示，图中编号B0的气道为第1级气道，编号(又称ID)为B0-0、B0-1的气道为第2级气道，编号B0-0-0、编号B0-0-1、B0-1-0、B0-1-1的气道为第3级气道，编号B0-0-0-0、B0-0-0-1的气道为第4级气道，其中编号B0-0、B0-1的气道为编号B0的气道的子气道，编号B0-0-0、B0-0-1的气道为编号B0-0的气道的子气道，编号B0-1-0、B0-1-1的气道为编号B0-1的气道的子气道，编号B0-0-0-0、B0-0-0-1的气道为编号B0-0-0的气道的子气道，编号B0-1-1-0、B0-1-1-1的气道为编号B0-1-1的气道的子气道，也即编号B0的气道为编号B0-0、B0-1的气道的父气道，编号B0-0的气道为编号B0-0-0、B0-0-1的气道的父气道，编号B0-1的气道为编号B0-1-0、B0-1-1的气道的父气道，编号B0-0-0的气道为编号B0-0-0-0、B0-0-0-1的气道的父气道，编号B0-1-1的气道为编号B0-1-1-0、B0-1-1-1的气道的父气道。需要说明的是，根据各个气道的起点和终点的位置坐标，即可获取各个所述气道所处的层数。此外，需要说明的是，如本领域技术人员所能理解的，图中的编号的设置规则仅为示例性说明，本领域技术人员可以根据实际需求设置不同类型的编号，本发明对此并不进行限定。
优选地，所有气道区域所对应的特征词典和特征向量集合按照所述支气管树拓扑结构存储于一树形数据结构中，其中，同一气道区域所对应的特征词典和特征向量集合存储于所述树形数据结构的同一节点中，所述支气管树拓扑结构中的每一段气道与所述树形数据结构中的每一节点形成一一对应的关系。请参考图13，其示意性地给出了本发明一具体示例中的支气管树拓扑结构与树形数据结构之间的映射关系示意图。如图13所示，编号B0的气道所对应的特征词典和特征向量集合存储于所述树形数据结构的第一层节点(根节点)b0中，编号B0-1的气道所对应的特征词典和特征向量集合存储于所述树形数据结构的第二层节点b0-1中，编号B0-1-1的气道所对应的特征词典和特征向量集合存储于所述树形数据结构的第三层节点b0-1-1中，编号B0-1-1-1的气道所对应的特征词典和特征向量集合存储于所述树形数据结构的第四层节点b0-1-1-1中。由此，通过将各个气道所对应的特征词典和特征向量集合按照所述支气管树拓扑结构存储于一树形数据结构中，可以更加便利地选择对应气道区域的特征词典和特征向量集合进行匹配，从而可以进一步减少误匹配，提高匹配速度和匹配的准确度。
进一步地，所述节点中还存储有以下一种或者多种信息：所述特征向量集合中的每一特征向量所对应的虚拟内窥图像所对应的位姿信息以及每一所述特征向量的编号信息、所在气道的编号信息、所在气道的子气道的编号信息、所在节点的父节点信息和所在节点的子节点信息。
具体地，请参考表1(气道特征向量集合存储模型)，如表1所示，其中的父气道ID表示当前气道的父气道的编号，当前气道ID表示当前气道的编号，子气道ID表示当前气道的子气道的编号，特征ID表示该特征向量所对应的虚拟内窥图像的序列号，位置表示该特征向量所对应的虚拟内窥图像的渲染位置，姿态表示该特征向量所对应的虚拟内窥图像的渲染方向。
表1气道特征向量集合存储模型
Figure BDA0003312873790000091
在一种示范性的实施方式中，在获取所述导管的末端的当前位姿之后，所述导管定位方法还包括：
根据所述导管的末端的当前位姿，判断所述导管的末端是否位于当前气道的末端位置，若是，则获取所述当前气道的所有子气道所对应的特征词典和特征向量集合。
由此，通过在所述导管100的末端到达某一气道的末端位置时，载入该气道的所有子气道(即下一级气道)的特征词典和特征向量集合，可以实现特征词典和特征向量集合的动态导入与导出，从而可以有效防止误匹配，提高匹配速度和匹配准确率，进一步提高定位的准确性。需要说明的是，如本领域技术人员所能理解的，在初始(即导管100的末端进入主气道之前)，先导入主气道所对应的特征词典和特征向量集合，即先导入树形数据结构中的根节点中的数据，当所述导管100的末端到达所述主气道的末端位置时，再导入主气道的所有子气道所对应的特征词典和特征向量集合，即导入树形数据结构中的根节点的所有子节点的数据。
优选地，所述在预先获取的对应器官区域的特征向量集合中查找与所述当前帧真实内窥图像的特征向量相匹配的特征向量，包括：
分别计算最近n帧内窥图像与各个所述子气道之间的匹配分数总和，其中n≥2；
选取匹配分数最高的子气道作为所述导管的末端所在的当前气道；
在所述当前气道所对应的特征集合中查找与所述当前帧真实内窥图像的特征向量相匹配的特征向量。
具体地，请参考图14和图15，其中图14示意性地给出了本发明一实施方式提供的定位的具体流程示意图，图15示意性地给出了本发明一具体示例中的特征词典和特征向量集合的载入流程示意图。如图14和图15所示，在初始时，先载入存储于所述树形数据结构的根节点b0中的数据，即获取主气道所对应的特征词典和特征向量集合。在所述导管100进入当前气道后，若当前气道为主气道，则获取图像采集装置110采集的当前帧图像，并对所述当前帧真实内窥图像进行特征提取，再根据与所述主气道(当前气道)所对应的特征词典，计算所述当前帧真实内窥图像的特征向量，并在与所述主气道(当前气道)所对应的特征向量集合中，查找与所述当前帧真实内窥图像的特征向量相匹配的特征向量，以获取所述导管100的末端的当前位姿。当所述导管100到达所述主气道(当前气道)的末端位置时，将所述主气道(当前气道)的下一级的所有子气道作为下一个当前气道的候选气道(即当前候选气道)，并载入存储于所述根节点的两个子节点b0-0和b0-1中的数据，即获取所述主气道的所有子气道(所述主气道的所有子气道都有可能为下一个当前气道)所对应的特征词典和特征向量集合。在所述图像采集装置110进入新气道后，获取所述图像采集装置110采集的最近n帧(例如10帧)内窥图像，并进行特征提取，再根据所述主气道的所有子气道所对应的特征词典，获取最近n帧内窥图像在各个特征词典下的特征向量，再在对应的特征向量集合中，分别查找与其最匹配的特征向量，最后将各帧内窥图像在同一特征词典下的特征向量和与其在对应特征向量集合中的最匹配的特征向量之间的匹配度相加，从而获取最近n帧内窥图像与该特征词典所对应的子气道之间的匹配分数总和，同理，获取最近n帧内窥图像与其它特征词典所对应的子气道之间的匹配分数总和，最后再选取匹配分数最高的子气道作为所述导管100的末端所在的当前气道，保留所述当前气道所对应的特征词典和特征向量集合，剔除其它同级候选气道所对应的特征词典和特征向量集合，由此，根据所述当前气道所对应的特征词典，即可获取所述图像采集装置110采集的当前帧真实内窥图像的特征向量，通过在所述当前气道所对应的特征向量集合中，查找与所述当前帧真实内窥图像的特征向量相匹配的特征向量，即可获取所述导管100的末端的当前位姿。依此类推，重复上述步骤，通过当前气道的特征词典和特征向量集合，即可准确地获取所述导管100的末端的当前位姿。请参考图16，其示意性地给出了本发明一具体示例中的当前帧真实内窥图像和虚拟内窥图像之间的匹配示意图，其中特征点1为当前帧真实内窥图像上的特征点；特征点2为虚拟内窥图像上的特征点。如图16所示，通过动态载入各个气道所对应的特征词典和特征向量集合，可以准确地找到与所述当前帧真实内窥图像相匹配的虚拟内窥图像，进而根据相匹配的虚拟内窥图像的位姿即可获取所述导管100的末端的当前位姿。
基于同一发明构思，本发明还提供一种导管的运动控制方法。请继续参考图17，其示意性地给出了本发明一实施方式提供的导管的运动控制方法的流程示意图，如图17所示，所述控制方法包括如下步骤：
步骤S210、获取所述图像采集装置在目标器官所提供的空间中所采集的当前帧真实内窥图像以及与所述当前帧真实内窥图像相对应的当前帧虚拟内窥图像；
步骤S220、对所述当前帧真实内窥图像和所述当前帧虚拟内窥图像进行匹配，以获取所述导管的末端的当前位姿偏差信息；
步骤S230、根据所述当前位姿偏差信息以及预先获取的根据所述目标区域的三维模型规划好的目标运动路径，控制所述导管沿所述目标运动路径进行运动。
具体地，可以根据所述导管100的末端的当前位姿(在三维模型坐标系下的当前位姿)以及根据所述目标器官的三维模型预先规划好的目标运动路径，在所述目标运动路径上查找出距离所述导管的末端最近的路径点，在所述目标器官的三维模型的对应位置和对应方向按照预先获取的虚拟成像参数信息以及光照模型进行渲染，即可获取与所述当前帧真实内窥图像相对应的当前帧虚拟内窥图像(也可以直接根据查找出的最近的路径点和所述目标运动路径的前进方向，在预先获取的虚拟内窥图像序列中查找出所述当前帧虚拟内窥图像)，由此，本发明可以在术中实现导管100运动的自动控制，无需人工干预，从而可以有效降低手术难度。同时，本发明可以实现导管100运动的精确控制，有效减少对患者的伤害，提高手术安全性。
需要说明的是，如本领域技术人员所能理解的，在其它一些实施方式中，也可以直接根据所述导管的末端在三维模型坐标系下的当前位姿以及根据所述目标器官所规划的目标运动路径，得到所述导管的末端的当前目标位姿(即导管沿目标运动路径200移动时当前应到达的位姿)再根据所述导管的末端在世界坐标坐标系下的当前位姿以及所述导管的末端在世界坐标系下的当前目标位姿，计算所述导管的末端的当前位姿偏差信息，再根据所述当前位姿偏差信息以及预先获取的根据所述目标区域的三维模型规划好的目标运动路径，控制所述导管沿所述目标运动路径进行运动。
请继续参考图18，其示意性地给出了本发明另一实施方式提供的导管的局部结构示意图。如图18所示，在本实施方式中，所述导管100的末端还安装有位置传感器120。由此在本实施方式中，所述获取与所述当前帧真实内窥图像相对应的当前帧虚拟内窥图像包括：
获取所述导管的末端的当前位置信息；
根据所述当前位置信息以及所述目标运动路径，对所述目标器官的三维模型进行渲染，以获取与所述当前帧真实内窥图像相对应的当前帧虚拟内窥图像。
具体地，根据所述位置传感器120，可以实时采集所述导管100的末端的当前位置信息(由于所述图像采集装置110与所述导管100之间是刚性装配，无相对运动，因此所述导管100的末端的当前位置即为所述图像采集装置110的当前位置)，进而根据所述当前位置信息以及所述目标运动路径，在所述目标器官的三维模型的对应位置和对应方向按照预先获取的虚拟成像参数信息以及光照模型进行渲染，即可获取与所述当前帧真实内窥图像相对应的当前帧虚拟内窥图像。
请继续参考图19，其示意性地给出了本发明另一实施方式提供的获取虚拟内窥图像的示意图。如图19所示，可以根据所述导管100的末端的当前位置信息(在世界坐标系的位置信息)以及预先获取的三维模型坐标系与世界坐标系之间的映射关系，获取所述导管100的末端在所述三维模型坐标系下的位置信息，根据所述导管100的末端在所述三维模型坐标系下的位置信息，即可在所述目标运动路径200上查找与所述当前位置距离最近的当前路径点210，根据所述当前路径点210的位置以及所述当前路径点210所对应的路径方向(即沿着所述目标运动路径200前进的方向)，对所述目标器官的三维模型进行渲染，即可获取与所述当前帧真实内窥图像所对应的当前帧虚拟内窥图像400。
优选地，所述图像采集装置110的采样频率与所述位置传感器120的采样频率相同。由于所述图像采集装置110的采样频率与所述位置传感器120的采样频率相一致，由此可以保证所述真实内窥图像与所述虚拟内窥图像的获取频率保持一致，进而使得所述当前帧真实内窥图像与所述当前帧虚拟内窥图像能够始终保持一一对应的关系，保证导管100运动控制的及时性，进一步提高导管100运动的控制精度。
更为优选地，所述图像采集装置110、所述位置传感器120的采样间隔均小于所述导管100的单位运动时间间隔(即导管100执行单步前进或弯曲的运动时间间隔)。由此，此种设置可以保证在所述导管100的单位运动时间间隔内，至少执行一次图像采集和位置采集的动作，从而可以进一步保证导管100运动控制的及时性，进一步提高导管100运动的控制精度。
请继续参考图20，其示意性地给出了本发明一实施方式提供的获取导管的末端的当前位姿偏差信息的具体流程示意图。如图20所示，所述对所述当前帧真实内窥图像和所述当前帧虚拟内窥图像进行匹配，以获取所述导管100的末端的当前位姿偏差信息，包括：
对所述当前帧真实内窥图像进行特征提取，以获取第一特征点集；
对所述当前帧虚拟内窥图像进行特征提取，以获取第二特征点集；
对所述第一特征点集与所述第二特征点集进行匹配，以获取所述当前帧真实内窥图像与所述当前帧虚拟内窥图像之间的空间映射关系；
根据所述空间映射关系，获取所述导管的末端的当前位姿偏差信息。
由此，通过分别对所述当前帧真实内窥图像和所述当前帧虚拟内窥图像进行特征提取，可以获取第一特征点集和第二特征点集，通过对所述第一特征点集与所述第二特征点集进行匹配，即可获取所述当前帧真实内窥图像与所述当前帧虚拟内窥图像之间的空间映射关系，根据所述映射关系即可获取所述导管100的末端的当前位置与所述当前路径点210之间的位姿偏差信息，即所述导管100的末端的当前位姿偏差信息。需要说明的是，虽然图20是以先获取第一特征点集，在获取第二特征点集为例进行说明，但是如本领域技术人员所能理解的，在其它一些实施方式中，也可以先获取第二特征点集再获取第一特征点集，或者同时获取第一特征点集和第二特征点集，本发明对此并不进行限定。
在一种示范性的实施方式中，所述对所述当前帧真实内窥图像进行特征提取，以获取第一特征点集，包括：
采用ORB算法对所述当前帧真实内窥图像进行特征提取，以获取第一特征点集。
所述对所述当前帧虚拟内窥图像进行特征提取，以获取第二特征点集，包括：
采用ORB算法对所述当前帧虚拟内窥图像进行特征提取，以获取第二特征点集。
由此，通过采用ORB算法进行第一特征点和第二特征点的提取，不仅提取速度超快，而且在一定程度上不受噪点和图像变换的影响，例如旋转和缩放变换等的影响，从而可以在后续的匹配过程中，消除导管100运动过程中沿导管100运动方向的旋转误差。请参考图21和图22，其中图21示意性地给出了本发明一具体示例中的提取出的第一特征点集的示意图；图22示意性的给出了本发明一具体示例中的提取出的第二特征点集的示意图。如图21所示，通过采用ORB算法，对所述当前帧真实内窥图像300进行特征提取，可以准确、快速地提取出由多个第一特征点310所构成的第一特征点集。如图22所示，通过采用ORB算法，对所述当前帧虚拟内窥图像400进行特征提取，可以准确、快速地提取出由多个第二特征点410所构成的第二特征点集。
需要说明的是，虽然本文是以采用ORB算法提取第一特征点集和第二特征点集为例进行说明，但是，如本领域技术人员所能理解的，在其它一些实施方式中，还可以采用现有技术中的其它特征点提取方法进行第一特征点集和第二特征点集的提取，例如harris角点检测法、SIFT算法、SURF算法等。
优选地，在采用ORB算法，对所述当前帧真实内窥图像进行特征提取之前，先对所述当前帧真实内窥图像进行灰度处理，以将所述当前帧真实内窥图像转化为灰度图像。由此，通过先将所述当前帧真实内窥图像转化为灰度图像，再对所述当前帧真实内窥图像所对应的灰度图像进行特征提取，可以有效降低计算量，提高第一特征点集的提取速率。同理，在采用ORB算法，对所述当前帧虚拟内窥图像进行特征提取之前，先对所述当前帧虚拟内窥图像进行灰度处理，以将所述当前帧虚拟内窥图像转化为灰度图像。由此，通过先将所述当前帧虚拟内窥图像转化为灰度图像，再对所述当前帧虚拟内窥图像所对应的灰度图像进行特征提取，可以有效降低计算量，提高第二特征点集的提取速率。
请继续参考图23，其示意性地给出了本发明一实施方式提供的第一特征点集与所述第二特征点集的匹配流程示意图。如图23所示，所述对所述第一特征点集与所述第二特征点集进行匹配，以获取所述当前帧真实内窥图像与所述当前帧虚拟内窥图像之间的空间映射关系，包括：
对所述第一特征点集与所述第二特征点集进行匹配，以确定出相匹配的第一特征点和第二特征点；
根据所述第二特征点的像素坐标信息以及所述当前帧虚拟内窥图像在世界坐标系下所对应的位姿信息，获取所述第二特征点在世界坐标系下的位置信息；
根据所述第一特征点的像素坐标信息以及与其相匹配的第二特征点在世界坐标系下的位置信息，获取所述当前帧真实内窥图像在世界坐标系下所对应的位姿信息；
根据当前帧真实内窥图像在世界坐标系下所对应的位姿信息以及所述当前帧虚拟内窥图像在世界坐标系下所对应的位姿信息，获取所述当前帧真实内窥图像与所述当前帧虚拟内窥图像之间的空间映射关系。
请继续参考图24，其示意性地给出了本发明一具体示例中的第一特征点集与第二特征点集的匹配结果示意图。如图24所示，通过对所述第一特征点集和所述第二特征点集进行匹配，可以找出多组相匹配的第一特征点310和第二特征点410。由于所述当前帧虚拟内窥图像在三维模型坐标系下的所对应的位姿是已知的(根据所述当前帧虚拟内窥图像所对应的渲染位置和方向，即可获取所述当前帧虚拟内窥图像在所述三维模型坐标系下所对应的位姿)，由此根据所述当前帧虚拟内窥图像在所述三维模型坐标系下所对应的位姿信息以及预先获取的所述三维模型坐标系与世界坐标系之间的映射关系，即可获取所述当前帧虚拟内窥图像在所述世界坐标系下所对应的位姿信息。
请继续参考图25，其示意性地给出了本发明一实施方式提供的获取三维模型坐标系与世界坐标系之间的映射关系的流程示意图。如图25所示，所述三维模型坐标系与所述世界坐标系之间的映射关系通过以下过程得到：
在所述目标器官的三维模型中确定多个目标标记点，并获取所述目标标记点在三维模型坐标系下的位置信息；
控制所述导管的末端移动至所述目标器官中的与所述目标标记点对应的目标位置处，并获取所述目标位置在世界坐标系下的位置信息；
根据所述目标标记点在所述三维模型坐标系下的位置信息以及所述目标位置在世界坐标系下的位置信息，获取所述三维模型坐标系与所述世界坐标系之间的映射关系。
请继续参考图26，其示意性地给出了本发明一具体示例提供的配准场景示意图。如图26所示，所述目标标记点510优选为所述三维模型500中的比较容易区分的点，由此，通过选择比较容易区分的点作为目标标记点510，能够更加容易判断在所述目标器官600内，所述导管100的末端是否移动至与所述目标标记点510所对应的目标位置，从而能够保证所获取的所述三维模型坐标系与所述世界坐标系之间的映射关系的准确性。需要说明的是，如本领域技术人员所能理解的，所述目标位置在世界坐标系下的坐标可以通过安装在所述导管100的末端的位置传感器120测得，由此根据所述目标标记点510在所述三维模型坐标系下的位置信息以及所述目标位置在世界坐标系下的位置信息，即可获取所述三维模型坐标系与所述世界坐标系之间的映射关系。此外，需要说明的是，如本领域技术人员所能理解的，所述目标标记点510的个数需要满足能够足够建立起所述三维模型坐标系与所述世界坐标系之间的映射关系。
进一步地，再根据下述公式，获取所匹配出的各个第二特征点在世界坐标系的位置信息：
Figure BDA0003312873790000131
式中，(uvi,vvi)为第二特征点vi在所述当前帧虚拟内窥图像的像素坐标系下的像素坐标，a为缩放因子，Mc为所述图像采集装置110的内参矩阵，Mv为所述当前帧内窥图像在世界坐标系下所对应的位姿(由位置和姿态构成的3×4矩阵)，(xvi,yvi,zvi)为所述第二特征点vi在所述世界坐标系下的坐标，其中所述a和MC均通过预先对所述图像采集装置110进行标定得到，具体标定过程可以参考现有技术，在此不再进行赘述。
同理，所述第一特征点ri在所述当前帧真实内窥图像的像素坐标系下的像素坐标(uri,vri)与其在世界坐标系下的坐标(xri,yri,zri)之间满足如下关系式：
Figure BDA0003312873790000132
由于所述第一特征点ri和与其相匹配的第二特征点vi在世界坐标系下的坐标是相同的，从而根据各组相匹配的所述第一特征点ri的像素坐标(uri,vri)以及所述第二特征点vi在世界坐标系下的坐标(xvi,yvi,zvi)，按照公式(2)进行计算，即可获取所述当前帧真实内窥图像在世界坐标系下所对应的位姿Mr。
最后根据下式(3)即可获取所述当前帧真实内窥图像与所述当前帧虚拟内窥图像之间的空间映射关系：
Mr→v＝(Mr)-1*Mv (3)
所述当前帧真实内窥图像与所述的当前帧虚拟内窥图像之间的空间映射关系，即表示所述导管100的末端的当前位姿偏差信息，由此根据所述当前位姿偏差信息，并基于所述导管100的逆运动学方程，即可获取相应的调整运动指令，从而控制所述导管100调整至与所述当前帧虚拟内窥图像所对应的位置上，以使得所述导管100能够沿所述目标运动路径200继续向前运动，直至到达终止位置(即目标运动路径200的终点)。需要说明的是，如本领域技术人员所能理解的，前文中所述的当前路径点210的位置即为所述当前帧虚拟内窥图像所对应的渲染位置，前文中所述的当前路径点210所对应的路径方向即为所述当前帧虚拟内窥图像所对应的渲染方向。
进一步地，所述根据所述当前位姿偏差信息以及预先根据所述目标器官的三维模型规划好的目标运动路径，控制所述导管沿所述目标运动路径进行运动，包括：
根据所述当前位姿偏差信息，判断所述导管当前是否偏离所述目标运动路径；
若是，则根据所述当前位姿偏差信息，计算所述导管的调整运动参数，并根据所述调整运动参数，控制所述导管进行相应弯曲运动以使得所述导管能够沿所述目标运动路径进行运动；
若否，则控制所述导管继续沿所述目标运动路径进行运动。
请继续参考图27，其示意性地给出了本发明一具体示例中的导管初始化的运动状态示意图。如图27所示，在执行导管100运动控制工作前(即在初始时)，需要医生将导管100放置到所述目标运动路径200的起始位置处，具体地，医生可以在所述图像采集装置110的显示辅助下，即可控制导管100运动到所述目标运动路径200的起始位置处。
请继续参考图28，其示意性地给出了本发明一具体示例中的导管偏离目标运动路径200时的运动状态示意图。如图28所示，当判断出所述导管100当前偏离目标运动路径200时，则根据所述当前位姿偏差信息，并基于导管100的逆运动学方程，即可计算所述导管100的调整运动参数，以获取相应的调整运动指令，由此根据该调整运动指令，即可控制导管100进行弯曲，以使得导管100能够沿着所述目标运动路径200运动。优选地，在执行调整运动指令时，降低所述导管100的前进速度，并按照单位角度，逐步调整所述导管100的末端位姿。
请继续参考图29，其示意性地给出了本发明一具体示例中的导管未偏离目标运动路径时的运动状态示意图。如图29所示，当判断出所述导管100当前未偏离目标运动路径200时，则控制所述导管100继续沿所述目标运动路径200向前运动即可。优选地，在所述导管100未偏离目标运动路径200时，控制所述导管100以较高的速度继续沿所述目标运动路径200进行运动。
基于同一发明构思，本发明还提供一种介入手术系统，请参考图30，其示意性地给出了本发明一实施方式提供的介入手术系统的应用场景示意图。如图30所示，所述介入手术系统包括通信连接的机器人10和控制器20，所述机器人10包括台车11和安装于所述台车11上的机械臂12，所述机械臂12的末端用于安装导管100，所述导管100的末端安装有图像采集装置110，所述控制器20被配置用于实现上文所述的导管定位方法和/或上文所述的导管运动控制方法。由于本发明提供的介入手术系统所包括的控制器20能够实现上文所述的导管定位方法，由此本发明提供的介入手术系统不需要设置其它额外的定位设备，即可实现导管100在人体内的定位，从而不仅可以有效减少成本，简化整个介入手术系统的结构，而且还可以有效减少介入手术系统对环境及患者的约束条件，扩大介入手术系统的适用范围。由于本发明提供的介入手术系统所包括的控制器20能够实现上文所述的导管运动控制方法，由此，本发明提供的介入手术系统可以在术中实现导管100运动的自动控制，无需人工干预，从而可以有效降低手术难度。同时，本发明可以实现导管100运动的精确控制，有效减少对患者的伤害，提高手术安全性。
请继续参考图31，其示意性地给出了本发明一实施方式提供的导管与机械臂之间的连接关系结构示意图。如图31所示，所述导管100内穿设有至少一根导丝130，所述导丝130的近端与一第一驱动装置30(优选为电机)相连，所述第一驱动装置30安装于所述机械臂12的末端且与所述控制器20通信连接，所述导丝130的远端与所述导管100的末端相连，在所述第一驱动装置30的作用下，所述导丝130能够伸长和缩短，以使得所述导管100的末端能够伸直和弯曲。由此，所述控制器20根据所述导管100的末端的当前位姿偏差信息，并基于所述导管100的逆运动学方程，即可计算出所述导管100的调整运动参数(即导丝130的伸长或缩短量)，根据所述导管100的调整运动参数，即可控制所述第一驱动装置30进行相应运动，以使得所述导管100的末端能够沿着目标运动路径200进行运动。
进一步地，如图30和图31所示，所述机械臂12的末端设有一安装板40，所述第一驱动装置30安装于所述安装板40上，所述第一驱动装置30能够在所述安装板40上往复移动(即沿图中的箭头方向移动)。由此，当所述第一驱动装置30朝向所述安装板40的远端移动时，能够使得所述导管100的末端能够沿着目标运动路径200前进，当所述第一驱动装置30朝向所述安装板40的近端移动时，能够使得所述导管100从所述目标器官中撤出。
在一种示范性的实施方式中，所述机械臂12的末端还设有与所述第一驱动装置30相连且与所述控制器20通信连接的第二驱动装置(图中未示出)，所述第二驱动装置用于驱动所述第一驱动装置30在所述安装板40上往复移动。由此，通过设置第二驱动装置，能够进一步实现导管100运动的自动控制，进一步提高导管100运动的控制精度。
如图31所示，所述安装板40的远端设有一用于固定所述导管100的固定座50，所述导管100的末端能够靠近和远离所述固定座50。由此，通过所述安装板40上设置固定座50，不仅可以更加便于所述导管100的安放，同时也可以进一步提高导管100运动的控制精度。
进一步地，如图30所示，所述介入手术系统还包括与所述控制器20通信连接的显示装置60，所述显示装置60用于显示所述导管100的末端的当前位姿和/或显示根据所述导管100的末端的当前位姿所重构的内窥图像和/或显示所述图像采集装置110采集的真实内窥图像和/或所述目标器官的三维模型。由于，通过本发明提供的导管定位方法可以获取导管100在三维模型坐标系下的位姿，由此，通过所述显示装置60可以显示所述导管100在所述三维模型上的实时位姿，从而可以实现术中导航。通过显示根据所述导管100的末端的当前位姿所重构的内窥图像，可以更加便于操作者根据重构的内窥图像并结合所述三维模型，实时调整导管100的实际路径，以更好地执行手术。需要说明的是，如本领域技术人员所能理解的，可以基于所述导管100的末端的当前位姿，在所述三维模型的对应位置和方向进行渲染，即可得到重构的内窥图像。此外，通过显示所述图像采集装置110采集的真实内窥图像和所述目标器官的三维模型，可以更加便于医生了解术中的真实情况，以进一步提高手术过程中的安全性。
请继续参考图32，其示意性地给出了本发明另一实施方式提供的介入手术系统的应用场景示意图。如图32所示，在本实施方式中，所述手术系统还包括磁场发生器70，所述导管100的末端安装有位置传感器130(即磁感应器)，所述磁场发生器70用于产生穿过所述目标器官的磁场，所述位置传感器130用于在所述磁场内采集磁场强度信息，所述控制器20用于根据所述位置传感器130采集的磁感强度信息，获取所述导管100的末端的位置信息。由此，通过采用磁感应的方式获取所述导管100的末端的位置信息，可以保证所获取的导管100的末端的位置信息的准确性，进而保证导管100运动的控制精度。
基于同一发明构思，本发明还提供一种电子设备，请参考图33，其示意性地给出了本发明一实施方式提供的电子设备的方框结构示意图。如图33所示，所述电子设备包括处理器101和存储器103，所述存储器103上存储有计算机程序，所述计算机程序被所述处理器101执行时，实现上文所述的导管定位方法和/或导管运动控制方法。由于本发明提供的电子设备与本发明提供的导管定位方法和/或导管运动控制方法属于同一发明构思，因此其具有上文所述的导管定位方法和/或导管运动控制方法的所有优点，故对此不再进行赘述。
如图33所示，所述电子设备还包括通信接口102和通信总线104，其中所述处理器101、所述通信接口102、所述存储器103通过通信总线104完成相互间的通信。所述通信总线104可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线104可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。所述通信接口102用于上述电子设备与其他设备之间的通信。
本发明中所称处理器101可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器101是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
所述存储器103可用于存储所述计算机程序，所述处理器101通过运行或执行存储在所述存储器103内的计算机程序，以及调用存储在存储器103内的数据，实现所述电子设备的各种功能。
所述存储器103可以包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本发明还提供了一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时可以实现上文所述的导管定位方法和/或导管运动控制方法。由于本发明提供的可读存储介质与本发明提供的导管定位方法和/或导管运动控制方法属于同一发明构思，因此其具有上文所述的导管定位方法和/或导管运动控制方法的所有优点，故对此不再进行赘述。
本发明实施方式的可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述，与现有技术相比，本发明提供的导管运动控制方法、介入手术系统、电子设备和存储介质具有以下优点：本发明通过先获取安装于所述导管的末端的图像采集装置在目标器官所提供的空间中所采集的当前帧真实内窥图像以及与所述当前帧真实内窥图像相对应的当前帧虚拟内窥图像；再对所述当前帧真实内窥图像与所述当前帧虚拟内窥图像进行匹配，根据匹配结果获取所述导管的末端的当前位姿偏差信息；最后再根据所述当前位姿偏差信息以及预先获取的根据所述目标器官的三维模型规划好的目标运动路径，控制所述导管沿所述目标运动路径进行运动。由此可见，本发明可以在术中实现导管运动的自动控制，无需人工干预，从而可以有效降低手术难度。同时，本发明可以实现导管运动的精确控制，有效减少对患者的伤害，提高手术安全性。
应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
上述描述仅是对本发明较佳实施方式的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于本发明的保护范围。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。

Claims (19)

1.一种导管运动控制方法，其特征在于，所述导管的末端安装有图像采集装置，所述控制方法包括：
获取所述图像采集装置在目标器官所提供的空间中所采集的当前帧真实内窥图像以及与所述当前帧真实内窥图像相对应的当前帧虚拟内窥图像；
对所述当前帧真实内窥图像和所述当前帧虚拟内窥图像进行匹配，以获取所述导管的末端的当前位姿偏差信息；
根据所述当前位姿偏差信息以及预先获取的根据所述目标器官的三维模型规划好的所述导管的目标运动路径，控制所述导管沿所述目标运动路径进行运动。
2.根据权利要求1所述的导管运动控制方法，其特征在于，所述导管的末端还安装有位置传感器；
所述获取与所述当前帧真实内窥图像相对应的当前帧虚拟内窥图像包括：
获取所述导管的末端的当前位置信息；
根据所述当前位置信息以及所述目标运动路径，对所述目标器官的三维模型进行渲染，以获取与所述当前帧真实内窥图像相对应的当前帧虚拟内窥图像。
3.根据权利要求2所述的导管运动控制方法，其特征在于，所述根据所述当前位置信息以及所述目标运动路径，对所述目标器官的三维模型进行渲染，包括：
根据所述当前位置信息，在所述目标运动路径上查找与所述当前位置距离最近的当前路径点；
根据所述当前路径点的位置信息以及所述当前路径点所对应的路径方向信息，对所述目标器官的三维模型进行渲染。
4.根据权利要求1所述的导管运动控制方法，其特征在于，所述目标器官的三维模型通过以下步骤获得：
对预先获取的医学图像进行分割，以获取目标器官的掩膜图像；
根据所述目标器官的掩膜图像进行三维重建，以获取所述目标器官的三维模型。
5.根据权利要求1所述的导管运动控制方法，其特征在于，所述对所述当前帧真实内窥图像和所述当前帧虚拟内窥图像进行匹配，以获取所述导管的末端的当前位姿偏差信息，包括：
对所述当前帧真实内窥图像进行特征提取，以获取第一特征点集；
对所述当前帧虚拟内窥图像进行特征提取，以获取第二特征点集；
对所述第一特征点集与所述第二特征点集进行匹配，以获取所述当前帧真实内窥图像与所述当前帧虚拟内窥图像之间的空间映射关系；
根据所述空间映射关系，获取所述导管的末端的当前位姿偏差信息。
6.根据权利要求5所述的导管运动控制方法，其特征在于，所述对所述当前帧真实内窥图像进行特征提取，以获取第一特征点集，包括：采用ORB算法对所述当前帧真实内窥图像进行特征提取，以获取第一特征点集；
所述对所述当前帧虚拟内窥图像进行特征提取，以获取第二特征点集，包括：采用ORB算法对所述当前帧虚拟内窥图像进行特征提取，以获取第二特征点集。
7.根据权利要求5所述的导管运动控制方法，其特征在于，所述对所述第一特征点集与所述第二特征点集进行匹配，以获取所述当前帧真实内窥图像与所述当前帧虚拟内窥图像之间的空间映射关系，包括：
对所述第一特征点集与所述第二特征点集进行匹配，以确定出相匹配的第一特征点和第二特征点；
根据所述第二特征点的像素坐标信息以及所述当前帧虚拟内窥图像在世界坐标系下所对应的位姿信息，获取所述第二特征点在世界坐标系下的位置信息；
根据所述第一特征点的像素坐标信息以及与其相匹配的第二特征点在世界坐标系下的位置信息，获取所述当前帧真实内窥图像在世界坐标系下所对应的位姿信息；
根据当前帧真实内窥图像在世界坐标系下所对应的位姿信息以及所述当前帧虚拟内窥图像在世界坐标系下所对应的位姿信息，获取所述当前帧真实内窥图像与所述当前帧虚拟内窥图像之间的空间映射关系。
8.根据权利要求7所述的导管运动控制方法，其特征在于，所述当前帧虚拟内窥图像在世界坐标系下所对应的第二位姿信息通过以下过程获得：
根据所述当前帧虚拟内窥图像在所述三维模型坐标系下所对应的位置和方向信息以及预先获取的所述三维模型坐标系与所述世界坐标系之间的映射关系，获取所述当前帧虚拟内窥图像在世界坐标系下所对应的第二位姿信息。
9.根据权利要求8所述的导管运动控制方法，其特征在于，所述三维模型坐标系与所述世界坐标系之间的映射关系，通过以下过程得到：
在所述目标器官的三维模型中确定多个目标标记点，并获取所述目标标记点在三维模型坐标系下的位置信息；
控制所述导管的末端移动至所述目标器官中的与所述目标标记点对应的目标位置处，并获取所述目标位置在世界坐标系下的位置信息；
根据所述目标标记点在所述三维模型坐标系下的位置信息以及所述目标位置在世界坐标系下的位置信息，获取所述三维模型坐标系与所述世界坐标系之间的映射关系。
10.根据权利要求1所述的导管运动控制方法，其特征在于，所述根据所述当前位姿偏差信息以及预先根据所述目标器官的三维模型规划好的目标运动路径，控制所述导管沿所述目标运动路径进行运动，包括：
根据所述当前位姿偏差信息，判断所述导管当前是否偏离所述目标运动路径；
若是，则根据所述当前位姿偏差信息，计算所述导管的调整运动参数，并根据所述调整运动参数，控制所述导管进行相应弯曲运动以使得所述导管能够沿所述目标运动路径进行运动；
若否，则控制所述导管继续沿所述目标运动路径进行运动。
11.一种介入手术系统，其特征在于，包括通信连接的机器人和控制器，所述机器人包括台车和安装于所述台车上的机械臂，所述机械臂的末端用于安装导管，所述导管的末端安装有图像采集装置，所述控制器被配置用于实现权利要求1至10中任一项所述的导管运动控制方法。
12.根据权利要求11所述的介入手术系统，其特征在于，所述导管内穿设有至少一根导丝，所述导丝的近端与一第一驱动装置相连，所述第一驱动装置安装于所述机械臂的末端且与所述控制器通信连接，所述导丝的远端与所述导管的末端相连，在所述第一驱动装置的作用下，所述导丝能够伸长和缩短，以使得所述导管的末端沿至少一个方向弯曲。
13.根据权利要求12所述的介入手术系统，其特征在于，所述机械臂的末端设有一安装板，所述第一驱动装置安装于所述安装板上，所述第一驱动装置能够在所述安装板上往复移动。
14.根据权利要求13所述的介入手术系统，其特征在于，所述机械臂的末端还设有与所述第一驱动装置相连且与所述控制器通信连接的第二驱动装置，所述第二驱动装置用于驱动所述第一驱动装置在所述安装板上往复移动。
15.根据权利要求13所述的介入手术系统，其特征在于，所述安装板的远端设有一用于固定所述导管的固定座，所述导管的末端能够靠近和远离所述固定座。
16.根据权利要求11所述的介入手术系统，其特征在于，所述手术系统还包括与所述控制器通信连接的显示装置，所述显示装置用于显示所述图像采集装置采集的真实内窥图像和/或所述目标器官的三维模型。
17.根据权利要求11所述的介入手术系统，其特征在于，所述手术系统还包括磁场发生器，所述导管的末端安装有磁感应器，所述磁场发生器用于产生穿过所述目标器官的磁场，所述磁感应器用于在所述磁场内采集磁场强度信息，所述控制器用于根据所述磁感应器采集的磁感强度信息，获取所述导管的末端的位置信息。
18.一种电子设备，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1至10中任一项所述的控制方法。
19.一种可读存储介质，其特征在于，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至10中任一项所述的控制方法。
CN202111221692.9A 2021-10-20 2021-10-20 导管运动控制方法、介入手术系统、电子设备和存储介质 Active CN114452508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111221692.9A CN114452508B (zh) 2021-10-20 2021-10-20 导管运动控制方法、介入手术系统、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111221692.9A CN114452508B (zh) 2021-10-20 2021-10-20 导管运动控制方法、介入手术系统、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN114452508A true CN114452508A (zh) 2022-05-10
CN114452508B CN114452508B (zh) 2024-01-23

Family

ID=81406733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111221692.9A Active CN114452508B (zh) 2021-10-20 2021-10-20 导管运动控制方法、介入手术系统、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114452508B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115120346A (zh) * 2022-08-30 2022-09-30 中国科学院自动化研究所 目标点定位方法、装置、电子设备及支气管镜系统
CN115778554A (zh) * 2023-01-09 2023-03-14 深圳市精锋医疗科技股份有限公司 导管机器人及其配准方法、可读存储介质
WO2024188065A1 (zh) * 2023-03-16 2024-09-19 杭安医学科技(杭州)有限公司 内窥镜的控制方法和内窥镜系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104540439A (zh) * 2012-08-14 2015-04-22 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法
US20160022253A1 (en) * 2014-07-23 2016-01-28 Boston Scientific Scimed, Inc. Endoscopic closure device using sealants
CN108024698A (zh) * 2015-08-14 2018-05-11 直观外科手术操作公司 用于图像引导外科手术的配准系统和方法
CN111588464A (zh) * 2019-02-20 2020-08-28 忞惪医疗机器人(苏州)有限公司 一种手术导航方法及系统
CN112004496A (zh) * 2018-04-25 2020-11-27 直观外科手术操作公司 与细长装置有关的系统和方法
CN112315582A (zh) * 2019-08-05 2021-02-05 罗雄彪 一种手术器械的定位方法、系统及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104540439A (zh) * 2012-08-14 2015-04-22 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法
US20160022253A1 (en) * 2014-07-23 2016-01-28 Boston Scientific Scimed, Inc. Endoscopic closure device using sealants
CN108024698A (zh) * 2015-08-14 2018-05-11 直观外科手术操作公司 用于图像引导外科手术的配准系统和方法
CN112004496A (zh) * 2018-04-25 2020-11-27 直观外科手术操作公司 与细长装置有关的系统和方法
CN111588464A (zh) * 2019-02-20 2020-08-28 忞惪医疗机器人(苏州)有限公司 一种手术导航方法及系统
CN112315582A (zh) * 2019-08-05 2021-02-05 罗雄彪 一种手术器械的定位方法、系统及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115120346A (zh) * 2022-08-30 2022-09-30 中国科学院自动化研究所 目标点定位方法、装置、电子设备及支气管镜系统
CN115120346B (zh) * 2022-08-30 2023-02-17 中国科学院自动化研究所 目标点定位装置、电子设备及支气管镜系统
CN115778554A (zh) * 2023-01-09 2023-03-14 深圳市精锋医疗科技股份有限公司 导管机器人及其配准方法、可读存储介质
WO2024149161A1 (zh) * 2023-01-09 2024-07-18 深圳市精锋医疗科技股份有限公司 导管机器人及其配准方法、可读存储介质
WO2024188065A1 (zh) * 2023-03-16 2024-09-19 杭安医学科技(杭州)有限公司 内窥镜的控制方法和内窥镜系统

Also Published As

Publication number Publication date
CN114452508B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN114452508B (zh) 导管运动控制方法、介入手术系统、电子设备和存储介质
KR102014359B1 (ko) 수술영상 기반 카메라 위치 제공 방법 및 장치
WO2023066072A1 (zh) 导管定位方法、介入手术系统、电子设备和存储介质
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
CN111798451B (zh) 基于血管3d/2d匹配的3d导丝跟踪方法及装置
US11877806B2 (en) Deformable registration of computer-generated airway models to airway trees
CN105931237A (zh) 一种图像校准方法和系统
EP4070283A1 (en) Registration of an image with a tracking system
CN115511997A (zh) 一种血管造影图像处理方法和系统
CN114937100A (zh) 一种冠状动脉路径图的生成方法、装置、可读存储介质
CN112053346A (zh) 一种操作引导信息的确定方法和系统
WO2014155917A1 (ja) 手術支援装置、方法およびプログラム
CN114283179A (zh) 基于超声图像的骨折远近端空间位姿实时获取与配准系统
Gong et al. Real-time camera localization during robot-assisted telecystoscopy for bladder cancer surveillance
US20230215059A1 (en) Three-dimensional model reconstruction
US20230404670A1 (en) Creating a navigation pathway to a target in the lung and method of navigating to the target
US20230230263A1 (en) Two-dimensional image registration
JP2024005113A (ja) 画像処理装置、方法およびプログラム
Tam et al. Rib Segmentation in Surgical Images for Video-Assisted Thoracoscopic Surgery
JP2024010989A (ja) 画像処理装置、方法およびプログラム
CN106236263A (zh) 基于场景分解的胃肠手术导航方法及系统
CN115474891A (zh) 基于vitdet类算法的腹腔镜病变目标检测方法
CN117934711A (zh) 基于语义关键点的胸腔镜投影方法、装置、设备及介质
CN117635656A (zh) 医学图像配准方法、装置、设备及存储介质
CN117770964A (zh) 一种机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant