CN115120346B - 目标点定位装置、电子设备及支气管镜系统 - Google Patents

目标点定位装置、电子设备及支气管镜系统 Download PDF

Info

Publication number
CN115120346B
CN115120346B CN202211047220.0A CN202211047220A CN115120346B CN 115120346 B CN115120346 B CN 115120346B CN 202211047220 A CN202211047220 A CN 202211047220A CN 115120346 B CN115120346 B CN 115120346B
Authority
CN
China
Prior art keywords
bronchus
model
bronchoscope
real
target point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211047220.0A
Other languages
English (en)
Other versions
CN115120346A (zh
Inventor
边桂彬
李桢
任晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202211047220.0A priority Critical patent/CN115120346B/zh
Publication of CN115120346A publication Critical patent/CN115120346A/zh
Application granted granted Critical
Publication of CN115120346B publication Critical patent/CN115120346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders

Abstract

本发明涉及一种目标点定位方法、装置、电子设备及支气管镜系统，该方法包括：通过根据术前待检测体的肺部扫描图像建立虚拟支气管模型，并接受用户在所述虚拟支气管模型上标记的目标点；根据支气管镜远端设置的单目相机所采集的肺部图像建立真实支气管模型；对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息；根据所述位置信息确定支气管镜远端的规划路径，并控制支气管镜远端根据所述规划路径移动到所述目标点进行操作，实现了无需术中CT透视的目标点的定位，减少医生和患者暴露在辐射中的时间，进一步保障了医生和患者的身体健康。

Description

目标点定位装置、电子设备及支气管镜系统
技术领域
本发明涉及医学手术导航规划领域，尤其涉及一种目标点定位方法、装置、电子设备及支气管镜系统。
背景技术
肺癌的预防与治疗成为人们持续关注的问题，随着医学影像技术的发展，更小的肺小结节可以被发现，而肺结节正是肺癌最早可检测的阶段，较早的诊断并切除恶性的肺结节可提高患者的生存率。
对肺结节诊断的前提是准确定位肺结节的位置，目前主流方案是在术中进行电子计算机断层扫描（Computed Tomography，简称CT）透视的情况下进行定位，但是这导致医生和患者暴露在CT透视的辐射环境下，危害医生和患者的身体健康。
发明内容
本发明实施例提供了一种目标点定位方法、装置、电子设备及支气管镜系统，以解决术中CT透视导致的医生和患者暴露在辐射环境中，危害身体健康的技术问题。
第一方面，本发明实施例提供了一种目标点定位方法，包括：根据术前待检测体的肺部扫描图像建立虚拟支气管模型，并接受用户在所述虚拟支气管模型上标记的目标点；根据支气管镜远端设置的单目相机所采集的肺部图像建立真实支气管模型；对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息；根据所述位置信息确定支气管镜远端的规划路径，并控制支气管镜远端根据所述规划路径移动到所述目标点进行操作。
作为本发明可选的实施例，所述根据支气管镜远端设置的单目相机所采集的肺部图像建立真实支气管模型，包括：根据支气管镜远端设置的单目相机所实时采集的肺部图像建立真实支气管的局部模型；所述对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在所述局部模型中的当前位置信息；所述根据所述位置信息确定支气管镜远端的规划路径，并控制支气管镜远端根据所述规划路径移动到所述目标点进行操作，包括：根据所述当前位置信息确定支气管镜远端的当前规划路径，并控制支气管镜远端根据所述当前规划路径向目标点方向移动；迭代执行所述根据支气管镜远端设置的单目相机所采集的当前肺部实时图像建立真实支气管的局部模型的步骤，直至支气管镜远端移动到所述目标点。
作为本发明可选的实施例，所述支气管镜远端依次设置电磁跟踪传感器和单目相机，所述电磁跟踪传感器与所述单目相机固定连接；所述根据支气管镜远端设置的单目相机所实时采集的肺部图像建立真实支气管的局部模型，包括：根据电磁跟踪传感器的运动信息和单目相机所实时采集的肺部图像，基于单目即时建图与定位算法建立真实支气管的局部模型。
作为本发明可选的实施例，所述根据电磁跟踪传感器的运动信息和单目相机所实时采集的肺部图像，基于单目即时建图与定位算法建立真实支气管的局部模型，包括：从单目相机所实时采集的肺部图像中确定相邻的两个关键帧图像，并对相邻的两个关键帧图像中的特征点进行匹配，获得匹配点；获取电磁跟踪传感器在相邻的两个关键帧图像之间的第一位姿变换信息，并根据所述第一位姿变换信息确定单目相机在相邻的两个关键帧图像之间的第二位姿变换信息；基于三角测量原理对所述匹配点和第二位姿变换信息进行处理，获得匹配点的空间坐标；迭代执行所述从单目相机所实时采集的肺部图像中确定相邻的两个关键帧图像的步骤，直至获得真实支气管的局部模型。
作为本发明可选的实施例，所述对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息，包括：基于三维点云非刚体配准算法对所述虚拟支气管模型和真实支气管模型进行配准，获得第三位姿变换信息；根据所述第三位姿变换信息获得目标点在真实支气管模型中的位置信息。
作为本发明可选的实施例，所述方法还包括：建立虚拟支气管模型对应的第一坐标系，以获得所述虚拟支气管模型上包括目标点在内的各点所对应的第一点云；建立支气管镜远端对应的第二坐标系，以获得所述真实支气管模型上各点对应的第二点云，其中，所述第二坐标系原点位于单目相机的光心处；所述基于三维点云非刚体配准算法对所述虚拟支气管模型和真实支气管模型进行配准，获得第三位姿变换信息，根据所述第三位姿变换信息获得目标点在真实支气管模型中的位置信息，包括：基于三维点云非刚体配准算法对第一点云和第二点云进行配准，获得第三位姿变换信息，根据所述第三位姿变换信息确定目标点在第二坐标系下的位置信息。
第二方面，本发明实施例提供一种目标点定位装置，包括：第一构建模块，用于根据术前待检测体的肺部扫描图像建立虚拟支气管模型，并接受用户在所述虚拟支气管模型上标记的目标点；第二构建模块，用于根据支气管镜远端设置的单目相机所采集的肺部图像建立真实支气管模型；模型配准模块，用于对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息；规划控制模块，用于根据所述位置信息确定支气管镜远端的规划路径，并控制支气管镜远端根据所述规划路径移动到所述目标点进行操作。
第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现第一方面任一项所述的目标点定位方法的步骤。
第四方面，本发明实施例提供一种支气管镜系统，包括支气管镜和控制设备；其中，所述支气管镜远端依次设置电磁跟踪传感器和单目相机，所述电磁跟踪传感器和单目相机固定连接；所述控制设备用于实现第一方面任一项所述的目标点定位方法的步骤。
第五方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的目标点定位方法的步骤。
本发明实施例提供的目标点定位方法、装置、电子设备及支气管镜系统，该方法包括：根据术前待检测体的肺部扫描图像建立虚拟支气管模型，并接受用户在所述虚拟支气管模型上标记的目标点；根据支气管镜远端设置的单目相机所采集的肺部图像建立真实支气管模型；对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息；根据所述位置信息确定支气管镜远端的规划路径，并控制支气管镜远端根据所述规划路径移动到所述目标点进行操作；即本发明的实施例首先根据术前的CT图像建立虚拟支气管并标定病灶位置，然后在术中根据支气管镜远端安装的微型相机捕捉的肺部图像建立真实支气管，并将其与虚拟支气管进行配准，以获得真实支气管中的病灶位置，从而实现了无需术中CT透视的目标点的定位，减少医生和患者暴露在辐射中的时间，进一步保障了医生和患者的身体健康。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种支气管镜系统的局部示意图；
图2为本发明实施例提供的一种目标点定位方法的流程示意图；
图3a为本发明实施例提供的一种虚拟支气管和CT坐标系的示意图；
图3b为本发明实施例提供的一种真实支气管和相机坐标系的示意图；
图3c为本发明实施例提供的一种相机坐标系与CT坐标系重合的示意图；
图3d为本发明实施例提供的一种真实支气管和虚拟支气管的配准示意图；
图4为本发明实施例提供的另一种目标点定位方法的流程示意图；
图5为本发明实施例提供的再一种目标点定位方法的流程示意图；
图6为本发明实施例提供的又一种目标点定位方法的流程示意图；
图7为本发明实施例提供的一种目标点定位装置的结构示意图；
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着医学影像技术的发展，更小的肺结节可以被发现，而肺结节正是肺癌最早可检测的阶段，有研究表明，较早的诊断并切除恶性的肺结节可提高患者的生存率。
而对肺结节诊断的前提条件是准确定位肺结节（或者病灶）的位置，目前主流方法是在术中CT透视下进行定位，即使是比较先进的电磁导航技术，在到达病灶所在那一级支气管后仍需要借助CT透视才能进行精准的定位活检（活检钳或细胞刷去对目标位置实现精准的活检操作），这增加了医生和患者暴露在CT透视的辐射环境的时间，危害医生和患者的身体健康。
针对上述技术问题，本发明的技术构思在于：首先根据术前的CT图像建立虚拟支气管并标定病灶位置，然后在术中根据支气管镜远端安装的微型相机捕捉的肺部图像建立真实支气管，并将其与虚拟支气管进行配准，以获得真实支气管中的病灶位置，从而实现了无需术中CT透视的目标点的定位，减少医生和患者暴露在辐射中的时间，进一步保障了医生和患者的身体健康。
图1为本发明实施例提供的一种支气管镜系统的局部示意图，如图1所示，该支气管镜系统包括支气管镜1和控制设备（图1未示出）；其中，所述支气管镜1远端依次设置电磁跟踪传感器11和单目相机12，所述电磁跟踪传感器11和单目相机12固定连接。
具体来说，控制设备可以设置在支气管镜上或者独立于支气管镜，两者通信连接；在支气管镜1远端依次设置有微型的电磁跟踪传感器11和单目相机12，电磁跟踪传感器11与单目相机12（或称为摄像机）固联在一起，两者之间保持着固定的相对位姿，单目相机12可捕获前方画面，电磁跟踪传感器11可提供其相对于磁场发射源的六自由度的位姿，也可得到一对位姿之间的位姿变换矩阵，磁场发射源体积较大，可与患者所在手术台保持相对静止；在使用时，电磁跟踪传感器11和单目相机12跟随支气管镜1进入到待检测体的肺部支气管内，所述控制设备用于执行下述各实施例的目标点定位方法的步骤。
图2为本发明实施例提供的一种目标点定位方法的流程示意图，如图2所示，该目标点定位方法包括：
步骤S101、根据术前待检测体的肺部扫描图像建立虚拟支气管模型，并接受用户在所述虚拟支气管模型上标记的目标点。
需要说明的是，本实施例的执行主体可以为目标点定位装置，或者部署有目标点定位装置的电子设备或者支气管镜系统。
本步骤中，待检测体为人体或者其他动物体，肺部扫描图像为CT图像，目标点为可疑肺结节或者病灶位置。可以在术前对待检测体的肺部区域进行CT扫描，获得CT扫描图像，然后通过专业软件将CT扫描图像重建成肺部支气管三维模型，称为“虚拟支气管”，并且医生可以根据CT图像在虚拟支气管上标明病灶位置，即目标点。
步骤S102、根据支气管镜远端设置的单目相机所采集的肺部图像建立真实支气管模型。
具体来说，支气管镜远端设置有微型的单目相机，在手术过程中，装有单目相机的支气管镜进入待检测体的肺部支气管内，拍摄肺部图像，并根据肺部图像重建真实支气管。
步骤S103、对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息。
具体来说，可以采用迭代最近（Iterative Closest Point，简称ICP）配准算法对虚拟支气管和真实支气管进行配准。所谓的ICP配准算法是指将两份点云放在同一坐标系下计算出一个位姿变换，使得其中一份点云通过该位姿变换可与另一份点云最大程度的配合在一起。本实施例中，通过ICP配准算法将重建的支气管腔道点云与术前CT生成的虚拟支气管配准，建立起真实手术中的支气管环境与虚拟支气管之间的联系，进而获得目标点在真实支气管中的位置信息。
作为可选的实施例，所述步骤S103包括：基于三维点云非刚体配准算法对所述虚拟支气管模型和真实支气管模型进行配准，获得第三位姿变换信息；根据所述第三位姿变换信息获得目标点在真实支气管模型中的位置信息。
具体来说，考虑到在实际的支气管镜介入支气管的过程中，支气管除了呼吸会使支气管发生扩张-收缩、平移等运动外，支气管也会受支气管镜的拖拽、拉扯而变形，因此，在本实施例中选择了三维点云非刚体配准算法对其进行配准，以减小目标点的定位误差，即将重建的支气管腔道点云与虚拟支气管进行三维点云非刚体配准，获得支气管腔道点云向虚拟支气管配准的位姿变换矩阵，然后通过该位姿变换矩阵计算出目标点在支气管腔道点云中的位置信息。
作为可选的实施例，所述方法还包括：建立虚拟支气管模型对应的第一坐标系，以获得所述虚拟支气管模型上包括目标点在内的各点所对应的第一点云；建立支气管镜远端对应的第二坐标系，以获得所述真实支气管模型上各点对应的第二点云，其中，所述第二坐标系原点位于单目相机的光心处；所述基于三维点云非刚体配准算法对所述虚拟支气管模型和真实支气管模型进行配准，获得第三位姿变换信息，根据所述第三位姿变换信息获得目标点在真实支气管模型中的位置信息，包括：基于三维点云非刚体配准算法对第一点云和第二点云进行配准，获得第三位姿变换信息，根据所述第三位姿变换信息确定目标点在第二坐标系下的位置信息。
图3a为本发明实施例提供的一种虚拟支气管和CT坐标系的示意图，如图3a所示，在获得虚拟支气管模型后，可建立对应的第一坐标系，又可称为“CT坐标系”，可获得在CT坐标系下虚拟支气管上包括目标点在内的每一点的位置坐标；图3b为本发明实施例提供的一种真实支气管和相机坐标系的示意图，如图3b所示，由于在支气管镜远端固联了电磁跟踪传感器、单目相机，所以在支气管镜远端固联一枚坐标系（第二坐标系），又可称为“相机坐标系”，其坐标系原点位于相机光心处；图3c为本发明实施例提供的一种相机坐标系与CT坐标系重合的示意图，如图3c所示，将虚拟支气管与重建的支气管腔道点云放在同一坐标系下进行ICP配准，即将相机坐标系与CT坐标系重合，此时相机坐标系相对于CT坐标系的位姿如公式（1）所示：
Figure 338000DEST_PATH_IMAGE001
（1）
进行ICP配准算法计算得出位姿变换矩阵如公式（2）所示：
Figure 682393DEST_PATH_IMAGE002
（2）
其中，R ICP 表示旋转量，t ICP 表示平移量。
图3d为本发明实施例提供的一种真实支气管和虚拟支气管的配准示意图，如图3d所示，重建的真实支气管的点云通过T ICP 矩阵变换实现了与虚拟支气管的配准，此时相机坐标系相对于CT坐标系的位姿为：
Figure 383633DEST_PATH_IMAGE003
。
已知医生术前在虚拟支气管上标明了目标点，即目标点在CT坐标系下的坐标是已知的
Figure 155280DEST_PATH_IMAGE004
，则在相机坐标系下目标点的位置坐标为：
Figure 371498DEST_PATH_IMAGE005
。
步骤S104、根据所述位置信息确定支气管镜远端的规划路径，并控制支气管镜远端根据所述规划路径移动到所述目标点进行操作。
具体来说，根据确定出的目标点在相机坐标系下的位置信息，确定到达目标点的规划路径，并控制支气管镜远端根据规划路径移动到目标点进行后续的活检等操作，其中，只要支气管镜远端与目标点的距离小于预设阈值，就确定支气管远端移动到目标点。
本发明实施例提供的目标点定位方法，通过根据术前待检测体的肺部扫描图像建立虚拟支气管模型，并接受用户在所述虚拟支气管模型上标记的目标点；根据支气管镜远端设置的单目相机所采集的肺部图像建立真实支气管模型；对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息；根据所述位置信息确定支气管镜远端的规划路径，并控制支气管镜远端根据所述规划路径移动到所述目标点进行操作；即本发明的实施例首先根据术前的CT图像建立虚拟支气管并标定病灶位置，然后在术中根据支气管镜远端安装的微型相机捕捉的肺部图像建立真实支气管，并将其与虚拟支气管进行配准，以获得真实支气管中的病灶位置，从而实现了无需术中CT透视的目标点的定位，减少医生和患者暴露在辐射中的时间，进一步保障了医生和患者的身体健康。
在上述实施例的基础上，图4为本发明实施例提供的另一种目标点定位方法的流程示意图，如图4所示，该目标点定位方法包括：
步骤S201、根据术前待检测体的肺部扫描图像建立虚拟支气管模型，并接受用户在所述虚拟支气管模型上标记的目标点。
步骤S202、根据支气管镜远端设置的单目相机所实时采集的肺部图像建立真实支气管的局部模型。
步骤S203、对所述虚拟支气管模型和所述真实支气管的局部模型进行配准，获得目标点在所述局部模型中的当前位置信息。
步骤S204、根据所述当前位置信息确定支气管镜远端的当前规划路径，并控制支气管镜远端根据所述当前规划路径向目标点方向移动。
步骤S205、判断支气管镜远端是否移动到所述目标点。
若否，则迭代执行步骤S202-S204；若是，则结束本实施例。
本发明实施例中的步骤S201的实现方式与上述实施例中的步骤S101的实现方式类似，此处不再赘述。
与上述实施例的区别在于，为了进一步提高术中非CT透视下目标点的定位精度，在本实施例中，迭代执行根据支气管镜远端设置的单目相机所实时采集的肺部图像建立真实支气管的局部模型，对所述虚拟支气管模型和所述真实支气管的局部模型进行配准，获得目标点在所述局部模型中的当前位置信息，根据所述当前位置信息确定支气管镜远端的当前规划路径，并控制支气管镜远端根据所述当前规划路径向目标点方向移动，直至支气管镜远端移动到所述目标点。
具体来说，考虑到肺部环境并非是完全静态的环境，比如支气管镜远端靠近目标点位置造成的支气管形变，病人的呼吸使得支气管发生扩张和收缩等，所以需要进一步提高非CT透视下的目标点的定位精度。在本实施例中，装有单目相机的支气管镜进入待检测体的肺部支气管内，实时拍摄肺部图像，实现对当前一小段支气管腔道的重建，即获得真实支气管的局部模型；然后采用三维点云非刚体配准算法对虚拟支气管和当前一小段重建的支气管腔道进行配准，获得目标点在局部模型的当前位置信息；然后根据当前位置信息确定支气管镜远端的当前规划路径，并控制支气管镜远端根据当前规划路径向目标点方向移动；并在移动后，判断支气管镜远端是否到达目标点，若是，则可以控制支气管镜进行后续的活检操作等；若否，则支气管镜远端已经移动到新位置，此时单目相机实时获取到新的肺部图像，并根据新的肺部图像对经过的新的一段支气管进行重建，然后再经过虚拟支气管和重建的新的一段支气管进行配准、计算出目标点新的位置信息，并根据新的位置信息确定新的规划路径，并控制支气管镜远端根据新的规划路径继续向目标点靠近；随着支气管镜不断靠近目标点，不断地循环着进行着“重建—配准—计算坐标”这一过程，不断的更新着坐标。
综上，当相机距离目标点较远时，相机的前进会对支气管造成拉扯使得目标点的空间位置是时刻变换的，而通过本实施例，时刻计算更新了目标点的坐标。随着相机逐渐靠近目标点，单目相机与目标点的相对运动会随着两者的靠近而逐渐收敛，提高了目标点的定位精度。
本发明实施例提供的目标点定位方法，通过迭代执行根据支气管镜远端设置的单目相机所实时采集的肺部图像建立真实支气管的局部模型，对所述虚拟支气管模型和所述真实支气管的局部模型进行配准，获得目标点在所述局部模型中的当前位置信息，根据所述当前位置信息确定支气管镜远端的当前规划路径，并控制支气管镜远端根据所述当前规划路径向目标点方向移动，直至支气管镜远端移动到所述目标点；即本发明的实施例先根据待检测体的术前CT图像建立虚拟支气管，然后通过不断循环地对待检测体的肺部的一小段进行实时重建、重建支气管和虚拟支气管进行配准、更新目标点的位置，实现了支气管镜远端靠近目标点时，目标位置逐渐收敛，从而将支气管镜正确的引导至病灶位置，提高了在非CT透视下的支气管镜病灶定位的精度和鲁棒性。
在上述实施例的基础上，图5为本发明实施例提供的另一种目标点定位方法的流程示意图，本实施例中，所述支气管镜远端依次设置电磁跟踪传感器和单目相机，所述电磁跟踪传感器与所述单目相机固定连，如图1所示。如图5所示，该目标点定位方法包括：
步骤S301、根据术前待检测体的肺部扫描图像建立虚拟支气管模型，并接受用户在所述虚拟支气管模型上标记的目标点。
步骤S302、根据电磁跟踪传感器的运动信息和单目相机所实时采集的肺部图像，基于单目即时建图与定位算法建立真实支气管的局部模型。
步骤S303、对所述虚拟支气管模型和所述真实支气管的局部模型进行配准，获得目标点在所述局部模型中的当前位置信息。
步骤S304、根据所述当前位置信息确定支气管镜远端的当前规划路径，并控制支气管镜远端根据所述当前规划路径向目标点方向移动。
步骤S305、判断支气管镜远端是否移动到所述目标点。
若否，则迭代执行步骤S302-S304；若是，则结束本实施例。
本发明实施例中的步骤S301、S303-S305的实现方式与上述实施例中的步骤S201、S203-S205的实现方式类似，此处不再赘述。
与上述实施例的区别在于，本实施例限定了真实支气管的局部模型一种具体实现方式。在本实施例中，所述支气管镜远端依次设置电磁跟踪传感器和单目相机，所述电磁跟踪传感器与所述单目相机固定连接；根据电磁跟踪传感器的运动信息和单目相机所实时采集的肺部图像，基于单目即时建图与定位（Simultaneous Localization And Mapping，简称SLAM）算法建立真实支气管的局部模型。
具体来说，通过电磁跟踪传感器与单目相机固连，为单目相机提供运动信息；然后将单目相机所实时采集的肺部图像融合运动信息，对图像所显示的环境进行重建。
作为可选的实施例，所述步骤S302包括：从单目相机所实时采集的肺部图像中确定相邻的两个关键帧图像，并对相邻的两个关键帧图像中的特征点进行匹配，获得匹配点；获取电磁跟踪传感器在相邻的两个关键帧图像之间的第一位姿变换信息，并根据所述第一位姿变换信息确定单目相机在相邻的两个关键帧图像之间的第二位姿变换信息；基于三角测量原理对所述匹配点和第二位姿变换信息进行处理，获得匹配点的空间坐标；迭代执行所述从单目相机所实时采集的肺部图像中确定相邻的两个关键帧图像的步骤，直至获得真实支气管的局部模型。
具体来说，记世界坐标系：O W X W Y W Z W ；相机坐标系：O C X C Y C Z C ，以相机光心为坐标O C 点，Z C 轴指向相机前方，Y C 轴指向下方。
单目相机与电磁跟踪传感器是固连在一起的，因此可认为单目相机相对于电磁跟踪传感器始终保持着一个固定的位姿。世界坐标系下的电磁跟踪传感器坐标系
Figure 581899DEST_PATH_IMAGE006
；电磁跟踪传感器坐标下的相机坐标系
Figure 199962DEST_PATH_IMAGE007
；世界坐标系下的相机坐标系
Figure 345773DEST_PATH_IMAGE008
。
从单目相机所实时采集的肺部图像中确定两个相邻的关键帧图像，包括第一关键帧图像和第二关键帧图像，以第一关键帧的相机坐标系为世界坐标系，将第一关键帧图像与第二关键帧图像进行配准，得到匹配点。其中，所实时采集的肺部图像并非所有的帧都参与重建，比如紧临的两帧画面静止，相邻的两帧画面将是同一幅画面无法重建，只有相机画面发生一定程度的移动时，会根据预先设定条件判断该画面是否作为关键帧，如果不作为关键帧，则为普通帧，不参与重建。
由电磁跟踪传感器提供的世界坐标系下第一关键帧的相机坐标系如公式（3）所示，电磁跟踪传感器提供的世界坐标系下第二关键帧的相机坐标系如公式（4）所示：
Figure 49287DEST_PATH_IMAGE009
（3）
Figure 469904DEST_PATH_IMAGE010
（4）
得出两关键帧间相机的位姿变换，如公式（5）所示：
Figure 21102DEST_PATH_IMAGE011
（5）
其中，
Figure 400131DEST_PATH_IMAGE012
、
Figure 528624DEST_PATH_IMAGE013
分别为第二关键帧对应的相机坐标系在第一关键帧对应的相机坐标系中的位姿。
然后，基于三角测量原理对所述匹配点和第二位姿变换信息进行处理，获得匹配点的空间坐标。具体包括如下，首先确定相机模型如下所示：
Figure 752932DEST_PATH_IMAGE014
，即
Figure 80008DEST_PATH_IMAGE015
其中，
Figure 692255DEST_PATH_IMAGE016
表示相机的内参矩阵；
Figure 370361DEST_PATH_IMAGE017
表示相机坐标系下点的坐标；
Figure 398360DEST_PATH_IMAGE018
表示像素坐标平面上点的齐次坐标；
其中，归一化坐标
Figure 783204DEST_PATH_IMAGE019
，在相机坐标z轴正方向距离坐标原点为1处所在的平面，且该平面垂直为相机坐标的z轴。
设第一关键帧的相机坐标系下匹配点P的空间坐标如公式（6）所示：
Figure 238457DEST_PATH_IMAGE020
（6）
第二关键帧的相机坐标系下匹配点P的空间坐标如公式（7）所示：
Figure 715443DEST_PATH_IMAGE021
（7）
则两像素点的像素位置为
Figure 281554DEST_PATH_IMAGE022
、
Figure 848801DEST_PATH_IMAGE023
，根据相机模型计算公式得出如下关系，如公式（8）、（9）所示：
Figure 412638DEST_PATH_IMAGE024
（8）
Figure 65336DEST_PATH_IMAGE025
（9）
取归一化平面上投影的坐标，如公式（10）、（11）所示：
Figure 435138DEST_PATH_IMAGE026
（10）
Figure 653629DEST_PATH_IMAGE027
（11）
将公式（8）（10）（11）带入上式（9）中可得公式（12）：
Figure 716263DEST_PATH_IMAGE028
（12）
对公式（12）的两边左侧同时与x 2做外积，可得下式：
Figure 528361DEST_PATH_IMAGE029
（13）
左式为零，可由右式直接求得
Figure 967433DEST_PATH_IMAGE030
。
两边右侧同时与x 1做外积，可得下式：
Figure 978114DEST_PATH_IMAGE031
（14）
即：
Figure 24699DEST_PATH_IMAGE032
（15）
左式为零，可由右式直接求得
Figure 386410DEST_PATH_IMAGE033
。
从而求得匹配点在相机坐标系下的坐标信息，如下所示：
Figure 98014DEST_PATH_IMAGE034
（16）
Figure 166464DEST_PATH_IMAGE035
（17）
由于噪声存在，
Figure 570901DEST_PATH_IMAGE036
和
Figure 482225DEST_PATH_IMAGE037
不一定会使得上式精确为零，所以常见的求解方式为最小二乘求解。
对后续的帧图像也进行如上处理，从而实现对当前视野范围的支气管进行重建，即获得真实支气管的局部模型。
本发明实施例提供的目标点定位方法，所述支气管镜远端依次设置电磁跟踪传感器和单目相机，所述电磁跟踪传感器与所述单目相机固定连接；根据电磁跟踪传感器的运动信息和单目相机所实时采集的肺部图像，基于单目即时建图与定位算法建立真实支气管的局部模型；即本发明实施例通过电磁跟踪传感器与单目相机固连，为单目相机提供运动信息，然后将图像信息融合运动信息，解决了单目SLAM重建过程中的尺度不确定性问题。
图6为本发明实施例提供的又一种目标点定位方法的流程示意图。为了更进一步了解本发明实施例，现结合图6进行说明：
一、术前CT生成虚拟支气管
首先，术前对病人进行CT扫描，并利用专业软件将CT图像重建肺部支气管三维模型，将该三维模型称为“虚拟支气管”，建立坐标系，称该坐标系为“CT坐标系”。因此可知在CT坐标系下虚拟支气管上每一点的位置坐标。医生根据CT图像在虚拟支气管上标明病灶位置，病灶位置为目标点，该点在CT坐标系下的坐标也是已知。
二、单目SLAM重建视野范围内支气管腔道
然后，装有单目摄像头和电磁跟踪传感器的支气管镜进入支气管道中。单目相机提供画面信息，电磁跟踪传感器提供运动信息，两者信息融合，实现对当前一小段支气管腔道进行重建。获得当前小段的支气管腔道点云以及点云在相机坐标系中的坐标。
三、将虚拟支气管与重建支气管进行ICP三维点云配准，并计算/更新出目标点坐标
将点云与虚拟支气管进行ICP配准，通过ICP配准算法可获得支气管腔道点云向虚拟支气管配准的位姿变换矩阵；通过该矩阵便可计算出目标点在相机坐标系下的坐标值。
四、规划路径、移动向目标点靠近
然后，根据目标点再相机坐标系下的坐标值规划路径，装有单目摄像头和电磁跟踪传感器的支气管镜向目标点靠近；然后单目相机获取新的画面，电磁跟踪传感器提供新的运动信息，对新获取的画面进行重建，即对经过的新的一段支气管进行重建。经过配准、计算出新的目标点在相机坐标系下的坐标。随着内窥镜不断靠近目标点，不断地循环着进行着“重建—配准—计算坐标”这一过程，不断的更新着坐标。
综上，本实施例通过实时的重建、配准、估计，实现实时更新目标点的定位坐标；同时也考虑了患者的呼吸、支气管镜介入时的扰动等因素，多方面考虑了定位误差产生的原因；且仅需患者在术前进行CT扫描，避免了介入式手术在术中需要CT透视，减小了医生和患者暴露在辐射的时间。
图7为本发明实施例提供的一种目标点定位装置的结构示意图，如图7所示，该目标点定位装置包括第一构建模块10、第二构建模块20、模型配准模块30以及规划控制模块40；
其中，第一构建模块10，用于根据术前待检测体的肺部扫描图像建立虚拟支气管模型，并接受用户在所述虚拟支气管模型上标记的目标点；第二构建模块20，用于根据支气管镜远端设置的单目相机所采集的肺部图像建立真实支气管模型；模型配准模块30，用于对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息；规划控制模块40，用于根据所述位置信息确定支气管镜远端的规划路径，并控制支气管镜远端根据所述规划路径移动到所述目标点进行操作。
作为本发明的可选实施例，所述第二构建模块20，具体用于：根据支气管镜远端设置的单目相机所实时采集的肺部图像建立真实支气管的局部模型；模型配准模块30，具体用于：对所述虚拟支气管模型和所述真实支气管的局部模型进行配准，获得目标点在所述局部模型中的当前位置信息；规划控制模块40，具体用于：根据所述当前位置信息确定支气管镜远端的当前规划路径，并控制支气管镜远端根据所述当前规划路径向目标点方向移动；所述第二构建模块20，还用于迭代执行根据支气管镜远端设置的单目相机所采集的当前肺部实时图像建立真实支气管的局部模型的步骤，直至支气管镜远端移动到所述目标点。
作为本发明的可选实施例，所述支气管镜远端依次设置电磁跟踪传感器和单目相机，所述电磁跟踪传感器与所述单目相机固定连接；所述第二构建模块20，具体用于：根据电磁跟踪传感器的运动信息和单目相机所实时采集的肺部图像，基于单目即时建图与定位算法建立真实支气管的局部模型。
作为本发明的可选实施例，所述第二构建模块20，具体用于：从单目相机所实时采集的肺部图像中确定相邻的两个关键帧图像，并对相邻的两个关键帧图像中的特征点进行匹配，获得匹配点；获取电磁跟踪传感器在相邻的两个关键帧图像之间的第一位姿变换信息，并根据所述第一位姿变换信息确定单目相机在相邻的两个关键帧图像之间的第二位姿变换信息；基于三角测量原理对所述匹配点和第二位姿变换信息进行处理，获得匹配点的空间坐标；迭代执行所述从单目相机所实时采集的肺部图像中确定相邻的两个关键帧图像的步骤，直至获得真实支气管的局部模型。
作为本发明的可选实施例，所述模型配准模块30，具体用于：基于三维点云非刚体配准算法对所述虚拟支气管模型和真实支气管模型进行配准，获得第三位姿变换信息；根据所述第三位姿变换信息获得目标点在真实支气管模型中的位置信息。
作为本发明的可选实施例，所述第一构建模块10，还用于：建立虚拟支气管模型对应的第一坐标系，以获得所述虚拟支气管模型上包括目标点在内的各点所对应的第一点云；所述第二构建模块20，还用于建立支气管镜远端对应的第二坐标系，以获得所述真实支气管模型上各点对应的第二点云，其中，所述第二坐标系原点位于单目相机的光心处；所述模型配准模块30，具体用于：基于三维点云非刚体配准算法对第一点云和第二点云进行配准，获得第三位姿变换信息，根据所述第三位姿变换信息确定目标点在第二坐标系下的位置信息。
本发明实施例提供的目标点定位装置，其实现原理和技术效果与上述实施例类似，此处不再赘述。
本发明实施例还提供一种支气管镜系统，如图1所示，该支气管镜系统包括支气管镜和控制设备；其中，所述支气管镜远端依次设置电磁跟踪传感器和单目相机，所述电磁跟踪传感器和单目相机固定连接；所述控制设备用于实现前述任意一个方法实施例提供的目标点定位方法的步骤。
本发明实施例提供的支气管镜系统，其实现原理和技术效果与上述实施例类似，此处不再赘述。
如图8所示，本发明实施例提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信，
存储器113，用于存放计算机程序；
在本发明一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的目标点定位方法的步骤。
本发明实施例提供的电子设备，其实现原理和技术效果与上述实施例类似，此处不再赘述。
上述存储器113可以是诸如闪存、EEPROM（电可擦除可编程只读存储器）、EPROM、硬盘或者ROM之类的电子存储器。存储器113具有用于执行上述方法中的任何方法步骤的程序代码的存储空间。例如，用于程序代码的存储空间可以包括分别用于实现上面的方法中的各个步骤的各个程序代码。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，光盘（CD）、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为便携式或者固定存储单元。该存储单元可以具有与上述电子设备中的存储器113类似布置的存储段或者存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括用于执行根据本发明的实施例的方法步骤的程序，即可以由例如诸如处理器111之类的处理器读取的代码，这些代码当由电子设备运行时，导致该电子设备执行上面所描述的方法中的各个步骤。
本发明的实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的目标点定位方法的步骤。
该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种目标点定位装置，其特征在于，包括：
第一构建模块，用于根据术前待检测体的肺部扫描图像建立虚拟支气管模型，并接受用户在所述虚拟支气管模型上标记的目标点；
第二构建模块，用于根据支气管镜远端设置的单目相机所采集的肺部图像建立真实支气管模型；
模型配准模块，用于对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息；
规划控制模块，用于根据所述位置信息确定支气管镜远端的规划路径，并控制支气管镜远端根据所述规划路径移动到所述目标点进行操作；
其中，所述根据支气管镜远端设置的单目相机所采集的肺部图像建立真实支气管模型，包括：
根据支气管镜远端设置的单目相机所实时采集的肺部图像建立真实支气管的局部模型；
所述对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息，包括：
对所述虚拟支气管模型和所述真实支气管的局部模型进行配准，获得目标点在所述局部模型中的当前位置信息；
所述根据所述位置信息确定支气管镜远端的规划路径，并控制支气管镜远端根据所述规划路径移动到所述目标点进行操作，包括：
根据所述当前位置信息确定支气管镜远端的当前规划路径，并控制支气管镜远端根据所述当前规划路径向目标点方向移动；
迭代执行所述根据支气管镜远端设置的单目相机所采集的当前肺部实时图像建立真实支气管的局部模型的步骤，直至支气管镜远端移动到所述目标点。
2.根据权利要求1所述的装置，其特征在于，所述支气管镜远端依次设置电磁跟踪传感器和单目相机，所述电磁跟踪传感器与所述单目相机固定连接；所述根据支气管镜远端设置的单目相机所实时采集的肺部图像建立真实支气管的局部模型，包括：
根据电磁跟踪传感器的运动信息和单目相机所实时采集的肺部图像，基于单目即时建图与定位算法建立真实支气管的局部模型。
3.根据权利要求2所述的装置，其特征在于，所述根据电磁跟踪传感器的运动信息和单目相机所实时采集的肺部图像，基于单目即时建图与定位算法建立真实支气管的局部模型，包括：
从单目相机所实时采集的肺部图像中确定相邻的两个关键帧图像，并对相邻的两个关键帧图像中的特征点进行匹配，获得匹配点；
获取电磁跟踪传感器在相邻的两个关键帧图像之间的第一位姿变换信息，并根据所述第一位姿变换信息确定单目相机在相邻的两个关键帧图像之间的第二位姿变换信息；
基于三角测量原理对所述匹配点和第二位姿变换信息进行处理，获得匹配点的空间坐标；
迭代执行所述从单目相机所实时采集的肺部图像中确定相邻的两个关键帧图像的步骤，直至获得真实支气管的局部模型。
4.根据权利要求1-3任一项所述的装置，其特征在于，所述对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息，包括：
基于三维点云非刚体配准算法对所述虚拟支气管模型和真实支气管模型进行配准，获得第三位姿变换信息；
根据所述第三位姿变换信息获得目标点在真实支气管模型中的位置信息。
5.根据权利要求4所述的装置，其特征在于，所述第一构建模块，还用于：
建立虚拟支气管模型对应的第一坐标系，以获得所述虚拟支气管模型上包括目标点在内的各点所对应的第一点云；
所述第二构建模块，还用于：建立支气管镜远端对应的第二坐标系，以获得所述真实支气管模型上各点对应的第二点云，其中，所述第二坐标系原点位于单目相机的光心处；
所述基于三维点云非刚体配准算法对所述虚拟支气管模型和真实支气管模型进行配准，获得第三位姿变换信息，根据所述第三位姿变换信息获得目标点在真实支气管模型中的位置信息，包括：
基于三维点云非刚体配准算法对第一点云和第二点云进行配准，获得第三位姿变换信息，根据所述第三位姿变换信息确定目标点在第二坐标系下的位置信息。
6.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现如下步骤：
根据术前待检测体的肺部扫描图像建立虚拟支气管模型，并接受用户在所述虚拟支气管模型上标记的目标点；
根据支气管镜远端设置的单目相机所采集的肺部图像建立真实支气管模型；
对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息；
根据所述位置信息确定支气管镜远端的规划路径，并控制支气管镜远端根据所述规划路径移动到所述目标点进行操作；
其中，所述根据支气管镜远端设置的单目相机所采集的肺部图像建立真实支气管模型，包括：
根据支气管镜远端设置的单目相机所实时采集的肺部图像建立真实支气管的局部模型；
所述对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息，包括：
对所述虚拟支气管模型和所述真实支气管的局部模型进行配准，获得目标点在所述局部模型中的当前位置信息；
所述根据所述位置信息确定支气管镜远端的规划路径，并控制支气管镜远端根据所述规划路径移动到所述目标点进行操作，包括：
根据所述当前位置信息确定支气管镜远端的当前规划路径，并控制支气管镜远端根据所述当前规划路径向目标点方向移动；
迭代执行所述根据支气管镜远端设置的单目相机所采集的当前肺部实时图像建立真实支气管的局部模型的步骤，直至支气管镜远端移动到所述目标点。
7.一种支气管镜系统，其特征在于，包括支气管镜和控制设备；
其中，所述支气管镜远端依次设置电磁跟踪传感器和单目相机，所述电磁跟踪传感器和单目相机固定连接；
所述控制设备用于实现如下步骤：
根据术前待检测体的肺部扫描图像建立虚拟支气管模型，并接受用户在所述虚拟支气管模型上标记的目标点；
根据支气管镜远端设置的单目相机所采集的肺部图像建立真实支气管模型；
对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息；
根据所述位置信息确定支气管镜远端的规划路径，并控制支气管镜远端根据所述规划路径移动到所述目标点进行操作；
其中，所述根据支气管镜远端设置的单目相机所采集的肺部图像建立真实支气管模型，包括：
根据支气管镜远端设置的单目相机所实时采集的肺部图像建立真实支气管的局部模型；
所述对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息，包括：
对所述虚拟支气管模型和所述真实支气管的局部模型进行配准，获得目标点在所述局部模型中的当前位置信息；
所述根据所述位置信息确定支气管镜远端的规划路径，并控制支气管镜远端根据所述规划路径移动到所述目标点进行操作，包括：
根据所述当前位置信息确定支气管镜远端的当前规划路径，并控制支气管镜远端根据所述当前规划路径向目标点方向移动；
迭代执行所述根据支气管镜远端设置的单目相机所采集的当前肺部实时图像建立真实支气管的局部模型的步骤，直至支气管镜远端移动到所述目标点。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：
根据术前待检测体的肺部扫描图像建立虚拟支气管模型，并接受用户在所述虚拟支气管模型上标记的目标点；
根据支气管镜远端设置的单目相机所采集的肺部图像建立真实支气管模型；
对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息；
根据所述位置信息确定支气管镜远端的规划路径，并控制支气管镜远端根据所述规划路径移动到所述目标点进行操作；
其中，所述根据支气管镜远端设置的单目相机所采集的肺部图像建立真实支气管模型，包括：
根据支气管镜远端设置的单目相机所实时采集的肺部图像建立真实支气管的局部模型；
所述对所述虚拟支气管模型和真实支气管模型进行配准，获得目标点在真实支气管模型中的位置信息，包括：
对所述虚拟支气管模型和所述真实支气管的局部模型进行配准，获得目标点在所述局部模型中的当前位置信息；
所述根据所述位置信息确定支气管镜远端的规划路径，并控制支气管镜远端根据所述规划路径移动到所述目标点进行操作，包括：
根据所述当前位置信息确定支气管镜远端的当前规划路径，并控制支气管镜远端根据所述当前规划路径向目标点方向移动；
迭代执行所述根据支气管镜远端设置的单目相机所采集的当前肺部实时图像建立真实支气管的局部模型的步骤，直至支气管镜远端移动到所述目标点。
CN202211047220.0A 2022-08-30 2022-08-30 目标点定位装置、电子设备及支气管镜系统 Active CN115120346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211047220.0A CN115120346B (zh) 2022-08-30 2022-08-30 目标点定位装置、电子设备及支气管镜系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211047220.0A CN115120346B (zh) 2022-08-30 2022-08-30 目标点定位装置、电子设备及支气管镜系统

Publications (2)

Publication Number Publication Date
CN115120346A CN115120346A (zh) 2022-09-30
CN115120346B true CN115120346B (zh) 2023-02-17

Family

ID=83386988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211047220.0A Active CN115120346B (zh) 2022-08-30 2022-08-30 目标点定位装置、电子设备及支气管镜系统

Country Status (1)

Country Link
CN (1) CN115120346B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115414120A (zh) * 2022-11-07 2022-12-02 中南大学 一种内镜导航系统
CN117257459B (zh) * 2023-11-22 2024-03-12 杭州先奥科技有限公司 一种抗呼吸干扰的电磁导航支气管镜术中地图拓展方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827395A (zh) * 2019-09-09 2020-02-21 广东工业大学 一种适用于动态环境的即时定位与地图构建方法
CN111386078A (zh) * 2017-12-11 2020-07-07 柯惠有限合伙公司 用于将电磁导航空间非刚性地配准到ct体积的系统、方法和计算机可读介质
CN112043383A (zh) * 2020-09-30 2020-12-08 复旦大学附属眼耳鼻喉科医院 一种眼科手术导航系统及电子设备
CN113112609A (zh) * 2021-03-15 2021-07-13 同济大学 一种面向肺部活检支气管镜的导航方法和系统
CN113425411A (zh) * 2021-08-04 2021-09-24 成都科莱弗生命科技有限公司 一种病变定位导航的方法和装置
WO2021194803A1 (en) * 2020-03-24 2021-09-30 Intuitive Surgical Operations, Inc. Systems and methods for registering an instrument to an image using point cloud data and endoscopic image data
CN113616333A (zh) * 2021-09-13 2021-11-09 上海微创医疗机器人（集团）股份有限公司 导管运动辅助方法、导管运动辅助系统及可读存储介质
CN114452508A (zh) * 2021-10-20 2022-05-10 上海微创微航机器人有限公司 导管运动控制方法、介入手术系统、电子设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006076789A1 (en) * 2005-01-24 2006-07-27 Claron Technology Inc. A bronchoscopy navigation system and method
US8219179B2 (en) * 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US10575907B2 (en) * 2017-06-21 2020-03-03 Biosense Webster (Israel) Ltd. Registration with trajectory information with shape sensing
US11877806B2 (en) * 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111386078A (zh) * 2017-12-11 2020-07-07 柯惠有限合伙公司 用于将电磁导航空间非刚性地配准到ct体积的系统、方法和计算机可读介质
CN110827395A (zh) * 2019-09-09 2020-02-21 广东工业大学 一种适用于动态环境的即时定位与地图构建方法
WO2021194803A1 (en) * 2020-03-24 2021-09-30 Intuitive Surgical Operations, Inc. Systems and methods for registering an instrument to an image using point cloud data and endoscopic image data
CN112043383A (zh) * 2020-09-30 2020-12-08 复旦大学附属眼耳鼻喉科医院 一种眼科手术导航系统及电子设备
CN113112609A (zh) * 2021-03-15 2021-07-13 同济大学 一种面向肺部活检支气管镜的导航方法和系统
CN113425411A (zh) * 2021-08-04 2021-09-24 成都科莱弗生命科技有限公司 一种病变定位导航的方法和装置
CN113616333A (zh) * 2021-09-13 2021-11-09 上海微创医疗机器人（集团）股份有限公司 导管运动辅助方法、导管运动辅助系统及可读存储介质
CN114452508A (zh) * 2021-10-20 2022-05-10 上海微创微航机器人有限公司 导管运动控制方法、介入手术系统、电子设备和存储介质

Also Published As

Publication number Publication date
CN115120346A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
AU2019203998B2 (en) System and method for local three dimensional volume reconstruction using a standard fluoroscope
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
JP6976266B2 (ja) 多視点ポーズ推定を使用するための方法およびシステム
CN115120346B (zh) 目标点定位装置、电子设备及支气管镜系统
US9104902B2 (en) Instrument-based image registration for fusing images with tubular structures
CN110123449B (zh) 使用标准荧光镜进行局部三维体积重建的系统和方法
JP2021533906A (ja) デジタル・コンピュータ・トモグラフィを用いた多視点姿勢推定のための方法及びシステム
US11559266B2 (en) System and method for local three dimensional volume reconstruction using a standard fluoroscope
CN110301883B (zh) 用于导航管状网络的基于图像的向导
US20230030343A1 (en) Methods and systems for using multi view pose estimation
US20200297292A1 (en) Catheter tip detection in fluoroscopic video using deep learning
US20230145801A1 (en) Systems and methods of visualizing a medical device relative to a target
JP2024005113A (ja) 画像処理装置、方法およびプログラム
WO2022248982A1 (en) Volumetric filter of fluoroscopic sweep video
WO2023161848A1 (en) Three-dimensional reconstruction of an instrument and procedure site
CN112451095A (zh) 用于荧光透视成像设备的姿态估计以及用于身体结构的三维成像的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant