CN115530724A - 内窥镜导航定位方法及装置 - Google Patents

内窥镜导航定位方法及装置 Download PDF

Info

Publication number
CN115530724A
CN115530724A CN202211275153.8A CN202211275153A CN115530724A CN 115530724 A CN115530724 A CN 115530724A CN 202211275153 A CN202211275153 A CN 202211275153A CN 115530724 A CN115530724 A CN 115530724A
Authority
CN
China
Prior art keywords
endoscope
image
data
slam
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211275153.8A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weiwei Aviation Robot Co ltd
Original Assignee
Shanghai Weiwei Aviation Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weiwei Aviation Robot Co ltd filed Critical Shanghai Weiwei Aviation Robot Co ltd
Priority to CN202211275153.8A priority Critical patent/CN115530724A/zh
Publication of CN115530724A publication Critical patent/CN115530724A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A61B6/035—Mechanical aspects of CT

Abstract

本说明书涉及内窥镜技术领域，具体地公开了一种内窥镜导航定位方法及装置，其中，该方法包括：获取目标组织器官的内窥镜图像；所述内窥镜图像包括内窥镜中设置的单目摄像头在内窥镜执行预设动作之前采集到的第一图像以及执行预设动作之后采集到的第二图像；基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据；获取所述目标组织器官的三维模型数据；将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据。上述方案可以提高内窥镜导航定位的精度。

Description

内窥镜导航定位方法及装置
技术领域
本说明书涉及内窥镜技术领域，特别涉及一种内窥镜导航定位方法及装置。
背景技术
支气管解剖结构复杂且腔内表面相似，因此支气管镜检查需要一种导航定位系统来辅助。支气管镜导航定位系统提供了支气管镜在CT图像中的位置，常用的方法有基于CT视频的系统、基于额外电磁传感器的系统或这些方法的混合系统。基于CT视频的支气管镜跟踪通过最小化支气管镜图像(RB)和虚拟支气管镜图像(VB)之间的差异来估计支气管镜相机的位姿。基于电磁传感器的支气管镜跟踪通过贴在相机尖端或导丝上的电磁传感器的输出进行导航，需要在术前用手眼标定的方法将传感器的3D输出从传感器坐标转换为真实相机的坐标，或通过其他配准手段将传感器的3D输出从传感器坐标转换为CT图像的坐标。
然而，基于CT视频的支气管镜跟踪主要依赖于RB和VB图像的相似性，缺乏局部纹理信息(分叉或折叠)，从而导致较大的跟踪误差或导致跟踪失败；此外需要大量的计算时间来生成虚拟图像和待匹配图像。而基于电磁传感器的支气管镜跟踪存在几个缺点：电磁传感器的位置数据可能抖动，传感器可能会受到手术室中的金属手术工具的影响，此外，电磁传感器的支气管镜尺寸比较大，无法插入末端支气管。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本说明书实施例提供了一种内窥镜导航定位方法及装置，以解决现有技术中支气管镜定位方法的精度和速度较低的问题。
本说明书实施例提供了一种内窥镜导航定位方法，包括：
获取目标组织器官的内窥镜图像；所述内窥镜图像包括内窥镜中设置的单目摄像头在内窥镜执行预设动作之前采集到的第一图像以及执行预设动作之后采集到的第二图像；
基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据；
获取所述目标组织器官的三维模型数据；将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据。
在一个实施例中，所述预设动作包括旋转动作和平移动作。
在一个实施例中，基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据，包括：
利用所述第一图像和所述第二图像进行视觉SLAM坐标初始化；
基于视觉SLAM对所述内窥镜导管进行追踪定位并对所述目标组织器官进行地图重建，得到所述内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据。
在一个实施例中，将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据，包括：
将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，得到变换矩阵；
利用所述变换矩阵将所述位姿数据转换至所述三维模型数据对应的坐标系中，生成虚拟内窥镜导航数据。
在一个实施例中，利用所述第一图像和所述第二图像进行视觉SLAM坐标初始化，包括：
对第一图像进行特征提取，得到第一特征点；对所述第二图像进行特征提取，得到第二特征点；
对所述第一特征点和所述第二特征点进行匹配，得到匹配点对；
基于所述匹配点对，生成所述单目摄像头对应的旋转矩阵和单位平移向量；根据所述预设动作中的位移长度数据和所述单位平移向量，计算得到位移向量；
利用所述旋转矩阵和所述位移向量生成所述匹配点对对应的地图点；
当地图点的数量大于预设数量时，确定视觉SLAM坐标初始化成功。
在一个实施例中，对第一图像进行特征提取，得到第一特征点，包括：
对所述第一图像进行降采样，生成N层不同尺度的金字塔图像；其中，N为大于2的整数；
对所述N层不同尺度的金字塔图像提取特征点；通过四叉树筛选提取出的特征点，得到均匀分布在图像中的第一特征点；
计算所述第一特征点的灰度质心，并根据所述灰度质心位置和第一特征点位置计算所述第一特征点的方向角；
计算所述第一特征点的特征描述子，以二进制的形式表征所述第一特征点周围的图像信息。
在一个实施例中，对所述第一特征点和所述第二特征点进行匹配，得到匹配点对，包括：
取所述第一图像中的第一特征点A，并以该第一特征点A为中心选取预设区域作为在所述第二图像中搜索匹配特征的指定范围；
计算该第一特征点A的特征描述符到所述第二图像中的所述指定范围内的第二特征点的特征描述符之间的汉明距离；对计算得到的汉明距离进行降序排列，得到最短汉明距离和次短汉明距离；
在所述最短汉明距离与所述次短汉明距离之间的比值小于预设比值时，确定所述第一特征点A与所述最短汉明距离对应的第二特征点B匹配；针对所述第二特征点B，确定所述第二特征点B与所述第一特征点A是否匹配；
在确定所述第二特征点B与所述第一特征点A匹配时，确定第一特征点A与第二特征点B为匹配点对；
基于匹配点对建立角度直方图和长度直方图，并选取主流角度和主流长度；
利用RANSAC算法基于所述主流角度和主流长度，剔除错误的匹配点对，得到有效匹配点对。
在一个实施例中，基于视觉SLAM对所述内窥镜导管进行追踪定位并对所述目标组织器官进行地图重建，得到所述内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据，包括：
通过恒速运动模型、参考帧或重定位来确定当前帧的内窥镜导管的位姿数据，建立SLAM地图数据，并选取关键帧；
BA优化关键帧的位姿数据和所述SLAM地图数据；
使用优化算法优化虚拟内窥镜的6个自由度，使虚拟内窥镜图像与关键帧图像的相似度最大，记录关键帧对应的虚拟内窥镜在所述三维模型数据对应的坐标系下的位置。
在一个实施例中，所述BA优化关键帧的位姿数据和所述SLAM地图数据，与所述使用优化算法优化虚拟内窥镜的6个自由度，使虚拟内窥镜图像与关键帧图像的相似度最大，是分线程调度执行的。
在一个实施例中，将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，得到变换矩阵，包括以下方式之一：
将所述SLAM地图数据中的局部组织器官三维点云模型与所述三维模型数据中的全局组织器官三维点云模型进行点云融合，得到变换矩阵；
将所述SLAM地图数据中的内窥镜导管的位姿数据与所述三维模型数据中提取的中心线数据进行融合，得到变换矩阵；
在所述SLAM地图数据中的局部组织器官三维点云模型与所述三维模型数据中的全局组织器官三维点云模型上选取至少四个点进行配准，得到变换矩阵；
将关键帧所在的内窥镜导管在所述SLAM地图数据的坐标系下的位置与所述关键帧对应的虚拟内窥镜在所述三维模型数据对应的坐标系下的位置进行点对融合，得到变换矩阵。
本说明书实施例还提供了一种内窥镜导航定位装置，包括：
获取模块，用于获取目标组织器官的内窥镜图像；所述内窥镜图像包括内窥镜中设置的单目摄像头在内窥镜执行预设动作之前采集到的第一图像以及执行预设动作之后采集到的第二图像；
重建模块，用于基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据；
生成模块，用于获取所述目标组织器官的三维模型数据；还用于将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据。
本说明书实施例还提供了一种内窥镜导航定位系统，包括：
内窥镜，所述内窥镜的导管末端设置有照明光源和单目摄像头；所述单目摄像头用于采集目标组织器官的内窥镜图像；
图像处理器，用于从所述内窥镜获取所述内窥镜图像；所述内窥镜图像包括所述单目摄像头在内窥镜执行预设动作之前采集到的第一图像以及执行预设动作之后采集到的第二图像；还用于基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据；还用于获取所述目标组织器官的三维模型数据；将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据；
图像显示器，用于从所述图像处理器获取所述虚拟内窥镜导航数据，并基于所述虚拟内窥镜导航数据进行图像显示。
本说明书实施例还提供一种医疗设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现上述任意实施例中所述的内窥镜导航定位方法的步骤。
本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现上述任意实施例中所述的内窥镜导航定位方法的步骤。
在本说明书实施例中，提供了一种内窥镜导航定位方法，可以获取内窥镜手术过程中目标组织器官的内窥镜图像，所述内窥镜图像包括内窥镜中设置的单目摄像头在内窥镜执行预设动作之前采集到的第一图像以及执行预设动作之后采集到的第二图像；可以基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据，可以获取所述目标组织器官的三维模型数据，通过将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述位姿数据生成虚拟内窥镜导航数据，为医生提供虚拟的内窥镜图像来引导内窥镜手术中导航，为医生提供内窥镜导管的实时位置和姿态，便于医生执行内窥镜手术，改善患者体验。上述方案中，基于视觉SLAM进行定位和导航，仅依赖单目内窥镜图像即可实现坐标初始化、相机位姿计算、构架地图和导航，具有更快的速度和更高的追踪定位精度，而且不需要双目和额外的电磁传感器或者惯性传感器，能够在保证精度的同时降低系统复杂性，节省成本。通过虚拟内窥镜导航数据，可以在术中可以展现给医生更直观的3D效果，便于医生执行内窥镜手术，提高内窥镜手术的精度和效率，降低手术难度，改善患者体验。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，并不构成对本说明书的限定。在附图中：
图1示出了本说明书一实施例中的内窥镜导航定位方法的流程图；
图2示出了本说明书一实施例中的内窥镜导航定位方法的初始化SLAM坐标的流程图；
图3示出了本说明书一实施例中的内窥镜导航定位方法中的特征提取流程图；
图4示出了本说明书一实施例中的内窥镜导航定位方法中的特征点匹配流程图；
图5示出了本说明书一实施例中的内窥镜导航定位方法中的支气管镜跟踪流程图；
图6示出了本说明书一实施例中的内窥镜导航定位方法中的坐标系配准流程图；
图7示出了本说明书一实施例中的内窥镜导航定位方法的支气管镜机器人的机械结构示意图；
图8示出了本说明书一实施例中的内窥镜导航定位方法中的支气管镜检查场景示意图；
图9示出了本说明书一实施例中的内窥镜导航定位方法的导管结构示意图；
图10示出了本说明书一实施例中的内窥镜导航定位方法中的导管末端成像示意图；
图11示出了本说明书一实施例中的内窥镜导航定位方法的流程图；
图12示出了本说明书一实施例中的内窥镜导航定位方法的特征匹配示意图；
图13示出了本说明书一实施例中的内窥镜导航定位方法的虚拟支气管镜位姿优化流程图；
图14示出了本说明书一实施例中的内窥镜导航定位方法中的支气管镜图像示意图；
图15示出了本说明书一实施例中的内窥镜导航定位方法中的支气管树相关示意图；
图16示出了本说明书一实施例中的内窥镜导航定位方法的虚拟支气管导航示意图；
图17示出了本说明书一实施例中的内窥镜导航定位装置的示意图；
图18示出了本说明书一实施例中的内窥镜导航定位系统的示意图；
图19示出了本说明书一实施例中的医疗设备的示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本说明书的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本说明书，而并非以任何方式限制本说明书的范围。相反，提供这些实施方式是为了使本说明书公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域的技术人员知道，本说明书的实施方式可以实现为一种系统、装置设备、方法或计算机程序产品。因此，本说明书公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
本说明书实施例提供了一种内窥镜导航定位方法。图1示出了本说明书一实施例中内窥镜导航定位方法的流程图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例描述及附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至分布式处理环境)。
具体地，如图1所示，本说明书一种实施例提供的内窥镜导航定位方法可以包括以下步骤：
步骤S101，获取目标组织器官的内窥镜图像；所述内窥镜图像包括内窥镜中设置的单目摄像头在内窥镜执行预设动作之前采集到的第一图像以及执行预设动作之后采集到的第二图像。
本实施例中的方法可以应用于计算机设备或者图像处理器等。图像处理器可以获取内窥镜手术过程中目标组织器官的内窥镜图像。这里的内窥镜可以包括支气管镜、肠镜、胃镜、咽喉镜等。相应的，目标组织器官可以是支气管、肠道、胃部、咽喉等器官。内窥镜的导管末端可以设置有单目摄像头，单目摄像头可以采集手术过程中的内窥镜图像。内窥镜图像可以包括单目摄像头在内窥镜执行预设动作之前采集到的第一图像以及执行预设动作之后采集到的第二图像。
步骤S102，基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据。
本实施例中，可以基于视觉SLAM(Simultaneous Localization and Mapping，即时定位与地图创建)对内窥镜导管进行追踪定位以及对目标组织器官进行地图重建。本实施例中，视觉SLAM可以是基于单目摄像头的SLAM。图像处理器可以基于视觉SLAM利用第一图像和第二图像对内窥镜导管进行追踪定位，得到所述内窥镜导管的位姿数据。图像处理器还可以基于视觉SLAM对目标组织器官进行地图重建，得到所述目标组织器官对应的SLAM地图数据。
步骤S103，获取所述目标组织器官的三维模型数据；将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据。
图像处理器还可以获取目标组织器官的三维模型数据。这里的三维模型数据可以是基于CT或者MRI提前采集的数据构建的。可以将SLAM地图数据的坐标系与三维模型数据的坐标系进行配准，配准之后即可以基于内窥镜导管的位姿数据生成虚拟内窥镜导航数据。虚拟内窥镜导航数据中可以包括三维模型数据以及三维模型数据坐标系下的内窥镜图像和内窥镜位姿数据。可以将虚拟内窥镜导航数据发送至图像显示器。图像显示器可以基于虚拟内窥镜导航数据在图像显示器中进行显示，便于医生执行内窥镜手术或者检查。
上述实施例中，基于视觉SLAM进行定位和导航，仅依赖单目内窥镜图像即可实现坐标初始化、相机位姿计算、建图和导航，具有更快的速度和更高的追踪定位精度，而且不需要双目和额外的电磁传感器或者惯性传感器，能够在保证精度的同时降低系统复杂性，节省成本。通过虚拟内窥镜导航数据，可以在术中可以展现给医生更直观的3D效果，便于医生执行内窥镜手术，提高内窥镜手术的精度和效率，降低手术难度，改善患者体验。
在本说明书一些实施例中，基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据，可以包括：利用所述第一图像和所述第二图像进行视觉SLAM坐标初始化；基于视觉SLAM对所述内窥镜导管进行追踪定位并对所述目标组织器官进行地图重建，得到所述内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据。
本实施例中，为了执行视觉SLAM坐标初始化，可以获取内窥镜执行预设动作之前采集到的第一图像以及执行预设动作之后采集到的第二图像。通过多帧内窥镜图像，可以进行视觉SLAM的坐标初始化。在单目视觉中，可以对两帧内窥镜图像的平移进行归一化，相当于固定了一个尺度。可以计算单目摄像头运动和特征点的3D位置。在初始化之后，就可以计算相机的运动，初始化之后的轨迹和地图的单位，就是初始化时固定的尺度。因此，初始化也是单目SLAM中不可避免的一个步骤。初始化之后，图像处理器可以基于视觉SLAM对内窥镜导管进行追踪定位并对目标组织器官进行地图重建，得到所述内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据。通过上述方式，可以得到内窥镜导管的位姿数据以及SLAM地图数据，便于后续进行定位导航。
在本说明书一些实施例中，所述预设动作包括旋转动作和平移动作。预设动作可以是一系列的旋转动作和平移动作。初始化的两帧图片需要有一定程度的平移，而后的轨迹和地图都将会以这一步的平移为单位。单目初始化不能只有纯旋转，必须要有一定程度的平移，如果没有平移，单目将无法初始化。本实施例中的可以控制内窥镜执行一系列的前进、后退或者弯曲的动作，采集执行动作前后的图像数据进行SLAM坐标初始化。
在本说明书一些实施例中，将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据，包括：将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，得到变换矩阵；利用所述变换矩阵将所述位姿数据转换至所述三维模型数据对应的坐标系中，生成虚拟内窥镜导航数据。虚拟内窥镜导航数据中可以包括三维模型数据以及三维模型数据坐标系下的内窥镜图像和内窥镜位姿数据。可以基于虚拟内窥镜导航数据在图像显示器中进行显示，便于医生执行内窥镜手术或者检查。
在本说明书一些实施例中，利用所述第一图像和所述第二图像进行视觉SLAM坐标初始化，可以包括：对第一图像进行特征提取，得到第一特征点；对所述第二图像进行特征提取，得到第二特征点；对所述第一特征点和所述第二特征点进行匹配，得到匹配点对；基于所述匹配点对，生成所述单目摄像头对应的旋转矩阵和单位平移向量；根据所述预设动作中的位移长度数据和所述单位平移向量，计算得到位移向量；利用所述旋转矩阵和所述位移向量生成所述匹配点对对应的地图点；当地图点的数量大于预设数量时，确定视觉SLAM坐标初始化成功。
单目视觉SLAM的优点是成本低，但是最大的局限是无法知道拍摄物体到相机的距离，这样通过对极几何求出的两张图片的位姿和三角化的地图点是没有尺度信息的，所以需要借助运动控制控制相机执行预设动作，用已知相机的位移长度来恢复尺度信息。预设动作为一个动作序列，包含前进、弯曲、后退等操作，当初始化不成功的时候，则执行第二个预设动作，直至初始化成功。
在一个实施例中，预设动作序列可以是如下形式：第一次：前进m1厘米，第二次：向上弯曲n1度并前进m2厘米，第三次：向右下弯曲n2度并前进m3厘米，第四次：向左弯曲n3度并后退m4厘米等，该预设动作是由前进、弯曲、后退等操作组合而成，且需要在N次动作周期内回到起始位置。
具体地，请参考图2，示出了本说明书一实施例中的内窥镜导航定位方法的初始化SLAM坐标的流程图。图2中以内窥镜为支气管镜为例进行说明。如图2所示，SLAM坐标初始化的步骤包括：
步骤1，捕获支气管镜图像I1，图像I1需要满足图像质量要求，图像清楚支气管特征明显，之后通过严格的条件提取特征点P1；
步骤2，运动控制执行预设动作；
步骤3，捕获支气管镜图像I2，图像I2需要满足图像质量要求，图像清楚支气管特征明显，之后通过严格的条件提取特征点P2；
步骤4，对P1和P2特征点进行严格且带约束的匹配，获得匹配点对；
步骤5，对匹配点对进行RANSAC算法剔除错误的匹配点对，只保留有用的点对；
步骤6，对保留下来的特征点对的特征点坐标归一化，计算基础矩阵，并分解得到R，t；R是相机的旋转矩阵，t是相机的平移向量；
步骤7，根据本次运动控制执行的预设动作，获得已知的位移长度m，与单位位移向量相乘，得到恢复尺度的位移向量t’；
步骤8，通过三角化算法恢复特征点对应的地图点，对地图点的视差角和位置进行检验，保留满足条件的地图点；
步骤9，判断地图点数量是否大于预设阈值，若是则初始化成功，若否则按下一个预设动作重新进行该坐标初始化过程。
在本说明一些实施例中，对第一图像进行特征提取，得到第一特征点，可以包括：对所述第一图像进行降采样，生成N层不同尺度的金字塔图像；其中，N为大于2的整数；对所述N层不同尺度的金字塔图像提取特征点；通过四叉树筛选提取出的特征点，得到均匀分布在图像中的第一特征点；计算所述第一特征点的灰度质心，并根据所述灰度质心位置和第一特征点位置计算所述第一特征点的方向角；计算所述第一特征点的特征描述子，以二进制的形式表征所述第一特征点周围的图像信息。
具体地，请参考图3，示出了本说明书一实施例中的内窥镜导航定位方法中的特征提取流程图。每个特征点包含位置、大小、方向、评分、描述子信息。如图3所示，可以对图像做降采样生成n层不同尺度的金字塔，金字塔层数需大于2层；对n层不同比例的图像使用Fast或Harris算法提取特征点；四叉树筛选特征点，对特征点密集区域进行非极大值抑制，使特征点均匀分布在图像中，均匀的特征点可以提高位姿计算精度；以特征点为中心取一定大小的区域，计算灰度质心，根据灰度质心位置和特征点位置计算特征点的方向角；计算BRIEF特征描述子，以二进制的形式表征特征点周围的图像信息。该特征点是从当前图像提取的，经非极大值抑制进行疏密程度筛选。通过上述方式，可以对内窥镜图像进行严格的特征提取。
在本说明一些实施例中，对所述第一特征点和所述第二特征点进行匹配，得到匹配点对，可以包括：取所述第一图像中的第一特征点A，并以该第一特征点A为中心选取预设区域作为在所述第二图像中搜索匹配特征的指定范围；计算该第一特征点A的特征描述符到所述第二图像中的所述指定范围内的第二特征点的特征描述符之间的汉明距离；对计算得到的汉明距离进行降序排列，得到最短汉明距离和次短汉明距离；在所述最短汉明距离与所述次短汉明距离之间的比值小于预设比值时，确定所述第一特征点A与所述最短汉明距离对应的第二特征点B匹配；针对所述第二特征点B，确定所述第二特征点B与所述第一特征点A是否匹配；在确定所述第二特征点B与所述第一特征点A匹配时，确定第一特征点A与第二特征点B为匹配点对；基于匹配点对建立角度直方图和长度直方图，并选取主流角度和主流长度；利用RANSAC算法基于所述主流角度和主流长度，剔除错误的匹配点对，得到有效匹配点对。
具体地，请参考图4，示出了本说明书一实施例中的内窥镜导航定位方法中的特征点匹配流程图。如图4所示，特征点匹配流程可以包括以下步骤。
步骤1.任取图像A的一个特征fa,以fa的位置为中心，扩大一定的区域作为在图像B中搜索匹配特征的范围。
步骤2.取特征fa的特征描述符，计算它到图像B中范围r内所有特征描述符的汉明距离d。
步骤3.将所得到的距离进行排序，选择距离最短和次短的特征，其距离记为d1和d2。
步骤4.最近邻次近邻距离比：取图像A的特征fa，搜索它到图像B距离最近的两个特征，距离分别记为d1和d2，只有当d1/d2小于某个阈值时，才认为是好的匹配。
步骤5.交叉核对：如果在图像B中，特征fb是特征fa的最佳匹配，并且在图像A中，特征fa也是特征fb的最佳匹配，则认为fa与fb是好的匹配。
步骤6.根据匹配特征点的角度差建立角度直方图，选取直方图的主流角度。
步骤7.寻找最小匹配距离，只选取距离比最小距离大n倍内的匹配点对。
步骤8.图A分多个子区域，认为每个区域内的匹配特征向量的长度和方向应该具有一致性，因此建立匹配特征向量的长度和角度直方图，选取主流长度和角度。
步骤9.RANSAC剔除错误匹配点对。
步骤10.重建出的3D点需要在相机前一定范围内，以筛选正确的匹配特征点对。
通过上述方式，通过带约束的特征匹配进行特征点的匹配进行初始化，可以提高SLAM的追踪精度。
在本说明一些实施例中，基于视觉SLAM对所述内窥镜导管进行追踪定位并对所述目标组织器官进行地图重建，得到所述内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据，可以包括：通过恒速运动模型、参考帧或重定位来确定当前帧的内窥镜导管的位姿数据，建立SLAM地图数据，并选取关键帧；BA优化关键帧的位姿数据和所述SLAM地图数据；使用优化算法优化虚拟内窥镜的6个自由度，使虚拟内窥镜图像与关键帧图像的相似度最大，记录关键帧对应的虚拟内窥镜在所述三维模型数据对应的坐标系下的位置。
具体地，支气管镜跟踪可以包括三个线程：前端视觉里程计线程、后端优化与建图线程和虚拟支气管镜位姿优化线程。前端视觉里程计线程通过恒速运动模型、参考帧或重定位估计当前帧位姿，具体包含图像特征提取、特征匹配、PnP求解相机位姿、三角化获得特征点的3D空间位置、关键帧判定并记录。后端优化与建图线程通过BA优化关键帧的相机位姿与支气管树建图。虚拟支气管镜位姿优化线程使用优化算法优化虚拟支气管镜的6个自由度，使虚拟支气管镜图像和关键帧图像的相似度最大，记录关键帧对应的虚拟支气管镜在CT坐标系下的位置。
请参考图5，示出了本说明书一实施例中的内窥镜导航定位方法中的内窥镜跟踪流程图。图5中以支气管镜为例进行说明。如图5所示，三种不同的跟踪模式安装优先顺序和是否跟踪成功被调用。
恒速运动模型是假定相机的运动是匀速的，首先根据上一帧的运动速度Vlast和上一帧的位姿Poselast计算出本帧位姿Posecurr的估计值：Posecurr＝Vlast×Poselast，Vlast表示的是上一帧到当前帧的变换，即运动速度；之后进行位姿优化，更新当前帧的运动速度Vcurr：Vcurr＝Posecurr×inverse(Poselast)。
参考帧估计位姿是使用词袋加速当前帧与参考帧之间的特征匹配，当恒速运动模型跟踪失败时启动参考帧估计位姿。跟踪失败的判断是重建出的地图点的数量是否大于阈值。
当前两种位姿估计都失败的时候启用重定位估计位姿，首先通过词袋查找关键帧数据库种与当前帧相似的候选关键帧，然后遍历每一个候选关键帧与当前帧通过词袋进行特征跟踪、匹配、筛选一致的匹配点。
当前帧图像需要满足图像质量判定，即图像清晰且支气管特征明显。
关键帧判断的条件有两个：时间上距离上一关键帧时间不能太长；质量上，当前帧观测的地图点要足够多，同时与之前的关键帧重合程度不能太大。
当关键帧判定成功后，则启动另外两个线程，分别进行BA优化相机位姿、虚拟支气管镜优化位姿。
上述实施例中，仅对关键帧做精细的真实支气管镜位姿优化、建图、虚拟支气管镜位姿优化，可以提高算法鲁棒性和定位精度。
在本说明一些实施例中，所述BA优化关键帧的位姿数据和所述SLAM地图数据，与所述使用优化算法优化虚拟内窥镜的6个自由度，使虚拟内窥镜图像与关键帧图像的相似度最大，可以是分线程调度执行的。上书实施例中，多线程并行计算，通过线程锁互不打扰，提高计算效率。
在本说明一些实施例中，将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，得到变换矩阵，可以包括以下方式之一：将所述SLAM地图数据中的局部组织器官三维点云模型与所述三维模型数据中的全局组织器官三维点云模型进行点云融合，得到变换矩阵；将所述SLAM地图数据中的内窥镜导管的位姿数据与所述三维模型数据中提取的中心线数据进行融合，得到变换矩阵；在所述SLAM地图数据中的局部组织器官三维点云模型与所述三维模型数据中的全局组织器官三维点云模型上选取至少四个点进行配准，得到变换矩阵；将关键帧所在的内窥镜导管在所述SLAM地图数据的坐标系下的位置与所述关键帧对应的虚拟内窥镜在所述三维模型数据对应的坐标系下的位置进行点对融合，得到变换矩阵。
请参考图6，示出了本说明书一实施例中的内窥镜导航定位方法中的坐标系配准流程图。图6中以支气管镜为例进行说明。如图6所示，坐标系配准的方式可以包括但不限于以下四种形式。形式一：包括SLAM技术重建的局部支气管树点云模型A1，和CT图像分割重建的全局支气管树点云模型A2，配准方法是使用ICP相关算法将局部的A1点云与全局的A2点云融合，获得患者与CT坐标系的变换关系。形式二：可以是包括SLAM技术获得的相机轨迹B1和CT图像对支气管分割重建并提取中心线B2,使用ICP相关算法将局部的轨迹B1与全局的中心线B2融合，获得患者与CT坐标系的变换关系。形式三：包括SLAM技术重建的局部支气管树点云模型C1，和CT图像分割重建的全局支气管树点云模型C2，由医生手动在C1和C2模型上选择>＝4个点对进行配准。形式四：记录每个关键帧所在的真实支气管镜在患者坐标系下的位置D1，并通过虚拟支气管镜位置优化线程的优化算法优化虚拟支气管镜的6个自由度，使虚拟支气管镜图像和关键帧图像的相似度最大，记录每个关键帧对应的虚拟支气管镜在CT坐标系下的位置D2，通过ICP算法将D1与D2点对融合，获得患者和CT坐标系下的位置。上述实施例中，可以采用多种可选的患者-CT配准形式进行配准。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。具体的可以参照前述相关处理相关实施例的描述，在此不做一一赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
下面结合一个具体实施例对上述方法进行说明，然而，值得注意的是，该具体实施例仅是为了更好地说明本说明书，并不构成对本说明书的不当限定。
本具体实施例中提供了种基于视觉SLAM的支气管镜导航定位方法。本实施例中不增加额外的电磁传感器，节省成本，也不需要花费大量的时间生产虚拟内窥图像VB，采用改进的视觉SLAM对支气管镜相机姿态进行实时估计，具有更快的速度和更高的追踪定位精度。本实施例中，可以使用改进的SLAM技术，使用更严格的特征提取标准和带约束范围的特征点匹配来避免误匹配。所使用的改进的SLAM技术，只依赖单目支气管镜图像实现相机位姿计算、建图和导航，不需要双目和额外的惯性传感器。特殊的初始化操作来解决SLAM坐标初始化过程中的尺度丢失问题。多线程并行计算，通过线程锁互不打扰，提高计算效率。只对关键帧做精细的真实支气管镜位姿优化、建图、虚拟支气管镜位姿优化，提高算法鲁棒性和定位精度。可以采用多种可选的患者-CT配准形式。
请参考图7，示出了本说明书一实施例中的内窥镜导航定位方法的支气管镜机器人的机械结构示意图。如图7所示，支气管镜机器人的机械结构主要有以下四个部分组成：
台车701：台车上安装有机械臂，内部空间会放置机器人控制主机和图像计算平台等器件。
机械臂702：机械臂安装于台车上，机械臂末端连接安装板，其内置的驱动器可以控制导管在气管内的的前进后退。
安装板703：机械臂末端设有安装板，安装板上有滑轨，其内置的驱动器可以控制导管的前进后退。
导管704：导管内含有至少一根导丝，可以控制导管的弯曲。
请参考图8，示出了本说明书一实施例中的内窥镜导航定位方法中的支气管镜检查场景示意图。如图8所示，支气管镜检查场景中可以包括支气管镜机器人801、患者台车802和图像显示导航装置803。机器人可以控制机械臂将可弯曲的导管从患者口腔或鼻腔进入患者的下呼吸道，在气管和支气管中进行检查和治疗。
请参考图9，示出了支气管镜导管的结构示意图。图9左侧示出了导管的立体示意图。导管内部穿设有至少一根导丝，导丝可以伸长和缩短，从而使得导管末端能够沿至少一个方向弯曲。图9右侧示出了导管末端截面示意图。如图9所示，在导管末端安放了一个相机用来捕获支气管内部图像，相机左右两侧各有一个照明光源。图10示出了导管末端成像示意图。
请参考图11，示出了本说明书一实施例中的内窥镜导航定位方法的流程图。如图11所示，本实施例中的基于视觉SLAM的支气管镜导航定位方法可以包括以下步骤。初始化,包括SLAM的坐标初始化，患者-CT坐标系变换关系的初始化。真实支气管镜跟踪，使用改进的SLAM技术用于术中支气管镜位姿实时估计并重建支气管树的点云模型。患者-CT配准，用于获得真实支气管镜图像与CT图像之间的变换关系。虚拟支气管导航，为医生提供虚拟的支气管镜图像来引导术中导航，为医生提供虚拟支气管树来实时显示导管位置和姿态。
本具体实施例中还提供了一种基于视觉SLAM的支气管镜导航定位装置，包括图像获取模块、导航定位算法模块、运动控制模块、支气管镜机器人。
图像获取模块用来实时捕获真实支气管镜图像，并进行图像质量判定。
导航定位算法模块包含图像质量判定功能，追踪定位功能、3D配准功能、生成虚拟支气管镜图像功能。
运动控制模块用来根据医生的操作指令或根据预设的动作方案控制支气管镜的前进和弯曲。
支气管镜机器人用来执行支气管镜检查的手术操作。
在本说明书的一个实施例中，SLAM的坐标初始化可以包括以下步骤：将支气管镜插入主气道，经医生手动确认，运动控制模块开始执行预设的动作使支气管前进固定距离m，图像获取模块捕获运动执行前和执行后的两帧图像，获得2D-2D图像间的特征点的对应关系，根据对极几何原理求解两帧图像间的相机旋转矩阵和位移向量，因为位移向量是归一化的向量，丢失了尺度信息，该位移向量乘上数值m即真实的位移向量，从而获得支气管镜初始的位姿，再进行三角化获得特征点的3D位置。
在本说明书的一个实施例中，患者-CT坐标系变换关系的初始化可以包括：将支气管镜在主气道和二级分支或更深的三级分支游走一遍，使用SLAM对支气管镜追踪定位并重建支气管树点云模型，使用患者-CT配准的方法，获得二者的初始变换矩阵。
在本说明书的一个实施例中，支气管镜跟踪所使用的SLAM技术，可以包括三个线程，前端视觉里程计线程：通过恒速运动模型、参考帧或重定位估计当前帧位姿，具体包含图像特征提取、特征匹配、PnP求解相机位姿、三角化获得特征点的3D空间位置、关键帧判定并记录；后端优化与建图线程：BA优化关键帧的相机位姿与支气管树建图；虚拟支气管镜位置优化线程：使用优化算法优化虚拟支气管镜的6个自由度，使虚拟支气管镜图像和关键帧图像的相似度最大，记录关键帧对应的虚拟支气管镜在CT坐标系下的位置。
在本说明书的一个实施例中，改进的SLAM技术，可以通过更严格特征提取标准、带约束的3D特征点空间范围和带约束的2D特征点图像范围来进行更精准的3D-2D特征点匹配来实现。
在本说明书的一些实施例中，带约束的特征匹配流程可以包括以下步骤：
步骤1.任取图像A的一个特征fa,以fa的位置为中心，扩大一定的区域作为在图像B中搜索匹配特征的范围。
步骤2.取特征fa的特征描述符，计算它到图像B中范围r内所有特征描述符的汉明距离d。
步骤3.将所得到的距离进行排序，选择距离最短和次短的特征，其距离记为d1和d2。
步骤4.最近邻次近邻距离比：取图像A的特征fa，搜索它到图像B距离最近的两个特征，距离分别记为d1和d2，只有当d1/d2小于某个阈值时，才认为是好的匹配。
步骤5.交叉核对：如果在图像B中，特征fb是特征fa的最佳匹配，并且在图像A中，特征fa也是特征fb的最佳匹配，则认为fa与fb是好的匹配。
步骤6.根据匹配特征点的角度差建立角度直方图，选取直方图的主流角度。
步骤7.寻找最小匹配距离，只选取距离比最小距离大n倍内的匹配点对。
步骤8.图A分多个子区域，认为每个区域内的匹配特征向量的长度和方向应该具有一致性，因此建立匹配特征向量的长度和角度直方图，选取主流长度和角度。
9.RANSAC剔除错误匹配点对。
10.重建出的3D点需要在相机前一定范围内，以此筛选正确的匹配特征点对。
图12示出了本说明书一实施例中的内窥镜导航定位方法的特征匹配示意图。图12的上图中示例性地示出了两幅图像特征匹配的连线示意图。图12的下图示出了示例特征匹配向量。
在本说明书的一个实施例中，患者-CT配准，可以包括但不限于以下四种形式，形式一：包括SLAM技术重建的局部支气管树点云模型A1，和CT图像分割重建的全局支气管树点云模型A2，配准方法是使用ICP相关算法将局部的A1点云与全局的A2点云融合，获得患者与CT坐标系的变换关系；形式二：可以是包括SLAM技术获得的相机轨迹B1和CT图像对支气管分割重建并提取中心线B2,使用ICP相关算法将局部的轨迹B1与全局的中心线B2融合，获得患者与CT坐标系的变换关系；形式三：包括SLAM技术重建的局部支气管树点云模型C1，和CT图像分割重建的全局支气管树点云模型C2，由医生手动在C1和C2模型上选择>＝4个点对进行配准；形式四：记录每个关键帧所在的真实支气管镜在患者坐标系下的位置D1，并通过虚拟支气管镜位置优化线程的优化算法优化虚拟支气管镜的6个自由度，使虚拟支气管镜图像和关键帧图像的相似度最大，记录每个关键帧对应的虚拟支气管镜在CT坐标系下的位置D2,通过ICP算法将D1与D2点对融合，获得患者和CT坐标系下的位置。
图13示出了本说明书一实施例中的内窥镜导航定位方法的虚拟支气管镜位姿优化流程图。如图13所示，虚拟支气管镜位姿优化可以包括以下内容。相机位姿包含相机位置和姿态，姿态的表示可以是欧拉角也可以是四元数，也可以由相机的焦点和相机的朝上的方向来表示。初始相机的位置P2可以由真实支气管镜追踪定位算法获得的位置P1与患者-CT配准获得变换矩阵T获得，P2＝T×P1，初始相机的姿态与真实支气管镜追踪定位算法获得的姿态一样。生成虚拟支气管镜图像，可以使用openGL或vtk来渲染生成。请参考图14，示出了本实施例中的支气管镜图像示意图。图14中的左侧图为真实支气管镜拍摄到的图像，右侧图为使用openGL或vtk渲染生成的虚拟支气管镜图像。
可以渲染CT分割获得的支气管树模型，设置颜色，放置相机和光源等。请参考图15，示出了本实施例中的支气管树相关示意图。图15的左侧的图示出了从CT数据分割重建出的支气管树模型，中侧的图示出了支气管树点云模型，可以是SLAM技术重建出来的点云也可以是CT数据分割重建的点云。图15的右侧的图示出了支气管树中心线或相机轨迹。
计算相似度是计算虚拟支气管镜图像VB和真实支气管镜图像RB之间的相似性，认为相似性最大的VB对应的虚拟相机的位姿就是我们优化得到的位姿。相似度的度量函数可以是互信息、亮度、对比度、结构性特征多方面信息的组合。优化算法可以使用非求导的优化算法，目的是根据优化策略迭代相机位姿生成不同的VB，与RB计算相似度，获得相似度最高的VB和它的位姿。该步骤在单独的一个线程中计算，不会影响其他线程的计算，且只在获得关键帧后才会被启动，运行完则进入等待状态。
在本说明书的一些实施例中，可以为医生提供虚拟的支气管镜图像来引导术中导航，为医生提供虚拟支气管树来实时显示导管位置和姿态。请参考图16，示出了本具体实施例中的虚拟支气管导航示意图。如图16的左图所示，虚拟支气管树导航示意图，图中黑色的线条指示导管的位置和姿态。图16中的右图示出了虚拟支气管镜图像导航示意图，图中黑色的线条指示到达目标点需要走的路径。
本具体实施例中的支气管追踪定位算法可应用于支气管镜机器人的导航定位，亦可应用于其他内镜在人体其他组织的导航定位，比如肠道、咽喉、胃等部位的导航定位。本具体实施例中，不增加额外的电磁传感器，节省成本；对每帧支气管镜定位时不需要生成一系列的虚拟内窥图像VB，节省计算时间；采用改进的视觉SLAM对支气管镜相机姿态进行实时估计，具有更快的速度和更高的追踪定位精度；采用改进的视觉SLAM，只需要单目图像作为输入，不需要双目图像，也不需要其他的传感器，在保证精度的同时降低系统复杂性；SLAM重建的支气管树模型，具有真实的支气管颜色，在术中可以展现给医生更直观的3D效果。
基于同一发明构思，本说明书实施例中还提供了一种内窥镜导航定位装置，如下面的实施例所述。由于内窥镜导航定位装置解决问题的原理与内窥镜导航定位方法相似，因此内窥镜导航定位装置的实施可以参见内窥镜导航定位方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。图17是本说明书实施例的内窥镜导航定位装置的一种结构框图，如图17所示，包括：获取模块171、重建模块172和生成模块173，下面对该结构进行说明。
获取模块171用于获取目标组织器官的内窥镜图像；所述内窥镜图像包括内窥镜中设置的单目摄像头在内窥镜执行预设动作之前采集到的第一图像以及执行预设动作之后采集到的第二图像。
重建模块172用于基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据。
生成模块173用于获取所述目标组织器官的三维模型数据；还用于将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据。
在本说明书一些实施例中，所述预设动作包括旋转动作和平移动作。
在本说明书一些实施例中，重建模块可以具体用于：利用所述第一图像和所述第二图像进行视觉SLAM坐标初始化；基于视觉SLAM对所述内窥镜导管进行追踪定位并对所述目标组织器官进行地图重建，得到所述内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据。
在本说明书一些实施例中，所述生成模块可以具体用于：将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，得到变换矩阵；利用所述变换矩阵将所述位姿数据转换至所述三维模型数据对应的坐标系中，生成虚拟内窥镜导航数据。
在本说明书一些实施例中，初始化模块可以具体用于：对第一图像进行特征提取，得到第一特征点；对所述第二图像进行特征提取，得到第二特征点；对所述第一特征点和所述第二特征点进行匹配，得到匹配点对；基于所述匹配点对，生成所述单目摄像头对应的旋转矩阵和单位平移向量；根据所述预设动作中的位移长度数据和所述单位平移向量，计算得到位移向量；利用所述旋转矩阵和所述位移向量生成所述匹配点对对应的地图点；当地图点的数量大于预设数量时，确定视觉SLAM坐标初始化成功。
在本说明一些实施例中，对第一图像进行特征提取，得到第一特征点，可以包括：对所述第一图像进行降采样，生成N层不同尺度的金字塔图像；其中，N为大于2的整数；对所述N层不同尺度的金字塔图像提取特征点；通过四叉树筛选提取出的特征点，得到均匀分布在图像中的第一特征点；计算所述第一特征点的灰度质心，并根据所述灰度质心位置和第一特征点位置计算所述第一特征点的方向角；计算所述第一特征点的特征描述子，以二进制的形式表征所述第一特征点周围的图像信息。
在本说明一些实施例中，对所述第一特征点和所述第二特征点进行匹配，得到匹配点对，可以包括：取所述第一图像中的第一特征点A，并以该第一特征点A为中心选取预设区域作为在所述第二图像中搜索匹配特征的指定范围；计算该第一特征点A的特征描述符到所述第二图像中的所述指定范围内的第二特征点的特征描述符之间的汉明距离；对计算得到的汉明距离进行降序排列，得到最短汉明距离和次短汉明距离；在所述最短汉明距离与所述次短汉明距离之间的比值小于预设比值时，确定所述第一特征点A与所述最短汉明距离对应的第二特征点B匹配；针对所述第二特征点B，确定所述第二特征点B与所述第一特征点A是否匹配；在确定所述第二特征点B与所述第一特征点A匹配时，确定第一特征点A与第二特征点B为匹配点对；基于匹配点对建立角度直方图和长度直方图，并选取主流角度和主流长度；利用RANSAC算法基于所述主流角度和主流长度，剔除错误的匹配点对，得到有效匹配点对。
在本说明一些实施例中，初始化模块还可以用于：通过恒速运动模型、参考帧或重定位来确定当前帧的内窥镜导管的位姿数据，建立SLAM地图数据，并选取关键帧；BA优化关键帧的位姿数据和所述SLAM地图数据；使用优化算法优化虚拟内窥镜的6个自由度，使虚拟内窥镜图像与关键帧图像的相似度最大，记录关键帧对应的虚拟内窥镜在所述三维模型数据对应的坐标系下的位置。
在本说明一些实施例中，所述BA优化关键帧的位姿数据和所述SLAM地图数据，与所述使用优化算法优化虚拟内窥镜的6个自由度，使虚拟内窥镜图像与关键帧图像的相似度最大，可以是分线程调度执行的。
在本说明一些实施例中，生成模块可以用于以下之一：将所述SLAM地图数据中的局部组织器官三维点云模型与所述三维模型数据中的全局组织器官三维点云模型进行点云融合，得到变换矩阵；将所述SLAM地图数据中的内窥镜导管的位姿数据与所述三维模型数据中提取的中心线数据进行融合，得到变换矩阵；在所述SLAM地图数据中的局部组织器官三维点云模型与所述三维模型数据中的全局组织器官三维点云模型上选取至少四个点进行配准，得到变换矩阵；将关键帧所在的内窥镜导管在所述SLAM地图数据的坐标系下的位置与所述关键帧对应的虚拟内窥镜在所述三维模型数据对应的坐标系下的位置进行点对融合，得到变换矩阵。
从以上的描述中，可以看出，本说明书实施例实现了如下技术效果：基于视觉SLAM进行定位和导航，仅依赖单目内窥镜图像即可实现坐标初始化、相机位姿计算、建图和导航，具有更快的速度和更高的追踪定位精度，而且不需要双目和额外的电磁传感器或者惯性传感器，能够在保证精度的同时降低系统复杂性，节省成本。通过虚拟内窥镜导航数据，可以在术中可以展现给医生更直观的3D效果，便于医生执行内窥镜手术，提高内窥镜手术的精度和效率，降低手术难度，改善患者体验。
基于同一发明构思，本说明书实施例中还提供了一种内窥镜导航定位系统，如下面的实施例所述。图18是本说明书实施例的内窥镜导航定位装置的一种结构框图，如图18所示，包括内窥镜181、图像处理器182和图像显示器183。
内窥镜181所述内窥镜的导管末端设置有照明光源和单目摄像头；所述单目摄像头用于采集内窥镜手术过程中目标组织器官的内窥镜图像。
图像处理器182用于从所述内窥镜获取所述内窥镜图像；所述内窥镜图像包括所述单目摄像头在内窥镜执行预设动作之前采集到的第一图像以及执行预设动作之后采集到的第二图像；还用于基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据；还用于获取所述目标组织器官的三维模型数据；将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据。
图像显示器183用于从所述图像处理器获取所述虚拟内窥镜导航数据，并基于所述虚拟内窥镜导航数据进行图像显示。
本说明书实施方式还提供了一种医疗设备，具体可以参阅图19所示的基于本说明书实施例提供的内窥镜导航定位方法的医疗设备组成结构示意图，所述医疗设备具体可以包括输入设备191、处理器192、存储器193。其中，所述存储器193用于存储处理器可执行指令。所述处理器192执行所述指令时实现上述任意实施例中所述的内窥镜导航定位方法的步骤。
在本实施方式中，所述输入设备具体可以是用户和计算机系统之间进行信息交换的主要装置之一。所述输入设备可以包括键盘、鼠标、摄像头、扫描仪、光笔、手写输入板、语音输入装置等；输入设备用于把原始数据和处理这些数的程序输入到计算机中。所述输入设备还可以获取接收其他模块、单元、设备传输过来的数据。所述处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述存储器具体可以是现代信息技术中用于保存信息的记忆设备。所述存储器可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。
在本实施方式中，该医疗设备具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
本说明书实施方式中还提供了一种基于内窥镜导航定位方法的计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现上述任意实施例中所述内窥镜导航定位方法的步骤。
在本实施方式中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。
在本实施方式中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
显然，本领域的技术人员应该明白，上述的本说明书实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本说明书实施例不限制于任何特定的硬件和软件结合。
应该理解，以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施方式和许多应用对本领域技术人员来说都将是显而易见的。因此，本说明书的范围不应该参照上述描述来确定，而是应该参照前述权利要求以及这些权利要求所拥有的等价物的全部范围来确定。
以上所述仅为本说明书的优选实施例而已，并不用于限制本说明书，对于本领域的技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。

Claims (12)

1.一种内窥镜导航定位方法，其特征在于，包括：
获取目标组织器官的内窥镜图像；所述内窥镜图像包括内窥镜中设置的单目摄像头在内窥镜执行预设动作之前采集到的第一图像以及执行预设动作之后采集到的第二图像；
基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据；
获取所述目标组织器官的三维模型数据；将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据。
2.根据权利要求1所述的内窥镜导航定位方法，其特征在于，所述预设动作包括旋转动作和平移动作。
3.根据权利要求1所述的内窥镜导航定位方法，其特征在于，基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据，包括：
利用所述第一图像和所述第二图像进行视觉SLAM坐标初始化；
基于视觉SLAM对所述内窥镜导管进行追踪定位并对所述目标组织器官进行地图重建，得到所述内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据。
4.根据权利要求1所述的内窥镜导航定位方法，其特征在于，将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据，包括：
将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，得到变换矩阵；
利用所述变换矩阵将所述位姿数据转换至所述三维模型数据对应的坐标系中，生成虚拟内窥镜导航数据。
5.根据权利要求3所述的内窥镜导航定位方法，其特征在于，利用所述第一图像和所述第二图像进行视觉SLAM坐标初始化，包括：
对第一图像进行特征提取，得到第一特征点；对所述第二图像进行特征提取，得到第二特征点；
对所述第一特征点和所述第二特征点进行匹配，得到匹配点对；
基于所述匹配点对，生成所述单目摄像头对应的旋转矩阵和单位平移向量；根据所述预设动作中的位移长度数据和所述单位平移向量，计算得到位移向量；
利用所述旋转矩阵和所述位移向量生成所述匹配点对对应的地图点；
当地图点的数量大于预设数量时，确定视觉SLAM坐标初始化成功。
6.根据权利要求5所述的内窥镜导航定位方法，其特征在于，对所述第一特征点和所述第二特征点进行匹配，得到匹配点对，包括：
取所述第一图像中的第一特征点A，并以该第一特征点A为中心选取预设区域作为在所述第二图像中搜索匹配特征的指定范围；
计算该第一特征点A的特征描述符到所述第二图像中的所述指定范围内的第二特征点的特征描述符之间的汉明距离；对计算得到的汉明距离进行降序排列，得到最短汉明距离和次短汉明距离；
在所述最短汉明距离与所述次短汉明距离之间的比值小于预设比值时，确定所述第一特征点A与所述最短汉明距离对应的第二特征点B匹配；针对所述第二特征点B，确定所述第二特征点B与所述第一特征点A是否匹配；
在确定所述第二特征点B与所述第一特征点A匹配时，确定第一特征点A与第二特征点B为匹配点对；
基于匹配点对建立角度直方图和长度直方图，并选取主流角度和主流长度；
利用RANSAC算法基于所述主流角度和主流长度，剔除错误的匹配点对，得到有效匹配点对。
7.根据权利要求3所述的内窥镜导航定位方法，其特征在于，基于视觉SLAM对所述内窥镜导管进行追踪定位并对所述目标组织器官进行地图重建，得到所述内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据，包括：
通过恒速运动模型、参考帧或重定位来确定当前帧的内窥镜导管的位姿数据，建立SLAM地图数据，并选取关键帧；
BA优化关键帧的位姿数据和所述SLAM地图数据；
使用优化算法优化虚拟内窥镜的6个自由度，使虚拟内窥镜图像与关键帧图像的相似度最大，记录关键帧对应的虚拟内窥镜在所述三维模型数据对应的坐标系下的位置。
8.根据权利要求7所述的内窥镜导航定位方法，其特征在于，所述BA优化关键帧的位姿数据和所述SLAM地图数据，与所述使用优化算法优化虚拟内窥镜的6个自由度，使虚拟内窥镜图像与关键帧图像的相似度最大，是分线程调度执行的。
9.根据权利要求4所述的内窥镜导航定位方法，其特征在于，将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，得到变换矩阵，包括以下方式之一：
将所述SLAM地图数据中的局部组织器官三维点云模型与所述三维模型数据中的全局组织器官三维点云模型进行点云融合，得到变换矩阵；
将所述SLAM地图数据中的内窥镜导管的位姿数据与所述三维模型数据中提取的中心线数据进行融合，得到变换矩阵；
在所述SLAM地图数据中的局部组织器官三维点云模型与所述三维模型数据中的全局组织器官三维点云模型上选取至少四个点进行配准，得到变换矩阵；
将关键帧所在的内窥镜导管在所述SLAM地图数据的坐标系下的位置与所述关键帧对应的虚拟内窥镜在所述三维模型数据对应的坐标系下的位置进行点对融合，得到变换矩阵。
10.一种内窥镜导航定位装置，其特征在于，包括：
获取模块，用于获取目标组织器官的内窥镜图像；所述内窥镜图像包括内窥镜中设置的单目摄像头在内窥镜执行预设动作之前采集到的第一图像以及执行预设动作之后采集到的第二图像；
重建模块，用于基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据；
生成模块，用于获取所述目标组织器官的三维模型数据；还用于将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据。
11.一种内窥镜导航定位系统，其特征在于，包括：
内窥镜，所述内窥镜的导管末端设置有照明光源和单目摄像头；所述单目摄像头用于采集目标组织器官的内窥镜图像；
图像处理器，用于从所述内窥镜获取所述内窥镜图像；所述内窥镜图像包括所述单目摄像头在内窥镜执行预设动作之前采集到的第一图像以及执行预设动作之后采集到的第二图像；还用于基于视觉SLAM利用所述第一图像和所述第二图像确定内窥镜导管的位姿数据和所述目标组织器官对应的SLAM地图数据；还用于获取所述目标组织器官的三维模型数据；将所述SLAM地图数据的坐标系与所述三维模型数据的坐标系进行配准，以基于所述内窥镜导管的位姿数据生成虚拟内窥镜导航数据；
图像显示器，用于从所述图像处理器获取所述虚拟内窥镜导航数据，并基于所述虚拟内窥镜导航数据进行图像显示。
12.一种医疗设备，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求1至9中任一项所述方法的步骤。
CN202211275153.8A 2022-10-18 2022-10-18 内窥镜导航定位方法及装置 Pending CN115530724A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211275153.8A CN115530724A (zh) 2022-10-18 2022-10-18 内窥镜导航定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211275153.8A CN115530724A (zh) 2022-10-18 2022-10-18 内窥镜导航定位方法及装置

Publications (1)

Publication Number Publication Date
CN115530724A true CN115530724A (zh) 2022-12-30

Family

ID=84734641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211275153.8A Pending CN115530724A (zh) 2022-10-18 2022-10-18 内窥镜导航定位方法及装置

Country Status (1)

Country Link
CN (1) CN115530724A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115944388A (zh) * 2023-03-03 2023-04-11 西安市中心医院 手术内窥镜位置引导方法、装置、计算机设备及存储介质
CN116402861A (zh) * 2023-06-09 2023-07-07 杭州堃博生物科技有限公司 内窥镜实时追踪方法、装置、计算设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115944388A (zh) * 2023-03-03 2023-04-11 西安市中心医院 手术内窥镜位置引导方法、装置、计算机设备及存储介质
CN115944388B (zh) * 2023-03-03 2023-10-10 西安市中心医院 手术内窥镜位置引导方法、装置、计算机设备及存储介质
CN116402861A (zh) * 2023-06-09 2023-07-07 杭州堃博生物科技有限公司 内窥镜实时追踪方法、装置、计算设备及存储介质
CN116402861B (zh) * 2023-06-09 2023-09-22 杭州堃博生物科技有限公司 内窥镜实时追踪方法、装置、计算设备及存储介质

Similar Documents

Publication Publication Date Title
US11631174B2 (en) Adaptive navigation technique for navigating a catheter through a body channel or cavity
US11931141B2 (en) Hybrid registration method
US11903693B2 (en) Determining position of medical device in branched anatomical structure
JP5797352B1 (ja) ３次元物体を追跡するための方法
JP5153620B2 (ja) 連続的にガイドされる内視鏡と関係する画像を重ね合わせるためのシステム
CN115530724A (zh) 内窥镜导航定位方法及装置
CN103313675A (zh) 用于内窥镜手术的术中照相机校准
EP2348954A1 (en) Image-based localization method and system
CN110301883B (zh) 用于导航管状网络的基于图像的向导
Merritt et al. Real-time CT-video registration for continuous endoscopic guidance
US20230030343A1 (en) Methods and systems for using multi view pose estimation
EP4285854A1 (en) Navigation in hollow anatomical structures
EP4285832A1 (en) Guiding an interventional imaging device
WO2023232678A1 (en) Navigation in hollow anatomical structures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination