CN116999166A - 术中地图拓展方法、存储介质及电磁导航支气管镜系统 - Google Patents
术中地图拓展方法、存储介质及电磁导航支气管镜系统 Download PDFInfo
- Publication number
- CN116999166A CN116999166A CN202311285617.8A CN202311285617A CN116999166A CN 116999166 A CN116999166 A CN 116999166A CN 202311285617 A CN202311285617 A CN 202311285617A CN 116999166 A CN116999166 A CN 116999166A
- Authority
- CN
- China
- Prior art keywords
- point
- airway
- registration
- map information
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000009466 transformation Effects 0.000 claims abstract description 59
- 239000011159 matrix material Substances 0.000 claims abstract description 55
- 238000010276 construction Methods 0.000 claims abstract description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 16
- 238000001356 surgical procedure Methods 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 210000000621 bronchi Anatomy 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 238000013276 bronchoscopy Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010006487 Bronchostenosis Diseases 0.000 description 1
- 206010062717 Increased upper airway secretion Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 208000026435 phlegm Diseases 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2074—Interface software
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Abstract
本发明公开了一种术中地图拓展方法、存储介质及电磁导航支气管镜系统，通过将电磁导航支气管镜在工作过程中的状态分为两种，即常规状态和建图状态，通过出界判定条件和入界判定条件来确定状态是否转移；且在常规状态中进行实时配准，更新配准坐标变换矩阵，在建图状态中更新无向图和气道点列表，将更新的气道点列表与地图信息进行融合，得到新的地图信息；本发明可根据配准点，在术中记录新气道信息，并据此更新地图信息。在手术中拓展的地图信息可以指示已经探索过的区域；在需要到达某目标位置的情况下，它还可以指示距离目标位置更近的路径。
Description
技术领域
本发明属于手术导航技术领域，涉及一种支气管镜导航方法，尤其涉及一种术中地图拓展方法、存储介质及电磁导航支气管镜系统。
背景技术
支气管镜是呼吸系统疾病的重要诊疗器械之一，用于对支气管腔进行观察以及进行肺部组织活检等。支气管镜手术由支气管镜镜体和器械耗材配合完成。器械耗材包括可视探头、活检钳等（后文简称“器械”）， 可由母镜的器械通道伸出。支气管镜导航技术可以在支气管镜手术过程中指明器械末端在患者支气管中的位置，并引导到待观察目标以及活检目标处。
目前的支气管镜导航技术，按照利用的信息模态，可分为电磁导航支气管镜、图像导航支气管镜，以及混合模态导航支气管镜等。电磁导航支气管镜是相对可靠并被广泛使用的技术。
电磁导航支气管镜在器械中装有磁定位传感器，其实现过程包括：
1）对器械进行手眼标定，得到器械末端坐标系和磁定位传感器坐标系之间
的坐标变换矩阵（以下简称“手眼标定坐标变换矩阵”）。两个坐标系的示意图如图1所
示。
和分别是手眼标定中对支气管镜末端位姿和
磁定位传感器位姿的采样信息，n为收集的位姿数量。对的求解如公式（1）所示。
（1）
的计算方式为首先用奇异值分解的方法进行初始估计，然后用迭代最近点的
方法进行优化求解。
若已知器械末端的位姿，即可由公式（2）计算出磁定位传感器的位姿
（2）
2）对术前CT数据进行处理，得到支气管树的三维形态描述信息（以下简称“地图信息”），其形式为支气管树的表面信息，或支气管树的表面信息和支气管树中各气道中心线信息。根据地图信息，可以在计算机图形界面上显示支气管树的三维形态图（以下简称“地图”）。由于CT的分辨率限制，以及受到支气管局部狭窄或被痰及粘液堵塞等情况影响，CT得到的地图信息可能无法做到肺外周气道的重建。
3）手术开始时，进行初始配准。用支气管镜携带器械在支气管中移动，将器械末端
依次放置在多个位置，按照磁定位传感器记录的多个坐标，以及与器
械末端放置位置最接近的地图特征的坐标，和手眼标定坐标变换矩
阵，计算出初始配准坐标变换矩阵。其坐标变换关系如公式（3）所示。
（3）
m为初始配准收集的坐标数量。的计算方式与的计算方式相同。
初始配准坐标变换矩阵描述磁定位传感器位姿和地图坐标系中的磁定位
传感器位姿之间的变换，如公式（4）所示，为器械末端位姿。
（4）
4）在手术过程中，由公式（5-6）进行实时配准。
得到手眼标定坐标变换矩阵和初始配准坐标变换矩阵后，即可根据公式
（5），由手术过程中磁定位传感器输出的实时坐标（以下简称“磁导航轨
迹点”），和支气管树中各气道中心线上的点进行配准，得到配准坐标变换
矩阵。k为参与配准的点数量。使用icp算法求解公式（5），以作为的初始估计。
得到后，由公式（6）计算得到当前磁导航轨迹点对应的配准后的地图坐标系坐
标（以下简称“配准点”），并在计算机的图形界面显示。此配准点在地图中的坐标，即
代表器械末端在患者支气管腔中的位置。
（5）
（6）
电磁导航支气管镜使用的配准技术有多种，例如构建代价函数来计算最佳的配准坐标变换矩阵，或者综合磁定位传感器输出的坐标和角度信息，与支气管树中各气道中心线信息进行ICP配准等。另有一些抗呼吸运动干扰的技术，可以在患者呼吸引起支气管形态变化的情况下进行相对有效的配准。
在电磁导航支气管镜手术中，器械由母镜的器械通道伸出，可以携带磁定位传感器进入更细的支气管。如果器械能够进入对CT数据进行三维重建时无法分辨的气道，就能够在手术中记录新的地图信息（以下简称“新气道信息”）。
新气道信息可以指示已经探索过的区域；在需要到达某目标位置的情况下，它还可以指示距离目标位置更近的路径。本发明提出一种能够在术中拓展地图信息的电磁导航支气管镜系统。其实现方式是根据配准点，在术中记录新气道信息，并据此更新地图信息。
发明内容
本发明实施例提供了一种术中地图拓展方法、存储介质及电磁导航支气管镜系统，可以根据经配准坐标变换矩阵变换后的磁导航轨迹，在术中记录新气道信息，更新地图信息。
第一方面，本发明实施例提供了一种术中地图拓展方法，该方法包括：
针对电磁导航支气管镜，在手术开始时进行初始配准得到配准坐标变换矩阵；
在常规状态下，进行实时配准并实时更新配准坐标变换矩阵；由实时的配准坐标变换矩阵及磁导航轨迹点确定当前配准点在地图中的坐标；
当满足出界判定条件，记录满足出界判定条件之前最后时刻的配准坐标变换矩阵，并新建一个无向图和一个气道点列表，转移到建图状态；
在建图状态下，不再更新配准坐标变换矩阵，基于地图信息中的起始点和所记录的配准点对所述无向图和气道点列表进行更新；每次更新气道点列表后将其与地图信息进行融合，得到新的地图信息；所述气道点列表的更新由所述无向图中最长的最短路径决定；
当满足入界判定条件，停止对当前无向图和气道点列表的更新，将气道点列表和地图信息最后一次融合的结果作为新的地图信息，转移到常规状态，恢复对配准坐标变换矩阵的更新。
第二方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的术中地图拓展方法。
第三方面，本发明实施例提供了一种电磁导航支气管镜系统，所述系统包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如任一实施例所述的术中地图拓展方法。
本发明实施例所提供的技术方案，通过将电磁导航支气管镜在工作过程中的状态分为两种，即常规状态和建图状态，通过出界判定条件和入界判定条件来确定状态是否转移；且在常规状态中进行实时配准，更新配准坐标变换矩阵，在建图状态中更新无向图和气道点列表，将更新的气道点列表与地图信息进行融合，得到新的地图信息；由配准坐标变换矩阵和磁导航轨迹点可实时确定配准点在地图中的坐标，从而可对新的地图及配准点进行显示。本发明实施例的技术方案能够根据经配准坐标变换矩阵变换后的磁导航轨迹在术中记录新气道信息，并据此更新地图信息。而且在手术中拓展的地图信息可以指示已经探索过的区域。此外，本发明实施例的技术方案由于采用无向图中最长的最短距离来更新气道点列表，可以在需要到达某目标位置的情况下，还可以指示距离目标位置更近的路径。
附图说明
图1为器械末端坐标系和磁定位传感器坐标系的示意图；
图2为本发明实施例提供的一种术中地图拓展方法流程图；
图3为本发明实施例气道分支1重建形态，对应气道树（左）和中心线（右）显示结果；
图4为本发明实施例气道分支2重建形态，对应气道树（左）和中心线（右）显示结果；
图5为本发明实施例气道分支3重建形态，对应气道树（左）和中心线（右）显示结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图2是本发明实施例提供的一种术中地图拓展方法流程图，该方法可以由软件和/或硬件的方式来实现。
如图2所示，术中地图拓展方法包括：
针对电磁导航支气管镜，在手术开始时进行初始配准得到配准坐标变换矩阵；
在常规状态下，进行实时配准并实时更新配准坐标变换矩阵；由实时的配准坐标变换矩阵及磁导航轨迹点确定当前配准点在地图中的坐标；可以计算机图形界面上将地图和配准点进行实时显示。
当满足出界判定条件，则认为支气管镜末端进入了地图信息缺失的气道。出界判定条件依所采用的实时配准算法和地图信息的类别而定，包括且不限于实时配准误差大于阈值、当前配准点与支气管树表面的最小距离大于阈值、当前配准点与支气管树中各气道中心线的最小距离大于阈值，或此三者的组合等。此时，记录满足出界判定条件之前最后时刻的配准坐标变换矩阵，并新建一个无向图和一个气道点列表（用来表示气道的三维点列表），转移到建图状态；
在建图状态下，不再更新配准坐标变换矩阵，基于地图信息中的起始点和配准点对所述无向图和气道点列表进行更新；每次更新气道点列表后将其与地图信息进行融合，得到新的地图信息；由当前记录的配准坐标变换矩阵和磁导航轨迹点计算配准点在地图中的坐标，可以在计算机图形界面上显示新的地图和配准点。
当满足入界判定条件，则认为支气管镜末端回到了已有地图信息的气道中。入界判定条件依所采用的实时配准算法和地图信息的类别而定，包括且不限于实时配准误差小于阈值、当前配准点与支气管树表面的最小距离小于阈值、当前配准点与支气管树中各气道中心线的最小距离小于阈值，或此三者的组合等。此时，停止对当前无向图和气道点列表的更新，将气道点列表和地图信息最后一次融合的结果作为新的地图信息，供接下来的系统工作过程使用。转移到常规状态，恢复对配准坐标变换矩阵的更新。
其中，所述出界判定条件、入界判定条件具体可以为实时配准误差与阈值关系、当前配准点与支气管树表面的最小距离与阈值关系、当前配准点与支气管树中各气道中心线的最小距离与阈值关系中的一种或任意多种的组合。
其中，所述起始点的选取方式取决于地图信息的形式：如果地图信息是支气管树的表面信息，则起始点是满足出界判定条件时刻的配准点与支气管树表面的最近点；如果地图信息是支气管树中各气道中心线信息，则起始点是满足出界判定条件时刻的配准点与支气管树中各气道中心线的最近点。
其中，所述建图状态下记录的配准点包括在系统转移到常规状态之前，满足出界判定条件的时刻到当前时刻之间记录的所有配准点，每个配准点带有一个时间戳，表示被记录的时间。
在本发明实施例中，气道点列表由根据起始点和建图状态下记录的配准点建立获得的无向图中的最长的最短路径决定。气道点列表的更新，即是此最长的最短路径随无向图中新的点和边的加入而进行的更新。其过程包括无向图的更新，最短路径的计算，和最长的最短路径的更新。
无向图的更新方式包括向无向图中加入点和向无向图中加入边。向无向图中加入点的标准由保留点阈值dm决定，向无向图中加入边的标准由连接点阈值dl决定。无向图的更新方式为：
1) 向无向图中加入点；以起始点A作为无向图的第一个点，如果有新记录的配准点P，则计算它与无向图中所有点之间的空间距离，如果得到的空间距离全部大于保留点阈值dm，则将点P加入无向图中；
2）向无向图中加入边；如果点P是无向图中的第二个点，则在点P与点A之间建立一个边，边的权值即为点P与点A之间的空间距离，如果点P不是无向图中第二个点，则首先在点P与时间戳值与点P时间戳值最接近的点Pt之间建立边，边的权值即为点P与点Pt之间的空间距离，然后在点P与无向图中所有与点P空间距离小于连接点阈值dl的点Pi之间建立边，边的权值即为点P与点Pi之间的空间距离。
每次当新的点P加入无向图中，用最短路径算法计算起始点A与点P之间的最短路径；最短路径算法包括且不限于dijkstra算法、Bellman-Ford算法，Floyd算法和SPFA算法等。
第一次计算最短路径时，记录最短路径的长度lr，保留最短路径中包含的从点A开始的所有点序列，作为气道点列表；
每次得到新的最短路径时，将其长度与当前保留的最短路径长度lr相比较，如果新的最短路径的长度大于lr，则将lr更新为新的最短路径长度，并将气道点列表更新为新的最短路径中包含的从点A开始的所有点序列。
在本发明实施例中，每次更新气道点列表时，将气道点列表与地图信息进行融合得到新的地图信息，当地图信息是支气管树的表面信息，融合的方式如下：
利用气道点列表，进行平滑和插值，得到一个新的点列表；
依次连接上述新的点列表，得到一个线结构，将此线结构作为轴线，设置半径r，生成一个两端封闭的管道结构；
将此管道结构与支气管树的表面信息做布尔并运算，得到的结果即是气道点列表与地图信息融合的结果，即新的地图信息。
当地图信息是支气管树中各气道中心线信息，融合的方式如下：
利用气道点列表，进行平滑和插值，得到一个新的点列表；
依次连接上述新的点列表，得到一个线结构；
将此线结构加入到支气管树中各气道中心线信息中，得到的结果即是气道点列表与地图信息融合的结果，即新的地图信息。
实施例1
对器械进行手眼标定，得到手眼标定坐标变换矩阵。其中的坐标变换关系如公
式（2）所示。
的计算方式为首先用奇异值分解的方法进行初始估计，然后用迭代最近点的
方法进行优化求解。
对术前CT数据进行处理，得到地图信息，其形式为支气管树的表面信息。
手术开始时，进行初始配准，得到配准坐标变换矩阵。已知手眼标定坐标变换
矩阵和配准坐标变换矩阵，即可根据公式（4），由磁定位传感器输出的实时坐标，
计算得到配准点在地图中的坐标，并在计算机的图形界面显示。此配准点在地图中的位
置，即代表器械末端在患者支气管腔中的位置。
初始配准后，用一个状态机来管理所述电磁导航支气管镜系统的工作过程，如图2所示。系统在工作过程中的状态分为常规状态和建图状态。
系统在常规状态下，进行实时配准，并更新配准坐标变换矩阵。系统在计算机图形界面显示地图。地图信息是支气管树的表面信息。系统同时在计算机图形界面上显示使用配准坐标变换矩阵计算得到的配准点在地图中的坐标。
系统在常规状态下，如果满足出界判定条件，则认为器械末端进入了地图信息缺失的气道。在本例中，出界判定条件为当前配准点与支气管树表面的最小距离大于阈值，本实施例使用的阈值为5mm，此阈值也可以为其他距离值。
当满足出界判定条件，系统中记录满足出界判定条件之前最后时刻的配准坐标变换矩阵，并新建一个无向图和一个气道点列表，然后转移到建图状态；在建图状态下，配准坐标变换矩阵不再更新，系统对无向图和气道点列表进行更新。
系统在建图状态下，每次更新气道点列表，即将其与地图信息进行融合，得到新的地图信息。系统由当前记录的坐标变换矩阵和磁导航轨迹点计算配准点在地图中的坐标。系统在计算机图形界面上显示新的地图和配准点。
系统在建图状态下，如果满足入界判定条件，则认为器械末端回到了已有地图信息的气道中。对应的入界判定条件为当前配准点与支气管树表面的最小距离小于阈值，本实施例使用的阈值为5mm，此阈值也可以为其他距离值。
当满足入界判定条件，系统停止对当前无向图和气道点列表的更新，将气道点列表和地图信息最后一次融合的结果作为新的地图信息，供接下来的系统工作过程使用。系统转移到常规状态，并恢复对配准坐标变换矩阵的更新。
在上述方案中，气道点列表，由起始点和建图状态下记录的配准点计算得到，并且随着新的配准点的加入而更新。
将满足出界判定条件时刻的配准点与支气管树表面的最近点选取为起始点。建图状态下记录的配准点包括满足出界判定条件的时刻到当前时刻之间记录的所有配准点，每个配准点带有一个时间戳，表示它被记录的时间。
气道点列表的计算和更新方式如下：
气道点列表由根据起始点和建图状态下记录的配准点建立的无向图中最长的最短路径决定，所述气道点列表的更新，即是此最长的最短路径随无向图中新的点和边加入而进行的更新，其过程包括图的更新，最短路径的计算，和最长的最短路径的更新。
所述无向图的更新方式包括向无向图中加入点和向无向图中加入边。向无向图中加入点的标准由阈值dm决定，向无向图中加入边的标准由阈值dl决定。本实施例中使用的dm为0.5mm，使用的dl为1mm，阈值dm和dl也可以为其他距离值。计算最短路径所基于的无向图由以下方式得到：
1) 向无向图中加入点。以起始点A作为无向图的第一个点，如果有新记录的配准点P，则计算它与无向图中所有点之间的空间距离，如果得到的空间距离全部大于保留点阈值dm，则将点P加入无向图中。
2）向无向图中加入边。如果点P是无向图中的第二个点，则在点P与点A之间建立一个边，边的权值即为点P与点A之间的空间距离。如果点P不是无向图中第二个点，则首先在点P与时间戳值与点P时间戳值最接近的点Pt之间建立边，边的权值即为点P与点Pt之间的空间距离，然后在点P与无向图中所有与点P空间距离小于连接点阈值dl的点Pi之间建立边，边的权值即为点P与点Pi之间的空间距离。
每次当新的点P加入无向图中，用最短路径算法计算起始点A与点P之间的最短路径。本例中采用最短路径算法为dijkstra算法。
第一次计算最短路径时，记录最短路径的长度lr，保留最短路径中包含的从点A开始的所有点序列，作为气道点列表。
每次得到新的最短路径时，将其长度与当前保留的最短路径长度lr相比较，如果新的最短路径的长度大于lr，则将lr更新为新的的最短路径长度，并将气道点列表更新为新的最短路径中包含的从点A开始的所有点序列。
每次更新气道点列表时，将气道点列表与支气管树的表面信息进行融合并在计算机图形界面显示，融合的方式如下：
1. 利用气道点列表，进行平滑和插值，得到一个新的点列表。
2. 依次连接上述新的点列表，得到一个线结构。将此线结构作为轴线，设置半径r，生成一个两端封闭的管道结构。
3. 将此管道结构与支气管树的表面信息做布尔并运算，得到的结果即是气道点列表与地图信息融合的结果。
实施例2
对器械进行手眼标定，得到手眼标定坐标变换矩阵。其中的坐标变换关系如公
式（2）所示。
的计算方式为首先用奇异值分解的方法进行初始估计，然后用迭代最近点的
方法进行优化求解。
对术前CT数据进行处理，得到地图信息，其形式为支气管树的表面信息和支气管树中各气道中心线信息。
手术开始时，进行初始配准，得到配准坐标变换矩阵。已知手眼标定坐标变换
矩阵和配准坐标变换矩阵，即可根据公式（4），由磁定位传感器输出的实时坐标，
计算得到配准点在地图中的坐标，并在计算机的图形界面显示。此配准点在地图中的位
置，即代表器械末端在患者支气管腔中的位置。
初始配准后，用一个状态机来管理所述电磁导航支气管镜系统的工作过程，如图2所示。系统在工作过程中的状态分为常规状态和建图状态。
系统在常规状态下，进行实时配准，并更新配准坐标变换矩阵。系统在计算机图形界面显示地图中支气管树的表面信息。系统同时在计算机图形界面上显示使用配准坐标变换矩阵计算得到的配准点在地图中的坐标。
系统在常规状态下，如果满足出界判定条件，则认为器械末端进入了地图信息缺失的气道。在本例中，出界判定条件为当前配准点与支气管树中各气道中心线的最小距离大于阈值，本实施例使用的阈值为10mm，此阈值也可以为其他距离值。
当满足出界判定条件，系统中记录满足出界判定条件之前最后时刻的配准坐标变换矩阵，并新建一个无向图和一个气道点列表，然后转移到建图状态；在建图状态下，配准坐标变换矩阵不再更新，系统对无向图和气道点列表进行更新。
系统在建图状态下，每次更新气道点列表，即将其与地图信息进行融合，得到新的地图信息。系统由当前记录的坐标变换矩阵和磁导航轨迹点计算配准点在地图中的坐标。系统在计算机图形界面上显示新的地图和配准点。
系统在建图状态下，如果满足入界判定条件，则认为器械末端回到了已有地图信息的气道中。对应的入界判定条件为当前配准点与支气管树中各气道中心线的最小距离小于阈值，本实施例使用的阈值为10mm，此阈值也可以为其他距离值。
当满足入界判定条件，系统停止对当前无向图和气道点列表的更新，将气道点列表和地图信息最后一次融合的结果作为新的地图信息，供接下来的系统工作过程使用。系统转移到常规状态，并恢复对配准坐标变换矩阵的更新。
在上述方案中，气道点列表，由起始点和建图状态下记录的配准点计算得到，并且随着新的配准点的加入而更新。
将满足出界判定条件时刻的配准点与支气管树中各气道中心线的最近点选取为起始点。建图状态下记录的配准点包括满足出界判定条件的时刻到当前时刻之间记录的所有配准点，每个配准点带有一个时间戳，表示它被记录的时间。
气道点列表的计算和更新方式如下：
气道点列表由根据起始点和建图状态下记录的配准点建立的无向图中最长的最短路径决定，所述气道点列表的更新，即是此最长的最短路径随无向图中新的点和边加入而进行的更新，其过程包括图的更新，最短路径的计算，和最长的最短路径的更新。
所述无向图的更新方式包括向无向图中加入点和向无向图中加入边。向无向图中加入点的标准由阈值dm决定，向无向图中加入边的标准由阈值dl决定。本实施例中使用的dm为0.5mm，使用的dl为1mm，，阈值dm和dl也可以为其他距离值。计算最短路径所基于的无向图由以下方式得到：
1) 向无向图中加入点。以起始点A作为无向图的第一个点，如果有新记录的配准点P，则计算它与无向图中所有点之间的空间距离，如果得到的空间距离全部大于保留点阈值dm，则将点P加入无向图中。
2）向无向图中加入边。如果点P是无向图中的第二个点，则在点P与点A之间建立一个边，边的权值即为点P与点A之间的空间距离。如果点P不是无向图中第二个点，则首先在点P与时间戳值与点P时间戳值最接近的点Pt之间建立边，边的权值即为点P与点Pt之间的空间距离，然后在点P与无向图中所有与点P空间距离小于连接点阈值dl的点Pi之间建立边，边的权值即为点P与点Pi之间的空间距离。
每次当新的点P加入无向图中，用最短路径算法计算起始点A与点P之间的最短路径。本例中采用的最短路径算法为Floyd算法。
第一次计算最短路径时，记录最短路径的长度lr，保留最短路径中包含的从点A开始的所有点序列，作为气道点列表。
每次得到新的最短路径时，将其长度与当前保留的最短路径长度lr相比较，如果新的最短路径的长度大于lr，则将lr更新为新的的最短路径长度，并将气道点列表更新为新的最短路径中包含的从点A开始的所有点序列。
每次更新气道点列表时，将气道点列表与支气管树的表面信息、支气管树中各气道中心线信息进行融合并在计算机图形界面显示，融合的方式如下：
1. 气道点列表与支气管树的表面信息的融合
1）利用气道点列表，进行平滑和插值，得到一个新的点列表。
2）依次连接上述新的点列表，得到一个线结构。将此线结构作为轴线，设置半径r，生成一个两端封闭的管道结构。
3）将此管道结构与支气管树的表面信息做布尔并运算，得到的结果即是气道点列表与地图信息融合的结果。
2. 气道点列表与支气管树中各气道中心线信息的融合
1) 利用气道点列表，进行平滑和插值，得到一个新的点列表。
2) 依次连接上述新的点列表，得到一个线结构。
3) 将此线结构加入到支气管树中各气道中心线信息中，得到的结果即是气道点列表与支气管树中各气道中心线信息的融合结果。
为了验证本发明方法的有效性，设计了实验对本发明的术中地图拓展方法重建气道的误差进行评价。其实验过程是：首先从算法用气道树中心线数据中删除需要重建的中心线分支，并把删除的中心线分支数据作为标准值，然后在导航过程中重建出气道，将气道点列表和对应的中心线分支标准值相比较，为气道点列表中每一点找到中心线分支标准值中的最近点，并计算平均距离，作为气道重建的误差值。
依次在3条中心线分支上进行此实验过程，对每个中心线分支进行3次重建。对3条气道的重建结果各取1组截图如图3-5所示。实验结果如表1所示，对3条气道进行重建的平均误差分别是3.1421mm、2.579mm、5.0861mm。可以看出，重建的气道位置和形态与原气道相近，气道重建误差在可控范围内，说明本发明的术中地图拓展方法是可靠的。
表 气道重建误差评价
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一种术中地图拓展方法。
本申请实施例还提供一种电磁导航支气管镜系统，所述系统包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一种术中地图拓展方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
本发明并不限于上述实施例，在本领域技术人员所具有的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。比如：将其扩展应用至多机协同探索系统。
Claims (10)
1.一种术中地图拓展方法，其特征在于，所述方法包括：
针对电磁导航支气管镜，在手术开始时进行初始配准得到配准坐标变换矩阵；
在常规状态下，进行实时配准并实时更新配准坐标变换矩阵；由实时的配准坐标变换矩阵、实时的磁导航轨迹点及手眼标定坐标变换矩阵确定当前配准点在地图中的坐标；
当满足出界判定条件，记录满足出界判定条件之前最后时刻的配准坐标变换矩阵，并新建一个无向图和一个气道点列表，转移到建图状态；
在建图状态下，不再更新配准坐标变换矩阵，基于地图信息中的起始点和所记录的配准点对所述无向图和气道点列表进行更新；所述配准点由当前磁导航轨迹点经所记录的配准坐标变换矩阵变换得到；每次更新气道点列表后将其与地图信息进行融合，得到新的地图信息；所述气道点列表的更新由所述无向图中最长的最短路径决定；
当满足入界判定条件，停止对当前无向图和气道点列表的更新，将气道点列表和地图信息最后一次融合的结果作为新的地图信息，转移到常规状态，恢复对配准坐标变换矩阵的更新。
2.根据权利要求1所述的术中地图拓展方法，其特征在于，所述出界判定条件、入界判定条件根据实时配准算法和地图信息的类别而定，具体为实时配准误差与阈值关系、当前配准点与支气管树表面的最小距离与阈值关系、当前配准点与支气管树中各气道中心线的最小距离与阈值关系中的一种或任意多种的组合。
3.根据权利要求1所述的术中地图拓展方法，其特征在于，所述起始点的选取方式取决于地图信息的形式：如果地图信息是支气管树的表面信息，则起始点是满足出界判定条件时刻的配准点与支气管树表面的最近点；如果地图信息是支气管树中各气道中心线信息，则起始点是满足出界判定条件时刻的配准点与支气管树中各气道中心线的最近点。
4.根据权利要求1所述的术中地图拓展方法，其特征在于，所述建图状态下记录的配准点包括在系统转移到常规状态之前，满足出界判定条件的时刻到当前时刻之间记录的所有配准点，每个配准点带有一个时间戳，表示被记录的时间。
5.根据权利要求1所述的术中地图拓展方法，其特征在于，无向图的更新方式为：
1) 向无向图中加入点；以起始点A作为无向图的第一个点，如果有新记录的配准点P，则计算它与无向图中所有点之间的空间距离，如果得到的空间距离全部大于保留点阈值dm，则将点P加入无向图中；
2）向无向图中加入边；如果点P是无向图中的第二个点，则在点P与点A之间建立一个边，边的权值即为点P与点A之间的空间距离，如果点P不是无向图中第二个点，则首先在点P与时间戳值与点P时间戳值最接近的点Pt之间建立边，边的权值即为点P与点Pt之间的空间距离，然后在点P与无向图中所有与点P空间距离小于连接点阈值dl的点Pi之间建立边，边的权值即为点P与点Pi之间的空间距离。
6.根据权利要求5所述的术中地图拓展方法，其特征在于，每次当新的点P加入无向图中，用最短路径算法计算起始点A与点P之间的最短路径；
第一次计算最短路径时，记录最短路径的长度lr，保留最短路径中包含的从点A开始的所有点序列，作为气道点列表；
每次得到新的最短路径时，将其长度与当前保留的最短路径长度lr相比较，如果新的最短路径的长度大于lr，则将lr更新为新的最短路径长度，并将气道点列表更新为新的最短路径中包含的从点A开始的所有点序列。
7.根据权利要求1所述的术中地图拓展方法，其特征在于，每次更新气道点列表时，将气道点列表与地图信息进行融合得到新的地图信息，当地图信息是支气管树的表面信息，融合的方式如下：
利用气道点列表，进行平滑和插值，得到一个新的点列表；
依次连接上述新的点列表，得到一个线结构，将此线结构作为轴线，设置半径r，生成一个两端封闭的管道结构；
将此管道结构与支气管树的表面信息做布尔并运算，得到的结果即是气道点列表与地图信息融合的结果，即新的地图信息。
8.根据权利要求1所述的术中地图拓展方法，其特征在于，每次更新气道点列表时，将气道点列表与地图信息进行融合得到新的地图信息，如果地图信息是支气管树中各气道中心线信息，融合的方式如下：
利用气道点列表，进行平滑和插值，得到一个新的点列表；
依次连接上述新的点列表，得到一个线结构；
将此线结构加入到支气管树中各气道中心线信息中，得到的结果即是气道点列表与地图信息融合的结果，即新的地图信息。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8任一项所述的术中地图拓展方法。
10.一种电磁导航支气管镜系统，其特征在于，所述系统包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8任一项所述的术中地图拓展方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311285617.8A CN116999166B (zh) | 2023-10-07 | 2023-10-07 | 术中地图拓展方法、存储介质及电磁导航支气管镜系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311285617.8A CN116999166B (zh) | 2023-10-07 | 2023-10-07 | 术中地图拓展方法、存储介质及电磁导航支气管镜系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116999166A true CN116999166A (zh) | 2023-11-07 |
| CN116999166B CN116999166B (zh) | 2024-01-12 |
Family
ID=88573071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311285617.8A Active CN116999166B (zh) | 2023-10-07 | 2023-10-07 | 术中地图拓展方法、存储介质及电磁导航支气管镜系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116999166B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117257459A (zh) * | 2023-11-22 | 2023-12-22 | 杭州先奥科技有限公司 | 一种抗呼吸干扰的电磁导航支气管镜术中地图拓展方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108175502A (zh) * | 2017-11-29 | 2018-06-19 | 苏州朗开信通信息技术有限公司 | 一种支气管镜电磁导航系统 |
| CN108420529A (zh) * | 2018-03-26 | 2018-08-21 | 上海交通大学 | 基于电磁定位技术和术中图像引导的手术导航仿真方法 |
| CN110368089A (zh) * | 2019-08-07 | 2019-10-25 | 湖南省华芯医疗器械有限公司 | 一种支气管内窥镜三维导航方法 |
| US20200179060A1 (en) * | 2018-12-06 | 2020-06-11 | Covidien Lp | Deformable registration of computer-generated airway models to airway trees |
| WO2022123577A1 (en) * | 2020-12-10 | 2022-06-16 | Magnisity Ltd. | Dynamic deformation tracking for navigational bronchoscopy |
| CN116327362A (zh) * | 2023-04-12 | 2023-06-27 | 上海卓昕医疗科技有限公司 | 磁探头辅助支气管术中导航方法、装置、介质及电子设备 |
-
2023
- 2023-10-07 CN CN202311285617.8A patent/CN116999166B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108175502A (zh) * | 2017-11-29 | 2018-06-19 | 苏州朗开信通信息技术有限公司 | 一种支气管镜电磁导航系统 |
| CN108420529A (zh) * | 2018-03-26 | 2018-08-21 | 上海交通大学 | 基于电磁定位技术和术中图像引导的手术导航仿真方法 |
| US20200179060A1 (en) * | 2018-12-06 | 2020-06-11 | Covidien Lp | Deformable registration of computer-generated airway models to airway trees |
| CN110368089A (zh) * | 2019-08-07 | 2019-10-25 | 湖南省华芯医疗器械有限公司 | 一种支气管内窥镜三维导航方法 |
| WO2022123577A1 (en) * | 2020-12-10 | 2022-06-16 | Magnisity Ltd. | Dynamic deformation tracking for navigational bronchoscopy |
| CN116327362A (zh) * | 2023-04-12 | 2023-06-27 | 上海卓昕医疗科技有限公司 | 磁探头辅助支气管术中导航方法、装置、介质及电子设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117257459A (zh) * | 2023-11-22 | 2023-12-22 | 杭州先奥科技有限公司 | 一种抗呼吸干扰的电磁导航支气管镜术中地图拓展方法及系统 |
| CN117257459B (zh) * | 2023-11-22 | 2024-03-12 | 杭州先奥科技有限公司 | 一种抗呼吸干扰的电磁导航支气管镜术中地图拓展方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116999166B (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11631174B2 (en) | Adaptive navigation technique for navigating a catheter through a body channel or cavity | |
| US11547485B2 (en) | Dynamic 3D lung map view for tool navigation inside the lung | |
| CN108133478B (zh) | 一种提取冠状动脉血管中心线的方法 | |
| EP3417759B1 (en) | Improvement of registration with trajectory information with shape sensing | |
| US11783498B2 (en) | Feature-based registration method | |
| JP4388958B2 (ja) | 内視鏡的パスプランニングのための方法及びシステム | |
| KR102196291B1 (ko) | 분지형 해부학적 구조물 내에서의 의료 장치의 위치 결정 | |
| CN116999166B (zh) | 术中地图拓展方法、存储介质及电磁导航支气管镜系统 | |
| JP2013517909A (ja) | 気管支鏡検査法ガイダンスに適用される画像ベースのグローバル登録 | |
| JP2012165838A (ja) | 内視鏡挿入支援装置 | |
| Wang et al. | A visual SLAM-based bronchoscope tracking scheme for bronchoscopic navigation | |
| CN111260704A (zh) | 基于启发式树搜索的血管结构3d/2d刚性配准方法及装置 | |
| WO2022098912A1 (en) | System and method for annotation of anatomical tree structures in 3d images | |
| CN117257459B (zh) | 一种抗呼吸干扰的电磁导航支气管镜术中地图拓展方法及系统 | |
| CN116327362A (zh) | 磁探头辅助支气管术中导航方法、装置、介质及电子设备 | |
| Gil et al. | Intraoperative extraction of airways anatomy in videobronchoscopy | |
| US12008760B2 (en) | Systems and methods for estimating the movement of a target using a universal deformation model for anatomic tissue | |
| CN115778554B (zh) | 导管机器人及其配准方法、可读存储介质 | |
| US20220028081A1 (en) | Systems and methods for estimating the movement of a target using a universal deformation model for anatomic tissue | |
| EP3454293B1 (en) | Method and apparatus for enhancement of bronchial airways representations using vascular morphology | |
| CN116649875A (zh) | 基于表面重建技术的虚拟气管内窥镜导航系统及方法 | |
| CN117745772A (zh) | 肺部气管的配准方法、系统、计算设备及计算机存储介质 | |
| CN116636928A (zh) | 针对肺部气管的配准进度检测方法、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |