CN114041741B - 数据处理部、处理装置、手术系统、设备与介质 - Google Patents

数据处理部、处理装置、手术系统、设备与介质 Download PDF

Info

Publication number
CN114041741B
CN114041741B CN202210034254.XA CN202210034254A CN114041741B CN 114041741 B CN114041741 B CN 114041741B CN 202210034254 A CN202210034254 A CN 202210034254A CN 114041741 B CN114041741 B CN 114041741B
Authority
CN
China
Prior art keywords
bronchoscope
coordinate system
virtual
tracking
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210034254.XA
Other languages
English (en)
Other versions
CN114041741A (zh
Inventor
霍德荣
余坤璋
徐宏
孙晶晶
王俊
杨志明
王仁成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Kunbo Biotechnology Co Ltd
Original Assignee
Hangzhou Kunbo Biotechnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Kunbo Biotechnology Co Ltd filed Critical Hangzhou Kunbo Biotechnology Co Ltd
Priority to CN202210034254.XA priority Critical patent/CN114041741B/zh
Publication of CN114041741A publication Critical patent/CN114041741A/zh
Priority to PCT/CN2022/086430 priority patent/WO2023134040A1/zh
Application granted granted Critical
Publication of CN114041741B publication Critical patent/CN114041741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound

Abstract

本发明提供了一种数据处理部、处理装置、手术系统、设备与介质，其中的支气管镜检测的处理方法，包括：基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。

Description

数据处理部、处理装置、手术系统、设备与介质
技术领域
本发明涉及医疗器械领域，尤其涉及一种数据处理部、处理装置、手术系统、设备与介质。
背景技术
支气管镜检查是目前呼吸系统疾病最重要的诊疗手段之一，随着技术的不断进步，可基于虚拟支气管树而实现针对支气管镜的定位。
在相关技术中，可基于支气管镜采集到的支气管的图像，以及预先设置的虚拟支气管树而确定支气管镜在虚拟坐标系中的位姿，然而，基于图像的处理过程中，所需处理的数据量较大，处理效率较低，难以保障所确定位姿的实时性。
发明内容
本发明提供一种数据处理部、处理装置、手术系统、设备与介质，以解决处理效率较低，难以保障所确定位姿的实时性的问题。
根据本发明的第一方面，提供了一种数据处理部，用于执行支气管镜检测的处理方法，所述支气管镜检测的处理方法，包括：
基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
可选的，所述追踪组件包括追踪传感器和追踪设备；所述追踪坐标系基于所述追踪设备建立；所述追踪传感器与所述支气管镜的相对位置固定；
基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息，包括：
获取追踪传感器在所述追踪坐标系下的第三位姿信息；
基于所述第三位姿信息、以及支气管镜相对于所述追踪传感器的第四位姿信息，确定所述支气管镜在追踪坐标系下的第二位姿信息；其中，所述第四位姿信息为根据所述追踪传感器与所述支气管镜的相对位置预先确定的。
可选的，在基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息之前，还包括：
获取支气管镜在运动过程中采集到的所述支气管的实时图像；
响应于所采集到的实时图像满足预设条件，控制支气管镜停止运动，并将该实时图像确定为目标图像。
可选的，所述基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息，包括：
将所述目标图像与虚拟支气管树对应的虚拟切片图进行匹配；
确定匹配于所述目标图像的目标虚拟切片图，根据所述目标虚拟切片图确定所述第一位姿信息。
可选的，根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息之后，还包括：
比对所述第二实时位姿信息与所述虚拟支气管树；
若确定所述第二实时位姿信息所表征的位置处于所述虚拟支气管树的虚拟气道外，则对所述目标转换关系进行调整，得到调整后的目标转换关系，以使得：根据所述调整后的目标转换关系转换所述第一实时位姿信息所得到的第三实时位姿信息处于所述虚拟气道内；所述第三实时位姿信息用于表征所述支气管镜在所述虚拟坐标系中的实时位姿。
可选的，所述第二实时位姿信息表征为所述支气管镜的指定位置点在所述虚拟坐标系的位姿；
对所述目标转换关系进行调整，得到调整后的目标转换关系，包括：
获取所述虚拟支气管树的中心线中与所述指定位置点对应的参考位置点在所述虚拟坐标系的参考位姿信息；
基于所述参考位姿信息对所述第二实时位姿信息进行至少一次修正，得到修正后的至少一组候选位姿信息；
针对每一组候选位姿信息，基于所述候选位姿信息与所述第一实时位姿信息，确定所述追踪坐标系与所述虚拟坐标系间的候选转换关系；不同候选位姿信息是不同的；
将至少一组候选转换关系中的一个候选转换关系作为所述调整后的目标转换关系。
可选的，获取所述虚拟支气管树的中心线中与所述指定位置点对应的参考位置点在所述虚拟坐标系的参考位姿信息，包括：
计算所述指定位置点与所述中心线中多个位置点的距离，并在所述多个位置点中，选择距离最小的位置点作为所述参考位置点；
以所述参考位置点处的切线方向作为所述参考位置点的矢量方向，以所述参考位置点的坐标作为所述参考位置点的坐标，确定所述参考位姿信息。
可选的，所述第二实时位姿信息包括所述指定位置点相对于所述虚拟坐标系的第二旋转矩阵与第二平移矩阵；
所述参考位姿信息包括所述参考位置点相对于所述虚拟坐标系的参考旋转矩阵与参考平移矩阵；
所述候选位姿信息包括候选旋转矩阵与候选平移矩阵；
所述候选旋转矩阵中的取值处于所述第二旋转矩阵中的对应的取值与所述参考旋转矩阵中对应的取值之间；
所述候选平移矩阵中的取值处于所述第二平移矩阵中对应的取值与所述参考旋转矩阵中对应的取值之间。
可选的，将至少一组候选转换关系中的一个候选转换关系作为所述调整后的目标转换关系，包括：
获取追踪组件检测所述支气管镜的位姿而得到的多个历史位姿信息；
针对每一组候选转换关系，基于该候选转换关系，将所述多个历史位姿信息转换至所述虚拟坐标系，得到所述虚拟坐标系下的对应于该候选转换关系的多个预测位置点，并统计所述多个预测位置点中位于所述虚拟气道内的预测位置点的数量；
基于每个候选转换关系下统计出的位于虚拟气道内的预测位置点的数量，从所述至少一组候选转换关系中确定出一个候选转换关系作为所述调整后的目标转换关系。
可选的，所述基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息，包括：
响应于用户下发的配准触发指示，基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；
其中，所述配准触发指示用于触发所述目标转换关系的确定。
可选的，所述追踪组件包括追踪传感器与追踪设备，所述追踪传感器设于所述支气管镜，所述追踪坐标系为：以所述追踪设备为基准的坐标系。
根据本发明的第二方面，提供了一种支气管镜检测的处理装置，包括：
第一位姿确定模块，用于基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
第二位姿获取模块，用于基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
目标关系确定模块，用于基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
实时位姿确定模块，用于根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
根据本发明的第三方面，提供了一种手术系统，包括：支气管镜、追踪组件与数据处理部；所述数据处理部为第一方面及其可选方案涉及的数据处理部。
根据本发明的第四方面，提供了一种电子设备，包括处理器与存储器，
所述存储器，用于存储代码；
所述处理器，用于执行所述存储器中的代码用以实现支气管镜检测的处理方法；
所述支气管镜检测的处理方法，包括：
基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
根据本发明的第五方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现支气管镜检测的处理方法；
所述支气管镜检测的处理方法，包括：
基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
本发明提供的数据处理部、处理装置、手术系统、设备与介质中，可基于支气管镜采集到的目标图像而实现支气管镜的位姿确定，也可基于追踪组件而实现支气管镜的位姿确定，进而，据此可标定出追踪坐标系与虚拟坐标系的目标转换关系，得到目标转换关系后，在支气管镜运动过程中，可直接基于追踪组件的检测结果（即第一实时位姿信息）而确定支气管镜在虚拟坐标系中的第二实时位姿信息，无需在每次定位时均针对目标图像进行处理，有助于降低实时处理的数据量，提高处理效率，保障位姿确定的实时性。
同时，相较于相关技术中手动在虚拟坐标系、追踪坐标系取点，然后基于所取的点在两个坐标系下的位置标定出目标转换关系的方案，本发明的自动化程度较高，减少了手动取点方式下的误差，有效提高了目标转换关系的准确性。
进一步可选方案中，可通过比对所述第二实时位姿信息与所述虚拟支气管树，判断出目标转换关系有误（或不再适配）的一种结果，在此基础上，本发明还对目标转换关系进行调整，并且，所述第一实时位姿信息经调整后的目标转换关系转换至所述虚拟坐标系后所得到的位置处于所述虚拟气道内，可见，该可选方案能及时发现转换关系有误（或不再适配），还能及时、有效地修正追踪坐标系与虚拟坐标系间的目标转换关系，有助于准确定位、表征出支气管镜的位置。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一示例性的实施例中手术系统的构造示意图；
图2是本发明一示例性的实施例中支气管镜检测的处理方法的流程示意图；
图3是本发明另一示例性的实施例中支气管镜检测的处理方法的流程示意图；
图4是本发明一示例性的实施例中实时图像的示意图；
图5是本发明又一示例性的实施例中支气管镜检测的处理方法的流程示意图；
图6是本发明一示例性的实施例中调整目标转换关系的流程示意图；
图7是本发明一示例性的实施例中从候选转换关系中确定目标转换关系的流程示意图；
图8是本发明一示例性的实施例中支气管镜检测的处理装置的程序模块示意图；
图9是本发明另一示例性的实施例中支气管镜检测的处理装置的程序模块示意图；
图10是本发明一示例性的实施例中电子设备的构造示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
请参考图1，本发明实施例提供了一种手术系统，包括：支气管镜110、追踪组件120与数据处理部130。
其中的数据处理部130可理解为能够实现数据处理的任意设备或设备的组合，其可用于执行本发明实施例提供的支气管镜检测的处理方法。
其中的追踪组件120可以为能够对支气管镜110的部分或全部部位的位姿进行追踪的任意部件或部件的组合，例如，追踪组件120可用于追踪支气管镜110末端的位姿。
一种实施方式中，追踪组件120可以包括追踪传感器121与追踪设备122，所述追踪传感器121设于所述支气管镜110。
追踪设备122可理解为用于产生追踪媒介的设备或设备的组合，该追踪媒介可例如为磁场、光（例如激光、红外线）、或其他波（例如超声波、微波）等。追踪传感器121可理解为能够与该追踪媒介产生互动作用，从而使得追踪传感器121的位姿信息可以被确定下来，同时，追踪传感器121的位姿信息，可被用于表征出支气管镜的相应部位的位姿信息。其中追踪传感器101的数量可以为一个，也可以为多个。例如，其中的一个追踪传感器121可设于支气管镜的末端，再例如，多个追踪传感器121可沿支气管镜的长度方向依次分布。
追踪传感器所检测到的位姿信息表征为追踪传感器相对于追踪坐标系的位姿，所述追踪坐标系为：以所述追踪设备为基准的坐标系。具体的，追踪传感器所检测到的位姿信息包括：以追踪传感器为基准的传感器坐标系相对于追踪坐标系的旋转矩阵与平移矩阵。
一种举例中，追踪传感器可以为磁传感器，对应的，追踪设备可以为磁追踪设备，该磁传感器设于磁追踪设备所产生的磁场中，可感应于磁场而确定磁传感器的位姿，得到对应的位姿信息。
请参考图2，本发明实施例提供了一种支气管镜检测的处理方法，其特征在于，包括：
S201：基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；
其中，所述虚拟支气管树用于模拟真实支气管，进而，虚拟支气管树的形态可相同或相似于真实支气管；该真实支气管可以是目标人体的支气管，所述虚拟坐标系基于所述虚拟支气管树建立，也可理解为：虚拟支气管树是在虚拟坐标系下构建的；具体举例中，可基于目标人体的CT数据而构建虚拟支气管树；
一种举例中，步骤S201可以包括：响应于用户下发的配准触发指示，基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述配准触发指示用于触发所述目标转换关系的确定；
进而，可在支气管镜停止运动的情况下采集到目标图像，然后通过后续步骤实现虚拟坐标系与追踪坐标系间目标转换关系的确定；
S202：基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；
一种举例中，可直接以追踪组件检测到的位姿信息作为支气管镜在追踪坐标系下的第二位姿信息，另一举例中，也可基于追踪组件检测到的位姿信息而换算出第二位姿信息，追踪组件所测得的位姿信息可参照图1所示实施例中的相关描述理解；
S203：基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
其中的目标转换关系，可理解为表征了：位姿信息（或位置信息）在追踪坐标系与虚拟坐标系之间如何转换，具体的，通过步骤S203中对该目标转换关系的确定，可以为支气管镜的运动过程中所采集到的实时位姿信息提供转换依据；
S204：根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
其中的第一实时位姿信息，可理解为追踪组件对支气管镜中相应部位的位姿进行检测而得到的；
其中的第二实时位姿信息，可理解为以第一实时位姿信息为依据计算出来的支气管镜在虚拟坐标系中的位姿。在目标转换关系比较准确的情况下，第二实时位姿信息应能准确地在虚拟坐标系中体现出支气管镜的位姿，进而，在展示虚拟支气管树的情况下，可有助于在虚拟支气管树中体现出支气管镜的位姿。
此外，由于支气管镜是沿着支气管运动的，所以，本说明书所涉及的支气管镜在虚拟坐标系的位姿，也可理解为支气管镜在虚拟支气管树中的位置。
以上方案中，得到目标转换关系后，在支气管镜运动过程中，可直接基于追踪组件的检测结果（即第一实时位姿信息）而确定支气管镜在虚拟坐标系中的第二实时位姿信息，无需在每次定位时均针对目标图像进行处理，有助于降低实时处理的数据量，提高处理效率，保障位姿确定的实时性。
同时，相较于现有技术中手动在虚拟坐标系、追踪坐标系取点，然后基于所取的点在两个坐标系下的位置标定出目标转换关系的方案，以上方案的自动化程度较高，减少了手动取点方式下的误差，有效提高了目标转换关系的准确性。
图3所述实施例中的步骤S307相同或相似于图2所示实施例中的步骤S204，对于相同或相似的内容，在此不再赘述。
请参考图3，步骤S303之前，还可包括：
S301：获取支气管镜在运动过程中采集到的所述支气管的实时图像；
S302：响应于所采集到的实时图像满足预设条件，控制支气管镜停止运动，并将该实时图像确定为目标图像。
其中的实时图像，可以为支气管镜末端的图像采集部采集到的图像。
其中的预设条件，可例如：实时图像中出现了气道分叉口、正对气道分叉口等。可以理解的是，这里的预设条件可以为实时图像与预先设置的虚拟支气管树匹配准确率较高。例如，用户在确定实时图像正对气道分叉口的情况下，根据经验确定匹配率高，即该预设条件的达成可由用户判断。或者，可以将采集到的实时图像与预先设置的虚拟支气管树实时进行匹配(方法与下述步骤S303-S304类似，这里暂不赘述)，若匹配率高于预设阈值，则认为实时图像满足预设条件；若匹配率不高于预设阈值，则控制支气管镜继续运动，并继续获取实时图像进行匹配。
对应的，基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息的过程，可以包括：
S303：将所述目标图像与虚拟支气管树对应的虚拟切片图进行匹配；
S304：确定匹配于所述目标图像的目标虚拟切片图，根据所述目标虚拟切片图确定所述第一位姿信息。
以上步骤S303、S304可在响应到配准触发指示之后实施。
虚拟支气管树的任一部位的虚拟切片图，可理解为在虚拟支气管树内的所述任一部位观测虚拟支气管树内部时所获取到的图像；
其中，匹配于所述目标图像的目标虚拟切片图，可理解为：目标虚拟切片图与目标图像相同或相似，也可理解为：目标虚拟切片图中所体现出的气道分叉口的位置、尺寸、分布方式等与目标图像中所体现出的气道分叉口的位置、尺寸、分布方式等相同或相似。
在一个实施例中，可以通过预先建立的图像识别模型等，来确定目标图像与虚拟切片图的匹配率，匹配率最高的虚拟切片图作为目标虚拟切片图。
基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息的过程，可以包括：
S305：获取追踪传感器在所述追踪坐标系下的第三位姿信息；
S306：基于所述第三位姿信息、以及支气管镜相对于所述追踪传感器的第四位姿信息，确定所述支气管镜在追踪坐标系下的第二位姿信息；
其中，所述第四位姿信息为根据所述追踪传感器与所述支气管镜的相对位置预先确定的；其可以是一个固定的位姿信息。
具体举例中，在执行步骤S301的情况下，支气管镜到达支气管主分支后，可将其调整在一个特征明显的角度，支气管镜的图像采集部采集到的实时图像可例如图4所示，其中能看到完整的气道分叉口，且方位比较正，此时，可停止操作支气管镜，对应的实时图像可作为目标图像，完成步骤S302的过程，其中，在支气管主分支附近进行步骤S301至S307，可降低呼吸的影响；
然后，用户可点击同步按钮，对应可执行步骤S303，实现目标图像与虚拟切片图的匹配，进入到同步状态。
处于同步状态时，用户点击配准按钮，可产生配准触发指示，进行配准，即确定目标转换信息，具体过程可例如：
确认此时支气管镜在虚拟坐标系中的位姿，在同步状态下，其等同于此时虚拟支气管镜在虚拟坐标系中的位姿TC0（即第一位姿信息），该信息可直接从当前软件程序中获取。其中，虚拟支气管镜为支气管镜在虚拟坐标系中的虚拟映射，即用于模拟支气管镜的。
在此基础上，步骤S305中，可获取追踪组件检测到的追踪坐标系中的位姿TS0（即第三位姿信息），其可从当前软件程序中实时获取（例如从导航组件的接口获取）；
然后，可确定支气管镜到追踪设备（例如追踪传感器）的变换矩阵TTIP（两者位置相对固定，因此工艺良好情况下可以人工计算出来，也可通过图像算法计算出来），该变换矩阵可理解为第四位姿信息，一种举例中，若第二位姿信息是基于指定位置点而表征的，则该第四位姿信息可以为支气管镜的指定位置点相对于追踪坐标系的位姿。
基于TS0（即第三位姿信息）与TTIP（即第四位姿信息），可得出支气管镜在追踪坐标系中的位姿为TS0TTIP，其可理解为第二位姿信息。
然后，可计算出追踪坐标系到虚拟坐标系的变换矩阵T（即目标转换关系）为：
T=TC0 (TS0TTIP) -1 = TC0TTIP -1TS0 -1。
在步骤S307的具体举例中，可点击导航按钮进入导航模式，随着追踪传感器和支气管镜的运动，根据实时输出的追踪传感器在磁导航基准坐标系中的位姿TSN（即第一实时位姿信息），可以计算支气管镜在虚拟坐标系的实时位姿TCN=T（TSNTTIP）=TTSNTTIP，所得到的TCN即为第二实时位姿信息。
以上方案中，实现了虚拟坐标系与追踪坐标系间目标转换关系的具体确定过程，该过程中，由于第一位姿信息是基于图像匹配而确定的，可较为准确体现出支气管镜在虚拟支气管树中的位姿，有助于保障目标转换关系的准确性。
图5所述实施例中的步骤S501、S502、S503与S504相同或相似于图2所示实施例中的步骤S201、S202、S203与S204，对于相同或相似的内容，在此不再赘述。
请参考图5，步骤S504之后，还可包括：
S505：比对所述第二实时位姿信息与所述虚拟支气管树；
S506：是否确定所述第二实时位姿信息所表征的位置处于所述虚拟支气管树的虚拟气道外；
若步骤S506的判断结果为是，则可执行步骤S507：对所述目标转换关系进行调整，得到调整后的目标转换关系；
通过步骤S507，可以使得：根据所述调整后的目标转换关系转换所述第一实时位姿信息所得到的第三实时位姿信息处于所述虚拟气道内；所述第三实时位姿信息用于表征所述支气管镜在所述虚拟坐标系中的实时位姿，其也可理解为：经调整后的目标转换关系算出来的支气管镜的指定位置点在虚拟坐标系中的实时位姿。
进而，任意可将目标转换关系调整为满足以上要求的方式，均不脱离以上步骤S507的范围。
其中，在目标转换关系准确且适用的情况下，经步骤S504所算出来的第二实时位姿信息所表征的位置理应处于虚拟支气管树的虚拟气道内，进而，经步骤S506的判断，可以准确、有效地找出目标转换关系不再准确适用的时机，进而及时对目标转换关系进行调整，可避免持续用不再准确适用的目标转换关系进行计算而导致的错误定位，保障支气管镜在虚拟坐标系中定位的准确性。
其中一种实施方式中，所述第二实时位姿信息表征为所述支气管镜的指定位置点在所述虚拟坐标系的位姿；该指定位置点可例如为支气管镜末端（或其他部位）的中心处，进而，若目标转换关系准确无误，那么，指定位置点在虚拟坐标系的位置一般会位于虚拟支气管树的中心线（或其附近），若偏离太大，到虚拟气道外，则表示目标转换关系的误差较大，亟需修正。
一种举例中，所述第二实时位姿信息包括所述指定位置点相对于所述虚拟坐标系的第二旋转矩阵与第二平移矩阵；
对应的，请参考图6，对所述目标转换关系进行调整，得到调整后的目标转换关系的过程，可以包括：
S601：获取所述虚拟支气管树的中心线中与所述指定位置点对应的参考位置点在所述虚拟坐标系的参考位姿信息；
S602：基于所述参考位姿信息对所述第二实时位姿信息进行至少一次修正，得到修正后的至少一组候选位姿信息；
S603：针对每一组候选位姿信息，基于所述候选位姿信息与所述第一实时位姿信息，确定所述追踪坐标系与所述虚拟坐标系间的候选转换关系；
其中，不同候选位姿信息是不同的；
S604：将至少一组候选转换关系中的一个候选转换关系作为所述调整后的目标转换关系；
其中的参考位置点，可以为中心线中与指定位置点相对应任意位置点，一种举例中，可以为中心线的所有位置点中，与指定位置点最接近的位置点；另一种举例中，取参考位置点时，也可令其满足：参考位置点与指定位置点的连线与中心线呈指定夹角（90度或其他夹角）；
其中的参考位姿信息，可理解为能够对参考位置点的位姿进行描述的任意信息，具体举例中，所述参考位姿信息包括所述参考位置点相对于所述虚拟坐标系的参考旋转矩阵与参考平移矩阵；
可以理解的是，这里的参考位置点相对于虚拟坐标系的位姿，也可以理解为以参考位置点为原点建立的坐标系，相对于虚拟坐标系的位姿。对于本文中其他所提及的相对位姿，都可以类似的方法进行理解，这里不再赘述。
一种举例中，步骤S601的过程可例如包括：
计算所述指定位置点与所述中心线中多个位置点的距离，并在所述多个位置点中，选择距离最小的位置点作为所述参考位置点；然后，以所述参考位置点处的切线方向作为所述参考位置点的矢量方向，以所述参考位置点的坐标作为所述参考位置点的坐标，确定所述参考位姿信息。
其中，上述以所述参考位置点处的切线方向作为所述参考位置点的矢量方向，可以理解将该切线方向作为以参考位置点为原点建立坐标系时，该切线方向作为指定的坐标系轴的方向，例如作为y轴方向，其他坐标轴可以按照预设的规则对应建立。
步骤S602的至少一次修正中，每次修正时，可以对第二实时位姿信息进行修正，得到候选位姿信息，也可以在修正得到的候选位姿信息的基础上进行修正，得到另一候选位姿信息；
步骤S602中的修正，可理解为将第二实时位置信息所表征的指定位置点的位置修正到虚拟气管内，同时，由于该修正是以参考位姿信息为依据的，可有助于令修正所得到的候选位姿信息所表征的位置能够接近于中心线，有利于保障最终所确定的目标转换关系的准确性。
步骤S603的候选位姿信息包括候选旋转矩阵与候选平移矩阵；
其中，可假定第二实时位姿信息为T1，参考位姿信息为T2，则步骤S603中，可线性循环搜索检测T1与T2之间的位姿作为候选位姿；
考虑到性能原因，搜索检测量不能太大以免卡顿，达到该目的的方式很多，一种举例中，所述候选旋转矩阵中的取值处于所述第二旋转矩阵中的对应的取值与所述参考旋转矩阵中对应的取值之间；所述候选平移矩阵中的取值处于所述第二平移矩阵中对应的取值与所述参考旋转矩阵中对应的取值之间。
可见，该举例中，将在第二实时位姿信息与参考位姿信息的范围内搜寻候选位姿信息，有效降低了数据处理量，提高了处理效率。
在步骤S603中，可通过候选位姿信息和传感器位姿（即第一实时位姿信息）反推出候选转换关系TSEL。
步骤S604中用于作为目标转换关系的候选位姿关系可以是基于任意条件而选择的。
例如，可计算所有候选位姿关系的平均值，然后取最接近平均值的候选位姿关系作为目标转换关系；
还例如，可使用之前已经得到的支气管镜在追踪坐标系下的一个或多个历史位姿信息（可理解为之前时刻的第一实时位姿信息），然后将历史位姿信息代入到候选转换关系中，再根据代入后计算出的支气管镜在虚拟坐标系的位姿信息与对应时刻之前已算出来的第二实时位姿信息进行对比，从而基于比对结果选出目标转换关系；
又例如，将以上举例中的历史位姿信息代入到候选转换关系中并计算出支气管镜在虚拟坐标系的位姿信息之后，也可根据所算出位姿信息相对于虚拟支气管树（例如其中虚拟气管和/或中心线）的位置而选出目标转换关系。
不论采用何种方式，均不脱离本发明实施例的范围。
其中一种实施方式中，请参考图7，将至少一组候选转换关系中的一个候选转换关系作为所述调整后的目标转换关系，包括：
S701：获取追踪组件检测所述支气管镜的位姿而得到的多个历史位姿信息；
S702：针对每一组候选转换关系，基于该候选转换关系，将所述历史位姿信息转换至所述虚拟坐标系，得到所述虚拟坐标系下的对应于该候选转换关系的多个预测位置点，并统计所述多个预测位置点中位于所述虚拟气道内的预测位置点的数量；
本实施例中，可以基于选定的候选转换关系，将多个历史位姿信息分别转换至虚拟坐标系，得到对应于该候选转换关系的多个预测位置点。
S703：基于每个候选转换关系下统计出的位于虚拟气道内的预测位置点的数量，从所述至少一组候选转换关系中确定出一个候选转换关系作为所述调整后的目标转换关系。
其中的历史位姿信息，可理解为：假定所需要修正的第二实时位姿信息为第L个时刻的第二实时位姿信息，则历史位姿信息则可理解为在第L个时刻之前的任意一个时刻的第一实时位姿信息。
举例来说，该历史位姿信息可以理解为从确定追踪坐标系与虚拟坐标系的目标转换关系起，至该第L个时刻之间的任意一个时刻的第一实时位姿信息。
其中，若候选转换关系可真实准确地反应坐标系间（虚拟坐标系与追踪坐标系间）的关系，那么，将其用于历史位姿信息时，则所算出来的预测位置点应该均处于虚拟气道内（甚至均处于中心线），进而，虚拟气道内预测位置点的数量可准确、有效反应出候选转换关系准确反映坐标系间关系的程度，即：数量越多，准确程度越高。所以，以上方案中，可在所有候选转换关系中，找出相对最能体现出坐标系间真实关系的候选转换关系作为调整后的目标转换关系。
部分实施方式中，所选出的候选转换关系还需满足以下第一条件：
初始配准时的位姿信息（即第一位姿信息）被该候选转换关系转换后，需处于虚拟气道内；
部分实施方式中，所选出的候选转换关系还需满足以下第二条件：
初始配准时的位姿信息（即第一位姿信息）被该候选转换关系转换后，所得到的位姿信息与第二位姿信息的差距需小于预设的范围；
进而，步骤S703中，可在满足以上第一条件、第二条件的候选转换关系中，确定出目标转换矩阵，即：
若任一候选转换关系对第一位姿信息进行转换后得到的位姿信息处于虚拟气道外，或与第二位姿信息的差距大于预设的范围，则筛除所述任一候选转换关系，使之无法作为目标转换关系，进而，可无需针对于所述任一候选转换关系执行步骤S701至S703。
另部分实施方式中，所选出的候选转换关系还需满足以下第三条件：
所有历史位姿信息中，虚拟支气管树的主气道附近的历史位姿信息应全部在虚拟气道内；
进而，步骤S703中，可在满足以上第一条件、第二条件、第三条件的候选转换关系中，确定出目标转换矩阵。
其他举例中，若不采用预测位置点的数量来确定目标转换矩阵，也可计算预测位置点与中心线之间的指定距离，然后计算所有预测位置点对应的指定距离之和，然后基于指定距离之和，确定其中之一候选转换矩阵作为调整后的目标转换矩阵，例如可选择指定距离之和最小的候选转换关系作为调整后的目标转换关系。
请参考图8，提供了一种支气管镜检测的处理装置800，包括：
第一位姿确定模块801，用于基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
第二位姿获取模块802，用于基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
目标关系确定模块803，用于基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
实时位姿确定模块804，用于根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
可选的，所述追踪组件包括追踪传感器和追踪设备；所述追踪坐标系基于所述追踪设备建立；所述追踪传感器与所述支气管镜的相对位置固定；
第二位姿获取模块802，具体用于；
获取追踪传感器在所述追踪坐标系下的第三位姿信息；
基于所述第三位姿信息、以及支气管镜相对于所述追踪传感器的第四位姿信息，确定所述支气管镜在追踪坐标系下的第二位姿信息；其中，所述第四位姿信息为根据所述追踪传感器与所述支气管镜的相对位置预先确定的。
可选的，所述第一位姿确定模块801，具体用于：
将所述目标图像与虚拟支气管树对应的虚拟切片图进行匹配；
确定匹配于所述目标图像的目标虚拟切片图，根据所述目标虚拟切片图确定所述第一位姿信息。
可选的，所述第一位姿确定模块801，具体用于：
响应于用户下发的配准触发指示，基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；
其中，所述配准触发指示用于触发所述目标转换关系的确定。
图9所示实施例中的第一位姿确定模块801、第二位姿获取模块802、目标关系确定模块803，实时位姿确定模块804，相同或相似于图8所示实施例中的第一位姿确定模块801、第二位姿获取模块802、目标关系确定模块803，实时位姿确定模块804，对于相同或相似的内容，在此不再赘述。
支气管镜检测的处理装置900，还包括：
实时图像获取模块901，用于获取支气管镜在运动过程中采集到的所述支气管的实时图像；
目标图像确定模块902，用于响应于所采集到的实时图像满足预设条件，控制支气管镜停止运动，并将该实时图像确定为目标图像。
可选的，支气管镜检测的处理装置900，还包括：
比对模块905，用于比对所述第二实时位姿信息与所述虚拟支气管树；
调整模块906，用于若确定所述第二实时位姿信息所表征的位置处于所述虚拟支气管树的虚拟气道外，则对所述目标转换关系进行调整，得到调整后的目标转换关系，以使得：根据所述调整后的目标转换关系转换所述第一实时位姿信息所得到的第三实时位姿信息处于所述虚拟气道内；所述第三实时位姿信息用于表征所述支气管镜在所述虚拟坐标系中的实时位姿。
可选的，所述第二实时位姿信息表征为所述支气管镜的指定位置点在所述虚拟坐标系的位姿；
调整模块906，具体用于：
获取所述虚拟支气管树的中心线中与所述指定位置点对应的参考位置点在所述虚拟坐标系的参考位姿信息；
基于所述参考位姿信息对所述第二实时位姿信息进行至少一次修正，得到修正后的至少一组候选位姿信息；
针对每一组候选位姿信息，基于所述候选位姿信息与所述第一实时位姿信息，确定所述追踪坐标系与所述虚拟坐标系间的候选转换关系；不同候选位姿信息是不同的；
将至少一组候选转换关系中的一个候选转换关系作为所述调整后的目标转换关系。
可选的，调整模块906，具体用于：
计算所述指定位置点与所述中心线中多个位置点的距离，并在所述多个位置点中，选择距离最小的位置点作为所述参考位置点；
以所述参考位置点处的切线方向作为所述参考位置点的矢量方向，以所述参考位置点的坐标作为所述参考位置点的坐标，确定所述参考位姿信息。
可选的，所述第二位姿信息包括所述指定位置点相对于所述虚拟坐标系的第二旋转矩阵与第二平移矩阵；
所述参考位姿信息包括所述参考位置点相对于所述虚拟坐标系的参考旋转矩阵与参考平移矩阵；
所述候选位姿信息包括候选旋转矩阵与候选平移矩阵；
所述候选旋转矩阵中的取值处于所述第二旋转矩阵中的对应的取值与所述参考旋转矩阵中对应的取值之间；
所述候选平移矩阵中的取值处于所述第二平移矩阵中对应的取值与所述参考旋转矩阵中对应的取值之间。
可选的，调整模块906，具体用于：
获取追踪组件检测所述支气管镜的位姿而得到的多个历史位姿信息；
针对每一组候选转换关系，基于该候选转换关系，将所述历史位姿信息转换至所述虚拟坐标系，得到所述虚拟坐标系下的对应于该候选转换关系的多个预测位置点，并统计所述多个预测位置点中位于所述虚拟气道内的预测位置点的数量；
基于每个候选转换关系下统计出的位于虚拟气道内的预测位置点的数量，从所述至少一组候选转换关系中确定出一个候选转换关系作为所述调整后的目标转换关系。
请参考图10，提供了一种电子设备1000，包括：
处理器1001；以及，
存储器1002，用于存储所述处理器的可执行指令；
其中，所述处理器1001配置为经由执行所述可执行指令来执行以上所涉及的方法。
处理器1001能够通过总线1003与存储器1002通讯。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种数据处理设备，其特征在于，用于执行支气管镜检测的处理方法，
所述支气管镜检测的处理方法，包括：
基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
所述基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息，包括：
将所述目标图像与虚拟支气管树对应的虚拟切片图进行匹配；
确定匹配于所述目标图像的目标虚拟切片图，根据所述目标虚拟切片图确定所述第一位姿信息；
基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
2.根据权利要求1所述的数据处理设备，其特征在于，所述追踪组件包括追踪传感器和追踪设备；所述追踪坐标系基于所述追踪设备建立；所述追踪传感器与所述支气管镜的相对位置固定；
基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息，包括：
获取追踪传感器在所述追踪坐标系下的第三位姿信息；
基于所述第三位姿信息、以及支气管镜相对于所述追踪传感器的第四位姿信息，确定所述支气管镜在追踪坐标系下的第二位姿信息；其中，所述第四位姿信息为根据所述追踪传感器与所述支气管镜的相对位置预先确定的。
3.根据权利要求1所述的数据处理设备，其特征在于，
在基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息之前，还包括：
获取支气管镜在运动过程中采集到的所述支气管的实时图像；
响应于所采集到的实时图像满足预设条件，控制支气管镜停止运动，并将该实时图像确定为目标图像。
4.根据权利要求1至3任一项所述的数据处理设备，其特征在于，
根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息之后，还包括：
比对所述第二实时位姿信息与所述虚拟支气管树；
若确定所述第二实时位姿信息所表征的位置处于所述虚拟支气管树的虚拟气道外，则对所述目标转换关系进行调整，得到调整后的目标转换关系，以使得：根据所述调整后的目标转换关系转换所述第一实时位姿信息所得到的第三实时位姿信息处于所述虚拟气道内；所述第三实时位姿信息用于表征所述支气管镜在所述虚拟坐标系中的实时位姿。
5.根据权利要求4所述的数据处理设备，其特征在于，
所述第二实时位姿信息表征为所述支气管镜的指定位置点在所述虚拟坐标系的位姿；
对所述目标转换关系进行调整，得到调整后的目标转换关系，包括：
获取所述虚拟支气管树的中心线中与所述指定位置点对应的参考位置点在所述虚拟坐标系的参考位姿信息；
基于所述参考位姿信息对所述第二实时位姿信息进行至少一次修正，得到修正后的至少一组候选位姿信息；
针对每一组候选位姿信息，基于所述候选位姿信息与所述第一实时位姿信息，确定所述追踪坐标系与所述虚拟坐标系间的候选转换关系；不同候选位姿信息是不同的；
将至少一组候选转换关系中的一个候选转换关系作为所述调整后的目标转换关系。
6.根据权利要求5所述的数据处理设备，其特征在于，
获取所述虚拟支气管树的中心线中与所述指定位置点对应的参考位置点在所述虚拟坐标系的参考位姿信息，包括：
计算所述指定位置点与所述中心线中多个位置点的距离，并在所述多个位置点中，选择距离最小的位置点作为所述参考位置点；
以所述参考位置点处的切线方向作为所述参考位置点的矢量方向，以所述参考位置点的坐标作为所述参考位置点的坐标，确定所述参考位姿信息。
7.根据权利要求5所述的数据处理设备，其特征在于，
所述第二实时位姿信息包括所述指定位置点相对于所述虚拟坐标系的第二旋转矩阵与第二平移矩阵；
所述参考位姿信息包括所述参考位置点相对于所述虚拟坐标系的参考旋转矩阵与参考平移矩阵；
所述候选位姿信息包括候选旋转矩阵与候选平移矩阵；
所述候选旋转矩阵中的取值处于所述第二旋转矩阵中的对应的取值与所述参考旋转矩阵中对应的取值之间；
所述候选平移矩阵中的取值处于所述第二平移矩阵中对应的取值与所述参考旋转矩阵中对应的取值之间。
8.根据权利要求5所述的数据处理设备，其特征在于，
将至少一组候选转换关系中的一个候选转换关系作为所述调整后的目标转换关系，包括：
获取追踪组件检测所述支气管镜的位姿而得到的多个历史位姿信息；
针对每一组候选转换关系，基于该候选转换关系，将所述历史位姿信息转换至所述虚拟坐标系，得到所述虚拟坐标系下的对应于该候选转换关系的多个预测位置点，并统计所述多个预测位置点中位于所述虚拟气道内的预测位置点的数量；
基于每个候选转换关系下统计出的位于虚拟气道内的预测位置点的数量，从所述至少一组候选转换关系中确定出一个候选转换关系作为所述调整后的目标转换关系。
9.根据权利要求1至3任一项所述的数据处理设备，其特征在于，
所述基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息，包括：
响应于用户下发的配准触发指示，基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；
其中，所述配准触发指示用于触发所述目标转换关系的确定。
10.根据权利要求1、3中任一项所述的数据处理设备，其特征在于，所述追踪组件包括追踪传感器与追踪设备，所述追踪传感器设于所述支气管镜，所述追踪坐标系为：以所述追踪设备为基准的坐标系。
11.一种支气管镜检测的处理装置，其特征在于，包括：
第一位姿确定模块，用于基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
所述基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息，包括：
将所述目标图像与虚拟支气管树对应的虚拟切片图进行匹配；
确定匹配于所述目标图像的目标虚拟切片图，根据所述目标虚拟切片图确定所述第一位姿信息；
第二位姿获取模块，用于基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
目标关系确定模块，用于基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
实时位姿确定模块，用于根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
12.一种手术系统，其特征在于，包括：支气管镜、追踪组件与数据处理部；所述数据处理部为权利要求1至10任一项所述的数据处理设备。
13.一种电子设备，其特征在于，包括处理器与存储器，
所述存储器，用于存储代码；
所述处理器，用于执行所述存储器中的代码用以实现支气管镜检测的处理方法；
支气管镜检测的处理方法，包括：
基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
所述基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息，包括：
将所述目标图像与虚拟支气管树对应的虚拟切片图进行匹配；
确定匹配于所述目标图像的目标虚拟切片图，根据所述目标虚拟切片图确定所述第一位姿信息；
基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
14.一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现支气管镜检测的处理方法；
支气管镜检测的处理方法，包括：
基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息；其中，所述虚拟支气管树用于模拟真实支气管，所述虚拟坐标系基于所述虚拟支气管树建立；
所述基于支气管镜采集到的支气管的目标图像、以及预先设置的虚拟支气管树，确定所述支气管镜在虚拟坐标系中的第一位姿信息，包括：
将所述目标图像与虚拟支气管树对应的虚拟切片图进行匹配；
确定匹配于所述目标图像的目标虚拟切片图，根据所述目标虚拟切片图确定所述第一位姿信息；
基于预设的用于检测所述支气管镜的追踪组件，获取支气管镜在追踪坐标系下的第二位姿信息；所述追踪坐标系基于所述追踪组件建立；
基于所述支气管镜在追踪坐标系下的第二位姿信息、和所述支气管镜在虚拟坐标系中的第一位姿信息，确定所述追踪坐标系与所述虚拟坐标系的目标转换关系；
根据所述支气管镜在所述追踪坐标系中的第一实时位姿信息、以及所述目标转换关系，确定所述支气管镜在所述虚拟坐标系中的第二实时位姿信息。
CN202210034254.XA 2022-01-13 2022-01-13 数据处理部、处理装置、手术系统、设备与介质 Active CN114041741B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210034254.XA CN114041741B (zh) 2022-01-13 2022-01-13 数据处理部、处理装置、手术系统、设备与介质
PCT/CN2022/086430 WO2023134040A1 (zh) 2022-01-13 2022-04-12 数据处理部、处理装置、手术系统、设备与介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210034254.XA CN114041741B (zh) 2022-01-13 2022-01-13 数据处理部、处理装置、手术系统、设备与介质

Publications (2)

Publication Number Publication Date
CN114041741A CN114041741A (zh) 2022-02-15
CN114041741B true CN114041741B (zh) 2022-04-22

Family

ID=80196424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210034254.XA Active CN114041741B (zh) 2022-01-13 2022-01-13 数据处理部、处理装置、手术系统、设备与介质

Country Status (2)

Country Link
CN (1) CN114041741B (zh)
WO (1) WO2023134040A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114041741B (zh) * 2022-01-13 2022-04-22 杭州堃博生物科技有限公司 数据处理部、处理装置、手术系统、设备与介质
CN116402861B (zh) * 2023-06-09 2023-09-22 杭州堃博生物科技有限公司 内窥镜实时追踪方法、装置、计算设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006076789A1 (en) * 2005-01-24 2006-07-27 Claron Technology Inc. A bronchoscopy navigation system and method
WO2012108085A1 (ja) * 2011-02-08 2012-08-16 オリンパスメディカルシステムズ株式会社 医療機器
CN102883651A (zh) * 2010-01-28 2013-01-16 宾夕法尼亚州研究基金会 可应用于支气管镜引导的基于图像的全局配准系统和方法
EP2944283A1 (en) * 2014-05-14 2015-11-18 Stryker Leibinger GmbH & Co. KG Navigation system for and method of tracking the position of a work target
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN112741692A (zh) * 2020-12-18 2021-05-04 上海卓昕医疗科技有限公司 实现将器件导航至目标组织位置的快速导航方法及系统
WO2021197189A1 (zh) * 2020-03-31 2021-10-07 深圳光峰科技股份有限公司 基于增强现实的信息显示方法、系统、装置及投影设备
CN113616333A (zh) * 2021-09-13 2021-11-09 上海微创医疗机器人（集团）股份有限公司 导管运动辅助方法、导管运动辅助系统及可读存储介质
CN113855242A (zh) * 2021-12-03 2021-12-31 杭州堃博生物科技有限公司 支气管镜的位置确定方法、装置、系统、设备与介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2316328B1 (en) * 2003-09-15 2012-05-09 Super Dimension Ltd. Wrap-around holding device for use with bronchoscopes
CA2588002A1 (en) * 2005-01-18 2006-07-27 Traxtal Inc. Method and apparatus for guiding an instrument to a target in the lung
US20070167714A1 (en) * 2005-12-07 2007-07-19 Siemens Corporate Research, Inc. System and Method For Bronchoscopic Navigational Assistance
US8315690B2 (en) * 2007-10-02 2012-11-20 General Electric Company Dynamic reference method and system for interventional procedures
US8219179B2 (en) * 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US20120203067A1 (en) * 2011-02-04 2012-08-09 The Penn State Research Foundation Method and device for determining the location of an endoscope
WO2012106320A1 (en) * 2011-02-04 2012-08-09 The Penn State Research Foundation Global and semi-global registration for image-based bronchoscopy guidance
CN106510845B (zh) * 2016-11-23 2019-09-10 常州朗合医疗器械有限公司 医疗路径导航方法及系统
CN106530926B (zh) * 2016-11-29 2019-03-05 东南大学 基于Myo臂带及视线追踪的虚拟假手训练平台及其训练方法
US10575907B2 (en) * 2017-06-21 2020-03-03 Biosense Webster (Israel) Ltd. Registration with trajectory information with shape sensing
DE102018108643A1 (de) * 2018-04-11 2019-11-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Positionsbestimmungsvorrichtung zum Bestimmen einer Position eines Gegenstands innerhalb einer tubulären Struktur
CN215192193U (zh) * 2020-12-31 2021-12-17 杭州堃博生物科技有限公司 体内导航装置、体内导航系统与医疗处理系统
CN113633387B (zh) * 2021-06-21 2024-01-26 安徽理工大学 术野追踪的扶持腹腔镜微创机器人触力交互方法和系统
CN113920187A (zh) * 2021-10-20 2022-01-11 上海微创医疗机器人（集团）股份有限公司 导管定位方法、介入手术系统、电子设备和存储介质
CN114041741B (zh) * 2022-01-13 2022-04-22 杭州堃博生物科技有限公司 数据处理部、处理装置、手术系统、设备与介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006076789A1 (en) * 2005-01-24 2006-07-27 Claron Technology Inc. A bronchoscopy navigation system and method
CN102883651A (zh) * 2010-01-28 2013-01-16 宾夕法尼亚州研究基金会 可应用于支气管镜引导的基于图像的全局配准系统和方法
WO2012108085A1 (ja) * 2011-02-08 2012-08-16 オリンパスメディカルシステムズ株式会社 医療機器
EP2944283A1 (en) * 2014-05-14 2015-11-18 Stryker Leibinger GmbH & Co. KG Navigation system for and method of tracking the position of a work target
CN105787439A (zh) * 2016-02-04 2016-07-20 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
WO2021197189A1 (zh) * 2020-03-31 2021-10-07 深圳光峰科技股份有限公司 基于增强现实的信息显示方法、系统、装置及投影设备
CN112741692A (zh) * 2020-12-18 2021-05-04 上海卓昕医疗科技有限公司 实现将器件导航至目标组织位置的快速导航方法及系统
CN113616333A (zh) * 2021-09-13 2021-11-09 上海微创医疗机器人（集团）股份有限公司 导管运动辅助方法、导管运动辅助系统及可读存储介质
CN113855242A (zh) * 2021-12-03 2021-12-31 杭州堃博生物科技有限公司 支气管镜的位置确定方法、装置、系统、设备与介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
电磁导航支气管镜引导下精准定位染色的亚肺叶胸腔镜下切除术的护理;梁水珍等;《全科护理》;20161030(第30期);全文 *
虚拟支气管镜技术;程渊;《中国医学前沿杂志(电子版)》;20171220(第12期);全文 *

Also Published As

Publication number Publication date
WO2023134040A1 (zh) 2023-07-20
CN114041741A (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN114041741B (zh) 数据处理部、处理装置、手术系统、设备与介质
CN112288742B (zh) 用于超声探头的导航方法、装置、存储介质以及电子设备
JP5372407B2 (ja) 医療機器
KR20210018858A (ko) 관상 네트워크의 경로-기반 내비게이션
CN113100943B (zh) 生理通道内的导航处理方法、装置、系统、设备与介质
CN103458764A (zh) 形状感测辅助的医疗程序
CN114332229A (zh) 内窥镜定位的处理方法、装置、手术系统、设备与介质
US11482046B2 (en) Action-estimating device
JPWO2020182997A5 (zh)
US11058496B2 (en) Registering probe and sheath images on a display
CN110022786B (zh) 用于确定器械在管状结构内的位置的位置确定装置
US11589929B2 (en) Assessing device for assessing an instrument's shape with respect to its registration suitability
US11048924B1 (en) Action-estimating device
US20230233098A1 (en) Estimating a position of an endoscope in a model of the human airways
US11642175B2 (en) Systems and methods for registration using an anatomical measurement wire
CN108742840B (zh) 机器人的标定方法和装置
CN111772640A (zh) 肢体运动训练指导方法、装置及存储介质
US20220183669A1 (en) Probe-cavity motion modeling
US20220202442A1 (en) Computer-assisted needle insertion system and computer-assisted needle insertion method
CN116402861B (zh) 内窥镜实时追踪方法、装置、计算设备及存储介质
US20220202501A1 (en) Real-time correction of regional tissue deformation during endoscopy procedure
EP4191531A1 (en) An endoscope image processing device
CN114288523A (zh) 柔性器械的检测方法、装置、手术系统、设备与介质
CN116473642A (zh) 靶点位置的确定方法、穿刺引导方法、装置、系统和设备
EP3463074A1 (en) Impedance shift detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant