CN116416414B - 肺部支气管镜导航方法、电子装置及计算机可读存储介质 - Google Patents

肺部支气管镜导航方法、电子装置及计算机可读存储介质 Download PDF

Info

Publication number
CN116416414B
CN116416414B CN202111679778.6A CN202111679778A CN116416414B CN 116416414 B CN116416414 B CN 116416414B CN 202111679778 A CN202111679778 A CN 202111679778A CN 116416414 B CN116416414 B CN 116416414B
Authority
CN
China
Prior art keywords
bifurcation
bronchoscope
image
real
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111679778.6A
Other languages
English (en)
Other versions
CN116416414A (zh
Inventor
刘润南
陈日清
徐宏
余坤璋
张欢
李楠宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Kunbo Biotechnology Co Ltd
Original Assignee
Hangzhou Kunbo Biotechnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Kunbo Biotechnology Co Ltd filed Critical Hangzhou Kunbo Biotechnology Co Ltd
Priority to CN202111679778.6A priority Critical patent/CN116416414B/zh
Priority to PCT/CN2022/138720 priority patent/WO2023124979A1/zh
Publication of CN116416414A publication Critical patent/CN116416414A/zh
Application granted granted Critical
Publication of CN116416414B publication Critical patent/CN116416414B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请涉及医疗器械领域，提供了肺部支气管镜导航方法、装置和计算机可读存储介质，以降低对算力的消耗且保证导航的实时性。所述方法包括：通过对支气管镜采集到的真实肺部图像的识别，确定支气管镜是否抵达肺部支气管所含的分岔口；若确定支气管镜抵达肺部支气管所含的分岔口，则获得匹配于支气管镜当前所处肺段支气管的分岔口fi，并将真实肺部图像与分岔口fi对应虚拟图像集合进行配准；确定匹配于真实肺部图像的虚拟分岔口局部图像Pi，并根据虚拟分岔口局部图像Pi，确定支气管镜抵达分岔口fi时的真实位姿；根据支气管镜抵达分岔口fi时的真实位姿，在真实肺部图像上显示用于引导支气管镜从分岔口fi通往目标位置的指引信息。

Description

肺部支气管镜导航方法、电子装置及计算机可读存储介质
技术领域
本发明涉及医疗器械领域，尤其涉及一种肺部支气管镜导航方法、电子装置及计算机可读存储介质。
背景技术
肺部支气管镜导航的目的是为了给支气管镜用户(例如，医生或其他操作支气管的人)方向上的指引，具体而言，就是当支气管镜移动至支气管分叉口时，导航系统可以引导支气管镜用户选择正确到达靶点的路线。
现有肺部支气管镜导航方法多数基于支气管镜上额外设置的各种传感器在肺部气道中进行实时定位，即在任何时候，用户(支气管镜的操作者)都需要通过观察导航系统上虚拟支气管镜的示意图来判断此时真实支气管镜的位姿。但是这需要用户具有丰富的专业知识，并且人为的判断过程较为耗时，影响肺部支气管镜导航的实时性。
发明内容
本申请实施例提供的肺部支气管镜导航方法、电子装置和计算机可读存储介质，可以降低支气管镜导航时对算力的消耗，且保证导航的实时性。
本申请实施例一方面提供了一种肺部支气管镜导航方法，包括：
通过对支气管镜采集到的真实肺部图像的识别，确定支气管镜是否抵达肺部支气管所含的分岔口；
若确定所述支气管镜抵达肺部支气管所含的分岔口，则获得匹配于所述支气管镜当前所处肺段支气管的分岔口fi，并将真实肺部图像与所述分岔口fi对应虚拟图像集合进行配准，所述虚拟图像集合包括若干个虚拟分岔口局部图像，并且每个虚拟分岔口局部图像对应所述支气管镜位于所述分岔口fi时的一个可能位姿；
确定匹配于所述真实肺部图像的虚拟分岔口局部图像Pi，并根据虚拟分岔口局部图像Pi，确定所述支气管镜抵达所述分岔口fi时的真实位姿；
根据所述支气管镜抵达所述分岔口fi时的真实位姿，在所述真实肺部图像上显示用于引导所述支气管镜从分岔口fi通往目标位置的指引信息。
本申请实施例一方面还提供了一种肺部支气管镜导航装置，包括：
第一确定模块，用于通过对支气管镜采集到的真实肺部图像的识别，确定支气管镜是否抵达肺部支气管所含的分岔口；
配准模块，用于若确定所述支气管镜抵达肺部支气管所含的分岔口，则获得匹配于所述支气管镜当前所处肺段支气管的分岔口fi，并将真实肺部图像与所述分岔口fi对应虚拟图像集合进行配准，所述虚拟图像集合包括若干个虚拟分岔口局部图像，并且每个虚拟分岔口局部图像对应所述支气管镜位于所述分岔口fi时的一个可能位姿；
第二确定模块，用于确定匹配于所述真实肺部图像的虚拟分岔口局部图像Pi，并根据虚拟分岔口局部图像Pi，确定所述支气管镜抵达所述分岔口fi时的真实位姿；
显示模块，用于根据所述支气管镜抵达所述分岔口fi时的真实位姿，在所述真实肺部图像上显示用于引导所述支气管镜从分岔口fi通往目标位置的指引信息。
本申请实施例一方面还提供了一种电子装置，包括：存储器和处理器；
所述存储器存储有可执行程序代码；
与所述存储器耦合的所述处理器，调用所述存储器中存储的所述可执行程序代码，执行如上述实施例提供的肺部支气管镜导航方法。
本申请实施例一方面还提供一种非暂时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时，实现如上述实施例提供的肺部支气管镜导航方法。
从上述本申请提供的技术方案可知，当确定支气管镜抵达肺部支气管的分岔口fi时，将支气管镜在该分岔口fi拍摄的真实分岔口局部图像与分岔口fi对应的若干虚拟分岔口局部图像进行配准，进而确定支气管镜抵达该分岔口fi时的真实位姿，最后根据支气管镜抵达该分岔口fi时的真实位姿，在真实分岔口局部图像上显示支气管镜从分岔口fi至目标位置的指引信息。由于是在确定支气管镜抵达肺部支气管的分岔口fi时才执行真实分岔口局部图像与虚拟分岔口局部图像的配准等相关动作，相较于现有技术时时处处都需要对支气管镜进行定位，本申请不仅无需消耗过多的算力亦可以实现支气管定位的目的，而且较简单的算法和不多的算力消耗亦可保证了支气管定位的实时性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的肺部支气管镜导航方法的流程图；
图2为本申请实施例提供的通过三维重建计算出的肺部气道中心线的示意图；
图3为本申请实施例提供的多叉树组织的支气管分岔口的示意图；
图4为本申请实施例提供的点Oi与肺部支气管任意一个分岔口fi的位置关系的示意图；
图5为本申请实施例提供的支气管镜抵达肺部支气管任意一个分岔口fi时的位姿示意图；
图6为本申请实施例提供的基于二元分类结构的深度卷积神经网络模型ResNet-18的示意图；
图7为本申请实施例提供的支气管镜从肺部支气管任意一个分岔口fi至目标位置的指引的示意图；
图8为本申请实施例提供的肺部支气管镜导航装置的结构示意图；
图9为本申请实施例提供的电子装置的结构示意图；
图10为本申请实施例提供的在确定支气管镜抵达肺段支气管所含的分岔口的情况下引导导航示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，本申请一实施例提供的肺部支气管镜导航方法的实现流程图，该方法可应用于对支气管镜在肺部支气管进行移动检测时的导航。如附图1所示，该方法主要包括：
步骤S101、通过对支气管镜采集到的真实肺部图像的识别，确定支气管镜是否抵达肺部支气管所含的分岔口。
步骤S102、若确定支气管镜抵达肺部支气管所含的分岔口，则获得匹配于支气管镜当前所处肺段支气管的分岔口fi，并将真实肺部图像与分岔口fi对应虚拟图像集合进行配准，其中，虚拟图像集合包括若干个虚拟分岔口局部图像，并且每个虚拟分岔口局部图像对应所述支气管镜位于分岔口fi时的一个可能位姿。
此处可以先对肺部支气管任意一个分岔口fi进行说明，i可以取大于等于1的正整数。在本申请实施例中，可以事先根据肺部支气管的医学影像，构建肺部支气管分岔口多叉树，然后，获取肺部支气管分岔口多叉树的任意一个节点Node-i对应的位姿集合，其中，肺部支气管分岔口多叉树以多叉树的结构组织其所含的节点Node-i，肺部支气管分岔口多叉树的一个节点表示肺部支气管的一个分岔口。
每一位姿集合为支气管镜位于任意一个分岔口fi时预设数量的可能位姿的集合，支气管镜位于分岔口fi时预设数量的可能位姿也是虚拟支气管镜位于分岔口fi对应的多叉树节点Node-i时的位姿。上述实施例中，肺部支气管的医学影像可以是采集到的CT数据等，那么构建肺部支气管分岔口多叉树的过程可以是将肺部支气管的医学影像分割得到虚拟支气管树，通过三维重建计算出气道的中心线，基于每个位于气道分岔口近前的气道内中心线上的分岔口的关联关系(例如，分岔口A位于分岔口B之前，分岔口B具有后继分岔口C和分岔口D，等等)可以构建肺部支气管分岔口多叉树。
如图2所示，通过三维重建计算出肺部气道的中心线由每一段支气管的中心线构成。从主气道开始，每一段支气管的中心线的起点也即上一段支气管中心线的终点，而起点和终点都位于肺部支气管分岔口处，每一段支气管中心线由虚点云构成，如图2右边椭圆框中放大的部分。并且，可以按照气道中心线上除主气道之外的所有起点的前后依赖关系构建上述肺部支气管分岔口多叉树的结构。如图3所示，为一示例性肺部支气管分岔口多叉树，该多叉树的每个节点都可以表示肺部支气管的一个分岔口，其中，根节点表示肺部支气管的主气道末端的支气管分岔口，叶子节点表示肺部支气管的最末端的支气管分岔口，节点之间的连线可以表示两个分岔口之间的前后依赖关系。
上述实施例中，获取肺部支气管分岔口多叉树的任意一个节点Node-i对应的位姿集合可以是：根据肺部支气管分岔口多叉树的任意一个节点Node-i对应的点Oi，构建节点Node-i对应的位姿集合，点Oi表示与节点Node-i表示的分岔口相隔距离阈值的位置，其中，距离阈值可以根据实际需求进行设置，本说明书并不对此进行限制；在点Oi的预设三维邻域内选择预设数量的点，并根据点Oi指向所述预设数量的点的多个向量，获得节点Node-i对应的位姿集合内的可能位。所谓预设三维邻域，是指与点Oi的距离不超过预设阈值的空间。作为本申请一个实施例，根据肺部支气管分岔口多叉树的任意一个节点Node-i对应的点Oi，构建节点Node-i对应的位姿集合可以是：以点Oi为圆心、气道中心线在点Oi的切向量为中轴心绘制预设范围的弧面作为节点Node-i对应弧面；在节点Node-i对应弧面上选择预设数量的点，并根据点Oi指向预设数量的点中任意一个点的向量，得到所有位姿集合中的各个位姿。具体地，如前所述，气道中心线由一系列三维坐标系下的点组成。为了使虚拟支气管镜位于分岔口fi对应节点时的位姿输入至渲染器中能够得到一张可以显示虚拟分岔口局部图像，可以设定一个距离阈值，该距离阈值等于点Oi与分岔口fi的距离，如图4所示，黑色虚线与气道中心线的交叉点即为点Oi所在位置，以确保虚拟支气管镜在点Oi处时能够观察到完整的支气管分岔口fi。确定了点Oi所在位置之后，可以计算点Oi沿气道中心线向下的切向量，此举是为了给点Oi一个初始的方向向量。以该点Oi为圆心、点Oi的切向量为中轴心形成一定范围的弧面，随即在弧面上选择预设数量的点，点Oi指向在弧面上选择的任一点构成的向量作为虚拟支气管镜的朝向，也是支气管镜抵达支气管分岔口fi时的可能朝向，这个可能朝向和点Oi的三维坐标构成支气管镜位于分岔口fi时的可能位姿，也是支气管分岔口fi对应节点Node-i存储的位姿集合中的一个位姿。如图5所示，示意了支气管镜抵达支气管分岔口fi时的可能位姿。
在理清肺部支气管任意一个分岔口fi的概念之后，说明通过已训练神经网络模型对肺部支气管镜图像帧的识别，确定支气管镜是否抵达肺部支气管所含的分岔口的具体方案。首先需要说明的是，在本申请实施例中，真实肺部图像是支气管镜在目标肺部移动检测时拍摄的视频中的某帧图像，这些图像帧作为预先训练的分岔口检测网络的基本输入，而预先训练的分岔口检测网络是对基于二元分类结构的深度卷积神经网络模型ResNet-18、VGGNet、GoogLeNet、DenseNet等系列的卷积神经网络或者Transformer等深度神经网络训练后得到，图6示出了基于二元分类结构的深度卷积神经网络模型ResNet-18的结构。图6的模型使用具有正负样本标注的肺部支气管镜图像在ResNet-18预训练权重的基础上进行调优，使已训练神经网络模型在接收到肺部支气管镜图像时能够对支气管镜是否抵达肺部支气管所含的分岔口产生正确的判断。在对肺部支气管镜图像帧进行预处理，例如，处理成尺寸为高×宽×通道数，例如，224×224×1(即高、宽和通道数分别为224像素、224像素和1)的灰度图之后，将这些灰度图输入已训练神经网络模型，其输出一个大小在0与1之间的概率值，该概率值越大，表明越有可能支气管镜已抵达肺部支气管任意一个分岔口fi。
在本申请一个实施例中，对图6示出的深度卷积神经网络模型的训练过程如下：首先构建气道分岔口临近图像数据集，该数据集由不同型号支气管镜在不同的病人的肺部做支气管镜相关操作得到的视频数据中所含的图像帧组成。每个图像帧都被标注有用于表征“临近分岔口”或“不是临近分岔口”的标签。例如，可以采用标签1表示是临近分岔口(正样本)，采用标签0表示不是临近分岔口(负样本)，并且该数据集中正负样本分布均匀。其次训练过程中，将随机打乱后的被标注的数据集以一定比例分成训练集和测试集，采用训练集对模型进行训练。此时，损失函数在该模型中度量的是模型预测结果与该图像实际标注之间的差异。训练后，模型的输出结果为0到1之间的数值，表示该视频帧(图像)是临近分岔口的概率值。当模型输出的判断结果的概率值不小于概率阈值时，表征该帧图像临近支气管分岔口。
具体地，通过对支气管镜采集到的真实肺部图像的识别，确定支气管镜是否抵达肺部支气管所含的分岔口可以是：提取真实肺部图像中的图像特征，将提取到的图像特征输入预先训练的分岔口检测网络；获得分岔口检测网络输出的真实肺部图像的对应的概率结果，并根据概率结果确定支气管镜是否抵达肺部支气管所含的分岔口。若概率结果大于概率阈值，确定支气管镜已抵达肺部支气管所含的分岔口；或者，统计连续多个真实肺部图像中对应的概率结果大于概率阈值的数量，并在统计的数量大于预设数量阈值的情况下，确定支气管镜已抵达肺部支气管所含的分岔口。若确定支气管镜尚未抵达肺部支气管所含的分岔口，则无需执行步骤S101之后的动作，可以节省计算资源和算力的消耗。需要说明的是，在确定支气管镜已抵达肺部支气管的分岔口fi后，需要支气管镜的操作者尽量保持支气管镜在分岔口处停止不动。此外，当预先训练的分岔口检测网络对视频流中连续图像帧的每一图像帧均输出超过预设概率阈值的概率值，紧接着对视频流中连续图像帧的每一图像帧均输出不超过预设概率阈值的概率值，则说明支气管镜已经通过分岔口，此时需要重新对支气管镜采集到的真实肺部图像进行识别，从而判断支气管镜是否达到肺部支气管所含的下一分岔口。
需要说明的是，结合上述对肺部支气管任意一个分岔口fi的说明，在本申请实施例中，支气管镜已抵达肺部支气管任意一个分岔口fi并非是指支气管镜刚好抵达分岔口fi的位置。只要支气管镜与分岔口fi之间的距离不超过预设阈值，例如，支气管镜抵达上述实施例的点Oi即图4示例的气道中心线与虚线的交汇处，都可以认为支气管镜已抵达肺部支气管任意一个分岔口fi。这是因为，一方面，支气管镜的操作者在实际操作支气管镜时不可能十分精准，待到支气管镜刚好抵达分岔口fi时可能由于抖动等原因越过了分岔口fi，而支气管镜与分岔口fi尚有一定距离时可以带来一定的操作裕量；另一方面，在支气管镜刚好抵达肺部支气管任意一个分岔口fi时未必能够完美地拍摄到分岔口fi的图像，而支气管镜在距离分岔口fi不超过预设阈值的位置处，可以使得支气管镜采集到的真实肺部图像可以包含完整的分岔口fi处的图像。
如前所述，肺部支气管的分岔口以多叉树的结构组织，该多叉树的每个节点表示肺部支气管多个分岔口的一个分岔口，而每个节点存储多个位姿数据，一个位姿数据表示支气管镜位于每个节点表示的肺部支气管分岔口时的一个可能位姿。作为本申请一个实施例，将真实肺部图像与分岔口fi对应虚拟图像集合进行配准可以是：获取分岔口fi对应的位姿集合所含的若干位姿数据，和/或获取与分岔口fi相邻的分岔口对应的位姿集合所含的若干位姿数据；将获取到的若干初始位姿分别输入渲染器，得到与分岔口fi对应的虚拟图像集合；将真实肺部图像与渲染器得到的分岔口fi对应的虚拟图像集合进行配准。
上述实施例中，将真实肺部图像与渲染器得到的分岔口fi对应的虚拟图像集合进行配准可以是以获取到的位姿数据为待优化参数，以真实肺部图像与基于获取到的位姿数据确定出的虚拟分岔口局部图像之间的相似度为目标函数，采用无梯度优化将支气管镜在分岔口fi拍摄的真实肺部图像与分岔口fi对应的Ni个虚拟分岔口局部图像进行配准，其中，Ni为大于等于1的整数。
具体地，可以通过如下步骤S1021至步骤S1024实现上述实施例中采用无梯度优化将支气管镜在分岔口fi拍摄的真实肺部图像与分岔口fi对应的Ni个虚拟分岔口局部图像进行配准的过程：
对于Ni个位姿数据中任意一个位姿数据wi，执行如下步骤S1021至步骤S1023：
步骤S1021、将位姿数据x输入渲染器，渲染得到与位姿数据x对应的虚拟分岔口局部图像，其中，位姿数据x为位姿数据wi或者经步骤S1023得到的更新后位姿数据。
需要说明的是，渲染器是指用于对三维模型文件进行渲染处理的渲染引擎，例如，arnold渲染器或vary渲染器。本方案中可以分别将分岔口fi对应的Ni个位姿数据输入预先设置的渲染器，从而得到渲染器输出的支气管镜在分岔口fi时对应的Ni个虚拟支气管局部图像。此外，在进行配准的初始化阶段或者步骤S1021首次执行时，位姿数据x来自于Ni个位姿数据中任意一个位姿数据wi，此后位姿数据x的来源均是每一次循环步骤S1021至步骤S1023后，由步骤S1023得到的更新后位姿数据。
步骤S1022、计算位姿数据x对应的虚拟分岔口局部图像与真实肺部图像的相似度。
步骤S1023、根据经步骤S1022得到的相似度，采用无梯度优化调整位姿数据x以得到更新后位姿数据。
步骤S1024、循环多次执行上述步骤S1021至步骤S1023，直至某一次步骤S1023更新后位姿数据与前一次经过步骤S1023输出的位姿数据之差小于预设阈值或者上述步骤S1021至步骤S1023循环的次数达到预设次数时迭代停止，将迭代停止时得到的更新后位姿数据作为位姿数据wi对应的优化位姿数据owi。
对于Ni个位姿数据中任意一个位姿数据wi，经过若干次步骤S1021至步骤S1023的循环，得到一个位姿数据wi对应的优化位姿数据owi；当对Ni个位姿数据中每个位姿数据循环上述步骤S1021至步骤S1023的操作时，可以得到Ni个优化位姿数据owi。
步骤S1025、将Ni个位姿数据经步骤S1021至步骤S1023得到的Ni个优化位姿数据owi对应的Ni个虚拟分岔口局部图像与真实肺部图像匹配。
由于对于每一个位姿数据x输入渲染器，经其渲染后可以得到与位姿数据x对应的虚拟分岔口局部图像，当循环上述步骤S1021至步骤S1023而迭代停止后得到一个位姿数据wi对应的优化位姿数据owi的同时，渲染得到与优化位姿数据owi对应的虚拟分岔口局部图像；因此，由Ni个位姿数据可以得Ni个优化位姿数据owi对应的Ni个虚拟分岔口局部图像。可以由该Ni个虚拟分岔口局部图像构成分岔口fi对应虚拟图像集合。此后，可以将这Ni个优化位姿数据owi对应的Ni个虚拟分岔口局部图像与真实分岔口局部图像匹配，计算Ni个虚拟分岔口局部图像中每个虚拟分岔口局部图像与真实分岔口局部图像的相似度。
需要说明的是，上述实施例还包括：遍历肺部支气管任意一个分岔口fi对应多叉树的节点的关联节点存储的Mi个位姿数据；以Mi个位姿数据为待优化参数，以真实肺部图像与关联节点对应的Mi个虚拟分岔口局部图像的相似度为目标函数，采用无梯度优化将支气管镜在关联节点拍摄的真实肺部图像与Mi个虚拟分岔口局部图像进行配准。其中，关联节点可以包括分岔口fi对应多叉树的父节点和子节点等。之所以除了遍历肺部支气管任意一个分岔口fi对应多叉树的节点存储的Ni个位姿数据之外，还要遍历该分岔口fi对应多叉树的节点的关联节点，例如分岔口fi对应多叉树的节点的父节点和子节点存储的Mi个位姿数据，是考虑到支气管镜的操作者控制支气管镜移动时，操作者可能将支气管镜向前移动至分岔口fi与子节点之间的气道，或者，操作者还可能将支气管镜向后移动至父节点对应的气道等。在可能存在操作不当的问题时，通过遍历这些关联节点可以修正支气管镜的误操作。因此，上述实施例中，遍历肺部支气管任意一个分岔口fi对应多叉树的节点存储的Ni个位姿数据和遍历该分岔口fi对应多叉树的节点的关联节点存储的Mi个位姿数据的规则是：在支气管镜首次进入肺部的主气道内即进行第一次指引导航时，可以假设支气管镜移动过程中最先拍摄到主气道分岔口。在进行第一次指引导航时仅查找主气道分岔口对应的多叉树的根节点并遍历所查节点中的所有位姿数据。除了初始时刻(支气管镜首次进入肺部的主气道的时刻)，遍历规则为查找前一时刻已知的支气管镜所处支气管分岔口对应节点的父节点、子节点和当前节点，然后遍历节点存储的所有位姿数据，其中，遍历支气管镜所处支气管分岔口对应节点的父节点的原因是支气管镜操作者有可能不会按照屏幕上的指引进入到下一个气道内，而可能按照屏幕指引走出当前气道；搜索当前节点的原因是支气管镜操作者可能在没有到达其他分岔口时又返回当前分岔口；搜索所有子节点的原因是操作者有可能没有按照导航进入被指引的气道内，反而进入了其它气道内。即使在支气管镜操作者误操作时(没有按照导航指引操作)，上述遍历规则依然能指引支气管镜操作者到达正确的目标位置，同时避免了全局搜索的过低效率。以图10为例，图中数字加圆圈表示气道的分岔口，在确定支气管镜抵达肺段支气管所含的分岔口的情况下，首次引导导航时，仅查找主气道分岔口①对应的位姿数据；假设首次引导导航，指引方向指向右边，那么支气管镜沿分岔口①与分岔口③之间的肺段支气管移动，并记录支气管镜已抵达分岔口①；在再次确定支气管镜抵达肺段支气管所含的分岔口的情况下，将前一时刻记录的分岔口①作为当前节点，查找分岔口①对应的父节点和子节点，此时分岔口①不存在父节点，确定的子节点为分岔口②和分岔口③，遍历分岔口①、分岔口②和分岔口③对应的所有位姿数据。以此类推，确定支气管镜抵达哪个分岔口以及与哪些位姿数据进行匹配。
至于上述实施例的以Mi个位姿数据为待优化参数，以真实肺部图像与关联节点对应的Mi个虚拟分岔口局部图像的相似度为目标函数，采用无梯度优化将支气管镜在关联节点拍摄的真实肺部图像与Mi个虚拟分岔口局部图像进行配准，其实现方案与前述实施例的以Ni个位姿数据为待优化参数，以真实肺部图像与分岔口fi对应的Ni个虚拟分岔口局部图像的相似度为目标函数，采用无梯度优化将支气管镜在分岔口fi拍摄的真实肺部图像与分岔口fi对应的Ni个虚拟分岔口局部图像进行配准的实现方案相同，可参阅前述实施例的相关说明，此处不做赘述。
步骤S103、确定匹配于真实肺部图像的虚拟分岔口局部图像Pi，并根据虚拟分岔口局部图像Pi，确定所述支气管镜抵达分岔口fi时的真实位姿。
具体地，在Ni个优化位姿数据owi对应的Ni个虚拟分岔口局部图像中，将与真实肺部图像相似度最高的虚拟分岔口局部图像，选取为虚拟分岔口局部图像Pi；将与真实肺部图像相似度最高的虚拟分岔口局部图像对应的优化位姿数据ow’i作为支气管镜抵达分岔口fi时的真实位姿。
步骤S104、根据支气管镜抵达分岔口fi时的真实位姿，在真实肺部图像上显示用于引导支气管镜从分岔口fi通往目标位置的指引信息。
具体地，作为本申请一个实施例，根据支气管镜抵达分岔口fi时的真实位姿，在真实肺部图像上显示用于引导支气管镜从分岔口fi通往目标位置的指引信息可以是：搜索支气管镜预设导航规划路线位于分岔口fi向下一段支气管的中心线上的第一目标点，其中，相较于支气管镜当前所处的支气管，下一段支气管为距离目标位置更近的支气管；将中心线上的第一目标点投影至虚拟分岔口局部图像Pi上，得到第二目标点；在对应于虚拟分岔口局部图像Pi的真实肺部图像上绘制一条从真实肺部图像的中心至第二目标点的箭头，以用于支气管镜从分岔口fi通往目标位置的指引。上述将中心线上的第一目标点投影至虚拟分岔口局部图像Pi上，具体是根据支气管镜的小孔成像原理和支气管镜抵达分岔口fi时的真实位姿，将中心线上的第一目标点投影至虚拟分岔口局部图像Pi上。如图7所示，给出了支气管镜从分岔口fi至目标位置的指引的示意图。其中，预设导航规划路径可以用于引导支气管镜抵达目标位置，该目标位置即为支气管镜需要抵达的靶点，该靶点可以包括病变部位等。当然，该指引信息还可以直接在预设导航规划路线上显示箭头用于指示方向等，本说明书并不对指引信息的显示形式进行限制。
上述实施例的方法还包括：根据肺部支气管的医学影像，构建肺部支气管分岔口多叉树；获取肺部支气管分岔口多叉树的任意一个节点Node-i对应的位姿集合，其中，肺部支气管分岔口多叉树以多叉树的结构组织肺部支气管的分岔口，肺部支气管分岔口多叉树的任一节点表示肺部支气管的分岔口。此处，获取肺部支气管分岔口多叉树的任意一个节点Node-i对应的位姿集合可以是：根据肺部支气管分岔口多叉树的任意一个节点Node-i对应的点Oi，构建节点Node-i对应的位姿集合；在点Oi的预设三维邻域内选择预设数量的点，并根据点Oi指向所述预设数量的点的多个向量，获得节点Node-i对应的位姿集合内的可能位姿，其中，点Oi表示与节点Node-i表示的分岔口相隔距离阈值的位置，位姿集合为支气管镜位于所述分岔口fi时预设数量的可能位姿的集合。进一步地，根据肺部支气管分岔口多叉树的任意一个节点Node-i对应的点Oi，构建节点Node-i对应的位姿集合具体可以是：以点Oi为圆心、气道中心线在点Oi的切向量为中轴心绘制预设范围的弧面作为节点Node-i对应弧面；在节点Node-i对应弧面上选择预设数量的点，并根据点Oi指向预设数量的点中任意一个点的向量，得到位姿集合中的各个位姿。
本申请实施例中，当确定支气管镜抵达肺部支气管的分岔口fi时，将支气管镜在该分岔口fi拍摄的真实分岔口局部图像与分岔口fi对应的Ni个虚拟分岔口局部图像进行配准，进而确定支气管镜抵达该分岔口fi时的真实位姿，最后根据支气管镜抵达该分岔口fi时的真实位姿，在真实分岔口局部图像上显示支气管镜从分岔口fi至目标位置的指引。由于是在确定支气管镜抵达肺部支气管的分岔口fi时才执行真实分岔口局部图像与虚拟分岔口局部图像的配准等相关动作，相较于现有技术时时处处都需要对支气管镜进行定位，本申请不仅无需消耗过多的算力亦可以实现支气管定位的目的，而且较简单的算法和不多的算力消耗亦可保证了支气管定位的实时性。
参见图8，本申请一实施例提供的肺部支气管镜导航装置的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。该装置可以是计算机终端，或者，配置于该计算机终端的软件模块。如图8所示，该装置包括：第一确定模块801、配准模块802、第二确定模块803和显示模块804，详述如下：
第一确定模块801，用于通过对支气管镜采集到的真实肺部图像的识别，确定支气管镜是否抵达肺部支气管所含的分岔口；
配准模块802，用于若确定支气管镜抵达肺部支气管所含的分岔口，则获得匹配于支气管镜当前所处肺段支气管的分岔口fi，并将真实肺部图像与分岔口fi对应虚拟图像集合进行配准，其中，虚拟图像集合包括若干个虚拟分岔口局部图像，并且每个虚拟分岔口局部图像对应支气管镜位于分岔口fi时的一个可能位姿；
第二确定模块803，用于确定匹配于真实肺部图像的虚拟分岔口局部图像Pi，并根据虚拟分岔口局部图像Pi，确定支气管镜抵达分岔口fi时的真实位姿；
显示模块804，用于根据支气管镜抵达分岔口fi时的真实位姿，在真实肺部图像上显示用于引导支气管镜从分岔口fi通往目标位置的指引信息。
进一步地，图8示例的第一确定模块801还用于提取真实肺部图像中的图像特征，将提取到的图像特征输入预先训练的分岔口检测网络；获得分岔口检测网络输出的真实肺部图像的对应的概率结果，并根据概率结果确定支气管镜是否抵达肺部支气管所含的分岔口。
进一步地，上述根据概率结果确定支气管镜是否抵达肺部支气管所含的分岔口包括：若概率结果大于概率阈值，确定支气管镜已抵达肺部支气管所含的分岔口；或者，统计连续多个真实肺部图像中对应的概率结果大于概率阈值的数量，并在统计的数量大于预设数量阈值的情况下，确定支气管镜已抵达肺部支气管所含的分岔口。
进一步地，图8示例的配准模块802还用于获取分岔口fi对应的位姿集合所含的若干位姿数据，和/或获取与分岔口fi相邻的分岔口对应的位姿集合所含的若干位姿数据；以获取到的位姿数据为待优化参数，以真实肺部图像与基于获取到的位姿数据确定出的虚拟分岔口局部图像之间的相似度为目标函数，采用无梯度优化将支气管镜在分岔口fi拍摄的真实肺部图像与分岔口fi对应的Ni个虚拟分岔口局部图像进行配准。
进一步地，上述以获取到的初始位姿为待优化参数，以真实肺部图像与基于获取到的初始位姿确定出的虚拟分岔口局部图像之间的相似度为目标函数，采用无梯度优化将支气管镜在分岔口fi拍摄的真实肺部图像与分岔口fi对应的Ni个虚拟分岔口局部图像进行配准，包括：对于获取到的Ni个位姿数据中任意一个位姿数据wi，执行如下步骤S1至步骤S3：步骤S1：将位姿数据x输入渲染器，渲染得到与位姿数据x对应的虚拟分岔口局部图像，位姿数据x为位姿数据wi或者经步骤S3得到的更新后位姿数据；步骤S2：计算位姿数据x对应的虚拟分岔口局部图像与真实肺部图像的相似度；步骤S3：根据相似度，采用无梯度优化调整位姿数据x以得到更新后位姿数据；循环步骤S1至步骤S3，直至更新后位姿数据与执行调整之前的位姿数据之差小于预设阈值或者步骤S1至步骤S3循环的次数达到预设次数时迭代停止，将迭代停止时得到的更新后位姿数据作为位姿数据wi对应的优化位姿数据owi；步骤S4：将Ni个位姿数据经步骤S1至步骤S3得到的Ni个优化位姿数据owi对应的Ni个虚拟分岔口局部图像与真实肺部图像匹配。
进一步地，上述确定匹配于真实肺部图像的虚拟分岔口局部图像Pi，并根据虚拟分岔口局部图像Pi，确定支气管镜抵达分岔口fi时的真实位姿，包括：在Ni个优化位姿数据owi对应的Ni个虚拟分岔口局部图像中，将与真实肺部图像相似度最高的虚拟分岔口局部图像，选取为虚拟分岔口局部图像Pi；将与真实肺部图像相似度最高的虚拟分岔口局部图像对应的优化位姿数据ow’i作为支气管镜抵达分岔口fi时的真实位姿。
进一步地，图8示例的显示模块804还用于搜索支气管镜预设导航规划路线位于分岔口fi向下一段支气管的中心线上的第一目标点；将中心线上的第一目标点投影至虚拟分岔口局部图像Pi上，得到第二目标点；在真实肺部图像上绘制一条从真实肺部图像的中心至第二目标点的箭头，以用于支气管镜从分岔口fi通往目标位置的指引。
进一步地，图8示例的装置还可以包括分岔口多叉树构建模块和位姿集合获取模块，其中：
分岔口多叉树构建模块，用于根据肺部支气管的医学影像，构建肺部支气管分岔口多叉树，肺部支气管分岔口多叉树以多叉树的结构组织肺部支气管的分岔口，肺部支气管分岔口多叉树的任一节点表示肺部支气管的分岔口；
位姿集合获取模块，用于获取肺部支气管分岔口多叉树的任意一个节点Node-i对应的位姿集合，位姿集合为支气管镜位于节点Node-i时预设数量的可能位姿的集合。
进一步地，上述获取肺部支气管分岔口多叉树的任意一个节点Node-i对应的位姿集合包括：确定肺部支气管分岔口多叉树的任意一个节点Node-i对应的点Oi，点Oi表示与节点Node-i相隔距离阈值的位置；在点Oi的预设三维邻域内选择预设数量的点，并根据点Oi指向预设数量的点的多个向量，构建节点Node-i对应的位姿集合。
进一步地，上述根据点Oi指向预设数量的点的多个向量，构建节点Node-i对应的位姿集合包括：以点Oi为圆心、气道中心线在点Oi的切向量为中轴心绘制预设范围的弧面作为节点Node-i对应弧面；在节点Node-i对应弧面上选择预设数量的点，并根据点Oi指向预设数量的点中任意一个点的向量，得到位姿集合中的各个位姿。
进一步地，上述将真实肺部图像与分岔口fi对应虚拟图像集合进行配准包括：获取分岔口fi对应的位姿集合所含的若干位姿数据，和/或获取与分岔口fi相邻的分岔口对应的位姿集合所含的若干位姿数据；将获取到的若干初始位姿分别输入渲染器，得到与分岔口fi对应的虚拟图像集合；将真实肺部图像与渲染器得到的分岔口fi对应的虚拟图像集合进行配准。
上述各模块实现各自功能的具体过程可参考图3至图5所示实施例中的相关内容，此处不再赘述。
本申请实施例中，当确定支气管镜抵达肺部支气管的分岔口fi时，将支气管镜在该分岔口fi拍摄的真实分岔口局部图像与分岔口fi对应的Ni个虚拟分岔口局部图像进行配准，进而确定支气管镜抵达该分岔口fi时的真实位姿，最后根据支气管镜抵达该分岔口fi时的真实位姿，在真实分岔口局部图像上显示支气管镜从分岔口fi至目标位置的指引。由于是在确定支气管镜抵达肺部支气管的分岔口fi时才执行真实分岔口局部图像与虚拟分岔口局部图像的配准等相关动作，相较于现有技术时时处处都需要对支气管镜进行定位，本申请不仅无需消耗过多的算力亦可以实现支气管定位的目的，而且较简单的算法和不多的算力消耗亦可保证了支气管定位的实时性。
参见图9，本申请一实施例提供的电子装置的硬件结构示意图。
示例性的，电子装置可以为非可移动的或可移动或便携式并执行无线或有线通信的各种类型的计算机系统设备中的任何一种。具体的，该电子装置可以为台式电脑、服务器、移动电话或智能电话(例如，基于iPhone TM，基于Android TM的电话)，便携式游戏设备(例如Nintendo DS TM，PlayStation Portable TM，Gameboy Advance TM，iPhone TM)、膝上型电脑、PDA、便携式互联网设备、便携式医疗设备、智能相机、音乐播放器以及数据存储设备，其他手持设备以及诸如手表、耳机、吊坠、耳机等，电子装置还可以为其他的可穿戴设备(例如，诸如电子眼镜、电子衣服、电子手镯、电子项链以及其他头戴式设备(HMD))。
如图9所示，电子装置100可以包括控制电路，该控制电路可以包括存储和处理电路300。该存储和处理电路300可以包括存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程限制删除的存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路300中的处理电路可以用于控制电子装置100的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。
存储和处理电路300可用于运行电子装置100中的软件，例如互联网浏览应用程序，互联网协议语音(Voice over Internet Protocol，VOIP)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示器上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子装置100中的其它功能等，本申请实施例不作限制。
进一步的，该存储器存储有可执行程序代码，与该存储器耦合的处理器，调用该存储器中存储的该可执行程序代码，执行如前述各实施例中描述的射频操作提示方法。
其中，该可执行程序代码包括如上述图8所示实施例中描述的肺部支气管镜导航装置中的各个模块，例如：第一确定模块801、配准模块802、第二确定模块803和显示模块804等。上述模块实现各自功能的具体过程可参考图8的相关描述，此处不再赘述。
电子装置100还可以包括输入/输出电路420。输入/输出电路420可用于使电子装置100实现数据的输入和输出，即允许电子装置100从外部设备接收数据和也允许电子装置100将数据从电子装置100输出至外部设备。输入/输出电路420可以进一步包括传感器320。传感器320可以包括环境光传感器，基于光和电容的接近传感器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，和其它传感器等。
输入/输出电路420还可以包括一个或多个显示器，例如显示器140。显示器140可以包括液晶显示器，有机发光二极管显示器，电子墨水显示器，等离子显示器，使用其它显示技术的显示器中一种或者几种的组合。显示器140可以包括触摸传感器阵列(即，显示器140可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。
电子装置100还可以包括音频组件360。音频组件360可以用于为电子装置100提供音频输入和输出功能。电子装置100中的音频组件360可以包括扬声器，麦克风，蜂鸣器，音调发生器以及其它用于产生和检测声音的组件。
通信电路380可以用于为电子装置100提供与外部设备通信的能力。通信电路380可以包括模拟和数字输入/输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路380中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路380中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near Field Communication，NFC)的电路。例如，通信电路380可以包括近场通信天线和近场通信收发器。通信电路380还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。
电子装置100还可以进一步包括电池，电力管理电路和其它输入/输出单元400。输入/输出单元400可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。
用户可以通过输入/输出电路420输入命令来控制电子装置100的操作，并且可以使用输入/输出电路420的输出数据以实现接收来自电子装置100的状态信息和其它输出。
进一步的，本申请实施例还提供了一种非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质可以配置于上述各实施例中的服务器中，该非暂时性计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述各实施例中描述的肺部支气管镜导航方法。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块/单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (13)

1.一种肺部支气管镜导航方法，其特征在于，所述方法包括：
通过对支气管镜采集到的真实肺部图像的识别，确定支气管镜是否抵达肺部支气管所含的分岔口；
若确定所述支气管镜抵达肺部支气管所含的分岔口，则获得匹配于所述支气管镜当前所处肺段支气管的分岔口fi，并将所述真实肺部图像与所述分岔口fi对应的虚拟图像集合进行配准，所述虚拟图像集合包括Ni个虚拟分岔口局部图像，并且每个所述虚拟分岔口局部图像对应所述支气管镜位于所述分岔口fi时的一个可能位姿；
确定所述分岔口fi对应的Ni个位姿数据中的每个所述位姿数据对应的优化位姿数据owi；在Ni个所述优化位姿数据owi对应的Ni个虚拟分岔口局部图像中，将与所述真实肺部图像相似度最高的虚拟分岔口局部图像，选取为所述虚拟分岔口局部图像Pi；将与所述真实肺部图像相似度最高的虚拟分岔口局部图像对应的优化位姿数据ow’i作为所述支气管镜抵达分岔口fi时的真实位姿；
根据所述支气管镜抵达所述分岔口fi时的真实位姿，在所述真实肺部图像上显示用于引导所述支气管镜从分岔口fi通往目标位置的指引信息。
2.如权利要求1所述肺部支气管镜导航方法，其特征在于，所述通过对支气管镜采集到的真实肺部图像的识别，确定支气管镜是否抵达肺部支气管所含的分岔口，包括：
提取所述真实肺部图像中的图像特征，将提取到的图像特征输入预先训练的分岔口检测网络；
获得所述分岔口检测网络输出的所述真实肺部图像的对应的概率结果，并根据所述概率结果确定所述支气管镜是否抵达肺部支气管所含的分岔口。
3.如权利要求2所述肺部支气管镜导航方法，其特征在于，所述根据所述概率结果确定所述支气管镜是否抵达肺部支气管所含的分岔口，包括：
若所述概率结果大于概率阈值，确定所述支气管镜已抵达肺部支气管所含的分岔口；
或者，统计连续多个所述真实肺部图像中对应的概率结果大于概率阈值的数量，并在统计的数量大于预设数量阈值的情况下，确定所述支气管镜已抵达肺部支气管所含的分岔口。
4.如权利要求1所述肺部支气管镜导航方法，其特征在于，所述将所述真实肺部图像与所述分岔口fi对应的虚拟图像集合进行配准，包括：
获取所述分岔口fi对应的位姿集合所含的Ni个位姿数据，和/或获取与所述分岔口fi相邻的分岔口对应的位姿集合所含的Ni个位姿数据；
以获取到的位姿数据为待优化参数，以所述真实肺部图像与基于获取到的位姿数据确定出的虚拟分岔口局部图像之间的相似度为目标函数，采用无梯度优化将所述支气管镜在所述分岔口fi拍摄的真实肺部图像与所述分岔口fi对应的Ni个虚拟分岔口局部图像进行配准。
5.如权利要求4所述肺部支气管镜导航方法，其特征在于，所述确定所述分岔口fi对应的Ni个位姿数据中的每个所述位姿数据对应的优化位姿数据owi，包括：
步骤S1：将位姿数据x输入渲染器，渲染得到与所述位姿数据x对应的虚拟分岔口局部图像，所述位姿数据x为所述位姿数据wi或者经步骤S3得到的更新后位姿数据；
步骤S2：计算所述位姿数据x对应的虚拟分岔口局部图像与所述真实肺部图像的相似度；
步骤S3：根据所述相似度，采用无梯度优化调整所述位姿数据x以得到更新后位姿数据；
循环所述步骤S1至步骤S3，直至所述更新后位姿数据与执行调整之前的位姿数据之差小于预设阈值或者所述步骤S1至步骤S3循环的次数达到预设次数时迭代停止，将迭代停止时得到的更新后位姿数据作为所述位姿数据wi对应的优化位姿数据owi；所述将所述支气管镜在所述分岔口fi拍摄的真实肺部图像与所述分岔口fi对应的Ni个虚拟分岔口局部图像进行配准包括：将所述Ni个位姿数据经所述步骤S1至步骤S3得到的Ni个优化位姿数据owi对应的Ni个虚拟分岔口局部图像与所述真实肺部图像匹配。
6.如权利要求1所述肺部支气管镜导航方法，其特征在于，所述根据所述支气管镜抵达所述分岔口fi时的真实位姿，在所述真实肺部图像上显示用于引导所述支气管镜从分岔口fi通往目标位置的指引信息，包括：
搜索支气管镜预设导航规划路线位于所述分岔口fi向下一段支气管的中心线上的第一目标点；
将所述中心线上的第一目标点投影至所述虚拟分岔口局部图像Pi上，得到第二目标点；
在所述真实肺部图像上绘制一条从所述真实肺部图像的中心至所述第二目标点的箭头，以用于所述支气管镜从所述分岔口fi通往目标位置的指引。
7.如权利要求1所述肺部支气管镜导航方法，其特征在于，所述方法还包括：
根据所述肺部支气管的医学影像，构建肺部支气管分岔口多叉树，所述肺部支气管分岔口多叉树以多叉树的结构组织所述肺部支气管的分岔口，所述肺部支气管分岔口多叉树的任一节点表示所述肺部支气管的分岔口；
获取所述肺部支气管分岔口多叉树的任意一个节点Node-i对应的位姿集合，所述位姿集合为所述支气管镜位于所述节点Node-i时预设数量的可能位姿的集合。
8.如权利要求7所述肺部支气管镜导航方法，其特征在于，所述获取所述肺部支气管分岔口多叉树的任意一个节点Node-i对应的位姿集合，包括：
确定所述肺部支气管分岔口多叉树的任意一个节点Node-i对应的点Oi，所述点Oi表示与所述节点Node-i相隔距离阈值的位置；
在所述点Oi的预设三维邻域内选择预设数量的点，并根据所述点Oi指向所述预设数量的点的多个向量，构建节点Node-i对应的位姿集合。
9.如权利要求8所述肺部支气管镜导航方法，其特征在于，所述根据所述点Oi指向所述预设数量的点的多个向量，构建节点Node-i对应的位姿集合，包括：
以所述点Oi为圆心、气道中心线在所述点Oi的切向量为中轴心绘制预设范围的弧面作为所述节点Node-i对应弧面；
在所述节点Node-i对应弧面上选择预设数量的点，并根据所述点Oi指向所述预设数量的点中任意一个点的向量，得到所述位姿集合中的各个位姿。
10.如权利要求7所述肺部支气管镜导航方法，其特征在于，所述将所述真实肺部图像与所述分岔口fi对应的虚拟图像集合进行配准，包括：
获取分岔口fi对应的位姿集合所含的Ni个位姿数据，和/或获取与所述分岔口fi相邻的分岔口对应的位姿集合所含的Ni个位姿数据；
将获取到的Ni个位姿数据分别输入渲染器，得到与所述分岔口fi对应的虚拟图像集合；
将所述真实肺部图像与所述渲染器得到的与所述分岔口fi对应的虚拟图像集合进行配准。
11.一种肺部支气管镜导航装置，其特征在于，所述装置包括：
第一确定模块，用于通过对支气管镜采集到的真实肺部图像的识别，确定支气管镜是否抵达肺部支气管所含的分岔口；
配准模块，用于若确定所述支气管镜抵达肺部支气管所含的分岔口，则获得匹配于所述支气管镜当前所处肺段支气管的分岔口fi，并将所述真实肺部图像与所述分岔口fi对应的虚拟图像集合进行配准，所述虚拟图像集合包括Ni个虚拟分岔口局部图像，并且每个所述虚拟分岔口局部图像对应所述支气管镜位于所述分岔口fi时的一个可能位姿；
第二确定模块，用于确定所述分岔口fi对应的Ni个位姿数据中的每个所述位姿数据对应的优化位姿数据owi；
所述第二确定模块，还用于在Ni个优化位姿数据owi对应的Ni个虚拟分岔口局部图像中，将与所述真实肺部图像相似度最高的虚拟分岔口局部图像，选取为所述虚拟分岔口局部图像Pi；将与所述真实肺部图像相似度最高的虚拟分岔口局部图像对应的优化位姿数据ow’i作为所述支气管镜抵达分岔口fi时的真实位姿；
显示模块，用于根据所述支气管镜抵达所述分岔口fi时的真实位姿，在所述真实肺部图像上显示用于引导所述支气管镜从分岔口fi通往目标位置的指引信息。
12.一种电子装置，其特征在于，所述电子装置包括：存储器和处理器；
所述存储器存储有可执行程序代码；
与所述存储器耦合的所述处理器，调用所述存储器中存储的所述可执行程序代码，执行如权利要求1至10中的任一项所述的肺部支气管镜导航方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至10中的任一项所述的肺部支气管镜导航方法。
CN202111679778.6A 2021-12-31 2021-12-31 肺部支气管镜导航方法、电子装置及计算机可读存储介质 Active CN116416414B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111679778.6A CN116416414B (zh) 2021-12-31 2021-12-31 肺部支气管镜导航方法、电子装置及计算机可读存储介质
PCT/CN2022/138720 WO2023124979A1 (zh) 2021-12-31 2022-12-13 肺部支气管镜导航方法、电子装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111679778.6A CN116416414B (zh) 2021-12-31 2021-12-31 肺部支气管镜导航方法、电子装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN116416414A CN116416414A (zh) 2023-07-11
CN116416414B true CN116416414B (zh) 2023-09-22

Family

ID=86997740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111679778.6A Active CN116416414B (zh) 2021-12-31 2021-12-31 肺部支气管镜导航方法、电子装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN116416414B (zh)
WO (1) WO2023124979A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006076789A1 (en) * 2005-01-24 2006-07-27 Claron Technology Inc. A bronchoscopy navigation system and method
CN1823349A (zh) * 2003-07-11 2006-08-23 西门子共同研究公司 内窥镜路径规划的系统和方法
CN107456278A (zh) * 2016-06-06 2017-12-12 北京理工大学 一种内窥镜手术导航方法和系统
CN113112609A (zh) * 2021-03-15 2021-07-13 同济大学 一种面向肺部活检支气管镜的导航方法和系统
CN113616333A (zh) * 2021-09-13 2021-11-09 上海微创医疗机器人（集团）股份有限公司 导管运动辅助方法、导管运动辅助系统及可读存储介质
CN113793357A (zh) * 2021-07-07 2021-12-14 点内（上海）生物科技有限公司 一种基于深度学习的支气管肺段图像分割方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014028394A1 (en) * 2012-08-14 2014-02-20 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
CN104755009B (zh) * 2013-04-15 2017-04-19 奥林巴斯株式会社 内窥镜系统
WO2018215919A2 (en) * 2017-05-23 2018-11-29 Alireza Ahmadian Navigating an imaging instrument in a branched structure
CN112741692B (zh) * 2020-12-18 2021-12-14 上海卓昕医疗科技有限公司 实现将器件导航至目标组织位置的快速导航方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1823349A (zh) * 2003-07-11 2006-08-23 西门子共同研究公司 内窥镜路径规划的系统和方法
WO2006076789A1 (en) * 2005-01-24 2006-07-27 Claron Technology Inc. A bronchoscopy navigation system and method
CN107456278A (zh) * 2016-06-06 2017-12-12 北京理工大学 一种内窥镜手术导航方法和系统
CN113112609A (zh) * 2021-03-15 2021-07-13 同济大学 一种面向肺部活检支气管镜的导航方法和系统
CN113793357A (zh) * 2021-07-07 2021-12-14 点内（上海）生物科技有限公司 一种基于深度学习的支气管肺段图像分割方法及系统
CN113616333A (zh) * 2021-09-13 2021-11-09 上海微创医疗机器人（集团）股份有限公司 导管运动辅助方法、导管运动辅助系统及可读存储介质

Also Published As

Publication number Publication date
WO2023124979A1 (zh) 2023-07-06
CN116416414A (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
CN110738263B (zh) 一种图像识别模型训练的方法、图像识别的方法及装置
WO2020253663A1 (zh) 基于人工智能的图像区域识别方法、模型训练方法及装置
WO2020233464A1 (zh) 模型训练方法、装置、存储介质及设备
WO2020156245A1 (zh) 动作识别方法、装置、设备及存储介质
CN111652121A (zh) 一种表情迁移模型的训练方法、表情迁移的方法及装置
CN109086709A (zh) 特征提取模型训练方法、装置及存储介质
US20190244132A1 (en) Information processing device and information processing method
CN108520251A (zh) 关键点检测方法及装置、电子设备和存储介质
CN109978886A (zh) 图像处理方法及装置、电子设备和存储介质
CN109145809B (zh) 一种记谱处理方法和装置以及计算机可读存储介质
CN111813532B (zh) 一种基于多任务机器学习模型的图像管理方法及装置
CN108491804B (zh) 一种棋局展示的方法、相关装置及系统
CN111672109B (zh) 一种游戏地图生成的方法、游戏测试的方法以及相关装置
CN112101329B (zh) 一种基于视频的文本识别方法、模型训练的方法及装置
JP7431977B2 (ja) 対話モデルの訓練方法、装置、コンピュータ機器及びプログラム
CN109903773A (zh) 音频处理方法、装置及存储介质
CN113284142B (zh) 图像检测方法、装置、计算机可读存储介质及计算机设备
CN111009031B (zh) 一种人脸模型生成的方法、模型生成的方法及装置
CN108093167A (zh) 使用自然语言命令可操作的相机
CN110555102A (zh) 媒体标题识别方法、装置及存储介质
WO2020221121A1 (zh) 视频查询方法、装置、设备及存储介质
CN111640103A (zh) 图像检测方法、装置、设备以及存储介质
US11450010B2 (en) Repetition counting and classification of movements systems and methods
CN104541304B (zh) 使用多个相机的目标对象角度确定
CN116416414B (zh) 肺部支气管镜导航方法、电子装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant