CN102596003A - 使用内窥镜判定气道直径的系统和方法 - Google Patents

使用内窥镜判定气道直径的系统和方法 Download PDF

Info

Publication number
CN102596003A
CN102596003A CN2010800502915A CN201080050291A CN102596003A CN 102596003 A CN102596003 A CN 102596003A CN 2010800502915 A CN2010800502915 A CN 2010800502915A CN 201080050291 A CN201080050291 A CN 201080050291A CN 102596003 A CN102596003 A CN 102596003A
Authority
CN
China
Prior art keywords
character
inner chamber
group
instrument
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800502915A
Other languages
English (en)
Other versions
CN102596003B (zh
Inventor
詹森·大卫·吉布斯
亨盖·维博沃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Kunbo Biotechnology Co Ltd
Original Assignee
Broncus Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Broncus Technologies Inc filed Critical Broncus Technologies Inc
Publication of CN102596003A publication Critical patent/CN102596003A/zh
Application granted granted Critical
Publication of CN102596003B publication Critical patent/CN102596003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676Bronchoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/41Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/414Evaluating particular organs or parts of the immune or lymphatic systems
    • A61B5/415Evaluating particular organs or parts of the immune or lymphatic systems the glands, e.g. tonsils, adenoids or thymus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/41Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/414Evaluating particular organs or parts of the immune or lymphatic systems
    • A61B5/418Evaluating particular organs or parts of the immune or lymphatic systems lymph vessels, ducts or nodes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12Arrangements for detecting or locating foreign bodies

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pulmonology (AREA)
  • Vascular Medicine (AREA)
  • Immunology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Endocrinology (AREA)
  • Physiology (AREA)
  • Otolaryngology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种使用内窥镜仪器判定在各种状态下的身体内腔的解剖学性质的方法和系统。在对应于例如充气或放气状态的两种或更多状态下识别诸如内腔直径的内腔性质。互相配准内腔状态并且在内窥镜或使用内窥镜的内窥镜仪器的位置处实时地识别解剖学性质。在一种实施方式中,在气管镜的位置处实时地识别气道的直径范围。

Description

使用内窥镜判定气道直径的系统和方法
相关申请的交叉引用
本申请要求于2009年9月17日提交的、标题为“System and MethodFor Determining Airway Diameter Using Endoscope(使用内窥镜判定气道直径的系统和方法)”的美国临时申请第61/243,310号和于2010年9月17日提交的、标题为“System and Method For Determining Airway DiameterUsing Endoscope(使用内窥镜判定气道直径的系统和方法)”的非临时美国申请第12/884,735号的优先权。
发明背景
内窥镜检查是允许医师通过内窥镜审问身体内部的微创医疗程序和观察解剖结构的方法,内窥镜提供了照亮解剖结构的光源。通常,内窥镜包括与提供视频输出的观察透镜或照相机连接的一组光纤束。内窥镜的实例包括用于在结肠中检查和治疗使用的结肠镜和用于肺部中的气管和分支气道的气管镜。这种设备允许医师通过自然孔口深入到身体,将在执行更多的侵入性程序时可能需要的创伤减到最小。
通常连同医疗图像的分析一起执行内窥镜程序,通过医生的脑力评估或计算机辅助的图像分析。当医师可能受限于他们通过内窥镜的观察能力时,或通过指引医师到达某一感兴趣的诊断区域来最小化程序次数时,这种图像分析很有用。医疗图像的实例是那些通过荧光镜检查、计算机断层扫描(CT)或磁共振成像而产生的图像。这种成像允许医师识别可能在内窥镜程序期间不可观察的解剖结构的部分。例如,在经胸廓穿刺的活组织切片检查中,通过气管镜放置针以取样淋巴结,淋巴结位于腔外,或超出气道壁并且因此不可能直接可视。CT扫描通常用于判定要被取样的淋巴结相对于气道的位置。对于肺癌的诊断和分期而言,这种淋巴结取样很重要。
图像分析还用于识别解剖结构的尺寸如气道的直径。在某些程序中如,例如,判定位于气管中的气管支气管支架的大小,或判定要被放置在部分支气管内腔中的气管内阀的大小,该信息是有用的。然而,由于一些因素——包括肺部的潮汐运动,即肺部的吸气和呼气更改内腔的尺寸,这种判定是复杂的。另外,尺寸可以沿着内腔的长度改变。
尽管一些已知图像分析技术的可用性,需要一种用于实时地获得特定位置处的尺寸信息的方法和系统。
发明概述
一种使用内窥镜仪器判定身体内腔的性质的方法,包括判定沿着内腔的多组性质。多组性质可以与处于多个状态的内腔相对应。将沿着内腔的多组性质相互配准。该方法还估算仪器相对于内腔的位置和识别在仪器的位置处的内腔的性质。例如,仪器可以是气管镜以及身体内腔可以是气道,气道的直径是要被判定的性质。
该方法还可以包括选择身体内腔的长度的至少一部分并且计算在各种状态中的内腔的体积。多种状态可以包括与充气和放气状态中的内腔相对应的第一状态和第二状态。另外,该方法包括估算沿着内腔的第三组性质。估算沿着内腔的第三组性质可以基于第一组性质和第二组性质,或可以与在单独状态的内腔相对应。该方法可以包括识别和/或显示性质组。
另外,该方法可以包括基于以上参考的识别步骤在内腔中部署植入物的步骤。植入物可以包括与性质组相关联的植入物尺寸。内腔可以是气管,性质是内径,并且植入物是气管支架。在部署植入物之前,该方法可以包括基于所识别的性质的组从具有不同大小的多个支架选择气管支架。
本发明可以利用实时内窥镜,并且在外科手术期间实时地执行性质识别。性质还可以来源于由身体内腔的CT扫描而产生的分段三维模型数据。使用基于图像到图像的配准方法可以实现估算内窥镜的位置的步骤。可以在配准步骤之前或继配准步骤之后执行该估算步骤。
还公开了一种使用内窥镜仪器判定身体内腔的性质的系统。该系统包括处理器,该处理器被操作为:判定沿着内腔的多组性质;将沿着内腔的性质相互配准;估算仪器相对于内腔的位置;以及,识别与内腔中的仪器的位置相对应的至少一个性质。仪器可以是实时内窥镜。该系统还可以包括植入物和植入物递送仪器。植入物具有与由该系统识别的性质相关联的尺寸。在一种实施方式中,性质是直径。
根据以下的结合附图的详细描述,本发明的描述、目标和优势将变得明显。本公开内容和发明特别包括各种实施方式的特征的组合以及各种可能的实施方式的组合。
附图简述
图1图示了本发明的一实施方式的步骤;
图2图示了本发明的另一实施方式的步骤;
图3A和图3B分别图示了所配准的气道内腔在包括充气状态和放气状态的两种不同状态中的倾斜CT片;以及
图4图示了用于实现本发明的系统。
本发明的详细描述
本文描述了用于判定身体内腔,例如,气道的各种性质的微创方法和系统。图1示出了本发明的一实施方式,包括一序列图像处理和配准步骤以在内窥镜程序期间识别在特定位置处的身体内腔的一个或多个解剖学性质。特别地,并且如以下更详细地解释的,本发明的一种实施方式包括:(1)获取同时在至少两种不同状态中的内腔的医疗图像数据;(2)根据图像数据分割内腔;(3)判定在每一状态中的内腔的解剖学性质;(3)将与第一状态中的内腔相对应的解剖学性质配准至与第二状态中的内腔相对应的解剖学性质;(4)估算内窥镜的位置;(5)识别与内窥镜的位置相对应的第一状态和第二状态中的内腔的性质。
获取医疗图像数据
如以上所描述的,并且参考图1,第一步骤是当内腔处于不同的状态10、20时获取身体内腔的医疗图像数据。对于用于气管镜检查程序的使胸部成像的具体情况,形式通常是计算机断层扫描(CT)。然而,可以采用其他的成像形式如磁共振成像(MRI)或正电子发射断层扫描(PET)以描绘不同状态中的解剖结构。仍然可以采用其他的成像形式并且其他的成像形式是本发明的一部分。
图3A-3B示出了在两种不同状态中的一个气道的CT胸部扫描。图3A示出了在充气的第一状态14中的气道。在该实施方式中,获得在总肺活量下的充气的气道14,受验者在肺部内容纳尽可能多的空气。
图3B示出了在放气的第二状态24中的气道。在该实施方式中,获得在余气量下的放气的气道24,病人尽量从肺部驱排出可能多的空气。尽管描述了两种不同的状态,本发明不被如此限制。当需要时可以在其他的(例如,第三、第四、第五等)状态下成像和分析气道或身体内腔。同样,内腔的状态可以变化很大。在本发明的一种实施方式中,如以上所描述的,第一状态是充气状态。该第一状态可以是完全充气或较少充气中的一个。事实上,可以基于要获得的理想测量选择状态。
分割身体内腔
继获取处于两种不同状态的内腔的图像数据之后,必须从图像中的其他结构提取内腔。除其他事项之外,图2示出了一组图像处理步骤以建模如由Gibbs等人描述的气道树,“3D MDCT-Based System for PlanningPeripheral Bronchoscopic Procedures,”Computers in Biology and Medicine(应用在生物与医学中的计算机),2009。尽管对建模气道树的该算法进行了参考,结合本发明可以使用其他技术以生成身体内腔的模型。
参考图2,气道树模型包括各种成分,其中第一成分是以上描述的图像数据的分割。这些步骤被示出为分别与第一状态中的气道的分割和第二状态中的气道的分割相对应的步骤32和步骤42。气道树分割识别在属于气道树内腔的CT扫描中的体元组。已有在文献中描述的从CT扫描生成气道树分割的各种方法,包括如下方法:由Vining等人在美国专利7,149,564中发布的,由Summers等人在美国专利6,246,784中发布的,或由Vaz等人在美国专利申请11/299,571中发布的,由Graham等人在“Robust System for Human Airway-Tree Segmentation(用于人类气道树分割的鲁棒系统,”SPIE Medical Imaging(医学成像)2008:Image Processing(图像处理),第69141J-1 69141J-18页发布的,由Tschirren等人在“Intrathoracic Airway Trees:Segmentation and Airway MorphologyAnalysis from Low-Dose CT Scans(胸廓内气道树:根据低剂量CT扫描的分割和气道形态学分析),”IEEE Transactions on Medical Imaging(IEEE关于医学成像的汇报),2005,第1529-1539页发布的,和由Preteux等人在“Modeling,Segmentation,and Caliber Estimation of Bronchi inHigh-Resolution Computerized Tomography(在高分辨率计算机断层扫描中的支气管的建模、分割和口径估算),”Journal of Electronic Imaging(电子成像杂志),1999,第36-45页公布的。
根据在第一状态和第二状态下的气道树分割和胸部CT扫描,空气和气道组织之间的接触面的多边形气道壁网格表面被识别为在第一状态52和第二状态62下的解剖结构。当网格多边形的顶点被放置具有子体元精确度时,当与气道树分割相比时,多边形网格提供气道树的较高保真度表示。子体元网格顶点放置算法通常依赖部分体积平均现象,在包含不相交类型的物质(例如,气道组织和空气)的CT体元中可观察部分体积平均现象。这种体元的灰度值是在由物质的体积加权的体元内的物质的标称灰度值的平均。例如,一半充满标称灰度值为-1000Hounsfield单位(HU)的空气和一半充满标称灰度值为0HU的水的体元将具有重建的灰度值500HU。使用体元的灰度值和在局部邻近地区中的体元的相对几何,可以通过诸如在由Cline等人在美国专利4,710,876中公开的Marching Cubes算法快速地形成多边形网格。最近,已经提出其他的方法用于在存在CT成像噪声的情况下生成更精确的多边形气道网格,以及解剖变异如在Gibbs等人的“3D MDCT-Based System for Planning PeripheralBronchoscopic Procedures(用于规划周边的气管镜检查程序的基于三维MDCT的系统),”Computers in Biology and Medicine(应用在生物与医学中的计算机),2009,第266-279页中发布的,Saragaglia等人在“Airwaywall thickness assessment:A New Functionality in Virtual BronchoscopyInvestigation(气道壁厚度评估:在虚拟气管镜检查调查中的新功能),”SPIE Medical Imaging(医学成像)2007:Physiology,Function,and Structurefrom Medical Images(来自医学图像的生理学、功能和结构),第65110P-1-65110P-12中发布的。依据本发明,可以使用各种方法计算识别或判定气道壁表面的步骤,以上描述了其中的一些方法。
总体上,气道树分割和多边形表面网格均提供气道树的表示,但是均不提供在分支点分叉之间的单个气道的区别。这种拓扑结构可以由分层的内侧轴反映,内侧轴可以从气道树多边形表面网格提取并且被示出为图2的步骤72和步骤82。内侧轴,或气道中心线,提供气道树的稀疏表示并且给出分叉点的自然表示;气道分裂的位置,以及中心线。这种中心线包括气道内的三维点的集合。每一三维点表示建模的气道内腔的局部横截面。
中心线点的集合通常被表示在数据结构中,在计算机科技文献中数据结构被称作树。树生根于近端气管位置并且每一单个中心线点-除了近端气管根之外-具有指向其祖先和可能指向其后代的指针。祖先是气道树中在位置上直接更近端的点,而下后代在更远端。以这种方式的气道树的表示由Kiraly等人在“Three-Dimensional Path Planning for VirtualBronchoscopy(用于虚拟气管镜检查的三维路径规划),”IEEE Transactionson Medical Imaging(IEEE关于医学成像的汇报),2004,第1365-1379页中建议。更普遍地,这种数据结构由Cormen等人在教科书“IntroductionTo Algorithms(算法导论),第二版,”2001中描述。
判定内腔的解剖学性质
参考图2,分析模型数据以判定在第一状态92和第二状态102中的气道的一组性质。性质的实例包括但不局限于测量值、直径、面积、厚度、纹理等。尽管具体参考了气道和支气管树,但本发明不被如此限制。可以分析任何合适的内腔,包括例如结肠、鼻窦、尿道和其他的内腔。
基于CT扫描的性质和气道模型的成分判定92、102气道的性质。文献描述了用于量化气道的横截面性质的各种方法,横截面性质可以包括最小轴直径、最大轴直径和横截面面积。Kiraly等人发表的“VirtualBronchoscopy for Quantitative Airway Analysis(用于定量的气道分析的虚拟支气管镜检查),”SPIE Medical Imaging(医学成像)2005:PhysiologyFunction,and Structure from Medical Images(来自医学图像的生理学、功能和结构),2005使用半最大值全宽度(FWHM)方法判定在CT图像中相对于中心线位置的气道壁位置。在这种方法中,在CT图像中投射射线以使射线与气道的运行方向正交。取样沿着射线的插值点以建立图像中的强度位置的分布。气道内腔的放射外观是暗的,周围的气道壁是较明亮的,以及气道周围的软细胞组织通常相对于壁是暗的。因此,强度分布应该包含气道壁位于其中的稳定时期。FWHM方法识别稳定时期的开始和结束,对应于气道壁的内部位置和外部位置。通过充分地取样这些相对于中心线位置的位置,确定内部气道内腔边界、气道壁厚度、和外部气道内腔边界的表面积和直径的二维分布。
然而,可以通过图像噪声或干扰项,如血管,毁坏基于FWHM CT的测量值,混淆FWHM设想。为了解决这些问题,Gibbs发表的“ThreeDimensional Route Planning for Medical Image Reporting and EndoscopicGuidance(用于医学图像报告和内窥镜检查引导的三维路径规划),”Pennsylvania State University Dissertation(宾夕法尼亚州立大学的论文),2009,描述了一种方法,其中使用气道树分割代替CT以量化内部气道测量值。该方法将分割的横截面与中心线联系起来并且分析分割横截面以判定内部气道内腔测量值。在中心线位置周围的局部位置,分割横截面被进行主成分分析以判定测量值。
用于气道量化的其他方法包括根据多边形气道表面网格进行测量。例如,圆柱体可以被归纳在表面网格上以生成中心线,如由Yu等人在“System for the Analysis and Visualization of Large 3D Anatomical Trees(用于大型3D解剖树的分析和可视化的系统)”Computers in Biology andMedicine(在生物与医学中的计算机),2007中所描述的。然而,所归纳的圆柱体-其在局部气道横截面周围的表面网格上描绘出一曲线-可以被进一步分析以判定测量值。类似地,气道多边形网格被用于判定横截面的气道内腔测量值。Saragaglia等人发表的“Airway Wall ThicknessAssessment:A New Functionality in Virtual Bronchoscopy Investigation(气道壁厚度评估:虚拟支气管镜检查调查中的新功能),”SPIE MedicalImaging(医学成像):Physiology,Function,and Structure from MedicalImages(来自医学图像的生理学、功能和结构),2007。
配准内腔
接下来,如图2所描绘的,在状态1和状态2中的气道的性质被相互配准132。在图3A、图3B中示出的图像是使得在相对于受验者的身体的同一平面上计算CT横截面所配准的气道的实例。另外,包括图像的像素反映在相同几何尺寸的平面内的面积,并且每一像素表示具有0.5mm×0.5mm尺寸的解剖结构。这样,力图使得在图3A、图3B中描绘的图像相同,而由不同的呼吸水平产生外观上的变化。
存在将一种状态下的内腔配准至在第二状态下的内腔各种方法。本发明的一种实施方式包括通过将在状态1中的内腔的坐标系统中的几何位置与在状态2中的内腔的位置相关联来配准内腔的步骤以使在所述两种不同的坐标系统中的解剖结构的基础部分相同。该步骤是有用的,因为CT扫描通常不相互对齐。例如,与在状态2的CT相比,在状态1的CT可以开始于病人上的不同位置,或在所述两种扫描中病人可以具有不同水平的吸气,这导致胸部内的可变形的器官从一个位置改变到另一位置以使在第一状态扫描中的位置(i,j,k)处的体元与第二状态CT的身体的相同部分不相对应。
在假设身体在两种不同状态中应该具有类似外观,但身体的一部分可能已经移动位置的情况下,一种内腔配准方法包括通过数学函数直接地相互匹配CT扫描中的体元。这种配准的精确度水平可以是包括统一的一组平移和旋转的刚体类型以对齐在第一状态到第二状态中的所有体元。提供更多的自由度是仿射配准。此外,变形场,如在US 2007/0116381中所描述的,识别在一个CT图像内的体元到其他CT图像内的位置的单个映射。用于计算这些变形场的方法已被描述在由J.P.Thirion发表的“Imagematching as a diffusion process:an analogy with Maxwell′s demons(作为扩散过程的图像匹配:一种使用Maxwell′s demons的模拟),”Medical ImageAnalysis(医学图像分析),1998和由D.Rueckert等人发表的“Nonrigidregistration using free-form deformations:Application to breast MR images(使用自由形式变形的非刚性配准:应用于乳腺磁共振图像),”IEEETransactions on Medical Imaging(IEEE关于医学成像的汇报)712-721,1999。
由于中心线位于测定体积的图像内,刚体或仿射配准提供给出在第二状态的几何体中的性质位置的位置的整体方程。类似地,变形场提供在第一状态几何系统内的特定位置到第二状态系统中的位置的局部映射。运用这种关联或配准,如果具有关联性质的特定位置在第一状态中已知,则在第二状态的几何体中可以判定相同解剖区域的位置。由于第二状态性质还与在第二状态中的位置相关联,所以这些映射在两种几何系统中的性质之间提供链接。更具体地,在第一状态中的精细取样的中心线位置被映射至来源于第二状态中的气道的精细取样的中心线位置使得关联使两种不同状态的中心线中的相同的解剖区域“排成行(line up)”。即,如果中心线点p1处于特定气道例如气管的中间,它将映射至在第二状态中心线中的中心线点p2,中心线点p2也处于气管的中间。
可以使用气道模型的特定部分,例如,中心线进行用于相互配准内腔的第二种方法。在该方法中,在气道模型上的点相互匹配,给出在状态1中心线中的点的子集到在状态2中心线中的点的子集的一对一映射。这种方法的实例包括由Tschirren等人发表的序列号为11/122,974的美国专利申请,和由Kiraly等人发表的序列号为11/673,621的美国专利申请。随着在相应状态中的模型点与在相应状态中的内腔性质相关联,在两种模型中的点之间的映射提供了在空间中的位置处的性质的映射。
估算内窥镜的位置
可以使用各种技术实现估算内窥镜的位置。估算内窥镜的位置的一个实例包括配准具有在特定状态中的模型数据的内窥镜,如在均由Higgins等人发表的美国专利申请第11/437,229和11/437,230号中所描述的。在该方法中,相对于下列中的至少一个判定气管镜的位置:在状态1中的模型的坐标系统、在状态2中的模型的坐标系统。
特别地,在‘299专利申请中,该方法在现场的气管镜检查或其他内窥镜检查程序期间给医师提供指导。在使用快速粗糙的跟踪步骤之后使用精确的配准步骤来估算气管镜的3D移动。跟踪是基于在多个连续的气管镜视频帧上发现一组相对应的特征点,然后估算气管镜的新姿态。在优选实施方式中,姿态估算基于旋转矩阵的线性化。通过给出在当前的气管镜视频图像上的一组相对应的点,并且基于CT的虚拟图像作为输入,相同的方法还可以用于人工配准。精确的配准步骤优选地为基于梯度的Gauss-Newton方法,该方法使气管镜视频图像和基于CT的虚拟图像之间的相关性最大化。通过在一循环中估算气管镜的3D移动来提供连续指导。由于深度图信息可利用,可以通过解决3D-2D姿态估算问题完成跟踪。3D-2D姿态估算问题比2D-2D姿态估算问题受约束并且不受到与计算基本矩阵相关联的限制。使用基于相关性的成本,代替交互信息作为配准成本,使得使用基于梯度的方法来配准更加简单。
在‘230专利申请中,公开了用于在两种成像形式之间快速和连续配准的新颖体系。该方法使得可能完全以实时帧率或接近实时帧率判定多个来源之间的刚性转化以局部化照相机并且配准两个来源。公开的实例包括在已知环境内计算或捕捉一组参考图像,连同相应的深度图和图像梯度。这些图像和深度图的集合构成参考来源。第二来源是实时或接近实时来源,其可以包括现场视频传输。假定一个帧来自该视频传输,并且开始于观点的初始猜测值,实时视频帧被扭曲至参考来源的最接近的浏览网站。在扭曲视频帧和参考图像之间计算图像差分。通过Gauss-Newton参数更新来更新观点并且每一帧均重复某些步骤直到观点趋近或下一个视频帧变得可利用。最后的观点给出在该特定视频帧处的照相机和参考源之间的相对旋转和平移的估算。本发明具有深远的应用,尤其在辅助内窥镜领域,包括气管镜和结肠镜。其他的应用包括空中和地面导航。
估算内窥镜的位置的另一实例被论述在由Gilboa发表的美国专利第6,593,884号中。在‘884专利中,用于跟踪探针如导管的方法和系统被示出为具有三个至少部分重叠的用于同时发射电磁辐射的平面天线,而由每个天线发射的辐射具有其自身的频谱。在探针内部的接收机包括发射场的三个组件的传感器,而三个组件中的至少两个的传感器是传感器对,如线圈,在公共参考点的相对侧上。判定接收机相对于天线的位置和方向。
内窥镜估算步骤可以实时地或非实时地执行。另外,可以在以上描述的内腔配准或映射步骤之前或之后执行内窥镜估算步骤。在本发明的一种实施方式中,现场或实时地实现估算内窥镜的位置的步骤70、152并且继内腔配准步骤之后。如本文所使用的,通过“实时”意味着大约每秒30帧或更快,允许以与如显示在视频监视器上的气管镜视频传输的刷新速率一致的速率判定内窥镜仪器的位置的定位。在由Higgins等人发表的美国专利申请第11/437,229号和第11/437,230号中描述的图像到图像配准在市售台式计算机上实现视频帧速率。
内窥镜仪器估算步骤70、152还可以应用于与内窥镜结合使用的设备。公认的是市售内窥镜包含工作通道,通过工作通道可以插入若干临床设备,如针、医用镊子、探针、导管、刷子和位置传感器。本发明是可应用的并且特别地包括估算内窥镜自身的位置,以及估算与内窥镜结合使用的设备或附件——例如但不局限于以上描述的仪器的位置。
识别性质
继估算内窥镜的位置和配准在两种或更多不同状态中的内腔之后,在内窥镜的位置处的至少一个性质被识别。通过从内腔模型检索或“查找”所存储的在内窥镜的位置处的性质来识别一个或多个性质。在沿着气道的任何给定的位置,例如,可以获得来源于第一状态、第二状态和其他状态的性质。另外,基于第一性质和第二性质通过,例如,在所选择的或所估算的位置处在第一性质和第二性质之间取平均或插值,可以识别第三性质。在内窥镜的位置处可以通过,例如,在内窥镜位置处在第一性质和第二性质之间插值来提供性质(例如,实时直径)的实时估算。
另外,本发明可以包括在显示设备如视频监视器上显示性质,可能实时地,或将性质存储至存储介质用于在识别之后由其他的处理设备进行检索或消耗。另外,多个性质,如直径和内腔壁厚度,可以被显示用于在一个或多个状态中的内腔。
所识别的性质信息可以用于实现各种程序,包括诊断和治疗程序。在本发明的一种实施方式中,所识别的解剖学性质用于估算治疗设备(例如,消融导管、针、刷子等)或植入物的大小。植入物的实例包括但不局限于支架、真空管、插头、塞子、基准点等。
如以上所指示的,并且参考图4,各种描述的步骤可以在系统400上实现。该系统包括计算机410和显示器420。计算机还包括用于接收在第一状态440或第二状态450、或当情况可以是附加状态中的图像数据的输入装置430。在计算机中的处理器460优选地被操作为实现以上描述的步骤中一个或多个,包括,例如,提取身体内腔和将第一状态中的内腔的性质配准至第二状态中的内腔的性质。
系统400另外具有用于从诸如内窥镜系统480的仪器接收数据或信息的仪器输入端470。内窥镜系统包括内窥镜490、控制器500和显示器或监视器510。内窥镜通常包括细长柔韧的构件520,其通过如位于手术台540上的鼻子或嘴的自然开口伸进病人530的气道中。如以上结合图2的步骤152所描述的,系统400可以估算仪器的位置并且判定在该位置处的内腔的性质。
本文的所有专利、公布文献和专利申请通过引用以其整体并入。

Claims (23)

1.一种使用内窥镜仪器判定身体内腔的性质的方法,包括:
判定沿着所述内腔的第一组性质;
判定沿着所述内腔的第二组性质;
将沿着所述内腔的所述第一组性质配准至沿着所述内腔的所述第二组性质;
估算所述仪器相对于所述内腔的位置;以及
判定来自所述第一组性质的第一性质和来自所述第二组性质的第二性质中的至少一个,以及与所述内腔中的所述仪器的所述位置相对应的第三性质。
2.如权利要求1所述的方法,其中所述仪器是气管镜以及所述内腔是气道。
3.如权利要求1所述的方法,其中所述第一性质是直径。
4.如权利要求3所述的方法,其中所述第一组性质是沿着与第一状态相对应的所述内腔来判定的,并且所述第一状态与被充气的所述内腔相对应。
5.如权利要求1所述的方法,还包括在所述内腔中基于所述识别步骤部署植入物,所述植入物具有与所述至少一个第一性质、第二性质和所述第三性质相关联的植入物尺寸。
6.如权利要求5所述的方法,其中所述内腔是气管,所述性质是内径,以及所述植入物是气管支架,并且在所述部署步骤之前所述方法还包括基于所述至少一个第一性质、第二性质和所述第三性质从具有不同大小的多个支架选择所述气管支架的步骤。
7.如权利要求1所述的方法,还包括显示所述至少一个第一性质、第二性质和第三性质。
8.如权利要求1所述的方法,还包括估算沿着所述内腔的第三组性质,其中所述第三组性质基于所述第一组性质和第二组性质。
9.如权利要求4所述的方法,其中所述第二组性质与第二状态中的所述内腔相对应。
10.如权利要求1所述的方法,其中所述识别步骤包括识别所述第一性质和所述第二性质。
11.如权利要求1所述的方法,其中所述内窥镜仪器是实时内窥镜,并且所述识别步骤被实时地执行。
12.如权利要求1所述的方法,其中所述第一组性质来源于由对所述身体内腔进行的CT扫描而产生的分段三维模型数据。
13.如权利要求1所述的方法,其中通过将所述仪器的位置配准到所述内腔来实现估算所述内窥镜仪器的位置。
14.如权利要求13所述的方法,其中使用基于图像到图像的配准方法来实现将所述仪器的位置配准到所述内腔。
15.如权利要求1所述的方法,其中在将所述第一组性质配准至所述第二组性质之前执行所述估算所述仪器的位置的步骤。
16.如权利要求1所述的方法,还包括基于所述第一性质和所述第二性质中的至少一个实时地估算在所述仪器的位置处的所述内腔的第三性质。
17.如权利要求1所述的方法,其中所述内窥镜仪器是内窥镜并且所述方法还包括从内窥镜接收视频。
18.如权利要求3所述的方法,还包括选择所述身体内腔的长度的至少一部分并且计算在所述第一状态中的所述身体内腔的第一体积和在所述第二状态中的所述身体内腔的第二体积。
19.一种使用内窥镜仪器判定身体内腔的性质的系统,包括:
处理器,其操作来:
判定沿着所述内腔的第一组性质;
判定沿着所述内腔的第二组性质;
将沿着所述内腔的所述第一组性质配准至沿着所述内腔的所述第二组性质;
估算所述仪器相对于所述内腔的位置;以及
判定来自所述第一组性质的第一性质和来自所述第二组性质的第二性质中的至少一个,以及与所述内腔中的所述仪器的所述位置相对应的第三性质。
20.如权利要求19所述的系统,其中所述仪器是气管镜。
21.如权利要求19所述的系统,还包括植入物和植入物递送仪器,所述植入物具有与所述至少一个第一性质和所述第二性质相关联的尺寸。
22.如权利要求19所述的系统,其中所述处理器还操作来计算在所述第一状态中的所述内腔的第一体积和在所述第二状态中的所述内腔的第二体积。
23.如权利要求19所述的系统,其中所述处理器还操作来基于所述第一性质和所述第二性质估算在所述位置处的第三性质。
CN201080050291.5A 2009-09-17 2010-09-17 使用内窥镜判定气道直径的系统 Active CN102596003B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US24331009P 2009-09-17 2009-09-17
US61/243,310 2009-09-17
PCT/US2010/049313 WO2011035144A2 (en) 2009-09-17 2010-09-17 System and method for determining airway diameter using endoscope
US12/884,735 2010-09-17
US12/884,735 US8696547B2 (en) 2009-09-17 2010-09-17 System and method for determining airway diameter using endoscope

Publications (2)

Publication Number Publication Date
CN102596003A true CN102596003A (zh) 2012-07-18
CN102596003B CN102596003B (zh) 2015-04-01

Family

ID=43731220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080050291.5A Active CN102596003B (zh) 2009-09-17 2010-09-17 使用内窥镜判定气道直径的系统

Country Status (3)

Country Link
US (1) US8696547B2 (zh)
CN (1) CN102596003B (zh)
WO (1) WO2011035144A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112956998A (zh) * 2015-10-27 2021-06-15 柯惠有限合伙公司 使用肺气道的隆凸位置来改进enb配准的方法
CN114053539A (zh) * 2020-07-31 2022-02-18 首都医科大学附属北京儿童医院 一种婴幼儿气管插管的预警方法、装置及控制设备
WO2022082558A1 (en) * 2020-10-22 2022-04-28 Covidien Lp Video laryngoscope system and method for quantitatively assessment trachea

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120197086A1 (en) * 2011-01-31 2012-08-02 Nellcor Puritan Bennett Llc Medical visualization technique and apparatus
WO2012106320A1 (en) * 2011-02-04 2012-08-09 The Penn State Research Foundation Global and semi-global registration for image-based bronchoscopy guidance
US9020229B2 (en) 2011-05-13 2015-04-28 Broncus Medical, Inc. Surgical assistance planning method using lung motion analysis
US20140142438A1 (en) * 2012-11-19 2014-05-22 Biosense Webster (Israel), Ltd. Using location and force measurements to estimate tissue thickness
CN110176031B (zh) 2013-08-09 2021-07-06 杭州堃博生物科技有限公司 一种评估已完成的胸部二维荧光透视影像与三维荧光投影影像之间配准的方法
US20170181666A1 (en) * 2014-03-31 2017-06-29 Spiration, Inc. D.B.A. Olympus Respiratory America Light-based endoluminal sizing device
US10722671B2 (en) * 2014-05-19 2020-07-28 Securisyn Medical, Llc Method and apparatus for determining optimal endotracheal tube size
US10643371B2 (en) * 2014-08-11 2020-05-05 Covidien Lp Treatment procedure planning system and method
CN114176529A (zh) 2016-03-25 2022-03-15 捷锐士股份有限公司 阀规划工具
JP6745748B2 (ja) * 2017-03-16 2020-08-26 富士フイルム株式会社 内視鏡位置特定装置、その作動方法およびプログラム
US10575907B2 (en) 2017-06-21 2020-03-03 Biosense Webster (Israel) Ltd. Registration with trajectory information with shape sensing

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001093745A2 (en) * 2000-06-06 2001-12-13 The Research Foundation Of State University Of New York Computer aided visualization, fusion and treatment planning
CN1402622A (zh) * 1999-11-29 2003-03-12 Aga医药有限公司 用于测量心脏血管结构的测量尺寸大小的导管
JP2004089483A (ja) * 2002-08-30 2004-03-25 Olympus Corp 内視鏡装置
US20050010138A1 (en) * 2003-07-11 2005-01-13 Mangiardi Eric K. Lumen-measuring devices and method
US20070015997A1 (en) * 2005-05-23 2007-01-18 Higgins William E Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
US20070142705A1 (en) * 2002-07-31 2007-06-21 Olympus Corporation Endoscope device
CN101243975A (zh) * 2008-03-28 2008-08-20 微创医疗器械(上海)有限公司 一种快速构建人体器官内腔三维几何模型的方法和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040059263A1 (en) * 2002-09-24 2004-03-25 Spiration, Inc. Device and method for measuring the diameter of an air passageway
US20080269596A1 (en) * 2004-03-10 2008-10-30 Ian Revie Orthpaedic Monitoring Systems, Methods, Implants and Instruments
US7536216B2 (en) * 2004-10-18 2009-05-19 Siemens Medical Solutions Usa, Inc. Method and system for virtual endoscopy with guidance for biopsy
US9198563B2 (en) * 2006-04-12 2015-12-01 The Invention Science Fund I, Llc Temporal control of a lumen traveling device in a body tube tree
EP2143038A4 (en) * 2007-02-20 2011-01-26 Philip L Gildenberg VIDEOSTEREREOTAXY- AND AUDIOSTEREOTAXY-ASSISTED SURGICAL PROCEDURES AND METHODS
JP5153787B2 (ja) * 2007-11-29 2013-02-27 オリンパスメディカルシステムズ株式会社 内視鏡湾曲制御装置及び内視鏡システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1402622A (zh) * 1999-11-29 2003-03-12 Aga医药有限公司 用于测量心脏血管结构的测量尺寸大小的导管
WO2001093745A2 (en) * 2000-06-06 2001-12-13 The Research Foundation Of State University Of New York Computer aided visualization, fusion and treatment planning
US20070142705A1 (en) * 2002-07-31 2007-06-21 Olympus Corporation Endoscope device
JP2004089483A (ja) * 2002-08-30 2004-03-25 Olympus Corp 内視鏡装置
US20050010138A1 (en) * 2003-07-11 2005-01-13 Mangiardi Eric K. Lumen-measuring devices and method
US20070015997A1 (en) * 2005-05-23 2007-01-18 Higgins William E Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
CN101243975A (zh) * 2008-03-28 2008-08-20 微创医疗器械(上海)有限公司 一种快速构建人体器官内腔三维几何模型的方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112956998A (zh) * 2015-10-27 2021-06-15 柯惠有限合伙公司 使用肺气道的隆凸位置来改进enb配准的方法
CN114053539A (zh) * 2020-07-31 2022-02-18 首都医科大学附属北京儿童医院 一种婴幼儿气管插管的预警方法、装置及控制设备
WO2022082558A1 (en) * 2020-10-22 2022-04-28 Covidien Lp Video laryngoscope system and method for quantitatively assessment trachea

Also Published As

Publication number Publication date
US8696547B2 (en) 2014-04-15
CN102596003B (zh) 2015-04-01
WO2011035144A3 (en) 2011-06-16
US20110065982A1 (en) 2011-03-17
WO2011035144A2 (en) 2011-03-24

Similar Documents

Publication Publication Date Title
CN102596003B (zh) 使用内窥镜判定气道直径的系统
CN106447780B (zh) 用于使用标准荧光镜的局部三维体积重构的系统和方法
US20200197106A1 (en) Registration with trajectory information with shape sensing
US9498132B2 (en) Visualization of anatomical data by augmented reality
US8116847B2 (en) System and method for determining an optimal surgical trajectory
AU2020210140B2 (en) System and method for local three dimensional volume reconstruction using a standard fluoroscope
US11559266B2 (en) System and method for local three dimensional volume reconstruction using a standard fluoroscope
CN114129240B (zh) 一种引导信息生成方法、系统、装置及电子设备
US20070161854A1 (en) System and method for endoscopic measurement and mapping of internal organs, tumors and other objects
CN111093505B (zh) 放射线拍摄装置以及图像处理方法
Gergel et al. An electromagnetic navigation system for transbronchial interventions with a novel approach to respiratory motion compensation
CN110301883A (zh) 用于导航管状网络的基于图像的向导
US9576353B2 (en) Method for verifying the relative position of bone structures
EP3788981B1 (en) Systems for providing surgical guidance
Hu Intraoperative Pulmonary Nodule Localization with Cone-Beam Computed Tomography and Deformable Image Registration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: BOLANGKE MEDICAL INSTRUMENT CO., LTD.

Free format text: FORMER OWNER: BRONCUS TECHNOLOGIES, INC.

Effective date: 20121126

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20121126

Address after: American California

Applicant after: BRONCUS TECH INC.

Address before: American California

Applicant before: Broncus Tech Inc.

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: KUNBO BIOLOGICAL TECHNOLOGY (SHANGHAI) CO., LTD.

Free format text: FORMER OWNER: BOLANGKE MEDICAL INSTRUMENT CO., LTD.

Effective date: 20150603

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; TO: 201800 JIADING, SHANGHAI

TR01 Transfer of patent right

Effective date of registration: 20150603

Address after: 201800, A, building 3, block 1355, Chengbei Road, Shanghai, Jiading District,

Patentee after: Kun Bo biological technology (Shanghai) Co. Ltd.

Address before: American California

Patentee before: BRONCUS TECH INC.

TR01 Transfer of patent right

Effective date of registration: 20201014

Address after: Room 317, 3 / F, building 2, No. 88, Jiangling Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: HANGZHOU KUNBO BIOTECHNOLOGY Co.,Ltd.

Address before: 201800, A, building 3, block 1355, Chengbei Road, Shanghai, Jiading District,

Patentee before: Kunbo Biotechnology (Shanghai) Co.,Ltd.

TR01 Transfer of patent right