CN110151116B - 用于导航通过虚拟支气管镜视图中的气道的系统和方法 - Google Patents

用于导航通过虚拟支气管镜视图中的气道的系统和方法 Download PDF

Info

Publication number
CN110151116B
CN110151116B CN201910557682.9A CN201910557682A CN110151116B CN 110151116 B CN110151116 B CN 110151116B CN 201910557682 A CN201910557682 A CN 201910557682A CN 110151116 B CN110151116 B CN 110151116B
Authority
CN
China
Prior art keywords
vector
determining
virtual
location
camera view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910557682.9A
Other languages
English (en)
Other versions
CN110151116A (zh
Inventor
R·美菱克恩
D·阿瓦布查
E·D·兰驰马诺维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN110151116A publication Critical patent/CN110151116A/zh
Application granted granted Critical
Publication of CN110151116B publication Critical patent/CN110151116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pulmonology (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Otolaryngology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Architecture (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)

Abstract

公开了用于导航通过虚拟支气管镜视图中的气道的系统和方法。具体而言，公开了用于在导航通过虚拟支气管镜的气道的同时显示虚拟支气管镜视图的系统和方法。该方法包括确定第一位置和在第一位置处的第一方向、将第一位置和第一方向存储在存储器中、显示对应于第一位置的第一虚拟相机视图、确定对应于移动通过虚拟支气管镜的气道的第二位置、将第二位置存储在存储器中、显示对应于第二位置的第二虚拟相机视图、基于第一位置和第二位置确定第二方向、将第二方向存储在存储器中、确定对应于进一步移动通过虚拟支气管镜的第三位置、以及确定所述进一步移动是在向前的方向还是在向后的方向。

Description

用于导航通过虚拟支气管镜视图中的气道的系统和方法
本申请是申请日为2016年6月20日、申请号为201610445604.6，发明名称为“用于导航通过虚拟支气管镜视图中的气道的系统和方法”的发明专利申请的分案申请。
技术领域
本公开内容涉及用于以动态和变化的方式显示医学图像的系统和方法。更具体地，本公开内容涉及用于在路径规划期间基于被导航通过肺的气道的虚拟相机的位置和方向在虚拟支气管镜向前和向后的移动过程中动态显示医学图像的系统和方法。
背景技术
路径规划可视化技术正迅速地在各种医学领域增长。可视化技术有助于最小化切口的尺寸、在外科手术中非侵入性地治疗患者的疾病、以及非侵入性地在患者内部导航以识别和治疗目标病变。但是，如果显示了不正确的信息，则可视化会带来意外的风险。例如，当在向后或回撤的方向使虚拟相机视图导航通过肺的气道时，提供给临床医师的视图可能使临床医师难以回撤先前采取的步骤并且返回到先前的位置。而且，用户会发现虚拟相机视图在肺的气道的外部导航。
发明内容
在一个方面中，本公开内容的特征在于用于在导航通过虚拟支气管镜的气道的同时显示虚拟支气管镜视图的方法。该方法包括确定第一位置和在第一位置处的第一方向、将第一位置和第一方向存储在存储器中、显示对应于第一位置的第一虚拟相机视图、确定对应于移动通过虚拟支气管镜的气道的第二位置、将第二位置存储在存储器中、显示对应于第二位置的第二虚拟相机视图、基于第一位置和第二位置确定第二方向、将第二方向存储在存储器中、确定对应于进一步移动通过虚拟支气管镜的第三位置、以及确定所述进一步移动是在向前的方向还是在向后的方向。
如果确定所述进一步移动是在向前的方向，则该方法包括显示对应于第三位置的第三虚拟相机视图。并且如果确定移动是在向后的方向，则该方法包括从存储器中取回存储的第一方向和存储的第二方向、基于存储的第一方向和存储的第二方向确定平滑向量、基于平滑向量获得经平滑的虚拟相机视图、以及显示经平滑的虚拟相机视图。
在实施例中，确定所述进一步移动是在向前的方向还是在向后的方向包括在虚拟支气管镜屏幕上确定下一指针位置和当前指针位置、计算下一指针位置的坐标和当前指针位置的坐标之间的差。如果计算出的差为正，则确定所述进一步移动是在向后的方向。并且如果计算出的差为负，则确定所述进一步移动是在向前的方向。
在实施例中，第一位置、第二位置和第三位置基于显示虚拟相机视图的屏幕上的指针或光标的位置来确定。在还有的另一个实施例中，该方法还包括如果确定进一步的移动是在向前的方向，则基于第二位置和第三位置确定第三方向，以及将第三方向存储在存储器中。
在实施例中，确定平滑向量包括基于第一位置和第一方向确定第一向量、基于第一位置和第二方向确定第二向量、以及对第一向量和第二向量求平均以获得平滑向量。
在实施例中，样条是二阶样条或四阶样条。在实施例中，该方法还包括从用户接收改变第一虚拟相机视图、第二虚拟相机视图、第三虚拟相机视图或平滑虚拟相机视图的输入，以及存储改变的第一虚拟相机视图、第二虚拟相机视图、第三虚拟相机视图或平滑虚拟相机视图。在还有的实施例中，确定平滑向量包括确定具有在第一方向和第二方向之间的方向的向量。
在另一方面中，本公开内容的特征在于用于在导航通过虚拟支气管镜的气道的同时显示虚拟支气管镜视图的装置。该装置包括配置为从导航仪器的至少一个位置传感器接收导航仪器的位置信息的网络接口，该位置信息包括物理位置；存储虚拟支气管镜的多个虚拟相机视图、指令、第一位置、在第一位置处的第一方向、第二位置、以及在第二位置处的第二方向的存储器；配置为执行指令的处理器。当指令被处理器执行时，使得处理器确定移动通过虚拟支气管镜的气道是在向前的方向还是在向后的方向。如果确定移动是在向前的方向，则指令还使得处理器确定对应于移动通过虚拟支气管镜的气道的第三位置、以及基于第二位置和第三位置确定第三方向。如果确定移动是在向后的方向，则指令还使得处理器从储器中取回第一方向和第二方向、以及基于第一方向和第二方向确定平滑向量。该装置还包括配置为在屏幕上动态地显示对应于所确定的平滑向量的经平滑的虚拟相机视图的图像的显示器。
在不背离本公开内容的范围的情况下，本公开内容的任何上述方面和实施例都可以被组合。
附图说明
当参照附图阅读各种实施例的描述时，当前公开的系统和方法的目的和特征将对本领域普通技术人员变得显而易见，附图中：
图1是根据本公开内容实施例的、用于路径规划的计算设备的示意图；
图2是示出根据本公开内容的路径规划的四个阶段的图；
图3是示出根据本公开内容实施例的、用于动态地确定和显示用于在肺气道内向前和后向运动的虚拟相机视图的方法的流程图；
图4是示出根据本公开内容实施例的、确定在肺气道内的向前或向后方向的方法的流程图；
图5和图6A-图6C是根据本公开内容实施例的、当在肺气道内导航时的视图的图形示图；及
图7是根据本公开内容一些实施例的、所采取的导航通过肺气道的步骤的图形示图。
具体实施方式
虚拟支气管镜(VB)视图使得用户能够与虚拟相机(或用户的视点)交互并且能够修改虚拟相机视图在肺的气道内部的位置和方向两者。在VB视图中向后移动可以通过在其中一个平面视图上(横断面、矢状面、冠状面)调整虚拟相机(或用户视点)并且然后在VB视图中沿直线回退来实现。但是，这种方法会涉及至少两个视图，并且可能难以撤回实际步骤并且返回到先前位置。另外，用户会发现虚拟相机在气道外部导航。
根据本公开内容的实施例，包括转向的向前移动通过将每个单独的步骤存储在堆栈中被记录，并且当虚拟相机向后移动时，其向后的步骤从堆栈中取得，因此保持了虚拟相机的实际位置和方向两者。向前移动通过沿直线移动来执行。侧向移动通过在VB视图上的位置处操作诸如鼠标指针的数据输入设备来执行，并且VB视图的中心以动画的方式更新到那个位置，以允许较好的用户体验。
当虚拟相机视图在向前移动的同时响应于由操作诸如鼠标或触摸板的用户输入设备的用户移动屏幕上的光标或指针和/或选择按钮而(向右或向左)转向时，在沿直线的移动被执行之后，发生转向。软件将向前的一个步骤或若干个步骤以及然后带有转向的步骤存储在堆栈中。转向的步骤以单个动画来执行，以提供平滑的转向。动画基于虚拟相机的当前位置、当前方向、新的旋转轴、以及在视图的2D x-轴的增量(即，向左或向右方向中的变化)来计算。
为了当在向后的方向上移动时提供类似的用户体验，根据本公开内容的系统和方法在光标或指针已被用户经由诸如鼠标、触摸板、跟踪球或触摸屏的数据输入设备的操作移动之后，记录光标或指针在显示设备上的位置。如本文所讨论，光标或指针在显示设备上的位置的x-坐标和y-坐标被存储在堆栈中并且用来确定虚拟相机的向前和向后移动。当虚拟相机向后移动时，当前位置和在当前位置处的方向，连同先前的位置和方向从堆栈中取得。在向后移动期间或之前，为堆栈中两个相邻的步骤(例如，步骤i和i-1)计算为向后导航优化的平均方向向量或其它平滑向量。在一些实施例中，平滑向量基于样条或兰克泽斯(Lanczos)算法被应用到第一向量和第二向量。在向后的移动中，对应于计算出的平均方向向量或其它平滑向量的虚拟相机视图被使用。这允许当在向后移动的同时执行转向时较平滑的动画。
现在参考图1，本公开内容一般而言针对用于规划用于在手术期间使用的通过患者的解剖腔网络的路径的路径规划系统10和方法。路径规划系统10可以包括计算设备100，计算设备100诸如例如膝上型计算机、台式机、平板电脑或其它类似的设备，其具有显示器102、存储器104、一个或多个处理器106和/或通常在计算设备中找到的其它类型部件。显示器102可以是触敏和/或语音激活的，从而使得显示器102能够充当输入设备和输出设备两者。可替代地，可以采用键盘113、鼠标114或其它数据输入设备。
存储器104包括用于存储数据和/或软件的任何非临时性、计算机可读存储介质，其中软件可被处理器106执行并且控制计算设备100的操作。在实施例中，存储器104可以包括一个或多个固态存储设备，诸如闪存芯片。在可替代的实施例中，存储器104可以是通过大容量存储控制器(未示出)和通信总线(未示出)连接到处理器106的大容量存储设备。
虽然本文包含的计算机可读介质的描述指固态存储，但是本领域技术人员应该认识到，计算机可读存储介质可以是可被处理器106访问的任何可用的介质。即，计算机可读存储介质包括以任何方法或技术实现的、用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的非临时性、易失性和非易失性、以及可移除和不可移除介质。例如，计算机可读存储介质包括RAM、ROM、EPROM、EEPROM、闪存存储器或其它固态存储器技术、CD-ROM、DVD或其它光学存储、磁带盒、磁带、磁盘存储或其它磁存储设备、或者可用来存储期望信息并且可被计算设备100访问的任何其它介质。
计算设备100也可以包括经由用于向其它来源发送和从其他来源接收数据的有线或无线连接连接到分布式网络或互联网的网络模块108。例如，计算设备100可以从例如医院服务器、互联网服务器、或其它类似的服务器的服务器接收患者的计算机断层扫描(CT)图像以用于在路径规划期间使用。患者CT图像也可以经由存储器104提供给计算设备100，其中存储器104可以是可移除存储器。
路径规划模块200包括存储在存储器104中并且被计算设备100的处理器106执行的软件程序。如下面将更详细描述的，路径规划模块200指导临床医师通过一系列步骤来开发用于以后在医疗过程中使用的路径计划。路径规划模块200与用于在显示器102上向临床医师显示视觉交互功能和用于接收临床医师输入的用户接口模块202通信。
如本文所使用的，术语“临床医师”指任何医疗专业人员(例如，医生、外科医生、护士等)或在规划、执行、监视和/或监督涉及使用本文所描述的系统、方法和装置的实施例的医疗过程中涉及的路径规划系统10的其它用户。
现在参考图2，在实施例中，利用路径规划模块200的路径规划可以在四个不同阶段执行。在第一阶段S1中，临床医师选择用于路径规划的患者。在第二阶段S2中，临床医师添加目标。在第三阶段S3中，临床医师创建到目标的路径。最后，在第四阶段S4中，临床医师审查和接受计划，并且可以输出计划用于在医疗过程中使用。临床医师可以根据需要重复第二阶段S2和第三阶段S3中的任一个或两者，以选择附加目标和/或创建用于特定患者的附加路径。例如，临床医师可以选择附加的目标并且可以创建到每个目标的路径。临床医师也可以或可替代地创建到同一目标的多个路径。一旦生成了路径计划，虚拟支气管镜视图(在图6A-图6C中示出)就可以被显示，这允许临床医师基于路径计划在患者的虚拟气道内导航。
图3是示出根据本公开内容实施例的、用于基于虚拟相机的位置和方向信息动态显示虚拟支气管镜视图的方法300的流程图。在步骤305-310，显示了在显示器102上虚拟支气管镜视图内由数据输入设备112指向的位置。在一些实施例中，该位置被设置是在已知的气道中，诸如患者的气管或入口点。由数据输入设备112在显示器102上指向的位置被获得为2D x-坐标和y-坐标。在步骤315，虚拟位置被利用，以便生成在虚拟位置处的虚拟相机视图。当临床医师在虚拟支气管镜视图中前进通过患者的气道时，临床医师点击或选择呼吸道内的不同位置以向前和向后移动。
在步骤310，当由数据输入设备112(例如通过使用指针或光标)指向的显示器102上的虚拟位置到达位置Li时(如下面相对于图7进一步描述的)，视图方向Di被利用。基于位置Li，一个或多个处理器106确定对应于位置Li的视图方向Di。位置Li是具有相对于气道在显示器102上的位置的x-坐标和y-坐标的2D坐标。
视图方向Di可以被表达为具有幅度和角度Θi的向量
Figure BDA0002107328300000072
角度Θi可以被定义为当前向量
Figure BDA0002107328300000074
的角度与先前向量
Figure BDA0002107328300000073
的角度之间的差，如在图7中所示。例如，对于从第一位置L1延伸到第二位置L2的第一向量
Figure BDA0002107328300000075
和以正交于第一向量
Figure BDA0002107328300000078
的方向从第二位置L2延伸的第二向量
Figure BDA0002107328300000076
第二向量
Figure BDA0002107328300000077
的角度Θ2是90°。
在步骤315，一旦位置Li和视图方向Di被确定，一个或多个处理器106就基于位置Li和视图方向Di从存储器104中获取虚拟相机视图Ci。虚拟相机视图Ci是要在虚拟支气管镜窗口600被显示的2D虚拟图像(在图6A、6B和6C中示出)。虚拟相机视图Ci是从虚拟相机的末端的角度看气道内部的视图。虚拟相机视图Ci的例子在图6A-图6C中示出。
在步骤320，一个或多个处理器106将第一位置Li和视图方向Di存储在存储器104中，例如，存储在堆栈或查找表内步骤Si处。查询表(LUT)的例子在下面示出。
Figure BDA0002107328300000071
Figure BDA0002107328300000081
表1
如本文所使用的，术语位置指的是指示指针或光标在显示器102上的位置的坐标值和数据。视图方向指的是在从当前位置沿直线的视图(第一向量)和从先前位置沿直线的视图(第二向量)之间的角度差，如在图7中进一步示出的。
在步骤325，虚拟相机视图Ci被显示在显示器102上的虚拟支气管镜窗口600中，如在图6A-图6C中所示。在一些实施例中，用户可以通过点击鼠标114上的按钮或者按下键盘113上的键或键的组合来改变和更新虚拟相机视图Ci。例如，用户可以改变方向，从而显示在不同视图方向上的新的虚拟相机视图。
向前移动
图3的步骤330-步骤355示出了虚拟相机通过气道在向前方向上的移动。在步骤330，虚拟相机的下一位置Li+1和下一视图方向Di+1基于指针或光标在显示器102上的位置而获得。下一视图方向Di+1可以通过确定从位置Li延伸到下一位置Li+1的向量的方向来确定。在步骤335，做出关于虚拟相机是否已在先前方向从位置Li移动到下一位置Li+1的确定，如下面参考图4所描述的。
如果确定虚拟相机在向前方向从位置Li移动到下一位置Li+1，则方法前进到步骤340。在步骤340，一旦下一位置Li+1和视图方向Di两者都被确定，则一个或多个处理器106基于下一位置Li+1和下一视图方向Di+1从存储器104中获得下一虚拟相机视图Ci+1。
在步骤345，一个或多个处理器106将下一位置Li+1和下一视图方向Di+1存储在存储器104中下一步骤Si+1处。在步骤350，下一虚拟相机视图Ci+1被显示在显示器102上的虚拟支气管镜窗口600中。在步骤355，一个或多个处理器106在返回到步骤330以确定下一位置Li+1之前，将在下一步骤Si+1处的当前位置Li+1设置为当前步骤Si。
向后移动
在一些实施例中，如果在步骤335确定虚拟相机没有在向前方向移动，则方法前进到步骤360。在步骤360，确定虚拟相机是否在向后方向移动。使用步骤360来确认虚拟相机是在向后方向上移动。向后方向的移动可以被定义为移动到或接近先前访问过的位置。如果在步骤360确定移动不是在向后的方向，则方法返回到步骤335来确定虚拟相机的移动是否是在向前的方向。
如果在步骤360确定移动是在向后的方向，则方法前进到步骤370。基于在向后方向上的下一位置Li+1，一个或多个处理器106访问存储器104中的查找表来确定先前在查找表中存储的、对应于下一位置Li+1的步骤。例如，如果在下一位置Li+1处，坐标是xi+1、yi+1，则处理器将访问以上在表1中示出的查找表，并且确定先前位置Li和Li-1分别对应于步骤Si和Si-1。一旦步骤Si和Si-1被确定，一个或多个处理器106就在步骤370从表1中获得在步骤Si处的视图方向Di和在步骤Si-1处的视图方向Di-1。因此，例如，如果确定虚拟相机的移动是在向后的方向并且位置对应于步骤S5，一个或多个处理器106就从表1中示出的查找表中获得视图方向D4和视图方向D3。
在步骤375，一个或多个处理器106基于视图方向Di-1和视图方向Di计算平滑向量V。如在以上表1中所示，视图方向Di-1和Di分别对应于向量角度Θi-1和Θi。在一些实施例中，平滑向量是具有角度ΘNi+1的新的向量，其平分向量角Θi-1和Θi。因此，对于向后的运动，通过向视图方向Di的角度Θi应用平滑向量，利用等于Θi/2的新的角度创建在位置Li+1处的新的视图方向。
在实施例中，平滑向量V是如下向量：基于(1)由位置Li-1和方向Di-1定义的第一或先前向量和(2)由位置Li和方向Di定义的第二或当前向量，并且对向后导航进行优化使得例如相机视图不离开气道和/或相机视图的动画看起来平滑。平滑向量V可以是在第一向量和第二向量之间的向量，诸如是第一向量和第二向量的平均或加权平均的向量。平滑向量V可以替代地通过利用诸如样条(spline)或兰克泽斯(Lanczos)算法的平滑算法来确定。样条可以是二次样条(二度的样条)或三次样条(四度的样条)。
在基于平滑向量确定在位置Li+1处的新的视图方向DNi+1之后，一个或多个处理器106在步骤380确定在位置Li+1处的新的虚拟相机视图DNi+1。在一些实施例中，位置Li+1可以是位置Li-1或接近位置Li-1的位置。因此，不是利用在位置Li+1处的原始虚拟相机视图Ci+1，而是一个或多个处理器106从存储器104中获得原始虚拟相机视图Ci+1并且通过利用平滑向量的新的视线方向Di+1改变虚拟相机视图Ci+1，并且生成新的虚拟相机视图CNi+1。在步骤385，新的虚拟相机视图DNi+1被显示在显示器102上的虚拟支气管镜窗口中。在步骤385之后，一个或多个处理器106在返回到步骤330以确定下一位置Li+1之前，在步骤390将用于步骤Si+1的当前位置Li+1设置为步骤Si。
现在转到图4，其中更详细地描述了示出用于确定图3的步骤335和360的向前和向后运动的方法400的流程图。利用指针或光标在显示器102上的当前位置Li和先前位置Li-1，可以做出虚拟相机在当前位置Li处在向前或向后的哪个方向移动的确定。
在步骤405，一个或多个处理器106获得指针在显示器102上的当前位置Li的2D x-坐标和y-坐标。接着，在步骤410，一个或多个处理器106获得在显示器102上的(通过数据输入设备112的用户操作从位置Li移动到的)下一虚拟位置Li+1的2D x-坐标和y-坐标。
在步骤415，一个或多个处理器106确定指针在显示器102上的下一位置Li+1的y-坐标值和位置Li的y-坐标值之间的差是否小于零。如果在步骤415确定下一位置Li+1的y-坐标值和位置Li的y-坐标值之间的差小于零，则一个或多个处理器106确定虚拟相机是在向前的方向移动。
如果在步骤415，确定指针在显示器102上的位置Li+1的y-坐标值和位置Li的y-坐标值之间的差不小于零，则方法400前进到步骤420，其中确定下一位置Li+1的y-坐标值和位置Li的y-坐标值之间的差是否大于零。如果在步骤415确定下一位置Li+1的y-坐标值和位置Li的y-坐标值之间的差大于零，则一个或多个处理器106确定虚拟相机是在向后的方向移动。
现在参考图5和图6A-图6C，其中显示了用于虚拟支气管镜的3D图窗口500。当目标和路径被计算设备100识别时，临床医师可能希望以导航预览模式审查路径。图5示出了根据本公开内容实施例的规划阶段的导航预览模式，其中计算设备100在显示器102的屏幕上示出了3D图窗口500和虚拟支气管镜窗口600(图6A-图6C)。
3D图窗口500示出了3D图并且虚拟支气管镜窗口600示出了虚拟支气管镜视频图像。3D图窗口500显示并且覆盖到目标550的路径505和当前位置指示器507。在导航预览模式下，显示器102将虚拟支气管镜窗口600示为从气管到目标550的飞行通过(fly-through)视图。
虚拟支气管镜窗口600也示出了朝目标550的路径660用于审查。当前位置指示器507基于和根据在虚拟支气管镜窗口600中示出的当前位置在3D图窗口500中移动。在一个方面中，路径660或505可以基于临床医师可在显示路径或不显示路径之间进行设置的显示选项不被显示。
虚拟支气管镜窗口600包括用于透明度的滑块670。通过移动滑块670，虚拟支气管镜视频图像的不透明度可以从不透明改变为透明。但是，虚拟支气管镜的透明度状态不与3D图窗口500中示出的3D图同步。
如在图5中所示，气道通道501包含在三个相应位置510、520和530处的三个相机视图。当虚拟相机在每个位置510、520和530处导航到目标550时，视图方向510a、520a和530a分别被显示在虚拟支气管镜窗口600中。每个视图方向510a、520a和530a分别对应于在图6A、6B和6C示出的虚拟支气管镜的视频图像。当虚拟相机从位置510前进到530时，由用户看到的视图被改变，如分别在图6A至图6C中所示。
在图6A中，用户能够在虚拟支气管镜窗口600中看到包含位置510、520和530的路径660，连同气道通道501的分叉分支。当虚拟相机接近位置520时(图6B)，在虚拟支气管镜窗口600中示出的视图正接近分叉分支。一旦虚拟相机到达位置530(图6C)，气道通道就显示在位置530处。在向前移动期间，用户利用诸如鼠、键盘或触摸板的输入设备来移动指针或光标，并且选择沿路径660向前的位置，诸如位置510、520和530。因此，当用户注意到分叉分支时，用户能够沿路径660选择进入分叉分支的位置，诸如位置530。当每个位置在向前移动期间被选择时，虚拟相机在那个位置处居中视图。在向后移动期间，当用户移动指针或光标并且选择沿路径660向后的位置时，本公开内容的系统和方法改变在向后位置处的视图并且使其平滑，而不是显示在向后位置处居中的虚拟相机视图，从而向用户提供防止用户在虚拟支气管镜窗口600中看到的视图在气道外部的相机视图。例如，对于在图6C的气道中选择向后运动的用户，本公开内容的系统和方法将防止用户看到的视图被显示为就像虚拟相机在气道的分叉分支处位于气道外部。
图7是与虚拟支气管视图的气道内的移动相关联的气道和向量的图形示图700。图形示图700示出了在气道内不同位置处的向量和平滑向量，诸如图6的位置510、520和530。如在图7中所示，气道通道501包含五个位置L0-L4(705-740)以及相应的视图方向D0-D4(705a-740a)。每个视图方向705a-740a被示为从位置705-740延伸的实线向量。
在向前移动的情况下，当虚拟相机从位置L0前进到位置L4时，如由用户在每个位置705-740处看到的虚拟相机视图分别在沿视图方向705a-740a的方向上被显示。
在向后移动的情况下，例如，遍历位置740-730-720，在先前位置处显示的每个视图方向(例如，730a和720a)被平滑向量改变。例如，对于作为当前向量和在当前位置处的先前向量的平均值的平滑向量，改变的视图方向730c由虚线示出，并且被示为730a和730b的平分线。改变的视图方向730c被创建为位置L3 730的正常视图方向730a和先前位置L2 720的视图方向的平分线，其由从位置L3 730延伸的虚线730b示出。
类似地，对于从位置L3 730到位置L2 720的向后运动，改变的视图方向720由虚线示出并且被示为L2 720的正常视图方向720a和先前位置L1 710的视图方向的平分线，其通由从位置L2 720延伸的虚线720b示出。
虽然本公开内容已经根据具体的说明性实施例进行了描述，但是对于本领域技术人员来说，将显然，在不脱离本公开的精神的情况下，可以进行各种重新布置和替代。例如，平滑向量的确定在上面被示为在虚拟相机的移动期间在线或动态地执行。可以预期在其它实施例中，平滑向量可以被离线确定或者在贯穿气道的预定位置处开始导航模式之前确定。当利用更复杂的方法来确定优化在向后方向移动时虚拟相机视图的平滑向量或其它向量时，这种其它实施例可能是有益的。本公开内容的范围由所附权利要求来定义。
除了以上提到的，还对以下其中除了描述与本文所描述的系统相关的其它特征之外，还描述图像处理和用户界面更新特征的共同转让申请进行了引用：于2014年7月2日提交的、标题为“System And Method For Navigating Within The Lung”的美国临时专利申请No.62/020,240；于2014年7月2日提交的、标题为“Real-Time Automatic RegistrationFeedback”的美国临时专利申请No.62/020,220；于2014年7月2日提交的、标题为“Methodsfor Marking Biopsy Location”的美国临时专利申请No.62/020,177；于2014年7月2日提交的、标题为“Unified Coordinate System For Multiple CT Scans Of Patient Lungs”的美国临时专利申请No.62/020,242；于2014年7月2日提交的、Klein等人的、标题为“Alignment CT”的美国临时专利申请No.62/020,245；于2014年7月2日提交的、标题为“Algorithm for Fluoroscopic Pose Estimation”的美国临时专利申请No.62/020,250；于2014年7月2日提交的、标题为“Trachea Marking”的美国临时专利申请No.62/020,253；于2014年7月2日提交的、标题为“Lung And Pleura Segmentation”的美国临时专利申请No.62/020,261；于2014年7月2日提交的、标题为“Cone View–A Method Of ProvidingDistance And Orientation Feedback While Navigating In 3D”的美国临时专利申请No.62/020,258；于2014年7月2日提交的、标题为“Dynamic3D Lung Map View for ToolNavigation Inside the Lung”的美国临时专利申请No.62/020,262；于2014年7月2日提交的、标题为“System and Method for Segmentation of Lung”的美国临时专利申请No.62/020,261；于2014年7月2日提交的、标题为“Automatic Detection Of Human LungTrachea”的美国临时专利申请No.62/020,257；所有这些引用都针对处理DICOM图像、检测气管、肺中导航、以及显示DICOM图像和处理图像，以提供用于与肺治疗规划和导航等相关的分析、诊断和治疗系统的增强的清晰度和性能的方面。所有以上引用的申请的内容都通过引用被结合于此。

Claims (19)

1.一种用于在导航通过虚拟支气管镜的气道的同时显示虚拟支气管镜视图的方法，该方法包括：
确定与移动通过虚拟支气管镜对应的位置；
确定所述移动是在向前的方向还是在向后的方向；
响应于确定所述移动是在向前的方向，显示在所确定的位置处的向前的虚拟相机视图；以及
响应于确定所述移动是在向后的方向:
从存储器中取回第一方向和第二方向，其中第一方向是先前位置的方向，第二方向是当前位置的方向；
基于第一方向和先前位置确定第一向量；
基于第二方向和当前位置确定第二向量；
基于第一向量和第二向量确定在所确定的位置处的平滑向量，其中平滑向量对向后导航进行优化使得相机视图不离开气道和/或相机视图的动画看起来平滑；
基于平滑向量获得经平滑的虚拟相机视图；及
显示在所确定的位置处的经平滑的虚拟相机视图。
2.如权利要求1所述的方法，其中确定所述移动是在向前的方向还是在向后的方向包括：
在虚拟支气管镜屏幕上确定下一指针位置和当前指针位置；
计算下一指针位置的坐标和当前指针位置的坐标之间的差；
响应于计算出的差为正，则确定所述移动是在向后的方向；及
响应于计算出的差为负，则确定所述移动是在向前的方向。
3.如权利要求1所述的方法，其中基于显示虚拟相机视图的屏幕上的指针或光标的位置来确定所述位置。
4.如权利要求1所述的方法，其中确定平滑向量包括：
对第一向量和二向量进行平均以获得平滑向量。
5.如权利要求1所述的方法，其中确定平滑向量包括：
向第一向量和第二向量应用样条或兰克泽斯算法以获得平滑向量。
6.如权利要求5所述的方法，其中样条是二阶样条或四阶样条。
7.如权利要求1所述的方法，还包括：
从用户接收改变向前的虚拟相机视图或经平滑的虚拟相机视图的输入；及
在存储器中存储改变的向前的虚拟相机视图或改变的经平滑的虚拟相机视图。
8.如权利要求1所述的方法，其中确定平滑向量包括确定具有在第一方向和第二方向之间的方向的向量。
9.一种用于在导航通过虚拟支气管镜的气道的同时显示虚拟支气管镜视图的装置，包括：
存储器，所述存储器存储指令、虚拟支气管镜的多个虚拟相机视图、第一方向以及第二方向；
处理器，配置为执行指令，
其中当指令被处理器执行时，使得处理器：
确定通过虚拟支气管镜的气道的移动是否是在向后的方向；
响应于确定移动是在向后的方向：
则从存储器中取回第一方向和第二方向，其中第一方向是先前位置的方向，第二方向是当前位置的方向；
基于第一方向和先前位置确定第一向量；
基于第二方向和当前位置确定第二向量；及
基于第一向量和第二向量确定在当前位置处的平滑向量，其中平滑向量对向后导航进行优化使得相机视图不离开气道和/或相机视图的动画看起来平滑；及
显示器，配置为在屏幕上显示对应于在当前位置所确定的平滑向量的经平滑的虚拟相机视图的图像。
10.如权利要求9所述的装置，其中基于屏幕上的指针的位置来确定当前位置。
11.如权利要求9所述的装置，其中当指令被处理器执行时，还使得处理器：
在显示虚拟相机视图的屏幕上确定第一指针位置和第二指针位置；
计算第一指针位置的坐标和第二指针位置的坐标之间的差；及
响应于计算出的差为正，则确定移动是在向后的方向。
12.如权利要求9所述的装置，其中当指令被处理器执行时，还使得处理器：
对第一向量和第二向量求平均以获得平滑向量。
13.如权利要求9所述的装置，其中当指令被处理器执行时，使得处理器确定具有在第一方向和第二方向之间的方向的平滑向量。
14.如权利要求9所述的装置，其中当指令被处理器执行时，还使得处理器：
向第一向量和第二向量应用样条以获得平滑向量。
15.如权利要求14所述的装置，其中样条是二阶样条或四阶样条。
16.一种用于显示气道的虚拟支气管镜视图的方法，该方法包括：
确定与通过虚拟支气管镜的气道的移动对应的位置；
确定所述移动是在向前的方向还是在向后的方向；
响应于确定所述移动是在向前的方向，显示在所确定的位置处的向前的虚拟相机视图；以及
响应于确定所述移动是在向后的方向：
获得平滑向量，其中平滑向量基于第一向量和第二向量并对向后导航进行优化使得相机视图不离开气道和/或相机视图的动画看起来平滑，其中基于第一方向和先前位置确定第一向量以及基于第二方向和当前位置确定第二向量，第一方向是先前位置的方向，第二方向是当前位置的方向；
基于所获得的平滑向量获得在所确定的位置处的经平滑的虚拟相机视图；及
显示在所确定的位置处的经平滑的虚拟相机视图。
17.如权利要求16所述的方法，还包括：
对第一向量和第二向量求平均以获得平滑向量。
18.如权利要求16所述的方法，还包括：
向第一向量和第二向量应用样条或兰克泽斯算法以获得平滑向量。
19.如权利要求18所述的方法，其中样条是二阶样条或四阶样条。
CN201910557682.9A 2015-06-19 2016-06-20 用于导航通过虚拟支气管镜视图中的气道的系统和方法 Active CN110151116B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562181824P 2015-06-19 2015-06-19
US62/181,824 2015-06-19
US15/184,057 2016-06-16
US15/184,057 US10163262B2 (en) 2015-06-19 2016-06-16 Systems and methods for navigating through airways in a virtual bronchoscopy view
CN201610445604.6A CN106256331B (zh) 2015-06-19 2016-06-20 用于导航通过虚拟支气管镜视图中的气道的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610445604.6A Division CN106256331B (zh) 2015-06-19 2016-06-20 用于导航通过虚拟支气管镜视图中的气道的系统和方法

Publications (2)

Publication Number Publication Date
CN110151116A CN110151116A (zh) 2019-08-23
CN110151116B true CN110151116B (zh) 2021-12-10

Family

ID=56296497

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910557682.9A Active CN110151116B (zh) 2015-06-19 2016-06-20 用于导航通过虚拟支气管镜视图中的气道的系统和方法
CN201610445604.6A Active CN106256331B (zh) 2015-06-19 2016-06-20 用于导航通过虚拟支气管镜视图中的气道的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610445604.6A Active CN106256331B (zh) 2015-06-19 2016-06-20 用于导航通过虚拟支气管镜视图中的气道的系统和方法

Country Status (6)

Country Link
US (2) US10163262B2 (zh)
EP (1) EP3106117B1 (zh)
JP (3) JP6240263B2 (zh)
CN (2) CN110151116B (zh)
AU (2) AU2016204103B2 (zh)
CA (1) CA2933503C (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9754367B2 (en) * 2014-07-02 2017-09-05 Covidien Lp Trachea marking
US10242488B1 (en) * 2015-03-02 2019-03-26 Kentucky Imaging Technologies, LLC One-sided transparency: a novel visualization for tubular objects
US10163262B2 (en) 2015-06-19 2018-12-25 Covidien Lp Systems and methods for navigating through airways in a virtual bronchoscopy view
WO2018005861A1 (en) 2016-06-30 2018-01-04 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
EP4374768A2 (en) * 2016-06-30 2024-05-29 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
CN109952070B (zh) 2016-10-05 2022-02-01 纽文思公司 手术导航系统及相关方法
WO2018195216A1 (en) 2017-04-18 2018-10-25 Intuitive Surgical Operations, Inc. Graphical user interface for monitoring an image-guided procedure
US11571262B2 (en) * 2017-04-18 2023-02-07 Intuitive Surgical Operations, Inc. Graphical user interface for planning a procedure
GB201706497D0 (en) * 2017-04-25 2017-06-07 Kwong Tsong Yun New product
US10712810B2 (en) 2017-12-08 2020-07-14 Telefonaktiebolaget Lm Ericsson (Publ) System and method for interactive 360 video playback based on user location
CN110368089A (zh) * 2019-08-07 2019-10-25 湖南省华芯医疗器械有限公司 一种支气管内窥镜三维导航方法
US11612440B2 (en) 2019-09-05 2023-03-28 Nuvasive, Inc. Surgical instrument tracking devices and related methods
CN111513854A (zh) * 2020-05-11 2020-08-11 绍兴梅奥心磁医疗科技有限公司 导管的操控装置及系统
CN112450960A (zh) * 2020-12-21 2021-03-09 周永 基于vr/ar联合数字肺技术的虚拟内窥镜显示方法
CN114366295B (zh) * 2021-12-31 2023-07-25 杭州脉流科技有限公司 微导管路径生成方法、塑形针的塑形方法、计算机设备、可读存储介质和程序产品
CN114404042B (zh) * 2022-03-31 2022-07-08 珠海维尔康生物科技有限公司 一种手术机器人导航板及导航方法
CN115607284B (zh) * 2022-12-05 2023-03-14 珠海视新医用科技有限公司 内窥镜的术中导航控制装置、设备、存储介质

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4998972A (en) 1988-04-28 1991-03-12 Thomas J. Fogarty Real time angioscopy imaging system
US5699798A (en) 1990-08-10 1997-12-23 University Of Washington Method for optically imaging solid tumor tissue
US5734384A (en) 1991-11-29 1998-03-31 Picker International, Inc. Cross-referenced sectioning and reprojection of diagnostic image volumes
US5359637A (en) 1992-04-28 1994-10-25 Wake Forest University Self-calibrated tomosynthetic, radiographic-imaging system, method, and device
US5987149A (en) 1992-07-08 1999-11-16 Uniscore Incorporated Method for scoring and control of scoring open-ended assessments using scorers in diverse locations
US5381786A (en) 1993-02-11 1995-01-17 Wayne State University Method and apparatus for measurement of luminal dimensions
US5469353A (en) 1993-11-26 1995-11-21 Access Radiology Corp. Radiological image interpretation apparatus and method
US5920319A (en) 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
US5782762A (en) 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US5687259A (en) 1995-03-17 1997-11-11 Virtual Eyes, Incorporated Aesthetic imaging system
AU2189497A (en) 1996-02-09 1997-08-28 Mayo Foundation For Medical Education And Research Radiotherapy treatment using medial access transformation
JP3555912B2 (ja) 1996-07-04 2004-08-18 富士写真フイルム株式会社 画像読取伝送システム
US6343936B1 (en) * 1996-09-16 2002-02-05 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination, navigation and visualization
US5891030A (en) 1997-01-24 1999-04-06 Mayo Foundation For Medical Education And Research System for two dimensional and three dimensional imaging of tubular structures in the human body
JPH10295639A (ja) 1997-02-27 1998-11-10 Toshiba Corp 画像処理システム
JPH11164833A (ja) 1997-09-30 1999-06-22 Toshiba Corp 医用画像診断装置
US6369812B1 (en) 1997-11-26 2002-04-09 Philips Medical Systems, (Cleveland), Inc. Inter-active viewing system for generating virtual endoscopy studies of medical diagnostic data with a continuous sequence of spherical panoramic views and viewing the studies over networks
US6349373B2 (en) 1998-02-20 2002-02-19 Eastman Kodak Company Digital image management system having method for managing images according to image groups
US6289235B1 (en) 1998-03-05 2001-09-11 Wake Forest University Method and system for creating three-dimensional images using tomosynthetic computed tomography
US6212420B1 (en) 1998-03-13 2001-04-03 University Of Iowa Research Foundation Curved cross-section based system and method for gastrointestinal tract unraveling
US6081577A (en) 1998-07-24 2000-06-27 Wake Forest University Method and system for creating task-dependent three-dimensional images
JP4334037B2 (ja) 1998-08-13 2009-09-16 株式会社東芝 医用画像処理装置
US6381557B1 (en) 1998-11-25 2002-04-30 Ge Medical Systems Global Technology Company, Llc Medical imaging system service evaluation method and apparatus
US6381029B1 (en) 1998-12-23 2002-04-30 Etrauma, Llc Systems and methods for remote viewing of patient images
US6510340B1 (en) 2000-01-10 2003-01-21 Jordan Neuroscience, Inc. Method and apparatus for electroencephalography
US20030152897A1 (en) * 2001-12-20 2003-08-14 Bernhard Geiger Automatic navigation for virtual endoscopy
AU2003218182B2 (en) 2002-03-14 2008-12-18 Netkisr Inc. System and method for analyzing and displaying computed tomography data
ES2865048T3 (es) 2002-04-17 2021-10-14 Covidien Lp Estructuras de endoscopio para navegar a un objetivo en una estructura ramificada
WO2006138504A2 (en) 2005-06-17 2006-12-28 Mayo Foundation For Medical Education And Research Colonoscopy video processing for quality metrics determination
US7623900B2 (en) * 2005-09-02 2009-11-24 Toshiba Medical Visualization Systems Europe, Ltd. Method for navigating a virtual camera along a biological object with a lumen
US20070167714A1 (en) * 2005-12-07 2007-07-19 Siemens Corporate Research, Inc. System and Method For Bronchoscopic Navigational Assistance
US20080074422A1 (en) * 2006-09-22 2008-03-27 Doron Dekel Method, system and computer program product for providing user-customizable standardized anatomical viewing protocols for volumetric data
AU2007350982A1 (en) 2006-11-10 2008-10-23 Dorian Averbuch Adaptive navigation technique for navigating a catheter through a body channel or cavity
US7853058B2 (en) 2006-11-22 2010-12-14 Toshiba Medical Visualization Systems Europe, Limited Determining a viewpoint for navigating a virtual camera through a biological object with a lumen
JP5384473B2 (ja) 2008-03-21 2014-01-08 株式会社日立メディコ 画像表示装置及び画像表示方法
US9026223B2 (en) * 2009-04-30 2015-05-05 Medtronic, Inc. Therapy system including multiple posture sensors
GB0920938D0 (en) * 2009-11-30 2010-01-13 Imp Innovations Ltd Steerable probes
JP5457841B2 (ja) * 2010-01-07 2014-04-02 株式会社東芝 医用画像処理装置、及び医用画像処理プログラム
EP2528496A4 (en) * 2010-01-28 2015-02-25 Penn State Res Found SYSTEM AND METHOD FOR GLOBAL IMAGE-BASED RECORDING APPLICABLE TO ADVICE FOR BRONCHOSCOPY
WO2011102012A1 (ja) * 2010-02-22 2011-08-25 オリンパスメディカルシステムズ株式会社 医療機器
CN103237518A (zh) * 2010-10-28 2013-08-07 菲亚戈股份有限公司 在医学中用于光学仪器的导航附加部和方法
JP5369078B2 (ja) 2010-11-26 2013-12-18 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
WO2012090197A1 (en) * 2010-12-30 2012-07-05 Given Imaging Ltd. System and method for automatic navigation of a capsule based on image stream captured in-vivo
BR112013017704A2 (pt) * 2011-01-14 2016-10-11 Koninkl Philips Nv método para planejar um procedimento de intervenção em um lúmen corporal, sistema para planejar um procedimento de intervenção em um lúmen corporal e produto de programa de computador
US20120203067A1 (en) 2011-02-04 2012-08-09 The Penn State Research Foundation Method and device for determining the location of an endoscope
CA2794898C (en) * 2011-11-10 2019-10-29 Victor Yang Method of rendering and manipulating anatomical images on mobile computing device
WO2013080131A1 (en) * 2011-12-03 2013-06-06 Koninklijke Philips Electronics N.V. Automatic depth scrolling and orientation adjustment for semi-automated path planning
JP5826082B2 (ja) 2012-03-21 2015-12-02 富士フイルム株式会社 医用画像診断支援装置および方法並びにプログラム
ES2387785B1 (es) 2012-05-14 2013-05-08 Universitat Politècnica De Catalunya Procedimiento y sistema de generación de un recorrido para una broncoscopia virtual
JP5947707B2 (ja) 2012-12-27 2016-07-06 富士フイルム株式会社 仮想内視鏡画像表示装置および方法並びにプログラム
EP2904957A4 (en) * 2013-03-06 2016-08-24 Olympus Corp ENDOSCOPE SYSTEM
US9925009B2 (en) 2013-03-15 2018-03-27 Covidien Lp Pathway planning system and method
US9459770B2 (en) * 2013-03-15 2016-10-04 Covidien Lp Pathway planning system and method
JP6206869B2 (ja) * 2013-05-28 2017-10-04 国立大学法人名古屋大学 内視鏡観察支援装置
US10163262B2 (en) 2015-06-19 2018-12-25 Covidien Lp Systems and methods for navigating through airways in a virtual bronchoscopy view
CN105231978B (zh) * 2015-09-14 2017-03-22 袁非牛 一种引导式虚拟内窥镜导航方法

Also Published As

Publication number Publication date
JP2018047258A (ja) 2018-03-29
US10453257B2 (en) 2019-10-22
JP2017006671A (ja) 2017-01-12
US10163262B2 (en) 2018-12-25
AU2016204103A1 (en) 2017-01-12
EP3106117A1 (en) 2016-12-21
JP6628844B2 (ja) 2020-01-15
AU2016204103B2 (en) 2017-06-29
US20160371883A1 (en) 2016-12-22
JP6402230B2 (ja) 2018-10-10
CN106256331B (zh) 2019-06-25
JP2019030673A (ja) 2019-02-28
CA2933503C (en) 2019-02-12
US20190122434A1 (en) 2019-04-25
CN106256331A (zh) 2016-12-28
AU2017232198B2 (en) 2019-02-21
EP3106117B1 (en) 2020-03-25
CN110151116A (zh) 2019-08-23
JP6240263B2 (ja) 2017-11-29
CA2933503A1 (en) 2016-12-19
AU2017232198A1 (en) 2017-10-12

Similar Documents

Publication Publication Date Title
CN110151116B (zh) 用于导航通过虚拟支气管镜视图中的气道的系统和方法
US11793389B2 (en) Intelligent display
US11804308B2 (en) Pathway planning system and method
US10653485B2 (en) System and method of intraluminal navigation using a 3D model
JP6438545B2 (ja) プランニングシステム及び方法
US10262416B2 (en) Pathway planning system and method
US20150223902A1 (en) Navigation with 3d localization using 2d images
US20220277477A1 (en) Image-based guidance for navigating tubular networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant