CN106572827A - 智能显示器 - Google Patents

智能显示器 Download PDF

Info

Publication number
CN106572827A
CN106572827A CN201580042951.8A CN201580042951A CN106572827A CN 106572827 A CN106572827 A CN 106572827A CN 201580042951 A CN201580042951 A CN 201580042951A CN 106572827 A CN106572827 A CN 106572827A
Authority
CN
China
Prior art keywords
image
display
medical image
navigation
navigation instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580042951.8A
Other languages
English (en)
Other versions
CN106572827B (zh
Inventor
I·可海特
E·克莱因
B·格林伯格
D·阿瓦布查
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nellcor Puritan Bennett LLC
Covidien LP
Original Assignee
Nellcor Puritan Bennett LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nellcor Puritan Bennett LLC filed Critical Nellcor Puritan Bennett LLC
Publication of CN106572827A publication Critical patent/CN106572827A/zh
Application granted granted Critical
Publication of CN106572827B publication Critical patent/CN106572827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0475—Special features of memory means, e.g. removable memory cards
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/412—Dynamic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/428—Real-time
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Pulmonology (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Physiology (AREA)
  • Otolaryngology (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)

Abstract

一种用于在屏幕上显示肺的医学图像的医学图像显示装置，包括：网络接口，其配置成从导航仪器的位置传感器接收导航仪器的位置信息、从导航仪器的光学传感器接收视频流、以及从成像设备接收医学图像；存储多个医学图像和指令的存储器；执行指令的处理器；以及在屏幕上动态地显示图像的显示器。指令在由处理器执行时促使医学图像显示装置确定状态信息是否指示了路径查看模式、目标管理模式、或者导航模式。指令在由处理器执行时还促使显示器基于导航仪器的位置信息和状态信息从多个医学图像中动态地选择和更新在屏幕上显示的图像。

Description

智能显示器
技术领域
本公开涉及用于以动态和变化的方式显示医学图像的系统。更特别地，本公开涉及基于导航仪器的位置、状态以及在每个时间点所实现的功能来动态地显示医学图像的系统。
背景技术
可视化技术在医疗领域中已经快速发展。特别地，可视化技术已经帮助最小化切口的尺寸或者在手术中非侵入式地治疗患者的疾病以及在患者体内非侵入式地导航以识别和治疗目标病变。然而，当显示不正确的信息时，可视化也可能造成意外的风险。此外，当显示不准确的信息时，临床医生可能难以解读所显示的信息。
临床医生需要以动态方式获得正确和适当的信息，这取决于临床医生在使用医疗设备时想要实现的程序和/或功能。当医疗设备能够在各种情况下都显示正确和适当的信息时，临床医生需要的培训较少。而且，当设置在各种情况下被自动调节以显示信息时，临床医生和工作人员能够体验更快速和更便捷的使用。当临床医生或工作人员不定期地使用医疗装置时，自动调节更为有利。
发明内容
在实施例中，本公开公开了一种用于在屏幕上显示肺的医学图像的医学图像显示装置。所述医学图像显示装置包括：网络接口，其配置成从导航仪器的位置传感器接收导航仪器的位置信息、从导航仪器的光学传感器接收视频流、以及从成像设备接收医学图像；存储多个医学图像和指令的存储器；配置成执行指令的处理器；以及配置成在屏幕上动态地显示图像的显示器。指令在由处理器执行时促使所述医学图像显示装置确定状态信息是否指示了路径查看模式、目标管理模式、或者导航模式。指令在由处理器执行时还促使显示器基于导航仪器的位置信息和状态信息从多个医学图像中动态地选择和更新在屏幕上显示的图像。
在一方面，所述导航仪器是内窥镜仪器。
在另一方面，所述多个医学图像选自构成如下的组：矢状图像、冠状图像或轴向图像；肺的三维(3D)图；目标；通向目标的路径规划；虚拟支气管镜视频图像；实时支气管镜视频图像；最大强度投影图像；3D CT图像；导航仪器的远侧末端；及其任意组合。通过计算机断层成像、荧光镜、计算机辅助断层成像、正电子发射断层成像或磁共振成像来拍摄矢状图像、冠状图像或轴向图像。显示的图像是合成图像，其中，由第一成像方法获得的肺的第一图像与由另一成像方法获得的第二图像叠加。
在一方面，所述部分是目标，通过计算机断层成像拍摄所述第一图像，并且通过荧光镜拍摄所述第二图像。所述显示器对应于位置信息的变化同步地显示两个或更多个图像。
在另一方面，当在3D图中显示所述目标时，基于目标的位置信息选择并显示矢状图像、冠状图像和/或轴向图像。位置信息的变化指示导航仪器的位置传感器在肺中的运动。
在又一方面，基于导航仪器的位置传感器的位置信息显示轴向图像、冠状图像和矢状图像。轴向图像、冠状图像和矢状图像中的每一个都通过包括缩放和平移的控制动作来进行控制。
在又一方面，3D图与显示3D图的取向的取向指示器一起被显示。
在又一方面，当位置信息指示所述位置传感器未经过阈值位置时，所述显示器显示实时支气管镜视频图像，当位置信息指示所述位置传感器经过阈值位置时，所述显示器消除实时支气管镜视频图像并且显示虚拟支气管镜视频图像。
在又一方面，当状态信息指示在导航模式中没有从所述导航仪器接收到实时支气管镜视频图像时，所述显示器显示最后接收到的图像。
在再一方面，所述显示器自动地定向3D图以在3D图中足够清晰地显示所述位置传感器的当前位置。
在另一实施例中，本公开公开了一种用于在屏幕上显示医学图像的医学图像显示系统。所述医学图像显示系统包括：成像设备，其配置成拍摄患者的图像；导航仪器，其配置成在患者体内导航、传输由位置传感器获得的位置信息和由光学传感器获得的视频流；以及一装置，其包括：网络接口，所述网络接口配置成接收来自所述导航仪器的位置信息和视频流以及来自所述成像设备的拍摄图像；配置成执行指令的处理器；存储多个医学图像和指令的存储器；以及配置成在所述屏幕上显示图像的显示器。指令在由处理器执行时促使所述装置确定指示所述导航仪器是否传输位置信息和视频流的导航仪器状态，并且促使所述显示器基于所述导航仪器的位置信息和状态信息从多个图像中动态地选择和更新在所述屏幕上显示的图像。
在又一实施例中，本公开公开了一种用于在显示设备的显示器上动态地显示肺的医学图像的方法，所述显示设备存储肺的切片图像、肺的三维(3D)图、以及通向目标的路径规划。所述方法包括：确定显示设备的状态信息是否指示了路径查看模式、导航模式、或者目标管理模式；从导航仪器接收位置信息，该位置信息指示对肺进行导航的所述导航仪器的位置传感器的位置；以及基于确定的状态信息和位置信息显示医学图像。当确定的状态信息是路径查看模式时，显示的医学图像包括3D图和虚拟支气管镜视频图像，其中叠加有路径规划和目标。当确定的状态信息是导航模式时，显示的医学图像包括3D图、虚拟或实时的支气管镜视频图像、以及切片图像，所有这些图像同步地跟踪所述位置传感器的位置。当确定的状态信息是目标管理模式时，显示的医学图像包括从三个独立方向拍摄的三个切片图像、以及显示所述目标的最大强度投影图像。当在导航模式中平移或缩放一个图像时，所有图像和3D图相应地被同步平移或缩放。
在不脱离本公开的范围的前提下，本公开的以上方面和实施例可以进行任意组合。
附图说明
当参考附图阅读各种实施例的说明时，当前公开的系统和方法的目的和特征对于本领域普通技术人员将变得显而易见，在附图中：
图1是根据本公开的实施例用于在屏幕上动态地显示医学图像的系统的透视图；
图2-5是根据本公开的实施例在图1的系统的屏幕上动态地显示的图像的图示；以及
图6是示出根据本公开的实施例用于动态地显示医学图像的方法的流程图。
具体实施方式
本公开涉及用于在屏幕上动态地显示医学图像的系统和方法。系统显示器基于患者体内的内窥镜设备的位置利用视觉、听觉和触觉信息来更新和调节适当的信息。基于内窥镜设备的位置和状态信息动态地和自动地改变屏幕上的图像提升了显示系统的使用的便捷性，并且减少了对临床医生交互调节和改动显示器的需要。
图1显示用于非侵入式地可视化患者胸腔内部并且在屏幕上动态地显示医学图像和经过处理的图像的内窥镜导航系统100。特别地，内窥镜导航系统100包括工作站120和导航仪器140。工作站120包括显示器122、一个或多个处理器124、存储器126、网络接口128和输入设备129。
导航仪器140包括导管142，其可以插入支气管镜144的工作通道中。监测设备146显示由支气管镜144生成的图像。在导航仪器140的近端处的手柄141操作性地连接到导管142，使导管142能够导航到患者的对于支气管镜144进行导航而言过窄的区域中。导航仪器140可以包括传感器143。传感器143可以一体地形成于导管142中，或者可以形成于能够通过导管142的管腔插入的可定位引导件(LG)145上。当在导航期间使用LG 145时，一旦到达目标，LG 145就可以从导管142中的管腔被移除以留下导管142。以该方式，当需要其它外科操作(例如活检、消融、密封或烧灼)时，对应于外科操作的外科工具可以通过导管142插入以到达目标。
内窥镜导航系统100还包括外科手术台160。电磁(EM)场发生器165与外科手术台160相关联(例如，放置在患者130下面、与患者相结合、或者放置在患者上面而不是下面)，并且可以用于帮助识别传感器143在由电磁场发生器165生成的电磁场(未显示)内的位置。
内窥镜导航系统100还可以包括放置在患者130身上的跟踪设备148和参考传感器150。导航仪器140经由支气管镜144通过有线连接或无线连接(未显示)操作性地耦合到跟踪设备148。参考传感器150感测由电磁场发生器165生成的电磁场，并且感测由于患者的呼吸而产生的胸部的运动模式。参考传感器150可以补偿患者的呼吸模式以便更加有助于识别传感器143在电磁场内的位置。
跟踪设备148从与导航仪器140相关联的传感器143和参考传感器150接收位置信息以识别传感器143在患者体内的位置，并且将该位置与2维图像和3维图相关联以使导航仪器140能够在患者130体内进行导航。
在3D图的坐标系中识别位置信息，以使得工作站120能够在3D图中显示传感器143的位置。下文将进一步详细描述显示3D图和切片图像。
一个或多个处理器124执行计算机可执行指令。处理器124可以执行图像处理功能，以使得能够根据导入的医学数字图像和通信(DICOM)图像生成患者130的肺的3D图。显示器122可以显示患者130的该部分的二维(2D)图像或三维(3D)图。处理器124可以处理来自传感器143的感测到的位置信息以识别传感器143的位置，并且通过配准过程提供传感器143在2D图像或3D图中的位置的指示。2D图像和3D图也可以用于定位和识别病变或肿瘤以作为例如用于活检或治疗的关注点，并且生成到达该目标和能够导航到患者130体内的目标的路径。
存储器126存储数据和程序。在一方面，数据可以是DICOM图像、3D图、或者任何其它相关数据例如患者的医疗记录、处方和患者的病史，并且程序可以是导航和路径规划软件以向临床医生提供指导并且在3D图和2D图像上提供路径的表达。可以存储在存储器中的程序的示例包括由Covidien LP销售的导航规划和程序套件。规划套件的细节可以在2013年3月15日提交的、发明名称为“路径规划系统和方法(Pathway PlanningSystem and Method)”且申请号为13/838,805、13/838,997和13/839,224的美国专利申请中找到，并且程序套件的细节可以在由Brown等人于2014年7月2日提交的、发明名称为“用于在肺内导航的系统和方法(System And Method For Navigating Within The Lung)”且申请号为62/020,240的美国临时专利申请中找到，所有这些申请均由Covidien LP提交并且通过全文引用而合并于本文中。
图2-5示出了根据本公开的实施例的工作站120能够呈现在显示器122上的各种窗口。显示器122可以基于内窥镜导航系统100的操作模式呈现特定窗口，这些模式可以包括目标管理模式、路径规划模式、导航模式、以及如本文详述的其它模式。
图2示出了根据本公开的实施例的目标管理模式。在识别出目标之后，临床医生可以查看和管理以确定每个目标的优先次序或者确认每个目标的位置或尺寸。目标管理模式可以包括3D图窗口210以及包括轴向视图窗口230、冠状视图窗口250和矢状视图窗口270的三个窗口。3D图窗口210可以位于左侧并且显示目标215。目标215不在尺寸上按比例显示，而是显示为使临床医生关注其位置。基于目标215的位置选择三个窗口230-270。
在一方面，显示器122可以在3D图窗口210中显示所有识别出的目标。当由临床医生的手指或由点击设备选中目标时，三个窗口230-270被自动显示，以示出在选定目标的位置处彼此交叉的轴向图像、矢状图像和冠状图像。此外，选定的目标能够以不同的颜色或形状显示，以使得选定的目标可以与3D图窗口210中的其它未被选中的目标区分开。可以基于选定的目标使3D图窗口210和三个窗口230-270同步。可以利用在三个窗口230-270中显示的信息比较和识别选定的目标的尺寸和位置信息。临床医生可以在现场修改或校正选定的目标的尺寸和位置信息。
在另一方面，可以消除已经在3D图窗口210中显示的目标，并且可以在目标管理模式中添加新目标。例如，当选中一目标并且显示相应的菜单时，可以选择消除目标。然后从3D图窗口210消除该目标，并且不在目标管理窗口的右侧显示相应的切片图像。或者，当添加新目标时，新目标被显示在3D图窗口210中，并且相应的三个切片图像也以堆叠的形式显示在目标管理窗口的右侧。如上所述，这些窗口210、230、250和270可以被手动控制以根据临床医生的偏好改变它们的尺寸和位置。
在一方面，当由于目标的位置而没有清楚地显示目标时，3D图窗口210可以自动地切换到能够进行旋转、平移或缩放的3D图动态窗口。3D图动态窗口能够自动地旋转、平移或缩放成使得能够清楚地显示所述目标。在一方面，图2的显示窗口可以在导航阶段中被显示以示出当采用活检工具时下一个目标可能在何处。
当识别出目标并且由工作站120识别出路径时，临床医生可能希望在导航查看模式中查看该路径。图3示出了规划阶段中的导航查看模式，其中，根据本公开的实施例，工作站120在显示器122的屏幕上显示3D图窗口310和虚拟支气管镜窗口350。3D图窗口310显示3D图并且虚拟支气管镜窗口350显示虚拟支气管镜视频图像。3D图窗口310可视地显示并且叠加通向目标330的路径320和当前位置指示器317。在导航查看模式中，当给出从气管到目标330的飞越视图(fly-through view)时，显示器122总是显示虚拟支气管镜窗口350。
虚拟支气管镜窗口350还显示朝着目标330的路径360以供查看。当前位置指示器317基于并根据虚拟支气管镜窗口350中显示的当前位置而在3D图窗口310中移动。在一方面，可以基于临床医生能够在显示路径和不显示路径之间设定的显示选项而不显示路径360或者路径320。
虚拟支气管镜窗口350包括用于不透明度的滑块370。通过移动滑块370，虚拟支气管镜视频图像的不透明度可以从不透明变为透明。然而，虚拟支气管镜的不透明度状态不与3D图窗口310中显示的3D图同步。
图4A和4B示出了根据本公开的实施例在包括中心模式和外围导航模式的导航模式期间所显示的窗口。在中心模式中，工作站120可以显示3D图窗口410和实时支气管镜窗口450，如图4A所示。
3D图窗口410显示患者的气道的3D图，并且实时支气管镜窗口450显示由定位在支气管镜144的远端处的光学传感器接收的实时支气管镜视频图像。在目标处于肺的中心气道(例如，气管或初级支气管)的情况下，支气管镜能够到达目标并且实时支气管镜窗口450能够显示实时支气管镜视频图像和通向目标的路径。
3D图窗口410显示肺的3D图415和指示导管142的LG 145的传感器143的当前位置的当前位置指示器417。当传感器143朝着目标对肺进行导航时，当前位置指示器417在3D图415中移动到与传感器143在肺中的实际位置相对应的位置。例如，传感器143靠近实时支气管镜窗口450中的肺的分支位置，并且当前位置指示器417也靠近3D图415中的分支位置，如图4A所示。换句话说，实时支气管镜窗口450和3D图窗口410经由3D图415中的当前位置指示器417来同步传感器143的当前位置。
3D图窗口410还显示平移/缩放选择器420和复位按钮425。当在平移/缩放选择器420中选择平移时，可以平移3D图415。例如，当选择缩放时，可以缩放3D图415。3D图窗口410还以人体的形式显示取向指示器440。当3D图被平移和/或缩放时，取向指示器440显示3D图415的取向。当在平移/缩放选择器420中选择平移功能或缩放功能时，平移和旋转功能被启动。临床医生可以通过点击以及向右、向左、向上、向下或者在任意方向上拖动3D图415或取向指示器440来平移或者放大或缩小3D图415。
在实施例中，通过点击和拖动，3D图415可以在任何方向上或者换句话说在平移和缩放的组合方向上围绕3D图窗口410的中心旋转。在另一实施例中，3D图415可以在当前位置指示器417的当前位置周围平移。3D图415和取向指示器440两者同步地平移和缩放。在按下复位按钮425的情况下，通过基于当前位置指示器417的位置自动地平移和缩放而将3D图415旋转到默认取向。默认取向可以是前上位置或者可以基于显示器122的设置改变为后上位置。
在另一实施例中，3D图415可以自动地平移或缩放以清楚地显示当前位置指示器417的位置。例如，在当前位置指示器417位于3D图415的前叶中并且在不缩放或平移3D图415的情况下不能清楚地显示时，3D图415可以基于3D图415中的当前位置指示器417的位置而自动地旋转和/或缩放以清楚地显示屏幕上的当前位置。
在又一实施例中，复位按钮425可以基于3D图415中的当前位置指示器417的位置而启动自动平移和/或缩放，并且平移/缩放选择器420可以停用自动平移和/或缩放并且启动手动平移或缩放。以该方式，显示器122帮助临床医生在不触摸或操纵显示器122的情况下查看传感器143在肺中的实际位置，该实际位置与3D图415中的当前位置指示器417的位置同步。而且，临床医生能够手动地旋转3D图以在当前位置指示器417的位置附近检查目标和肺部结构的位置。
3D图窗口410还显示缩放工具430，其包括放大按钮432、缩小按钮434和缩放滑块436。放大按钮432在当前位置指示器417的位置附近进行放大并且缩小按钮434在当前位置指示器417的位置附近进行缩小。缩放滑块436可以用于相应地通过上下移动滑块来进行放大和缩小。在一方面，当按下复位按钮425时，3D图415可以在不缩放的情况下以默认取向被显示。
实时支气管镜窗口450显示实时支气管镜视频图像。通过观察实时支气管镜窗口450，临床医生可以操纵支气管镜144以在肺的管腔网络中朝着目标导航。传感器143从支气管镜144伸出预定距离。支气管镜由于其尺寸而不能导航越过肺的预定尺寸的气道。在该位置之前，光学传感器将活动支气管视频图像流传输到工作站120。
一旦支气管镜144变为楔入气道中或者当实时支气管镜窗口450不提供任何信息时，导管142和传感器143就可以延伸到支气管镜144之外并且进一步通过肺的外围分支朝着目标导航。在这时，一旦外围导航开始，内窥镜导航系统100(特别是工作站120)就可以自动地切换到外围导航模式，其中在显示器122上呈现的窗口变化。例如，由于一旦支气管镜144楔入或者当实时支气管镜窗口450不提供任何信息时光学传感器将仅接收到相同的图像，因此可能期望从实时支气管镜窗口450切换到虚拟支气管镜窗口。
图4B示出了根据本公开的实施例的示例性外围导航视图。在该配置中，图4A的3D图窗口410和实时支气管镜窗口450可以堆叠在显示器的左侧，并且局部视图窗口460显示在右侧。局部视图窗口460将气道465显示为由灰色模糊边界包围的黑色区域。还在局部视图窗口460中显示定位在导管142或LG 145的远侧末端处的传感器143的图形表示470和目标475。在一方面，目标475可以显示为球或另外的形状。目标475的实际尺寸不需要与局部视图窗口460同步，因此尽管离传感器143的位置有一定距离，它仍然可以全尺寸地呈现。局部视图窗口460显示且叠加有目标475、路径规划480和传感器143。
路径规划480被显示为从局部视图窗口460的底部到目标475的曲线以引导临床医生到达目标475。局部视图窗口460还显示距离指示器485。在距离指示器485中显示的距离基于设置而可以是国际标准单位(“SI单位”)或美国惯用单位。在图4B中，到目标的距离以SI单位显示为9.2cm。该距离可以表示遵循路径规划480到目标475的距离。
图5示出了根据本公开的实施例用于显示到目标的实际导航的六个窗口。六个窗口是3D CT窗口510、虚拟支气管镜窗口520、实时支气管镜窗口530、3D图动态窗口540、矢状视图窗口550和局部视图窗口560。当LG的传感器143的图形表示522移动时，六个窗口510-560可以相应地变化。由于支气管镜窗口530在肺分支的某一点之后不能进一步行进，因此实时支气管镜窗口530可能在这一点之后显示相同的图像。或者，在一方面，在传感器143经过这一点之后，实时支气管镜窗口530可以从显示器的屏幕自动消除。
3D CT窗口510可以显示位于LG的传感器143正前方的视图，并且显示高密度结构例如血管和病变。如3D CT窗口510所示，显示到目标的距离512。3D CT窗口510也能够以交叉形式显示下一路点514，其指示传感器143应当去往哪个路线。虚拟支气管镜窗口520、支气管镜窗口530和3D图动态窗口540的说明内容与上述的说明内容类似并且被省略。
在一方面，在3D CT窗口510上标记的目标病变可以被叠加在荧光图像中以产生合成图像。由于荧光图像不显示目标病变，因此可以显示合成图像以在荧光图像中示出虚拟现实，从而为临床医生提供进一步的便利。
矢状视图窗口550在矢状平面中显示图像，并且在矢状平面图像中叠加传感器143的图形表示522。矢状视图窗口550可以基于传感器143移动的方向切换到冠状视图窗口或轴向视图窗口。当冠状视图窗口更好地显示传感器143的运动时，冠状视图窗口自动地替代矢状视图窗口550。在一方面，路径554也被叠加到矢状视图窗口550。
局部视图窗口560显示位于传感器143处并与其对准的切片图像(例如，轴向图像、冠状图像或矢状图像)并且叠加切片图像、传感器143的图形表示552、路径554、以及目标562。
在显示器的屏幕上显示两个或更多个切片图像的情况下，基于传感器143的位置同步这些切片图像。换句话说，当传感器143移动时，显示器显示对应于传感器143的位置的切片图像。此外，3D CT窗口510、虚拟支气管镜窗口520、3D图动态窗口540和局部视图窗口560也基于传感器143的当前位置被同步。当支气管镜的用户平移或缩放切片图像时，3D图动态窗口540、局部视图窗口560也可以被同步。在一些情况下，虚拟支气管镜窗口520可以不与平移和缩放同步。
在一方面，可以基于程序模式和传感器143的位置信息自动地调节显示在屏幕上的窗口的数量。临床医生也可以从屏幕手动地消除窗口以及向屏幕添加多达例如六个的窗口。然而，显示在屏幕上的窗口的数量可以不限于预定数量，而是可以基于屏幕的实际状况、模式和/或临床医生的偏好而增加或减少。在实施例中，临床医生可以手动地切换上述任何窗口的位置、竖直地堆叠窗口、增加或减小窗口的尺寸、以及添加或消除任何窗口。
图6显示的流程图示出了根据本公开的实施例用于基于导航仪器140的状态信息和位置信息动态地显示医学图像的方法600。工作站120获得患者的DICOM图像(例如，CT、CAT、超声图像等)，并且生成被成像的结构(例如，肺)的3D图。
在步骤610中，识别状态信息。状态信息可以指示工作站120的状态。在步骤620中，当确定内窥镜导航系统100处于目标管理模式时，显示器122可以显示被成像的肺的三个2D图像(例如矢状图像、轴向图像、冠状图像)和最大强度投影图像，所有这些图像都显示候选目标。通过显示这些图像，临床医生可以容易地识别目标、目标的位置和尺寸，并确定到达目标的路径。尽管通常如上所述将这样的步骤作为在开始导航程序之前进行的独立过程来进行，但是也存在临床医生在程序期间可能希望从导航模式返回到目标管理模式的情形。
在实践中，在开始导航程序之前但是在规划程序之后可以进入路径查看模式并不罕见。在路径查看时，在步骤615中并且如图3所示地，工作站120显示3D图和虚拟支气管镜视频图像。在路径查看模式中，显示器122示出到目标的虚拟导航和例如肺的管腔网络中通向目标的路径。显示器122也可以基于管腔网络中的虚拟导航的位置显示2D图像，其中2D图像例如是矢状图像、冠状图像和轴向图像。在完成查看之后，所述方法600返回到步骤610以检查状态信息。
在步骤610中状态信息确定已进入导航模式之后，在步骤625中从由电磁场发生器165生成的电磁场内的传感器143接收位置信息。位置信息标明传感器143在电磁场内的位置，并且能够被配准到2D图像和3D图以使得在2D图像和3D图中示出导管142的远侧末端的图形表示。最初传感器143位于支气管镜144的端部处。在步骤630中，确定传感器143的位置是否已经经过阈值位置。由于支气管镜的尺寸，支气管镜不能导航到比阈值位置更远的地方。阈值位置可以是预定位置例如气管的底部、初级支气管树、或者直径小于预定直径(例如支气管镜的直径)的支气管树的任意部分。因而，支气管镜变为楔入肺的气道中，迫使导管142前进超出支气管镜144的远端。
在一方面，阈值位置可以是实时支气管镜视频图像不提供任何信息且需要改变为虚拟支气管镜视频图像以进一步导航通过肺的管腔网络的部位。例如，阈值位置可以是支气管镜被粘液或出血妨碍的部位。
在到达阈值位置之前，在步骤635中显示器122可以显示实时支气管镜视频图像和3D图，如图4A所示。实时支气管镜视频图像显示遵循通向目标的路径的支气管镜144。在一方面，显示器122也可以显示肺的2D图像以从期望的视图(例如，冠状视图、矢状视图、轴向视图或另外的视图)显示导航仪器140的传感器143的当前位置。在步骤625-635中所述方法600保持接收位置信息并且显示实时支气管镜视频图像，直到传感器143经过阈值位置。
当在步骤630中确定传感器143的位置经过阈值位置时，在步骤640中显示器122改变正在显示的图像并且现在可以示出虚拟支气管镜视频图像(例如，类似于在查看模式期间所示的、但是在图像中显示传感器143的即时位置的飞越视图)、3D图和三个2D图像。在这样的情况下，图4A的实时支气管镜窗口450是没什么价值的，原因在于导管142和传感器143已延伸到光学器件的图像之外，并且实质上视频图像没有变化。可以基于管腔网络内的传感器的当前位置同步地显示和更新由显示器122显示的所有图像。换句话说，所有图像都跟踪在3D图和任何显示的2D图像中的传感器143的当前位置。
在一方面，模式还可以包括标记放置模式、活检位置跟踪/管理模式、活检辅助模式、结论/摘要模式等。在每个模式中显示对应于每个模式的相关图像以促进或推进程序。
如上所述，每个图像可以包括平移或缩放的按钮或滑块。在步骤645中，确定是否由临床医生执行一个图像的平移或缩放功能。除了平移和缩放的按钮或滑块之外，平移和缩放功能可以通过诸如键盘和鼠标这样的输入设备、通过显示屏上的触摸动作(例如，挤捏或双击)、通过由摄像头监视的临床医生的姿势、或者通过可听的声音实现。当未执行平移或缩放时，所述方法600进入步骤655。否则，在步骤650中，显示器122同步地平移或缩放所有图像，其中包括与图像的平移或缩放相对应的3D图。以该方式，可以整体地平移或缩放所有图像。3D图窗口可以切换到3D图动态窗口，以使得可以同步地平移或缩放被切换到的3D图动态窗口。显示在显示屏上的图像可以包括目标、路径、路点、活检标记、器官、或者医疗器械。
在步骤655中，确定导航是否结束或者导航仪器140是否到达目标。如果答案为否，则所述方法600保持执行步骤640-655，直到导航仪器140的传感器143到达目标附近。当所述方法600结束时，可以执行活检或治疗程序。如果已使用LG，则LG将被移除并且替换为导管142内的活检或治疗工具，然而，如果传感器143被集成在导管142内，则活检或治疗工具可以简单地根据需要行进以执行程序。[注意：发明人对集成的传感器做了一些评述。但我不认为我们需要在这里添加关于集成的传感器的更多细节内容。]
作为图6中描述的方法的结果，呈现在显示器122上的图像可以在程序的每个阶段被更新，消除了临床医生将他们的手从导航仪器140或支气管镜144拿开的需要。正如本领域技术人员将领会的，上述实施例是示例性的并且不限制本公开的范围。因此可以在程序的不同阶段呈现图像和3D图的不同分组。此外，各阶段可以由临床医生优化或预先选择，以建立由用户选择的智能显示，该智能显示针对特定临床医生、医院的偏好或针对程序的特定类型定制用于肺的特定部分或者由本文中描述的设备和系统访问的其它区域。
工作站120可以是各种计算系统中的一种，包括笔记本电脑、台式计算机、平板计算机、或其它类似的设备。显示器122可以是触摸敏感式和/或语音激活式，使显示器122能够既用作输入设备又用作输出设备。在一方面，图1的存储器126可以是一个或多个固态存储设备、闪存芯片、大容量存储器、磁带驱动器、或者通过存储控制器和系统通信总线连接到处理器的任何计算机可读存储介质。计算机可读存储介质包括在用于存储诸如计算机可读指令、数据结构、程序或其它数据这样的信息的任何方法或技术中实现的非暂时性、易失性、非易失性、可移动或不可移动的介质。例如，计算机可读存储介质包括随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其它固态存储器技术、CD-ROM、DVD或其它光学存储器、磁盒、磁带、磁盘存储器或其它磁存储设备、或可以用于存储期望信息并且可以由显示设备访问的任何其它介质。
在实施例中，工作站120还可以包括仅执行图像处理功能以使一个或多个处理器124可供用于其它程序的独立图形加速器。网络接口128使其它计算设备和/或成像设备110能够通过有线和/或无线的网络连接彼此通信。在图1中，工作站120显示为经由有线连接与成像设备110之间传输或接收医学图像、医学数据和控制数据，但是也可以无线地传输数据。
在一方面，存储器或存储空间可以处于网络云中，并且用于通过肺的管腔网络规划或执行导航所需的图像处理或其它处理可以由网络云中的计算设备来完成。
输入设备129用于输入数据或控制信息例如设定值、文本信息、和/或控制工作站120。输入设备129可以包括键盘、鼠标、扫描设备、或其它数据输入设备。系统通信总线可以在显示器122、一个或多个处理器124、存储器126、网络接口128和输入设备129之间彼此连接。在一方面，输入设备129还可以包括语音输入、触摸输入或姿势输入。
在另一方面，肺的切片图像可以通过使用成像模态的成像设备获得，所述成像模态可以包括计算机断层成像(CT)技术、放射线照相术、通过计算机化轴向断层成像(CAT)扫描产生的断层图像、磁共振成像(MRI)、超声成像、对比成像、荧光透视成像、核扫描、以及正电子发射断层成像(PET)。
另外，参考以下共同受让的申请，它们教导了与本文中描述的系统相关的其它特征中的图像处理和用户界面更新的特征：由Brown等人于2014年7月2日提交、发明名称为“用于在肺内导航的系统和方法(System And Method For Navigating Within TheLung)”且申请号为62/020,240的美国临时专利申请；由Brown等人于2014年7月2日提交的、发明名称为“实时自动配准反馈(Real-Time Automatic Registration Feedback)”且申请号为62/020,220的美国临时专利申请；由Brown于2014年7月2日提交的、发明名称为“用于标记活检位置的方法(Methods for Marking Biopsy Location)”且申请号为62/020,177的美国临时专利申请；由Greenburg于2014年7月2日提交的、发明名称为“用于患者肺的多CT扫描的统一坐标系(Unified Coordinate System For Multiple CT Scans Of PatientLungs)”且申请号为62/020,242的美国临时专利申请；由Klein等人于2014年7月2日提交的、发明名称为“对准CT(Alignment CT)”且申请号为62/020,245的美国临时专利申请；由Merlet于2014年7月2日提交的、发明名称为“用于荧光镜姿势估计的算法(Algorithm forFluoroscopic Pose Estimation)”且申请号为62/020,250的美国临时专利申请；由Lachmanovich等人于2014年7月2日提交的、发明名称为“气管标记(Trachea Marking)”且申请号为62/020,253的美国临时专利申请；由Markov等人于2014年7月2日提交的、发明名称为“肺和胸膜分割(Lung And Pleura Segmentation)”且申请号为62/020,261的美国临时专利申请；由Lachmanovich等人于2014年7月2日提交的、发明名称为“锥视图-一种在3D中导航时提供距离和取向反馈的方法(Cone View-A Method Of Providing Distance AndOrientation Feedback While Navigating In 3D)”且申请号为62/020,258的美国临时专利申请；由Weingarten等人于2014年7月2日提交的、发明名称为“用于肺内部的工具导航的动态3D肺图视图(Dynamic 3D Lung Map View for Tool Navigation Inside the Lung)”且申请号为62/020,262的美国临时专利申请；由Markov等人于2014年7月2日提交的、发明名称为“用于肺的分割的系统和方法(System and Method for Segmentation of Lung)”且申请号为62/020,261的美国临时专利申请；以及由Markov等人于2014年7月2日提交的、发明名称为“人肺气管的自动检测(Automatic Detection Of Human Lung Trachea)”且申请号为62/020,257的美国临时专利申请。此外，本公开的所有这些参考文献涉及处理DICOM图像、检测气管、在肺内进行导航、以及显示DICOM图像和经过处理的图像的这些方面用以为尤其涉及肺治疗规划和导航的分析、诊断和治疗系统提供增强的清晰度和性能。所有这些申请通过引用合并于本文中。尽管已根据具体的示例性实施例描述了本公开，但对于本领域技术人员而言显而易见的是，在不脱离本公开的精神的情况下可以进行各种修改、重新布置和替换。本公开的范围由所附的权利要求限定。

Claims (20)

1.一种用于在屏幕上显示肺的医学图像的医学图像显示装置，其包括：
网络接口，所述网络接口配置成从导航仪器的位置传感器接收所述导航仪器的位置信息、从所述导航仪器的光学传感器接收视频流、以及从成像设备接收医学图像；
存储多个医学图像和指令的存储器；
配置成执行指令的处理器；以及
配置成在屏幕上动态地显示图像的显示器，
其中指令在由所述处理器执行时促使所述医学图像显示装置确定状态信息是否指示了路径查看模式、目标管理模式、或者导航模式；并且
其中指令在由所述处理器执行时还促使所述显示器基于所述导航仪器的位置信息和状态信息从所述多个医学图像中动态地选择和更新在所述屏幕上显示的图像。
2.根据权利要求1所述的医学图像显示装置，其中所述导航仪器是内窥镜仪器。
3.根据权利要求1所述的医学图像显示装置，其中所述多个医学图像选自构成如下的组：矢状图像、冠状图像或轴向图像；肺的三维(3D)图；目标；通向目标的路径规划；虚拟支气管镜视频图像；实时支气管镜视频图像；最大强度投影图像；3D CT图像；导航仪器的远侧末端；及其任意组合。
4.根据权利要求3所述的医学图像显示装置，其中通过计算机断层成像、荧光镜、计算机辅助断层成像、正电子发射断层成像或磁共振成像来拍摄矢状图像、冠状图像或轴向图像。
5.根据权利要求3所述的医学图像显示装置，其中显示的图像是合成图像，其中由第一成像方法获得的肺的第一图像与由另一成像方法获得的第二图像叠加。
6.根据权利要求5所述的医学图像显示装置，其中所述部分是目标，通过计算机断层成像拍摄所述第一图像，并且通过荧光镜拍摄所述第二图像。
7.根据权利要求1所述的医学图像显示装置，其中所述显示器对应于位置信息的变化同步地显示两个或更多个图像。
8.根据权利要求3所述的医学图像显示装置，其中当在3D图中显示所述目标时，基于目标的位置信息选择并显示矢状图像、冠状图像和/或轴向图像。
9.根据权利要求3所述的医学图像显示装置，其中位置信息的变化指示所述导航仪器的位置传感器在肺中的运动。
10.根据权利要求3所述的医学图像显示装置，其中基于所述导航仪器的位置传感器的位置信息显示轴向图像、冠状图像和矢状图像。
11.根据权利要求10所述的医学图像显示装置，其中轴向图像、冠状图像和矢状图像中的每一个都通过控制动作来进行控制。
12.根据权利要求11所述的医学图像显示装置，其中所述控制动作包括缩放和平移。
13.根据权利要求3所述的医学图像显示装置，其中3D图与取向指示器一起被显示。
14.根据权利要求13所述的医学图像显示装置，其中所述取向指示器显示3D图的取向。
15.根据权利要求3所述的医学图像显示装置，其中当位置信息指示所述位置传感器未经过阈值位置时，所述显示器显示实时支气管镜视频图像。
16.根据权利要求15所述的医学图像显示装置，其中当位置信息指示所述位置传感器经过所述阈值位置时，所述显示器消除实时支气管镜视频图像并且显示虚拟支气管镜视频图像。
17.根据权利要求3所述的医学图像显示装置，其中当状态信息指示在导航模式中没有从所述导航仪器接收到实时支气管镜视频图像时，所述显示器显示最后接收到的图像。
18.根据权利要求3所述的医学图像显示装置，其中所述显示器自动地定向3D图以在3D图中足够清晰地显示所述位置传感器的当前位置。
19.一种用于在屏幕上显示医学图像的医学图像显示系统，其包括：
成像设备，所述成像设备配置成拍摄患者的图像；
导航仪器，所述导航仪器配置成在患者体内导航、传输由位置传感器获得的位置信息和由光学传感器获得的视频流；以及
一装置，所述装置包括：
网络接口，所述网络接口配置成接收来自所述导航仪器的位置信息和视频流以及来自所述成像设备的拍摄图像；
配置成执行指令的处理器；
存储多个医学图像和指令的存储器；以及
配置成在屏幕上显示图像的显示器，
其中指令在由所述处理器执行时促使所述装置确定导航仪器状态，所述导航仪器状态指示所述导航仪器是否传输位置信息和视频流；并且
其中指令在由所述处理器执行时促使所述显示器基于所述导航仪器的位置信息和状态信息从多个图像中动态地选择和更新在所述屏幕上显示的图像。
20.一种用于在显示设备的显示器上动态地显示肺的医学图像的方法，所述显示设备存储肺的切片图像、肺的三维(3D)图、以及通向目标的路径规划，所述方法包括：
确定所述显示设备的状态信息是否指示了路径查看模式、导航模式、或者目标管理模式；
从导航仪器接收位置信息，该位置信息指示对肺进行导航的所述导航仪器的位置传感器的位置；以及
基于确定的状态信息和位置信息显示医学图像，
其中当确定的状态信息是路径查看模式时，显示的医学图像包括3D图和虚拟支气管镜视频图像，所述3D图和虚拟支气管镜视频图像叠加有路径规划和目标，
其中当确定的状态信息是导航模式时，显示的医学图像包括3D图、虚拟或实时的支气管镜视频图像、以及切片图像，所有这些图像同步地跟踪所述位置传感器的位置，
其中当确定的状态信息是目标管理模式时，显示的医学图像包括从三个独立方向拍摄的三个切片图像、以及显示所述目标的最大强度投影图像，并且
其中当在导航模式中平移或缩放一个图像时，所有图像和3D图相应地被同步平移或缩放。
CN201580042951.8A 2014-07-02 2015-06-30 智能显示器 Active CN106572827B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462020238P 2014-07-02 2014-07-02
US62/020,238 2014-07-02
US14/754,058 2015-06-29
US14/754,058 US11188285B2 (en) 2014-07-02 2015-06-29 Intelligent display
PCT/US2015/038491 WO2016004007A1 (en) 2014-07-02 2015-06-30 Intelligent display

Publications (2)

Publication Number Publication Date
CN106572827A true CN106572827A (zh) 2017-04-19
CN106572827B CN106572827B (zh) 2022-02-25

Family

ID=55016180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580042951.8A Active CN106572827B (zh) 2014-07-02 2015-06-30 智能显示器

Country Status (7)

Country Link
US (3) US11188285B2 (zh)
EP (1) EP3164071B1 (zh)
JP (1) JP6730938B2 (zh)
CN (1) CN106572827B (zh)
AU (1) AU2015284290B2 (zh)
CA (1) CA2953723A1 (zh)
WO (1) WO2016004007A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018195946A1 (zh) * 2017-04-28 2018-11-01 深圳迈瑞生物医疗电子股份有限公司 一种超声图像显示方法、设备及存储介质
CN112969404A (zh) * 2018-11-01 2021-06-15 富士胶片株式会社 医疗图像处理装置、医疗图像处理方法及程序、诊断辅助装置

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10165938B2 (en) * 2012-11-13 2019-01-01 Karl Storz Imaging, Inc. Configurable medical video safety system
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
AU2015283938B2 (en) 2014-07-02 2019-08-08 Covidien Lp Alignment CT
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US11188285B2 (en) * 2014-07-02 2021-11-30 Covidien Lp Intelligent display
JPWO2017038321A1 (ja) * 2015-09-03 2018-06-14 オリンパス株式会社 内視鏡装置及び内視鏡装置の表示変更制御方法
US10582914B2 (en) 2016-01-15 2020-03-10 Covidien Lp Navigable endobronchial tool to access tissue outside a bronchus
CN109069009B (zh) * 2016-03-10 2022-09-23 博迪维仁医疗有限公司 用于使用多视图位姿估计的方法和系统
US10478254B2 (en) 2016-05-16 2019-11-19 Covidien Lp System and method to access lung tissue
US10470839B2 (en) 2016-06-02 2019-11-12 Covidien Lp Assessment of suture or staple line integrity and localization of potential tissue defects along the suture or staple line
WO2018005861A1 (en) * 2016-06-30 2018-01-04 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
WO2018005842A1 (en) 2016-06-30 2018-01-04 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure
US10939963B2 (en) 2016-09-01 2021-03-09 Covidien Lp Systems and methods for providing proximity awareness to pleural boundaries, vascular structures, and other critical intra-thoracic structures during electromagnetic navigation bronchoscopy
US10543044B2 (en) 2016-09-27 2020-01-28 Covidien Lp Systems and methods for detecting pleural invasion for surgical and interventional planning
US10542953B2 (en) 2016-09-27 2020-01-28 Covidien Lp Fissural assessment and surgical and interventional planning
JP6608111B2 (ja) * 2016-09-28 2019-11-20 富士フイルム株式会社 医用画像保存再生装置および方法並びにプログラム
EP3590458A4 (en) * 2017-03-29 2020-01-22 Sony Olympus Medical Solutions Inc. DEVICE FOR MEDICAL OBSERVATION AND CONTROL METHOD
CN110621252B (zh) * 2017-04-18 2024-03-15 直观外科手术操作公司 用于监测图像引导程序的图形用户界面
US11779192B2 (en) * 2017-05-03 2023-10-10 Covidien Lp Medical image viewer control from surgeon's camera
JP7319248B2 (ja) * 2017-08-28 2023-08-01 コーニンクレッカ フィリップス エヌ ヴェ 位置追跡型インターベンショナルデバイスの自動視野更新
US11058493B2 (en) * 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US11219489B2 (en) 2017-10-31 2022-01-11 Covidien Lp Devices and systems for providing sensors in parallel with medical tools
KR20200101334A (ko) 2017-12-18 2020-08-27 아우리스 헬스, 인코포레이티드 관강내 조직망 내 기구 추적 및 항행을 위한 방법 및 시스템
US11464576B2 (en) 2018-02-09 2022-10-11 Covidien Lp System and method for displaying an alignment CT
WO2019231891A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Path-based navigation of tubular networks
US11224486B2 (en) * 2018-08-22 2022-01-18 Verily Life Sciences Llc Global synchronization of user preferences
US11514576B2 (en) * 2018-12-14 2022-11-29 Acclarent, Inc. Surgical system with combination of sensor-based navigation and endoscopy
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
US11446095B2 (en) * 2019-12-24 2022-09-20 Biosense Webster (Israel) Ltd. 2D pathfinder visualization
US20230044012A1 (en) * 2019-12-26 2023-02-09 Navix International Limited Device implantation guidance
US20210330387A1 (en) * 2020-04-22 2021-10-28 Canon U.S.A., Inc. Visualization of three-dimensional image data on two- dimensional images
WO2022155473A1 (en) * 2021-01-15 2022-07-21 Minnetronix Neuro, Inc. Systems and methods for managing, monitoring, and treating patient conditions
DE102021103411A1 (de) * 2021-02-12 2022-08-18 Aesculap Ag Chirurgisches Assistenzsystem und Darstellungsverfahren
US11957302B2 (en) * 2021-05-24 2024-04-16 Verily Life Sciences Llc User-interface for visualization of endoscopy procedures
WO2023166974A1 (ja) * 2022-03-02 2023-09-07 富士フイルム株式会社 画像処理装置、内視鏡装置、画像処理方法、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050113812A1 (en) * 2003-09-16 2005-05-26 Viswanathan Raju R. User interface for remote control of medical devices
US20080118135A1 (en) * 2006-11-10 2008-05-22 Superdimension, Ltd. Adaptive Navigation Technique For Navigating A Catheter Through A Body Channel Or Cavity
WO2009102984A2 (en) * 2008-02-15 2009-08-20 The Research Foundation Of The State University Of New York System and method for virtually augmented endoscopy
CN101681514A (zh) * 2007-06-07 2010-03-24 皇家飞利浦电子股份有限公司 对管形结构的检查
WO2010086909A1 (ja) * 2009-01-27 2010-08-05 財団法人仙台市医療センター 術具挿入支援システム
CN102470014A (zh) * 2009-06-29 2012-05-23 皇家飞利浦电子股份有限公司 用于在医疗过程中进行跟踪的方法和装置
CN103068294A (zh) * 2011-01-24 2013-04-24 奥林巴斯医疗株式会社 医疗设备

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5605531A (en) * 1994-04-08 1997-02-25 Tilane Corporation Apparatus for use with endoscopy and fluoroscopy for automatic switching between video modes
US6343936B1 (en) 1996-09-16 2002-02-05 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination, navigation and visualization
US6049622A (en) 1996-12-05 2000-04-11 Mayo Foundation For Medical Education And Research Graphic navigational guides for accurate image orientation and navigation
US6928314B1 (en) * 1998-01-23 2005-08-09 Mayo Foundation For Medical Education And Research System for two-dimensional and three-dimensional imaging of tubular structures in the human body
WO2001093745A2 (en) 2000-06-06 2001-12-13 The Research Foundation Of State University Of New York Computer aided visualization, fusion and treatment planning
EP1463437B1 (en) * 2000-07-31 2012-01-04 Galil Medical Ltd. Facilitation system for cryosurgery
US7072501B2 (en) * 2000-11-22 2006-07-04 R2 Technology, Inc. Graphical user interface for display of anatomical information
US6663559B2 (en) * 2001-12-14 2003-12-16 Endactive, Inc. Interface for a variable direction of view endoscope
CN1658789A (zh) * 2002-04-17 2005-08-24 超级测量有限公司 内窥镜结构和用于引导到分枝组织中一目标的技术
US7998062B2 (en) 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
ATE349944T1 (de) * 2002-07-31 2007-01-15 Olympus Corp Endoskop
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
FI117986B (fi) * 2003-06-17 2007-05-15 Onesys Oy Menetelmä ja järjestelmä navigoimiseksi tosiaikaisesti kolmiulotteisessa lääketieteellisessä kuvamallissa
US7822461B2 (en) * 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
US7540866B2 (en) * 2004-06-04 2009-06-02 Stereotaxis, Inc. User interface for remote control of medical devices
WO2006042077A2 (en) 2004-10-09 2006-04-20 Viatronix Incorporated Sampling medical images for virtual histology
US7920152B2 (en) 2004-11-04 2011-04-05 Dr Systems, Inc. Systems and methods for viewing medical 3D imaging volumes
EP1838378B1 (en) * 2005-01-18 2017-03-22 Philips Electronics LTD Apparatus for guiding an instrument to a target in the lung
JP4914574B2 (ja) * 2005-04-18 2012-04-11 オリンパスメディカルシステムズ株式会社 内視鏡形状検出装置
JP4899068B2 (ja) 2006-05-02 2012-03-21 国立大学法人名古屋大学 医療画像観察支援装置
US8248414B2 (en) * 2006-09-18 2012-08-21 Stryker Corporation Multi-dimensional navigation of endoscopic video
US8248413B2 (en) 2006-09-18 2012-08-21 Stryker Corporation Visual navigation system for endoscopic surgery
JP2010510815A (ja) 2006-11-28 2010-04-08 スーパーディメンション， リミテッド 身体の通路または腔を通してカテーテルをナビゲートする適応的ナビゲーション技術
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US20080300478A1 (en) * 2007-05-30 2008-12-04 General Electric Company System and method for displaying real-time state of imaged anatomy during a surgical procedure
BRPI0819439A8 (pt) * 2007-11-16 2015-11-10 Koninklijke Philips Electronics Nv Método e sistema para navegação intervencional usando formação de imagem por ultrassom realçada por contraste em 3d
US8219179B2 (en) 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US8218846B2 (en) * 2008-05-15 2012-07-10 Superdimension, Ltd. Automatic pathway and waypoint generation and navigation method
US8337397B2 (en) * 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US9008386B2 (en) * 2009-10-14 2015-04-14 3Mensio Medical Imaging B.V. Method, a graphic user interface, a system and a computer program for optimizing workflow of a medical intervention
US8945140B2 (en) * 2010-06-18 2015-02-03 Vantage Surgical Systems, Inc. Surgical procedures using instrument to boundary spacing information extracted from real-time diagnostic scan data
US20120071753A1 (en) * 2010-08-20 2012-03-22 Mark Hunter Apparatus and method for four dimensional soft tissue navigation including endoscopic mapping
US20120249546A1 (en) * 2011-04-04 2012-10-04 Vida Diagnostics, Inc. Methods and systems for visualization and analysis of sublobar regions of the lung
US8992232B2 (en) 2011-09-20 2015-03-31 Orca Health, Inc. Interactive and educational vision interfaces
BR112014012955A2 (pt) * 2011-12-03 2017-06-13 Koninklijke Philips Nv sistema de planejamento, sistema tendo portas de visualização acopladas operatoriamente, método para o planejamento de um procedimento, e, método para o acoplamento operacional de portas de visualização
US8920368B2 (en) * 2011-12-22 2014-12-30 St. Jude Medical, Atrial Fibrillation Division, Inc. Multi-user touch-based control of a remote catheter guidance system (RCGS)
US8682049B2 (en) * 2012-02-14 2014-03-25 Terarecon, Inc. Cloud-based medical image processing system with access control
JP6301332B2 (ja) 2012-08-14 2018-03-28 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 多数のビジョンシステムのレジストレーションのためのシステム及び方法
WO2014160341A2 (en) * 2013-03-14 2014-10-02 Vida Diagnostics, Inc. Treatment planning for lung volume reduction procedures
US9925009B2 (en) 2013-03-15 2018-03-27 Covidien Lp Pathway planning system and method
US9639666B2 (en) 2013-03-15 2017-05-02 Covidien Lp Pathway planning system and method
US9459770B2 (en) 2013-03-15 2016-10-04 Covidien Lp Pathway planning system and method
EP3033132B1 (en) 2013-08-15 2021-01-06 Intuitive Surgical Operations, Inc. Graphical user interface for catheter positioning and insertion
WO2015154069A1 (en) * 2014-04-04 2015-10-08 Surgical Theater LLC Dynamic and interactive navigation in a surgical environment
US20150305612A1 (en) * 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for registering a real-time image feed from an imaging device to a steerable catheter
AU2015283938B2 (en) 2014-07-02 2019-08-08 Covidien Lp Alignment CT
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9727986B2 (en) 2014-07-02 2017-08-08 Covidien Lp Unified coordinate system for multiple CT scans of patient lungs
US20160000414A1 (en) 2014-07-02 2016-01-07 Covidien Lp Methods for marking biopsy location
JP6434532B2 (ja) 2014-07-02 2018-12-05 コヴィディエン リミテッド パートナーシップ 気管を検出するためのシステム
EP3164051B1 (en) 2014-07-02 2023-08-30 Covidien LP System and program for providing distance and orientation feedback while navigating in 3d
US9770216B2 (en) 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US11188285B2 (en) * 2014-07-02 2021-11-30 Covidien Lp Intelligent display
US9754367B2 (en) 2014-07-02 2017-09-05 Covidien Lp Trachea marking
WO2016004030A1 (en) 2014-07-02 2016-01-07 Covidien Lp System and method for segmentation of lung

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050113812A1 (en) * 2003-09-16 2005-05-26 Viswanathan Raju R. User interface for remote control of medical devices
US20080118135A1 (en) * 2006-11-10 2008-05-22 Superdimension, Ltd. Adaptive Navigation Technique For Navigating A Catheter Through A Body Channel Or Cavity
CN101681514A (zh) * 2007-06-07 2010-03-24 皇家飞利浦电子股份有限公司 对管形结构的检查
WO2009102984A2 (en) * 2008-02-15 2009-08-20 The Research Foundation Of The State University Of New York System and method for virtually augmented endoscopy
WO2010086909A1 (ja) * 2009-01-27 2010-08-05 財団法人仙台市医療センター 術具挿入支援システム
CN102470014A (zh) * 2009-06-29 2012-05-23 皇家飞利浦电子股份有限公司 用于在医疗过程中进行跟踪的方法和装置
CN103068294A (zh) * 2011-01-24 2013-04-24 奥林巴斯医疗株式会社 医疗设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018195946A1 (zh) * 2017-04-28 2018-11-01 深圳迈瑞生物医疗电子股份有限公司 一种超声图像显示方法、设备及存储介质
CN112969404A (zh) * 2018-11-01 2021-06-15 富士胶片株式会社 医疗图像处理装置、医疗图像处理方法及程序、诊断辅助装置
CN112969404B (zh) * 2018-11-01 2024-04-12 富士胶片株式会社 医疗图像处理装置及方法、诊断辅助装置以及记录介质

Also Published As

Publication number Publication date
US20220057977A1 (en) 2022-02-24
AU2015284290A1 (en) 2017-01-12
JP2017525418A (ja) 2017-09-07
EP3164071B1 (en) 2022-08-03
JP6730938B2 (ja) 2020-07-29
US20160000517A1 (en) 2016-01-07
US20240041299A1 (en) 2024-02-08
US11188285B2 (en) 2021-11-30
AU2015284290B2 (en) 2019-09-12
CN106572827B (zh) 2022-02-25
EP3164071A4 (en) 2018-04-04
WO2016004007A1 (en) 2016-01-07
EP3164071A1 (en) 2017-05-10
US11793389B2 (en) 2023-10-24
CA2953723A1 (en) 2016-01-07

Similar Documents

Publication Publication Date Title
CN106572827A (zh) 智能显示器
US11844635B2 (en) Alignment CT
JP6710643B2 (ja) 肺の中をナビゲートするシステムおよび方法
CN105232152B (zh) 荧光镜位姿估计
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US8116847B2 (en) System and method for determining an optimal surgical trajectory
CN106659374A (zh) 在3d导航时提供距离和取向反馈的系统和方法
KR20170034393A (ko) 부비동성형술을 위한 가이드와이어 조종
CN107072736A (zh) 计算机断层扫描增强的荧光透视系统、装置及其使用方法
JP2010517632A (ja) 内視鏡の継続的案内のためのシステム
US20230172574A1 (en) System and method for identifying and marking a target in a fluoroscopic three-dimensional reconstruction
CN109561832A (zh) 使用软点特征来预测呼吸循环并改善端部配准的方法
US20230143522A1 (en) Surgical assistant system based on image data of the operative field
KR101464330B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
EP3525174B1 (en) System and method for displaying an alignment ct
KR101513229B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
KR20140128131A (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant