CN109219384B - 内窥镜图像与超声图像的基于图像的融合 - Google Patents

内窥镜图像与超声图像的基于图像的融合 Download PDF

Info

Publication number
CN109219384B
CN109219384B CN201780033704.0A CN201780033704A CN109219384B CN 109219384 B CN109219384 B CN 109219384B CN 201780033704 A CN201780033704 A CN 201780033704A CN 109219384 B CN109219384 B CN 109219384B
Authority
CN
China
Prior art keywords
image
fusion
ultrasound
controller
endoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780033704.0A
Other languages
English (en)
Other versions
CN109219384A (zh
Inventor
A·波波维奇
P·西恩帕波
G·A·托波雷克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN109219384A publication Critical patent/CN109219384A/zh
Application granted granted Critical
Publication of CN109219384B publication Critical patent/CN109219384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Endoscopes (AREA)

Abstract

一种用于由内窥镜(31)生成的解剖区域的内窥镜图像(33)与由腹腔镜超声探头(41)生成的所述解剖区域的超声图像(43)的基于图像的融合的图像融合工作站。所述图像融合工作站采用图像融合控制器(50)，所述图像融合控制器基于所述内窥镜(31)的内窥镜图像空间与根据由所述图像融合控制器(50)对所述解剖区域的所述内窥镜(31)的视场(32)内的所述腹腔镜超声探头(41)的检测而导出的所述腹腔镜超声探头(41)的超声图像空间之间的图像变换来控制所述内窥镜图像(33)与所述超基于声图像(43)之间的所述融合。所述图像融合工作站还采用显示控制器(60)，所述显示控制器控制由所述图像融合控制器(50)对所述内窥镜图像(33)与所述超声图像(43)的所述融合的显示。

Description

内窥镜图像与超声图像的基于图像的融合
技术领域
本公开总体涉及：涉及解剖区域的腹腔镜成像的内窥镜视图的微创流程(例如，心脏外科手术、腹腔镜外科手术、自然孔口经腔外科手术、单切口腹腔镜外科手术、肺部/支气管镜外科手术以及诊断介入)。本公开更具体涉及解剖区域的内窥镜图像与超声图像的基于图像的融合。
背景技术
内窥镜和腹腔镜是允许临床医师观察患者的内部解剖结构而无需外科手术地暴露解剖结构以用于直接观察的细的细长相机组件。内窥镜能够适配通过狭窄的自然孔口或者皮肤中的小切口，因此相比于开放性外科手术导致对患者的减少的创伤。
腹腔镜超声(LUS)指代通过端口(或自然孔口)被引入到患者的内部解剖结构中并且被用于对内部器官进行成像的任何超声成像设备。LUS探头的两个范例包括PhilipsL10-4lap探头和Philips C9-3io探头。
更具体地，LUS被用于评价内部器官，并且识别外科手术目标(例如，肿瘤)并且识别那些器官内部的敏感结构(例如，血管)。在现今的临床实践中，LUS探头通过用于外科手术器械的端口中的一个端口被引入到身体中。(一个或多个)器官被扫描以评价各种结构和目标的位置。在评价之后，LUS探头从端口被移除，并且器械通过(一个或多个)端口被引入到身体内以完成该流程。如果随后需要的话，LUS探头能够在不同的时间被再次引入到身体中。
如在本领域中实践的基于跟踪的融合主要依赖于外部跟踪设备(例如，光学跟踪和/或电磁跟踪)以用于跟踪腹腔镜超声探头和超声-内窥镜图像融合两者，因此，使该实践在微创流程期间使用起来非常复杂并且笨重。
另外，对于LUS的外科手术使用存在若干主要问题。
首先，操作者仅在当内窥镜和LUS探头正在被跟踪时操作者通过LUS探头扫描解剖区域的时间知晓内窥镜图像与(一幅或多幅)超声图像之间的基于跟踪的对应关系。一旦LUS扫描完成并且LUS探头从身体被移除，则内窥镜图像与(一幅或多幅)超声图像之间的关系就丢失。
第二，由于LUS探头的细长性质和允许LUS探头围绕单个入口点的有限运动的支点效应，对LUS探头的操纵是复杂的。
第三，对LUS探头的跟踪能够解决所述问题中的一些问题，但是其引入了对于外科手术室中更多设备的需要，损害了工作流。另外，如果使用光学跟踪，则难以使用外部标记准确地推测LUS探头的位置。
发明内容
为了基于微创流程期间的解剖区域的腹腔镜成像的优点和益处进行改善，本公开提供了整合解剖区域的内窥镜图像与所述解剖区域的(一幅或多幅)腹腔镜超声(LUS)图像并且在解剖区域的操作者扫描期间或在所述流程期间的任何其他时间显示整合的信息的系统、工作站、控制器和方法。本公开的系统、工作站、控制器和方法实施内窥镜图像与(一幅或多幅)超声图像的基于图像的融合，这消除了对于额外跟踪设备(例如，光学跟踪和/或电磁跟踪)的需要。本公开的基于图像的融合将实现对LUS探头的更直观的使用，并且将实现在所述流程(例如，心脏外科手术、腹腔镜外科手术、自然孔口经腔外科手术、单切口腹腔镜外科手术、肺部/支气管镜外科手术以及诊断介入)期间的更好的对准。
本公开的发明的一种形式是一种用于由内窥镜生成的解剖区域的内窥镜图像(例如，所述解剖区域内的解剖器官的内窥镜视图)与由腹腔镜超声探头生成的所述解剖区域的超声图像(例如，所述解剖区域内的解剖器官的超声视图)的基于图像的融合的图像融合工作站。所述图像融合工作站采用图像融合控制器，所述图像融合控制器基于所述内窥镜的内窥镜图像空间与根据由所述图像融合控制器对所述内窥镜的视场内的所述腹腔镜超声探头的检测而导出的所述腹腔镜超声探头的超声图像空间之间的图像变换来控制所述内窥镜图像与所述超声图像之间的所述融合。所述工作站还采用显示控制器，所述显示控制器控制由所述图像融合控制器对所述内窥镜图像和所述超声图像的所述融合的显示(例如，超声图像在内窥镜图像上的配准的叠加、或者所述超声图像相对于内窥镜图像的显示的配准的窗口显示)。
本公开的发明的第二形式是所述图像融合控制器，所述图像融合控制器采用探头检测器、图像变换器和图像整合器。所述探头检测器控制对所述内窥镜的视场内的所述腹腔镜超声探头的检测。所述图像变换器控制所述内窥镜的内窥镜图像空间与根据由所述探头检测器对所述内窥镜的视场内的所述腹腔镜超声探头的所述检测而导出的所述腹腔镜超声探头的超声图像空间之间的图像变换的计算。所述图像整合器基于由所述图像变换器计算的所述图像变换来控制所述内窥镜图像与所述超声图像的所述融合。
本公开的发明的第三形式是一种用于由内窥镜生成的解剖区域的内窥镜图像(例如，所述解剖区域内的解剖器官的内窥镜视图)与由腹腔镜超声探头生成的所述解剖区域的超声图像(例如，所述解剖区域内的解剖器官的超声视图)的基于图像的融合的方法。所述方法涉及图像融合工作站，所述图像融合工作站检测所述内窥镜的视场内的所述腹腔镜超声探头；并且计算所述内窥镜的内窥镜图像空间与所述腹腔镜超声探头的超声图像空间之间的图像变换，其中，所述图像融合工作站根据对所述内窥镜的所述视场内的所述腹腔镜超声探头的所述检测来导出所述图像变换。所述方法还涉及所述图像融合工作站基于所述图像变换对所述内窥镜图像与所述超声图像进行融合。
本公开的所有发明都可以额外地将内窥镜/超声图像的融合并入到以下形式的解剖模型：
(1)通过成像模态生成的解剖区域的体积图像(例如，解剖区域内的解剖器官的计算机断层摄影(CT或XperCT)、磁共振图像(MRI)、正电子发射断层摄影(PET)等视图)，或者
(2)解剖区域内的解剖器官的解剖图集。
根据解剖模型配准，内窥镜/超声图像的融合的显示可以包括：
(1)所述解剖模型与所述内窥镜图像一起被显示(例如，所述解剖模型的参考平面在所述内窥镜图像上的配准的叠加)，
(2)所述解剖模型与所述超声图像一起被显示(例如，超声图像在解剖模型上的配准的叠加)，和/或
(3)所述解剖模型与内窥镜/超声图像的融合一起显示(例如，超声图像和解剖模型的参考平面两者在内窥镜图像上的配准的叠加)。
出于本公开的目的，包括但不限于“融合”、“解剖区域”、“解剖器官”、“内窥镜”、“内窥镜图像”、“视场”、“腹腔镜超声探头”、“超声图像”、“图像变换”、“配准”、“图像空间”、“显示器”、“体积图像”、“成像模态”和“解剖图集”的技术术语应当被解读为在本公开的领域中进行理解，并且如在本文中示范性描述的。。
更具体地出于本公开的目的，术语“内窥镜”宽泛地涵盖在结构上被配置为具有从身体内部进行成像的能力的任何设备，如在本公开的领域中所理解的并且如在本文中示范性描述的。
内窥镜的范例包括但不限于任何类型的观察器械，柔性的或刚性的(例如，内窥镜、关节镜、支气管镜、胆道镜、结肠镜、膀胱镜、十二指肠镜、胃镜、子宫镜、腹腔镜、喉镜、神经镜、耳镜、推鼻镜、鼻窦镜、乙状结肠镜、鼻窦镜、胸腔镜、阴道镜、胸腔镜、S状结肠镜，神经内镜等)以及类似于配备有图像系统的观察器械的任何设备。成像是局部的，并且表面图像可以利用光纤、透镜和小型化(例如，基于CCD的)成像系统(例如，腹腔镜超声波)来光学地获得。
出于本公开的目的，术语“控制器”宽泛地涵盖被容纳在工作站或者链接到工作站的专用主板或专用集成电路的所有结构配置，以用于控制如随后在本文中所描述的本公开的各种发明原理的应用。所述控制器的结构配置可以包括但不限于：(一个或多个)处理器、(一个或多个)计算机可用/计算机可读存储介质、操作系统、(一个或多个)应用模块、(一个或多个)外围设备控制器、(一个或多个)插槽以及(一个或多个)端口。
本文中的控制器的任何描述性标签(例如，“内窥镜控制器”、“LUS探头控制器”、“图像融合控制器”和“显示控制器”)用于识别如在本文中所描述和请求保护的控制器而并不指定或暗示对术语“控制器”的任何额外的限制。
工作站的范例包括但不限于：一个或多个计算设备、一个或多个输入设备(例如，键盘、操纵杆和鼠标)以及一个或多个显示器/监测器(例如，客户端计算机、台式电脑、笔记本电脑和平板电脑)的组件。
出于本公开的目的，术语“应用模块”宽泛地涵盖包含由用于运行特定应用的电子电路和/或可执行程序(例如，被存储在(一个或多个)非瞬态计算机可读介质上的可执行软件和/或固件)组成的控制器的部件。在本文中的应用模块的任何描述性标签(例如，“探头检测器”、“图像变换器”、“图像整合器”和“显示控制器”)用于识别如在本文中所描述和请求保护的具体应用模块而不指定或暗示对术语“应用模块”的任何额外的限制。
结合附图阅读本公开的发明的各种实施例的以下详细描述，本公开的发明的前述形式和其他形式以及本公开的发明的各种特征和优点将变得更加显而易见。详细描述和附图仅仅是对本公开的发明的说明而非限制，本公开的发明的范围由权利要求以及其等价方案来限定。
附图说明
图1图示了根据本公开的发明原理的微创流程和控制器套件的示范性实施例。
图2图示了根据本公开的发明原理的微创控制系统的示范性实施例。
图3图示了根据本公开的发明原理的表示基于图像的融合方法的示范性实施例的流程图。
图4A和图4B图示了根据本公开的发明原理的内窥镜图像与超声图像的基于图像的融合。
图5图示了如在本领域中众所周知的内窥镜图像与术前体积图像的配准。
图6图示了根据本公开的发明原理的内窥镜图像与超声图像的基于图像的融合到解剖图集的配准的示范性实施例。
图7-16图示了根据本公开的发明原理的内窥镜图像和超声图像基于图像的融合的显示的示范性实施例。
图17A和图17B图示了根据本公开的发明原理的基于图像的融合工作站的示范性实施例。
具体实施方式
为了便于对本公开的理解，图1和图2的以下描述教导了由控制器网络20实现针对微创流程的解剖区域的内窥镜图像与超声图像的基于图像的融合10的基本发明原理。根据该描述，本领域技术人员将意识到如何应用本公开的发明原理将本公开的基于图像的融合并入到各种类型的微创流程中。
参考图1，基于图像的融合10包括被并入在涉及解剖区域(例如，腹部区域)的微创流程内的内窥镜成像阶段11、腹腔镜超声(LUS)成像阶段12以及图像融合阶段13。
一般地，内窥镜成像阶段11涉及通过患者的端口将内窥镜引入到解剖区域中，如在本公开的领域中众所周知的，由此内窥镜被操作为生成解剖区域的内窥镜图像(例如，解剖区域内的器官的内窥镜视图)，如将在本文中结合图2进一步描述的。
在内窥镜成像阶段11之前、与内窥镜成像阶段11同时或者在内窥镜成像阶段11之后，LUS成像阶段12一般涉及通过患者的另一端口将LUS探头引入到解剖区域中，如在本公开的领域中众所周知的，由此LUS探头被操作为生成解剖区域的2D平面超声图像(例如，解剖区域内的器官的2D超声图像)或者由2D平面超声图像的空间序列组成的解剖区域的3D扫描超声图像(例如，解剖区域内的器官的3D超声图像)，如将在本文中结合图2进一步描述的。
根据所生成的内窥镜/超声图像，图像融合阶段13涉及根据本公开的发明原理的以检测内窥镜的视场内的LUS探头为前提的基于图像的融合，如将在本文中结合图2进一步描述的。
在内窥镜/超声图像的初始融合后，LUS探头可以从解剖区域被移除，如在本公开的领域中众所周知的，由此(一个或多个)外科手术/诊断器械可以被引入到解剖区域中，并且对基于图像融合的内窥镜/超声图像的显示支持对解剖区域内的(一个或多个)外科手术/诊断器械的导航和操作。阶段11-13此后可以根据需要被个体地/共同地重复来完成所述微创流程。
为了实施基于图像的融合10，控制器网络20采用内窥镜控制器30、LUS探头控制器40、图像融合控制器50以及显示控制器60。
一般地，内窥镜控制器30如在本公开的领域中众所周知的那样在结构上被配置用于在生成内窥镜图像的过程中控制内窥镜的操作，LUS探头控制器40如在本领域中众所周知的那样在结构上被配置用于在生成(一幅或多幅)超声图像的过程中控制LUS探头的操作，并且显示控制器60如在本领域中众所周知的那样在结构上被配置用于控制显示器/控制器的操作。
图像融合控制器50根据本公开的发明原理在结构上被配置用于控制以检测内窥镜的视场内的LUS探头为前提的内窥镜图像与超声图像的基于图像的融合，如将在本文中结合图2进一步描述的。
显示控制器60可以根据本公开的发明原理在结构上被配置为显示图形用户界面，所述图形用户界面用于为图像融合控制器50提供用户交互式命令以由此操纵内窥镜图像与超声图像的基于图像的融合的显示。
实际上，控制器网络20可以被并入在单个工作站内或者以任何方式被分布在多个工作站中。
图2图示了针对涉及腹部区域AR的微创流程的通过控制器网络20的基于图像的融合10的示范性实施方式。
参考图1和图2，内窥镜控制器30控制由内窥镜31对内窥镜图像的生成，如在本公开的领域中众所周知的。更具体地，内窥镜31具有可以是固定的或者是能通过内窥镜控制器30调节的视场32，并且内窥镜控制器30采用视频捕获设备以将来自内窥镜31的内窥镜视频信号转换成表示内窥镜图像的计算机可读时间帧序列。在实践中，所述视频捕获设备可以采用用于从内窥镜视频信号捕获个体数字静态内窥镜图像帧(“EIF”)33的任何类型的帧抓取器。
LUS探头控制器40控制由LUS探头41对一幅或多幅超声图像的生成，如在本公开的领域中众所周知的。更具体地，LUS探头41具有用于在成像平面42内纵向地发射短超声脉冲并且用于接收图示超声图像的反射声音的(“超声回波”)的换能器头41h。LUS探头41可以在成像期间是静止的，导致单幅2D平面超声图像43，或者LUS探头41可以相对于端口被枢转，导致由2D平面超声图像43的空间序列组成的3D扫描超声图像。
图像融合控制器50采用探头检测器51、图像变换器52以及图像整合器53。
探头检测器51控制对内窥镜图像帧33的处理，以检测内窥镜31的视场32内的腹腔镜超声探头41，如将在本文中结合图3进一步描述的。
图像变换器52控制对内窥镜图像帧33和(一幅或多幅)超声图像43的处理，以计算内窥镜31的内窥镜图像空间(例如，视场31或者其部分)与根据由探头检测器51对内窥镜31的视场32内的LUS探头41的检测而导出的LUS探头41的超声图像空间(例如，成像平面42或者其部分)之间的图像变换内窥镜TLUS探头，如将在本文中结合图3进一步描述的。
图像整合器53控制对内窥镜图像帧33和(一幅或多幅)超声图像43的处理，以基于由图像变换器52计算的图像变换对内窥镜图像与(一幅或多幅)超声图像进行融合，如将在本文中结合图3进一步描述的。
显示控制器60控制显示器/监测器62的操作，如在本公开的领域中众所周知的，以便个体地或者如通过图像整合器53融合的方式来图示内窥镜图像和(一幅或多幅)超声图像43。关于融合的内窥镜/超声图像，图像整合器52为显示控制器60提供图像融合数据(“IFD”)54，由此显示控制器60生成融合的内窥镜图像/超声图像(“FEUI”)61，以用于通过显示器/监测器62进行显示。如果是交互式的，则显示控制器60经由图形用户界面(未示出)为图像整合器53提供交互式图像命令(“IIC”)63，以用于操纵由显示器/监测器62对融合的内窥镜图像/超声图像61的显示。
为了便于对本公开的进一步理解，图3的以下描述在图2的控制网络的背景下教导了本公开的基于图像的融合方法的基本发明原理。根据该描述，本领域技术人员将意识到如何将基于图像的融合方法的发明原理应用于本公开的许多另外的控制网络实施例。
图3图示了表示本公开的一种基于图像的融合方法的流程图70。
参考图3，流程图70的阶段S72涵盖探头检测器51(图2)检测内窥镜31的视场32内的LUS探头41。
在阶段S72的一个实施例中，探头检测器41通过执行本领域中已知的基于对换能器头41h的样式(pattern)、换能器头41的特定形状/颜色/纹理或者换能器头41h上的补充/额外样式的检测的技术而自动地检测内窥镜31的视场32内的LUS探头41的远侧换能器头41h。
在阶段S72的第二实施例中，探头检测器41通过执行本公开的领域中众所周知的基于对内窥镜图像和/或(一幅或多幅)超声图像内的运动的检测(例如，光流、背景提取等)的检测技术而自动地检测内窥镜31的视场32内LUS探头41的远侧换能器头41h。
流程图70的阶段S74涵盖图像变换器52(图2)将参考帧44附接到换能器头41h，以由此执行如在本领域中众所周知的2D-3D配准(例如，RANSAC配准)，以计算内窥镜31的内窥镜图像空间34与LUS探头41的超声图像空间42之间的图像变换内窥镜TLUS探头。
流程图70的阶段S76涵盖图像整合器53(图2)对内窥镜图像和(一幅或多幅)超声图像进行融合，以由此便于融合的内窥镜/超声图像的同时显示，包括但不限于：超声图像在内窥镜图像上的配准的叠加、或者相对于内窥镜图像的显示的超声图像的配准的窗口显示。
在阶段S76的一个实施例中，如在本公开的领域中众所周知的图像混合技术可以由图像整合器53来执行，由此该融合过程可以包括2D平面超声图像的透视变换或者3D扫描超声图像的3D变换。
在实践中，阶段S72-S76可以针对LUS探头41在解剖区域内的每个成像位置或者LUS探头41在特定时间标记(例如，5秒)处的(一个或多个)成像位置、或者针对由操作者选择的LUS探头41的(一个或多个)成像位置来执行。
变换内窥镜TLUS可以针对LUS探头41在扫描期间的每个成像位置或者针对由操作者选择的LUS探头41的成像位置被图像融合控制器50保存在超声图像旁边。
一旦LUS探头41从解剖区域(例如，在图2中示出的腹部区域AR)被移除，操作者就可以通过利用任何交互式方法经由保存的变换内窥镜TLUS、内窥镜图像与(一幅或多幅)超声图像的组合来开始对融合的内窥镜/超声图像的显示，所述交互式方法包括但不限于：屏幕上的鼠标(或者其他输入设备)点击、保存的位置(例如，A、B、C)或者通过分配的名称。
图4A和图4B图示了流程图70的示范性执行，涉及：
1.阶段S72a：内窥镜图像33a的视场内的LUS探头41的换能器头41h的自动样式检测示出了肝脏形式的解剖器官的内窥镜视图；
2.阶段74a：内窥镜31的内窥镜图像空间(像素)与LUS探头41的超声图像空间之间的映射生成超声图像43a，提供一段肝脏的超声图像；
3.阶段74b：超声图像43a的轮廓45的勾画；以及
4A.阶段76a1：轮廓45用于显示超声图像43a在内窥镜图像33a上的透视叠加形式的内窥镜/超声图像33a/43a的融合；和/或
4B.阶段76a2：轮廓45用于显示超声图像43a在内窥镜图像33a的左上角中的窗口显示形式的内窥镜/超声图像33a/43a的融合。
返回参考图3，流程图70的阶段S76还可以涵盖执行内窥镜/超声图像到解剖模型的额外融合的图像整合53，包括但不限于：解剖区域的体积图像以及解剖区域内的解剖器官的解剖图集。
体积图像配准。内窥镜视图可以使用本公开的领域中众所周知的方法(例如，美国专利No.9095252B2)被配准到术前3D图像(例如，CT、XperCT、MRI、PET等)。例如，图5图示了术前CT图像80的体积空间81与内窥镜31的内窥镜图像空间34之间的配准内窥镜TCT，由此来自术前CT图像80的3D图像和结构可以基于内窥镜/超声图像的融合被同时显示，如将结合图7-16进一步解释的。
内窥镜TCT配准能够使用本公开的领域中众所周知的在感兴趣平面处采集的基于图像的配准方法(例如，互信息)来细化。根据内窥镜TCT和内窥镜TLUS，能够计算超声与CT图像空间之间的变换：
Figure GDA0001886622960000101
解剖图集配准。内窥镜/超声图像的融合可以被配准到解剖器官的解剖图集，所述解剖器官的解剖图集捕获跨人群的解剖器官的形状。这样的配准仅实现LUS探头41相对于解剖器官的粗略定位。例如，图6图示了通过使用在被配准到内窥镜图像的超声图像43b-43d中示出的一组预先定义的可快速识别的解剖参考点92在肝脏的解剖图集90的模型空间91与内窥镜之间的配准模型T内窥镜。这些参考点92可以是器官特异性大血管分叉或表面标志。
为了便于对本公开的进一步理解，图7-16的以下描述教导了本公开的内窥镜图像与超声图像的图像融合的显示的基本发明原理，其中，内窥镜视图或解剖模型充当基本图像。根据该描述，本领域技术人员将意识到如何将所述发明原理应用于本公开的用于显示内窥镜图像与超声图像的图像融合的许多额外的实施例。
超声图像深度。在该显示实施例中，3D扫描超声图像的特定2D平面超声图像能够被显示到操作者的偏好。更具体地，操作者能够决定将3D扫描超声图像的特定2D平面超声图像叠加在内窥镜视图或者充当基本图像的解剖模型显示上。
图7A和图7B图示了操作者能够操纵图形滑块64以在与肝脏的基本图像100(例如，内窥镜视图或解剖模型视图显示)融合的肝脏的3D扫描超声图像的特定深度43b与43c之间进行选择的范例。
超声图像/器械视图。在该显示实施例中，先前记录并保存的2D平面超声图像能够在流程期间并且在生成3D扫描超声图像的超声扫描之后被显示在器械下方。2D平面超声图像能够被进一步变换为从器械的角度放置2D平面超声图像。
例如，图8A和图8B图示了先前记录并保存的肝脏的目标区域的2D平面超声图像43e在流程期间并且在扫描之后被变换并且作为基本图像100(例如，内窥镜视图、分割的体积视图或解剖图集视图)上的叠加被显示在器械46下方。
超声图像透视变换。在该显示实施例中，在扫描期间或者在流程期间，基本图像(例如，内窥镜视图、分割的体积视图或解剖图集视图)能够使用透视来重新计算和变换，从而超声图像以无失真的透视来示出。这能够使用如在本公开的领域中众所周知的逆透视变换来实现。
例如，图9A和图9B图示了如被重新计算和变换以无失真的透视来示出超声图像43f的内窥镜图像33b。
内窥镜视图中的模型参考。在该显示实施例中，使用前面提到的解剖模型变换，每幅扫描的2D平面超声图像(或者由操作者选择的每幅2D平面超声图像)可以在解剖模型(例如，术前CT模型或解剖图集)的背景下进行显示。在解剖模型中选择的额外的参考平面能够被显示，以便于对2D平面超声图像的更好的使用和选择。所述2D平面超声图像能够在内窥镜视图、解剖模型视图或者这两者中进行可视化。
例如，图10A图示了配合超声图像43g被叠加在内窥镜图像33c上的术前CT信息的参考平面101a-101c，并且图10B图示了具有术前CT信息的超声图像43g，所述术前CT信息被叠加在超声图像43g上。
通过另外的范例，图11图示了内窥镜图像33d中对应于CT图像83的参考平面101a-101c的参考平面101d-101f。
LUS扫描。本公开的技术便于相同/相似平面在一个扫描运行期间或者在扫描的重新访问期间的重新访问。操作者能够使用保存的内窥镜视图中的LUS扫描位置来放置超声图像。由于内窥镜图像的2D性质，找到正确的成像平面会是具有挑战性的。在该显示实施例中，如在图12中示范性显示的，操作者将LUS探头的头41h粗略地定位在靠近期望成像平面的位置中(2D问题)。在放置之后，操作者如利用箭头示出的那样枢转LUS探头的头41，并且成像融合控制器50收集超声图像的序列43g。使用本公开的领域中众所周知的相似性度量(例如，互信息)，成像融合控制器50找到与期望图像位置最相似的超声图像，并且通知操作者何时停止枢转。
虚拟的LUS探头。在该实施例中，虚拟探头配合解剖模型(例如，器官表面和内部结构的3D重建)来进行显示。另外(或者替代地)，超声体积/平面的轮廓能够配合解剖模型来进行显示，以便于针对操作者的更好的空间取向。另外(或者替代地)，超声图像或体积能够被叠加在解剖模型或3D重建上。例如，图13图示了由虚拟探头141的显示跟随的然后被叠加在解剖模型104(例如，CT图像或解剖图集)上的解剖结构103的3D重建。
外科手术可视化。在该显示实施例中，外科手术流程的过程通过对当前和以前访问/处置的包含肿瘤的参考平面进行可视化来跟踪。第一，内窥镜视图被配准到解剖模型(例如，如之前在本文中结合图5和图6所描述的术前3D图像或解剖图集)。第二，基于该配准，操作者通过采集并存储参考平面来在术中标记肿瘤位置。第三，所述系统通过对当前和/或之前处置的肿瘤进行可视化来跟踪流程的过程。当前平面可以被可视化为闪烁的红色平面，而包含处置的(消融的)肿瘤的平面被示为黑色的。
例如，图14A和图14B示出了被叠加在基本图像100(例如，内窥镜视图、分割的体积视图或解剖图集视图)上的参考平面101g-101i，由此图14A具体将参考平面101g示为当前外科手术参考平面，并且图14B具体示出了表示处置区域的参考平面101g，并且参考平面101i是当前的外科手术参考平面。
投影的LUS视图。为了对期望的解剖区域或病灶进行可视化，腹腔镜探头必须被放置在特定位置和取向中。由于镜像运动以及LUS探头、患者与解剖模型视图之间的坐标系的失配，这会是微创设置中的有挑战性的任务。该显示实施例通过呈现解剖器官的解剖模型(例如，分割的CT图像或解剖图集)以及将实现相关视图的探头位置和取向(诸如，例如在图15中示出的当前位置110以及相对于解剖模型图像104(例如，分割的CT图像或解剖图集)的投影位置111a-111d)的叠加来帮助减轻这种困难。这些位置和取向能够根据先前发现的视图来手动地保存，或者是根据对感兴趣区域的位置的了解来计算的。另外，如果腹腔镜探头被跟踪，则其当前位置和取向能够相对于图集被叠加以进一步帮助探头放置。
变换的投影的LUS视图。在先前的实施例之后，图集视角能够被变换成直观透视，诸如如在图16中所示的具有当前位置110和投影位置111a-111d的解剖模型图像104(例如，分割的CT图像或解剖图集)的鸟瞰视图、用户控制台视角或者腹腔镜视角。这样的变换允许临床医师在他/她自己的参考系中指示探头移动，并且这些方向被变换成解剖模型坐标系中的适当运动。相反，获得解剖模型坐标系中的期望视图所需的探头运动能够被转换成临床医师的参考系中的运动。
在实践中，图像融合控制器50(图1)可以被安装在工作站内或者被链接到工作站。
例如，图17A示出了图像融合工作站200，图像融合工作站200采用监测器201、接口平台202(例如，键盘、按钮、拨盘、操纵杆等)、客户端计算机203、以及被安装在工作站计算机203内的控制器网络204，用于生成和显示融合的内窥镜/腹腔镜图像209。
根据本公开的发明原理，控制器网络204包括内窥镜控制器205、LUS探头控制器206、图像融合控制器207以及显示控制器208。在实践中，控制器205-208可以在任何程度上被分离和/或被集成在客户端计算机203内。备选地，如在图17B中所示的，内窥镜控制器205可以被安装在内窥镜工作站210(具有监测器211、接口平台212和客户端计算机213)内，并且LUS探头控制器206可以被安装在LUS工作站220(具有监测器221、接口平台222和客户端计算机223)内，由此图像融合控制器207和显示控制器208被安装在被链接到工作站210和220的工作站平板电脑230。
参考图1-17，本领域技术人员将意识到本公开的许多益处，包括但不限于：作为对被并入到涉及解剖区域的内窥镜图像与超声图像的基于跟踪的融合的微创流程中的现有系统、工作站、控制器和方法的显著改善的本公开的解剖区域的内窥镜图像与超声图像的基于图像的融合。
此外，鉴于在本文中所提供的教导，本领域普通技术人员将意识到，在本公开/说明书中所描述的和/或在附图中所描绘的特征、元件、部件等可以以电子部件/电路、硬件、可执行软件和可执行固件的各种组合来实施，并且提供可以被组合在单个元件或多个元件中的功能。例如，在附图中显示/示出/描绘的各种特征、元件、部件等的功能能够通过使用专用硬件以及与适当的软件相关联的能够运行软件的硬件来提供。当由处理器提供时，所述功能能够由单个专用处理器、由单个共享处理器或者由多个个体处理器来提供，其中的一些能够被共享和/或复用。此外，术语“处理器”的明确使用不应当被解释为排他性地指代能够运行软件的硬件，并且能够隐含地包括但不限于：数字信号处理器(“DSP”)硬件、存储器(例如，用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、非易失性存储器等)以及实际上能够(和/或能配置为)执行和/或控制过程的任何模块和/或机器(包括硬件、软件、固件、电路以及其组合等)。
此外，本文中列举本发明的原理、方面和实施例的所有陈述以及其特定范例旨在涵盖其结构和功能等价物两者。另外，这样的等价物旨在包括当前已知的等价物以及将来开发的等价物(例如，开发的能够执行相同或基本类似的功能的任何元件，而不管结构)两者。因此，例如，鉴于在本文中所提供的教导，本领域普通技术人员将意识到，在本文中所呈现的任何框图能够表示实现本发明的原理的说明性系统部件和/或电路的概念视图。类似地，鉴于本文提供的教导，本领域普通技术人员应当意识到，任何流程图、流图等能够表示各种过程，所述各种过程能够基本上在计算机可读存储介质中表示，并且因此，由计算机、处理器或者具有处理能力的其他设备来运行，而不管这样的计算机或处理器是否被明确示出。
此外，本公开的示范性实施例能够采取能从计算机可用和/或计算机可读存储介质存取的计算机程序产品或应用模块的形式，所述存储介质提供程序代码和/或指令以由例如计算机或任何指令运行系统使用或者与例如计算机或任何指令运行系统结合使用。根据本公开，计算机可用或计算机可读存储介质可以是能够例如包括、存储、通信、传播或运输由指令运行系统、装置或设备使用或者与其结合使用的指令的任何装置。这样的示范性介质能够是例如电子、磁性、光学、电磁、红外或半导体系统(或者装置或设备)或传播介质。计算机可读介质的范例包括例如半导体或固态存储器、磁带、可移除计算机软盘、随机存取存储器(RAM)、只读存储器(ROM)、闪存(驱动器)、刚性磁盘和光盘。光盘的当前范例包括光盘-只读存储器(CD-ROM)、光盘-读/写(CD-R/W)和DVD。此外，应当理解，此后开发的任何新的计算机可读介质应当被认为是根据本公开和公开内容的示范性实施例可以使用或参考的计算机可读介质。
已经描述了新颖的和创造性的解剖区域的内窥镜图像与超声图像的基于图像的融合的优选和示范性实施例(所述实施例旨在是说明性的而不是限制性的)，应当注意，鉴于包括附图的本文提供的教导，本领域普通技术人员可以做出修改和变化。因此，应当理解，可以在本文中所公开的实施例的范围内对本公开的优选和示范性实施例进行改变。
此外，设想到了，并入和/或实施所述设备的对应的和/或相关的系统或诸如可以在根据本公开的设备中使用/实施的对应的和/或相关的系统也被设想到并且被认为是在本公开的范围内。此外，用于制造和/或使用根据本公开的设备和/或系统的对应的和/或相关的方法也被设想到并且被认为是在本公开的范围内。

Claims (15)

1.一种用于由内窥镜(31)生成的解剖区域的内窥镜图像(33)与由腹腔镜超声探头(41)生成的所述解剖区域的超声图像(43)的基于图像的融合的图像融合工作站，所述图像融合工作站包括：
图像融合控制器(50)，
其中，响应于对所述内窥镜图像(33)和所述超声图像(43)的通信，所述图像融合控制器(50)基于所述内窥镜(31)的内窥镜图像空间与所述腹腔镜超声探头(41)的超声图像空间之间的图像变换来控制所述内窥镜图像(33)与所述超声图像(43)之间的所述融合，所述图像变换是根据由所述图像融合控制器(50)对所述解剖区域的所述内窥镜(31)的视场(32)内的所述腹腔镜超声探头(41)的检测而导出的；以及
显示控制器(60)，
其中，所述显示控制器(60)控制由所述图像融合控制器(50)对所述内窥镜图像(33)与所述超声图像(43)的所述融合的显示。
2.根据权利要求1所述的图像融合工作站，
其中，所述图像融合控制器(50)和所述显示控制器(60)还控制对来自所述腹腔镜超声探头(41)的所述超声图像(43)的深度的用户交互式选择。
3.根据权利要求1所述的图像融合工作站，
其中，所述图像融合控制器(50)和所述显示控制器(60)还控制对所述超声图像(43)相对于被插入到所述解剖区域中的器械的显示。
4.根据权利要求1所述的图像融合工作站，
其中，所述图像融合控制器(50)和所述显示控制器(60)还控制所述超声图像(43)的显示的透视视图。
5.根据权利要求1所述的图像融合工作站，
其中，响应于对所述解剖区域的解剖模型的通信，所述图像融合控制器(50)基于所述解剖模型的体积图像空间与所述内窥镜(31)的所述内窥镜图像空间之间的图像变换来控制所述解剖区域的所述解剖模型与所述内窥镜图像和所述超声图像的所述融合之间的配准。
6.根据权利要求5所述的图像融合工作站，其中，所述解剖模型是由成像模态生成的所述解剖区域的体积图像。
7.根据权利要求5所述的图像融合工作站，其中，所述解剖模型是所述解剖区域内的解剖结构的解剖图集。
8.根据权利要求5所述的图像融合工作站，
其中，所述图像融合控制器(50)和所述显示控制器(60)还控制被叠加在所述内窥镜图像(33)、所述超声图像(43)以及所述内窥镜图像(33)与所述超声图像(43)的所述融合中的至少一个的显示上的所述解剖模型的至少一个参考平面视图的显示。
9.根据权利要求5所述的图像融合工作站，
其中，所述图像融合控制器(50)和所述显示控制器(60)还基于所述解剖区域的所述解剖模型与所述内窥镜图像和所述超声图像的所述融合之间的所述配准来控制对由所述腹腔镜超声探头(41)生成的所述解剖区域的多幅超声图像之中的目标超声图像的显示。
10.根据权利要求5所述的图像融合工作站，
其中，所述图像融合控制器(50)和所述显示控制器(60)还基于所述解剖区域的所述解剖模型与所述内窥镜图像和所述超声图像的所述融合之间的所述配准来控制配合所述解剖模型的显示对虚拟腹腔镜探头和所述超声图像的显示。
11.根据权利要求1所述的图像融合工作站，
其中，所述图像融合控制器(50)和所述显示控制器(60)还控制对指示在所述解剖区域内执行的外科手术流程的状态的所述超声图像的显示。
12.根据权利要求5所述的图像融合工作站，
其中，所述图像融合控制器(50)和所述显示控制器(60)还控制对指示在所述解剖区域内执行的外科手术流程的状态的所述解剖模型的至少一个参考平面视图的显示。
13.根据权利要求5所述的图像融合工作站，
其中，所述图像融合控制器(50)和所述显示控制器(60)还基于所述解剖区域的所述解剖模型与所述内窥镜图像和所述超声图像的所述融合之间的所述配准来控制所述腹腔镜超声探头(41)相对于所述解剖模型的至少一个期望位置的虚拟显示。
14.一种用于由内窥镜(31)生成的解剖区域的内窥镜图像(33)与由腹腔镜超声探头(41)生成的所述解剖区域的超声图像(43)的基于图像的融合的图像融合控制器(50)，所述图像融合控制器(50)包括：
探头检测器(51)，其控制对所述内窥镜(31)的视场内的所述腹腔镜超声探头(41)的检测；
图像变换器(52)，其控制对所述内窥镜(31)的内窥镜图像空间与所述腹腔镜超声探头(41)的超声图像空间之间的图像变换的计算，所述图像变换是根据由所述探头检测器(51)对所述内窥镜(31)的所述视场内的所述腹腔镜超声探头(41)的所述检测而导出的；以及
图像整合器(53)，其基于由所述图像变换器(52)计算的所述图像变换来控制所述内窥镜图像(33)与所述超声图像(43)的所述融合。
15.根据权利要求14所述的图像融合控制器，
其中，响应于对所述解剖区域的解剖模型的通信，所述图像整合器(53)还基于所述解剖模型的体积图像空间与所述内窥镜(31)的所述内窥镜图像空间之间的图像变换来控制所述解剖区域的所述解剖模型与所述内窥镜图像和所述超声图像的所述融合之间的配准。
CN201780033704.0A 2016-05-31 2017-05-30 内窥镜图像与超声图像的基于图像的融合 Active CN109219384B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662343339P 2016-05-31 2016-05-31
US62/343,339 2016-05-31
PCT/EP2017/063031 WO2017207565A1 (en) 2016-05-31 2017-05-30 Image-based fusion of endoscopic image and ultrasound images

Publications (2)

Publication Number Publication Date
CN109219384A CN109219384A (zh) 2019-01-15
CN109219384B true CN109219384B (zh) 2022-04-12

Family

ID=58873819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780033704.0A Active CN109219384B (zh) 2016-05-31 2017-05-30 内窥镜图像与超声图像的基于图像的融合

Country Status (5)

Country Link
US (1) US20190290247A1 (zh)
EP (1) EP3463032B1 (zh)
JP (1) JP7133474B2 (zh)
CN (1) CN109219384B (zh)
WO (1) WO2017207565A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10952705B2 (en) * 2018-01-03 2021-03-23 General Electric Company Method and system for creating and utilizing a patient-specific organ model from ultrasound image data
US11123139B2 (en) * 2018-02-14 2021-09-21 Epica International, Inc. Method for determination of surgical procedure access
JP6988001B2 (ja) * 2018-08-30 2022-01-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
JP7148625B2 (ja) * 2018-09-18 2022-10-05 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム
CN109115805A (zh) * 2018-10-25 2019-01-01 广东华中科技大学工业技术研究院 基于超声和光学双成像的透明构件缺陷检测装置及方法
EP3989858A1 (en) * 2019-06-25 2022-05-04 Intuitive Surgical Operations, Inc. System and method related to registration for a medical procedure
CN110288653B (zh) * 2019-07-15 2021-08-24 中国科学院深圳先进技术研究院 一种多角度超声图像融合方法、系统及电子设备
JP2022179221A (ja) * 2021-05-21 2022-12-02 富士フイルム株式会社 医療画像処理システム
US20230062782A1 (en) * 2021-09-02 2023-03-02 Cilag Gmbh International Ultrasound and stereo imaging system for deep tissue visualization
US20230096406A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Surgical devices, systems, and methods using multi-source imaging
US20230107857A1 (en) 2021-09-29 2023-04-06 Cilag Gmbh International Surgical sealing devices for a natural body orifice
US20230147826A1 (en) * 2021-11-09 2023-05-11 Genesis Medtech (USA) Inc. Interactive augmented reality system for laparoscopic and video assisted surgeries
CN113940753B (zh) * 2021-11-12 2023-12-19 北京智愈医疗科技有限公司 一种用于组织切割路径自动规划的多图像信息融合方法及系统
WO2023162657A1 (ja) * 2022-02-28 2023-08-31 富士フイルム株式会社 医療支援装置、医療支援装置の作動方法及び作動プログラム
CN115633926A (zh) * 2022-12-23 2023-01-24 山东百多安医疗器械股份有限公司 一种多模态超声心电腔镜诊疗仪
CN117495693B (zh) * 2023-10-24 2024-06-04 北京仁馨医疗科技有限公司 用于内窥镜的图像融合方法、系统、介质及电子设备
CN117974475B (zh) * 2024-04-02 2024-06-18 华中科技大学同济医学院附属同济医院 四维超声内镜观测下病灶影像融合方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103230283A (zh) * 2013-04-16 2013-08-07 清华大学 一种超声探头成像平面空间位置标定的优化方法
CN103948432A (zh) * 2014-04-30 2014-07-30 深圳先进技术研究院 术中立体内窥视频与超声图像增强现实算法
CN104367300A (zh) * 2007-01-19 2015-02-25 桑尼布鲁克健康科学中心 具有组合的超声和光学成像装置的成像探头
WO2015091226A1 (en) * 2013-12-19 2015-06-25 Koninklijke Philips N.V. Laparoscopic view extended with x-ray vision

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3550966B2 (ja) * 1996-09-18 2004-08-04 株式会社日立製作所 手術装置
GB2333882B (en) * 1998-01-26 2002-06-12 Imperial College Apparatus for and method of assessing surgical technique
US6602185B1 (en) * 1999-02-18 2003-08-05 Olympus Optical Co., Ltd. Remote surgery support system
JP2002017729A (ja) * 2000-07-11 2002-01-22 Toshiba Corp 超音波内視鏡診断装置
KR101258912B1 (ko) * 2005-06-06 2013-04-30 인튜어티브 서지컬 인코포레이티드 복강경의 초음파 로보트 수술 시스템
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US7728868B2 (en) * 2006-08-02 2010-06-01 Inneroptic Technology, Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US8989842B2 (en) * 2007-05-16 2015-03-24 General Electric Company System and method to register a tracking system with intracardiac echocardiography (ICE) imaging system
FR2920084B1 (fr) * 2007-08-24 2010-08-20 Endocontrol Systeme d'imagerie pour le suivi d'un outil chirurgical dans un champ operatoire
US8090168B2 (en) * 2007-10-15 2012-01-03 General Electric Company Method and system for visualizing registered images
IT1392888B1 (it) * 2008-07-24 2012-04-02 Esaote Spa Dispositivo e metodo di guida di utensili chirurgici mediante imaging ecografico.
JP5527841B2 (ja) * 2009-11-17 2014-06-25 国立大学法人 東京大学 医療画像処理システム
EP2523621B1 (en) 2010-01-13 2016-09-28 Koninklijke Philips N.V. Image integration based registration and navigation for endoscopic surgery
JP5657467B2 (ja) * 2011-05-13 2015-01-21 オリンパスメディカルシステムズ株式会社 医療用画像表示システム
US20140147027A1 (en) * 2011-07-01 2014-05-29 Koninklijke Philips N.V. Intra-operative image correction for image-guided interventions
BR112014013073A8 (pt) * 2011-12-03 2017-06-13 Koninklijke Philips Nv sistema e método para orientação robótica cirúrgica
CN104010587B (zh) * 2011-12-27 2017-09-05 皇家飞利浦有限公司 对追踪系统的术中质量监测
JP2014083237A (ja) * 2012-10-24 2014-05-12 Olympus Corp プローブ位置調節装置
WO2014165805A2 (en) * 2013-04-04 2014-10-09 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
JP6270026B2 (ja) * 2013-12-05 2018-01-31 国立大学法人名古屋大学 内視鏡観察支援装置
EP3169264A1 (en) * 2014-07-15 2017-05-24 Koninklijke Philips N.V. Image integration and robotic endoscope control in x-ray suite
GB201506842D0 (en) * 2015-04-22 2015-06-03 Ucl Business Plc And Schooling Steven Locally rigid vessel based registration for laparoscopic liver surgery
CN107667380A (zh) * 2015-06-05 2018-02-06 西门子公司 用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104367300A (zh) * 2007-01-19 2015-02-25 桑尼布鲁克健康科学中心 具有组合的超声和光学成像装置的成像探头
CN103230283A (zh) * 2013-04-16 2013-08-07 清华大学 一种超声探头成像平面空间位置标定的优化方法
WO2015091226A1 (en) * 2013-12-19 2015-06-25 Koninklijke Philips N.V. Laparoscopic view extended with x-ray vision
CN103948432A (zh) * 2014-04-30 2014-07-30 深圳先进技术研究院 术中立体内窥视频与超声图像增强现实算法

Also Published As

Publication number Publication date
EP3463032A1 (en) 2019-04-10
WO2017207565A1 (en) 2017-12-07
EP3463032B1 (en) 2020-12-23
JP7133474B2 (ja) 2022-09-08
JP2019517291A (ja) 2019-06-24
CN109219384A (zh) 2019-01-15
US20190290247A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
CN109219384B (zh) 内窥镜图像与超声图像的基于图像的融合
US11730562B2 (en) Systems and methods for imaging a patient
US10772684B2 (en) Spatial visualization of internal mammary artery during minimally invasive bypass surgery
CN110741414B (zh) 用于使用实时二维荧光镜检查数据识别、标记和导航到靶标的系统和方法
JP6382802B2 (ja) ロボット操作される内視鏡を使用した血管可視化の向上
RU2594813C2 (ru) Роботизированное управление эндоскопом по изображениям сети кровеносных сосудов
JP2015505502A (ja) 血管ツリー画像内での見えない分岐部の検出
JP2013031660A (ja) 医療映像処理方法及び装置、映像誘導を利用したロボット手術システム
US20210052240A1 (en) Systems and methods of fluoro-ct imaging for initial registration
CN111568544A (zh) 用于使医疗装置相对于目标的导航视觉化的系统和方法
CN107847111B (zh) 根据体积图像的交互式平面切片的内窥镜引导
US20200245982A1 (en) System and method for fluoroscopic confirmation of tool in lesion
US20140275994A1 (en) Real time image guidance system
CN115843232A (zh) 用于目标覆盖的缩放检测和荧光镜移动检测
CN111163697A (zh) 用于在荧光三维重构中识别和标记目标的系统和方法
EP3782529A1 (en) Systems and methods for selectively varying resolutions
US20220409300A1 (en) Systems and methods for providing surgical assistance based on operational context
US11657547B2 (en) Endoscopic surgery support apparatus, endoscopic surgery support method, and endoscopic surgery support system
US20240206980A1 (en) Volumetric filter of fluoroscopic sweep video
US20230215059A1 (en) Three-dimensional model reconstruction
EP4346613A1 (en) Volumetric filter of fluoroscopic sweep video
Ong Intra-operative Registration Methods for Image-Guided Kidney Surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant