CN114144136A - 在模糊的视觉画面期间在内窥镜手术中的器械导航 - Google Patents

在模糊的视觉画面期间在内窥镜手术中的器械导航 Download PDF

Info

Publication number
CN114144136A
CN114144136A CN202080052954.0A CN202080052954A CN114144136A CN 114144136 A CN114144136 A CN 114144136A CN 202080052954 A CN202080052954 A CN 202080052954A CN 114144136 A CN114144136 A CN 114144136A
Authority
CN
China
Prior art keywords
image
orientation
endoscope
images
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080052954.0A
Other languages
English (en)
Inventor
B·H·W·亨德里克斯
单彩峰
M·赖
R·J·F·霍曼
D·巴比克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN114144136A publication Critical patent/CN114144136A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Robotics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本申请涉及当由内窥镜提供的图像(300)至少部分地被模糊物质(在303处)所模糊时在内窥镜手术中将手术器械(在301、311处)朝向感兴趣区域(在312处)进行导航的问题。其中，所述模糊物质是渗漏的体液、碎屑或由消融引起的烟雾。为了解决这个问题，提出了一种计算机实施的方法，其中，在检测到来自所述内窥镜的所述图像至少部分地被模糊时，基于历史图像序列并基于所述内窥镜的当前位置和取向来确定第二图像。此外，基于所确定的第二图像来生成虚拟图像(310)。

Description

在模糊的视觉画面期间在内窥镜手术中的器械导航
技术领域
本发明涉及用于图像辅助的医学应用的计算机实施的方法、被配置为执行该方法的步骤的数据处理系统、包括用于使该数据处理系统运行该方法的指令的计算机程序，以及存储有这样的计算机程序的计算机可读介质。
背景技术
微创手术通常是通过内窥镜视觉画面引导的。内窥镜包括微型相机，优选是视频相机，该微型相机可以允许观察需要处置的体腔中的组织。由内窥镜的相机提供的视觉画面可以促进将器械朝向感兴趣区域进行导航。在处置期间，由相机提供的视觉画面可能是模糊的。例如，由相机提供的视觉画面可能被渗漏的体液(例如，因组织切除、碎屑或来自消融的烟雾所引起的出血)所模糊。
例如，在出血的情况下，必须识别渗漏的血管，这在内窥镜视觉画面被出血所模糊时是困难的。在对内窥镜视觉画面进行清洁之前，可能必须中断介入。当前，在内窥镜的远端附近施加水清洗以对视觉画面进行清洁。然而，由于出血并未停止，这可能并不是有效的。因此，可能必须盲目操纵手术器械，而不知道其相对于组织的位置。
US 2015/313503公开了一种用于利用一个或多个内窥镜进行成像的方法。该方法涉及利用内窥镜来获取图像并根据该图像来创建虚拟模型。
US 2013/018255公开了一种虚拟内窥镜图像生成单元，其接收三维医学图像作为输入并实时生成表示体腔的虚拟内窥镜图像。
US 2017/085762公开了一种内窥镜系统，其包括插入部分、观察窗口和图像处理部分。一个观察窗口被配置为获取前向视场图像，并且另一观察窗口被用于获取侧向视场图像。
US 2016/157726公开了一种方法和程序，其根据表示包括中空器官的三维区域的体积数据来生成投影图像。
发明内容
可能期望提供一种改进的方法来允许提高医学应用和/或处置的安全性。例如，该方法可以允许在微创手术期间当由内窥镜提供的图像至少部分地被渗漏的体液(例如，出血)、碎屑或由消融引起的烟雾所模糊时安全地对手术器械进行导航。
这是通过独立权利要求的主题得以实现的，其中，进一步的实施例被并入从属权利要求和以下描述中。应当注意，如下所述的计算机实施方法的任何步骤、特征或方面等同地适用于被配置为执行如下所述的方法、计算机程序和计算机可读介质的步骤的数据处理系统，反之亦然。
根据本公开内容，提出了一种用于图像辅助的医学应用的计算机实施的方法和/或医学方法。所述方法通常可以指代计算机实施的数据处理方法。所述方法包括以下步骤：(i)获取患者的至少一个身体部分的第一图像，所述第一图像是利用内窥镜捕获的并与传感器数据相关联，所述传感器数据指示所述内窥镜的第一位置和取向；(ii)检测所述第一图像是否至少部分地被模糊物质所模糊而使所述第一图像包括渗漏的体液、碎屑或来自消融的烟雾的图像；(iii)在检测到所述第一图像至少部分地被模糊时基于历史图像序列并基于所述内窥镜的所述第一位置和取向来确定第二图像，其中，所述历史图像序列中的所述历史图像均比所述第一图像具有更早的图像捕获时间；并且(iv)基于所确定的第二图像来生成所述至少一个身体部分的虚拟图像。
术语“检测所述第一图像是否至少部分地被模糊物质所模糊”可以被理解为“检测所述第一图像是否包括模糊物质的图像，所述模糊物质模糊了所述至少一个身体部分(或其部分)”。
可以从内窥镜或者从转发第一图像的中间设备接收第一图像。替代地，可以从存储介质中取回第一图像。第一图像对患者的至少一个身体部分进行可视化，其中，患者可以是人或动物。
内窥镜可以是腹腔镜、膀胱镜、肾镜、支气管镜、关节镜或结肠镜。优选地，内窥镜是刚性内窥镜，使得能够根据内窥镜的可见近端的位置和取向来推断出在内窥镜的远端处的相机的位置和取向。内窥镜的第一位置和取向可以被定义为内窥镜相机的位置和取向。
可以通过跟踪系统(例如，基于相机的跟踪系统)来记录传感器数据。基于相机的跟踪系统可以包括一个或多个相机，这一个或多个相机从一个或多个位置和取向捕获图像。在由基于相机的跟踪系统捕获的一幅或多幅图像中，至少可以看到内窥镜的近端。基于在一幅或多幅相机图像中对内窥镜的近端的这种可视化，基于关于内窥镜的形状的信息，基于关于可以被附接到内窥镜的标记板的形状的信息，并且/或者基于关于跟踪系统的相机的几何形状的信息，可以确定内窥镜的第一位置和取向。可以相对于这样的坐标系来定义内窥镜的位置和取向：该坐标系相对于患者的位置和取向或者相对于患者躺着的操作台的位置和取向是固定的。
可以从跟踪系统或者从转发传感器数据的中间设备接收传感器数据。替代地，可以从存储介质中取回传感器数据。传感器数据可以是原始记录的传感器数据，或者传感器数据可以是原始数据的处理版本。优选地，在内窥镜捕获第一图像的同时，跟踪系统记录传感器数据。因此，基于传感器数据确定的内窥镜的第一位置和取向可以是第一图像的图像捕获位置和取向的估计结果。然而，内窥镜可以不被耦合到跟踪系统，因此第一图像的捕获时间可以从记录传感器数据的时间偏离。这种时间差可以忽略不计，只要内窥镜的位置和取向在此期间不显著变化即可。
检测第一图像是否至少部分地被模糊物质所模糊，其中，模糊物质是渗漏的体液、碎屑或由消融引起的烟雾。这里和下文中使用术语“模糊物质”来指代渗漏的体液、碎屑或由消融引起的烟雾。渗漏的体液可以是但不限于出血、从胆管渗出的胆汁或炎症部位的渗出物(脓)。此外，为了简洁起见，当图像的至少部分被渗漏的体液、碎屑或来自消融的烟雾所模糊时，在本文中说该图像是“模糊的”。模糊物质可以使第一图像的部分模糊，使得第一图像可能并不示出例如器械和/或感兴趣区域。因此，由于物质模糊，可能难以或者无法基于第一图像将器械朝向感兴趣区域进行安全的导航。
当检测到第一图像至少部分地被模糊时，可以基于传感器数据来确定内窥镜的第一位置和取向，并且可以基于历史图像序列并且基于内窥镜的第一位置和取向来确定第二图像。历史图像序列可以包括在捕获第一图像之前已经由内窥镜捕获的内窥镜图像。
确定第二图像可以包括例如从历史图像序列中取回第二图像，使得针对内窥镜的第一位置和取向与第二图像的图像捕获位置和取向之间的差异的量度很小。因此，第二图像可以与来自历史图像序列的历史图像中的一幅历史图像相同。第二图像的图像捕获位置和取向可以与内窥镜的第一位置和取向不同。
替代地，确定第二图像可以包括例如根据二维历史图像序列来生成患者的解剖结构的三维模型。然后可以基于该三维模型和内窥镜的第一位置和取向来确定第二图像。在这种情况下，第二图像可以与历史图像序列中的所有历史图像都不同，并且第二图像的相关联的图像捕获位置和取向可以与内窥镜的第一位置和取向相同。
然后基于第二图像来生成虚拟图像。虚拟图像可以等同于第二图像。然而，虚拟图像的生成还可以包括第二图像的各种变换。例如，可以变换第二图像以调整其相关联的图像捕获位置和取向。此外，可以利用对器械的绘制来增强第二图像。另外，可以利用来自X射线成像系统、磁共振成像(MRI)系统、单光子发射计算机断层摄影(SPECT)系统或超声设备的图像数据来增强第二图像。
虚拟图像可能并不基于第一图像的图像数据。因此，即使当第一图像被模糊物质所模糊时，虚拟图像也可以提供不被模糊物质所模糊的虚拟内窥镜视图。该方法可以包括显示虚拟图像以向用户提供不被模糊的视图。
在示例中，传感器数据也指示器械的位置和取向，并且所述方法还包括以下步骤：基于所述传感器数据来确定所述器械的第二位置和取向；并且利用根据所述器械的所述第二位置和取向并根据所述虚拟图像的图像捕获位置和取向对所述器械的绘制来增强所述虚拟图像。
该器械可以是用于微创手术的任何器械，包括但不限于镊子、刮刀、牵开器、扩张器、抓取器、缝合线、可视镜、切割器械(例如，套管针和锉刀)、电外科器械、引导设备、手术吻合器、针、导管和膨胀系统。
可以通过跟踪系统(例如，基于相机的跟踪系统)来记录传感器数据。基于相机的跟踪系统可以包括多个相机，这多个相机从多个位置和取向捕获图像。在由基于相机的跟踪系统捕获的一幅或多幅图像中至少可以看到器械的近端。基于在一幅或多幅相机图像中对器械的近端的这种可视化，基于关于器械的形状的信息，基于关于可以被附接到器械的标记板的形状的信息，并且/或者基于关于跟踪系统的相机的几何形状的信息，可以确定器械的第二位置和取向。
可以利用根据器械的第二位置和取向并根据虚拟图像的图像捕获位置和取向对器械的绘制来增强虚拟图像，使得虚拟图像提供虚拟内窥镜视图，该虚拟内窥镜视图根据器械的当前位置和取向来示出器械。可以基于器械的三维模型来绘制器械。
在另一示例中，确定所述第二图像包括基于针对所述内窥镜的所述第一位置和取向与所述第二图像的图像捕获位置和取向之间的差异的量度来从历史图像序列中取回所述第二图像。
可以从历史图像序列中取回第二图像，使得针对内窥镜的第一位置和取向与第二图像的图像捕获位置和取向之间的差异的量度很小，或者使得针对这种差异的量度在历史图像序列中的历史图像的图像捕获位置和取向上是最小的。针对内窥镜的第一位置和取向与第二图像的图像捕获位置和取向之间的差异的量度可以是针对内窥镜的第一位置与第二图像的图像捕获位置的差异的量度和针对内窥镜的第一取向与第二图像的图像捕获取向之间的差异的量度的函数(例如，加权和)。
额外地或替代地，可以基于第一图像和第二图像的图像捕获时间之间的差异从历史图像序列中取回第二图像。例如，可以从历史图像序列中取回第二图像，使得针对内窥镜的第一位置和取向与第二图像的图像捕获位置和取向之间的差异的量度较小受到以下约束：第一图像和第二图像的图像捕获时间之间的差异不超过一定阈值。
在另一示例中，确定所述第二图像还基于针对一幅或多幅图像的关于它们是否至少部分地被所述模糊物质所模糊以确保所确定的第二图像不被模糊物质所模糊的确定。
例如，确定第二图像可以包括基于针对内窥镜的第一位置和取向与第二图像的图像捕获位置和取向之间的差异的量度并且基于针对一幅或多幅图像的关于它们是否被模糊物质所模糊以确保所取回的第二图像不被这样的物质所模糊的确定来从历史图像序列中取回第二图像。历史图像序列可以包括模糊的历史图像和不被模糊的历史图像，并且可以针对来自历史图像序列的一幅或多幅历史图像确定它们是否被模糊物质所模糊以确保所取回的第二图像不被这样的物质所模糊。因此，在取回第二图像时可以排除模糊的历史图像。替代地，只有确定该图像不被模糊物质所模糊时，该图像才可以被包括在历史图像序列中，因此历史图像序列可以仅包括不被模糊的历史图像。
替代地，可以根据二维历史图像序列来生成患者的解剖结构的三维模型，并且可以基于该三维模型和内窥镜的第一位置和取向来确定第二图像。历史图像序列可以包括模糊的历史图像和不被模糊的历史图像，并且可以针对来自历史图像序列的一幅或多幅历史图像确定它们是否被模糊物质所模糊以确保历史图像中不被这样的物质所模糊的部分被考虑用于生成三维模型，使得第二图像也不被模糊物质所模糊。替代地，在将图像包括在历史图像序列中之前，可以确定该图像是否被模糊物质所模糊以确保历史图像序列仅包括不被模糊的历史图像。
在另一示例中，生成所述虚拟图像包括借助于来自运动技术的结构来变换所述第二图像，其中，所述虚拟图像与等同于所述内窥镜的所述第一位置和取向的图像捕获位置和取向所对应。
第二图像的图像捕获位置和取向可以从内窥镜的第一位置和取向偏离。内窥镜的第一位置和取向可以等同于或者接近内窥镜的当前位置和取向。因此，通过将第二图像变换为使得虚拟图像具有等同于内窥镜的第一位置和取向的图像捕获位置和取向，可以生成与内窥镜的当前位置和取向相对应的虚拟图像。可以借助于来自运动技术的结构或者借助于适合用于调整第二图像的图像捕获位置和取向的任何其他图像处理技术来变换第二图像。
在另一示例中，所述方法还包括显示针对所述内窥镜的所述第一位置和取向与所述第二图像的图像捕获位置和取向之间的差异的指示符。
当通过例如借助于来自运动技术的结构将第二图像变换为使得虚拟图像具有等同于内窥镜的第一位置和取向的图像捕获位置和取向而生成虚拟图像时，显示针对内窥镜的第一位置和取向与第二图像的图像捕获位置和取向之间的差异的指示符可以提供针对虚拟图像的可靠性的指示。此外，显示针对内窥镜的第一位置和取向与第二图像的图像捕获位置和取向之间的差异的指示符可以向用户指示如何调整内窥镜的当前位置和取向，以减小内窥镜的当前位置和取向与第二图像的图像捕获位置和取向之间的差异，从而提高虚拟图像的可靠性。
替代地，当虚拟图像具有等同于第二图像的图像捕获位置和取向的图像捕获位置和取向时，针对内窥镜的第一位置和取向与第二图像的图像捕获位置和取向之间的指示符可以向用户指示如何调整内窥镜的当前位置和取向，使得内窥镜的当前位置和取向变得等同于虚拟图像的图像捕获位置和取向。
在另一示例中，所述方法还包括彼此相邻地显示来自所述内窥镜的所述第一图像以及所述虚拟图像。
第一图像可以提供内窥镜视图，该内窥镜视图可能被模糊物质所模糊，而虚拟图像可以提供不被模糊的虚拟内窥镜视图。彼此相邻地显示第一图像和虚拟图像可以允许用户比较这些图像并评估虚拟图像的可靠性。第一图像和虚拟图像可以被单独显示，例如被彼此相邻地显示，一个被显示在另一个的顶部，或者以其它方式相对于彼此被移位地显示。第一图像和虚拟图像可以被显示在相同的屏幕上或者被显示在不同的屏幕上。
在另一示例中，所述历史图像序列中的所述历史图像是内窥镜图像。
例如，当检测到第一图像不被模糊物质所模糊时，在检测到该图像不被模糊之后，该图像可以被包括在历史图像序列中。另一方面，当检测到第一图像至少部分地被模糊物质所模糊时，在生成虚拟图像之后，该图像可以被包括在历史图像序列中。
历史图像序列可以包括被模糊物质所模糊的图像以及不被这样的物质所模糊的图像。历史图像序列可以被存储在数据库中。因此，该方法可以包括将第一图像存储在数据库中。此外，该方法可以包括将内窥镜的第一位置和取向与第一图像相关联地存储。此外，该方法可以包括将第一图像的图像捕获时间与第一图像相关联地存储。此外，该方法可以包括将指示符与第一图像相关联地存储，其中，指示符指示第一图像是否被模糊物质所模糊。此外，该方法可以包括将另一指示符与第一图像相关联地存储，其中，另一指示符指示第一图像是否包括器械的可视化。
替代地，历史图像序列可以仅包括不被模糊的图像。因此，该方法可以包括在检测到第一图像不被模糊物质所模糊时将第一图像存储在数据库中。
在另一示例中，检测所述第一图像是否被模糊物质所模糊包括检测所述第一图像是否被出血所模糊，其中，检测所述第一图像是否被出血所模糊包括确定所述第一图像中的红色部分的大小和/或确定所述第一图像的至少部分中的对比度。
检测第一图像是否被出血所模糊可以包括检测红色部分的大小是否随时间增大和/或检测图像的至少部分中的图像对比度是否随时间减小。这可以通过将第一图像与比第一图像具有更早的图像捕获时间的较早图像进行比较来实现。例如，较早图像可以是来自历史图像序列的历史图像。
因此，检测第一图像是否被出血所模糊可以包括检测较早图像中的红色部分的大小是否小于第一图像中的红色部分的大小。额外地或替代地，检测第一图像是否被出血所模糊可以包括检测较早图像的至少部分中的图像对比度是否高于第一图像的至少部分中的图像对比度。
更具体地，检测较早图像中的红色部分的大小是否小于第一图像中的红色部分的大小可以包括：确定较早图像中的红色部分，确定针对较早图像中的红色部分的大小的量度，确定第一图像中的红色部分，确定针对第一图像中的红色部分的大小的量度，以及确定针对第一图像和较早图像中的红色部分的大小的量度之间的差异是否超过阈值。
另外，检测较早图像的至少部分中的图像对比度是否高于第一图像的至少部分中的图像对比度可以包括：确定较早图像的部分，确定针对较早图像的部分中的图像对比度的量度，确定第一图像的部分，确定针对第一图像的部分中的图像对比度的量度，以及确定针对较早图像和第一图像中的图像对比度的量度之间的差异是否超过阈值。
检测第一图像是否被出血所模糊可以借助于神经网络来执行，该神经网络可以使用标准机器学习技术来训练。神经网络的一个输入参数可以基于针对较早图像中的红色部分的大小的量度和/或基于针对第一图像中的红色部分的大小的量度。神经网络的另一输入参数可以基于针对较早图像的部分中的图像对比度的量度和/或基于针对第一图像的部分中的图像对比度的量度。神经网络的另一输入参数可以基于较早图像的图像捕获时间和/或基于第一图像的图像捕获时间。神经网络的另一输入参数可以基于较早图像的图像捕获位置和取向和/或基于第一图像的图像捕获位置和取向。例如，神经网络的一个输入参数可以基于从较早图像的图像捕获位置到第一图像的图像捕获位置的向量投影到较早图像的图像捕获取向的方向上的投影。
更一般地，检测第一图像是否被渗漏的体液或由消融引起的烟雾所模糊可以包括检测图像中的至少部分中的图像对比度是否随时间减小。再次地，这可以通过将第一图像与较早图像(例如，来自历史图像序列的历史图像)进行比较来实现。因此，检测第一图像是否被渗漏的体液或来自消融的烟雾所模糊可以包括检测较早图像的至少部分中的图像对比度是否高于第一图像的至少部分中的图像对比度。
再次地，检测第一图像是否被渗漏的体液或来自消融的烟雾所模糊可以借助于神经网络来执行。神经网络的一个输入参数可以基于针对较早图像的部分中的图像对比度的量度和/或基于针对第一图像的部分中的图像对比度的量度。神经网络的另一输入参数可以基于较早图像的图像捕获时间和/或基于第一图像的图像捕获时间。神经网络的另一输入参数可以基于较早图像的图像捕获位置和取向和/或基于第一图像的图像捕获位置和取向。例如，神经网络的一个输入参数可以基于从较早图像的图像捕获位置到第一图像的图像捕获位置的向量投影到较早图像的图像捕获取向的方向上的投影。
在另一示例中，所述方法还包括：基于历史图像序列来确定模糊物质的起源的位置；并且/或者在所述虚拟图像中指示模糊物质的起源的位置。
确定模糊物质的起源的位置可以包括在历史图像序列中寻找第一历史图像，其中，第一历史图像不被模糊物质所模糊，而历史图像序列中的紧邻的下一时间的历史图像不被模糊物质所模糊。然后，在紧邻的下一时间的历史图像中的模糊物质的位置可以提供针对模糊物质的起源的位置的指示。
当模糊物质是诸如出血之类的渗漏的体液时，在虚拟图像中指示渗漏的体液的起源的位置可以允许用户将器械朝向渗漏的体液的起源进行导航，以便停止体液的渗漏。类似地，当模糊物质是碎屑或来自消融的烟雾时，在虚拟图像中指示碎屑或来自消融的烟雾的起源的位置可以向用户告知哪里可能要求特定处置。
在另一示例中，所述传感器数据是从基于相机的跟踪系统接收的；并且/或者所述内窥镜的所述第一位置和取向是基于被附接到所述内窥镜的标记板来确定的。
基于相机的跟踪系统可以包括一个或多个相机，这一个或多个相机可以从一个或多个位置和取向捕获图像。在由基于相机的跟踪系统捕获的一幅或多幅图像中至少可以看到内窥镜的近端。基于在一幅或多幅相机图像中对内窥镜的近端的这种可视化并且基于关于跟踪相机的几何形状的信息，可以确定内窥镜的第一位置和取向。另外，可以利用关于内窥镜的形状的信息来确定内窥镜的位置和取向。
当标记板被附接到内窥镜时，可以基于来自单个相机的单幅图像来确定内窥镜的位置和取向。然而，与单个相机系统相比，包括多个相机的基于相机的跟踪系统仍然提供益处。例如，与单个相机系统相比，在多个相机的情况下，更有可能在相机图像中的至少一幅相机图像中看到内窥镜，因此对内窥镜的第一位置和取向的确定更加可靠。额外地或替代地，与单个相机系统相比，多个相机和相关联的图像处理算法可以被配置为对内窥镜的位置和取向提供在统计上更准确的确定。
在另一示例中，所述方法还包括：获取第三图像，所述第三图像是利用X射线成像系统、计算机断层摄影(CT)系统、单光子发射计算机断层摄影(SPECT)系统、磁共振成像(MRI)系统或超声设备来捕获的；在所述虚拟图像中添加来自所述第三图像的数据。
例如，第三图像可以是X射线图像，该X射线图像可以是通过从X射线成像系统接收图像而获取的，通过从转发图像的中间设备接收图像而获取的，或者通过从存储介质中取回图像而获取的。X射线图像可以是由计算机断层摄影(CT)系统确定的二维图像或三维模型。第三图像可以与X射线成像系统的坐标系相关联，并且该方法可以包括基于X射线成像系统的坐标系并基于虚拟图像的图像捕获位置和取向来变换第三图像。替代地，在获取第三图像之前，X射线成像系统可能已经执行了基于X射线成像系统的坐标系并基于虚拟图像的图像捕获位置和取向的变换。因此，该方法可以包括根据虚拟图像的图像捕获位置和取向在虚拟图像中添加来自第三图像或经变换的第三图像的数据。
类似地，第三图像可以是SPECT图像，该SPECT图像可以是通过从SPECT系统接收图像而获取的，通过从转发图像的中间设备接收图像而获取的，或者通过从存储介质中取回图像而获取的。SPECT图像可以是由断层摄影重建确定的二维图像或三维模型。第三图像可以与SPECT系统的坐标系相关联，并且该方法可以包括基于SPECT系统的坐标系并基于虚拟图像的图像捕获位置和取向来变换第三图像。替代地，在获取第三图像之前，SPECT系统可能已经执行了基于SPECT系统的坐标系并基于虚拟图像的图像捕获位置和取向的变换。因此，该方法可以包括根据虚拟图像的图像捕获位置和取向在虚拟图像中添加来自第三图像或经变换的第三图像的数据。
类似地，第三图像可以是MRI图像，该MRI图像可以是通过从MRI系统接收图像而获取的，通过从转发图像的中间设备接收图像而获取的，或者通过从存储介质中取回图像而获取的。MRI图像可以是二维图像或三维图像。第三图像可以与MRI系统的坐标系相关联，并且该方法可以包括基于MRI系统的坐标系并基于虚拟图像的图像捕获位置和取向来变换第三图像。替代地，在获取第三图像之前，MRI系统可能已经执行了基于MRI系统的坐标系并基于虚拟图像的图像捕获位置和取向的变换。因此，该方法可以包括根据虚拟图像的图像捕获位置和取向在虚拟图像中添加来自第三图像或经变换的第三图像的数据。
此外，第三图像可以是超声图像，该超声图像可以是通过从超声设备接收图像而获取的，通过从转发图像的中间设备接收图像而获取的，或者通过从存储介质中取回图像而获取的。超声图像可以是二维图像或三维图像。该方法可以包括基于传感器数据来确定超声设备的第三位置和取向。此外，该方法可以包括基于超声设备的第三位置和取向并基于虚拟图像的图像捕获位置和取向来变换第三图像。替代地，在获取第三图像之前，超声系统可能已经执行了基于超声系统的第三位置和取向并基于虚拟图像的图像捕获位置和取向的变换。因此，该方法可以包括根据虚拟图像的图像捕获位置和取向在虚拟图像中添加来自第三图像或经变换的第三图像的数据。
在另一示例中，确定第二图像还基于针对一幅或多幅图像的关于它们是否描绘器械以确保所确定的第二图像不描绘器械的确定。
在本文中，当图像描绘器械的至少部分时，说图像描绘器械。
确定第二图像可以包括例如基于针对内窥镜的第一位置和取向与特定图像的图像捕获位置和取向之间的差异的量度来从历史图像序列中取回特定图像。可以基于所取回的特定图像且基于关于特定图像是否描绘器械以确保第二图像不示出器械的确定来确定第二图像。例如，当特定图像不描绘器械时，第二图像可以等同于特定图像。另一方面，当特定图像描绘器械时，在特定图像的图像捕获时间时的器械的位置和取向可以与基于传感器数据确定的器械的第二位置和取向不同。然后，可以基于历史图像序列来变换特定图像以从特定图像中移除器械的可视化。
替代地，可以根据二维历史图像序列来生成三维模型，并且可以基于三维模型和内窥镜的第一位置和取向来确定第二图像。历史图像序列可以包括描绘器械的图像以及不描绘器械的其他图像。可以针对来自历史图像序列的一幅或多幅历史图像确定它们是否描绘器械以确保历史图像中描绘器械的部分不被考虑用于生成三维模型，使得所确定的第二图像也不描绘器械。替代地，在将图像包括在历史图像序列中之前，可以确定该图像是否示出器械以确保历史图像序列仅包括不示出器械的历史图像。
然而，需要强调的是，如上文和下文所述的本发明并不涉及或者特别包括或涵盖有创步骤，该有创步骤将表示要对患者的身体执行的要求专业医学知识的和即使在具有所要求的专业护理和知识的情况下执行时也涉及实质性健康风险的实质性物理介入。特别地，本发明并不涉及或者特别包括或涵盖任何手术或治疗活动。相反，本发明指向任何无创医学应用并且仅涉及数据处理方法。出于这种原因，通过执行本发明，并不需要或者暗示手术或治疗活动(特别是手术或治疗步骤)。
根据本公开内容，还提出了一种数据处理系统。所述数据处理系统被配置为执行根据本发明的方法中的任一种方法的步骤。
数据处理系统可以被连接到内窥镜。此外，数据处理系统可以被连接到跟踪系统(例如，基于相机的跟踪系统)。数据处理系统还可以包括用于将历史图像序列存储在数据库中的存储介质。针对历史图像中的至少一些历史图像，数据库还可以包括：图像捕获位置和取向、图像捕获时间的指示符、指示图像是否至少部分地被模糊的指示符，和/或指示图像是否描绘器械的指示符。此外，数据处理系统可以被连接到一个或多个计算机屏幕或者可以包括一个或多个计算机屏幕。
根据本公开内容，还提出了一种计算机程序，其中，所述计算机程序包括指令，当所述计算机程序在根据独立权利要求所述的数据处理系统上运行时，所述指令使所述数据处理系统运行根据本发明的方法中的任一种方法。
根据本公开内容，还提出了一种计算机可读介质，其中，所述计算机可读介质存储根据独立权利要求所述的计算机程序。
应当理解，用于图像辅助的医学应用的计算机实施的方法、被配置为执行所述方法的步骤的数据处理系统、用于使所述数据处理系统运行所述方法的计算机程序，以及存储有这样的计算机程序的计算机可读介质具有相似和/或相同的优选实施例，特别是如在从属权利要求中所述的优选实施例。应当理解，本发明的优选实施例也能够是从属权利要求与相应的独立权利要求的任何组合。
参考下文描述的实施例，本发明的这些方面和其他方面将变得明显并且得到阐明。
附图说明
在下文中将参考附图来描述本发明的示例性实施例：
图1示出了用于图像辅助的医学应用的计算机实施的方法的示例的基本步骤。
图2示意性且示例性地示出了不被模糊的内窥镜图像(图2A)和计算机生成的虚拟图像(图2B)。
图3示意性且示例性地示出了通过如图1所示的计算机实施的方法生成的模糊的内窥镜图像(图3A)和虚拟图像(图3B)。
图4示意性且示例性地示出了用于执行用于图像辅助的医学应用的计算机实施的方法的数据处理系统的实施例。
具体实施方式
图1示出了用于图像辅助的医学应用的计算机实施的方法的示例的基本步骤。该方法包括以下步骤：
在第一步骤S1中，获取患者的至少一个身体部分的第一图像，该第一图像是利用内窥镜捕获的并与传感器数据相关联，该传感器数据指示内窥镜的第一位置和取向。可以从内窥镜或者从转发第一图像的中间设备接收第一图像。替代地，可以从存储介质中取回第一图像。
可以通过跟踪系统(例如，基于相机的跟踪系统)来记录传感器数据。可以从跟踪系统或者从转发传感器数据的中间设备接收传感器数据。替代地，可以从存储介质中取回传感器数据。基于相机的跟踪系统可以包括一个或多个相机，这一个或多个相机从一个或多个位置和取向捕获图像。因此，传感器数据可以包括一幅或多幅相机图像。在这些图像中的一幅或多幅图像中至少可以看到内窥镜的近端。可以基于在一幅或多幅相机图像中对内窥镜的近端的这种可视化来确定内窥镜的第一位置和取向。内窥镜优选是刚性内窥镜，使得能够根据内窥镜的可见近端的位置和取向来推断出在内窥镜的远端处的相机的位置和取向。内窥镜的第一位置和取向可以被定义为内窥镜相机的位置和取向。优选地，在内窥镜捕获第一图像的同时，跟踪系统记录传感器数据。因此，内窥镜的第一位置和取向可以是第一图像的图像捕获位置和取向的估计结果。
在第二步骤S2中，检测第一图像是否至少部分地被模糊物质所模糊，其中，模糊物质是渗漏的体液、碎屑或来自消融的烟雾。模糊物质可以模糊第一图像的部分，使得第一图像可能不示出器械和/或感兴趣区域。因此，由于物质模糊，可能难以或者无法基于第一图像将器械朝向感兴趣区域进行安全的导航。
在第三步骤S3中，当检测到第一图像至少部分地被模糊时，基于历史图像序列并基于内窥镜的第一位置和取向来确定第二图像，其中，历史图像序列的历史图像均比第一图像具有更早的图像捕获时间。当检测到第一图像至少部分地被模糊时，可以基于传感器数据来确定内窥镜的第一位置和取向，并且可以基于历史图像序列并基于内窥镜的第一位置和取向来确定第二图像。历史图像序列可以包括在捕获第一图像之前已经由内窥镜捕获的内窥镜图像。
在第四步骤S4中，基于所确定的第二图像来生成至少一个身体部分的虚拟图像。虚拟图像可以等同于第二图像。然而，虚拟图像的生成还可以包括第二图像的各种变换。例如，第二图像可以被变换为调整其相关联的图像捕获位置和取向。此外，可以利用器械的绘制来增强第二图像。另外，可以利用来自X射线成像系统、磁共振成像(MRI)系统、单光子发射计算机断层摄影(SPECT)系统或超声设备的图像数据来增强第二图像。
即使当第一图像被模糊物质所模糊时，虚拟图像也可以提供不被这样的物质所模糊的虚拟内窥镜视图。
注意，在检测到第一图像被模糊物质所模糊时执行步骤S3。额外地或替代地，可以在从用户接收到生成虚拟图像的请求时执行对第二图像的确定和对虚拟图像的生成。此外，在另一方法中，即使第一图像不被模糊物质所模糊并且即使不要求生成虚拟图像，也可以确定第二图像并且也可以生成虚拟图像。当第一图像不被模糊时，仍然可以生成虚拟图像以评估所生成的虚拟图像的可靠性/准确性。
图2示意性且示例性地示出了不被模糊的内窥镜图像200和虚拟图像210。不被模糊的内窥镜图像200包括器械201的呈现和病变202的呈现，其中，病变可能需要处置。不被模糊的图像200可以与传感器数据相关联，该传感器数据可以允许确定内窥镜的第一位置和取向作为针对图像200的图像捕获位置和取向的估计结果。
可以基于第二图像来生成虚拟图像210，其中，可以基于历史图像序列并基于内窥镜的第一位置和取向来确定第二图像。历史图像序列的历史图像可以均比图像200具有更早的图像捕获时间。虚拟图像210示出器械211的可视化和病变212的可视化。由于图像200不被模糊物质所模糊，因此虚拟图像210可以与图像200基本相同。
图3示意性且示例性地示出了模糊的内窥镜图像300和虚拟图像310。图3的场景与图2的场景的不同之处在于：图像300部分地被模糊物质303(其可能是出血)所模糊。图像300还包括器械301的呈现。不被模糊的图像300可以与传感器数据相关联，该传感器数据可以允许确定内窥镜的第一位置和取向作为图像300的图像捕获位置和取向的估计结果。
图4示意性且示例性地示出了用于执行用于图像辅助的医学应用的计算机实施的方法100的数据处理系统400的实施例。数据处理系统可以包括处理器401和存储介质402。数据处理系统可以被连接到内窥镜404，并且可以被配置用于获取患者的至少一个身体部分的第一图像，第一图像是利用内窥镜捕获的。此外，数据处理系统可以被连接到跟踪系统405，例如，基于相机的跟踪系统。数据处理系统可以被配置为获取传感器数据，传感器数据是由跟踪系统记录的。数据处理系统可以被配置为基于传感器数据来确定内窥镜的第一位置和取向。内窥镜的第一位置和取向可以是第一图像的图像捕获位置和取向的估计结果。此外，数据处理系统可以被配置为检测第一图像是否至少部分地被模糊物质所模糊，其中，模糊物质是渗漏的体液、碎屑或来自消融的烟雾。另外，数据处理系统可以被配置为在检测到第一图像至少部分地被模糊时基于内窥镜的第一位置和取向并基于历史图像序列403来确定第二图像，历史图像序列403可以被存储在数据处理系统的存储介质上。替代地，历史图像序列可以被存储在外部存储介质上或者被存储在被连接到数据处理系统的服务器上。此外，数据处理系统可以被配置用于基于所确定的第二图像来生成至少一个身体部分的虚拟图像。
数据处理系统可以被连接到X射线成像系统407，并且数据处理系统可以被配置为：获取利用X射线成像系统捕获的X射线图像，并且在虚拟图像中添加来自X射线图像的数据。额外地或替代地，数据处理系统可以被连接到CT系统、SPECT系统、MRI系统或超声设备，并且数据处理系统可以被配置为在虚拟图像中添加来自这样的系统或设备的图像数据(图中未示出)。
数据处理系统还可以被连接到显示器406，并且数据处理系统可以被配置为借助于显示器来彼此相邻地显示第一图像和虚拟图像。
必须注意，本发明的实施例是参考不同主题来描述的。然而，除非另有说明，否则本领域技术人员根据以上和以下描述将推断出，除了属于一种类型的主题的特征的任意组合之外，涉及不同主题的特征之间的任意组合也被认为在本申请中得到公开。然而，所有的特征都能够被组合来提供多于特征的简单加合的协同效应。
虽然已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是图示性或示例性的，而非限制性的。本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。
在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。虽然某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记都不应被解释为对范围的限制。

Claims (15)

1.一种用于图像辅助的医学应用的计算机实施的方法(100)，所述方法包括：
获取(S1)患者的至少一个身体部分的第一图像，所述第一图像是利用内窥镜(404)捕获的并与传感器数据相关联，所述传感器数据指示所述内窥镜的第一位置和取向；
检测(S2)所述第一图像是否至少部分地被模糊物质所模糊而使所述第一图像包括渗漏的体液、碎屑或来自消融的烟雾的图像；
在检测到所述第一图像至少部分地被模糊时基于历史图像序列(403)并基于所述内窥镜的所述第一位置和取向来确定(S3)第二图像，其中，所述历史图像序列中的所述历史图像均比所述第一图像具有更早的图像捕获时间；并且
基于所确定的第二图像来生成(S4)所述至少一个身体部分的虚拟图像。
2.根据权利要求1所述的方法(100)，其中，所述传感器数据还指示器械的位置和取向，并且其中，所述方法还包括：
基于所述传感器数据来确定所述器械的第二位置和取向；并且
利用根据所述器械的所述第二位置和取向并根据所述虚拟图像的图像捕获位置和取向对所述器械的绘制来增强所述虚拟图像。
3.根据权利要求1或2中的任一项所述的方法(100)，
其中，确定(S3)所述第二图像包括基于针对所述内窥镜(404)的所述第一位置和取向与所述第二图像的图像捕获位置和取向之间的差异的量度来从历史图像序列(403)中取回所述第二图像。
4.根据前述权利要求中的任一项所述的方法(100)，
其中，确定(S3)所述第二图像基于针对一幅或多幅图像的关于它们是否至少部分地被所述模糊物质所模糊以确保所述第二图像不被所述模糊物质所模糊的确定。
5.根据前述权利要求中的任一项所述的方法(100)，
其中，生成(S4)所述虚拟图像包括借助于来自运动技术的结构来变换所述第二图像，其中，所述虚拟图像与等同于所述内窥镜(404)的所述第一位置和取向的图像捕获位置和取向所对应。
6.根据前述权利要求中的任一项所述的方法(100)，还包括：
显示针对所述内窥镜(404)的所述第一位置和取向与所述第二图像的图像捕获位置和取向之间的差异的指示符。
7.根据前述权利要求中的任一项所述的方法(100)，还包括：
彼此相邻地显示来自所述内窥镜(404)的所述第一图像以及所述虚拟图像。
8.根据前述权利要求中的任一项所述的方法(100)，
其中，所述历史图像序列(403)中的所述历史图像是内窥镜图像。
9.根据前述权利要求中的任一项所述的方法(100)，
其中，检测(S2)所述第一图像是否被所述模糊物质所模糊包括检测所述第一图像是否被出血所模糊，其中，检测所述第一图像是否被出血所模糊包括确定所述第一图像中的红色部分的大小和/或确定所述第一图像的至少部分中的对比度。
10.根据前述权利要求中的任一项所述的方法(100)，还包括：
基于历史图像序列(403)来确定所述模糊物质的起源的位置；并且/或者
在所述虚拟图像中指示所述模糊物质的起源的位置。
11.根据前述权利要求中的任一项所述的方法(100)，
其中，所述传感器数据是从基于相机的跟踪系统(405)接收的；并且/或者
其中，所述内窥镜(404)的所述第一位置和取向是基于被附接到所述内窥镜的标记板来确定的。
12.根据前述权利要求中的任一项所述的方法(100)，还包括：
获取第三图像，所述第三图像是利用X射线成像系统(407)、计算机断层摄影(CT)系统、单光子发射计算机断层摄影(SPECT)系统、磁共振成像(MRI)系统或超声设备来捕获的；并且
在所述虚拟图像中添加来自所述第三图像的数据。
13.一种数据处理系统(400)，其被配置为执行根据权利要求1至12的方法中的任一种方法的步骤。
14.一种计算机程序，其包括指令，所述指令使根据权利要求13所述的数据处理系统运行根据权利要求1至12的方法中的任一种方法的步骤。
15.一种计算机可读介质，其上存储有根据权利要求14所述的计算机程序。
CN202080052954.0A 2019-07-23 2020-07-10 在模糊的视觉画面期间在内窥镜手术中的器械导航 Pending CN114144136A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19187857.8A EP3769659A1 (en) 2019-07-23 2019-07-23 Method and system for generating a virtual image upon detecting an obscured image in endoscopy
EP19187857.8 2019-07-23
PCT/EP2020/069510 WO2021013579A1 (en) 2019-07-23 2020-07-10 Instrument navigation in endoscopic surgery during obscured vision

Publications (1)

Publication Number Publication Date
CN114144136A true CN114144136A (zh) 2022-03-04

Family

ID=67438562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080052954.0A Pending CN114144136A (zh) 2019-07-23 2020-07-10 在模糊的视觉画面期间在内窥镜手术中的器械导航

Country Status (5)

Country Link
US (1) US11910995B2 (zh)
EP (2) EP3769659A1 (zh)
JP (1) JP2022541887A (zh)
CN (1) CN114144136A (zh)
WO (1) WO2021013579A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230156174A1 (en) * 2021-11-17 2023-05-18 3Dintegrated Aps Surgical visualization image enhancement
US20240013535A1 (en) * 2022-07-06 2024-01-11 Olympus Medical Systems Corp. Image processing apparatus, image processing method, and recording medium

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2626750B1 (fr) 1988-02-09 1991-02-15 Demeester Jacques Appareil a epiler
US6892090B2 (en) 2002-08-19 2005-05-10 Surgical Navigation Technologies, Inc. Method and apparatus for virtual endoscopy
IL159483A0 (en) 2003-12-21 2004-06-01 Epilady 2000 Llc Hair removal system
JP2010051531A (ja) 2008-08-28 2010-03-11 Fujifilm Corp 内視鏡システム
NL2002294C2 (nl) 2008-12-05 2010-06-08 Senza Corp Internat Ltd Epileereenheid voor een epileerapparaat.
JP5535725B2 (ja) * 2010-03-31 2014-07-02 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
WO2014081725A2 (en) * 2012-11-20 2014-05-30 University Of Washington Through Its Center For Commercialization Electromagnetic sensor integration with ultrathin scanning fiber endoscope
WO2014121152A1 (en) * 2013-02-01 2014-08-07 Farkas Daniel Method and system for characterizing tissue in three dimensions using multimode optical measurements
JP6134978B2 (ja) * 2013-05-28 2017-05-31 富士フイルム株式会社 投影画像生成装置、方法およびプログラム
US9547940B1 (en) 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
US9833254B1 (en) * 2014-10-03 2017-12-05 Verily Life Sciences Llc Controlled dissection of biological tissue
WO2016072237A1 (ja) * 2014-11-06 2016-05-12 オリンパス株式会社 内視鏡システム
CN107847289A (zh) 2015-03-01 2018-03-27 阿里斯医疗诊断公司 现实增强的形态学手术
WO2017037705A1 (en) * 2015-08-30 2017-03-09 M.S.T. Medical Surgery Technologies Ltd An intelligent surgical tool control system for laparoscopic surgeries
US11432877B2 (en) * 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking

Also Published As

Publication number Publication date
EP4003135A1 (en) 2022-06-01
EP3769659A1 (en) 2021-01-27
JP2022541887A (ja) 2022-09-28
EP4003135B1 (en) 2024-09-11
WO2021013579A1 (en) 2021-01-28
US20220240759A1 (en) 2022-08-04
US11910995B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
US11080854B2 (en) Augmented surgical reality environment
US11883118B2 (en) Using augmented reality in surgical navigation
EP3463032B1 (en) Image-based fusion of endoscopic image and ultrasound images
CN110215279B (zh) 用于机器人手术系统的增强手术现实环境
KR20070058785A (ko) 중재적 시술을 위한 초음파 시스템
US10262453B2 (en) Virtual shadows for enhanced depth perception
Marcus et al. Comparative effectiveness and safety of image guidance systems in neurosurgery: a preclinical randomized study
CN109035414A (zh) 增强现实手术图像的生成方法、装置、设备及存储介质
EP4003135B1 (en) Instrument navigation in endoscopic surgery during obscured vision
CN110573107B (zh) 医疗系统和相关方法
JP2009522079A (ja) 体部分の二次元データを修正するための装置、システム及び方法
JP7264689B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP6871007B2 (ja) 医用画像処理装置及び医用画像診断システム
EP3788981B1 (en) Systems for providing surgical guidance
JP7355514B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
De Paolis et al. Augmented Visualization of the Patient's Organs through a SlidingWindow.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination