CN110709894B - 用于增强深度感知的虚拟阴影 - Google Patents

用于增强深度感知的虚拟阴影 Download PDF

Info

Publication number
CN110709894B
CN110709894B CN201880020821.8A CN201880020821A CN110709894B CN 110709894 B CN110709894 B CN 110709894B CN 201880020821 A CN201880020821 A CN 201880020821A CN 110709894 B CN110709894 B CN 110709894B
Authority
CN
China
Prior art keywords
tool
model
object surface
processor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880020821.8A
Other languages
English (en)
Other versions
CN110709894A (zh
Inventor
T.恩格尔
P.梅维斯
P.芒特尼
T.法伊弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Ag
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN110709894A publication Critical patent/CN110709894A/zh
Application granted granted Critical
Publication of CN110709894B publication Critical patent/CN110709894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

为了改善腹腔镜手术期间显示的图像的深度感知，识别包括在图像中并用于腹腔镜手术的工具的阴影的表示并将其引入图像中，处理器通过将虚拟光源引入3D模型中以在3D模型内生成虚拟阴影增强包括图像中包括的对象表面的3D表示和工具的表示的三维(3D)模型。处理器从增强的3D模型减去阴影的表示，并将阴影的表示叠加在将在腹腔镜手术期间显示的图像上。

Description

用于增强深度感知的虚拟阴影
技术领域
本实施例涉及一种用于在图像上生成虚拟阴影的方法。
背景技术
腹腔镜和内窥镜相机用于观察患者体内以用于手术和诊断。腹腔镜和内窥镜相机基本上生成三维(3D)解剖结构的二维(2D)图像。在手术期间，操作者(例如，外科医生)引导工具以靶向患者体内的区域，从而例如基于用腹腔镜相机和/或内窥镜相机生成的2D图像流来切割组织，进行解剖和/或进行活检。使用2D图像流，失去深度感和3D感。这使得操作者难以导航和控制工具。
改善深度感知的当前方法包括创建3D可视化并引入缺失的深度信息，例如运动视差或阴影。用立体腹腔镜相机创建3D可视化，并使用3D显示器。3D显示器可能使操作者恶心，并且具有有限的工作体积，使3D显示器难以集成到手术室中或与多个团队成员一起工作。此外，一些3D显示器需要操作者佩戴眼镜，这可能在长程序期间引起不适。
可以用虚拟镜重新引入运动视差和运动视角。然而，虚拟镜的使用需要将术前模型配准到患者，并且虚拟镜配置成与增强现实一起使用。可以在腹腔镜相机上用附加的灯重新引入阴影。由于附加的灯与腹腔镜相机共同对准，因此投射的阴影的强度是有限的并且阴影的方向可能不是最佳的。
发明内容
为了改善在腹腔镜手术期间显示的图像的深度感知，人工创建图像中包括的并且在腹腔镜手术中使用的工具的阴影的表示并将其引入图像中。处理器用结构光内窥镜生成包括图像内包括的对象的表面的3D表示的三维(3D)模型。处理器确定工具的位置，并基于确定的位置将工具的表示引入3D模型。处理器通过将虚拟光源引入3D环境中生成投射到3D模型上的阴影来增强3D模型。处理器从增强的3D模型识别阴影的表示，并将阴影的表示添加到将在腹腔镜手术期间显示的图像。
在第一方面，提供了一种用于增强对象表面的图像的方法。所述方法包括由处理器识别所述对象表面的图像。所述对象表面的图像是所述对象表面和工具的至少一部分的图像。所述处理器识别所述对象表面的三维(3D)模型。所述处理器生成第一增强3D模型。生成所述第一增强3D模型包括将所述工具的表示叠加在所识别的所述对象表面的3D模型上。所述处理器将虚拟光源引入所生成的第一增强3D模型中。所述处理器生成第二增强3D模型。生成所述第二增强3D模型包括基于引入所生成的第一增强3D模型中的所述虚拟光源，在所生成的第一增强3D模型中生成所述对象表面上的阴影的表示。所述处理器增强所识别的所述对象表面的图像。增强所识别的所述对象表面的图像包括将所生成的阴影的表示叠加在所识别的所述对象表面和所述工具的图像上。
在第二方面，一种非暂时性计算机可读存储介质存储可由一个或多个处理器执行以增强对象表面的图像的指令。所述指令包括由处理器识别所述对象表面的图像。所述对象表面的图像是所述对象表面和工具的至少一部分的图像。所述工具与所述对象表面相邻。所述指令还包括由所述处理器识别所述对象表面的3D模型，以及由所述处理器将所述工具的表示叠加在所识别的所述对象表面的3D模型上。所述指令包括由所述处理器将虚拟光源引入所叠加的所述工具的表示和所识别的所述对象表面的3D模型中。所述指令还包括由所述处理器基于所引入的光源在所叠加的所述工具的表示和所识别的所述对象表面的3D模型内生成所述对象表面上的阴影的表示。所述指令包括由所述处理器将所生成的阴影的表示叠加在所识别的所述对象表面和所述工具的图像上。
在第三方面，提供了一种用于生成对象表面和工具的至少一部分的增强图像的系统。所述系统包括存储器，所述存储器配置成存储所述对象表面和所述工具的至少一部分的图像，以及所述对象表面的3D模型。所述系统还包括与所述存储器通信的处理器。所述处理器配置成将所述工具的表示叠加在所识别的所述对象表面的3D模型上。所述处理器还配置成将虚拟光源引入所叠加的所述工具的表示和所识别的所述对象表面的3D模型中。所述处理器配置成基于所引入的光源在所叠加的所述工具的表示和所识别的所述对象表面的3D模型内生成所述对象表面上的阴影的表示，并且配置成将所生成的阴影的表示叠加在所存储的所述对象表面和所述工具的至少一部分的图像上。
附图说明
图1示出了用虚拟图像增强对象表面的图像的方法的一个实施例的流程图；
图2是对象表面和在医疗程序期间使用的工具的图像的示例；
图3示出了第一增强三维(3D)模型的示例；
图4示出了第一增强3D模型的另一示例；
图5示出了引入图4中所示的第一增强3D模型的示例中的虚拟光源的示例；
图6示出了在从第二增强3D模型减去第一增强3D模型之后虚拟阴影的表示的示例；
图7示出了与对象表面和工具的图像融合的所生成的虚拟阴影的表示的示例；
图8示出了图像引导系统的一个实施例；以及
图9示出了成像系统的一个实施例。
具体实施方式
本实施例可以用于将深度信息引入腹腔镜视频中，并因此在例如腹腔镜手术期间创建增强可视化。深度信息可以是例如虚拟阴影。为了生成虚拟阴影，处理器在相同坐标系中识别待成像的身体内的组织表面的三维(3D)模型以及在腹腔镜手术期间使用的工具的位置。
使用例如结构光内窥镜生成组织表面的3D模型。结构光内窥镜生成结构光内窥镜正在观察的组织表面的点云。处理器生成用于组织表面的3D模型的网格。替代地，立体内窥镜或使用时间信息的单目镜可以生成组织表面的3D模型。
可以使用跟踪系统来估计工具的位置。跟踪系统可以包括例如光学跟踪器，其包括一个或多个相机和放置在工具近端上的跟踪器标记。从标记的位置和工具的3D模型，可以估计工具在3D空间中的位置。通过校准过程，可以估计工具的尖端在3D空间中的位置。为了生成虚拟阴影，将知道工具相对于组织表面的3D模型的位置。因此，结构光内窥镜还可以包括一个或多个跟踪器标记。
不同工具的许多模型可以离线生成并保存在存储器中。处理器可以识别与正在使用的工具相对应的存储模型中的一个。替代地，处理器可以基于由腹腔镜(例如，结构光内窥镜)生成的一个或多个图像来确定工具的形状和尺寸，并且处理器可以在例如腹腔镜手术期间生成工具的模型。
基于所确定的工具在3D空间中的位置将工具的模型引入组织表面的3D模型中。将虚拟光源引入组织表面的3D模型中。虚拟光源可以位于组织表面的3D模型内的许多位置，包括例如来自相应的腹腔镜相机图像的向上矢量或由光学跟踪器限定的重力上方的位置。
来自虚拟光源的光使虚拟阴影投射到组织表面的3D模型内的组织的表示上。可以从腹腔镜手术期间将使用的腹腔镜(例如，结构光腹腔镜)的视点绘制组织表面的3D模型。在有阴影和没有阴影的情况下绘制组织表面的3D模型，并且从有阴影的3D模型减去没有阴影的3D模型。该模型的相减生成虚拟阴影。然后将虚拟阴影与例如用结构光腹腔镜生成的图像混合或融合以生成虚拟阴影增强图像。
与用于在观察腹腔镜图像和/或视频时改善深度感知的现有技术相比，将虚拟阴影引入由腹腔镜生成的图像使得能够以更少的错误更快且更高效地执行外科程序。虚拟阴影的引入也使学习腹腔镜手术技术和技能更容易。
图1示出了用虚拟图像增强对象表面的图像的方法100的一个实施例的流程图。可以使用图8和9中所示的成像系统或另一成像系统来执行方法100。该方法按照所示顺序实现，但也可以使用其他顺序。可以提供附加的，不同的或更少的动作。可以使用类似的方法来用虚拟阴影增强图像。
在动作102中，处理器识别对象表面和在医疗程序期间使用的工具的图像。在图像内，工具与对象表面相邻。例如，医疗程序可以是腹腔镜手术。腹腔镜手术是包括腹腔或盆腔内的操作的微创手术。在腹腔镜手术期间，将腹腔镜和/或工具插入对象(例如，患者的身体)中。该工具可以是许多医疗装置，包括例如套管针，镊子，剪刀，探针，解剖器，钩子，牵开器或其他医疗装置。
在一个实施例中，识别对象表面的图像包括第一内窥镜生成表示对象表面的2D图像数据。第一内窥镜可以是许多不同类型的内窥镜，包括例如结构光内窥镜，单目腹腔镜，立体镜或其他成像装置。第一内窥镜可以例如经由小切口和安装在切口处的端口插入患者体内。作为第一内窥镜的一部分的光源或单独的光源也可以引入患者中以照明待成像的组织。在另一实施例中，对象表面的多个图像存储在与处理器通信的存储器中，并且处理器从存储在存储器中的表面的多个图像中识别对象表面的图像。
图2是对象200的表面和在医疗程序期间使用的工具202的图像的示例。对象200可以是例如人体内的许多器官。例如，对象200可以是患者腹部内的子宫，脾脏，胆囊或其他器官。如图2中所示，例如，由第一内窥镜生成的图像基本上是3D解剖结构的2D图像。使用2D图像，深度和3D感丢失，这使用户(例如，外科医生)难以导航。如图2中所示，由第一内窥镜生成的图像包括微弱的阴影或根本没有阴影。
在动作104中，处理器识别对象表面的3D模型。在一个实施例中，识别对象表面的3D模型包括第二内窥镜生成表示对象表面的数据。第二内窥镜可以是许多类型的内窥镜，包括例如结构光腹腔镜。可以使用其他类型的内窥镜(例如立体镜或单目腹腔镜)来生成表示对象表面的数据。在一个实施例中，第二内窥镜和第一内窥镜是相同的内窥镜。例如，结构光内窥镜可以包括以60帧/秒操作的相机。每隔一帧生成来自动作102的图像，并且在其他帧生成来自动作102的3D模型的数据。
在一个实施例中，结构光学腹腔镜例如生成对象表面的点云。点云表示对象的外表面上的点的3D坐标。结构光腹腔镜测量对象的外表面上的大量点并输出点云作为数据文件。
处理器基于由结构光腹腔镜生成的点云生成对象表面的网格。处理器基于生成的网格生成对象表面的3D模型。在一个实施例中，处理器从在动作102中识别的对象表面和工具的图像进行成像的视点生成表面的3D模型。换句话说，生成表面的3D模型，使得表面的3D模型和在动作102中识别的图像来自相同的视点。
在动作106中，处理器生成第一增强3D模型。生成第一增强3D模型包括将工具的表示叠加在所识别的对象表面的3D模型上。处理器识别工具的位置和工具的表示。
在一个实施例中，光学跟踪系统识别工具相对于对象表面的3D模型的3D位置。光学跟踪系统包括定位在远离被成像对象一定距离处的一个或多个相机。在一个实施例中，光学跟踪系统包括提供重叠投影的两个或更多个相机。处理器使用由两个相机生成的图像数据来三角测量例如工具相对于对象表面的3D模型的3D位置。
光学跟踪系统可以包括定位在工具上的一个或多个(例如，四个)标记。在一个实施例中，光学跟踪系统还可以包括位于例如结构光内窥镜上的一个或多个(例如，四个)标记。例如，四个标记可以是在由相机生成的图像内可见的光学标记。位于工具上的一个或多个标记和/或位于结构光内窥镜上的一个或多个标记可以是许多尺寸和形状。例如，位于工具上的一个或多个标记和位于结构光内窥镜上的一个或多个标记为球形并且足够大以在由两个或更多个相机生成的图像内可见。在其他实施例中，以其他方式识别工具的3D位置。例如，跟踪系统使用电磁(EM)跟踪器，机械跟踪器，形状传感器或其他类型的跟踪器作为光学跟踪系统的替代或附加来识别工具相对于对象表面的3D模型的3D位置。
处理器基于由两个相机生成的图像数据三角测量工具的3D位置(例如，3D空间内的3D坐标)和/或结构光内窥镜的3D位置(例如，3D空间内的3D坐标)，所述图像数据包括工具上的标记和/或结构光内窥镜上的标记的表示，以及具有相机视场内的已知位置的标记的表示。例如，工具的3D位置和结构光内窥镜的3D位置可以分别是工具上的标记的3D位置和结构光内窥镜上的标记的3D位置。处理器还可以分别基于工具的标记和结构光内窥镜的标记的相对取向来确定工具的取向和/或结构化的光内窥镜的取向。在一个实施例中，工具和/或结构光内窥镜不包括标记，并且处理器基于工具和/或结构光内窥镜的表面特征确定工具的3D位置和/或结构光内窥镜的3D位置。在其他实施例中，可以使用其他方法和系统来确定工具的3D位置和/或结构光内窥镜的3D位置。例如，可以使用工具检测直接从图像或结构光图像估计工具的3D位置和结构光内窥镜的3D位置。
处理器可以识别例如在腹腔镜手术中使用的工具和/或结构光内窥镜。在一个实施例中，用户例如经由一个或多个输入(例如，键盘和鼠标)识别工具的类型和/或结构光内窥镜的类型。在另一示例中，例如基于从工具接收的数据(例如，识别数据)和/或从结构光内窥镜接收的数据(例如，识别数据)，或由相机生成的图像数据，处理器自动识别在腹腔镜手术中使用的工具和/或结构光内窥镜。
例如，处理器可以匹配由相机生成的图像数据，并且包括工具的表示和/或结构光内窥镜的表示，其中所存储的数据对应于工具和/或内窥镜的不同类型。处理器可以将所生成的图像数据内的工具的特征和/或结构光内窥镜的特征分别与所存储的数据内的工具的特征和/或内窥镜的特征相匹配，以识别正在使用的工具的类型和/或内窥镜的类型。例如，特定内窥镜(例如，结构光内窥镜)可以包括标记的数量和标记的尺寸的唯一组合。处理器可以识别由相机生成的图像数据内的内窥镜上的标记的数量和标记的尺寸(例如，特征)，并且可以基于所识别的特征与内窥镜的多种不同类型(例如，不同的制造商，不同的型号)的比较来识别正在使用的特定结构光内窥镜。例如，存储器可以存储描述内窥镜的多种不同类型的数据，并且描述特定结构光内窥镜的存储数据可以指定特定结构光内窥镜包括特定尺寸的四个标记。
基于所识别的工具的类型和所识别的工具的位置和取向，处理器可以确定3D空间中工具的近端的3D位置。例如，利用工具的已知类型，可以识别工具的长度(例如，从对应于工具的不同类型的存储数据)，并且处理器可以基于所识别的工具的长度和所识别的工具上的标记的3D位置确定3D空间的工具的近端的3D位置。此外，基于所识别的内窥镜的类型和所识别的内窥镜的位置和取向，处理器可以确定3D空间内的内窥镜(例如，结构光内窥镜)的近端的3D位置。
处理器基于所识别的工具的类型识别工具的表示(例如，3D模型)。在一个实施例中，存储器存储用于相应工具的多个3D模型，并且处理器基于所识别的工具的类型从多个存储的3D模型识别工具的3D模型。例如，处理器基于由相机生成的图像数据中识别的特征来识别在腹腔镜手术中使用的工具是特定的套管针。处理器基于工具的识别从用于相应工具的多个存储的3D模型选择用于特定套管针的3D模型。在其他实施例中，处理器基于所确定的工具的3D位置，所确定的工具的取向，所识别的工具的类型，与所识别的工具相关的存储数据，与所识别的工具相关的其他信息，或其任何组合来实时地生成工具的3D模型(例如，工具的特征，例如工具的尺寸和形状)。
在另一实施例中，处理器基于由相机，内窥镜或另一成像装置(例如，从动作102)生成的图像数据来确定工具的形状和尺寸。处理器基于工具的确定形状和确定尺寸生成工具的3D模型。
处理器还可以确定工具相对于内窥镜(例如，结构光内窥镜)的位置。处理器可以基于在相同3D空间内确定的工具的3D位置和结构化光内窥镜的3D位置来确定工具相对于结构光内窥镜的位置。例如，可以从工具的3D位置减去结构光内窥镜的3D位置。基于所确定的工具相对于结构光内窥镜的位置以及在动作104中从其生成3D模型的视点，处理器还可以确定工具相对于对象表面的3D模型的3D位置。
处理器基于所确定的工具相对于对象表面的3D模型的3D位置通过将工具的3D模型与对象表面的3D模型融合来生成第一增强3D模型。在一个实施例中，已经配准了工具的3D模型和对象表面的3D模型。在另一实施例中，工具的3D模型和对象表面的3D模型以许多方式配准，包括例如3D/3D配准。
图3示出了第一增强3D模型300的示例。第一增强3D模型300包括在动作104中识别的对象表面的3D模型302和在动作106中生成的工具的3D模型304。图3中所示的对象表面的3D模型302包括对象表面的纹理表示。图4示出了第一增强3D模型400的另一示例。第一增强3D模型400包括在动作104中识别的对象表面的3D模型402和在动作106中生成的工具的3D模型404。图4中所示的对象表面的3D模型402包括对象表面的无纹理表示。
在动作108中，处理器将虚拟光源引入在动作106中生成的第一增强3D模型中。虚拟光源可以在来自动作102中识别的图像的向上矢量中引入第一增强3D模型中。在一个实施例中，如光学跟踪系统所定义的，虚拟光源在重力上方的位置引入第一增强3D模型。在另一实施例中，将虚拟光源引入第一增强3D模型中，使得虚拟光源与真实光源共同定位。因此虚拟光源以与在动作102中所识别的图像中模糊或不可见的真实阴影类似的配置产生阴影。这具有增强现有微弱阴影的效果。
在动作110中，处理器生成第二增强3D模型。处理器基于引入所生成的第一增强3D模型中的虚拟光源在所生成的第一增强3D模型中生成对象表面上的阴影的表示。第二增强3D模型包括所融合的工具的3D模型和对象表面的3D模型以及所生成的阴影的表示。
图5示出了引入图4中所示的第一增强3D模型400的示例中的虚拟光源500的示例。处理器基于在动作108中引入第一增强3D模型中的虚拟光源500生成阴影502的表示。处理器通过工具的3D模型404估计在第一增强3D模型400内投射在对象表面上的阴影502。
在动作112中，处理器增强所识别的对象表面的图像。处理器从在动作110中生成的第二增强3D模型减去在动作106中生成的第一增强3D模型。在相减之后，保留虚拟阴影的表示。图6示出了在从第二增强3D模型减去第一增强3D模型之后虚拟阴影600的表示的示例。
在一个实施例中，虚拟阴影600的表示的暗度和透明度可经由用户界面(例如，GUI)控制以识别工具的工作区域。随着工具越来越靠近对象表面，由工具形成的阴影变暗。较暗的阴影可能会遮挡对象表面上的信息。因此，处理器可以使阴影的表示变亮，或者可以用阴影的边界来可视化阴影的表示。
增强所识别的对象表面的图像包括将所生成的阴影的表示叠加在动作102中所识别的对象表面和工具的图像上。例如，所生成的阴影的表示可以与动作102中所识别的图像融合。在一个实施例中，虚拟阴影的表示被单独绘制并混合。
在一个实施例中，在动作102中识别的对象表面和工具的图像和虚拟阴影的表示已经配准，原因是动作104中识别的对象表面的3D模型和动作102中所识别的图像来自相同的视点。在另一实施例中，在动作102中识别的对象表面和工具的图像和虚拟阴影的表示以许多方式配准，包括例如2D/2D配准。
图7示出了与对象表面和工具的图像702(例如，在动作102中识别的图像)融合的所生成的虚拟阴影700的表示的示例。将虚拟阴影700引入对象表面和工具的图像702中提供增强现实。通过使用例如结构光腹腔镜，可以实时生成对象表面的3D模型和因此阴影的表示。将阴影的表示实时引入腹腔镜图像和/或视频中使外科手术能够以更少的错误更快且更高效地执行。此外，引入阴影的表示可以使学习腹腔镜手术技术和技能更容易。
图8示出了图像引导系统800的一个实施例。图像引导系统800可以用在上述方法和下述系统中。图像引导系统800可以包括一个或多个成像系统802(例如，内窥镜系统)，一个或多个图像处理系统804(例如，图像处理系统)，以及一个或多个工具806(例如，工具)。可以使用成像装置802和图像处理系统804(例如，成像系统)来获取表示二维(2D)或三维(3D)(例如，体积)区域的数据集。2D数据集或3D数据集可以与医学治疗程序的平移和/或执行同时获得或在更早的时间获得。可以提供附加的，不同的或更少的部件。
在一个实施例中，成像系统802、804例如是内窥镜。成像系统802、804可以用于创建可以在医疗程序(例如，腹腔镜手术)期间使用的患者模型。例如，图像处理系统804是用于患者腹部内的腹腔镜手术的工作站。在其他实施例中，成像系统102、104可以包括例如医疗工作站，磁共振成像(MRI)系统，计算机断层摄影(CT)系统，超声系统，正电子发射断层摄影(PET)系统，血管造影系统，荧光透视，X射线系统，任何其他现在已知或以后开发的成像系统，或其任何组合。工作站804接收表示由成像装置802生成的患者(例如，包括患者的腹部的至少一部分)的图像的数据。
工具806可以由成像系统802、804进行图像引导。工具806可以是许多工具，包括例如套管针，镊子，剪刀，探针，解剖器，钩子，牵开器或其他医疗器械。工具806可以用于例如成像，闭合伤口，进行活检，切割，引流流体或抓取组织。可以对工具806进行图像引导以便于诊断或治疗。工具806的位置，传输或其他操作可以由图像处理系统804或另一控制器控制。图像引导系统800可以包括更多或更少的部件。
图9示出了成像系统900的一个实施例。成像系统900包括内窥镜系统802和图像处理系统804。内窥镜系统802包括一个或多个端口902(例如，两个端口)，内窥镜904，光学跟踪系统906和病床908。图像处理系统804可以包括接收器910，处理器912，存储器914和显示器916。可以提供附加的，不同的或更少的部件。例如，可以提供附加的内窥镜用于成像。另外，可以提供用户输入装置918(例如，键盘和/或鼠标)以供用户控制。
在一个实施例中，处理器912和存储器914是内窥镜系统802的一部分。替代地，处理器912和存储器914是档案和/或图像处理系统的一部分，例如与医疗记录数据库工作站或服务器关联。在另外的其他实施例中，处理器912和存储器914是个人计算机，如台式计算机或膝上型计算机，工作站，服务器，网络或其组合。可以提供处理器912和存储器914而无需用于实现该方法的其他部件。
病床908(例如，患者轮床或台)支撑检查受试者920，例如患者。为了检查和/或操作患者，将内窥镜904插入端口902中的一个中，并且内窥镜904生成用于视场内的患者的一部分的图像数据。内窥镜904可以包括许多部件，包括例如管(例如，刚性或柔性管)，用于照明患者的一部分的光传输系统，透镜系统，目镜，相机或其任何组合。在一个实施例中，内窥镜904是结构光内窥镜，其经由光纤照明患者的一部分，并用相机生成图像数据。内窥镜904生成图像数据并将其传输到接收器910。
将工具806插入端口902中的另一个中。在一个实施例中，将中空套管922插入另一端口902中，并将工具806插入中空套管922中。基于由内窥镜904或另一内窥镜生成的图像在患者内引导工具806。
内窥镜904与接收器910连接。连接是有线的(例如，使用同轴电缆)或无线的。该连接用于来自内窥镜904的图像数据被传输到接收器910并由接收器910接收。接收器910包括处理器912或另一处理器(例如，数字信号处理器，现场可编程门阵列或用于应用逆傅立叶变换的专用电路)，用于基于由内窥镜904生成的图像数据生成图像。接收器910由硬件或软件配置。
处理器912是通用处理器，中央处理单元，控制处理器，图形处理器，数字信号处理器，三维绘制处理器，图像处理器，专用集成电路，现场可编程门阵列，数字电路，模拟电路，其组合，或其他现在已知或以后开发的用于图像处理的装置。处理器912是单个装置或串行，并行或单独操作的多个装置。处理器912可以是计算机的主处理器，例如膝上型计算机或台式计算机，或者可以是用于处理较大系统中的某些任务的处理器，例如作为接收器910或成像系统804的一部分。处理器912由指令，设计，硬件和/或软件配置以执行本文所讨论的动作，例如增强表面的图像。
存储器914是计算机可读存储介质。计算机可读存储介质可以包括各种类型的易失性和非易失性存储介质，包括但不限于随机存取存储器，只读存储器，可编程只读存储器，电可编程只读存储器，电可擦除只读存储器，闪存，磁带或磁盘，光学介质等。存储器914可以是单个装置或装置的组合。存储器914可以与处理器912相邻，是处理器912的一部分，与处理器912联网和/或远离处理器912。
显示器916是监视器，CRT，LCD，等离子屏幕，平板，投影仪或其他现在已知或以后开发的显示装置。显示器916可操作以生成用于二维视图或绘制的三维表示的图像。例如，显示通过绘制表示三维体积的二维图像。
光学跟踪系统906包括一个或多个(例如，两个)相机924，第一标记926(例如，光学标记)和/或第二标记928(例如，光学标记)。例如，两个相机924定位成使得第一标记926和第二标记928在两个相机924的视场内。相机924可以是固定的或可定位的，使得第一标记926和第二标记928在两个相机924的视场内。
第一标记926定位在内窥镜904上，并且第二标记928定位在工具806上。第一标记926和第二标记928可以是许多尺寸和/或形状。例如，第一标记926和第二标记928可以在形状上为球形，并且可以尺寸确定成使得第一标记926和第二标记928在由相机924生成的图像内可见。可以提供其他形状和/或尺寸。在图9所示的实施例中，第一标记926包括四个第一标记926，并且第二标记928包括四个第二标记928。可以提供更多或更少的第一标记926和/或第二标记928。第一标记926和第二标记928可以相对于彼此以许多图案(例如，x形图案)定位和/或可以分别沿着内窥镜904和工具806定位在许多位置。
在一个实施例中，存储器914配置成存储例如患者920的表面(例如，内表面)和工具806的至少一部分的图像。存储器还配置成存储患者920的表面的3D模型。处理器912配置成将工具806的表示叠加在所识别的患者920的表面的3D模型上。例如，处理器912还配置成将虚拟光源引入所叠加的工具806的表示和所识别的患者920的表面的3D模型中。处理器912配置成基于所引入的光源在所叠加的工具806的表示和所识别的患者920的3D模型内生成患者920的表面上的阴影的表示。处理器912配置成将所生成的阴影的表示叠加在所存储的患者920的表面和工具806的至少一部分的图像上。
在一个实施例中，一个或多个内窥镜(例如，内窥镜904)配置成生成表示对象表面的第一数据，并生成表示对象表面的第二数据。处理器912还配置成基于所生成的第一数据生成患者920的表面的3D模型，并且基于所生成的第二数据生成患者920的表面和工具806的至少一部分的图像。
在一个实施例中，光学跟踪系统906配置成确定工具806相对于患者920的表面的3D模型的3D位置。一个或多个相机924定位在远离患者920的距离处。一个或多个相机924配置成生成定位在内窥镜904上的第一标记926和定位在工具806上的第二标记928的图像数据。处理器912还配置成基于正在使用的工具806(例如，工具的类型)从存储在存储器914中的多个预定工具模型识别工具806的3D模型。替代地，处理器912配置成基于存储在存储器914中的患者920的表面和工具806的至少一部分的图像确定工具806的形状和尺寸。处理器912还配置成基于工具806的确定形状和确定尺寸生成工具806的3D模型。
处理器912配置成识别工具806相对于患者920的表面的3D模型的3D位置。识别工具806相对于患者920的表面的3D模型的3D位置包括基于定位在内窥镜904上的第一标记926和定位在工具806上的第二标记928的图像数据以及所识别的工具806的模型估计工具806相对于患者920的表面的3D模型的3D位置。处理器912还配置成基于所识别的工具相对于对象表面的3D模型的3D位置将工具806的表示叠加在所识别的患者920的表面的3D模型上。
尽管上面已参考各种实施例描述了本发明，但是应当理解，可以对所描述的实施例进行许多改变和修改。因此前面的描述旨在被认为是说明性的而不是限制性的，并且应当理解，实施例的所有等同物和/或组合旨在包括在本说明书中。

Claims (20)

1.一种用于增强对象表面的图像的方法，所述方法包括：
由处理器识别所述对象表面的图像，所述对象表面的图像是所述对象表面和工具的至少一部分的图像；
由所述处理器识别所述对象表面的三维(3D)模型；
由所述处理器生成第一增强3D模型，生成所述第一增强3D模型包括将所述工具的表示叠加在所识别的所述对象表面的3D模型上；
由所述处理器将虚拟光源引入所生成的第一增强3D模型中；
由所述处理器生成第二增强3D模型，生成所述第二增强3D模型包括基于引入所生成的第一增强3D模型中的所述虚拟光源，在所生成的第一增强3D模型中生成所述对象表面上的阴影的表示；以及
由所述处理器增强所识别的所述对象表面的图像，增强所识别的所述对象表面的图像包括将所生成的阴影的表示叠加在所识别的所述对象表面和所述工具的图像上。
2.根据权利要求1所述的方法，其中识别所述对象表面的图像包括：
由腹腔镜生成表示所述对象表面的图像数据；以及
由所述处理器基于所生成的图像数据生成所述对象表面的图像。
3.根据权利要求1所述的方法，其中识别所述对象表面的3D模型包括：
由内窥镜生成表示所述对象表面的数据；以及
由所述处理器基于所生成的数据生成所述对象表面的3D模型。
4.根据权利要求3所述的方法，其中所识别的所述对象表面的图像来自视点，并且
其中生成所述对象表面的3D模型包括基于从相同视点生成的数据生成所述对象表面的3D模型。
5.根据权利要求3所述的方法，其中所述内窥镜是结构光内窥镜，
其中生成表示所述对象表面的数据包括：
用所述结构光内窥镜生成所述对象表面的点云；以及
用所述处理器基于所生成的点云生成所述对象表面的网格，以及
其中基于所生成的数据生成所述对象表面的3D模型包括基于所生成的所述对象表面的网格生成所述对象表面的3D模型。
6.根据权利要求5所述的方法，其还包括识别所述工具的位置。
7.根据权利要求6所述的方法，其中识别所述工具的位置包括通过光学跟踪系统识别所述工具相对于所述对象表面的3D模型的3D位置。
8.根据权利要求7所述的方法，其中所述光学跟踪系统包括：
定位在所述工具上的一个或多个标记；
定位在所述结构光内窥镜上的一个或多个标记；以及
定位在远离所述对象一定距离处的一个或多个相机，所述一个或多个相机配置成生成所述工具的一个或多个标记和所述结构光内窥镜的一个或多个标记的图像数据，
其中所述方法还包括由所述处理器识别所述工具的3D模型，并且
其中识别所述工具相对于所述对象表面的3D模型的3D位置包括：基于所述工具的一个或多个标记和所述结构光内窥镜的一个或多个标记的图像数据以及所识别的工具的模型，估计所述工具相对于所述对象表面的3D模型的3D位置。
9.根据权利要求7所述的方法，其中识别所述工具的3D模型包括：
由所述处理器基于正在使用的工具从存储在存储器中的多个预定工具模型识别所述工具的3D模型，所述存储器与所述处理器通信；或者
由所述处理器基于所识别的所述对象表面和所述工具的图像确定所述工具的形状和尺寸，并且由所述处理器基于所述工具的确定形状和确定尺寸生成所述工具的3D模型。
10.根据权利要求1所述的方法，其中将所述虚拟光源引入所生成的第一增强3D模型中包括：在来自识别图像的向上矢量中或在如配置成识别所述工具的位置的光学跟踪系统所定义的重力朝上的位置，将所述虚拟光源引入所生成的第一增强3D模型中。
11.根据权利要求1所述的方法，其还包括由所述处理器从所生成的第二增强3D模型减去所生成的第一增强3D模型，使得保留所述阴影的表示。
12.根据权利要求11所述的方法，其中增强所识别的所述对象表面的图像包括将所述阴影的表示与所识别的所述对象表面的图像混合或融合。
13.一种非暂时性计算机可读存储介质，其存储可由一个或多个处理器执行以增强对象表面的图像的指令，所述指令包括：
由处理器识别所述对象表面的图像，所述对象表面的图像是所述对象表面和工具的至少一部分的图像，所述工具与所述对象表面相邻；
由所述处理器识别所述对象表面的三维(3D)模型；
由所述处理器将所述工具的表示叠加在所识别的所述对象表面的3D模型上；
由所述处理器将虚拟光源引入所叠加的所述工具的表示和所识别的所述对象表面的3D模型中；
由所述处理器基于所引入的光源在所叠加的所述工具的表示和所识别的所述对象表面的3D模型内生成所述对象表面上的阴影的表示；以及
由所述处理器将所生成的阴影的表示叠加在所识别的所述对象表面和所述工具的图像上。
14.根据权利要求13所述的非暂时性计算机可读存储介质，其中所述对象表面是患者身体的内表面。
15.根据权利要求13所述的非暂时性计算机可读存储介质，其中所述指令还包括识别所述工具的位置，识别所述工具的位置包括通过光学跟踪系统识别所述工具相对于所述对象表面的3D模型的3D位置。
16.根据权利要求15所述的非暂时性计算机可读存储介质，其中所述光学跟踪系统包括：
定位在所述工具上的一个或多个标记；
定位在结构光内窥镜上的一个或多个标记；以及
定位在远离所述对象一定距离处的一个或多个相机，所述一个或多个相机配置成生成所述工具的一个或多个标记和所述结构光内窥镜的一个或多个标记的图像数据，
其中所述指令还包括由所述处理器识别所述工具的3D模型，并且
其中识别所述工具相对于所述对象表面的3D模型的3D位置包括：基于所述工具的一个或多个标记和所述结构光内窥镜的一个或多个标记的图像数据以及所识别的工具的模型，估计所述工具相对于所述对象表面的3D模型的3D位置。
17.根据权利要求15所述的非暂时性计算机可读存储介质，其中识别所述工具的3D模型包括：
由所述处理器基于正在使用的工具从存储在存储器中的多个预定工具模型识别所述工具的3D模型，所述存储器与所述处理器通信；或者
由所述处理器基于所识别的所述对象表面和所述工具的图像确定所述工具的形状和尺寸，并且由所述处理器基于所述工具的确定形状和确定尺寸生成所述工具的3D模型。
18.一种用于生成对象表面和工具的至少一部分的增强图像的系统，所述系统包括：
存储器，所述存储器配置成存储：
所述对象表面和所述工具的至少一部分的图像；以及
所述对象表面的三维(3D)模型；以及
与所述存储器通信的处理器，所述处理器配置成：
将所述工具的表示叠加在所识别的所述对象表面的3D模型上；
将虚拟光源引入所叠加的所述工具的表示和所识别的所述对象表面的3D模型中；
基于所引入的光源在所叠加的所述工具的表示和所识别的所述对象表面的3D模型内生成所述对象表面上的阴影的表示；以及
将所生成的阴影的表示叠加在所存储的所述对象表面和所述工具的至少一部分的图像上。
19.根据权利要求18所述的系统，其还包括：
一个或多个内窥镜，其配置成：
生成表示所述对象表面的第一数据；以及
生成表示所述对象表面的第二数据，
其中所述处理器还配置成：
基于所生成的第一数据生成所述对象表面的3D模型；以及
基于所生成的第二数据生成所述对象表面和所述工具的至少一部分的图像。
20.根据权利要求19所述的系统，其还包括光学跟踪系统，所述光学跟踪系统配置成确定所述工具相对于所述对象表面的3D模型的3D位置，所述光学跟踪系统包括：
定位在所述工具上的一个或多个标记；
定位在所述内窥镜上的一个或多个标记；以及
定位在远离所述对象一定距离处的一个或多个相机，所述一个或多个相机配置成生成所述工具的一个或多个标记和所述内窥镜的一个或多个标记的图像数据，
其中所述处理器还配置成：
识别所述工具的3D模型，识别所述工具的3D模型包括：
基于正在使用的工具从存储在所述存储器中的多个预定工具模型识别所述工具的3D模型；或者
基于所存储的所述对象表面和所述工具的至少一部分的图像确定所述工具的形状和尺寸，并且基于所述工具的确定形状和确定尺寸生成所述工具的3D模型；以及
识别所述工具相对于所述对象表面的3D模型的3D位置，识别所述工具相对于所述对象表面的3D模型的3D位置包括：基于所述工具的一个或多个标记和所述内窥镜的一个或多个标记的图像数据以及所识别的工具的模型，估计所述工具相对于所述对象表面的3D模型的3D位置，并且
其中所述处理器配置成基于所识别的所述工具相对于所述对象表面的3D模型的3D位置，将所述工具的表示叠加在所识别的所述对象表面的3D模型上。
CN201880020821.8A 2017-03-24 2018-02-16 用于增强深度感知的虚拟阴影 Active CN110709894B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/468,810 2017-03-24
US15/468,810 US10262453B2 (en) 2017-03-24 2017-03-24 Virtual shadows for enhanced depth perception
PCT/EP2018/053856 WO2018171987A1 (en) 2017-03-24 2018-02-16 Virtual shadows for enhanced depth perception

Publications (2)

Publication Number Publication Date
CN110709894A CN110709894A (zh) 2020-01-17
CN110709894B true CN110709894B (zh) 2023-07-28

Family

ID=61283204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880020821.8A Active CN110709894B (zh) 2017-03-24 2018-02-16 用于增强深度感知的虚拟阴影

Country Status (5)

Country Link
US (1) US10262453B2 (zh)
EP (1) EP3571671A1 (zh)
JP (1) JP6972163B2 (zh)
CN (1) CN110709894B (zh)
WO (1) WO2018171987A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357819A1 (en) * 2017-06-13 2018-12-13 Fotonation Limited Method for generating a set of annotated images
CN114777685A (zh) * 2017-10-06 2022-07-22 先进扫描仪公司 生成一个或多个亮度边缘以形成物体的三维模型
JP7297891B2 (ja) 2018-07-19 2023-06-26 アクティブ サージカル， インコーポレイテッド 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
CN113143459B (zh) * 2020-01-23 2023-07-25 海信视像科技股份有限公司 腹腔镜增强现实手术导航方法、装置及电子设备
EP4135615A4 (en) * 2020-04-17 2024-08-14 Activ Surgical Inc SYSTEMS AND METHODS FOR ENHANCING MEDICAL IMAGES
US20230157526A1 (en) * 2020-04-28 2023-05-25 Hoya Corporation Endoscope system
CN112741689B (zh) * 2020-12-18 2022-03-18 上海卓昕医疗科技有限公司 应用光扫描部件来实现导航的方法及系统
AU2022228570A1 (en) * 2021-03-03 2023-09-07 Boston Scientific Scimed, Inc. Scope modifications to enhance scene depth inference
US11937798B2 (en) 2021-09-29 2024-03-26 Cilag Gmbh International Surgical systems with port devices for instrument control
US20230156174A1 (en) * 2021-11-17 2023-05-18 3Dintegrated Aps Surgical visualization image enhancement
DE102022129663A1 (de) 2022-11-09 2024-05-16 Carl Zeiss Meditec Ag Verfahren zum Einblenden eines Einblendbildes, computerimplementiertes Verfahren zum Optimieren des Einblendens eines Einblendbildes sowie Computerprogramm, Datenverarbeitungseinheit und optisches Beobachtungssystem

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104000655A (zh) * 2013-02-25 2014-08-27 西门子公司 用于腹腔镜外科手术的组合的表面重构和配准
CN105531720A (zh) * 2013-10-02 2016-04-27 基文影像公司 用于体内对象的大小估计的系统和方法
CN106029000A (zh) * 2014-02-21 2016-10-12 阿克伦大学 用于引导医疗干预的成像和显示系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3667393B2 (ja) * 1995-08-04 2005-07-06 株式会社ナムコ ３次元ゲーム装置及び画像合成方法
US6563105B2 (en) 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
JP2002238844A (ja) * 2001-02-16 2002-08-27 Olympus Optical Co Ltd 内視鏡装置
JP4480492B2 (ja) * 2004-07-06 2010-06-16 株式会社キーエンス 拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体
JP2009053748A (ja) * 2007-08-23 2009-03-12 Nikon Corp 画像処理装置、画像処理プログラムおよびカメラ
JP5025496B2 (ja) * 2008-01-09 2012-09-12 キヤノン株式会社 画像処理装置及び画像処理方法
JP2009240621A (ja) * 2008-03-31 2009-10-22 Hoya Corp 内視鏡装置
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
JP5421828B2 (ja) * 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
CN103037751B (zh) * 2010-11-30 2015-06-10 松下电器产业株式会社 图像处理装置
WO2013071437A1 (en) 2011-11-15 2013-05-23 Macdonald Dettwiler & Associates Inc. Method of real-time tracking of moving/flexible surfaces
DE202013012432U1 (de) * 2012-01-31 2016-10-31 Google Inc. System zur Verbesserung der Geschwindigkeit und Wiedergabetreue von Multi-Pose-3D-Renderings
US9949701B2 (en) * 2013-02-14 2018-04-24 Siemens Aktiengesellschaft Registration for tracked medical tools and X-ray systems
JP6323183B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置および画像処理方法
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
WO2016133847A1 (en) * 2015-02-16 2016-08-25 Dimensions And Shapes, Llc Systems and methods for medical visualization
US10198872B2 (en) * 2015-08-10 2019-02-05 The Board Of Trustees Of The Leland Stanford Junior University 3D reconstruction and registration of endoscopic data
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
US20190051039A1 (en) * 2016-02-26 2019-02-14 Sony Corporation Image processing apparatus, image processing method, program, and surgical system
DE112017001315T5 (de) 2016-03-16 2018-11-22 Koninklijke Philips N.V. Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104000655A (zh) * 2013-02-25 2014-08-27 西门子公司 用于腹腔镜外科手术的组合的表面重构和配准
CN105531720A (zh) * 2013-10-02 2016-04-27 基文影像公司 用于体内对象的大小估计的系统和方法
CN106029000A (zh) * 2014-02-21 2016-10-12 阿克伦大学 用于引导医疗干预的成像和显示系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
医学图像三维可视化技术的发展与应用;尹娟;《医疗装备》;20070915(第09期);全文 *
基于增强现实的鼻内镜微创手术导航系统;袁媛等;《系统仿真学报》;20080923;全文 *

Also Published As

Publication number Publication date
WO2018171987A1 (en) 2018-09-27
US10262453B2 (en) 2019-04-16
EP3571671A1 (en) 2019-11-27
JP6972163B2 (ja) 2021-11-24
JP2020512089A (ja) 2020-04-23
CN110709894A (zh) 2020-01-17
US20180276877A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
CN110709894B (zh) 用于增强深度感知的虚拟阴影
JP7505081B2 (ja) 狭い通路における侵襲的手順の内視鏡画像
Bichlmeier et al. The virtual mirror: a new interaction paradigm for augmented reality environments
US9498132B2 (en) Visualization of anatomical data by augmented reality
WO2017222673A1 (en) Projection in endoscopic medical imaging
TW201717837A (zh) 強化實境之外科導航
Navab et al. Laparoscopic virtual mirror new interaction paradigm for monitor based augmented reality
KR20130108320A (ko) 관련 애플리케이션들에 대한 일치화된 피하 해부구조 참조의 시각화
JP2011212301A (ja) 投影画像生成装置および方法、並びにプログラム
JP6116754B2 (ja) 低侵襲手術において画像データを立体視表示するための装置およびその装置の作動方法
JP5961504B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
Wen et al. Projection-based visual guidance for robot-aided RF needle insertion
JP5934070B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
Fan et al. Three-dimensional image-guided techniques for minimally invasive surgery
Zhang et al. 3D augmented reality based orthopaedic interventions
Vogt Real-Time Augmented Reality for Image-Guided Interventions
US20220022964A1 (en) System for displaying an augmented reality and method for generating an augmented reality
Kumar et al. Stereoscopic augmented reality for single camera endoscope using optical tracker: a study on phantom
Condino et al. Single feature constrained manual registration method for Augmented Reality applications in gynecological laparoscopic interventions
CN110313991B (zh) 静态虚拟相机定位
Kersten-Oertel et al. 20 Augmented Reality for Image-Guided Surgery
US10376335B2 (en) Method and apparatus to provide updated patient images during robotic surgery
KR101529659B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
De Paolis et al. Augmented Visualization of the Patient's Organs through a SlidingWindow.
Navab et al. Laparoscopic Virtual Mirror

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240830

Address after: German Phu F Haim

Patentee after: Siemens Medical AG

Country or region after: Germany

Address before: Erlangen

Patentee before: Siemens Healthineers AG

Country or region before: Germany