CN108140242A - 视频摄像机与医学成像的配准 - Google Patents

视频摄像机与医学成像的配准 Download PDF

Info

Publication number
CN108140242A
CN108140242A CN201680054448.9A CN201680054448A CN108140242A CN 108140242 A CN108140242 A CN 108140242A CN 201680054448 A CN201680054448 A CN 201680054448A CN 108140242 A CN108140242 A CN 108140242A
Authority
CN
China
Prior art keywords
registration
patient
notable feature
video camera
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680054448.9A
Other languages
English (en)
Inventor
阿利·卡门
斯特凡·克卢克纳
托马斯·法伊弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Corp
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN108140242A publication Critical patent/CN108140242A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Robotics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

术中摄像机数据与医学扫描数据被配准。相同的显著特征位于来自摄像机数据的模型和医学扫描数据两者中。特征是专门标记的，而不仅仅由数据表示。使用显著特征执行至少初始刚性配准。使医学扫描数据和摄像机的坐标系对准，而无需用于术中摄像机的外部位置传感器。

Description

视频摄像机与医学成像的配准
背景技术
本实施方式涉及医学成像。具体地，摄像机图像与医学扫描数据被配准。
将视频配准(registration)到层析图像容积(volume)是积极研究的领域。由于与像呼吸或手术操纵的现象一起发生的术中器官移动，将内窥镜或腹腔镜视频数据配准到3D图像容积是具有挑战性的任务。由于移动，可能难以实现视频中的特征与图像容积中的特征之间的对应。
在软组织干预领域，由于在手术过程中发生的组织变形，刚性和非刚性变换分量两者的存在使配准变得复杂。典型策略是将术中摄像机附接至无论是光学的还是电磁的外部追踪系统，以便建立摄像机相对于患者的绝对姿势。该基于追踪器的方法帮助在视频与图像容积之间建立初始的刚性配准，但是会给临床工作流程和相关成本引入额外硬件要求的负担。
其他策略仅依靠于摄像机信息以便执行配准。通过将来自摄像机的2D或2.5D图像或视频的序列拼接(stitch)在一起来创建感兴趣的器官的患者特定3D模型。然后，可以将该术中重建模型与术前或术中容积数据融合，以向临床医师提供额外的指导。由于缺乏对问题的约束以及3D模型和容积数据的非常不同的性质，配准在实践中计算具有挑战性。
发明内容
作为介绍，下面描述的优选实施方式包括用于术中摄像机数据与医学扫描数据的配准的方法、系统、指令和计算机可读介质。相同的显著特征位于来自摄像机数据的模型和医学扫描数据两者中。特征是专门标记的，而不仅仅由数据表示。使用显著特征执行至少初始刚性配准。使医学扫描数据和摄像机的坐标系对准，而无需用于术中摄像机的外部位置传感器。
在第一方面中，提供了一种用于视频摄像机与术前容积的配准的方法。将标记有第一显著特征的图集适配至患者的术前容积。从具有视频摄像机并且被插入患者内的内窥镜或腹腔镜获取深度测量结果。使用视频摄像机对患者内的医学仪器进行成像。由相对于第二显著特征定位的医学仪器接收第二显著特征的指示。创建使用第二显著特征标记的深度测量结果的三维分布。使用三维分布的第二显著特征和术前容积的第一显著特征来将三维分布与术前容积进行配准。根据术前容积和来自视频摄像机的捕获来生成患者的图像。图像基于术前容积与三维分布的配准。
在第二方面中，一种非暂态计算机可读存储介质，其中存储有表示能够由编程处理器执行以用于与医学扫描数据配准的指令的数据。存储介质包括用于以下项的指令：识别表示患者的医学扫描数据中的显著特征，医学扫描数据来自医学扫描仪；从术中摄像机以及工具在患者内的定位来识别视频图像中的显著特征；以及使用所识别的显著特征将来自医学扫描仪的医学扫描数据的坐标系与术中摄像机进行配准。
在第三方面中，提供了一种用于配准的系统。术中摄像机能够操作以从患者内捕获图像。微创手术工具能够操作以插入患者内。存储器被配置成存储表示患者的标记的解剖结构的数据，所述数据来自医学成像器。处理器被配置成：使用在图像中表示的手术工具来定位解剖位置，并且使用标记的解剖结构和解剖位置来将图像与数据进行配准。
本发明由以下权利要求限定，并且该部分中的任何内容均不应视为对这些权利要求的限制。下面结合优选实施方式来讨论本发明的另外的方面和优点，并且稍后可以独立地或组合地要求保护本发明的另外的方面和优点。
附图说明
部件和附图不一定是按比例的，而是将重点放在说明本发明的原理上。此外，在附图中，贯穿不同的视图，相同的附图标记指示相应的部分。
图1是用于将视频摄像机与术前容积进行配准的方法的一个实施方式的流程图；
图2示出了用于将术中信息与扫描数据进行配准的方法的示例；以及
图3是用于配准的系统的一个实施方式。
具体实施方式
使用显著特征将3D内窥镜或腹腔镜视频配准到术前或其他医学成像。为了配准，使用呈解剖学显著特征形式的附加或可替选的对应关系。器官特征的统计图集被映射到特定患者的术前图像或扫描数据，以便通过在内窥镜视频中追踪手术仪器来便于将该数据配准到术中数字化的器官特征。加权配准与两个数据集(例如，术中和术前)中的显著特征相匹配。
在一个实施方式中，在术中内窥镜视频中追踪手术工具的尖端。通过相对于显著特征放置工具，使用视频坐标系中的追踪和工具来将与术前成像中的一组已知特征相对应的器官上或患者中的一组显著特征数字化。可能不需要外部光学追踪系统来追踪手术仪器。
图1示出了用于将视频摄像机与医学扫描容积进行配准的方法的一个实施方式的流程图。例如，将内窥镜或腹腔镜视频图像与术前或术中3D图像容积进行配准。通过建立每种形态中识别的显著特征之间的对应关系来指导配准。
图2示出了方法的另一实施方式。使用具有2.5D深度数据的2D腹腔镜或内窥镜图像的序列和3D层析图像容积。通过与包括特征标记的图集适配(fit)来对术前图像进行处理。通过与术中视频的相互作用，根据2.5D深度数据为3D模型提供特征标记。对来自图像容积和3D模型的特征进行刚性配准，从而提供至少最初使两个图像数据集彼此对准(align)的变换。
由图3的系统或另一系统来实现方法。例如，在与以下项或以下项的一部分相关联的计算机或处理器上实现方法中的一个的一些动作：计算机断层摄影(CT)、磁共振(MR)、正电子发射断层摄影(PET)、超声、单光子发射计算机断层摄影(SPECT)、X射线、血管造影或荧光透视(fluoroscopy)成像系统。作为另一示例，方法在图片归档和通信系统(PACS)工作站上实现或者由服务器实现。其他动作使用与其他装置(例如摄像机和/或手术工具)的相互作用，以用于自动或半自动特征标记和/或配准。
以所示顺序或其他顺序来执行动作。例如，动作12在动作16之前、同时或之后执行。可以交错或在彼此之前或之后执行用于实现动作12的动作14和用于实现动作16的动作18至24中的任何动作。在一个实施方式中，例如在摄像机捕获的图像被用于确定深度的情况下，同时执行动作18和20，但是可以以任何顺序执行。
可以提供另外的、不同的或较少的动作。例如，使用动作12、16和/或26但是利用不同的子动作(例如，14和18至24)来执行方法，以识别扫描数据和/或摄像机图像和/或子动作(28至30)中的特征从而进行配准。作为另一示例，不提供动作32，而是替代地，配准用于控制或提供其他反馈。
在动作12中，在扫描数据中识别特征。可以使用任何类型的扫描数据。医学扫描仪例如CT、X射线、MR、超声、PET、SPECT、荧光透视、血管造影或其他扫描仪提供表示患者的扫描数据。扫描数据由医学扫描仪输出以用于处理，以及/或者从存储先前获取的扫描的存储器加载。
扫描数据是术前数据。例如，扫描数据通过在手术开始之前例如数分钟、数小时或数天之前扫描患者来获取。可替选地，扫描数据来自术中扫描，例如在发生微创手术时扫描。
扫描数据或医学成像数据是表示患者的数据帧。数据可以采用任何格式。当使用术语“图像”时，图像可以呈在图像的实际显示之前的格式。例如，医学图像可以是表示与显示格式相同或不同的笛卡尔坐标或极坐标格式中的不同位置的多个标量值。作为另一示例，医学图像可以是要输出到显示器以用于以显示格式生成图像的多个红色、绿色、蓝色(例如，RGB)值。医学图像可以是当前或先前以显示格式或其他格式显示的图像。
扫描数据表示患者的容积。患者容积包括患者的全部或部分。容积和相应的扫描数据表示三维区域，而不仅仅是点、线或平面。例如，以笛卡尔格式在三维网格(例如，N×M×R网格，其中N、M和R是大于1的整数)上重建扫描数据。可以使用容积的体素或其他表示。扫描数据或标量表示解剖结构(anatomy)或生物活性，解剖和/或功能数据也是如此。
容积包括一个或更多个特征。扫描数据表示显著特征，但是未标记显著特征。特征是显著特征，例如能够与其他解剖结构区分的解剖特征。在肝脏示例中，特征可以是韧带和/或脊。特征可以是点、线、曲线、表面或其他形状。不是与分割相关联的整个器官表面，而是表面或其他特征更加局部化，例如小于整个表面的25％的块。可以使用更大的特征，例如整个器官表面。可替选地或另外地，特征是功能特征，例如增加的生物活性的位置。
在医学扫描数据中识别特征。不是仅仅表示特征，而是同样地确定并标记特征的位置。在一个实施方式中，一个或更多个分类器识别特征。例如，由处理器应用的机器学习分类器识别特征的(一个或多个)位置。
在另一实施方式中，在动作14中使用图集。为了使显著特征向患者特定扫描数据的分配自动化，使用图集。图集包括具有用于特征的标记的特征。图集表示感兴趣的(一个或多个)器官。例如，通过对来自表示正在经历干预的人群的许多患者的大量图像或容积的集合中的显著特征进行注释来构建统计图集。图集是这些数据的例如使用机器和/或深度学习算法的分析结果。
将图集与扫描数据进行配准，使得通用图集的标记的特征被变换至患者。通过将标记的图集变换至扫描数据来定位特征在扫描数据中的位置。图2表示了这一点，其中(a)示出了要与同一解剖结构的术前扫描(b)配准的特征的图集。在配准之后，来自图集的标记被提供(c)给扫描数据的体素。尽管随着时间的推移，可以将图集扩展为具有额外的患者图像，并且针对同一患者再次执行适配，但是只需要执行一次该配准以识别扫描数据中的特征。
可以使用统计图集或其他模型对医学扫描数据的任何适配。虽然适配是非刚性的或仿射的，但是在其他实施方式中可以是刚性的。处理器将图集配准至该患者的术前图像或其他容积。可以使用任何现在已知或以后开发的配准。例如，利用微分同胚(diffeomorphism)流来执行3D-3D配准。一旦图集被配准，如图2c所示，术前图像容积中的患者特定显著特征位置就变得已知。
再次参照图1，处理器从术中摄像机和工具在患者内的定位来识别视频图像中的特征。手术仪器的姿势在术中在视频数据中被追踪，并且用于将显著特征数字化。术中数据包括来自微创摄像机系统(例如内窥镜或腹腔镜)的视频流或捕获的图像。由摄像机捕获的图像和/或来自单独传感器的深度数据可以用于重建场景的3D表面。患者的3D表面或模型使得能够在该场景中追踪手术仪器，而无需外部追踪系统。
动作18至24表示用于识别摄像机的坐标系中的特征的一个实施方式。可以使用另外的、不同的或较少的动作。例如，手术工具的成像使用摄像机或捕获的图像来重建模型，而不单独获取深度测量结果。在另一示例中，确定3D表面并且分类器识别3D表面中的特征。
在动作18中，获取深度测量结果。从内窥镜或腹腔镜获取深度测量结果。术中摄像机用于例如根据结构化光(structured light)(例如，网格图案中的光)的透射使用表面上的立体视觉或成像失真来获取深度测量结果。使用摄像机投影仪系统或立体摄像机系统捕获术中内窥镜或腹腔镜图像。在其他实施方式中，通过单独的飞行时间(例如，超声)、激光器或位于具有摄像机的术中探头上的其他传感器来执行深度测量。
在摄像机和/或传感器插入患者内的情况下，执行用于测量特征、器官、解剖结构或其他仪器的相对位置的深度测量。当术中视频序列被获取或者作为获取视频序列的一部分时，获取深度测量结果。测量来自摄像机的各个点(例如，像素或多个像素区域)的深度，从而产生2D视觉信息和2.5D深度信息。测量用于给定图像捕获的点云。通过在患者和/或摄像机移动时重复捕获，提供深度测量结果流。2.5D流提供关于物体表面和/或其他物体的几何信息。
在动作20中，创建深度测量结果的三维分布。确定由深度测量结果定义的点的相对位置。随着时间的推移，根据深度测量结果来创建患者内部的模型。在一个实施方式中，视频流或图像和用于图像的相应的深度测量结果用于创建3D表面模型。处理器使用根据运动或同时定位和映射的结构来拼接测量结果。这些过程处理噪声和/或不精确性，以根据视频和深度测量结果来估计患者在3D中的表示。可以使用其他处理。
来自摄像机的模型或容积数据可以表示特征，但未被标记。可以通过将一个或更多个分类器应用于数据来标记特征。可替选地或另外地，执行动作22和24以用于交互式标记。
在动作22中，使用视频摄像机对医学仪器进行成像。医学仪器是用于在患者内使用的手术工具或其他工具。医学仪器用于外科使用，例如手术刀、消融电极、剪刀、针、缝合装置或其他工具。可替选地，医学仪器用于引导专门用于动作24中的其他仪器、导管、探头或指针(pointer)或者用于其他用途。
仪器的一部分例如尖端被定位在患者内，以对摄像机可见或由摄像机捕获在图像中。处理器随时间在视频或图像中追踪医学仪器，并且因此相对于根据深度测量结果和/或图像创建的3D模型追踪医学仪器。例如，在视频中并且关于深度测量结果来追踪医学仪器的尖端。
追踪确定仪器的尖端或其他部分的在三维中的(一个或多个)位置。在一个实施方式中，分类器确定表示尖端的图像中的(一个或多个)像素，并且用于该(一个或多个)像素的深度测量结果指示在三维中的位置。当仪器移动时，重复确定尖端在三维中的位置，或者在触发时间处确定位置。
在一个实施方式中，医学仪器在来自摄像机的一个或更多个图像中(例如，在来自内窥镜或腹腔镜的视频图像中)被分割。分割将仪器与图像中的背景分开。在其他实施方式中，分割使用来自深度测量结果的包括来自仪器的点的3D模型。仪器特定的仪器模型或深度图案用于在深度测量结果中分割仪器。
可以使用任何分割，例如适配图像或模型中的仪器的统计或其他模型，或者例如检测仪器上的区别性颜色和/或形状图案。可以使用强度等级或颜色阈值。选择阈值水平，以隔离例如与更大的X射线吸收相关联的仪器。可以执行连通分量分析或低通滤波。根据阈值处理之后剩余像素定位最大连通区域。确定与全部彼此连接的像素组相关联的区域。最大区域是仪器。可以使用其他处理，例如识别形状或方向过滤。在一个实施方式中，应用机器训练的检测器来检测并分割仪器。机器训练可以用于训练检测器以处理可能的情况，例如在给定应用中的仪器检测中训练检测器。可以使用任何机器学习，例如神经网络、贝叶斯分类器或概率推进树(probabilistic boosting tree)。可以使用级联和/或体系布置。可以提供任何区别性的输入特征，例如哈尔(Haar)小波或可操纵的特征。
分割导致仪器的位置(例如仪器的尖端)相对于摄像机的坐标系是已知的。仪器被跟踪。图2在(d)处示出了定位在摄像机的视场中的工具。可以确定例如与擦拭(例如，摩擦或来回移动)或其他运动模式相关的运动或位置变化。
通过将工具相对于患者中的特征放置成与其邻近、在其上或在其他位置，确定特征在3D模型或摄像机坐标系中的位置。在特征数字化期间手动或使用机器人辅助来处理手术仪器以指示特征。
在动作24中，接收特征的指示。当医学仪器被移动或被放置以指出不同的特征时，可以接收不同特征的指示。处理器基于医学仪器的部分的追踪的位置来接收指示。例如，尖端被定位成抵靠特征并且施加擦拭或其他运动模式。检测指示所擦拭的表面是特征的位置和仪器的运动。可替选地，仪器被定位成在特征上或抵靠特征而不在特征处移动。
用户基于用于识别特定特征的用户界面请求或者通过在指示位置之后从菜单中选择用于特征的标记来指示特征。在一种方法中，用户将仪器相对于特征放置，并且然后激活特征分配，例如从下拉列表中选择特征并且确认仪器的尖端或一部分的位置相对于特征在其上、与其邻近或者以其他方式而定位。基于用户输入(选择或工具运动)来确定相对于3D模型的特征位置。
利用在视频坐标系中追踪仪器尖端在3D空间中的位置的能力，工具用于将解剖显著特征定位为点或独特的表面块。仪器可以用于限定特征的空间范围，例如使用仪器追踪表面块、使用仪器绘制线或曲线特征或者使用仪器指定点。可替选地，仪器用于显示特征的一般位置，而特征模型(例如，用于特征的统计形状模型)被适配至3D模型以用于更精确的位置确定。
定位在3D模型或摄像机坐标系中的解剖特征对应于在统计图集中注释的或者以其他方式在扫描数据中识别的特征的集合。在替选实施方式中，定位在扫描数据中的一个或更多个特征没有定位于3D模型中，或者反之亦然。
为了帮助使用仪器指定特征，由处理器注释任何先前分配或已经完成的特征位置。注释可以是文本、颜色、纹理或其他指示。注释可以在导航期间辅助用于精确配准，以及/或者可以将具有封闭或复杂结构的具有挑战性的场景处理为特征。可替选地，注释不会显示给用户。
在动作26中，处理器使用所识别的特征对来自医学扫描仪的医学扫描数据的坐标系与术中摄像机进行配准。显著特征用于配准。不是使用患者外部的追踪传感器，而是使用特征来对准坐标系或将一个坐标系变换为另一个坐标系。在替选实施方式中，还使用外部追踪传感器。
每个图像形态中的显著解剖特征之间的对应关系指导配准过程。例如，使用三维分布的显著特征和术前容积的显著特征对来自摄像机的三维分布与术前容积进行配准。使用显著特征对从术中视频数据重建的3D点云与术前图像容积进行配准。两组数据中的特征对应关系用于计算视频与医学成像之间的配准。
可以使用任何配准，例如刚性或非刚性配准。在一个实施方式中，在动作28中使用刚性的、基于表面的配准。由于特征是表面块，因此发现旋转、平移和/或缩放，其导致来自扫描数据和3D模型的特征的集合之间的最大相似度。测试一组特征相对于另一组特征的不同旋转、平移和/或缩放，并且确定用于每个变化的相似度的量。可以使用任何相似度测量。例如，计算相关量。作为另一示例，计算绝对差值的最小和。
在另一实施方式中，处理器利用加权表面匹配方案来对医学扫描数据中的显著特征与来自视频图像的三维模型中的显著特征进行刚性配准。可以替代地使用或者也可以使用点、线或其他特征形状。对相似度的级别或比较进行加权。例如，数据的某些方面相对于其他方面或多或少地被加权。由于一个或更多个位置或特征可能被认为是更可靠的指标匹配，因此与其他位置相比，对相似度的差异、数据或其他方面进行更多地加权。在基于显著性的全局匹配中，识别更多显著的特征。对更显著的特征的位置进行更多地加权。
用于基于表面的刚性配准的一种方法是常见的迭代最近点(ICP)配准。可以使用ICP的任何变体。不同的变体使用不同的加权标准。显著特征用作加权因子以迫使配准朝向有助于特征而非可能已经经历了体积变形的整个器官表面的对准的解决方案。作为并非识别特征的在数据中表示的表面可以仍然用于配准，或者也可以不用。除ICP之外的其他方法可以用于匹配表面或强度分布。
图2示出了配准的示例。使用(f)的加权配准中的(e)的工具将来自适配至(c)的扫描数据的图集的患者特定的特征与根据交互性特征选择的视频坐标系中的特征进行配准。
可以逐步处理配准。可以使用单个表面、单个曲线、双线或三点来进行刚性配准。由于视频摄像机坐标系中的特征使用仪器与每个特征的相互作用，因此一旦最少数目的特征被定位就可以执行配准。当附加特征被定位时，再次执行或重复执行动作22的成像、动作24的指示的接收以及动作26的配准。重复继续，直到识别出所有特征为止以及/或者直到满足足够的配准的度量或测量。可以使用任何度量，例如跨特征(例如，跨地标或注释位置)的最大允许偏差。可替选地，在执行配准之前仅识别一次所有特征。
刚性配准用于成像或其他目的。在另一实施方式中，执行另外的配准。动作28的刚性配准是初始配准，接着是动作30的非刚性配准。非刚性配准将来自刚性配准的剩余距离(residual distance)用作部分边界条件。由于剩余距离被最小化，因此被限制得不会更大。非刚性对准改善了初始刚性对准。
可以使用任何非刚性配准。例如，残差本身就是非刚性变换。作为另一示例，代价函数(cost function)例如弹性或基于弹簧的功能用于限制位置和/或相对于其他位置的相对位移。
在动作32中，根据扫描数据和来自视频摄像机的图像捕获来生成患者的图像。根据深度测量结果的3D模型可以在图像中表示或者不在图像中表示。图像包括来自两个坐标系的信息，但是使用由配准产生的变换来将信息放置在公共坐标系中或者来与坐标系关联。例如，根据术前或其他扫描数据来执行三维呈现。作为在呈现之后的叠加或在呈现之前的数据的组合，如由视频检测到的仪器的模型被添加至图像。不是仪器模型，而是来自视频摄像机的图像捕获在呈现中用作纹理。另一可能性包括将来自视频的颜色添加至来自扫描数据的呈现。
在一个实施方式中，在术前容积的呈现中提供医学仪器的视觉轨迹。通过使用在线3D拼接过程，手术仪器的姿势被投影到共同的坐标系中，并且因此可以用于与术前数据一起生成视觉轨迹。
在其他方法中，图像可以包括来自不同坐标系的信息的相邻但分离的视觉表示。配准用于姿势，以及/或者关联相邻表示之间的空间位置、旋转和/或缩放。例如，扫描数据从视图方向被呈现为图像。同样从相同的视角来呈现但不叠加视频、仪器和/或3D模型。
显示图像。图像被显示在医学扫描仪的显示器上。可替选地，图像被显示在工作站、计算机或其他装置上。图像可以被存储在PACS存储器中并且从PACS存储器召回。
图3示出了用于配准的系统的一个实施方式。系统对用于医学成像器48的坐标系与用于具有摄像机40的内窥镜或腹腔镜的坐标系进行配准。来自医学成像器48的数据与来自摄像机40的图像或信息被配准。
系统实现图1的方法。可替选地或另外地，系统实现图2的方法。可以实现其他方法或动作。
系统包括摄像机40、深度传感器42、手术工具44、医学成像器48、存储器52、处理器50和显示器54。可以提供另外的、不同的或较少的部件。例如，在摄像机捕获深度信息的情况下不提供单独的深度传感器42。作为另一示例，在内窥镜或腹腔镜上设置光源如结构化光源。在另一示例中，提供网络或网络连接，例如以用于与医学成像网络或数据档案系统联网。在另一示例中，设置用户界面以用于与处理器、术中摄像机40和/或手术工具44相互作用。
处理器50、存储器52和/或显示器54是医学成像器48的一部分。可替选地，处理器50、存储器52和/或显示器54是例如与医学记录数据库工作站或服务器相关联的档案和/或图像处理系统的一部分。在其他实施方式中，处理器50、存储器52和显示器54是个人计算机，例如台式机或膝上型计算机、工作站、服务器、网络或其组合。可以在没有用于通过扫描患者来获取数据的其他部件的情况下设置处理器50、显示器54和存储器52(例如，没有医学成像器48)。
医学成像器48是医学诊断成像系统。可以使用超声、CT、X射线、荧光透视、PET、SPECT和/或MR系统。医学成像器48可以包括发送器并且包括用于扫描或接收表示患者内部的数据的检测器。
术中摄像机40是视频摄像机，例如电荷耦合装置。摄像机40从患者内捕获图像。摄像机40位于内窥镜、腹腔镜、导管或用于插入身体内的其他装置上。在替选实施方式中，摄像机40被定位在患者外部并且透镜和光导位于患者内以用于传送至摄像机。还设置光源以用于针对图像捕获进行照亮。
传感器42是飞行时间传感器。在一个实施方式中，传感器42与摄像机40分离，例如是用于检测相对于透镜或摄像机40的深度的超声或其它传感器。传感器42被定位成邻近摄像机40，例如抵靠摄像机40，但是可以处于其他已知的相对位置。在其他实施方式中，传感器42是摄像机40的一部分。摄像机40是飞行时间摄像机，例如使用转向激光或结构化光的LIDAR装置。传感器42在微创手术期间被定位在患者内。
微创手术工具44是在微创手术期间使用的任何装置，例如剪刀、夹具、解剖刀、消融电极、光、针、缝合装置和/或烧灼器。手术工具44是薄且长的，以通过孔插入到患者内。机器人或控制线在插入时控制弯曲、接头和/或操作。控制可以是手动的、半自动的或自动的。
存储器52是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、高速缓冲存储器、硬盘驱动器、光学介质、磁介质、快闪驱动器、缓冲器、数据库及其组合或其它现在已知或以后开发的用于存储表示解剖结构、图集、特征、图像、视频、3D模型、深度测量结果和/或其他信息的数据的存储器装置。存储器52是医学成像器48的一部分、与处理器50相关联的计算机的一部分、数据库的一部分、另一系统的一部分、图片档案存储器或独立式装置。
存储器52存储表示患者的标记的解剖结构的数据。例如，存储来自医学成像器48的数据。数据呈扫描格式或者被重建为容积或三维网格格式。在任何特征检测和/或将具有标记特征的图集适配到数据之后，存储器52存储具有被标记为属于一个或更多个特征的体素或位置的数据。数据中的一些被标记为表示解剖结构的特定部分。
存储器52可以存储在配准中使用的其他信息。例如，存储视频、深度测量结果、来自视频摄像机40的3D模型、手术工具模型和/或分割的手术工具信息。处理器50可以在执行图1或图2的方法期间使用存储器来临时存储信息。
存储器52或其他存储器可替选地或另外地是非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储表示能够由编程处理器50执行以用于识别显著特征和/或配准的指令的数据。在非暂态计算机可读存储介质或存储器(例如缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其他计算机可读存储介质)上提供用于实现本文中讨论的处理、方法和/或技术的指令。非暂态计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或计算机可读存储介质上的一组或更多组指令来执行在附图中示出或者在本文中描述的功能、动作或任务。功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由单独或组合操作的软件、硬件、集成电路、固件、微代码等来执行。类似地，处理策略可以包括多处理、多任务处理、并行处理等。
在一个实施方式中，指令被存储在可移动介质装置上，以用于由本地或远程系统读取。在其他实施方式中，指令被存储在远程位置，以用于通过计算机网络或通过电话线传送。然而在其他实施方式中，指令被存储在给定的计算机、CPU、GPU或系统内。
处理器50是通用处理器、中央处理单元、控制处理器、图形处理器、数字信号处理器、三维呈现处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路及其组合或者其他现在已知或以后开发的用于识别显著特征和/或配准特征以变换坐标系的装置。处理器50是串行、并行或分开操作的单个装置或多个装置。处理器50可以是计算机例如膝上型或台式计算机的主处理器，或者可以是用于处理较大系统如医学成像器48中的一些任务的处理器。处理器50由指令、固件、设计、硬件和/或软件配置来执行本文中讨论的动作。
处理器50被配置成将解剖位置定位在来自医学成像器48的数据中。在医学成像器48提供显著特征的情况下，处理器50通过加载如被标记的数据来定位。可替选地，处理器50将标记的图集适配至来自医学成像器48的数据，或者应用检测器来定位用于给定患者的特征。
处理器50被配置成使用图像中表示的手术工具44来定位解剖位置。例如利用传感器42以及/或者根据来自摄像机40的图像使用飞行时间来创建3D点云而生成患者内部的3D模型。用于图像的深度测量结果用于生成在摄像机40的坐标系中的3D模型。
处理器50使用手术工具44相对于3D模型定位解剖位置。在图像和/或点云中检测手术工具44。通过隔离手术工具44的一部分相对于患者中的解剖结构的位置，处理器50将3D模型中的位置标记为属于给定的特征。手术工具44被放置成指示给定的显著特征的位置。处理器50使用工具分割来查找在3D模型中表示的解剖特征的位置。
处理器50被配置成使用标记的解剖结构和解剖位置将图像与数据配准。计算将摄像机40和医学成像器48的坐标系对准的变换。使用ICP、相关性、绝对差的最小和或用于配准的解决方案或相似性的其他测量来查找使两个坐标系中的显著特征对准的平移、旋转和/或缩放。可以使用刚性、非刚性或刚性和非刚性配准。
显示器54是监视器、LCD、投影仪、等离子显示器、CRT、打印机或者其他现在已知或以后开发的用于输出视觉信息的装置。显示器54从处理器50、存储器52或医学成像器48接收图像、图形、文本、数量或其他信息。
显示一个或更多个医学图像。图像使用配准，例如来自医学成像器的数据与重叠或包括在呈现中的如由摄像机40检测到的手术工具44的模型的呈现。
尽管以上通过参考各种实施方式描述了本发明，但是应当理解的是，在不脱离本发明的范围的情况下可以做出许多变化和修改。因此，意在的是，先前详细描述被认为是说明性的而不是限制性的，并且应当理解的是，意在限定本发明的精神和范围的是所附权利要求，包括所有等同物。

Claims (20)

1.一种用于视频摄像机与术前容积的配准的方法，所述方法包括：
将标记有第一显著特征的图集适配至患者的所述术前容积；
从具有所述视频摄像机并且被插入患者内的内窥镜或腹腔镜获取深度测量结果；
使用所述视频摄像机对所述患者内的医学仪器进行成像；
由相对于第二显著特征定位的医学仪器接收所述第二显著特征的指示；
创建标记有所述第二显著特征的深度测量结果的三维分布；
使用所述三维分布的第二显著特征和所述术前容积的第一显著特征来将所述三维分布与所述术前容积进行配准；以及
根据所述术前容积和来自所述视频摄像机的捕获来生成所述患者的图像，所述图像基于所述术前容积与所述三维分布的配准。
2.根据权利要求1所述的方法，其中，适配包括由处理器将作为统计图集的所述图集与所述术前容积进行非刚性地适配。
3.根据权利要求1所述的方法，其中，获取所述深度测量结果包括使用飞行时间传感器来获取。
4.根据权利要求1所述的方法，其中，获取所述深度测量结果包括使用所述视频摄像机在立体视图中或者从结构化光的投影来获取。
5.根据权利要求1所述的方法，其中，对所述医学仪器进行成像包括在来自所述视频摄像机的视频中并且关于所述深度测量结果来追踪所述医学仪器的尖端。
6.根据权利要求1所述的方法，其中，接收所述指示包括：当所述医学仪器的尖端被定位成抵靠所述第二显著特征时，接收用户输入。
7.根据权利要求1所述的方法，其中，接收指示包括接收点、表面块或者点和表面块的指示。
8.根据权利要求1所述的方法，其中，创建包括：利用根据运动或同时定位和映射的结构来将来自所述视频摄像机的视频流拼接至所述三维分布中。
9.根据权利要求1所述的方法，其中，所述第一显著特征和所述第二显著特征包括表面，并且其中，配准包括刚性的、基于表面的配准。
10.根据权利要求9所述的方法，其中，所述刚性的、基于表面的配准包括常见的迭代最近点配准。
11.根据权利要求1所述的方法，还包括：
在所述配准之后执行非刚性配准，所述非刚性配准将来自所述配准的剩余距离用作部分边界条件。
12.根据权利要求1所述的方法，其中，生成所述图像包括：生成所述图像作为包括基于所述配准定位的所述医学仪器的模型的所述术前容积的三维呈现。
13.根据权利要求1所述的方法，其中，生成所述图像包括生成在所述术前容积的呈现中的所述医学仪器的视觉轨迹。
14.根据权利要求1所述的方法，还包括：使用附加的第二显著特征重复所述成像、接收和配准，直到满足所述配准中的度量为止。
15.一种非暂态计算机可读存储介质，其中存储有表示能够由编程处理器执行以用于与医学扫描数据配准的指令的数据，所述存储介质包括用于以下项的指令：
识别表示患者的所述医学扫描数据中的显著特征，所述医学扫描数据来自医学扫描仪；
从术中摄像机以及工具在所述患者内的定位来识别视频图像中的显著特征；以及
使用所识别的显著特征将来自所述医学扫描仪的医学扫描数据的坐标系与所述术中摄像机进行配准。
16.根据权利要求15所述的非暂态计算机可读存储介质，其中，使用对所述工具的追踪来执行所述配准，而无需所述患者外部的追踪传感器。
17.根据权利要求15所述的非暂态计算机可读存储介质，其中，在所述医学扫描数据中进行识别包括将统计模型适配至所述医学扫描数据，所述统计模型包括所述显著特征，其中，在所述视频图像中进行识别包括在所述视频图像中分割所述工具并且将所述工具放置成邻近所述患者中的显著特征，并且其中，配准包括将所述医学扫描数据中的显著特征与来自所述视频图像的三维模型中的显著特征进行刚性配准。
18.一种用于配准的系统，所述系统包括：
术中摄像机，其能够操作以从患者内捕获图像；
微创手术工具，其能够操作以插入患者内；
存储器，其被配置成存储表示所述患者的标记的解剖结构的数据，所述数据来自医学成像器；以及
处理器，其被配置成：使用在所述图像中表示的手术工具来定位解剖位置，并且使用所述标记的解剖结构和所述解剖位置来将所述图像与所述数据进行配准。
19.根据权利要求18所述的系统，其中，所述处理器被配置成根据所述图像的深度测量结果来生成所述患者的模型，所述解剖位置相对于所述模型而定位。
20.根据权利要求19所述的系统，还包括邻近所述术中摄像机的飞行时间传感器。
CN201680054448.9A 2015-09-21 2016-09-06 视频摄像机与医学成像的配准 Pending CN108140242A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/859,540 US20170084036A1 (en) 2015-09-21 2015-09-21 Registration of video camera with medical imaging
US14/859,540 2015-09-21
PCT/US2016/050367 WO2017053056A1 (en) 2015-09-21 2016-09-06 Registration of video camera with medical imaging

Publications (1)

Publication Number Publication Date
CN108140242A true CN108140242A (zh) 2018-06-08

Family

ID=57104173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680054448.9A Pending CN108140242A (zh) 2015-09-21 2016-09-06 视频摄像机与医学成像的配准

Country Status (4)

Country Link
US (1) US20170084036A1 (zh)
EP (1) EP3338246A1 (zh)
CN (1) CN108140242A (zh)
WO (1) WO2017053056A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447985A (zh) * 2018-11-16 2019-03-08 青岛美迪康数字工程有限公司 结肠镜图像分析方法、装置及可读存储介质
CN111340859A (zh) * 2018-12-19 2020-06-26 西门子医疗有限公司 用于图像配准的方法、学习装置和医学成像装置
CN112085797A (zh) * 2019-06-12 2020-12-15 通用电气精准医疗有限责任公司 3d相机-医疗成像设备坐标系校准系统和方法及其应用
CN112822981A (zh) * 2018-10-09 2021-05-18 皇家飞利浦有限公司 自动eeg传感器配准
CN113017833A (zh) * 2021-02-25 2021-06-25 南方科技大学 脏器定位方法、装置、计算机设备及存储介质
CN113362446A (zh) * 2021-05-25 2021-09-07 上海奥视达智能科技有限公司 基于点云数据重建对象的方法及装置

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6392192B2 (ja) * 2015-09-29 2018-09-19 富士フイルム株式会社 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
US20170136296A1 (en) * 2015-11-18 2017-05-18 Osvaldo Andres Barrera System and method for physical rehabilitation and motion training
US11370113B2 (en) * 2016-09-06 2022-06-28 Verily Life Sciences Llc Systems and methods for prevention of surgical mistakes
US9836654B1 (en) 2017-02-28 2017-12-05 Kinosis Ltd. Surgical tracking and procedural map analysis tool
US10262453B2 (en) * 2017-03-24 2019-04-16 Siemens Healthcare Gmbh Virtual shadows for enhanced depth perception
US11164679B2 (en) 2017-06-20 2021-11-02 Advinow, Inc. Systems and methods for intelligent patient interface exam station
EP3470006B1 (en) 2017-10-10 2020-06-10 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
US20190069957A1 (en) * 2017-09-06 2019-03-07 Verily Life Sciences Llc Surgical recognition system
US10835344B2 (en) * 2017-10-17 2020-11-17 Verily Life Sciences Llc Display of preoperative and intraoperative images
FR3073135B1 (fr) * 2017-11-09 2019-11-15 Quantum Surgical Dispositif robotise pour une intervention medicale mini-invasive sur des tissus mous
EP3498212A1 (en) * 2017-12-12 2019-06-19 Holo Surgical Inc. A method for patient registration, calibration, and real-time augmented reality image display during surgery
US20210035290A1 (en) * 2018-01-24 2021-02-04 Pie Medical Imaging Bv Flow analysis in 4d mr image data
US11348688B2 (en) 2018-03-06 2022-05-31 Advinow, Inc. Systems and methods for audio medical instrument patient measurements
US10939806B2 (en) * 2018-03-06 2021-03-09 Advinow, Inc. Systems and methods for optical medical instrument patient measurements
US10963698B2 (en) 2018-06-14 2021-03-30 Sony Corporation Tool handedness determination for surgical videos
JP7017198B2 (ja) * 2018-06-22 2022-02-08 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
EP3811845A4 (en) * 2018-06-22 2022-03-16 AI Medical Service Inc. METHOD OF ASSISTING A DISEASE DIAGNOSIS BASED ON AN ENDOSCOPE IMAGE OF THE DIGESTIVE ORGAN, DIAGNOSIS SUPPORT SYSTEM, DIAGNOSIS SUPPORT PROGRAM AND COMPUTER READABLE RECORDING MEDIUM WITH THE DIAGNOSIS SUPPORT PROGRAM STORED THEREON
US10832422B2 (en) * 2018-07-02 2020-11-10 Sony Corporation Alignment system for liver surgery
KR102102942B1 (ko) * 2018-07-31 2020-04-21 서울대학교산학협력단 3d 영상 정합 제공 장치 및 그 방법
EP3608870A1 (en) 2018-08-10 2020-02-12 Holo Surgical Inc. Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
US11457981B2 (en) * 2018-10-04 2022-10-04 Acclarent, Inc. Computerized tomography (CT) image correction using position and direction (P andD) tracking assisted optical visualization
JP7037220B2 (ja) * 2018-11-21 2022-03-16 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
US11045075B2 (en) * 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11357593B2 (en) * 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11176696B2 (en) 2019-05-13 2021-11-16 International Business Machines Corporation Point depth estimation from a set of 3D-registered images
EP3806037A1 (en) * 2019-10-10 2021-04-14 Leica Instruments (Singapore) Pte. Ltd. System and corresponding method and computer program and apparatus and corresponding method and computer program
CN112107363B (zh) * 2020-08-31 2022-08-02 上海交通大学 一种基于深度相机的超声溶脂机器人系统及辅助操作方法
US11295460B1 (en) * 2021-01-04 2022-04-05 Proprio, Inc. Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
WO2022226086A2 (en) * 2021-04-21 2022-10-27 The Cleveland Clinic Foundation Robotic surgery
WO2022251814A2 (en) 2021-05-24 2022-12-01 Stryker Corporation Systems and methods for generating three-dimensional measurements using endoscopic video data
EP4156090A1 (en) * 2021-09-24 2023-03-29 Siemens Healthcare GmbH Automatic analysis of 2d medical image data with an additional object

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1352781A (zh) * 1999-03-18 2002-06-05 纽约州立大学研究基金会 实行三维虚拟分割和检查的系统和方法
US20070225553A1 (en) * 2003-10-21 2007-09-27 The Board Of Trustees Of The Leland Stanford Junio Systems and Methods for Intraoperative Targeting
US20080144773A1 (en) * 2005-04-20 2008-06-19 Visionsense Ltd. System and Method for Producing an Augmented Image of an Organ of a Patient
US20100036269A1 (en) * 2008-08-07 2010-02-11 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Circulatory monitoring systems and methods
CN101862220A (zh) * 2009-04-15 2010-10-20 中国医学科学院北京协和医院 基于结构光图像的椎弓根内固定导航手术系统和方法
US20110044521A1 (en) * 2009-06-26 2011-02-24 Regents Of The University Of Minnesota Tracking and representation of multi-dimensional organs
WO2012156873A1 (en) * 2011-05-18 2012-11-22 Koninklijke Philips Electronics N.V. Endoscope segmentation correction for 3d-2d image overlay
CN103020960A (zh) * 2012-11-26 2013-04-03 北京理工大学 基于凸包不变性的点云配准方法
CN103209656A (zh) * 2010-09-10 2013-07-17 约翰霍普金斯大学 配准过的表面下解剖部的可视化
CN103845053A (zh) * 2012-11-28 2014-06-11 韦伯斯特生物官能(以色列)有限公司 使用局部坐标系的位置感测
CN103957792A (zh) * 2011-10-20 2014-07-30 皇家飞利浦有限公司 用于内脏器官的实时机械功能评估的形状感测装置
CN104008540A (zh) * 2013-02-21 2014-08-27 三星电子株式会社 用于执行医学图像的配准的方法和设备
WO2015110934A1 (en) * 2014-01-24 2015-07-30 Koninklijke Philips N.V. Continuous image integration for robotic surgery

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007033379A2 (en) * 2005-09-14 2007-03-22 Neoguide Systems, Inc. Methods and apparatus for performing transluminal and other procedures
US7835785B2 (en) * 2005-10-04 2010-11-16 Ascension Technology Corporation DC magnetic-based position and orientation monitoring system for tracking medical instruments
EP2143038A4 (en) * 2007-02-20 2011-01-26 Philip L Gildenberg VIDEOSTEREREOTAXY- AND AUDIOSTEREOTAXY-ASSISTED SURGICAL PROCEDURES AND METHODS
RU2556593C2 (ru) * 2010-01-13 2015-07-10 Конинклейке Филипс Электроникс Н.В. Совмещение и навигация для эндоскопической хирургии на основе интеграции изображений
US10758209B2 (en) * 2012-03-09 2020-09-01 The Johns Hopkins University Photoacoustic tracking and registration in interventional ultrasound
US9129422B2 (en) * 2013-02-25 2015-09-08 Siemens Aktiengesellschaft Combined surface reconstruction and registration for laparoscopic surgery
US10426345B2 (en) * 2013-04-04 2019-10-01 Children's National Medical Center System for generating composite images for endoscopic surgery of moving and deformable anatomy
US9305358B2 (en) * 2013-07-01 2016-04-05 Kabushiki Kaisha Toshiba Medical image processing
US20150164605A1 (en) * 2013-12-13 2015-06-18 General Electric Company Methods and systems for interventional imaging

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1352781A (zh) * 1999-03-18 2002-06-05 纽约州立大学研究基金会 实行三维虚拟分割和检查的系统和方法
US20070225553A1 (en) * 2003-10-21 2007-09-27 The Board Of Trustees Of The Leland Stanford Junio Systems and Methods for Intraoperative Targeting
US20080144773A1 (en) * 2005-04-20 2008-06-19 Visionsense Ltd. System and Method for Producing an Augmented Image of an Organ of a Patient
US20100036269A1 (en) * 2008-08-07 2010-02-11 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Circulatory monitoring systems and methods
CN101862220A (zh) * 2009-04-15 2010-10-20 中国医学科学院北京协和医院 基于结构光图像的椎弓根内固定导航手术系统和方法
US20110044521A1 (en) * 2009-06-26 2011-02-24 Regents Of The University Of Minnesota Tracking and representation of multi-dimensional organs
CN103209656A (zh) * 2010-09-10 2013-07-17 约翰霍普金斯大学 配准过的表面下解剖部的可视化
WO2012156873A1 (en) * 2011-05-18 2012-11-22 Koninklijke Philips Electronics N.V. Endoscope segmentation correction for 3d-2d image overlay
CN103957792A (zh) * 2011-10-20 2014-07-30 皇家飞利浦有限公司 用于内脏器官的实时机械功能评估的形状感测装置
CN103020960A (zh) * 2012-11-26 2013-04-03 北京理工大学 基于凸包不变性的点云配准方法
CN103845053A (zh) * 2012-11-28 2014-06-11 韦伯斯特生物官能(以色列)有限公司 使用局部坐标系的位置感测
CN104008540A (zh) * 2013-02-21 2014-08-27 三星电子株式会社 用于执行医学图像的配准的方法和设备
WO2015110934A1 (en) * 2014-01-24 2015-07-30 Koninklijke Philips N.V. Continuous image integration for robotic surgery

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ROSALIE PLANTEFE` VE等: "Patient-specific Biomechanical Modeling for Guidance during Minimally-invasive Hepatic Surgery", 《ANNALS OF BIOMEDICAL ENGINEERING》 *
TROY K.ADEBAR等: "Registration of 3D Ultrasound Through an Air–Tissue Boundary", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822981A (zh) * 2018-10-09 2021-05-18 皇家飞利浦有限公司 自动eeg传感器配准
CN109447985A (zh) * 2018-11-16 2019-03-08 青岛美迪康数字工程有限公司 结肠镜图像分析方法、装置及可读存储介质
CN111340859A (zh) * 2018-12-19 2020-06-26 西门子医疗有限公司 用于图像配准的方法、学习装置和医学成像装置
CN111340859B (zh) * 2018-12-19 2023-09-01 西门子医疗有限公司 用于图像配准的方法、学习装置和医学成像装置
CN112085797A (zh) * 2019-06-12 2020-12-15 通用电气精准医疗有限责任公司 3d相机-医疗成像设备坐标系校准系统和方法及其应用
CN113017833A (zh) * 2021-02-25 2021-06-25 南方科技大学 脏器定位方法、装置、计算机设备及存储介质
CN113362446A (zh) * 2021-05-25 2021-09-07 上海奥视达智能科技有限公司 基于点云数据重建对象的方法及装置

Also Published As

Publication number Publication date
EP3338246A1 (en) 2018-06-27
WO2017053056A1 (en) 2017-03-30
US20170084036A1 (en) 2017-03-23

Similar Documents

Publication Publication Date Title
CN108140242A (zh) 视频摄像机与医学成像的配准
EP2637593B1 (en) Visualization of anatomical data by augmented reality
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US7945310B2 (en) Surgical instrument path computation and display for endoluminal surgery
US8248414B2 (en) Multi-dimensional navigation of endoscopic video
US8248413B2 (en) Visual navigation system for endoscopic surgery
US7824328B2 (en) Method and apparatus for tracking a surgical instrument during surgery
JP6395995B2 (ja) 医療映像処理方法及び装置
US8116847B2 (en) System and method for determining an optimal surgical trajectory
JP7277967B2 (ja) 超音波画像データの三次元撮像およびモデリング
JP6348130B2 (ja) デュアルデータ同期を用いた解剖学的部位の位置の再特定
US20080071141A1 (en) Method and apparatus for measuring attributes of an anatomical feature during a medical procedure
WO2017027638A1 (en) 3d reconstruction and registration of endoscopic data
CN110381841A (zh) 用于医疗成像的夹具及其使用方法
US11928834B2 (en) Systems and methods for generating three-dimensional measurements using endoscopic video data
US10342633B2 (en) Medical image data processing system and method
US20220409030A1 (en) Processing device, endoscope system, and method for processing captured image
Nagelhus Hernes et al. Computer‐assisted 3D ultrasound‐guided neurosurgery: technological contributions, including multimodal registration and advanced display, demonstrating future perspectives
Karner et al. Single-shot deep volumetric regression for mobile medical augmented reality
US20210052146A1 (en) Systems and methods for selectively varying resolutions
CN114830638A (zh) 用于具有空间记忆的远程图解的系统和方法
US20220296303A1 (en) Systems and methods for registering imaging data from different imaging modalities based on subsurface image scanning
US11941765B2 (en) Representation apparatus for displaying a graphical representation of an augmented reality
US20220409283A1 (en) Presentation device for displaying a graphical presentation of an augmented reality
US20230145531A1 (en) Systems and methods for registering visual representations of a surgical space

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180608

WD01 Invention patent application deemed withdrawn after publication