CN112368739A - 用于肝脏手术的对准系统 - Google Patents

用于肝脏手术的对准系统 Download PDF

Info

Publication number
CN112368739A
CN112368739A CN201980044494.4A CN201980044494A CN112368739A CN 112368739 A CN112368739 A CN 112368739A CN 201980044494 A CN201980044494 A CN 201980044494A CN 112368739 A CN112368739 A CN 112368739A
Authority
CN
China
Prior art keywords
coordinates
location
image
subset
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980044494.4A
Other languages
English (en)
Other versions
CN112368739B (zh
Inventor
余良吟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112368739A publication Critical patent/CN112368739A/zh
Application granted granted Critical
Publication of CN112368739B publication Critical patent/CN112368739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pulmonology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种用于在器官的3D和2D图像中自动配准界标的方法，包括：使用从器官的3D表面表征推导的器官的识别的第一、第二和第三界标的第一组坐标，以及从器官的2D腹腔镜图像推导的界标的第二组坐标，将如3D表面表征中所识别的三个界标与如2D图像中所识别的三个界标配准。第三界标包括定义表明第一和第二界标的两点之间的路径的多个点。自动执行3D表示和2D图像中第一、第二和第三界标的识别、第一和第二组坐标的推导以及基于推导的第一和第二组坐标的配准。

Description

用于肝脏手术的对准系统
背景技术
腹腔镜手术是一种微创类型的腹部手术，涉及使用光学成像系统–腹腔镜–在手术过程期间将实时图像发送到视频监视器。有必要在手术之前实施CT成像，为适合的手术执行做准备，然后与当患者实际在手术台上时获得的2-D腹腔镜视频成像相关地利用该结果。
在当前实践中，手动地或半自动地执行将在手术期间实时获得的2-D图像与先前生成的CT图像对准的任务，先前生成的CT图像通常被重构以创建感兴趣的器官的3-D表征(representation)。在这两种情况下，这意味着在手术期间依靠个人或团队的技能，除了手术本身之外，还要求他们执行困难且具有挑战性的图像处理任务。如果在手术期间像其通常那样发生了器官变形，则使得图像对准问题更加困难。
因此，存在以下需要，即提供在术前获得的CT 3-D图像与在手术期间获得的2-D视频图像之间实施对准的全自动方法。肝脏手术仅是一种应用，在该应用中这样的自动图像对准方法将有巨大的价值。
发明内容
本发明的实施例一般地涉及提供器官的3D和2D图像中的界标的自动配准(registration)的方法和系统。在一个实施例中，方法包括：使用从该器官的3D表面表征中推导的该器官的识别的第一、第二和第三界标的第一组坐标，以及从该器官的2D腹腔镜图像中推导的该器官的识别的第一、第二和第三界标的第二组坐标，将如3D表面几何形状中所识别的界标与如2D图像中所识别的界标配准。自动执行3D和2D图像中的第一、第二和第三界标的识别；自动执行第一和第二组坐标的推导；并基于推导的第一和第二组坐标自动执行配准。
在另一个实施例中，装置包括一个或多个处理器；以及在一个或多个非暂态介质中编码的用于由一个或多个处理器执行的逻辑。当被执行时，该逻辑进行操作以在器官的3D和2D图像中自动配准界标，其中自动配准包括使用从该器官的3D表面表征中推导的该器官的识别的第一、第二和第三界标的第一组坐标，以及从该器官的第一和第二2D腹腔镜图像中推导的该器官的识别的第一、第二和第三界标的第二组坐标，以将如3D表面图像中所识别的界标与如2D图像中所识别的界标配准。自动执行3D和2D图像中的第一、第二和第三界标的识别；自动执行第一和第二组坐标的推导；并基于推导的第一和第二组坐标自动执行配准。
可以通过参考本说明书的剩余部分和附图来实现对本文所公开的特定实施例的性质和优点的进一步理解。
附图说明
图1是根据本发明的一个实施例的对准方法的示意性概图。
图2是根据本发明的一个实施例的对准方法的流程图。
图3示意性地示出在本发明的一个实施例中所使用的一种类型的3D重构。
图4示意性地示出在本发明的一个实施例中所使用的在参考系之间转移界标坐标的方法。
图5示意性地示出在本发明的一个实施例中在3D表征和实时2D图像之间配准界标坐标的方法。
具体实施方式
本文所述的实施例在腹腔镜过程期间向外科医生或外科手术团队提供达到有用的高度精度的与当前2D腹腔镜视角对准的感兴趣的器官或区域的3D界标的2D表征。假设获得了该器官或区域的3-D表征，并使得能够用于术前研究，并且在手术期间实时获得该器官或区域的2-D腹腔镜图像。
本发明供应了优于当前对准方式的益处，该当前对准方式是费时的并且需要专门的技能。代替需要在图像对准处理的各个阶段来自操作人员的大量输入，实施这些阶段的新方法已经被开发，这些方法特别适合于由自动操作的基于计算机的处理系统来实现。而且，它不像当前实践通常那样依赖于使用附加的专用装备，诸如超声成像系统和跟踪工具。
在以下讨论中，应将单词“自动”理解为以下意义，即对应的处理由软件来实施，在启动该处理后无需人为干预。
图1示出根据本发明的一个实施例的对准方法的概述。在手术之前，生成显示感兴趣的器官的一系列CT图像101，并自动创建3D表面重构102。至少三个界标在表面重构上被识别，作为点的第一和第二界标(X1和X2)，以及作为沿着易于区分的路径(例如，可以是X1和X2之间的脊或沟)来定位的多个点的第三界标C。用于三个界标的第一组坐标是被自动推导的，并且可以被显示在注释的3D表面重构103中。用于分别考虑的每个界标的坐标可以称为对应的坐标“子集”。
在手术期间使用成像系统104以生成显示感兴趣的器官以及一般地在身体内的周围介质的一系列至少三个2D图像，该成像系统104包括腹腔镜相机并且可以可选地包括一个或多个跟踪传感器。可以实施器官定位处理105以帮助区分图像中的感兴趣的器官。由于存在若干种众所周知的实现定位的方法，因此在本公开中将不进一步讨论该定位处理。在每个2D图像上，自动识别相同的三个界标X1、X2和C中的一个或多个。从三个2D图像中推导用于三个界标的第二组坐标。再一次，用于分别考虑的每个界标的坐标可以称为对应的坐标“子集”。
然后在第一和第二组坐标上自动实施配准计算，在某种意义上“协调”从3D和2D图像中推导的坐标。最终结果是来自腹腔镜相机的主要视角(就姿势和取向而言)的器官的2D表征107，显示与该视角对准的3D界标。
图2是根据本发明一个实施例的对准方法200的高层流程图，显示相对粗略的步骤210、220和230。在步骤210处，在手术之前，在3D表面表征中自动识别第一、第二和第三界标，以自动确定第一组坐标。在步骤220处，在一系列至少三个2D图像中自动识别第一、第二和第三界标，以自动确定第二组坐标。在以下所呈现的图4以及其讨论中示出步骤220的进一步细节。在步骤230处，将第一和第二组坐标用于以与三个2D图像中主要的一个图像被捕获时的姿势和取向相对应的方式，在3D表面表征上自动配准界标。在以下所呈现的图5及其讨论中示出步骤230的进一步细节。
用作步骤210的输入的3D表面表征是通过使用多个CT图像，使用众所周知的图像处理技术生成的。图3示意性地示出在本发明的一个实施例中所使用的一种类型的3D重构。这是Delaunay(德劳内)方法，产生3D表面表征(诸如303A或303B)作为输出，与图2中的表征102相对应。
通过本领域中众所周知的计算机视觉和图形方法，在3D表面表征102上自动识别界标(至少两个点和它们之间的一条路径的界标)。然后可以自动生成用于界标的第一组坐标。
在手术期间，以主要姿势和取向定位在第一位置处的腹腔镜相机捕获感兴趣的器官或区域的主要2D图像，显示至少一个点界标，例如，在图4所示的实施例中所见的X1。在该实施例中，第一相机402捕获主要2D图像403，其中在左下角附近清晰可见界标X1(由白色圆圈来指示)。如该图的中间的示意表征404所示，相机402位于相对于感兴趣的器官的第一位置。应当注意，在右上角附近的界标X2通常在图像403中被部分遮挡，例如通过介于中间的器官组织而隐藏。在图像403中界标C的一部分也可能以这种方式被部分遮挡。
使用计算机视觉和计算机图形方法来识别界标X1，以识别在肝脏边界处的高曲率特征，并在相机402的参考系(由X、Y、Z轴指示)中自动生成其2D坐标。
然后第一相机402沿着路径(由白色虚线P1指示)被移动到第二位置，尽实际可能地靠近第二相机406，使用本领域中众所周知的传感技术(诸如光学或电磁工具跟踪器)，在3D中跟踪第一相机402在两个位置之间的运动。
第二相机406，在所示的实施例中包括立体相机，在第二参考系Xstereo、Ystereo、Zstereo中操作来捕获两个2D图像，如在该图的右上方的合成图像(通过重叠这些图像而形成)中的408和410所示。尽管第一界标X1可能被部分遮挡，但是在这些图像408、410的每个图像中第二界标X2是可见的。使用与用于识别X1的相同或相似的方法来识别界标X2，并自动生成参考系Xstereo、Ystereo、Zstereo中界标X2的坐标。
在所示的实施例中，因为图像408、410是由立体相机拍摄的，因此从稍微横向移位的地点，可以就距相机的深度以及在每个图像的平面中而言确定界标X2的地点信息。对该信息的分析以及对与相机402相关的跟踪数据的分析通常产生变换矩阵的形式的数据，其使X2的坐标能够从参考系Xstereo、Ystereo、Zstereo变换为相机402在拍摄第一2D图像时的参考系X、Y、Z。第二界标的坐标的变换由虚线T1指示。然后，通过将3D坐标信息投影到参考系X、Y、Z中的相机402的图像平面上来获得X2的2D坐标。
如上所述，图4示意性地示出本发明的一个实施例，显示将界标坐标从一个参考系转移或变换到另一个参考系的方法，其中第一相机在第一位置处捕获第一图像，该图像显示第一界标，然后移动到第二位置，第二立体相机在该位置处捕获一对立体图像，每个立体图像显示第二界标。
在另一个实施例中，第二相机可以不是像这样的立体相机，而是在第二位置附近的在捕获第二和第三图像之间稍微移动的标准相机，每个图像显示第二界标的稍微不同的视图，并且因此仍然使深度数据能够被生成。
在本发明的又一个实施例中，第二相机不仅拍摄一对图像，而且在第二位置附近拍摄三个或更多个图像。考虑到这些三个或更多个图像中的每个图像是从第二位置附近稍微不同的地点捕获的，对这些图像的分析将再次使得能够生成3D界标坐标，可能比如果仅拍摄一对图像所提供的精度更高。
在其他实施例中，代替第二相机，第一相机被用于不仅在第一位置处捕获主要的第一2D图像，而且还在第二位置附近捕获第二和第三(以及可选地，更多的)2D图像。
应该理解，在整个本公开中使用的术语“在...附近”意味着使得所讨论的一个或多个相机的地点足够近，以使从那些地点捕获的图像重叠，从而可以将在本领域中众所周知的三角划分方法应用于推导与在那些图像中可视的特征深度相关的信息。
图5示意性地示出在本发明的一个实施例中在3D表征和实时2D图像之间配准界标坐标的方法。使用捕获504(以上使用的术语中的第一2D图像)的相机的地点和取向的估计，将先前从3D表征502中建立的界标X1和X2的地点投影到实时腹腔镜2D图像504的平面上，该估计是从优化处理(诸如以下所述的优化处理)推导的。通常在实施该投影时生成并使用相机投影矩阵。如上所述，叠加在图像504上的是指示直接从图像504确定的X1的地点以及由从第二和第三2D图像建立的坐标的变换所确定的X2的地点的标记(显示为白环)。
图像504右下方的解释性说明显示圆形域S1和S2，指示界标X1和X2的投影地点，以及第三界标的投影P(LC)(前两个界标之间的3D路径)。还显示了从2D腹腔镜图像推导的虚线l(2D)，代表第三界标。使用众所周知的数学技术，将从手术前3D表征中投影的路径与从实时2D图像中确定的路径之间的误差最小化，从而导致所有三个界标的最佳配准。
本文所述的实施例为需要在3D表征和2D图像之间对准界标的应用提供了各种益处。特别地，实施例针对快速且有效的方法，该方法将在手术前3D重构中识别的界标与如在手术期间捕获的2D腹腔镜图像中所见的那些界标自动对准。实施例需要相对简单的相机地点跟踪技术，以及使用众所周知的数学变换的图像处理，以在手术之前和手术期间实现由外科手术团队所观察的图像中的界标的精确对准。它们在手术过程期间的动作因此被支持，而没有与图像取向解读或操作附加的成像和跟踪装备相关的不必要的干扰或复杂化。
尽管已经相对于其特定实施例呈现了描述，但是这些特定实施例仅是说明性的，而不是限制性的。例如，可以将除了Delaunay方法之外的方法用于术前执行的3D重构。可以从运动恢复结构(structure from motion)或视觉里程计推导3D腹腔镜信息。在一些实施例中，可以使用附加的点或线界标。
可以使用包括C、C++、Java、汇编语言等的任何合适的编程语言来实现特定实施例的例程。可以采用诸如面向过程的或面向对象的不同编程技术。可以在单个处理设备或多个处理器上执行该例程。尽管可以以指定顺序呈现步骤、操作或计算，但是在不同的特定实施例中可以改变该顺序。在一些特定实施例中，可以同时执行如在本说明书中顺序显示的多个步骤。
可以在计算机可读存储介质中实现特定实施例，以由指令执行系统、装置、系统或设备使用，或与其结合使用。可以以软件或硬件或二者的组合的控制逻辑的形式来实现特定实施例。当该控制逻辑由一个或多个处理器执行时，可以可操作以执行在特定实施例中所描述的控制逻辑。
可以通过使用编程的通用数字计算机，通过使用专用集成电路，可以使用可编程逻辑设备，现场可编程门阵列，光学、化学、生物、量子或纳米工程系统，组件和机制来实现特定实施例。一般地，可以通过本领域中已知的任何方式来实现特定实施例的功能。可以使用分布式的、联网的系统、组件和/或电路。数据的通信或传输可以通过有线、无线或任何其他方式进行。
还应领会的是，在附图/图中描绘的一个或多个元件也可以以更分离或集成的方式实现，或者甚至在某些情况下被移除或被呈现为不可操作的，如根据特定的应用可用。实现可以存储在机器可读介质中以允许计算机执行上述任何方法的程序或代码也在精神和范围内。
“处理器”包括处理数据、信号或其他信息的任何合适的硬件和/或软件系统、机制或组件。处理器可以包括具有通用中央处理单元、多个处理单元、用于实现功能的专用电路的系统或其他系统。处理不必受限于地理位置或具有时间限制。例如，处理器可以“实时”、“离线”、以“批处理模式”等执行其功能。可以通过不同的(或相同的)处理系统在不同的时间和不同的位置处执行部分处理。处理系统的示例可以包括服务器、客户端、最终用户设备、路由器、交换机、网络存储器等。计算机可以是与存储器通信的任何处理器。存储器可以是任何合适的处理器可读存储介质，诸如随机存取存储器(RAM)、只读存储器(ROM)、磁盘或光盘、或其他适合存储用于由处理器执行的指令的非暂态介质。
如本文的说明书和随后的整个权利要求书中所使用的，除非上下文另外明确指出，否则“一个”、“一种”和“该”包括复数指代。此外，如本文的说明书和随后的整个权利要求书中所使用的，除非上下文另外明确指出，否则“在...中”的含义包括“在...中”和“在...上”。
因此，尽管本文已经描述了特定实施例，但是在前述公开中旨在修改的范围、各种改变和替换，并且应当领会的是，在一些情况下，将在不脱离所阐述的范围和精神的情况下采用特定实施例的一些特征而没有其他特征的对应使用。因此，可以进行许多修改以使特定情况或材料适应必要的范围和精神。

Claims (20)

1.一种用于自动配准器官的3D和2D图像中的界标的方法，所述方法包括：
使用从所述器官的3D表面表征中推导的所述器官的识别的第一、第二和第三界标的第一组坐标，以及从所述器官的2D腹腔镜图像中推导的所述器官的识别的第一、第二和第三界标的第二组坐标，以将如3D表面表征中所识别的三个界标与如2D图像中所识别的三个界标配准；
其中第三界标包括定义表明第一和第二界标的两点之间的路径的多个点；
其中自动执行3D表征和2D图像中的第一、第二和第三界标的识别；
其中自动执行第一和第二组坐标的推导；并且
其中基于推导的第一和第二组坐标来自动执行配准。
2.根据权利要求1所述的方法，
其中第一组坐标包括：
用于第一界标的位置坐标的第一子集；
用于第二界标的位置坐标的第二子集；以及
位置坐标的第三子集，包括表明第三界标的多个位置坐标；以及
其中第二组坐标包括：
用于第一界标的位置坐标的第四子集；
用于第二界标的位置坐标的第五子集；以及
位置坐标的第六子集，包括表明第三界标的多个位置坐标。
3.根据权利要求2所述的方法，
其中2D图像包括第一、第二和第三2D图像；
其中第一和第二组坐标是在第一参考系中表示的，第一参考系与捕获第一2D图像的相机的第一位置和第一取向相对应；并且
其中位置坐标的第五子集通过变换在第二参考系中表示的第二界标的位置坐标的第七子集来推导，第二参考系与捕获第二和第三2D图像的相机的第二位置和第二取向相对应。
4.根据权利要求3所述的方法，
其中在第一位置处捕获第一2D图像的相机是在第一位置和第二位置之间移动之后在第二位置附近的第二地点处捕获第二2D图像，并且在第二位置附近的与第二地点不同的第三地点处捕获第三2D图像的相机；并且
其中对第二和第三2D图像的分析，与对通过在3D中跟踪相机在第一位置和第一取向与第二位置和第二取向之间的运动所提供的跟踪数据的分析结合，使第一位置和第一取向与第二位置和第二取向之间的空间3D关系能够被确定，提供实现第七子集到第五子集的变换所需的变换数据。
5.根据权利要求3所述的方法，
其中在第一位置处捕获第一2D图像的相机是第一相机，然后将所述第一相机移动到第二位置；
其中捕获第二和第三2D图像的相机是第二相机，所述第二相机在第二位置附近的第二地点处捕获第二2D图像，并在第二位置附近的与第二地点不同的第三地点处捕获第三2D图像；并且
其中对第二和第三2D图像的分析与对通过在3D中跟踪第一相机在第一位置和第一取向与第二位置和第二取向之间的运动所提供的跟踪数据的分析结合，使第一位置和第一取向与第二位置和第二取向之间的空间3D关系能够被确定，提供实现第七子集到第五子集的变换所需的变换数据。
6.如权利要求1所述的方法，其中所述器官的3D表面表征是根据所述器官的多个CT扫描计算地重构的。
7.根据权利要求6所述的方法，其中所述重构包括使用图像处理的Delaunay方法。
8.根据权利要求6所述的方法，其中在手术之前执行3D表面表征的重构，并且其中在手术期间使用腹腔镜相机系统来捕获2D图像。
9.根据权利要求1所述的方法，其中使用所述第一和第二组坐标来配准三个界标包括：
使用对捕获一个2D图像的相机的地点和取向的估计，将第一组坐标从3D空间投影到2D图像的图像平面；并且
使位置坐标的第三子集的投影与表明第三界标的位置坐标的第六子集之间的误差最小化，同时在预定限制内将位置坐标的第一和第二子集的投影分别与位置坐标的第四和第五子集对准。
10.根据权利要求1所述的方法，其中所述器官是肝脏。
11.一种装置，包括：
一个或多个处理器；以及
在一个或多个非暂态介质中编码的用于由一个或多个处理器执行的逻辑，所述逻辑在被执行时可操作用于自动配准器官的3D和2D图像中的界标，其中自动配准包括：
使用从所述器官的3D表面表征中推导的所述器官的识别的第一、第二和第三界标的第一组坐标，以及从所述器官的第一和第二2D腹腔镜图像中推导的所述器官的识别的第一、第二和第三界标的第二组坐标，以将如3D表面表征中所识别的三个界标与如2D图像中所识别的三个界标配准；
其中第三界标包括定义表明第一和第二界标的两点之间的路径的多个点；
其中自动执行3D和2D图像中的第一、第二和第三界标的识别；
其中自动执行第一和第二组坐标的推导；并且
其中基于推导的第一和第二组坐标来自动执行配准。
12.根据权利要求11所述的装置，
其中第一组坐标包括：
用于第一界标的位置坐标的第一子集；
用于第二界标的位置坐标的第二子集；以及
位置坐标的第三子集，包括表明第三界标的多个位置坐标；以及
其中第二组坐标包括：
用于第一界标的位置坐标的第四子集；
用于第二界标的位置坐标的第五子集；以及
位置坐标的第六子集，包括表明第三界标的多个位置坐标。
13.根据权利要求12所述的装置，
其中2D图像包括第一、第二和第三2D图像；
其中第一和第二组坐标是在第一参考系中表示的，第一参考系与捕获第一2D图像的相机的第一位置和第一取向相对应；并且
其中位置坐标的第五子集通过变换在第二参考系中表示的第二界标的位置坐标的第七子集来推导，第二参考系与捕获第二和第三2D图像的相机的第二位置和第二取向相对应。
14.根据权利要求13所述的装置，
其中在第一位置处捕获第一2D图像的相机还在第二位置附近的第二地点处捕获第二2D图像，并在第二位置附近的与第二地点不同的第三地点处捕获第三2D图像；并且
其中通过在3D中跟踪相机在第一位置和第一取向以及第二位置和第二取向之间的运动来确定实现第七子集到第五子集的变换所需的数据。
15.根据权利要求13所述的装置，
其中捕获第一2D图像的相机是第一相机；
其中第二相机捕获第二和第三2D图像，所述第二相机在第二位置附近的第二地点处捕获第二2D图像，并且在第二位置附近的与第二地点不同的第三地点处捕获第三2D图像；并且
其中对立体的第二和第三2D图像的对的分析使第一位置和第一取向以及第二位置和第二取向之间的空间3D关系能够被确定，提供实现第七子集到第五子集的变换所需的数据。
16.一种装置，包括：
一个或多个处理器；以及
在一个或多个非暂态计算机可读介质中编码的用于由一个或多个处理器执行的软件，所述软件在被执行时可操作用于自动配准器官的3D和2D图像中的界标，方法包括：
使用从所述器官的3D表面表征中推导的所述器官的识别的第一、第二和第三界标的第一组坐标，以及从所述器官的第一和第二2D图像中推导的所述器官的识别的第一、第二和第三界标的第二组坐标，将如3D表面表征中所识别的三个界标与如2D图像中所识别的三个界标配准；
其中第三界标包括定义表明第一和第二界标的两点之间的路径的多个点；
其中自动执行3D和2D图像中的第一、第二和第三界标的识别；
其中自动执行第一和第二组坐标的推导；并且
其中基于推导的第一和第二组坐标来自动执行配准。
17.根据权利要求16所述的装置，
其中第一组坐标包括：
用于第一界标的位置坐标的第一子集；
用于第二界标的位置坐标的第二子集；以及
位置坐标的第三子集，包括表明第三界标的多个位置坐标；以及
其中第二组坐标包括：
用于第一界标的位置坐标的第四子集；
用于第二界标的位置坐标的第五子集；以及
位置坐标的第六子集，包括表明第三界标的多个位置坐标。
18.根据权利要求17所述的装置，
其中2D图像包括第一、第二和第三2D图像；
其中位置坐标的第一、第二、第三、第四、第五和第六子集是在第一参考系中表示的，第一参考系与捕获第一2D图像的相机的第一位置和第一取向相对应；并且
其中位置坐标的第五子集是通过变换在第二参考系中表示的第二界标的位置坐标的第七子集而推导的，第二参考系与捕获第二和第三2D图像的相机的第二位置和第二取向相对应。
19.根据权利要求18所述的装置，
其中在第一位置处捕获第一2D图像的相机还在第二位置附近的第二地点处捕获第二2D图像，并在第二位置附近的与第二地点不同的第三地点处捕获第三2D图像；并且
其中通过在3D中跟踪相机在第一位置和第一取向与第二位置和第二取向之间的运动来确定实现第七子集到第五子集的变换所需的数据。
20.根据权利要求18所述的装置，
其中在第一位置处捕获第一2D图像然后被移动到第二位置的相机是第一相机；
其中捕获第二和第三2D图像的相机是第二相机，所述第二相机在第二位置附近的第二位置处捕获第二2D图像，并在第二位置附近的与第二位置不同的第三位置处捕获第三2D图像；并且
其中对第二和第三2D图像的分析与对通过在3D中跟踪第一相机在第一位置和第一取向与第二位置和第二取向之间的运动所提供的跟踪数据的分析结合，使第一位置和第一取向与第二位置和第二取向之间的空间3D关系能够被确定，提供实现第七子集到第五子集的变换所需的变换数据。
CN201980044494.4A 2018-07-02 2019-06-12 用于肝脏手术的对准系统 Active CN112368739B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/025,949 2018-07-02
US16/025,949 US10832422B2 (en) 2018-07-02 2018-07-02 Alignment system for liver surgery
PCT/IB2019/054887 WO2020008280A1 (en) 2018-07-02 2019-06-12 An alignment system for liver surgery

Publications (2)

Publication Number Publication Date
CN112368739A true CN112368739A (zh) 2021-02-12
CN112368739B CN112368739B (zh) 2024-05-31

Family

ID=67660587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980044494.4A Active CN112368739B (zh) 2018-07-02 2019-06-12 用于肝脏手术的对准系统

Country Status (6)

Country Link
US (1) US10832422B2 (zh)
EP (1) EP3794554A1 (zh)
JP (1) JP7269538B2 (zh)
KR (1) KR102577964B1 (zh)
CN (1) CN112368739B (zh)
WO (1) WO2020008280A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE2250262A1 (en) 2022-02-25 2023-08-26 Navari Surgical Ab Marker unit for use in ar aided surgery

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000041626A1 (en) * 1999-01-15 2000-07-20 Z-Kat, Inc. Apparatus and method for measuring anatomical objects using coordinated fluoroscopy
US20070055128A1 (en) * 2005-08-24 2007-03-08 Glossop Neil D System, method and devices for navigated flexible endoscopy
US20080085042A1 (en) * 2006-10-09 2008-04-10 Valery Trofimov Registration of images of an organ using anatomical features outside the organ
US20080292214A1 (en) * 2005-02-03 2008-11-27 Bracco Imaging S.P.A. Method and Computer Program Product for Registering Biomedical Images with Reduced Imaging Artifacts Caused by Object Movement
WO2013142819A1 (en) * 2012-03-22 2013-09-26 University Of Notre Dame Du Lac Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
US20130272572A1 (en) * 2010-10-08 2013-10-17 Teleios S.R.L. Apparatus and method for mapping a three-dimensional space in medical applications for diagnostic, surgical or interventional medicine purposes
US20140193053A1 (en) * 2011-03-03 2014-07-10 Koninklijke Philips N.V. System and method for automated initialization and registration of navigation system
US20150332464A1 (en) * 2014-05-19 2015-11-19 Occipital, Inc. Methods for automatic registration of 3d image data
US20160191887A1 (en) * 2014-12-30 2016-06-30 Carlos Quiles Casas Image-guided surgery with surface reconstruction and augmented reality visualization
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging
US20170281135A1 (en) * 2014-09-12 2017-10-05 Analogic Corporation Image Registration Fiducials
US20180158201A1 (en) * 2015-04-22 2018-06-07 Ucl Business Plc Apparatus and method for registering pre-operative image data with intra-operative laparoscopic ultrasound images

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7756567B2 (en) 2003-08-29 2010-07-13 Accuray Incorporated Image guided radiosurgery method and apparatus using registration of 2D radiographic images with digitally reconstructed radiographs of 3D scan data
US7855723B2 (en) 2006-03-21 2010-12-21 Biosense Webster, Inc. Image registration using locally-weighted fitting
US9779505B2 (en) 2014-09-30 2017-10-03 Toshiba Medical Systems Corporation Medical data processing apparatus and method
US9563979B2 (en) 2014-11-28 2017-02-07 Toshiba Medical Systems Corporation Apparatus and method for registering virtual anatomy data
US10262424B2 (en) 2015-12-18 2019-04-16 The Johns Hopkins University Method for deformable 3D-2D registration using multiple locally rigid registrations

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000041626A1 (en) * 1999-01-15 2000-07-20 Z-Kat, Inc. Apparatus and method for measuring anatomical objects using coordinated fluoroscopy
US20080292214A1 (en) * 2005-02-03 2008-11-27 Bracco Imaging S.P.A. Method and Computer Program Product for Registering Biomedical Images with Reduced Imaging Artifacts Caused by Object Movement
US20070055128A1 (en) * 2005-08-24 2007-03-08 Glossop Neil D System, method and devices for navigated flexible endoscopy
US20080085042A1 (en) * 2006-10-09 2008-04-10 Valery Trofimov Registration of images of an organ using anatomical features outside the organ
US20130272572A1 (en) * 2010-10-08 2013-10-17 Teleios S.R.L. Apparatus and method for mapping a three-dimensional space in medical applications for diagnostic, surgical or interventional medicine purposes
US20140193053A1 (en) * 2011-03-03 2014-07-10 Koninklijke Philips N.V. System and method for automated initialization and registration of navigation system
WO2013142819A1 (en) * 2012-03-22 2013-09-26 University Of Notre Dame Du Lac Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
US20150332464A1 (en) * 2014-05-19 2015-11-19 Occipital, Inc. Methods for automatic registration of 3d image data
US20170281135A1 (en) * 2014-09-12 2017-10-05 Analogic Corporation Image Registration Fiducials
US20160191887A1 (en) * 2014-12-30 2016-06-30 Carlos Quiles Casas Image-guided surgery with surface reconstruction and augmented reality visualization
US20180158201A1 (en) * 2015-04-22 2018-06-07 Ucl Business Plc Apparatus and method for registering pre-operative image data with intra-operative laparoscopic ultrasound images
US20170084036A1 (en) * 2015-09-21 2017-03-23 Siemens Aktiengesellschaft Registration of video camera with medical imaging

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROSALIE PLANTEF`EVE ET AL.: "Automatic Alignment of Pre and Intraoperative Data Using Anatomical Landmarks for Augmented Laparoscopic Liver Surgery", INTERNATIONAL SYMPOSIUM ON BIOMEDICAL SIMULATION *

Also Published As

Publication number Publication date
WO2020008280A1 (en) 2020-01-09
JP7269538B2 (ja) 2023-05-09
EP3794554A1 (en) 2021-03-24
KR102577964B1 (ko) 2023-09-15
KR20210016433A (ko) 2021-02-15
US20200005473A1 (en) 2020-01-02
US10832422B2 (en) 2020-11-10
CN112368739B (zh) 2024-05-31
JP2021529593A (ja) 2021-11-04

Similar Documents

Publication Publication Date Title
Wang et al. Video see‐through augmented reality for oral and maxillofacial surgery
CN107016717B (zh) 用于患者的透视视图的系统和方法
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
US8073528B2 (en) Tool tracking systems, methods and computer products for image guided surgery
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
Devernay et al. Towards endoscopic augmented reality for robotically assisted minimally invasive cardiac surgery
EP3789965B1 (en) Method for controlling a display, computer program and mixed reality display device
EP2849630B1 (en) Virtual fiducial markers
WO2009045827A2 (en) Methods and systems for tool locating and tool tracking robotic instruments in robotic surgical systems
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
NL2022371B1 (en) Method and assembly for spatial mapping of a model of a surgical tool onto a spatial location of the surgical tool, as well as a surgical tool
Zhou et al. Visual tracking of laparoscopic instruments
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
CN112368739B (zh) 用于肝脏手术的对准系统
CN116958486A (zh) 一种基于卷积神经网络的医学图像处理方法及系统
US20220392607A1 (en) Image acquisition visuals for augmented reality
Yang et al. A novel neurosurgery registration pipeline based on heat maps and anatomic facial feature points
JP7407831B2 (ja) 介入装置追跡
EP4082469B1 (en) Automatic determination of an appropriate positioning of a patient-specific instrumentation with a depth camera
CN117557601B (zh) 一种基于数字孪生的骨骼配准方法及装置
Trevisan et al. Augmented vision for medical applications
Roberti et al. Semantic Monocular Surgical SLAM: Intra-Operative 3D Reconstruction and Pre-Operative Registration in Dynamic Environments
Su Vision Based Surgical Tool Tracking with Robot Kinematics Prior
Rong Projection-Based Spatial Augmented Reality for Interactive Visual Guidance in Surgery
CN116917942A (zh) 使用所分割的输入进行计算机断层扫描到透视的配准

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant