CN106455944A - Q3d模型与3d图像的对准 - Google Patents

Q3d模型与3d图像的对准 Download PDF

Info

Publication number
CN106455944A
CN106455944A CN201580024436.7A CN201580024436A CN106455944A CN 106455944 A CN106455944 A CN 106455944A CN 201580024436 A CN201580024436 A CN 201580024436A CN 106455944 A CN106455944 A CN 106455944A
Authority
CN
China
Prior art keywords
image
organizational structure
sensor
model
visable representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580024436.7A
Other languages
English (en)
Other versions
CN106455944B (zh
Inventor
D·潘埃斯库
D·H·琼斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN106455944A publication Critical patent/CN106455944A/zh
Application granted granted Critical
Publication of CN106455944B publication Critical patent/CN106455944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/00048—Constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Computer Graphics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pulmonology (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Urology & Nephrology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

提供一种方法，以将三维(3D)结构的定量三维(Q3D)模型与解剖结构内部的表面下目标对象的3D可视化表示对准，所述方法包括：识别3D可视化表示中所表示的3D结构的外部表面内的基准点；识别Q3D模型内的相同基准点；将3D可视化表示中的所识别的基准点与Q3D模型中的所识别的基准点对准；以及产生3D结构的可视化图像表示，该可视化图像表示包括外部表面的视图和内部表面下目标结构的视图。

Description

Q3D模型与3D图像的对准
相关申请
本申请要求于2014年3月28日提交的名称为“手术场景的定量三维成像(QUANTITATIVE THREE-DIMENSIONAL IMAGING OF SURGICAL SCENES)”的美国临时专利申请No.61/971,749；以及于2014年12月23日提交的名称为“Q3D模型与3D图像的对准(ALIGNMENT OF Q3D MODELS WITH 3D IMAGES)”的美国临时专利申请No.62/096,515的优先权的利益，所述专利申请的全部内容以引用方式并入本文。
技术领域
本发明总体涉及具有相关联的图像传感器的手术内窥镜检查系统，并且更具体地涉及确定显示在手术图像中的物理结构的三维坐标。
背景技术
定量三维(Q3D)视觉提供关于真实世界场景中的目标点的实际物理(x、y、z)3D坐标的数值信息。借助定量3D视觉，人不仅可以获得真实世界场景的三维感知，而且可以获得关于该场景中的对象的物理尺寸和该场景中的对象之间的物理距离的数值信息。以往，已经提出了一些Q3D系统，其使用飞行时间(time-of-flight)相关的信息或相位信息以确定关于场景的3D信息。其他Q3D系统已经使用结构光来确定关于场景的3D信息。
飞行时间信息的使用在名称为“CMOS兼容的三维图像传感器IC(CMOS-compatiblethree-dimensional image sensor IC)”的美国专利No.6,323,942中有所公开，该专利公开了三维成像系统，该系统包括使用CMOS制造技术在普通IC上制造的二维像素阵列光感测检测器。每个检测器具有相关联的高速计数器，该计数器累积在数量上与系统发出的脉冲的飞行时间(TOF)成正比的时钟脉冲，以从物点反射并且通过聚焦在该点上的像素检测器来检测。TOF数据提供从特定像素到反射所发出的光脉冲的对象上的点的距离的直接数字测量。在第二实施例中，计数器和高速时钟电路被省略，并且作为替代，每个像素检测器具有电荷积聚器和电子快门。快门在光脉冲发出时打开并且在其后关闭，使得每个像素检测器根据落在相关联的像素检测器上的返回光子能累积电荷。累积的电荷量提供来回TOF的直接测量。
延时信息的使用在名称为“用于内窥镜3D数据收集的装置和方法(Apparatus andmethod for endoscopic 3D data collection)”的美国专利No.8,262,559中有所公开，除了光成像机构以外，该专利公开了经调节的测量光束和光传送机构，用于将测量光束传导至要观察的区域上，其中光传送机构包括照明透镜，光成像机构用于将来自要观察区域的信号光束至少成像到相敏图像传感器上。可对应毫米范围内的深度差异的时间延迟导致相位信息，相位信息使描绘深度信息和距离信息的图像的产生成为可能。
使用结构光以确定对象在视觉图像中的物理坐标在名称为“内窥镜(Endoscope)”的美国专利申请公开No.2012/0190923中；以及在C.Schmalz等人的“基于结构光的内窥镜3D扫描仪(An endoscopic 3D scanner based on structured light)”，Medical ImageAnalysis，16(2012)1063-1072中有所公开。三角形法用于测量表面形貌。可具有不同颜色光谱范围的呈投影光线形式的结构光入射在表面上并且从该表面反射出。反射光线通过被校准的相机来观察，以使用反射的颜色光谱信息来确定表面的3D坐标。更具体地，结构光的使用通常涉及照亮3D表面上的光图案，并且基于由于物理对象轮廓而产生的光的变形图案来确定物理距离。
已经构建成像器阵列相机，其包括可以用于计算用于阵列中的像素的场景深度信息的多个像素阵列。高分辨率(HR)图像自多个低分辨率(LR)图像生成。选择基准视点并且生成如通过该视点所看到的HR图像。视差处理技术利用混叠效应来确定无基准图像关于基准图像像素的像素对应。融合和超分辨率用于从多个LR图像产生HR图像。参见例如名称为“使用带有异构成像器的单片相机阵列捕捉并处理图像(Capturing and ProcessingImages using Monolithic Camera Array with Heterogeneous Imager)”的美国专利No.8,514,491；名称为“用于使用假设融合从包括混叠的场景的多个视图确定深度的系统和方法(Systems and Methods for Determining Depth from multiple Views of aScene that Include Aliasing using Hypothesized Fusion)”的美国专利申请公开No.2013/0070060；以及K.Venkataraman等人的“PiCam：超薄高性能单片相机阵列(PiCam：An ultra-Thin high Performance Monolithic Camera Array)”。
图1为示出根据一些实施例的已知成像器传感器180的细节的示意图。图像传感器180包括传感器184的排列。在该排列中的每个传感器包括二维的像素排列，该二维的像素排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠186。每个透镜堆叠186具有对应的焦平面188。每个透镜堆叠186创建单独的光学通道，光学通道将图像分解到设置在其对应焦平面188中的对应像素排列上。像素用作光传感器，并且每个焦平面188与其多个像素一起用作图像传感器。每个传感器与其焦平面188一起占据的传感器排列区域与其他传感器和焦平面所占据的传感器排列区域不同。
图2为示出图1的传感器184的已知排列的简化平面图的示意图，传感器184的已知排列包括被标记为传感器S11到S33的传感器。成像器传感器布置184在半导体芯片上进行制造以包括多个传感器S11到S33。传感器S11到S33中的每个包括多个像素(例如，0.32兆像素)，并且耦接到包括独立读出控制和像素数字化的外围电路(未示出)。在一些实施例中，传感器S11到S33排列成如图2所示的格网格式。在其他实施例中，传感器以非格网格式排列。例如，传感器可以环形图案、之字形图案、分散图案或包括子像素偏移的不规则图案排列。
图1至图2的传感器184的每个单个像素包括微透镜像素堆叠。图3为示出图1至图2的传感器的已知微透镜像素堆叠的示意图。像素堆叠800包括微透镜802，其放置在氧化层804之上。通常，氧化层的下方可以有滤色镜806，其设置在氮化层808之上，氮化层808设置在第二氧化层810之上，第二氧化层810位于硅层812的顶上，硅层812包括单个像素的有效区域814(通常是光电二极管)。微透镜802的主要作用是收集入射在其表面上的光并且使所述光聚焦在小的有效区域814上。像素孔径通过微透镜的扩展度来确定。
关于上述已知的成像器传感器排列架构的附加信息在美国申请No.US 8,514,491B2(提交于2010年11月22日)和美国专利申请公开No.US 2013/0070060 A1(提交于2012年9月19日)中有所提供。
发明内容
在一方面，提供系统和方法，以将三维(3D)结构的表面的Q3D模型与相同3D结构的3D可视化表示对准(align)，所述表示包括表面下(sub-surface)细节。系统至少包括Q3D内窥镜、至少一个处理器或处理子系统，所述处理器或处理子系统生成Q3D模型并且执行对准、执行接收3D可视化表示的输入以及执行进行存储的输出、执行显示，或者进一步处理或操纵Q3D模型和3D可视化表示的对准的结果。
在一些实施例中，3D可视化表示可以包括3D解剖结构的3D MRI图像或CT图像。识别在3D可视化表示内的指示3D结构的表面轮廓的多个基准点。另外，识别在Q3D模型内的指示3D结构的相同表面轮廓的多个基准点。将一个或多个几何转换应用到3D结构的3D可视化表示，以将3D可视化表示中的所识别的基准点与Q3D模型中的所识别的基准点对准。产生3D结构的可视化图像表示，其包括Q3D内窥镜视野内的3D结构的表面的视图，并且还包括内部表面下目标结构的视图。
附图说明
当结合附图阅读时，从下面详细描述可以最好地理解本公开的方面。应当强调的是，根据行业中的标准实践，各种特征不是按比例绘制的。实际上，为了便于论述，各种特征的尺寸可任意增大或减小。此外，本公开可以在各种示例中重复参考标号和/或字母。这种重复是出于简化和清楚的目的，而其本身并不表示所讨论的各种实施例和/或构造之间的关系。
图1为示出已知成像器传感器的细节的示意图。
图2为示出图1的成像器传感器的已知传感器阵列的简化平面图的示意图。
图3为像素在图2的传感器阵列的传感器内的已知微透镜像素堆叠的示意图。
图4为示出根据一些实施例的透过观察器的手术场景的透视图的示意图。
图5为根据一些实施例的远程操作手术系统的示意方框图，该系统使用一个或多个机械臂来执行微创手术程序。
图6为根据一些实施例的图5的系统的患者侧系统的示意透视图。
图7A为根据一些实施例的第一内窥镜的示意图，第一内窥镜包括第一图像捕捉系统。
图7B为根据一些实施例的第二内窥镜的示意图，第二内窥镜包括第二图像捕捉系统。
图8为示出根据一些实施例的与包括图7A的第一图像捕捉系统的第一内窥镜相关联的控制块，并且示出操作中的系统的示意方框图。
图9为根据一些实施例的表示确定物理目标的定量三维位置的过程的示意流程图。
图10为示出根据一些实施例的通常对应于模块图9以系统地选择目标的过程的某些细节的示意流程图。
图11为根据一些实施例的示例传感器成像器阵列的示意图，传感器成像器阵列包括多个传感器并且设置成具有包含示例性三维物理世界场景的视野，示例性三维物理世界场景包括三个示例性对象。
图12为表示根据一些实施例的图11的多个物理对象到多个传感器上的投影的示意图。
图13为指示根据一些实施例的从现实世界场景内选择感兴趣区域(ROI)的示意图。
图14为示出根据一些实施例的关于多个传感器中的投影图像的相对几何偏移的细节的示意图。
图15为示出根据一些实施例的感兴趣区域(ROI)内的某些示例传感器中的投影图像的示意图，所述投影图像向右移位以与ROI内的指定基准传感器中的投影图像对齐。
图16为示出根据一些实施例的所选目标点到多个传感器上的投影的示意图。
图17为示出根据一些实施例的包括图16的多个传感器的成像器阵列的一部分和设置在物理空间中的适当位置处的所选目标点T的示意图。
图18为根据一些实施例的当前所选目标点T到图16的多个图像传感器上的投影的示意性正视图。
图19为示出根据一些实施例的当前所选目标相对于如上参考图17所述的多个传感器的布置的示意图，并且该示意图还示出传感器中的每个的候选像素的y方向像素偏移。
图20为表示根据一些实施例的在手术程序期间使用Q3D信息的第一过程的示意流程图。
图21为示出根据一些实施例的按照图20的过程在显示屏上所显示的菜单选择的示意图。
图22A至图22B为表示根据一些实施例的按照图20的过程接收用户输入的某些细节的示意图。
图23为表示根据一些实施例的在手术程序期间使用Q3D信息的第二过程的示意图。
图24为示出根据一些实施例的按照图23的过程在显示屏上所显示的菜单选择的示意图。
图25为示出根据一些实施例的处理器的细节的示意图，所述处理器在3D显示器上显示Q3D模型的3D透视图。
图26为表示示例解剖结构的3D体积图像表示的示例的示意图。
图27A为示出3D MRI/CT表示的横截面的示意图，其示出解剖结构的表面结构和解剖结构的表面下结构。
图27B为表示解剖对象的3D视图和使用CT或MRI技术创建的穿过所述对象的相关联的2D图像切片的示意图。
图28为示出根据一些实施例的Q3D内窥镜的示意图，所述Q3D内窥镜被定位成捕捉对应于图26的解剖结构的表面部分的图像信息。
图29为根据一些实施例的概念地表示将图26的解剖结构的示例3D MRI/CT横截面与图28的示例Q3D模型对准的过程的示意图。
图30为示出根据一些实施例的将Q3D模型与3D MRI/CT表示对准的过程的细节的示意流程图。
图31为表示根据一些实施例基于Q3D-MRI/CT组合模型生成可视化显示的过程的示意流程图。
图32为表示根据一些实施例的Q3D-MRI/CT组合模型的示意图。
图33A至图33C为表示根据一些实施例的基于内窥镜视野内的解剖结构的三个不同表面区域的三个不同Q3D-MRI/CT组合模型的示意图。
具体实施方式
给出以下描述以使本领域技术人员能够创建并使用手术内窥镜检查系统，该系统具有多个图像传感器，每个传感器包括与其他传感器的像素阵列分离的像素阵列，以便确定图像传感器的视野内的物理结构的三维坐标。对于本领域的技术人员而言，将易于对本实施例进行各种修改，并且本文所定义的一般原则可以应用于其他实施例和应用，而不背离本发明主题的精神和范围。而且，在下面描述中，出于说明的目的阐述了许多细节。然而，本领域的普通技术人员将认识到本发明主题可在没有这些具体细节的情况下进行实践。在其他情况下，为了不因不需要的细节而混淆本公开，因此以方框图形式示出众所周知的机器部件、过程和数据结构。相同的参考标号可以在不同附图中用于表示相同项的不同视图。下面所参考的附图中的流程图用于表示过程。计算机系统可以经配置执行这些过程中的一些。表示计算机实施过程的流程图内的模块表示根据计算机程序代码的计算机系统的配置，以执行参考这些模块描述的作用。因此，本发明主题并非旨在被限于所示实施例，而是符合与本文所公开的原则和特征一致的最广范围。
简要概述
根据一些实施例，成像器包括与内窥镜相关联的传感器阵列。图像传感器阵列包括多个传感器，并且每个传感器包括像素阵列。内窥镜的一部分插入人体体腔中，并且使用光源来照亮图像传感器阵列的视野中的目标对象。目标对象的物理位置和/或尺寸基于投影到阵列的单个传感器上的目标对象的图像来确定。
图4为示出根据一些实施例的透过观察器312的手术场景的透视图的示意图。具有两个观察元件401R、401L的观察系统可以提供优良的3D观察透视图。表示手术场景中的物理结构的物理尺寸和/或位置信息的所示数值覆盖在手术场景图像上。例如，所示数值距离值“d_Instr_Trgt”显示在器械400和目标410之间的场景内。
远程操作医疗系统
远程操作指的是在一定距离处的机器的操作。在微创远程操作医疗系统中，外科医生可以使用包括相机的内窥镜以观察患者体内的手术部位。立体图像已经被捕捉，其允许在手术程序期间进行深度的感知。根据一些实施例，相机系统安装在内窥镜上并且包括成像器传感器阵列，所述相机系统提供加上颜色和照明数据的定量三维信息，所述定量三维信息可以用于生成三维图像。
图5为根据一些实施例的远程操作手术系统100的示意方框图，系统100使用一个或多个机械臂158来执行微创手术程序。系统100的方面包括遥控机器人和自主操作的特征。这些机械臂经常支撑器械。例如，机械手术臂(例如，中心机械手术臂158C)可以用于支撑带有立体或三维手术图像捕捉设备101C(诸如内窥镜相关联的Q3D图像传感器阵列)的内窥镜。机械手术臂158C可以包括无菌适配器或夹钳、夹子、螺钉、狭槽/凹槽或其他紧固件机构，以将包括图像捕捉设备101C的内窥镜机械地固定到机械臂。相反地，带有图像捕捉设备101C的内窥镜可以包括与机械手术臂158C互补的物理轮廓和/或结构，以便牢固地与其互相配合。
用户或操作者O(通常是外科医生)通过在主控制台150处操纵控制输入设备160来对患者P执行微创手术程序。操作者可以通过立体显示设备164来观察患者身体内部的手术部位的图像的视频帧，立体显示设备164包括以上参考图4所描述的观察器312。控制台150的计算机151经由控制线159引导远程操作控制的内窥镜手术器械101A至101C的移动，从而使用患者侧系统152(也称为“患者侧推车”)来影响器械的移动。
患者侧系统152包括一个或多个机械臂158。通常，患者侧系统152包括至少三个机械手术臂158A至158C(通常称为机械手术臂158)，所述机械手术臂158通过对应的定位组合臂156(set-up arm)来支撑。中心机械手术臂158C可以支撑内窥镜相机101C，内窥镜相机101C适合于捕捉用于相机视野内的图像的Q3D信息。中心左侧和右侧的机械手术臂158A和158B分别可以支撑可操纵组织的器械101A和器械101B。
图6为根据一些实施例的患者侧系统152的示意透视图。患者侧系统152包括通过基座172支撑的推车柱170。一个或多个机械插入手术臂/连杆158分别附接到一个或多个组合臂156，组合臂156是患者侧系统152的定位部分的一部分。近似地位于基座172上的中心位置处，推车柱170包括保护配重子系统和制动子系统的部件远离污染物的保护罩180。
除监控器臂154之外，每个机械手术臂158均用于控制器械101A至101C。而且，在本发明的一个实施例中，每个机械手术臂158均耦接到组合臂156，组合臂156进而耦接到托架壳体190。一个或多个机械手术臂158各自通过其相应的组合臂156来支撑，如图6所示。
机械手术臂158A至158D各自可以包括一个或多个位移换能器、定向传感器和/或定位传感器185，以生成原始的未校正的运动学信息，从而通过追踪系统辅助器械的初始获取和追踪。在本发明的一些实施例中，器械还可以包括位移换能器、定位传感器和/或定向传感器186。而且，一个或多个器械可以包括标记189来辅助器械的获取和追踪。
关于远程操作医疗系统的附加信息在美国专利申请公开No.US 2012/0020547(提交于2011年9月30日)中有所公开。
内窥镜成像器系统
图7A为根据一些实施例的带有第一图像捕捉系统101C的第一内窥镜的示意图。图像捕捉系统101C包括内窥镜，内窥镜包括伸长部分202，伸长部分202包括第一端部204和第二端部206以及第一端部204的顶端部分208。第一端部204的尺寸设定成插入人体体腔中。包括多个图像传感器(未示出)的传感器阵列210耦接在第一端部204的顶端部分208处。根据一些实施例，传感器阵列210中的每个传感器包括像素阵列。伸长部分202具有足以将顶端部分208定位成足够靠近体腔内的目标对象的长度，使得可以通过成像器传感器阵列210来使对象成像。根据一些实施例，第二端部206可以包括通常如上所述的物理轮廓和/或结构(未示出)，以便牢固地与机械臂(未示出)互相配合。伸长部分202还包括一个或多个电子信号路径212以电子地与成像器传感器阵列210传达信息。设置光源214来照亮要成像的对象。根据一些实施例，光源214可以是非结构化的光，例如白光、滤色光或处于一些所选波长的光。根据一些实施例，光源214位于顶端208处，而在其他实施例中其任意地与内窥镜101C分开定位。
图7B为根据一些实施例的带有第二图像捕捉系统101C2的第二内窥镜的示意图。基本上与带有第一图像捕捉系统101C的第一内窥镜相同的第二图像捕捉系统101C2的方面由相同的参考标号指示并且不再描述。到光导管输入电路的输入端诸如棒形透镜设置在第一端部204的顶端部分208处。光导管主体在伸长部分202内延伸，以便将作为光导管输入接收的图像传输到成像器传感器阵列210，成像器传感器阵列210从顶端部分208物理移置。在一些实施例中，成像器传感器阵列210移置到距顶端部分208足够远，使得成像器传感器阵列210在观察体腔内的对象期间位于人体体腔外部。
图8为示出根据一些实施例的与带有图7A的第一图像捕捉系统101C的第一内窥镜101相关联的控制块，并且示出操作中的系统的示意方框图。通过成像器传感器阵列210捕捉的图像通过数据总线212发送到视频处理器104，视频处理器104经由总线105与控制器106进行通信。视频处理器104可以包括相机控制单元(CCU)和视频信号检测器(VSD)板。CCU对成像传感器210的各种设置诸如亮度、颜色方案、白平衡等进行编程或控制。VSD处理从成像传感器接收的视频信号。替代地，CCU和VSD结合到一个功能块中。
根据一些实施例，包括一个或多于一个处理器的处理器系统经配置执行处理器功能。在一些实施例中，处理器系统包括多个处理器，所述多个处理器经配置一起进行操作以执行本文所述的处理器功能。因此，本文提及的经配置执行一种或多种功能的至少一个处理器包括处理器系统，在处理器系统中，所述功能可以通过一个处理器单独执行或者通过多个处理器一起工作来执行。
在一种实施方式中，包括处理器和存储设备(未示出)的控制器106计算场景中的邻近伸长部分202的顶端208的点的定量3D坐标，并且驱动视频处理器104和3D显示器驱动器109两者来构成3D场景，然后3D场景可以显示在3D显示器110上。根据一些实施例，生成关于手术场景的Q3D信息，诸如场景中对象的表面轮廓的尺寸数值记号或距手术场景内的对象的距离。如下面更充分解释的那样，数值Q3D深度信息可以用于借助距离信息或表面轮廓信息对手术场景的立体图像加以注释。
数据总线107和数据总线108交换信息并且控制视频处理器104、控制器106和显示器驱动器109之中的信号。在一些实施例中，这些元件可以在内窥镜主体内部与图像传感器阵列210结合。替代地，它们可以分布在内窥镜的内部和/或外部。所示内窥镜经由插管140定位以穿透人体组织130，以便提供到包括目标120的手术场景的可视化入口。替代地，内窥镜和一个或多个器械还可以穿过单个开口(单个切口或自然孔口)以到达手术部位。目标120可以是解剖目标、另一手术器械或患者身体内部的手术场景的任何其他方面。
输入系统112接收3D视觉表示并且将其提供给处理器106。输入系统112可以包括耦接到电子通信总线(未示出)的存储设备，该存储设备从生成3D模型的系统(未示出)接收3D模型，诸如CRT或MRI。处理器106例如可以用于计算Q3D模型和3D视觉表示之间的预期对齐。更具体地，但不限于，输入系统112可以包括处理器，处理器经配置在系统152和成像系统(未示出)(诸如MRI、CT或超声波成像系统)之间建立以太网通信连接。可以使用其他成像系统。可以使用其他类型的通信连接，诸如蓝牙、WiFi、光纤等。替代地，系统152和成像系统可以结合在一个更大的系统中。对齐过程的结果可保存在与处理器106相关联的存储设备中，为外部设备或系统或如图25所显示的流程提供进一步的操纵。
添加到场景图像的Q3D信息的示例
再次参考图4，图4为示出根据一些实施例的图5的主控制台150的观察器312的透视图的示意图。根据一些实施例，为提供三维透视图，观察器312包括针对每只眼睛的立体图像。如图所示，手术部位的左侧图像400L和右侧图像400R包括分别在左侧取景器410L和右侧取景器401R中的任何器械400和目标410。取景器中的图像400L和图像400R分别可以通过左侧显示设备402L和右侧显示设备402R来提供。显示设备402L、402R可以任选地为一对阴极射线管(CRT)监控器、液晶显示器(LCD)或其他类型的图像显示设备(例如，等离子体、数字光投影等)。在本发明的优选实施例中，彩色图像通过一对彩色显示设备402L、402R来提供；诸如彩色CRT或彩色LCD。为支持与现有设备的向后兼容性，立体显示设备402L和402R可以与Q3D系统一起使用。替代地，Q3D成像系统可以连接到3D监控器、3D TV或自由立体显示器，诸如无需使用3D效果眼镜的显示器。
具有两个观察元件401R、401L的观察系统可以提供优良的3D观察透视图。Q3D成像系统使用手术场景中的物理结构的实际尺寸信息补充该观察透视图。与Q3D内窥镜检查系统结合使用的立体观察器312可以显示覆盖在手术场景的立体图像上的Q3D信息。例如，如图4所示，器械400和目标410之间的数字Q3D距离值“d_Instr_Trgt”可以显示在立体观察器312内。
可以用于覆盖手术场景的3D透视图上的物理位置和尺寸信息的视频立体观察系统的说明在美国专利申请公开No.US 2012/0020547(提交于2011年9月30日)的[0043]至[0053]段和对应附图中有所提供，其以引用方式明确地并入本文。
处理定量三维物理信息
图9为根据一些实施例的表示确定物理目标的定量三维位置的过程的流程图。该过程参考带有图8实施例的图像捕捉系统101C的内窥镜进行描述。模块401配置控制器106以从成像传感器Sij获取视频数据。应该认识到，虽然图像传感器阵列210使全部视野“成像”，但图像传感器阵列210中的不同传感器和不同传感器内的不同像素可以通过来自视野内的不同对象点的图像投影来照亮。例如，视频数据可以包括颜色或光强度数据。每个传感器的每个像素可以提供指示投影在其上的图像的颜色和强度的一个或多个信号。模块402配置控制器以从物理世界视图(world view)中的所选感兴趣区域中系统地选择目标。模块403配置控制器以开始使用初始(x0，y0，z0)设置计算目标3D坐标(x，y，z)。然后，通过使用来自接收目标投影图像的所有传感器Sij的图像多样性数据，该算法检查坐标的一致性。坐标计算在决定模块404处进行精确化，直到达到可接受的精确度。决定模块404还配置控制器以确定是否当前计算的物理位置是否足够精确。响应于当前计算的位置不精确的确定，控制流程返回到模块403以尝试不同的可能的物理位置。响应于当前计算的位置足够精确的确定，模块405配置控制器以确定是否已经扫描整个感兴趣区域。响应于尚未扫描整个感兴趣区域的确定，控制流程返回到模块402并且选择不同的目标。响应于已经扫描整个感兴趣区域的确定，控制流程到模块406，模块406配置控制器以组合感兴趣的成像体积的三维模型。基于指示目标的结构的物理位置的三维信息组合目标的3D图像对本领域的技术人员而言是已知的并且不需要在本文进行描述。模块407配置控制器以存储通过使用为多个目标确定的物理位置信息而形成的3D模型以用于进一步的查看和操纵。例如，3D模型可以稍后用于手术应用，诸如针对患者器官的特定尺寸设定植入物的尺寸。在又一不同示例中，当新手术器械101安装在机器人系统152上时，需要回调所述3D模型并且将其显示在显示器110上，以便将新器械引用到先前的手术场景。模块407还可以存储3D视觉表示和Q3D模型之间的对齐结果。模块408配置控制器以使用为多个目标确定的物理位置信息来显示定量3D视图。Q3D视图的示例是图4所示的距离值“d_Instr_Trgt”。
应当注意到，三维中的立体显示产生观察错觉。然而，实际的3D显示呈现3D图像，诸如全息图像或投影在曲面上的图像。通常，3D显示允许视野移动以改变观察视角。
图10为示出根据一些实施例的通常对应于图9的模块402的过程的某些细节的示意流程图。模块402.1配置控制器以捕捉来自传感器阵列210中所有传感器的物理世界场景的图像。模块402.2配置控制器以从捕捉的场景内指定感兴趣的区域。模块402.3配置控制器以搜寻如感兴趣区域内的场景图像之间的最佳匹配，以便识别在不同传感器中的通过相同目标的投影照亮的像素位置。如稍后所解释，但不限于，通过使来自传感器Sij的单个图像移位，直到移位图像和基准图像之间的二维交叉相关函数最大化，可实现最佳匹配。基准图像例如可以是从传感器S11接收的场景图像。模块402.4配置控制器以识别通过来自相同目标的投影照亮的候选像素。模块402.5配置控制器以计算用于所选目标的两个或更多个像素坐标(Nx，Ny)，从而确定候选像素是否通过来自相同目标的投影照亮。决定模块402.6确定计算的2D像素坐标值是否指示候选像素通过来自相同目标的投影照亮。通过使用多个传感器Sij观察相同场景所导致的图像多样性在与各种单个图像Sij中的具体目标相关联的正确识别(Nx，Ny)中起作用。例如，根据一些实施例，假设一种仅使用三个传感器S11、S12和S13的简化情境，如果2D像素坐标的三元数组[(NX11，Ny11)、(Nx12，Ny12)、(Nx13，Ny13)]并不对应于相同目标到[S11，S12和S13]上的投影，则数量和(y方向上投影移位的估计值)将产生不同的值。根据稍后提出的方程式，如果像素坐标((NX11，Ny11)、(Nx12，Ny12)、(Nx13，Ny13)来自相同目标的投影，则和应该是相等的。
如果和不近似相等，则控制流程返回到模块402.4并且使传感器平面Sij上的目标投影的最佳候选精确化。如上所述，上述仅是算法的简化实施。通常，如图10模块402.6所示，和之间差的范数应该小于可接受公差ε，以便使模块402完成其迭代。对于X轴线的对应估计值和应满足类似的限制。响应于确定计算的2D像素坐标值(Nx，Ny)确实指示候选像素通过来自相同目标的投影来照亮，则控制流程到至模块403。
应该认识到，每个像素直接从世界场景捕捉颜色和强度信息。而且，根据上述过程，每个像素与投影在像素上的世界视图中物理对象的(x，y，z)坐标相关联。因此，颜色信息、照明强度信息和物理位置信息，即被投影的物理对象的颜色和照明以及位置，可以与非暂时性计算机可读存储设备中的像素相关联。下面表格1示出该关联。
表格1
像素标识符 颜色值 强度值 位置(x，y，z)
确定Q3D信息的示例
投影匹配的示例
图11为根据一些实施例的示例传感器阵列210的示意图，传感器阵列210包括传感器S11至S33的阵列，传感器S11至S33的阵列被设置为具有包括示例性三维物理世界场景的视野，该场景包括三个示例性对象。阵列中的每个传感器Sij包括像素的二维排列，所述排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠(lens stack)，透镜堆叠创建单独的光学通道，光学通道将图像分解到设置在透镜堆叠的焦平面中的对应像素排列上。每个像素用作光传感器，并且每个焦平面和其多个像素一起用作图像传感器。每个传感器S11至S33和其焦平面一起占据的传感器阵列区域与其他传感器和焦平面占据的传感器阵列区域不同。合适的已知图像传感器在美国专利No.US 8,514,491(提交于2010年11月22日)和美国专利申请公开No.US 2013/0070060(提交于2012年9月19日)中有所公开，所述专利在上面进行了描述。
根据一些实施例，传感器的特征为Nx和Ny(传感器在x方向和y方向上的像素的总数)，以及视野角度θx和θy。在一些实施例中，期望x轴线和y轴线的传感器特征是相同的。然而，在替代实施例中，传感器具有不对称的x轴线特征和y轴线特征。类似地，在一些实施例中，所有的传感器将具有相同的像素总数和相同的视野角度。传感器以良好受控制的方式分布在整个传感器阵列210中。例如，传感器可以在所示的二维格网上以δ距离分开。传感器布置间距δ在整个此格网上可以对称或不对称。
在图11所示的实施例中，传感器排列在矩形格网中，在该矩形格网中，传感器S11至S13占据顶行，传感器S21至S23占据中间行，并且传感器S31至S33占据底行。每个传感器包括N行像素和N列像素。由虚线指示的通过光源产生的光线从三角形的第一对象、球形的第二对象和矩形的第三对象中的每个反射到成像器阵列中的每个传感器。为了进行示意性的说明，仅示出到顶行中的传感器S11、S12和S13的光线。例如，光源可以是非结构化的白光或背景光。替代地，光源可以提供处于所选波长的光，诸如例如在可见光谱或红外线光谱中的光，或者光可以被过滤或分割以提供所选波长(例如，颜色)或波长范围(例如，颜色范围)。应该认识到，光线类似地从目标中的每个反射到传感器S21至S33。然而，为了简化说明，未示出这些其他光线。
根据模块401和模块402.1，传感器阵列210的传感器单独地从世界视图中捕捉图像。图12为根据一些实施例的表示图11的三个对象到传感器Sij(仅示出S11、S12和S13)上的投影的示意图。本领域的技术人员将认识到入射在传感器上的反射光线投影视野中的物体的图像。更具体地，从视野中的对象反射出的入射到成像器阵列的多个不同图像传感器上的光线在接收反射光线的每个传感器中产生对象的从三维到二维的透视投影，即不同投影。具体地，当从S11前进到S12到S13时，对象投影的相对位置从左侧移位到右侧。通过入射光线照亮的图像传感器像素响应于入射光产生电信号。因此，对于每个图像传感器，响应于指示该图像传感器内的图像投影的形状和位置的反射光，通过该图像传感器的像素产生电信号的图案。
根据模块402.2，感兴趣的区域选自世界场景。图13为指示从场景内选择感兴趣区域的示意图。在该示例中，三角形的第一对象、球形的第二对象和矩形的第三对象均在所选的感兴趣区域中。该步骤可以通过接受来自操作者的输入来实现，或者其可以使用由软件以规定方式配置的计算机来自动执行，或者通过操作者输入和自动软件控制选择的组合实现。例如，在一些实施例中，世界场景可以示出人类解剖结构的内腔，并且对象可以是内部人体器官或手术器械或其部分。外科医生可以从内腔内接收实时视觉影像，并且可以看到人类解剖结构的组织区域和在体腔内突出的手术器械的一部分。外科医生可以指定视野内的那些对象，对象的位置信息通过众所周知的技术来确定，所述技术诸如远程图显视频标记。替代地或另外地，此操作者请求，自动化处理诸如边缘检测算法可以用于指定感兴趣区域(ROI)。
根据模块402.3，确定在感兴趣区域内的场景图像之间的最佳匹配，以便识别不同传感器中的通过相同目标的投影照亮的像素位置。图14为示出根据一些实施例的关于传感器S11、S12和S13中投影图像的相对几何偏移的附加细节的示意图。根据一些实施例，来自传感器S13的图像被认为是基准图像，并且所选ROI中的对象的投影相对于它们在传感器S13中的位置在传感器S12中按照量σ23像素向右偏移。类似地，所选ROI中的对象的投影相对于它们在传感器S13中的位置在传感器S11中按照量σ13像素向右偏移。应该认识到，由于传感器S12、S11的视野(FOV)观察轴各自偏移到传感器S13的FOV观察轴的右侧(此类观察轴垂直于传感器平面)，所以来自ROI的投影图像相对于传感器S11在传感器S13和传感器S12中向左偏移。
图15为示出根据一些实施例的ROI内的传感器S11和S12中的投影图像的示意图，所述投影图像向右侧移位以与ROI内的传感器S13中的投影图像对齐。在当前示例中，传感器S13被指定用作基准传感器。应该认识到，可选择其他传感器用于确定对齐和几何尺寸。所选ROI内对象的投影在指定传感器例如传感器S13中被识别，并且在其他传感器例如传感器S11和传感器S12中的投影被移位直到其与指定传感器中的投影对齐。用这种方式，可以在其他传感器内识别所选ROI内对象的对应投影，连同其相对于指定传感器中投影的位置的偏移。
具体地，例如，三个示例对象的投影在传感器S12中按照量σ23像素向右移位，并且三个示例性对象的投影在传感器S13中按照量σ13像素向右移位。在示例性示例中，为了简化说明，假设投影仅在y方向上偏移不在x方向上偏移，但是相同的原则应用于如传感器之间的x方向投影偏移。然而，虽然该示例示出线性偏移，但本领域的技术人员可以应用其他转换诸如旋转，以使不同传感器中的具有相对偏移的投影对齐。
根据一些实施例，例如，二维(2D)交叉相关技术或主成分分析(PCA)可以用于将S13中ROI内的投影与S12中ROI内的投影对齐，并且将S13中ROI内的投影与S11中ROI内的投影对齐。通常，希望关于指定为基准的传感器的图像最佳匹配或对齐来自传感器Sij的图像。更具体地，S12中ROI内的投影图像被移位并且与S13中ROI内的投影图像交叉相关，直到实现最高的相关系数。同样地，S11中ROI内的投影图像被移位并且与S13中ROI内的投影图像交叉相关，直到实现最高的相关系数。因此，ROI的投影对齐用于通过确定S13中ROI的投影和S12中ROI的投影之间的偏移，并且通过确定S13中ROI的投影和S11中ROI的投影之间的偏移，来识别传感器S11和传感器S12中ROI的投影位置。
候选像素选择和精确化的示例
根据模块402.4，识别在不同传感器内的候选像素，根据最佳匹配过程，所述不同传感器通过来自相同目标的投影照亮。一旦已经在传感器S11、S12和S13中的每个中识别ROI内的对象的投影，则可确定ROI内单个目标点相对于成像器阵列的物理(x，y，z)投影。根据一些实施例，对于ROI内多个目标点中的每个，识别通过来自目标点的投影照亮的多个传感器中的每个内的一个或多个像素。对于每个此目标点，至少部分基于设置在确定通过来自目标点的投影照亮的不同传感器中的像素之间的几何关系确定物理(x，y，z)目标点位置。
应该认识到，一系列的目标点可以通过系统地遍历ROI(例如，以特定的步长大小从右向左并且以步长大小从上到下)来自动选择，并且可以确定每个所选目标点的物理(x，y，z)目标点位置。由于S11和S12与S13最佳匹配，所以遍历在移位的感兴趣区域内部执行。选择目标包括识别通过目标的投影照亮的传感器S11、S12和S13中的每个中的像素。因此，S11、S12和S13中的每个中的候选像素被识别为通过所选目标点的投影照亮的像素。
换言之，为了选择目标点T，在通过目标点T的投影照亮的传感器S11、S12和S13中的每个中选择像素。应该认识到，目标T的(x，y，z)物理位置在其选择的时候是未知的。而且，应该认识到，上述对齐过程的不精确可以导致每个传感器中哪些像素被所选目标T的投影照亮的确定的不精确。因此，如参考图17、图18和图19所解释，根据通过当前所选目标T的投影照亮的S11、S12和S13中的每个中的像素确定的精确度作出进一步确定。
继续上述示例，假设三角形的第一对象为当前所选目标点。图16为示出根据一些实施例的所选三角形目标点到传感器S11、S12和S13上的投影的示意图。根据这些投影，确定目标T的2D像素坐标[(NX11，Ny11)、(Nx12，Ny12)、(Nx13，Ny13)]。为了简单化，图16仅示出y轴像素坐标。使用这些2D像素坐标，应用表达式(402.5-1)和(402.5-2)并且计算的和作为模块402.5的一部分。作为模块402.6的一部分，计算范数并且将其与可接受公差ε相比。类似地，计算x轴像素坐标和位置估计值并且将其与可接受公差相比较。如果模块402.6的条件满足，则过程继续到模块403。否则，过程返回到模块402.4以使目标候选进一步精确化。
参考图17，其示出包括传感器S11、S12和S13的成像器阵列的一部分，和设置在物理空间中的位置(x，y，z)处的所选三角形第一对象目标点T。成像器阵列内的传感器在其之间具有已知间距δij。S11和S12之间的物理位置间距为δ12，并且S12和S13之间的物理位置间距为δ23。在一些实施例中，所有传感器Sij之间的间距是相同的、等于δ的构造规格。传感器Sij还具有已知的视野角度θ。
如上所解释，在一些实施例中，每个传感器构造成2D成像元件，其中像素以行和列的矩形图案排列。替代地，像素可以例如环形图案、之字形图案、分散图案或以包括子像素偏移的不规则图案排列。这些元件的角度和像素特性可以相同，或替代地传感器之间彼此可不同。然而，这些特性假设为已知。为了简化说明，假设传感器相同，但是，然而，它们可以不同。
为了简化起见，假设所有的传感器Sij均具有N×N像素。在距传感器S11的距离z处，传感器的N像素宽度向外扩展到通过FOV1指示的S11的y维度视野。同样地，在距传感器S12的距离z处，传感器S12的y维度视野通过FOV2来指示。而且，在距传感器S13的距离z处，传感器S13的y维度视野通过FOV3来指示。长度FOV1、FOV2和FOV3彼此重叠，预示着传感器S11、S12和S13实现物理地位于一些(未知的)距离z处的目标T的3路采样多样性。当然，如果传感器相同地构建，如在示例中所假设的，则长度FOV1、FOV2和FOV3也将相同。应该认识到，三个长度FOV1、FOV2和FOV3均具有相同的大小并且共面，因为它们处于距成像器阵列相同的(未知的)z距离处，但是为了进行示意性的说明，将它们描绘成如同它们彼此邻近堆叠。
参考图18，其示出当前所选目标点T到图像传感器S11、S12和S13上的投影的示意性正视图。为了简化起见，假设传感器包括大小为N×N像素的几何学矩形像素阵列。还假设目标T投影的x坐标均相等。换言之，假设对于目标T到S11、S12和S13上的投影，nx1＝nx2＝nx3。为了简化说明，还假设水平的几何视野角度θ与其垂直时相同，θx＝θy。如果上述假设中的任一个改变，本领域的技术人员将知道如何修改下面提出的过程，以便计算目标T的x、y和z物理坐标。
目标T的图像在图像传感器S11的平面中，投影到传感器S11内的几何坐标(nx1，ny1)处的物理点。更具体地，目标点T到传感器S11上的投影沿y轴线位于ny1像素，并且沿x轴线位于nx1像素，x轴线和y轴线均取自原点。目标T的图像在图像传感器S12的平面中，投影到传感器S12内的几何坐标(nx2，ny2)处的物理点。目标T的图像在图像传感器S13的平面中，投影到传感器S13内的几何坐标(nx3，ny3)处的物理点。应该认识到，每个传感器内的像素位置(nxi，nyi)相对于提供给传感器的原点(0，0)基准坐标来确定。如图17或图19所示，全球坐标系(x，y，z)被定义并且用于引用目标。例如但不限于，此类坐标系的原点可以放置在传感器S11的几何中心处。
参考图16和图18两者，可以看出目标的投影的y像素距离在每个传感器中是不同的。当前所选目标T的投影在S11中被设置到原点左侧的ny1像素。所选目标T的投影在S12中被设置到原点左侧的ny2像素。所选目标T的投影在S13中被设置到原点左侧的ny3像素。如上所述，为简化说明，假设目标的投影在所有三个传感器中均落在距原点相同的x像素距离处。
参考图19，其示出当前所选目标T相对于如上参考图17所述的传感器S11、S12和S13的布置，并且还示出在传感器中的每个中的候选像素的y方向像素偏移。应该理解，图19的附图提出用于确定所选目标点T的(x，y，z)物理坐标的物理结构和分析框架。在距成像器阵列平面的(未知的)距离z处，每个传感器的y方向视野延伸过标记为FOVi的长度。在一些实施例中，该长度FOVi对应于传感器的最大像素宽度，最大像素为N像素。考虑到工作假设为传感器具有x方向和y方向上对称的视野，长度还可以是沿x轴线是竖直的FOVi。
如上所述，候选像素选择至少部分地基于可以具有不确定水平的关联过程，该关联过程可以导致所选目标的物理位置的确定不精确。因此，根据一些实施例，进一步检查目标投影候选选择的精确度可以如下进行。
确定目标的物理(x，y)位置并检查目标投影候选选择的精确度的示例
根据模块402.5，为所选目标计算两个或更多个二维(Nx，Ny)坐标值，以确定来自相同目标的投影实际上是否照亮候选像素。基于上面讨论的假设并且将3D坐标系的原点放置在传感器S11的中心处，图19中的示例中的成像器阵列和当前所选目标T具有如下关系：
其中：
N为成像传感器的像素维度；
nx1为目标点T的以在x方向上距S11平面的原点的像素数目来表达的位置；
ny1为目标点T的以在y方向上距离S11平面的原点的像素数目来表达的位置；
ny2为目标点T的以在y方向上距离S12平面的原点的像素数目来表达的位置；以及
ny2为目标点T的以在y方向上距离S12平面的原点的像素数目来表达的位置；
θ为视野的角度。
而且，如果使用传感器S11和传感器S13执行相同的公式并且假定S11和S13之间的间隔为2δ，则我们得到：
其中：
nx3为目标点T的以在x方向上距S13平面的原点的像素数目表达的位置；以及
ny3为目标点T的以在y方向上距S13平面的原点的像素数目表达的位置。
因此，所选目标T的物理x坐标的确定可以基于表达式(3)或表达式(6)来确定。所选目标T的物理y坐标的确定可以基于表达式(2)或表达式(5)来确定。所选目标T的物理z坐标的确定可以基于方程式(1)或方程式(4)来确定。
更一般地说，根据模块402.6，作出关于计算的2D坐标值是否指示候选像素通过来自相同目标的投影照亮的确定。应该认识到，目标T的物理(x，y，z)坐标的更可靠的确定可以通过使用用于每个坐标的两个公式来得到。例如，用于目标T的y坐标可以使用公式(2)和公式(5)两者来确定。如果使用两个公式计算的所得y坐标值相差超过某些可接受公差值εy，则可以作出以下确定，即匹配过程未能够以足够精确度解决不同传感器中的投影之间的偏移，并且因此候选像素不相符，因为它们没有接收到来自相同目标T的投影。在y计算匹配失败的情况下，可执行匹配过程的另外的迭代，试图改善各自对应于所选目标T的传感器内的候选像素的选择。应该认识到，因为不同传感器上的不同透视投影由于例如视差效应而可以不同，因此计算的y值不太可能相等。因此，可接受公差值根据预期的应用加以规定。对于手术成像应用，0.1mm至0.3mm的ε通常提供可接受的Q3D精确度。在没有背离本发明的精神的情况下，本领域的技术人员可以定义不同的可接受公差水平。
考虑到围绕x轴线和y轴线的假设的传感器对称性，本领域的技术人员将认识到，使用类似于(2)和(5)中那些的公式(但使用nxi代替nyi)可作出相同类型的确定。公式(3)和公式(6)不可以作为402.5和402.6的一部分被使用，因为所述公式需要z坐标的知识。然而，模块402.5和模块402.6的本质是确定传感器S11、S12和S13的平面上的正确目标投影。为此，针对x轴线和y轴线调整的公式(2)和公式(5)是足够的。完整的一组坐标(x，y，z)作为模块403和模块404的一部分被计算，如下文所述。
确定目标的物理z位置的示例
如图19所示，根据模块403和404，z坐标的初始估计值z0用于开始实施计算过程。根据医疗应用，该初始值被自动定义。医疗应用定义要进行可视化的预期世界视图。初始值z0开始于最接近内窥镜的视野边缘。参考图8，例如，对于包括手术内窥镜检查的Q3D应用，z0可以远离Q3D内窥镜202的远端208 1mm至5mm。此初始估计值通常足以用于该应用，因为不太可能使任何组织或手术器械如此紧密接近Q3D内窥镜的存在。接下来，将值z0插入公式(3)和公式(6)中。假设目标的x坐标是唯一的，则如果z0为目标的真实且正确的z坐标，那么公式(3)和公式(6)可产生在可接受的公差水平εx内的相同值或大致相等的值。
|x(3)-x(6)|＜εx (7)
如果(3)和(6)在可接受的公差εx以外，那么迭代继续并且尝试z的新估计值。根据一些实施例，新估计值被自动定义。例如，z1＝z0+Δ，其中Δ为迭代的步长。通常，在第k次迭代处，zk＝zk-1+Δ。当满足条件(7)时，迭代过程停止。在确定正确的目标坐标时，更小的Δ产生增加的精确度，但还需要更多计算时间以完成该过程，因此等待时间增加。等待时间增加可以导致手术器械的移动和通过操作的外科医生对其可视化之间的延迟。换言之，外科医生可以落后于命令感知系统。对于20cm至30cm深的手术观察空间，0.1mm至0.3mm的Δ可以是足够的。当然，本领域的技术人员将知道平衡Δ的步长和完成迭代过程所需的计算时间。
出于展示的原因，已将上述说明简化，并且因此其仅包括三个传感器S11、S12和S13。通常，更多个传感器不仅可以用于增加Q3D坐标计算的精确度，而且减少总体迭代次数。例如，如果使用多于三个的传感器，优选地3×3传感器阵列，则可以利用方法诸如最陡梯度法以趋向通过模块402.5和模块403造成的估计误差的方向。迭代步长和方向可以被调整以匹配朝向3D误差梯度表面的局部极值的进展。
借助Q3D信息引导内窥镜手术
图20为根据一些实施例的表示在手术程序期间使用Q3D信息的第一过程2000的示意流程图。计算机程序代码配置计算机151以执行过程2000。模块2002配置计算机以接收用户输入，从而当看向观察器312时选择在外科医生视野内的至少两个对象。模块2004配置计算机以响应于接收用户选择在计算机控制台上显示菜单。决定模块2006配置计算机以确定到菜单的显示距离的用户输入是否被接收。响应于确定显示距离的用户输入被接收，模块2008配置计算机以在外科医生视野中的视频图像内显示数值距离。决定模块2010配置计算机以等待接收选择距离显示的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2006的操作。
决定模块2012配置计算机以确定到菜单的输入/录入(enter)接近度(proximity)警报界限的用户输入是否被接收。响应于确定输入接近度阈值的用户输入被接收，模块2014配置计算机以使用Q3D信息来监控外科医生视野内的两个或更多个对象之间的接近度。决定模块2016确定是否已经越过接近度阈值。响应于确定已经越过接近度阈值，模块2018配置计算机以激活警报。警报可以包括声音、视觉队列诸如闪光信号灯、器械移动的锁定以避免碰撞，或其他触觉反馈。响应于确定还未越过接近度阈值的确定，控制流程返回到监控模块2014。决定模块2020配置计算机以等待接收输入接近度阈值的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2012的操作。
图21为示出根据一些实施例的按照图20过程在显示屏2102上所显示的菜单选择的示意图。显示屏2102包括与计算机151相关联的观察监控器。替代地，显示屏2102可以包括观察器312的观察元件401R、401L的区域。响应于用户输入，模块2004使菜单2104得以显示，菜单2104包括第一菜单项“显示距离”2106和第二菜单项“设定接近度警报”2108。响应于选择“显示距离”菜单项2106的用户输入，模块2008使两个或更多个对象之间的Q3D距离得以显示。再次参考图4，其示出器械400和使用模块2008显示的目标之间的Q3D距离“d_Instr_Trgt”的显示。响应于选择“设定接近度警报”菜单项2108的用户输入，显示“输入距离”UI输入2110，UI输入2110包括用户可以输入接近度距离阈值例如1cm的栏。在替代实施例(未示出)中，可以提前为所有器械设定默认的接近度阈值，并且用户可以使用例如图21的菜单来改变接近度阈值。在替代实施例中，用户可以决定选择默认阈值而不是输入阈值。在一些实施例中，用户可以选择显示距离和设定接近度警报两者。
图22A至图22B为表示根据一些实施例的按照图20的过程接收用户输入的某些细节的示意图。图22A示出目标410L、401R诸如人体组织的示例第一高光区域2202L、2202R，第一高光区域可以使用视频标记工具诸如远程图显，或者使用操纵图4的控制输入设备160的外科医生控制台创建。图22B示出器械顶端400L、400R的示例第二高光区域2206L、2206R，第二高光区域可以使用视频标记工具创建。在根据一些实施例的操作中，用户创建第一高光区域2202L、2202R。接下来，用户使用视频标记工具来创建器械顶端400L、400R的示例第二高光区域2206L、2206R。应该理解，将项加亮的顺序并不重要。然后用户致动选择器(未示出)(例如，按压ENTER键)以输入选择。模块2002将接收到的用户输入解释为目标图像410L、410R和器械图像400L、400R的选择。
图23为表示根据一些实施例的在手术程序期间使用Q3D信息的第二过程2300的示意流程图。计算机程序代码配置计算机151以执行过程2300。模块2302配置计算机以接收用户输入，从而当看向观察器312时选择外科医生视野内的对象。例如，再次参考图22A，其示出用户输入被接收以使用视频标记工具来创建器械顶端400L、400R的第二高光区域2206L、2206R。用户输入(未示出)被接收，以致动选择器(未示出)(例如，按压ENTER键)从而输入器械顶端400L、400R的图像的选择。
再一次返回到图23，响应于接收用户选择，模块2304配置计算机以在计算机控制台上显示菜单。决定模块2306配置计算机以确定到菜单的使所选对象的图像旋转的用户输入是否被接收。响应于确定使图像旋转的用户输入被接收，模块2308配置计算机以使图像旋转从而示出对象的不同三维透视图。决定模块2310配置计算机以等待接收使图像旋转的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2306的操作。
图24为示出根据一些实施例的按照图23的过程在显示屏2402上所显示的菜单选择的示意图。显示屏2402包括与计算机151相关联的观察监控器。替代地，显示屏2402可以包括观察器312的观察元件401R、401L的区域。响应于接收到的用户输入，模块2304使菜单2404得以显示，菜单2404包括第三菜单项“向左旋转”2406和第四菜单项“向右旋转”2408。响应于选择第三菜单项2406或第四菜单项2408中的一个或另一个的用户输入，模块2308使按照图9的模块407创建并存储的3D模型旋转。应该认识到，由于传感器成像器阵列210具有有限的总体视野，所以旋转量可以限制到几度，例如小于30度。
Q3D模型与3D图像表示的对准
图25为示出根据一些实施例的产生Q3D模型的3D渲染的过程的细节的示意图。一旦已经计算出转换的Q3D模型，其就可以显示在系统的3D显示器110上。许多3D视频算法和硬件实施可以用于该目的。计算机模块2502配置图8的系统，该系统包括视频处理器104、控制器106和显示驱动器109，以考虑到62mm至65mm的平均人类瞳孔间距(IPD)将Q3D模型分成右眼视图2504R和左眼视图2504L。为实现该步骤，应用体视学和人类IPD的已知细节。根据一些实施例，为了给予观察器3D场景的影响，模块2506配置3D显示驱动器109的3D视频控制器106，以按已知的帧率在向左眼提供视频帧2508L和向右眼提供帧2508R之间，以便给予观察者3D场景的印象。图25所描述的方法采用3D观察眼镜，诸如呈现于诸如图4至图6中所描述的远程操作手术系统中的那些。然而，可以使用其他3D视频显示机制。授予Lipton的美国专利No.4,562,463和授予Naglele等人的美国专利No.6,008,839提供了附加实施细节，并且这些专利的全部内容以引用方式被并入本文。
图26为表示示例解剖结构2602的三维(3D)体积图像表示2601的示例的示意图。图像包括表示解剖结构2602的整个3D体积的结构的图像信息。例如但不限于，外部3D图像可以为MRI、CT、PET或超声波图像。3D图像表示提供解剖结构2602的3D表示。为了简化下面的讨论，在下文中我们将参考MRI/CT图像。然而，所描述的技术可应用于其他3D图像类型，诸如例如PET或超声波。3D图像表示2601可以在二维(2D)横截面切片2604(仅示出一个)中观察到。更具体地，可以选择3D图像的横截面切片部分用于显示在计算机显示屏上，以示出解剖结构在来自结构表面的不同角度横截面和不同深度处的横截面表示。例如，示例性示例解剖结构2602包括在其表面处的表面结构(所示表面轮廓2608)，并且包括可以是手术程序中感兴趣的目标结构的表面下结构/次表面结构2606。
图27A为示出3D MRI/CT表示的2D横截面的示意图，其示出解剖结构2702的表面结构2704和解剖结构的表面下结构2706。更具体地，解剖结构2702包括患者脊椎2708的一部分和肿瘤块2706，患者脊椎2708的一部分为表面下结构，肿瘤块2706为位于患者脊椎2708上的另一表面下结构。如图27所示，可以容易地确定空间信息，诸如，3D表示内所表示的结构的尺寸和3D表示内所表示的解剖对象之间的距离。3D MRI/CT表示存储在计算机可读存储设备中。
通常，实际上，例如医疗专家诸如放射学家通过观察来自3D MRI/CT表示的多个2D图像切片来手动地识别候选目标结构。有时，例如，用另一成像模式来确认所识别的目标。例如，频繁地使用超声波成像与MRI或CT图像结合作为确认模式。这些3D可视化成像技术提供关于目标结构在解剖结构内部的位置及其与解剖结构的表面结构的关系的空间/定量信息。例如，图27A不仅示出在该示例中为解剖结构内部的目标结构的肿瘤块的深度，而且示出紧接肿瘤上方的解剖结构的表面轮廓。如下面更充分地解释，在手术期间，通过3D MRI/CT表示所提供的这种表面轮廓信息可以与Q3D信息相关，以便更精确地找准解剖结构的可见表面轮廓和在解剖结构内部并且因此不可见的目标结构之间的对准。
图27B为表示解剖对象的3D视图和使用例如CT或MRI技术创建的穿过所述对象的相关联的2D图像切片的示意图。解剖对象包括例如可以是肿瘤的内表面下对象。解剖对象具有外部表面轮廓。2D图像切片中的一个或多个包括内部表面下对象的图像切片。2D图像切片可以使用基准点与对象的Q3D图像对准，基准点为诸如在2D切片和对象外部表面轮廓的视图中均可见的结构。可以使表面下对象在覆盖物理对象图像的重影(ghost image)中可见，以便在例如探察或手术期间告知外科医生位置、距离和尺寸信息。
图28为示出根据一些实施例的Q3D内窥镜101C的示意图，Q3D内窥镜101C被定位成捕捉对应于图26的解剖结构2602的外部表面部分2804的图像信息。与表面部分2804相关联的捕捉的Q3D信息表示Q3D内窥镜视野(FOVe)内的解剖结构2602的一部分的3D表面轮廓。表示捕捉的Q3D表面轮廓信息2804的Q3D模型2806存储在计算机可读存储设备2808中。
图29为根据一些实施例的概念地表示将图26的解剖结构2602的示例3D MRI/CT体积图像表示2601与图28的示例Q3D模型2806对准的过程的示意图。包括解剖结构2602的表面轮廓信息的Q3D模型2806与3D MRI/CT表示2601的对应表面轮廓信息部分对准。例如，横截面2604的要素诸如表面轮廓2608与来自Q3D模型2806的对应要素对准。根据一些实施例，Q3D模型2806依据解剖结构的外部表面上的点与内窥镜101C的距离表示解剖结构2602的表面轮廓。然而，解剖结构2602的外部表面依据解剖结构的2D图像切片的外边缘部分2608表示在3D MRI/CT中。替代地，3D表面数据诸如2608可以通过从3D MRI/CT体积模型2601提取之而获得。如果输入装置112提供结构2602的可视化表示作为一组2D图像，诸如横截面2604，则处理器106可以被编程为将这些图像进行组合，以便将许多分量图像混合成单个图像并且创建3D体积表示2601。在其他实施例中，输入装置112从外部成像系统(MRI、CT、PET、超声波等)接收3D体积表示2601。Q3D模型与MRI/CT 3D表示的对准包括确定两个图像表示中所表示的共同外部基准点组(未示出)，并且然后根据共同的外部基准点来对准两个图像表示。可以基于Q3D模型与MRI/CT图像表示的对准来产生Q3D-MRI/CT的组合表示。
图30为示出根据一些实施例的将Q3D模型与3D MRI/CT表示对准的过程3000的细节的示意流程图。模块3002配置处理器诸如图8的106，以选择Q3D模型中的基准点。模块3004配置处理器以选择3D MRI/CT图像表示中的相同基准点。模块3006应用3D MRI/CT图像表示的取向的几何转换，直到其所选基准点与Q3D模型的所选基准点对准。使用模块3006确定不同的几何转换，直到决定模块3008确定已经实现所选基准点的最佳匹配。模块3010提供Q3D模型和3D MRI/CT图像表示的最佳对准的指示作为输出。
再次参考图27A，例如，内窥镜可以邻近解剖结构的表面定位，以便被定位成捕捉用于产生围绕内部目标结构的椎骨的可见表面轮廓的Q3D模型的Q3D信息。那些相同椎骨的表面轮廓表示在图27A所示的MRI/CT表示的2D切片中。可以选择基准点作为在两个图像集中，即，在Q3D模型中和3D MRI/CT表示中可见的共同椎骨的轮廓。几何转换例如可以包括3DMRI/CT图像的旋转和平移，直到3D MRI/CT中所表示的椎骨轮廓实现与Q3D模型中所表示的椎骨轮廓的最佳匹配对准，此时，确定两个图像集对准。例如，确定最佳匹配可以包括使3DMRI/CT图像的2D轮廓与Q3D模型的轮廓互相关联，直到实现最大互相关系数。替代地，根据一些实施例，可以通过迭代3D MRI/CT图像的转换直到所选椎骨上的(在Q3D模型和3D MRI/CT表示中所表示的)一对点之间的欧氏距离的总和最小化或减小到接受阀值以下来确定最佳匹配。
图31为表示根据一些实施例的基于Q3D-MRI/CT组合模型生成可视化显示的过程3100的示意流程图。模块3102配置计算机系统或处理器诸如图8的106，以识别3D-MRI/CT表示内的目标结构的视图，该目标结构与3D-MRI/CT表示的对准表面对准。应该认识到，过程3100导致Q3D模型与来自Q3D内窥镜视角的3D-MRI/CT表示的表面部分对准。因此，应该认识到，根据一些实施例，模块3102识别与该相同Q3D内窥镜视角也对准的表面下结构的视图。模块3104配置计算机系统以将Q3D模型的可视化视图与3D MRI/CT表示内的目标结构的识别视图组合。模块3106配置图25的显示系统，以显示示出组合视图的可视化视图。替代地，模块3104的输出可以通过图9的模块407来存储，并且被提供给外部设备或系统152的其他处理器以用于进一步的操纵。例如，组合的Q3D-MRI/CT模型可以用于引导图6的手术器械101的控制，以便实现期望的临床结果。应该认识到，组合视图描绘Q3D内窥镜的FOVe内的解剖结构和表面下目标结构两者的表面轮廓。而且，表面下目标结构和外部可见的表面轮廓之间的对准被精确地描绘在组合视图中。
图32为表示根据一些实施例的Q3D-MRI/CT组合模型3200的示意图。Q3D-MRI/CT组合模型3200包括来自Q3D模型2806的指示解剖结构2602的表面部分2804的Q3D信息3202，并且还包括内部表面下目标结构2606的图像信息3204，其中解剖结构2602的表面部分2804从Q3D内窥镜101C的视角当前可见，内部表面下目标结构2606通过Q3D内窥镜当前不可见。值得注意的是，Q3D-MRI/CT组合模型3200内的表面轮廓部分3202和表面下结构图像信息3204之间的关系提供表面部分2608部分和内部表面下目标结构2606的对准的精确表示。为说明对准的这种表示，图32示出表面轮廓部分3202和内窥镜101C及其视野(FOVe)之间的位置关系。通过将外部的3D图像(例如，MRI、CT、PET、超声波)2601与Q3D模型2806组合，来构造Q3D-MRI/CT组合模型3200。参考图29和图32，在Q3D-MRI/CT组合模型3200中，表示内部表面下结构2606的图像信息3204与对应于程序期间通过Q3D内窥镜101C实时可见的可见解剖细节2804的图像信息对准。因此，组合的表示包括Q3D模型的表面轮廓信息与根据图30的过程所选择的所选表面下结构表示的合并。更具体地，组合的Q3D-MRI/CT模型3200包括关于从内窥镜101C的观察点可见的细节的许多(x，y，z)坐标。
图33A至图33C为表示根据一些实施例的基于内窥镜101C视野内的解剖结构的三个不同表面区域的三个不同Q3D-MRI/CT组合模型3200A、3200B和3200C的示意图。应该理解，内窥镜101C的位置可以改变以改变其视野FOVe。根据一些实施例，用户可以观察当前视野内的目标结构的位置，并且用户可以基于其所观察的位置更改内窥镜的位置，以将目标的位置改变到FOVe内的期望位置。例如，假设用户期望目标集中于如图33B所示的FOVe中。在这种情况下，用户观察图33A中的目标位置3204A可以向下移动内窥镜101C，以到达图33B中的目标位置3204B处。替代地，用户观察图33C中的目标位置3204C可以向上移动内窥镜101C，以到达图33B中的目标位置3204B。一旦实现内窥镜101C的期望取向，外科医生就可以根据临床目标指示系统152相对于表面下目标3204移动其他器械101。例如，如果表面下目标3204为肿瘤，则最佳地对准和操纵可应用的器械101，以允许外科医生够到肿瘤并且在其上进行操作，而不管肿瘤并非直接可见的事实。
根据一些实施例，用户可以使用3D观察器110来使组合的Q3D-MRI/CT模型可视化，如图25中详细描述的。换言之，组合的Q3D-MRI/CT模型的可视化3D视图被显示，其中来自Q3D内窥镜视角的表面轮廓可见，并且3D-MRI/CT图像内所表示的表面下目标结构也可见。应该认识到，用户因此可以辨别Q3D内窥镜的观察视角内的可见表面轮廓与目标表面下结构之间的物理关系。如上所讨论的，向用户描绘该关系可以帮助用户执行手术程序，诸如通过告知用户诸如外科医生例如形成切口以进入目标结构的最佳位置。描绘关系还可以告知用户更好地观察或进入目标结构所需的内窥镜或其他外科器械的位置的调整。
在另一方面，关于表面结构、关于表面下结构或关于表面结构和表面下结构两者的连续Q3D信息可以用于连续地更新早先获得的体积模型(例如，体积的MRI/CT图像渲染)，体积模型包括表面结构、表面下结构或表面结构和表面下结构两者。因此，当手术环境改变时(例如，由于组织位置移位、组织收缩等)，通过连续应用以上过程，可从组合的术前图像信息和最近的当前Q3D图像中得到连续更新的模型。因此，外科医生能够使用连续更新的模型，以更精确地导航到术前图像中所识别的感兴趣组织。
在又一方面，使用如上所述的当前3D信息连续更新术前体积图像模型的能力允许外科医生更加精确地沿复杂的组织路径进行导航。此路径可以经由一个或多个打开的人体内腔，或者其可以沿一个或多个组织平面来限定。首先在来自术前图像的3D渲染中识别路径，并且然后在手术期间，通过使用如上所述的Q3D信息连续更新所识别的路径。
用于对准Q3D模型与3D MRI/CT模型的上述技术通常还应用于Q3D模型与荧光图像的对准，荧光图像描绘表面轮廓和表面下结构的组合。例如，荧光成像用作产品系列的一部分，产品系列供应给由直观外科公司(Intuitive Surgical，Inc)商业化的da Vinci或手术系统。可将荧光晶粒引入解剖结构。例如，吲哚青绿(ICG)为荧光染料，其在心脏病症、循环系统病症、肝脏病症和眼科病症中作为指示剂物质用于医药中(例如，用于测光肝功能诊断和荧光素血管造影术)。ICG荧光光谱在750nm和950nm之间。将ICG染料注入患者的血液流中，并且其结合到白蛋白。某些表面下目标诸如肿瘤具有增强的血液供给。因此，此类表面下目标具有增强的ICG临时供给，直到染料被人体消除。激发激光(例如，803nm)可以与图6或图7的内窥镜101C结合，并且用于激发染料。然后，染料将发出在其激发光谱(例如，830nm)内的荧光信号。荧光信号由Q3D内窥镜101C接收，由均为图8的CCU 104和处理器/控制器106来处理。供给ICG的表面下目标的Q3D模型可以通过处理器106创建，并且以增强的颜色(例如，绿色)显示在3D显示器上，如图25所描述的。在该示例中，ICG注入满足几个目的。其帮助使肾脏的血液供给可视化，从而减少手术期间的失血。其允许外科医生清楚地看到癌组织和健康组织之间的差异。因此，外科医生留下癌组织并且不伤害更多的健康组织。在肿瘤被去除并且肾脏已经修复之后，ICG允许外科医生看到到肾脏的恢复血流。在荧光模式中获得的表面下Q3D模型可以与在用白光照射手术场景时获得的表面Q3D模型组合。为实现这个目的，应该认识到，荧光图像的解剖图像的某些表面轮廓或其他基准点通常在非荧光图像中也是可见的。例如，特别是解剖结构的晶粒并未如此集中的部分在两个图像中均是可见的。类似于以上所述的技术，解剖结构的Q3D模型可以与荧光图像对准，以从而提供表面下目标结构和可见的表面轮廓之间的关系的指示，可见表面轮廓包括在Q3D内窥镜的FOVe内并且被捕捉在对应的Q3D模型内。表面下目标3204仅在荧光视图中可见。图30和图31中所呈现的过程可以用于将非荧光Q3D模型与表面下目标的荧光Q3D模型对准。更具体地，在荧光视图中可见的表面轮廓基准点与Q3D模型中的对应表面轮廓对准。对荧光模型进行几何学转换，例如，旋转和平移，直到大体实现如参考图30的流程图所描述的匹配表面轮廓的对准。除ICG以外的染料可以用于使其他解剖目标可视化。可以同样地采用除da Vinci Si或da Vinci Xi手术系统，或FireFly荧光成像系统以外的成像系统以实现类似的结果。
根据本发明的实施例的前述描述和附图仅说明了本发明的原理。例如，当以上给出某些对准技术时，本领域的技术人员可以使用不同的对准算法来实现等效的结果。本领域的技术人员还将知道如何使用其他类型的Q3D内窥镜，诸如基于飞行时间的成像传感器的那些，以便实现等效结果。因此，应该理解，在不背离所附权利要求中所限定的本发明的精神和范围的情况下，本领域的技术人员可以对实施例进行各种修改。

Claims (16)

1.一种产生手术场景的图像的系统，其包括：
定量三维(Q3D)内窥镜，其被设置成对手术视野内的场景进行成像；
至少一个处理器，其经配置：
确定通过所述Q3D内窥镜成像的组织结构的Q3D模型；
输入所述组织结构的3D可视化表示；
确定几何转换以将所述组织结构的所述3D可视化表示的所述组织结构的外表面与所述组织结构的所述Q3D模型对准；以及
至少部分地基于所述几何转换产生可视化输出，所述可视化输出表示所述组织结构的组合Q3D模型和所述组织结构的所述3D可视化表示。
2.根据权利要求1所述的系统，
其中所述3D可视化表示能够是以下各项中的一个：MRI图像、CR图像、PET图像、超声波图像或荧光图像。
3.根据权利要求1所述的系统，
识别所述3D可视化表示中所表示的所述组织结构的外表面上的多个基准点；
识别所述Q3D模型内所表示的所述组织结构的基本相同的多个基准点；
其中所述至少一个处理器进一步经配置：
将几何转换应用到所述组织结构的所述3D可视化表示，以使所述3D可视化表示中的所述识别的基准点与所述组织结构的所述Q3D模型表示中的所述识别的基准点对准。
4.根据权利要求1所述的系统，
其中表面下目标组织结构作为所述可视化输出内的重影可见。
5.根据权利要求1所述的系统，
其中所述至少一个处理器进一步经配置：
识别所述对准的3D可视化表示内的所述表面下目标结构的视图；
其中产生表示所述组织结构的组合Q3D模型与所述组织结构的所述3D可视化表示的可视化输出包括，产生包括所述表面下目标结构的所述识别的视图的输出。
6.根据权利要求4所述的系统，
其中所述视图包括所述3D可视化表示的切片。
7.根据权利要求1所述的系统，
其中所述Q3D模型显示信息包括关于所述图像中可见的细节的(x，y，z)坐标的显示。
8.根据权利要求1所述的系统，
其中所述Q3D模型显示信息包括，指示所述组织结构的外表面上的点与所述Q3D内窥镜的距离的信息的显示。
9.一种产生手术场景的图像的方法，其包括：
创建包括组织结构的结构手术场景的Q3D模型；
输入所述组织结构的3D可视化表示；
使用几何转换以将所述组织结构的所述3D可视化表示的外表面结构与所述组织结构的所述Q3D模型对准；以及
至少部分地基于所述几何转换产生所述组织结构的可视化输出表示。
10.根据权利要求9所述的方法，
其中产生所述组合Q3D模型和3D可视化表示至少部分地基于：
识别所述3D可视化表示中所表示的所述结构的所述表面内的多个基准点；
识别所述Q3D模型内的基本相同的多个基准点；
将几何转换应用到所述组织结构的所述3D可视化表示，以将所述组织结构的所述3D可视化表示中的所述识别的基准点与所述组织结构的所述Q3D模型表示中的所述识别的基准点对准。
11.根据权利要求9所述的方法，
其中所述3D可视化表示能够为以下各项中的一个：MRI图像、CR图像、PET图像、超声波图像或荧光图像。
12.根据权利要求9所述的方法，
其中表面下目标组织结构作为所述可视化输出内的重影可见。
13.根据权利要求9所述的方法，其进一步包括：
识别所述对准的3D可视化表示内的所述表面下目标结构的视图；
其中产生表示所述组织结构的所述组合Q3D模型和所述组织结构的所述3D可视化表示的可视化输出包括，产生包括所述表面下目标结构的所述识别的视图的输出。
14.根据权利要求13所述的方法，
其中所述视图包括所述3D可视化表示的切片。
15.根据权利要求13所述的方法，
其中所述Q3D模型显示信息包括关于所述图像中可见的细节的(x，y，z)坐标的显示。
16.根据权利要求9所述的方法，
其中所述Q3D模型显示信息包括，指示所述组织结构的外表面上的点与所述Q3D内窥镜的距离的信息的显示。
CN201580024436.7A 2014-03-28 2015-03-28 Q3d模型与3d图像的对准 Active CN106455944B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461971749P 2014-03-28 2014-03-28
US61/971,749 2014-03-28
US201462096515P 2014-12-23 2014-12-23
US62/096,515 2014-12-23
PCT/US2015/023212 WO2015149042A1 (en) 2014-03-28 2015-03-28 Alignment of q3d models with 3d images

Publications (2)

Publication Number Publication Date
CN106455944A true CN106455944A (zh) 2017-02-22
CN106455944B CN106455944B (zh) 2019-01-22

Family

ID=54196484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580024436.7A Active CN106455944B (zh) 2014-03-28 2015-03-28 Q3d模型与3d图像的对准

Country Status (6)

Country Link
US (1) US20170181809A1 (zh)
EP (1) EP3122232B1 (zh)
JP (1) JP2017513662A (zh)
KR (1) KR20160138502A (zh)
CN (1) CN106455944B (zh)
WO (1) WO2015149042A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106456267B (zh) 2014-03-28 2020-04-03 直观外科手术操作公司 器械在视野中的定量三维可视化
CN110251047B (zh) 2014-03-28 2022-01-18 直观外科手术操作公司 手术植入物的定量三维成像和打印
KR102373714B1 (ko) 2014-03-28 2022-03-15 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 멀티포트 투시에 의한 수술 장면의 정량적 3차원 영상화
CN110897590B (zh) 2014-03-28 2021-11-16 直观外科手术操作公司 带有基于定量三维成像的触觉反馈的手术系统
EP3125806B1 (en) 2014-03-28 2023-06-14 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
WO2017165301A1 (en) 2016-03-21 2017-09-28 Washington University Virtual reality or augmented reality visualization of 3d medical images
CN109564785A (zh) 2016-08-12 2019-04-02 波士顿科学国际有限公司 具有用户界面特征的分布式交互医学可视化系统
JP2019534490A (ja) 2016-08-12 2019-11-28 ボストン サイエンティフィック サイムド，インコーポレイテッドＢｏｓｔｏｎ Ｓｃｉｅｎｔｉｆｉｃ Ｓｃｉｍｅｄ，Ｉｎｃ． 一次／二次インタラクション機能を備えた分散型インタラクティブ医療視覚化システム
WO2018077747A1 (en) * 2016-10-25 2018-05-03 Koninklijke Philips N.V. A method and apparatus for segmenting a two-dimensional image of an anatomical structure
US20200093544A1 (en) * 2017-01-06 2020-03-26 Intuitive Surgical Operations, Inc. System and method for registration and coordinated manipulation of augmented reality image components
WO2019127539A1 (en) 2017-12-29 2019-07-04 Shenzhen United Imaging Healthcare Co., Ltd. Systems and methods for determining region of interest in medical imaging
WO2019127385A1 (en) 2017-12-29 2019-07-04 Shenzhen United Imaging Healthcare Co., Ltd. Systems and methods for patient positioning
CN111867441A (zh) * 2018-03-23 2020-10-30 索尼奥林巴斯医疗解决方案公司 医疗显示控制装置和显示控制方法
US20200100855A1 (en) * 2018-09-28 2020-04-02 Auris Health, Inc. Robotic systems and methods for concomitant endoscopic and percutaneous medical procedures
US11158084B2 (en) * 2018-11-07 2021-10-26 K2R2 Llc Determination of relative position of an apparatus
JP7286948B2 (ja) * 2018-11-07 2023-06-06 ソニーグループ株式会社 医療用観察システム、信号処理装置及び医療用観察方法
WO2020246773A1 (ko) * 2019-06-06 2020-12-10 삼성메디슨 주식회사 초음파 영상과 3차원 의료 영상의 정렬을 위한 장치 및 방법
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
WO2021137108A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Alignment interfaces for percutaneous access
JP2023508525A (ja) 2019-12-31 2023-03-02 オーリス ヘルス インコーポレイテッド 経皮的アクセスのための位置合わせ技術
KR20220123273A (ko) 2019-12-31 2022-09-06 아우리스 헬스, 인코포레이티드 해부학적 특징부 식별 및 표적설정
FR3127873B1 (fr) * 2021-10-11 2023-09-29 Robocath système ROBOTISE DE CATHETERISME, ROBOT CATHETER, INTERFACE DE COMMANDE, ET PROCEDE DE FONCTIONNEMENT DE système ROBOTISE DE CATHETERISEME, ASSOCIES

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1874734A (zh) * 2003-09-01 2006-12-06 西门子公司 对电生理导管的心脏应用提供可视化支持的方法和装置
US20070171369A1 (en) * 2006-01-16 2007-07-26 Sensomotoric Instruments Gmbh Method of determining the spatial relationship of an eye of a person with respect to a camera device
US20080058593A1 (en) * 2006-08-21 2008-03-06 Sti Medical Systems, Llc Computer aided diagnosis using video from endoscopes
WO2012059253A1 (de) * 2010-11-04 2012-05-10 Siemens Aktiengesellschaft Endoskop mit 3d-funktionalität
US20120155731A1 (en) * 2009-05-14 2012-06-21 University Health Network Quantitative endoscopy
CN102625670A (zh) * 2009-06-16 2012-08-01 外科视象设备公司 Mri导向装置以及能够近实时地跟踪和生成该装置的动态可视化的mri导向的介入系统
CN102711650A (zh) * 2010-01-13 2012-10-03 皇家飞利浦电子股份有限公司 用于内窥镜手术的基于图像整合的配准和导航
CN102908158A (zh) * 2011-08-02 2013-02-06 三星电子株式会社 处理医学影像的方法和装置、及影像引导机器人手术系统
WO2013073061A1 (ja) * 2011-11-15 2013-05-23 Suzuki Naoki 撮影装置及び撮影システム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04176429A (ja) * 1990-11-09 1992-06-24 Olympus Optical Co Ltd 内視鏡
AT399647B (de) * 1992-07-31 1995-06-26 Truppe Michael Anordnung zur darstellung des inneren von körpern
JPH11309A (ja) * 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
US6522906B1 (en) * 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6517478B2 (en) * 2000-03-30 2003-02-11 Cbyon, Inc. Apparatus and method for calibrating an endoscope
US6650927B1 (en) * 2000-08-18 2003-11-18 Biosense, Inc. Rendering of diagnostic imaging data on a three-dimensional map
US8175680B2 (en) * 2001-11-09 2012-05-08 Boston Scientific Scimed, Inc. Systems and methods for guiding catheters using registered images
FR2855292B1 (fr) * 2003-05-22 2005-12-09 Inst Nat Rech Inf Automat Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation
JP4414682B2 (ja) * 2003-06-06 2010-02-10 オリンパス株式会社 超音波内視鏡装置
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US7728868B2 (en) * 2006-08-02 2010-06-01 Inneroptic Technology, Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US7824328B2 (en) * 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
US8496575B2 (en) * 2006-11-14 2013-07-30 Olympus Corporation Measuring endoscope apparatus, program and recording medium
WO2008076910A1 (en) * 2006-12-15 2008-06-26 The Board Of Trustees Of The Leland Stanford Junior University Image mosaicing systems and methods
DE602006019314D1 (de) * 2006-12-15 2011-02-10 Ao Technology Ag Vorrichtung für die computergestützte distale arretierung von marknägeln
DE202007018027U1 (de) * 2007-01-31 2008-04-17 Richard Wolf Gmbh Endoskopsystem
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US8334900B2 (en) * 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
US10004387B2 (en) * 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
CN102625669B (zh) * 2009-06-08 2015-09-23 核磁共振成像介入技术有限公司 能够近实时地跟踪和生成柔性体内装置的动态可视化的mri导向的介入系统
ES2353099B1 (es) * 2009-07-30 2012-01-02 Fundacion Para Progreso Soft Computing Método y sistema de identificación forense por superposición craneofacial basado en soft computing.
KR20130108320A (ko) * 2010-09-10 2013-10-02 더 존스 홉킨스 유니버시티 관련 애플리케이션들에 대한 일치화된 피하 해부구조 참조의 시각화
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
JP5830270B2 (ja) * 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
WO2013134782A1 (en) * 2012-03-09 2013-09-12 The Johns Hopkins University Photoacoustic tracking and registration in interventional ultrasound
US20150374210A1 (en) * 2013-03-13 2015-12-31 Massachusetts Institute Of Technology Photometric stereo endoscopy
US20150062299A1 (en) * 2013-08-30 2015-03-05 The Regents Of The University Of California Quantitative 3d-endoscopy using stereo cmos-camera pairs

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1874734A (zh) * 2003-09-01 2006-12-06 西门子公司 对电生理导管的心脏应用提供可视化支持的方法和装置
US20070171369A1 (en) * 2006-01-16 2007-07-26 Sensomotoric Instruments Gmbh Method of determining the spatial relationship of an eye of a person with respect to a camera device
US20080058593A1 (en) * 2006-08-21 2008-03-06 Sti Medical Systems, Llc Computer aided diagnosis using video from endoscopes
US20120155731A1 (en) * 2009-05-14 2012-06-21 University Health Network Quantitative endoscopy
CN102625670A (zh) * 2009-06-16 2012-08-01 外科视象设备公司 Mri导向装置以及能够近实时地跟踪和生成该装置的动态可视化的mri导向的介入系统
CN102711650A (zh) * 2010-01-13 2012-10-03 皇家飞利浦电子股份有限公司 用于内窥镜手术的基于图像整合的配准和导航
WO2012059253A1 (de) * 2010-11-04 2012-05-10 Siemens Aktiengesellschaft Endoskop mit 3d-funktionalität
CN102908158A (zh) * 2011-08-02 2013-02-06 三星电子株式会社 处理医学影像的方法和装置、及影像引导机器人手术系统
WO2013073061A1 (ja) * 2011-11-15 2013-05-23 Suzuki Naoki 撮影装置及び撮影システム

Also Published As

Publication number Publication date
EP3122232B1 (en) 2020-10-21
KR20160138502A (ko) 2016-12-05
WO2015149042A1 (en) 2015-10-01
CN106455944B (zh) 2019-01-22
US20170181809A1 (en) 2017-06-29
EP3122232A4 (en) 2018-01-10
JP2017513662A (ja) 2017-06-01
EP3122232A1 (en) 2017-02-01

Similar Documents

Publication Publication Date Title
CN106455944B (zh) Q3d模型与3d图像的对准
JP7321916B2 (ja) 手術シーンの定量的三次元撮像
CN106535806B (zh) 来自多端口视角的手术场景的定量三维成像
US20220241013A1 (en) Quantitative three-dimensional visualization of instruments in a field of view
CN106456271B (zh) 手术植入物的定量三维成像和打印
CN106535812A (zh) 带有基于定量三维成像的触觉反馈的手术系统
KR101772187B1 (ko) 이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스
JP2012244420A (ja) 画像処理システム、装置及び方法
US20230355319A1 (en) Methods and systems for calibrating instruments within an imaging system, such as a surgical imaging system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant