CN106456271B - 手术植入物的定量三维成像和打印 - Google Patents

手术植入物的定量三维成像和打印 Download PDF

Info

Publication number
CN106456271B
CN106456271B CN201580024438.6A CN201580024438A CN106456271B CN 106456271 B CN106456271 B CN 106456271B CN 201580024438 A CN201580024438 A CN 201580024438A CN 106456271 B CN106456271 B CN 106456271B
Authority
CN
China
Prior art keywords
model
sensor
image
tissue
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580024438.6A
Other languages
English (en)
Other versions
CN106456271A (zh
Inventor
D·潘埃斯库
D·H·琼斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Priority to CN201910501350.9A priority Critical patent/CN110251047B/zh
Publication of CN106456271A publication Critical patent/CN106456271A/zh
Application granted granted Critical
Publication of CN106456271B publication Critical patent/CN106456271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4851—Prosthesis assessment or monitoring
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00089—Hoods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00165—Optical arrangements with light-conductive means, e.g. fibre optics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Geometry (AREA)
  • Transplantation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种产生置换解剖结构的系统，其包括：定量三维(Q3D)内窥镜，其被设置成对视野内的包括目标组织的结构进行成像；至少一个处理器，其经配置：产生包括目标组织的解剖结构的第一Q3D模型；产生包括剩余组织的解剖结构的第二Q3D模型，剩余组织处于已经将目标组织从中去除的位置中；并且至少部分地基于第一Q3D模型和第二Q3D模型产生置换结构的第三Q3D模型。

Description

手术植入物的定量三维成像和打印
相关申请
本申请要求于2014年3月28日提交的名称为“手术场景的定量三维成像(QUANTITATIVE THREE-DIMENSIONAL IMAGING OF SURGICAL SCENES)”的美国临时专利申请No.61/971,749；以及于2014年12月23日提交的名称为“手术植入物的定量三维成像和打印(QUANTITATIVE THREE-DIMENSIONAL IMAGING AND PRINTING OF SURGICAL IMPLANTS)”的美国临时专利申请No.62/096,518的优先权的权益，所述专利申请的全部内容以引用方式并入本文。
技术领域
本发明总体涉及具有相关联的图像传感器的手术内窥镜检查系统，并且更具体地涉及确定显示在手术图像中的物理结构的三维坐标。
背景技术
定量三维(Q3D)视觉提供关于真实世界场景中的目标点的实际物理(x、 y、z)3D坐标的数值信息。借助定量3D视觉，人不仅可以获得真实世界场景的三维感知，而且可以获得关于该场景中的对象的物理尺寸和该场景中的对象之间的物理距离的数值信息。以往，已经提出了一些Q3D系统，其使用飞行时间(time-of-flight)相关的信息或相位信息以确定关于场景的3D信息。其他Q3D系统已经使用结构光来确定关于场景的3D信息。
飞行时间信息的使用在名称为“CMOS兼容的三维图像传感器IC (CMOS-compatible three-dimensional image sensor IC)”的美国专利No. 6,323,942中有所公开，该专利公开了三维成像系统，该系统包括使用CMOS 制造技术在普通IC上制造的二维像素阵列光感测检测器。每个检测器具有相关联的高速计数器，该计数器累积在数量上与系统发出的脉冲的飞行时间 (TOF)成正比的时钟脉冲，以从物点反射并且通过聚焦在该点上的像素检测器来检测。TOF数据提供从特定像素到反射所发出的光脉冲的对象上的点的距离的直接数字测量。在第二实施例中，计数器和高速时钟电路被省略，并且作为替代，每个像素检测器具有电荷积聚器和电子快门。快门在光脉冲发出时打开并且在其后关闭，使得每个像素检测器根据落在相关联的像素检测器上的返回光子能累积电荷。累积的电荷量提供来回TOF的直接测量。
延时信息的使用在名称为“用于内窥镜3D数据收集的装置和方法 (Apparatusand method for endoscopic 3D data collection)”的美国专利No. 8,262,559中有所公开，除了光成像机构以外，该专利公开了经调节的测量光束和光传送机构，用于将测量光束传导至要观察的区域上，其中光传送机构包括照明透镜，光成像机构用于将来自要观察区域的信号光束至少成像到相敏图像传感器上。可对应毫米范围内的深度差异的时间延迟导致相位信息，相位信息使描绘深度信息和距离信息的图像的产生成为可能。
使用结构光以确定对象在视觉图像中的物理坐标在名称为“内窥镜(Endoscope)”的美国专利申请公开No.2012/0190923中；以及在C.Schmalz 等人的“基于结构光的内窥镜3D扫描仪(An endoscopic 3D scanner based on structured light)”，Medical Image Analysis，16(2012)1063-1072中有所公开。三角形法用于测量表面形貌。可具有不同颜色光谱范围的呈投影光线形式的结构光入射在表面上并且从该表面反射出。反射光线通过被校准的相机来观察，以使用反射的颜色光谱信息来确定表面的3D坐标。更具体地，结构光的使用通常涉及照亮3D表面上的光图案，并且基于由于物理对象轮廓而产生的光的变形图案来确定物理距离。
已经构建成像器阵列相机，其包括可以用于计算用于阵列中的像素的场景深度信息的多个像素阵列。高分辨率(HR)图像自多个低分辨率(LR)图像生成。选择基准视点并且生成如通过该视点所看到的HR图像。视差处理技术利用混叠效应来确定无基准图像关于基准图像像素的像素对应。融合和超分辨率用于从多个LR图像产生HR图像。参见例如名称为“使用带有异构成像器的单片相机阵列捕捉并处理图像(Capturing and ProcessingImages using Monolithic Camera Array with Heterogeneous Imager)”的美国专利No.8,514,491；名称为“用于使用假设融合从包括混叠的场景的多个视图确定深度的系统和方法(Systems and Methods for Determining Depth from multiple Views of a Scenethat Include Aliasing using Hypothesized Fusion)”的美国专利申请公开No.2013/0070060；以及K.Venkataraman等人的“PiCam：超薄高性能单片相机阵列(PiCam：An ultra-Thin high Performance Monolithic Camera Array)”。
图1为示出根据一些实施例的已知成像器传感器180的细节的示意图。图像传感器180包括传感器184的排列。在该排列中的每个传感器包括二维的像素排列，该二维的像素排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠186。每个透镜堆叠186具有对应的焦平面188。每个透镜堆叠186创建单独的光学通道，光学通道将图像分解到设置在其对应焦平面188 中的对应像素排列上。像素用作光传感器，并且每个焦平面188与其多个像素一起用作图像传感器。每个传感器与其焦平面188一起占据的传感器排列区域与其他传感器和焦平面所占据的传感器排列区域不同。
图2为示出图1的传感器184的已知排列的简化平面图的示意图，传感器184的已知排列包括被标记为传感器S11到S33的传感器。成像器传感器布置184在半导体芯片上进行制造以包括多个传感器S11到S33。传感器S11到 S33中的每个包括多个像素(例如，0.32兆像素)，并且耦接到包括独立读出控制和像素数字化的外围电路(未示出)。在一些实施例中，传感器S11到S33排列成如图2所示的格网格式。在其他实施例中，传感器以非格网格式排列。例如，传感器可以环形图案、之字形图案、分散图案或包括子像素偏移的不规则图案排列。
图1至图2的传感器184的每个单个像素包括微透镜像素堆叠。图3为示出图1至图2的传感器的已知微透镜像素堆叠的示意图。像素堆叠800包括微透镜802，其放置在氧化层804之上。通常，氧化层的下方可以有滤色镜 806，其设置在氮化层808之上，氮化层808设置在第二氧化层810之上，第二氧化层810位于硅层812的顶上，硅层812包括单个像素的有效区域814 (通常是光电二极管)。微透镜802的主要作用是收集入射在其表面上的光并且使所述光聚焦在小的有效区域814上。像素孔径通过微透镜的扩展度来确定。
关于上述已知的成像器传感器排列架构的附加信息在美国申请No.US 8,514,491B2(提交于2010年11月22日)和美国专利申请公开No.US 2013/0070060A1(提交于2012年9月19日)中有所提供。
发明内容
在一方面，提供系统和方法以产生人工的置换解剖结构或假体。所述系统产生包括目标组织的解剖结构的第一定量三维(Q3D)模型。在去除受损的或非健康的组织之后，系统产生包括剩余组织的解剖结构的第二Q3D模型，剩余组织处于已经将目标组织从中去除的位置中。基于第一Q3D模型和第二 Q3D模型产生置换结构的第三Q3D模型。例如，对齐之后，系统从第一Q3D 模型数据中减去第二Q3D模型数据，以便产生第三Q3D模型。而且，然后，系统能够以适合于供3D打印机器使用的格式将第三Q3D模型转换成置换结构的三维(3D)模型。3D打印机器经配置接收3D模型并且产生置换结构。
在另一方面，提供系统和方法以产生手术场景的精确的Q3D模型。解剖结构借助光源被照亮。所述系统以已知或受控的连续方式将Q3D内窥镜在体腔内的位置和取向的结合处定位或“抖动”，使得连续地获取解剖结构的多个不同的图像投影。选择Q3D内窥镜的多个连续位置和取向，以便在所获取的 3D图像中提供冗余信息。通过将多个连续的3D图像拼接在一起，系统至少部分地基于冗余信息产生结构或场景的精确的Q3D模型。
在另一方面，提供用于植入物性能的定量3D评估的系统和方法。所述系统包括Q3D内窥镜和处理器，处理器产生目标为接收手术植入物的内部解剖结构的第一Q3D模型。至少部分地基于第一Q3D模型，系统产生表示最佳配合解剖结构的植入物的尺寸的输出。在植入物被部署在适当位置中的情况下，系统产生结构和植入物的不同的Q3D模型。系统产生表示植入物的临床性能特征的输出。例如，输出能够经配置定量地表示支架的有效3D覆盖长度、支架的血管横截面覆盖度(coverage)、人工心脏瓣膜的3D动态闭合、部分膝关节置换植入物的3D运动，等。
附图说明
当结合附图阅读时，从下面详细描述可以最好地理解本公开的方面。应当强调的是，根据行业中的标准实践，各种特征不是按比例绘制的。实际上，为了便于论述，各种特征的尺寸可任意增大或减小。此外，本公开可以在各种示例中重复参考标号和/或字母。这种重复是出于简化和清楚的目的，而其本身并不表示所讨论的各种实施例和/或构造之间的关系。
图1为示出已知成像器传感器的细节的示意图。
图2为示出图1的成像器传感器的已知传感器阵列的简化平面图的示意图。
图3为像素在图2的传感器阵列的传感器内的已知微透镜像素堆叠的示意图。
图4为示出根据一些实施例的透过观察器的手术场景的透视图的示意图。
图5为根据一些实施例的远程操作手术系统的示意方框图，该系统使用一个或多个机械臂来执行微创手术程序。
图6为根据一些实施例的图5的系统的患者侧系统的示意透视图。
图7A为根据一些实施例的第一内窥镜的示意图，第一内窥镜包括第一图像捕捉系统。
图7B为根据一些实施例的第二内窥镜的示意图，第二内窥镜包括第二图像捕捉系统。
图8为示出根据一些实施例的与包括图7A的第一图像捕捉系统的第一内窥镜相关联的控制块，并且示出操作中的系统的示意方框图。
图9为根据一些实施例的表示确定物理目标的定量三维位置的过程的示意流程图。
图10为示出根据一些实施例的通常对应于模块图9以系统地选择目标的过程的某些细节的示意流程图。
图11为根据一些实施例的示例传感器成像器阵列的示意图，传感器成像器阵列包括多个传感器并且设置成具有包含示例性三维物理世界场景的视野，示例性三维物理世界场景包括三个示例性对象。
图12为表示根据一些实施例的图11的多个物理对象到多个传感器上的投影的示意图。
图13为指示根据一些实施例的从现实世界场景内选择感兴趣区域(ROI) 的示意图。
图14为示出根据一些实施例的关于多个传感器中的投影图像的相对几何偏移的细节的示意图。
图15为示出根据一些实施例的感兴趣区域(ROI)内的某些示例传感器中的投影图像的示意图，所述投影图像向右偏移以与ROI内的指定基准传感器中的投影图像对齐。
图16为示出根据一些实施例的所选目标点到多个传感器上的投影的示意图。
图17为示出根据一些实施例的包括图16的多个传感器的成像器阵列的一部分和设置在物理空间中的适当位置处的所选目标点T的示意图。
图18为根据一些实施例的当前所选目标点T到图16的多个图像传感器上的投影的示意性正视图。
图19为示出根据一些实施例的当前所选目标相对于如上参考图17所述的多个传感器的布置的示意图，并且该示意图还示出传感器中的每个的候选像素的y方向像素偏移。
图20为表示根据一些实施例的在手术程序期间使用Q3D信息的第一过程的示意流程图。
图21为示出根据一些实施例的按照图20的过程在显示屏上所显示的菜单选择的示意图。
图22A至图22B为表示根据一些实施例的按照图20的过程接收用户输入的某些细节的示意图。
图23为表示根据一些实施例的在手术程序期间使用Q3D信息的第二过程的示意图。
图24为示出根据一些实施例的按照图23的过程在显示屏上所显示的菜单选择的示意图。
图25A为示出根据一些实施例的在手术程序之前的解剖结构的示例视图的示意图。
图25B为大体沿来自图25A中的视角1-1的虚线A-A的侧视横截面图，其更详细地示出示例受损部分的轮廓。
图26A为示出根据一些实施例的在手术程序之后的解剖结构的示例视图的示意图，其中受损或病变的骨组织被去除，并且留下由剩余健康组织为边界的空隙。
图26B为大体沿来自图26A中的视角1-1的虚线A-A的侧视横截面图，其示出在去除病变或受损的骨组织之后的示例健康的或未受损伤的区域的轮廓。
图27A至图27C为示出根据一些实施例的在三个不同示例“抖动(jitter)”位置中来捕捉目标区域的三个不同图像观察点的内窥镜的示意图。
图28A至图28B为表示根据一些实施例的首先去除的第一Q3D模型和后去除的第二Q3D模型的使用以产生假体植入物的第三Q3D模型的示意图。
图29A为表示根据一些实施例的将假体结构模型的Q3D转换成文件结构的过程的示意图，文件结构可由三维(3D)打印机器使用。
图29B为表示使用3D打印机以产生与健康的或未受损伤的区域互相配合的假体植入物的过程。
图30A为示出在使假体植入物与剩余区域紧密地互相配合的手术程序之后的解剖结构的示例视图的示意图。
图30B大体沿来自图30A中的视角1-1的虚线A-A的侧视横截面图，其示出示例剩余区域的轮廓。
图31A为示出带有示例全膝关节骨置换假体设备的膝关节骨的正视图的示意图。
图31B为示出带有示例部分膝关节置换假体设备的膝关节骨的正视图的示意图。
图32A为示出图31A的示例全膝关节骨置换假体设备的假体胫骨板和股骨部件的示意图。
图32B为示出带有图31B的部分膝关节置换假体设备的膝关节骨的后视图的示意图。
图33A为示出从护套或递送导管部署期间的现有技术组织成像装置的一种变型的侧视图的示意图。
图33B为示出图33A的现有技术的经部署的组织成像装置的示意图，成像装置具有附接到成像和/或诊断导管的可任选地扩展的罩或护套。
图33C为示出现有技术的经部署的成像装置的端视图的示意图。
图34A至图34B为示出现有技术的经部署的组织成像器以及流体流的一个示例的示意图，该组织成像器被定位成抵靠或邻近待成像的组织，所述流体流诸如生理盐水来自可扩展罩内用于置换血液。
图35A至图35B为分别示出现有技术的成像罩的透视图和端视图的示意图，该成像罩在罩的远端开口上方具有至少一层透明的弹性膜。
图36为示出根据一些实施例的带有成像罩的Q3D内窥镜的透视图的示意图，该成像罩在罩的远侧开口上方具有至少一层透明的弹性膜。
图37为示出根据一些实施例的包括图像传感器阵列的抵靠孔口(OS)接触的罩的示例使用的示意图，所述孔口(OS)与右冠状动脉(RCA)连通。
图38为示出根据一些实施例的包括图像传感器阵列的抵靠孔口(OS)接触的罩的示例使用的示意图，并且其中，支架已经安装在右冠状动脉(RCA) 中。
图39为示出邻近处于打开位置中的假体心瓣植入物设置的Q3D内窥镜的示意图。
图40为示出邻近处于关闭位置中的假体心瓣植入物设置的Q3D内窥镜的示意图。
图41示出可以用于定量评估支架植入性能的定量标准的示例。
具体实施方式
给出以下描述以使本领域技术人员能够创建并使用手术内窥镜检查系统，该系统具有多个图像传感器，每个传感器包括与其他传感器的像素阵列分离的像素阵列，以便确定图像传感器视野内的物理结构的三维坐标。对于本领域的技术人员而言，将易于对本实施例进行各种修改，并且本文所定义的一般原则可以应用于其他实施例和应用，而不背离本发明主题的精神和范围。而且，在下面描述中，出于说明的目的阐述了许多细节。然而，本领域的普通技术人员将认识到本发明主题可在没有这些具体细节的情况下进行实践。在其他情况下，为了不因不需要的细节而混淆本公开，因此以方框图形式示出众所周知的机器部件、过程和数据结构。相同的参考标号可以在不同附图中用于表示相同项的不同视图。下面所参考的附图中的流程图用于表示过程。计算机系统可以经配置执行这些过程中的一些。表示计算机实施过程的流程图内的模块表示根据计算机程序代码的计算机系统的配置，以执行参考这些模块描述的作用。因此，本发明主题并非旨在被限于所示实施例，而是符合与本文所公开的原则和特征一致的最广范围。
简要概述
根据一些实施例，成像器包括与内窥镜相关联的传感器阵列。图像传感器阵列包括多个传感器，并且每个传感器包括像素阵列。内窥镜的一部分插入人体体腔中，并且使用光源来照亮图像传感器阵列的视野中的目标对象。目标对象的物理位置和/或尺寸基于投影到阵列的单个传感器上的目标对象的图像来确定。
图4为示出根据一些实施例的透过观察器312的手术场景的透视图的示意图。具有两个观察元件401R、401L的观察系统可以提供优良的3D观察透视图。表示手术场景中的物理结构的物理尺寸和/或位置信息的所示数值覆盖在手术场景图像上。例如，所示数值距离值“d_Instr_Trgt”显示在器械400 和目标410之间的场景内。
远程操作医疗系统
远程操作指的是在一定距离处的机器的操作。在微创远程操作医疗系统中，外科医生可以使用包括相机的内窥镜以观察患者体内的手术部位。立体图像已经被捕捉，其允许在手术程序期间进行深度的感知。根据一些实施例，相机系统安装在内窥镜上并且包括成像器传感器阵列，所述相机系统提供加上颜色和照明数据的定量三维信息，所述定量三维信息可以用于生成三维图像。
图5为根据一些实施例的远程操作手术系统100的示意方框图，系统100 使用一个或多个机械臂158来执行微创手术程序。系统100的方面包括遥控机器人和自主操作的特征。这些机械器臂经常支撑器械。例如，机械手术臂 (例如，中心机械手术臂158C)可以用于支撑带有立体或三维手术图像捕捉设备101C(诸如内窥镜相关联的Q3D图像传感器阵列)的内窥镜。机械手术臂158C可以包括无菌适配器或夹钳、夹子、螺钉、狭槽/凹槽或其他紧固件机构，以将包括图像捕捉设备101C的内窥镜机械地固定到机械臂。相反地，带有图像捕捉设备101C的内窥镜可以包括与机械手术臂158C互补的物理轮廓和/或结构，以便牢固地与其互相配合。
用户或操作者O(通常是外科医生)通过在主控制台150处操纵控制输入设备160来对患者P执行微创手术程序。操作者可以通过立体显示设备164 来观察患者身体内部的手术部位的图像的视频帧，立体显示设备164包括以上参考图4所描述的观察器312。控制台150的计算机151经由控制线159引导远程操作控制的内窥镜手术器械101A至101C的移动，从而使用患者侧系统152(也称为“患者侧推车”)来影响器械的移动。
患者侧系统152包括一个或多个机械臂158。通常，患者侧系统152包括至少三个机械手术臂158A至158C(通常称为机械手术臂158)，所述机械手术臂158通过对应的定位组合臂156(set-up arm)来支撑。中心机械手术臂 158C可以支撑内窥镜相机101C，内窥镜相机101C适合于捕捉用于相机视野内的图像的Q3D信息。中心左侧和右侧的机械手术臂158A和158B分别可以支撑可操纵组织的器械101A和器械101B。
图6为根据一些实施例的患者侧系统152的示意透视图。患者侧系统152 包括通过基座172支撑的推车柱170。一个或多个机械插入手术臂/连杆158 分别附接到一个或多个组合臂156，组合臂156是患者侧系统152的定位部分的一部分。近似地位于基座172上的中心位置处，推车柱170包括保护配重子系统和制动子系统的部件远离污染物的保护罩180，保护罩180。
除监控器臂154之外，每个机械手术臂158均用于控制器械101A至101C。而且，在本发明的一个实施例中，每个机械手术臂158均耦接到组合臂156，组合臂156进而耦接到托架壳体190。一个或多个机械手术臂158各自通过其相应的组合臂156来支撑，如图6所示。
机械手术臂158A至158D各自可以包括一个或多个位移换能器、定向传感器和/或定位传感器185，以生成原始的未校正的运动学信息，从而通过追踪系统辅助器械的初始获取和追踪。在本发明的一些实施例中，器械还可以包括位移换能器、定位传感器和或定向传感器186。而且，一个或多个器械可以包括标记189来辅助器械的获取和追踪。
关于远程操作医疗系统的附加信息在美国专利申请公开No.US 2012/0020547(提交于2011年9月30日)中有所公开。
内窥镜成像器系统
图7A为根据一些实施例的带有第一图像捕捉系统101C的第一内窥镜的示意图。图像捕捉系统101C包括内窥镜，内窥镜包括伸长部分202，伸长部分202包括第一端部204和第二端部206以及第一端部204的顶端部分208。第一端部204的尺寸设定成插入人体体腔中。包括多个图像传感器(未示出) 的传感器阵列210耦接在第一端部204的顶端部分208处。根据一些实施例，传感器阵列210中的每个传感器包括像素阵列。伸长部分202具有足以将顶端部分208定位成足够靠近体腔内的目标对象的长度，使得可以通过成像器阵列210来使对象成像。根据一些实施例，第二端部206可以包括通常如上所述的物理轮廓和/或结构(未示出)，以便牢固地与机械臂(未示出)互相配合。伸长部分202还包括一个或多个电子信号路径212以电子地与成像器传感器阵列210传达信息。设置光源214来照亮要成像的对象。根据一些实施例，光源214可以是非结构化的光，例如白光、滤色光或处于一些所选波长的光。根据一些实施例，光源214位于顶端208处，而在其他实施例中其任意地与内窥镜101C分开定位。
图7B为根据一些实施例的带有第二图像捕捉系统101C2的第二内窥镜的示意图。基本上与带有第一图像捕捉系统101C的第一内窥镜相同的第二图像捕捉系统101C2的方面由相同的参考标号指示并且不再描述。到光导管输入的输入端诸如棒形透镜设置在第一端部204的顶端部分208处。光导管主体在伸长部分202内延伸，以便将作为光导管输入接收的图像传输到成像器传感器阵列210，成像器传感器阵列210从顶端部分208物理移置。在一些实施例中，成像器传感器阵列210移置到距顶端部分208足够远，使得成像器传感器阵列210在观察体腔内的对象期间位于人体体腔外部。
图8为示出根据一些实施例的与带有图7A的第一图像捕捉系统101C的第一内窥镜101相关联的控制块，并且示出操作中的系统的示意方框图。通过成像器传感器阵列210捕捉的图像通过数据总线212发送到视频处理器 104，视频处理器104经由总线105与控制器106进行通信。视频处理器104 可以包括相机控制单元(CCU)和视频信号检测器(VSD)板。CCU对成像传感器210的各种设置诸如亮度、颜色方案、白平衡等进行编程或控制。VSD 处理从成像传感器接收的视频信号。替代地，CCU和VSD结合到一个功能块中。
根据一些实施例，包括一个或多于一个处理器的处理器系统经配置执行处理器功能。在一些实施例中，处理器系统包括多个处理器，所述多个处理器经配置一起进行操作以执行本文所述的处理器功能。因此，本文提及的经配置执行一种或多种功能的至少一个处理器包括处理器系统，在处理器系统中，所述功能可以通过一个处理器单独执行或者通过多个处理器一起工作来执行。
在一种实施方式中，包括处理器和存储设备(未示出)的控制器106计算场景中的邻近伸长部分202的顶端208的点的定量3D坐标，并且驱动视频处理器104和3D显示器驱动器109两者来构成3D场景，然后3D场景可以显示在3D显示器110上。根据一些实施例，生成关于手术场景的Q3D信息，诸如场景中对象的表面轮廓的尺寸数值记号或距手术场景内的对象的距离。如下面更充分解释的那样，数值Q3D深度信息可以用于借助距离信息或表面轮廓信息对手术场景的立体图像加以注释。
数据总线107和数据总线108交换信息并且控制视频处理器104、控制器 106和显示器驱动器109之中的信号。在一些实施例中，这些元件可以在内窥镜主体内部与图像传感器阵列210结合。替代地，它们可以分布在内窥镜的内部和/或外部。所示内窥镜经由插管140定位以穿透人体组织130，以便提供到包括目标120的手术场景的可视化入口。替代地，内窥镜和一个或多个器械还可以穿过单个开口(单个切口或自然孔口)以到达手术部位。目标120 可以是解剖目标、另一手术器械或患者身体内部的手术场景的任何其他方面。
输入系统112接收3D视觉表示并且将其提供给处理器106。输入系统112 可以包括耦接到电子通信总线(未示出)的存储设备，该存储设备从生成3D 模型的系统(未示出)接收3D模型，诸如CRT或MRI。处理器106例如可以用于计算Q3D模型和3D视觉表示之间的预期对齐。更具体地，在没有限制的情况下，输入系统112可以包括处理器，处理器经配置在系统152和成像系统(未示出)(诸如MRI、CT或超声波成像系统)之间建立以太网通信连接。可以使用其他成像系统。可以使用其他类型的通信连接，诸如蓝牙、 WiFi、光纤等。替代地，系统152和成像系统可以结合在一个更大的系统中。对齐过程的结果可保存在与处理器106相关联的存储设备中，为外部设备或系统或如图25所显示的流程提供进一步的操纵。
添加到场景图像的Q3D信息的示例
再次参考图4，图4为示出根据一些实施例的图5的主控制台150的观察器312的透视图的示意图。根据一些实施例，为提供三维透视图，观察器312 包括针对每只眼睛的立体图像。如图所示，手术部位的左侧图像400L和右侧图像400R包括分别在左侧取景器410L和右侧取景器401R中的任何器械400 和目标410。取景器中的图像400L和图像400R分别可以通过左侧显示设备 402L和右侧显示设备402R来提供。显示设备402L、402R可以任选地为一对阴极射线管(CRT)监控器、液晶显示器(LCD)或其他类型的图像显示设备 (例如，等离子体、数字光投影等)。在本发明的优选实施例中，彩色图像通过一对彩色显示设备402L、402R来提供；诸如彩色CRT或彩色LCD。为支持与现有设备的向后兼容性，立体显示设备402L和402R可以与Q3D系统一起使用。替代地，Q3D成像系统可以连接到3D监控器、3D TV或自由立体显示器，诸如无需使用3D效果眼镜的显示器。
具有两个观察元件401R、401L的观察系统可以提供优良的3D观察透视图。Q3D成像系统使用手术场景中的物理结构的实际尺寸信息补充该观察透视图。与Q3D内窥镜检查系统结合使用的立体观察器312可以显示覆盖在手术场景的立体图像上的Q3D信息。例如，如图4所示，器械400和目标410 之间的数字Q3D距离值“d_Instr_Trgt”可以显示在立体观察器312内。
可以用于覆盖手术场景的3D透视图上的物理位置和尺寸信息的视频立体观察系统的说明在美国专利申请公开No.US 2012/0020547(提交于2011年 9月30日)的[0043]至[0053]段和对应附图中有所提供，其以引用方式明确地并入本文。
处理定量三维物理信息
图9为根据一些实施例的表示确定物理目标的定量三维位置的过程的流程图。该过程参考带有图8实施例的图像捕捉系统101C的内窥镜进行描述。模块401配置控制器106以从成像传感器Sij获取视频数据。应该认识到，虽然图像传感器阵列210使全部视野“成像”，但图像传感器阵列210中的不同传感器和不同传感器内的不同像素可以通过来自视野内的不同对象点的图像投影来照亮。例如，视频数据可以包括颜色或光强度数据。每个传感器的每个像素可以提供指示投影在其上的图像的颜色和强度的一个或多个信号。模块402配置控制器以从物理世界视图(world view)中的所选感兴趣区域中系统地选择目标。模块403配置控制器以开始使用初始(x0，y0，z0)设置计算目标3D坐标(x，y，z)。然后，通过使用来自接收目标投影图像的所有传感器Sij的图像多样性数据，该算法检查坐标的一致性。坐标计算在决定模块404 处进行精确化，直到达到可接受的精确度。决定模块404还配置控制器以确定当前计算的物理位置是否足够精确。响应于当前计算的位置不精确的确定，控制流程返回到模块403以尝试不同的可能的物理位置。响应于当前计算的位置足够精确的确定，模块405配置控制器以确定是否已经扫描整个感兴趣区域。响应于尚未扫描整个感兴趣区域的确定，控制流程返回到模块402并且选择不同的目标。响应于已经扫描整个感兴趣区域的确定，控制流程到模块406，模块406配置控制器以组合感兴趣的成像体积的三维模型。基于指示目标的结构的物理位置的三维信息组合目标的3D图像对本领域的技术人员而言是已知的并且不需要在本文进行描述。模块407配置控制器以存储通过使用为多个目标确定的物理位置信息而形成的3D模型以用于进一步的查看和操纵。例如，3D模型可以稍后用于手术应用，诸如针对患者器官的特定尺寸设定植入物的尺寸。在又一不同示例中，当新手术器械101安装在机器人系统152上时，需要回调所述3D模型并且将其显示在显示器110上，以便将新器械引用到先前的手术场景。模块407还可以存储3D视觉表示和Q3D模型之间的对齐结果。模块408配置控制器以使用为多个目标确定的物理位置信息来显示定量3D视图。Q3D视图的示例是图4所示的距离值“d_Instr_Trgt”。
应当注意到，三维中的立体显示产生观察错觉。然而，实际的3D显示呈现3D图像，诸如全息图像或投影在曲面上的图像。通常，3D显示允许视野移动以改变观察视角。
图10为示出根据一些实施例的通常对应于图9的模块402的过程的某些细节的示意流程图。模块402.1配置控制器以捕捉来自传感器阵列210中所有传感器的物理世界场景的图像。模块402.2配置控制器以从捕捉的场景内指定感兴趣的区域。模块402.3配置控制器以搜寻如感兴趣区域内的场景图像之间的最佳匹配，以便识别在不同传感器中的通过相同目标的投影照亮的像素位置。如稍后所解释，在没有限制的情况下，通过使来自传感器Sij的单个图像移位，直到移位图像和基准图像之间的二维交叉相关函数最大化，可实现最佳匹配。基准图像例如可以是从传感器S11接收的场景图像。模块402.4配置控制器以识别通过来自相同目标的投影照亮的候选像素。模块402.5配置控制器以计算用于所选目标的两个或更多个像素坐标(Nx，Ny)，从而确定候选像素是否通过来自相同目标的投影照亮。决定模块402.6确定计算的2D像素坐标值是否指示候选像素通过来自相同目标的投影照亮。通过使用多个传感器 Sij观察相同场景所导致的图像多样性在与各种单个图像Sij中的具体目标相关联的正确识别(Nx，Ny)中起作用。例如，根据一些实施例，假设一种仅使用三个传感器S11、S12和S13的简化情境，如果2D像素坐标的三元数组 [(NX11，Ny11)、(Nx12，Ny12)、(Nx13，Ny13)]并不对应于相同目标到[S11， S12和S13]上的投影，则数量和(y方向上投影移位的估计值)将产生不同的值。根据稍后提出的方程式，如果像素坐标(NX11，Ny11)、(Nx12，Ny12)、 (Nx13，Ny13)来自相同目标的投影，则和应该是相等的。
如果和不近似相等，则控制流程返回到模块402.4并且使传感器平面Sij上的目标投影的最佳候选精确化。如上所述，上述仅是算法的简化实施。通常，如图10模块402.6所示，和之间差的范数应该小于可接受公差ε，以便使模块402完成其迭代。对于x轴线的对应估计值和应满足类似的限制。响应于确定计算的2D像素坐标值(Nx，Ny)确实指示候选像素通过来自相同目标的投影来照亮，则控制流程到至模块403。
应该认识到，每个像素直接从世界场景捕捉颜色和强度信息。而且，根据上述过程，每个像素与投影在像素上的世界视图中物理对象的(x，y，z) 坐标相关联。因此，颜色信息、照明强度信息和物理位置信息，即被投影的物理对象的颜色和照明以及位置，可以与非暂时性计算机可读存储设备中的像素相关联。下面表格1示出该关联。
表格1
像素标识符 颜色值 强度值 位置(x，y，z)
确定Q3D信息的示例
投影匹配的示例
图11为根据一些实施例的示例传感器阵列210的示意图，传感器阵列210 包括传感器S11至S33的阵列，传感器S11至S33的阵列被设置为具有包括示例性三维物理世界场景的视野，该场景包括三个示例性对象。阵列中的每个传感器Sij包括像素的二维排列，所述排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠(lens stack)，透镜堆叠创建单独的光学通道，光学通道将图像分解到设置在透镜堆叠的焦平面中的对应像素排列上。每个像素用作光传感器，并且每个焦平面和其多个像素一起用作图像传感器。每个传感器S11至S33和其焦平面一起占据的传感器阵列区域与其他传感器和焦平面占据的传感器阵列区域不同。合适的已知图像传感器在美国专利No.US 8,514,491(提交于2010年11月22日)和美国专利申请公开No.US 2013/0070060(提交于2012年9月19日)中有所公开，所述专利在上面进行了描述。
根据一些实施例，传感器的特征为Nx和Ny(传感器在x方向和y方向上的像素的总数)，以及视野角度θx和θy。在一些实施例中，期望x轴线和y轴线的传感器特征是相同的。然而，在替代实施例中，传感器具有不对称的 x轴线特征和y轴线特征。类似地，在一些实施例中，所有的传感器将具有相同的像素总数和相同的视野角度。传感器以良好受控制的方式分布在整个传感器阵列210中。例如，传感器可以在所示的二维格网上以δ距离分开。传感器布置间距δ在整个此格网上可以对称或不对称。
在图11所示的实施例中，传感器排列在矩形格网中，在该矩形格网中，传感器S11至S13占据顶行，传感器S21至S23占据中间行，并且传感器S31至S33占据底行。每个传感器包括N行像素和N列像素。由虚线指示的通过光源产生的光线从三角形的第一对象、球形的第二对象和矩形的第三对象中的每个反射到成像器阵列中的每个传感器。为了进行示意性的说明，仅示出到顶行中的传感器S11、S12和S13的光线。例如，光源可以是非结构化的白光或背景光。替代地，光源可以提供处于所选波长的光，诸如例如在可见光谱或红外线光谱中的光，或者光可以被过滤或分割以提供所选波长(例如，颜色) 或波长范围(例如，颜色范围)。应该认识到，光线类似地从目标中的每个反射到传感器S21至S33。然而，为了简化说明，未示出这些其他光线。
根据模块401和模块402.1，传感器阵列210的传感器单独地从世界视图中捕捉图像。图12为根据一些实施例的表示图11的三个对象到传感器Sij(仅示出S11、S12和S13)上的投影的示意图。本领域的技术人员将认识到入射在传感器上的反射光线投影视野中的物体的图像。更具体地，从视野中的对象反射出的入射到成像器阵列的多个不同图像传感器上的光线在接收反射光线的每个传感器中产生对象的从三维到二维的透视投影，即不同投影。具体地，当从S11前进到S12到S13时，对象投影的相对位置从左侧移位到右侧。通过入射光线照亮的图像传感器像素响应于入射光产生电信号。因此，对于每个图像传感器，响应于指示该图像传感器内的图像投影的形状和位置的反射光，通过该图像传感器的像素产生电信号的图案。
根据模块402.2，感兴趣的区域选自世界场景。图13为指示从场景内选择感兴趣区域的示意图。在该示例中，三角形的第一对象、球形的第二对象和矩形的第三对象均在所选的感兴趣区域中。该步骤可以通过接受来自操作者的输入来实现，或者其可以使用由软件以规定方式配置的计算机来自动执行，或者通过操作者输入和自动软件控制选择的组合实现。例如，在一些实施例中，世界场景可以示出人类解剖结构的内腔，并且对象可以是内部人体器官或手术器械或其部分。外科医生可以从内腔内接收实时视觉影像，并且可以看到人类解剖结构的组织区域和在体腔内突出的手术器械的一部分。外科医生可以指定视野内的那些对象，对象的位置信息通过众所周知的技术来确定，所述技术诸如远程图显视频标记。替代地或另外地，此操作者请求，自动化处理诸如边缘检测算法可以用于指定感兴趣区域(ROI)。
根据模块402.3，确定在感兴趣区域内的场景图像之间的最佳匹配，以便识别不同传感器中的通过相同目标的投影照亮的像素位置。图14为示出根据一些实施例的关于传感器S11、S12和S13中投影图像的相对几何偏移的附加细节的示意图。根据一些实施例，来自传感器S13的图像被认为是基准图像，并且所选ROI中的对象的投影相对于它们在传感器S13中的位置在传感器S12中按照量σ23像素向右偏移。类似地，所选ROI中的对象的投影相对于它们在传感器S13中的位置在传感器S11中按照量σ13像素向右偏移。应该认识到，由于传感器S12、S11的视野(FOV)观察轴各自偏移到传感器S13的FOV观察轴的右侧(此类观察轴垂直于传感器平面)，所以来自ROI的投影图像相对于传感器S11在传感器S13和传感器S12中向左偏移。
图15为示出根据一些实施例的ROI内的传感器S11和S12中的投影图像的示意图，所述投影图像向右侧移位以与ROI内的传感器S13中的投影图像对齐。在当前示例中，传感器S13被指定用作基准传感器。应该认识到，可选择其他传感器用于确定对齐和几何尺寸。所选ROI内对象的投影在指定传感器例如传感器S13中被识别，并且在其他传感器例如传感器S11和传感器S12中的投影被移位直到其与指定传感器中的投影对齐。用这种方式，可以在其他传感器内识别所选ROI内对象的对应投影，连同其相对于指定传感器中投影的位置的偏移。
具体地，例如，三个示例对象的投影在传感器S12中按照量σ23像素向右移位，并且三个示例性对象的投影在传感器S13中按照量σ13像素向右移位。在示例性示例中，为了简化说明，假设投影仅在y方向上偏移不在x方向上偏移，但是相同的原则应用于如传感器之间的x方向投影偏移。然而，虽然该示例示出线性偏移，但本领域的技术人员可以应用其他转换诸如旋转，以使不同传感器中的具有相对偏移的投影对齐。
根据一些实施例，例如，二维(2D)交叉相关技术或主成分分析(PCA) 可以用于将S13中ROI内的投影与S12中ROI内的投影对齐，并且将S13中ROI 内的投影与S11中ROI内的投影对齐。通常，希望关于指定为基准的传感器的图像最佳匹配或对齐来自传感器Sij的图像。更具体地，S12中ROI内的投影图像被移位并且与S13中ROI内的投影图像交叉相关，直到实现最高的相关系数。同样地，S11中ROI内的投影图像被移位并且与S13中ROI内的投影图像交叉相关，直到实现最高的相关系数。因此，ROI的投影对齐用于通过确定S13中 ROI的投影和S12中ROI的投影之间的偏移，并且通过确定S13中ROI的投影和S11中ROI的投影之间的偏移，来识别传感器S11和传感器S12中ROI的投影位置。
候选像素选择和精确化的示例
根据模块402.4，识别在不同传感器内的候选像素，根据最佳匹配过程，所述不同传感器通过来自相同目标的投影照亮。一旦已经在传感器S11、S12和S13中的每个中识别ROI内的对象的投影，则可确定ROI内单个目标点相对于成像器阵列的物理(x，y，z)投影。根据一些实施例，对于ROI内多个目标点中的每个，识别通过来自目标点的投影照亮的多个传感器中的每个内的一个或多个像素。对于每个此目标点，至少部分基于设置在确定通过来自目标点的投影照亮的不同传感器中的像素之间的几何关系确定物理(x，y，z) 目标点位置。
应该认识到，一系列的目标点可以通过系统地遍历ROI(例如，以特定的步长大小从右向左并且以步长大小从上到下)来自动选择，并且可以确定每个所选目标点的物理(x，y，z)目标点位置。由于S11和S12与S13最佳匹配，所以遍历在移位的感兴趣区域内部执行。选择目标包括识别通过目标的投影照亮的传感器S11、S12和S13中的每个中的像素。因此，S11、S12和S13中的每个中的候选像素被识别为通过所选目标点的投影照亮的像素。
换言之，为了选择目标点T，在通过目标点T的投影照亮的传感器S11、 S12和S13中的每个中选择像素。应该认识到，目标T的(x，y，z)物理位置在其选择的时候是未知的。而且，应该认识到，上述对齐过程的不精确可以导致每个传感器中哪些像素被所选目标T的投影照亮的确定的不精确。因此，如参考图17、图18和图19所解释，根据通过当前所选目标T的投影照亮的 S11、S12和S13中的每个中的像素确定的精确度作出进一步确定。
继续上述示例，假设三角形的第一对象为当前所选目标点。图16为示出根据一些实施例的所选三角形目标点到传感器S11、S12和S13上的投影的示意图。根据这些投影，确定目标T的2D像素坐标[(NX11，Ny11)、(Nx12，Ny12)、 (Nx13，Ny13)]。为了简单化，图16仅示出y轴像素坐标。使用这些2D像素坐标，应用表达式(402.5-1)和(402.5-2)并且计算的和作为模块402.5的一部分。作为模块402.6的一部分，计算范数并且将其与可接受公差ε相比。类似地，计算x轴像素坐标和位置估计值并且将其与可接受公差相比较。如果模块402.6的条件满足，则过程继续到模块403。否则，过程返回到模块402.4以使目标候选进一步精确化。
参考图17，其示出包括传感器S11、S12和S13的成像器阵列的一部分，和设置在物理空间中的位置(x，y，z)处的所选三角形第一对象目标点T。成像器阵列内的传感器在其之间具有已知间距δij。S11和S12之间的物理位置间距为δ12，并且S12和S13之间的物理位置间距为δ23。在一些实施例中，所有传感器Sij之间的间距是相同的、等于δ的构造规格。传感器Sij还具有已知的视野角度θ。
如上所解释，在一些实施例中，每个传感器构造成2D成像元件，其中像素以行和列的矩形图案排列。替代地，像素可以例如环形图案、之字形图案、分散图案或以包括子像素偏移的不规则图案排列。这些元件的角度和像素特性可以相同，或替代地传感器之间彼此可不同。然而，这些特性假设为已知。为了简化说明，假设传感器相同，但是，然而，它们可以不同。
为了简化起见，假设所有的传感器Sij均具有N×N像素。在距传感器S11的距离z处，传感器的N像素宽度向外扩展到通过FOV1指示的S11的y维度视野。同样地，在距传感器S12的距离z处，传感器S12的y维度视野通过FOV2来指示。而且，在距传感器S13的距离z处，传感器S13的y维度视野通过FOV3来指示。长度FOV1、FOV2和FOV3彼此重叠，预示着传感器S11、S12和S13实现物理地位于一些(未知的)距离z处的目标T的3路采样多样性。当然，如果传感器相同地构建，如在示例中所假设的，则长度FOV1、FOV2和FOV3也将相同。应该认识到，三个长度FOV1、FOV2和FOV3均具有相同的大小并且共面，因为它们处于距成像器阵列相同的(未知的)z距离处，但是为了进行示意性的说明，将它们描绘成如同它们彼此邻近堆叠。
参考图18，其示出当前所选目标点T到图像传感器S11、S12和S13上的投影的示意性正视图。为了简化起见，假设传感器包括大小为N×N像素的几何学矩形像素阵列。还假设目标T投影的x坐标均相等。换言之，假设对于目标T到S11、S12和S13上的投影，nx1＝nx2＝nx3。为了简化说明，还假设水平的几何视野角度θ与其垂直时相同，θx＝θy。如果上述假设中的任一个改变，本领域的技术人员将知道如何修改下面提出的过程，以便计算目标T的x、y 和z物理坐标。
目标T的图像在图像传感器S11的平面中，投影到传感器S11内的几何坐标(nx1，ny1)处的物理点。更具体地，目标点T到传感器S11上的投影沿y 轴线位于ny1像素，并且沿x轴线位于nx1像素，x轴线和y轴线均取自原点。目标T的图像在图像传感器S12的平面中，投影到传感器S12内的几何坐标(nx2， ny2)处的物理点。目标T的图像在图像传感器S13的平面中，投影到传感器 S13内的几何坐标(nx3，ny3)处的物理点。应该认识到，每个传感器内的像素位置(nxi，nyi)相对于提供给传感器的原点(0，0)基准坐标来确定。如图 17或图19所示，全球坐标系(x，y，z)被定义并且用于引用目标。例如，在没有限制的情况下，此类坐标系的原点可以放置在传感器S11的几何中心处。
参考图16和图18两者，可以看出目标的投影的y像素距离在每个传感器中是不同的。当前所选目标T的投影在S11中被设置到原点左侧的ny1像素。所选目标T的投影在S12中被设置到原点左侧的ny2像素。所选目标T的投影在S13中被设置到原点左侧的ny3像素。如上所述，为简化说明，假设目标的投影在所有三个传感器中均落在距原点相同的x像素距离处。
参考图19，其示出当前所选目标T相对于如上参考图17所述的传感器 S11、S12和S13的布置，并且还示出在传感器中的每个中的候选像素的y方向像素偏移。应该理解，图19的附图提出用于确定所选目标点T的(x，y，z) 物理坐标的物理结构和分析框架。在距成像器阵列平面的(未知的)距离z 处，每个传感器的y方向视野延伸过标记为FOVi的长度。在一些实施例中，该长度FOVi对应于传感器的最大像素宽度，最大像素为N像素。考虑到工作假设为传感器具有x方向和y方向上对称的视野，长度还可以是沿x轴线是竖直的FOVi。
如上所述，候选像素选择至少部分地基于可以具有不确定水平的关联过程，该关联过程可以导致所选目标的物理位置的确定不精确。因此，根据一些实施例，进一步检查目标投影候选选择的精确度可以如下进行。
确定目标的物理(x，y)位置并检查目标投影候选选择的精确度的示例
根据模块402.5，为所选目标计算两个或更多个二维(Nx，Ny)坐标值，以确定来自相同目标的投影实际上是否照亮候选像素。基于上面讨论的假设并且将3D坐标系的原点放置在传感器S11的中心处，图19中的示例中的成像器阵列和当前所选目标T具有如下关系：
其中：
N为成像传感器的像素维度；
nx1为目标点T的以在x方向上距S11平面的原点的像素数目来表达的位置；
ny1为目标点T的以在y方向上距离S11平面的原点的像素数目来表达的位置；
ny2为目标点T的以在y方向上距离S12平面的原点的像素数目来表达的位置；以及
ny2为目标点T的以在y方向上距离S12平面的原点的像素数目来表达的位置；
θ为视野的角度。
而且，如果使用传感器S11和传感器S13执行相同的公式并且假定S11和S13之间的间隔为2δ，则我们得到：
其中：
nx3为目标点T的以在x方向上距S13平面的原点的像素数目表达的位置；以及
ny3为目标点T的以在y方向上距S13平面的原点的像素数目表达的位置。
因此，所选目标T的物理x坐标的确定可以基于表达式(3)或表达式(6) 来确定。所选目标T的物理y坐标的确定可以基于表达式(2)或表达式(5) 来确定。所选目标T的物理z坐标的确定可以基于方程式(1)或方程式(4) 来确定。
更一般地说，根据模块402.6，作出关于计算的2D坐标值是否指示候选像素通过来自相同目标的投影照亮的确定。应该认识到，目标T的物理(x， y，z)坐标的更可靠的确定可以通过使用用于每个坐标的两个公式来得到。例如，用于目标T的y坐标可以使用公式(2)和公式(5)两者来确定。如果使用两个公式计算的所得y坐标值相差超过某些可接受公差值εy，则可以作出以下确定，即匹配过程未能够以足够精确度解决不同传感器中的投影之间的偏移，并且因此候选像素不相符，因为它们没有接收到来自相同目标T 的投影。在y计算匹配失败的情况下，可执行匹配过程的另外的迭代，试图改善各自对应于所选目标T的传感器内的候选像素的选择。应该认识到，因为不同传感器上的不同透视投影由于例如视差效应而可以不同，因此计算的y 值不太可能相等。因此，可接受公差值根据预期的应用加以规定。对于手术成像应用，0.1mm至0.3mm的ε通常提供可接受的Q3D精确度。在没有背离本发明的精神的情况下，本领域的技术人员可以定义不同的可接受公差水平。
考虑到围绕x轴线和y轴线的假设的传感器对称性，本领域的技术人员将认识到，使用类似于(2)和(5)中那些的公式(但使用nxi代替nyi)可作出相同类型的确定。公式(3)和公式(6)不可以作为402.5和402.6的一部分被使用，因为所述公式需要z坐标的知识。然而，模块402.5和模块402.6 的本质是确定传感器S11、S12和S13的平面上的正确目标投影。为此，针对x 轴线和y轴线调整的公式(2)和公式(5)是足够的。完整的一组坐标(x， y，z)作为模块403和模块404的一部分被计算，如下文所述。
确定目标的物理z位置的示例
如图19所示，根据模块403和404，z坐标的初始估计值z0用于开始实施计算过程。根据医疗应用，该初始值被自动定义。医疗应用定义要进行可视化的预期世界视图。初始值z0开始于最接近内窥镜的视野边缘。参考图8，例如，对于包括手术内窥镜检查的Q3D应用，z0可以远离Q3D内窥镜202 的远端2081mm至5mm。此初始估计值通常足以用于该应用，因为不太可能使任何组织或手术器械如此紧密接近Q3D内窥镜的存在。接下来，将值z0插入公式(3)和公式(6)中。假设目标的x坐标是唯一的，则如果z0为目标的真实且正确的z坐标，那么公式(3)和公式(6)可产生在可接受的公差水平εx内的相同值或大致相等的值。
|x(3)-x(6)|＜εx (7)
如果(3)和(6)在可接受的公差εx以外，那么迭代继续并且尝试z的新估计值。根据一些实施例，新估计值被自动定义。例如，z1＝z0+Δ，其中Δ为迭代的步长。通常，在第k次迭代处，zk＝zk-1+Δ。当满足条件(7)时，迭代过程停止。在确定正确的目标坐标时，更小的Δ产生增加的精确度，但还需要更多计算时间以完成该过程，因此等待时间增加。等待时间增加可以导致手术器械的移动和通过操作的外科医生对其可视化之间的延迟。换言之，外科医生可以落后于命令感知系统。对于20cm至30cm深的手术观察空间， 0.1mm至0.3mm的Δ可以是足够的。当然，本领域的技术人员将知道平衡Δ的步长和完成迭代过程所需的计算时间。
出于展示的原因，已将上述说明简化，并且因此其仅包括三个传感器S11、 S12和S13。通常，更多个传感器不仅可以用于增加Q3D坐标计算的精确度，而且减少总体迭代次数。例如，如果使用多于三个的传感器，优选地3×3传感器阵列，则可以利用方法诸如最陡梯度法以趋向通过模块402.5和模块403 造成的估计误差的方向。迭代步长和方向可以被调整以匹配朝向3D误差梯度表面的局部极值的进展。
借助Q3D信息引导内窥镜手术
图20为根据一些实施例的表示在手术程序期间使用Q3D信息的第一过程2000的示意流程图。计算机程序代码配置计算机151以执行过程2000。模块2002配置计算机以接收用户输入，从而当看向观察器312时选择在外科医生视野内的至少两个对象。模块2004配置计算机以响应于接收用户选择在计算机控制台上显示菜单。决定模块2006配置计算机以确定到菜单的显示距离的用户输入是否被接收。响应于确定显示距离的用户输入被接收，模块2008 配置计算机以在外科医生视野中的视频图像内显示数值距离。决定模块2010 配置计算机以等待接收选择距离显示的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2006的操作。
决定模块2012配置计算机以确定到菜单的输入/录入(enter)接近度(proximity)警报界限的用户输入是否被接收。响应于确定输入接近度阈值的用户输入被接收，模块2014配置计算机以使用Q3D信息来监控外科医生视野内的两个或更多个对象之间的接近度。决定模块2016确定是否已经越过接近度阈值。响应于确定已经越过接近度阈值，模块2018配置计算机以激活警报。警报可以包括声音、视觉队列诸如闪光信号灯、器械移动的锁定以避免碰撞，或其他触觉反馈。响应于确定还未越过接近度阈值，控制流程返回到监控模块2014。决定模块2020配置计算机以等待接收输入接近度阈值的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2012的操作。
图21为示出根据一些实施例的按照图20过程在显示屏2102上所显示的菜单选择的示意图。显示屏2102包括与计算机151相关联的观察监控器。替代地，显示屏2102可以包括观察器312的观察元件401R、401L的区域。响应于用户输入，模块2004使菜单2104得以显示，菜单2104包括第一菜单项“显示距离”2106和第二菜单项“设定接近度警报”2108。响应于选择“显示距离”菜单项2106的用户输入，模块2008使两个或更多个对象之间的Q3D 距离得以显示。再次参考图4，其示出器械400和使用模块2008显示的目标之间的Q3D距离“d_Instr_Trgt”的显示。响应于选择“设定接近度警报”菜单项2108的用户输入，显示“输入距离”UI输入2110，UI输入2110包括用户可以输入接近度距离阈值例如1cm的栏。在替代实施例(未示出)中，可以提前为所有器械设定默认的接近度阈值，并且用户可以使用例如图21的菜单来改变接近度阈值。在替代实施例中，用户可以决定选择默认阈值而不是输入阈值。在一些实施例中，用户可以选择显示距离和设定接近度警报两者。
图22A至图22B为表示根据一些实施例的按照图20的过程接收用户输入的某些细节的示意图。图22A示出目标410L、401R诸如人体组织的示例第一高光区域2202L、2202R，第一高光区域可以使用视频标记工具诸如远程图显，或者使用操纵图4的控制输入设备160的外科医生控制台创建。图22B 示出器械顶端400L、400R的示例第二高光区域2206L、2206R，第二高光区域可以使用视频标记工具创建。在根据一些实施例的操作中，用户创建第一高光区域2202L、2202R。接下来，用户使用视频标记工具来创建器械顶端 400L、400R的示例第二高光区域2206L、2206R。应该理解，将项加亮的顺序并不重要。然后用户致动选择器(未示出)(例如，按压ENTER键)以输入选择。模块2002将接收到的用户输入解释为目标图像410L、410R和器械图像400L、400R的选择。
图23为表示根据一些实施例的在手术程序期间使用Q3D信息的第二过程2300的示意流程图。计算机程序代码配置计算机151以执行过程2300。模块2302配置计算机以接收用户输入，从而当看向观察器312时选择外科医生视野内的对象。例如，再次参考图22A，其示出用户输入被接收以使用视频标记工具来创建器械顶端400L、400R的第二高光区域2206L、2206R。用户输入(未示出)被接收，以致动选择器(未示出)(例如，按压ENTER键) 从而输入器械顶端400L、400R的图像的选择。
再一次返回到图23，响应于接收用户选择，模块2304配置计算机以在计算机控制台上显示菜单。决定模块2306配置计算机以确定到菜单的使所选对象的图像旋转的用户输入是否被接收。响应于确定使图像旋转的用户输入被接收，模块2308配置计算机以使图像旋转从而示出对象的不同三维透视图。决定模块2310配置计算机以等待接收使图像旋转的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2306的操作。
图24为示出根据一些实施例的按照图23的过程在显示屏2402上所显示的菜单选择的示意图。显示屏2402包括与计算机151相关联的观察监控器。替代地，显示屏2402可以包括观察器312的观察元件401R、401L的区域。响应于接收到的用户输入，模块2304使菜单2404得以显示，菜单2404包括第三菜单项“向左旋转”2406和第四菜单项“向右旋转”2408。响应于选择第三菜单项2406或第四菜单项2408中的一个或另一个的用户输入，模块2308使按照图9的模块407创建并存储的3D模型旋转。应该认识到，由于传感器成像器阵列210具有有限的总体视野，所以旋转量可以限制到几度，例如小于30度。
Q3D置换模型&经由抖动的模型优化
手术程序可以包括去除受损的或病变的骨组织并且用假体植入物进行置换。例如，骨的一部分通过疾病或伤害而受损。图25A为示出根据一些实施例的在手术程序之前的解剖结构的示例性俯视图的示意图。解剖结构可以是骨的一部分诸如，膝关节、臀部、肘部、肩部、脊椎、头盖骨、脚踝、腕部、脚、手掌等的骨部分。例如，骨的一部分通过疾病或伤害而受损。图25B为大体沿来自图25A中的视角1-1的虚线A-A的侧视横截面图，其更详细地示出示例受损部分的轮廓。
图26A为示出根据一些实施例的在手术程序之后的解剖结构的示例视图的示意图，其中受损或病变的骨组织被去除，并且留下周围是剩余的健康组织的空隙。参考图5，例如，假设医生可以使用远程操作系统100来执行包括去除受损骨组织和使用假体结构对其进行置换的医疗程序，诸如膝关节、臀部、肩部、脊椎、头盖骨、脚踝、腕部、脚或手掌骨的修复、部分置换或全部置换，从而使用手术器械101A或手术器械101B来将受损部分从解剖结构去除，留下完整的健康或未受损伤的部分，健康或未受损伤的部分限定受损部分先前位于其中的空隙、空的空间或间隙。替代地，可以使用手动器械。图26B为大体沿来自图26A的视角1-1的虚线A-A的侧视横截面图，其示出在去除病变或受损骨组织后的示例健康的或未受损伤的区域的轮廓。
根据一些实施例，紧密地配合在由骨组织去除而留下的空隙内的置换结构的轮廓和尺寸基于健康骨组织的轮廓的Q3D模型来确定，健康骨组织在本文还被称为在去除受损或受伤骨组织之后剩余的“剩余”骨组织。在去除受损的或病变的骨组织之前，基于从解剖结构捕捉的图像信息产生Q3D模型，所述Q3D模型表示去除之前的骨组织的外表面的轮廓，所述骨组织包括受损或病变骨组织。在去除还未被去除的受损或病变骨组织之后，基于从解剖结构捕捉的图像信息产生另一Q3D模型，所述另一Q3D模型表示去除之后的包括剩余结构的骨组织的外表面的轮廓。将与Q3D传感器相关联的内窥镜101C 移动到Q3D传感器可以在外部地对围绕空隙的剩余骨组织的可见轮廓成像的位置，其中受损或病变组织已经从所述空隙去除。根据一些实施例，并且如上参考图6至图19所述，Q3D传感器被设置成捕捉围绕空隙区域的剩余骨组织的Q3D图像，并且产生剩余骨组织的Q3D模型。基于“剩余”骨组织的Q3D模型产生假体植入物。将假体植入物放置在通过剩余骨组织所限定的空隙内，以用作被去除的骨组织的置换。
在根据一些实施例的Q3D图像捕捉期间，用于捕捉Q3D图像的内窥镜 101C的观察视角被“抖动”-也就是在数个(两个或更多个)真实观察点之间进行调整或移动，从所述观察点，内窥镜101C可以从待成像的目标区域诸如组织去除之前的受损组织或组织去除之后的剩余组织捕捉Q3D图像信息，以便增强基于捕捉的Q3D图像信息所产生的Q3D模型的分辨率和精确度。图 27A至图27C为示出根据一些实施例的处于三个不同示例“抖动”位置以捕捉目标区域的三个不同图像观察点的内窥镜的示意图。为实现不同的抖动位置，按照已知的量移动内窥镜101C，以便不同的抖动位置相对于彼此已知。不同的内窥镜位置相差小的距离，例如，小于5mm(例如，传感器像素宽度的几分之一、传感器宽度的几分之一)。这些小的距离确保通过内窥镜101C 从不同的位置获取的3D图像中的足够的冗余。然后，应用超分辨率图像重构捕捉图像，以产生具有与捕捉图像中的每个相比均增强的分辨率的图像。
Q3D内窥镜101C的受控抖动增加对应于感兴趣目标区域诸如剩余骨组织的空间体积内的点的(x，y，z)坐标计算的精确度。在足够冗余的情况下，由于来自另外地且稍微改变的观察角度的附加数据被提供给参考图9至图19 所述的过程，所以精确度增加。具体地，受控抖动帮助图9的过程更精确地在步骤402至步骤404处发现目标。考虑到在附加数据方面的增加的冗余，这可以通过改善发现在图10中的步骤402.3至步骤402.5处所描述的“最佳匹配”的精确度来实现。Q3D内窥镜101C的抖动受控的事实从稍微不同的角度提供感兴趣的目标场景的视图。这相当于传感器Sij之间距离的“虚拟”增加。参考图5，受控抖动可以通过控制支撑Q3D内窥镜101C的机器人臂158C 的硬件来实现。替代地，如果使用具有电子可调整的光学性质的透镜来构建 Q3D内窥镜101C，则抖动可以被电子地引入。例如，根据Hassanfiroozi等人的“用于3D内窥镜的液晶透镜阵列(Liquid crystal lens array fora 3D endoscope)”(Proceedings SPIE 9117，2014年5月9日)可以采用液晶透镜阵列。此类透镜如果与Q3D内窥镜101C结合使用，则可以通过控制电压信号的调制调整其光学性质。因此可以通过基于已知图案修改控制电压来引入光学抖动。例如，可以调整此类透镜的光学轴线。该行为具有机械地抖动101C 的取向的等效作用。无论是通过机器人臂158C的运动进行的机械抖动，还是通过液晶透镜的控制电压的调制进行的电子抖动，在计算目标点的坐标(x， y，z)中均具有增强精确度的相同结果。
图28A至图28B为表示根据一些实施例的去除前的第一Q3D模型和去除后的第二Q3D模型的使用，以产生假体植入物的第三Q3D模型的示意图。图 28A为表示根据一些实施例的解剖结构的去除前的第一Q3D模型和解剖结构的去除后的第二Q3D模型，以及假体结构的第三Q3D模型的横截面图的示意图。图28B为表示根据一些实施例的解剖结构的去除前的第一Q3D模型和解剖结构的去除后的第二Q3D模型，以及假体结构的第三Q3D模型的正视图的示意图。如图28A至图28B所示，假体结构的Q3D模型通过确定对应于图 28A和图28B的解剖结构的去除后Q3D模型与图28A和图28B的去除前第一Q3D模型之间的一个或多个差异来确定。更具体地，去除后的第二Q3D模型包括剩余部分，所述剩余部分限定已经将受损骨组织从中去除的空隙或空区域。第三Q3D模型表示置换结构，所述置换结构的形状和尺寸设定为抵靠限定空隙区域的剩余结构紧密配合。在一些实施例中，通过从第一Q3D模型减去第二Q3D模型来确定差异。3D数字减影为对本领域技术人员而言已知的技术。例如，其先前已经用于数字血管造影术，诸如在美国专利No.5,647,360 (提交于1995年6月30日)中有所呈现，并且其内容以引用方式并入本文。
应该认识到，Q3D成像可以用于提供变化的定期或连续更新，所述变化在手术程序期间(诸如例如，磨削骨的表面以去除组织)对解剖结构进行修改时施加到解剖结构。以这种方式，可以向外科医生提供指示手术进展的Q3D 测量信息，并且外科医生可以做出相应的调整。而且，在手术过程中创建的 Q3D模型可以用于创建补充的Q3D或3D模型，补充的Q3D或3D模型用于产生或选择配合在由于手术而产生的组织空隙或组织表面结构内的置换解剖对象。因此，例如，在手术过程期间，可以开发或选择定制的手术植入物。
图29A为表示根据一些实施例的将假体结构模型的Q3D转换成文件结构的过程的示意图，文件结构可由三维(3D)打印机器使用。3D打印还被称为添加制造，其为从数字化文件制造三维立体对象的众所周知的过程。3D打印对象的创建使用添加过程实现。在添加过程中，通过铺设材料的连续层直到创建整个对象来创建对象。3D打印机通常根据包含在文件中的计算机辅助设计(CAD)和制造模型中所表示的结构的3D建模程序进行配置。3D建模程序用于配置3D打印机进行打印，将CAD模型切割成成百上千个水平层。将从CAD模型文件准备的生产文件上传到3D打印机，以将其配置成逐层创建 (例如，打印)对象。3D打印机读取每个切片(或2D图像)，并且继续创建对象，该对象使每层混合在一起，其中没有可视的分层现象，从而生成一个三维对象。计算机系统(未示出)经配置实施文件转换过程，以将假体结构的Q3D模型转换成3D打印机兼容的文件结构。存储在计算机可读存储设备中的假体结构的Q3D模型用作到转换过程的输入。由3D打印机使用的3D打印机可读文件为转换过程的输出。对于本文讨论的具体申请，骨的置换或修复而言，文件转换过程产生适合于指示3D打印机产生具有互补结构的结构的文件，所述互补结构抵靠剩余骨组织紧密配合，并且填充或基本填充空隙，诸如图26A-26B的通过受损或受损伤的组织的手术去除所产生的示例空隙。合适的 3D打印机格式的示例包括标准格式，诸如.stl、.obj、.ztl、.iges、.mb、.max和.3ds。替代地，可以使用专用打印格式或非标准的3D打印格式。
图29B为表示使用3D打印机产生与健康的或未受损伤的区域互相配合的假体植入物的过程的示意图。3D打印机器接收由假体结构的Q3D模型产生的3D打印机可读文件，作为用于引导打印过程的制造输入数据。根据3D打印机可读文件进行配置的3D打印机将制造材料转换成假体植入物，所述假体植入物的尺寸被设定为与剩余的健康或未受损伤的区域互相配合。制造材料可以是生物相容的、适合长期植入的，并且其可以具有临床程序的特定目标所需的材料性质。作为示例，但不限于，以下为此类材料的列表：陶瓷、不锈钢、钴铬合金、钛、聚乙烯或锆。
图30A为示出在使假体植入物与剩余区域紧密互相配合的手术程序之后的解剖结构的示例顶视图的示意图。参考图5，医生可以使用手术器械101A 或手术器械101B以将假体植入物固定到剩余区域。例如，可以使用丙烯酸接合剂将假体植入物固定到剩余的健康或未受损伤的区域。替代地，可以使用未胶结的固定。在未胶结固定的情况下，植入物的表面由多孔的蜂窝样的表面组成，所述表面允许新的骨组织的向内生长以帮助将3D打印的植入物保持在合适的位置。因此，应该认识到，使用成像传感器阵列收集的Q3D信息用于产生与剩余区域的轮廓良好配合的植入物，其中受损部分已经从剩余区域中去除。图30B为大体沿来自图30A中的视角1-1的虚线A-A的侧视横截面图，其示出示例剩余区域的轮廓。
替代地，Q3D信息可以用于从预制的假体植入物当中选择。Q3D信息可以提供可与多个预制植入物(未示出)的尺寸相比较的尺寸，并且选择具有与所需尺寸最接近的匹配的植入物。例如，参考图31A和图32A，如果程序包括全膝关节置换，则Q3D信息可以用于选择例如胫骨板3206或股骨部件 3208的适当尺寸。对于更简单的部分膝关节置换程序，诸如图31B，Q3D信息可以用于从图32B的部分股骨部件3210或部分胫骨板3212的列表中进行选择。
用于性能评估的Q3D模型
可操控的导管可视化和组织操纵系统在美国专利No.US 8,657,805B2(提交于2008年5月8日)；美国专利申请公开No.US 2013/0172726A9(提交于 2010年5月12日)；以及美国专利申请公开No.US 2009/0203962A1(提交于2009年2月6日)(‘962公布)中有所描述。‘962公布公开了使用成像罩在直接可视化下进行的支架递送，其全部内容以引用方式明确地并入本文。
‘962公布中描述的组织成像和操纵装置能够提供人体内腔诸如心腔内的组织区域的实时活体图像，人体内腔填充有动态地从中流过的血液。所述装置还能够提供用于在成像的组织区域上执行各种程序的血管内工具和器械。此装置可以用于许多程序，例如，促进经中隔进入左心房、对冠状窦进行插管、诊断心瓣反流/狭窄、瓣膜成形术、心耳封闭和致心律失常性病灶消融等。
组织进入和成像装置的一种变型在图33A至图33C的详细透视图中在‘962公布中示出。如图33A所示，组织成像和操纵组件10可以经由递送导管或护套14以低型(low-profile)配置穿过患者的身体在血管内递送。在治疗组织的情况下，通常期望进到或进入左心房同时将对患者的创伤最小化。为非手术地实现此进入，一种常规方法包括在通常称作经中隔程序或房隔造口术的过程中，从右心房腔到左心房腔穿刺内部心房中隔。对于诸如经皮瓣膜修复和置换的程序，经中隔进入心脏的左心房腔可以允许将较大的设备引入静脉系统中，较大的设备通常经由皮肤引入动脉系统中。
当成像和操纵组件10准备用于对组织进行成像时，成像罩12可以相对于导管14推进并且自导管14的远侧开口进行部署，如通过箭头所示。在部署后，成像罩12可以不受约束地扩展或通向经部署的成像配置，如图33B所示。成像罩12可以由各种柔软的或可适形的生物相容性材料制成，所述材料包括但不限于，例如，聚合物材料、塑料材料或织造材料。织造材料的一个示例为其为芳族聚酰胺并且可以被制成薄的(例如，小于0.001英寸)材料，该材料对于本说明书中描述的应用维持足够的完整性。而且，成像罩12可以由透明的或不透明的材料以各种不同的颜色制成，以优化或削弱来自周围流体或结构(即，解剖结构或机械结构或器械)的任何反射光。不论哪种情况，成像罩12均可以被制成均匀的结构或架子支撑的结构，在这种情况下，由形状记忆合金诸如镍钛诺或弹簧钢或塑料等制成的架子可以被制造并且覆盖有聚合物材料、塑料材料或织造材料。因此，成像罩12可以包括各种阻隔件或膜结构中的任一种，正如通常可以用于从人体内腔诸如心腔的所选体积局部置换血液等的那些。在示例性实施例中，成像罩12的内表面13 内的体积将显著地小于罩12的在内表面13和外表面11之间的体积。
成像罩12可以在接口24处附接到部署导管16，部署导管16可以独立于部署导管或护套14平移。接口24的附接可以通过任意数目的常规方法来完成。部署导管16可以限定流体递送腔18和成像腔20，光学成像纤维或组件可以设置在成像腔20内用于对组织进行成像。当被部署时，如果开放区或视野26通过成像罩12限定，则成像罩12可以扩展成许多种形状，例如，圆柱形、圆锥形(如图所示)、半球形等。开放区26为在其内可以对感兴趣的组织区域进行成像的区域。成像罩12还可以限定防止损伤的接触唇缘或边缘22，用于抵靠感兴趣的组织区域布置或邻接。而且，相对于部署导管16的直径，成像罩12的直径在其最大完全展开直径处例如在接触唇缘或边缘22处通常较大(但是，接触唇缘或边缘22的直径可以被制成具有较小的或相等的部署导管16的直径)。例如，接触边缘直径可以在从1倍到5倍(或者只要可行甚至更大)的部署导管16的直径的任意范围内。图33C示出处于其部署配置中的成像罩12的端视图。还示出接触唇缘或边缘22和流体递送腔18以及成像腔20。
如‘962公布的图34A和图34B的示例中所见，可以操纵部署导管16以抵靠或靠近待成像的感兴趣的底层组织区域定位经部署的成像罩12，在该示例中，所述底层组织区域为左心房腔内的二尖瓣MV的环A的一部分。如图 34A所示，当周围血液30围绕成像罩12流动并且在成像罩12内限定的开放区26内流动时，底层环A受到不透明的血液30妨碍，并且难以通过成像腔 20来观察。随后，可通过流体递送腔18间歇地或连续地泵送透明流体28诸如生理盐水，直到血液30至少部分地并且优选全部地被流体28从开放区26 内置换。
虽然接触边缘22无需直接接触底层组织，但至少优选地使其紧密接近组织，使得来自开放区26的清澈流体28的流动可以被维持，以抑制血液30大量反流回到开放区26中。接触边缘22还可以由柔软的弹性材料制成，诸如通常已知的一定柔软等级的硅胶或聚氨酯，以帮助接触边缘22适形不均匀的或粗糙的底层解剖组织表面。一旦血液30已经从成像罩12被置换，就可以通过清澈的流体30观察底层组织的图像。然后，该图像可以被记录或可用于执行治疗程序的实时观察。可连续地维持流体28的正向流以提供底层组织的清晰观察。替代地，可以仅临时地或偶尔地泵送流体28，直到组织的清晰视图可用于进行成像或记录，此时，流体28流动可以停止并且可以允许血液30 渗出或流回成像罩12中。该过程可以在相同组织区域或在多个组织区域处重复多次。
在本文描述的过程中的任一个中利用成像罩12中，罩12可以具有开放视野，开放视野为无覆盖且清晰的，以提供罩内部和底层组织之间的直接组织接触，从而实现在组织上的多种治疗，如上所述。然而，在附加变型中，成像罩12可以利用其他配置。成像罩12的附加变型分别在‘962公布的图35A 和图35B的透视图和端视图中示出，其中成像罩12包括罩12远侧开口上的至少一层透明弹性膜40。‘962公布公开了一个或多个光学纤维束32，光学纤维束32可以定位在导管内和成像罩12内，以提供罩12内的开放区的直接内嵌成像。孔42的直径小于成像罩12的外唇缘的直径，孔42可以在膜40的中心上限定，其中罩的纵轴与膜交叉使得罩12的内部保持打开并且与罩12 外部的环境连通。而且，孔42的尺寸可被设定为例如直径在1mm至2mm 之间或更大，并且膜40可以由多种透明弹性体制成，诸如硅胶、聚氨酯、乳胶等，使得接触的组织还可以通过膜40以及通过孔42可视化。
孔42通常可以起到限制通道的作用，以在罩12的内部被灌输清澈的流体时，减少流体从罩12向外流动的比率，其中底层组织区域通过清澈流体可视化。除限制清澈流体从罩12内向外流动以外，孔42还可以限制来自外部环境的流体过于迅速地进入罩12。流体从罩向外流动和血液向内流到罩12内的比率的减小可以改善可视化条件，因为罩12可以更容易填充有透明流体而并非被不透明血液填充，不透明血液可以妨碍可视化器械进行的直接可视化。
而且，孔42可以与导管16对齐，使得推进到罩内部的任何器械(例如，刺穿器械、导丝、组织衔接器等)可通过孔42直接进入不受抑制的或不受限制的底层组织以用于治疗。在其中光圈42与导管16未对齐的其他变型中，穿过导管16的器械仍可以通过简单地刺穿膜40而进入底层组织。
图36为示出以上参考图7A至图7B以及图8所述的图像传感器阵列210 的示意图，图像传感器阵列210定位在器械内和成像罩12内，以提供罩12 内的开放区的直接内嵌的Q3D成像。替代地，图像传感器阵列可以设置在罩外部，并且一个或多个光学纤维束诸如图35A所示的束32可以将图像信息递送到设置在成像罩12外部的图像传感器阵列。
图37为示出根据一些实施例的包括图像传感器阵列210的抵靠孔口(OS) 接触的罩12的示例使用的示意图，所述孔口(OS)与右冠状动脉(RCA)连通。一旦罩12抵靠开口(OS)接触，清澈流体就可以被引入罩12的开放区内以清除来自罩内部的血液，从而提供清晰的视野，图像传感器阵列210可以通过该清晰的视野捕捉Q3D信息。关于围绕孔口OS的组织的轮廓和延伸到内腔72中的血管壁的至少一部分。例如，图37示出待治疗的开口病变部位86。当清除的清澈流体离开罩12并且通过内腔72向下流动时，图像传感器阵列210可以用于至少部分地进入腔72中直接捕捉Q3D图像信息，以提供待治疗的病变部位86的图像。关于病变部位86尺寸的Q3D信息可以用于设定旨在待使用的治疗设备的尺寸。替代地，Q3D信息可以用于理解临床问题的范围，使得治疗更具体地针对患者的情况进行调整。
图38为示出根据一些实施例的包括图像传感器阵列210的抵靠孔口(OS) 接触的罩的示例使用的示意图，并且其中，支架84已经安装于右冠状动脉 (RCA)中。支架84安装在病变部位8的上方。图像传感器阵列210可以用于提供Q3D信息以评估支架84在内腔72内的部署和定位。作为示例但不限于，Q3D信息可以用于根据患者RCA OS的尺寸来设定支架84的尺寸。关于病变部位86的Q3D信息还可以用于适当地设定支架84的长度的尺寸。在另一实施例中，一旦支架84被部署内在适当位置，Q3D信息就可以用于检查支架84的性能。例如，使用定量信息，Q3D信息可以精确地示出支架到RCA 内壁的配合。如果未完全覆盖病变部位，或者如果支架直径过大或过小，则这些情况均可以基于Q3D信息进行量化。图41为示出定量评估标准的示例的示意图，定量评估标准可以用于评估血管的支架覆盖范围的性能。定量目标中的一个为最小化平均支架横截面面积和平均内腔横截面面积之间的差异。
图39为示出邻近处于打开位置中的假体心瓣植入物设置的Q3D内窥镜的示意图。图40为示出邻近处于关闭位置中的假体心瓣植入物设置的Q3D 内窥镜的示意图。Q3D内窥镜使用图像传感器阵列210捕捉Q3D信息。Q3D 内窥镜可以设置在成像罩内。然而，为了简化描述并未示出罩。参考图39，所示第一阀瓣和第二阀瓣间隔开，从而指示瓣膜打开并且流体(例如，血液) 可以流过。参考图40，所示第一阀瓣和第二阀瓣紧靠在一起，从而指示瓣膜关闭并且流体(例如，血液)不可以流过。根据一些实施例，Q3D内窥镜捕捉一系列Q3D图像，所述Q3D图像共同提供与瓣膜的打开运动和关闭运动相关联的空间信息。例如但不限于，通过与图40相关联的Q3D模型所提供的信息可以示出假体瓣膜完全关闭。瓣膜的不完全闭合可以导致显著的反流，反流进而降低患者心脏的性能。类似地，与图39相关联的Q3D信息可以示出假体瓣膜的尺寸是否关于患者心脏的解剖细节被正确地设定。例如但不限于，如果图39的假体瓣膜为主动脉瓣，则对到主动脉口和到主动脉壁的配合的量化将非常重要。同样重要的是，确认瓣膜完全打开非常重要，如图39所示。如果瓣膜未完全打开，则患者的心输出量将被损坏。另外，因为压力将从主动脉瓣上游开始增加，所以患者的血压将适时地受到影响。类似重要的信息将提供给二尖瓣程序、三尖瓣程序或肺动脉瓣程序。
应该理解，Q3D信息在医疗应用中的使用不限于支架和血管或心脏瓣膜的应用。以上所示的基本远离可以被修改以包括与各种假体设备一起的使用，诸如用于设备的尺寸或形状选择、最佳定位等。
根据本发明的实施例的前述描述和附图仅说明了本发明的原理。因此，应该理解，在不背离所附权利要求中限定的本发明的精神和范围的情况下，本领域的技术人员可以对本实施例进行各种修改。

Claims (11)

1.一种产生置换解剖结构的系统，其包括：
定量三维(Q3D)内窥镜，其被设置成对视野内的包括目标组织的解剖结构进行成像；
至少一个处理器，其经配置：
基于从所述解剖结构捕捉的图像信息产生第一Q3D模型，所述第一Q3D模型表示包括所述目标骨组织的骨组织的外表面；
基于从所述解剖结构捕捉的图像信息产生第二Q3D模型，所述第二Q3D模型表示剩余组织结构，所述剩余组织结构处于已经将所述目标组织从中去除的所述解剖结构的位置中；以及
至少部分地基于所述第一Q3D模型和所述第二Q3D模型，产生置换结构的第三Q3D模型。
2.根据权利要求1所述的系统，
其中产生所述第三Q3D模型包括确定所述第一Q3D模型和所述第二Q3D模型之间的一个或更多个差异。
3.根据权利要求1所述的系统，
其中产生所述第三Q3D模型包括确定所述第一Q3D模型和所述第二Q3D模型之间的3D数字减影。
4.根据权利要求1所述的系统，
其中所述至少一个处理器经配置：
以适合于供3D打印机器使用的格式将所述第三Q3D模型转换成所述置换结构的三维(3D)模型。
5.根据权利要求1所述的系统，
其中所述至少一个处理器经配置：
提供指示所述置换结构所需的尺寸的输出信号。
6.一种用于产生手术置换结构的方法，其包括：
使用Q3D内窥镜，所述Q3D内窥镜被设置成对视野内的包括目标骨组织的解剖结构进行成像；
基于从所述解剖结构捕捉的图像信息，产生第一定量三维(Q3D)模型，所述第一Q3D模型表示包括所述目标骨组织的骨组织的外表面；
基于从所述解剖结构捕捉的图像信息，产生第二Q3D模型，所述第二Q3D模型表示剩余组织骨结构，所述剩余组织骨结构处于已经将所述目标骨组织从中去除的所述解剖结构的位置中；以及
接收基于所述第一Q3D模型和所述第二Q3D模型产生的置换结构的第三Q3D模型。
7.根据权利要求6所述的方法，其进一步包括：
其中产生所述第三Q3D模型包括确定所述第一Q3D模型和所述第二Q3D模型之间的3D数字减影。
8.根据权利要求6所述的方法，其进一步包括：
以适合于供3D打印机器使用的格式将所述第三Q3D模型转换成所述置换结构的三维(3D)模型。
9.根据权利要求8所述的方法，其进一步包括：使用3D打印机器产生所述置换结构，所述3D打印机器使用所述3D模型进行配置。
10.根据权利要求6所述的方法，其进一步包括：
至少部分地基于所述置换结构的所述第三Q3D模型，设定现成的置换结构的尺寸以将其用作用于置换所述去除的组织的植入物。
11.根据权利要求6所述的方法，
其中产生所述第三Q3D模型包括确定所述第一Q3D模型和所述第二Q3D模型之间的一个或更多个差异。
CN201580024438.6A 2014-03-28 2015-03-28 手术植入物的定量三维成像和打印 Active CN106456271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910501350.9A CN110251047B (zh) 2014-03-28 2015-03-28 手术植入物的定量三维成像和打印

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461971749P 2014-03-28 2014-03-28
US61/971,749 2014-03-28
US201462096518P 2014-12-23 2014-12-23
US62/096,518 2014-12-23
PCT/US2015/023213 WO2015149043A1 (en) 2014-03-28 2015-03-28 Quantitative three-dimensional imaging and printing of surgical implants

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910501350.9A Division CN110251047B (zh) 2014-03-28 2015-03-28 手术植入物的定量三维成像和打印

Publications (2)

Publication Number Publication Date
CN106456271A CN106456271A (zh) 2017-02-22
CN106456271B true CN106456271B (zh) 2019-06-28

Family

ID=54196485

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580024438.6A Active CN106456271B (zh) 2014-03-28 2015-03-28 手术植入物的定量三维成像和打印
CN201910501350.9A Active CN110251047B (zh) 2014-03-28 2015-03-28 手术植入物的定量三维成像和打印

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910501350.9A Active CN110251047B (zh) 2014-03-28 2015-03-28 手术植入物的定量三维成像和打印

Country Status (6)

Country Link
US (1) US10350009B2 (zh)
EP (1) EP3122281B1 (zh)
JP (2) JP2017517355A (zh)
KR (1) KR102405687B1 (zh)
CN (2) CN106456271B (zh)
WO (1) WO2015149043A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111184577A (zh) 2014-03-28 2020-05-22 直观外科手术操作公司 器械在视野中的定量三维可视化
EP3125809B1 (en) 2014-03-28 2020-09-09 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
WO2015149046A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
JP2017518147A (ja) 2014-03-28 2017-07-06 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術シーンの定量的三次元撮像
JP6323184B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
US20170064170A1 (en) * 2015-09-01 2017-03-02 Canon Kabushiki Kaisha Optical transmission unit and image capturing apparatus
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
CN105773072A (zh) * 2015-12-30 2016-07-20 北京航科精机科技有限公司 一种片层叠加增材制造复杂金属零件的方法
GB201616777D0 (en) 2016-10-03 2016-11-16 Univ Southampton A frame for an implantable medical device and a method of manufacturing a frame for an implantable medical device
US10222607B2 (en) * 2016-12-14 2019-03-05 Canon U.S.A., Inc. Three-dimensional endoscope
DE102017103198A1 (de) * 2017-02-16 2018-08-16 avateramedical GmBH Vorrichtung zum Festlegen und Wiederauffinden eines Bezugspunkts während eines chirurgischen Eingriffs
CN110770540B (zh) * 2017-05-31 2024-04-09 宝马股份公司 用于构建环境模型的方法和装置
US11583349B2 (en) 2017-06-28 2023-02-21 Intuitive Surgical Operations, Inc. Systems and methods for projecting an endoscopic image to a three-dimensional volume
CN107595387B (zh) * 2017-07-28 2020-08-07 浙江大学 一种基于超声拓片技术的脊椎图像生成系统以及脊柱手术导航定位系统
US11241285B2 (en) 2017-11-07 2022-02-08 Mako Surgical Corp. Robotic system for shoulder arthroplasty using stemless implant components
US11432945B2 (en) 2017-11-07 2022-09-06 Howmedica Osteonics Corp. Robotic system for shoulder arthroplasty using stemless implant components
US11173048B2 (en) 2017-11-07 2021-11-16 Howmedica Osteonics Corp. Robotic system for shoulder arthroplasty using stemless implant components
US11872764B2 (en) 2017-12-06 2024-01-16 The Trustees Of The Univeristy Of Pennsylvania Three-dimensional printing from images
US11875440B2 (en) * 2018-02-05 2024-01-16 Jay Wright Systems and methods for animation
CN108644698A (zh) * 2018-05-09 2018-10-12 金华职业技术学院 仿真石头装饰灯结构及制造工艺
DE102018113580A1 (de) * 2018-06-07 2019-12-12 Christoph Karl Verfahren und vorrichtung zur herstellung eines implantats
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11801113B2 (en) * 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11172184B2 (en) 2018-12-13 2021-11-09 Covidien Lp Systems and methods for imaging a patient
CN110384561B (zh) * 2019-07-05 2024-07-19 北京万特福医疗器械有限公司 一种无框架定位仪定位支架
US11246672B2 (en) * 2019-08-15 2022-02-15 Auris Health, Inc. Axial motion drive devices, systems, and methods for a robotic medical system
CN111091562B (zh) * 2019-12-23 2020-12-01 山东大学齐鲁医院 一种消化道病灶大小测量方法及系统
US11944395B2 (en) 2020-09-08 2024-04-02 Verb Surgical Inc. 3D visualization enhancement for depth perception and collision avoidance
JP7029216B1 (ja) * 2020-10-27 2022-03-03 リバーフィールド株式会社 手術支援装置
KR20240076809A (ko) * 2021-09-28 2024-05-30 아우리스 헬스, 인코포레이티드 실시간 3d 로봇 상태
DE102022130075A1 (de) * 2022-11-14 2024-05-16 B. Braun New Ventures GmbH Kavitätsmodellierungssystem und Kavitätsmodellierungsverfahren

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950550B1 (en) * 2000-07-07 2005-09-27 Koji Kajimura Tracing technique and recording media of object motion
CN103269430A (zh) * 2013-04-16 2013-08-28 上海上安机电设计事务所有限公司 基于bim的三维场景生成方法

Family Cites Families (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04176429A (ja) 1990-11-09 1992-06-24 Olympus Optical Co Ltd 内視鏡
JP3217386B2 (ja) 1991-04-24 2001-10-09 オリンパス光学工業株式会社 診断システム
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5603318A (en) * 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
AT399647B (de) 1992-07-31 1995-06-26 Truppe Michael Anordnung zur darstellung des inneren von körpern
JPH06160087A (ja) 1992-11-20 1994-06-07 Matsushita Electric Ind Co Ltd 画像を用いた距離測定方法及びその装置
US5860934A (en) 1992-12-21 1999-01-19 Artann Corporation Method and device for mechanical imaging of breast
US5394455A (en) * 1993-04-30 1995-02-28 The Regents Of The University Of California Digitally aided microfluoroscopy and fluorospot system and method of using the same
JPH07240945A (ja) 1994-02-25 1995-09-12 Matsushita Electric Ind Co Ltd 仮想空間生成提示装置
DE4434539C2 (de) 1994-09-27 1998-06-04 Luis Dr Med Schuster Verfahren zur Herstellung einer Endoprothese als Gelenkersatz bei Kniegelenken
JP3599854B2 (ja) 1995-10-09 2004-12-08 オリンパス株式会社 医療用顔面装着型映像表示装置
US6346940B1 (en) 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
JPH11309A (ja) 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
JP2958458B1 (ja) 1998-08-26 1999-10-06 防衛庁技術研究本部長 多眼画像センサ
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6522906B1 (en) 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US7343195B2 (en) 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6517478B2 (en) 2000-03-30 2003-02-11 Cbyon, Inc. Apparatus and method for calibrating an endoscope
US6468203B2 (en) 2000-04-03 2002-10-22 Neoguide Systems, Inc. Steerable endoscope and improved method of insertion
JP4451968B2 (ja) 2000-07-11 2010-04-14 Ｈｏｙａ株式会社 ３次元画像入力装置
US6650927B1 (en) 2000-08-18 2003-11-18 Biosense, Inc. Rendering of diagnostic imaging data on a three-dimensional map
JP2002171537A (ja) 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
WO2002087444A1 (fr) * 2001-04-26 2002-11-07 Teijin Limited Procede de mesure d'une structure articulaire tridimensionnelle
DE10138537B4 (de) 2001-08-06 2006-07-06 Siemens Ag Taktiles Feedback zur Darstellung von Gewebeelastizität
US8175680B2 (en) 2001-11-09 2012-05-08 Boston Scientific Scimed, Inc. Systems and methods for guiding catheters using registered images
JP3751568B2 (ja) 2002-02-21 2006-03-01 株式会社サタケ 内視鏡における空気噴流診断装置
US9155544B2 (en) 2002-03-20 2015-10-13 P Tech, Llc Robotic systems and methods
JP3927487B2 (ja) 2002-12-02 2007-06-06 株式会社大野興業 人工骨モデルの製造方法
FR2855292B1 (fr) 2003-05-22 2005-12-09 Inst Nat Rech Inf Automat Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation
JP4414682B2 (ja) 2003-06-06 2010-02-10 オリンパス株式会社 超音波内視鏡装置
DE10340546B4 (de) 2003-09-01 2006-04-20 Siemens Ag Verfahren und Vorrichtung zur visuellen Unterstützung einer elektrophysiologischen Katheteranwendung im Herzen
JP2005087468A (ja) 2003-09-17 2005-04-07 Shoji Kawahito 距離画像計測機能を有する撮像装置及び内視鏡装置
JP4229791B2 (ja) 2003-09-19 2009-02-25 真 金子 内視鏡装置
US7746377B2 (en) * 2003-11-28 2010-06-29 Topcon Corporation Three-dimensional image display apparatus and method
EP1691666B1 (en) 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
DE102004008164B3 (de) * 2004-02-11 2005-10-13 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Erstellen zumindest eines Ausschnitts eines virtuellen 3D-Modells eines Körperinnenraums
US7289106B2 (en) 2004-04-01 2007-10-30 Immersion Medical, Inc. Methods and apparatus for palpation simulation
US20050254720A1 (en) 2004-05-17 2005-11-17 Kar-Han Tan Enhanced surgical visualizations with multi-flash imaging
WO2006018837A2 (en) * 2004-08-17 2006-02-23 Technion Research & Development Foundation Ltd. Ultrasonic image-guided tissue-damaging procedure
US7424088B2 (en) * 2004-09-29 2008-09-09 Kabushiki Kaisha Toshiba Image reconstruction method using Hilbert transform
JP2006109939A (ja) 2004-10-12 2006-04-27 Chinontec Kk 内視鏡装置
EP1832223B1 (en) 2004-12-27 2017-10-25 Olympus Corporation Medical image processing apparatus, and medical image processing method
US20100312129A1 (en) 2005-01-26 2010-12-09 Schecter Stuart O Cardiovascular haptic handle system
WO2006080076A1 (ja) 2005-01-28 2006-08-03 Saga University 三次元画像検出装置
JP2006305332A (ja) 2005-03-28 2006-11-09 Hiroshima Industrial Promotion Organization 画像処理装置およびそれを用いた内視鏡
US7752920B2 (en) 2005-12-30 2010-07-13 Intuitive Surgical Operations, Inc. Modular force sensor
US7312448B2 (en) * 2005-04-06 2007-12-25 Carl Zeiss Nts Gmbh Method and apparatus for quantitative three-dimensional reconstruction in scanning electron microscopy
EP1875310B1 (en) 2005-04-27 2013-03-06 Obducat AB Means for transferring a pattern to an object
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US9492240B2 (en) 2009-06-16 2016-11-15 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US9289267B2 (en) 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
EP1924197B1 (en) 2005-08-24 2017-10-11 Philips Electronics LTD System for navigated flexible endoscopy
WO2007033379A2 (en) 2005-09-14 2007-03-22 Neoguide Systems, Inc. Methods and apparatus for performing transluminal and other procedures
US8079950B2 (en) 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
EP3524202A1 (en) 2005-10-20 2019-08-14 Intuitive Surgical Operations Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system
US7907166B2 (en) * 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
CN100450445C (zh) * 2006-01-11 2009-01-14 中国科学院自动化研究所 一种实时自由臂三维超声成像系统及其方法
DE102006002001B4 (de) 2006-01-16 2009-07-23 Sensomotoric Instruments Gmbh Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung
IL181470A (en) 2006-02-24 2012-04-30 Visionsense Ltd Method and system for navigation within a flexible organ in the human body
US20070236514A1 (en) 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US8246680B2 (en) * 2006-05-25 2012-08-21 Spinemedica, Llc Patient-specific spinal implants and related systems and methods
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
GB0613576D0 (en) * 2006-07-10 2006-08-16 Leuven K U Res & Dev Endoscopic vision system
US7728868B2 (en) 2006-08-02 2010-06-01 Inneroptic Technology, Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US20080058593A1 (en) 2006-08-21 2008-03-06 Sti Medical Systems, Llc Computer aided diagnosis using video from endoscopes
US7824328B2 (en) 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
US8496575B2 (en) 2006-11-14 2013-07-30 Olympus Corporation Measuring endoscope apparatus, program and recording medium
US20090189749A1 (en) 2006-11-17 2009-07-30 Salada Mark A Haptic Interface Device and Method for Using Such
ATE493082T1 (de) 2006-12-15 2011-01-15 Ao Technology Ag Vorrichtung für die computergestützte distale arretierung von marknägeln
US20100149183A1 (en) 2006-12-15 2010-06-17 Loewke Kevin E Image mosaicing systems and methods
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
DE202007018027U1 (de) 2007-01-31 2008-04-17 Richard Wolf Gmbh Endoskopsystem
CN100594840C (zh) * 2007-05-18 2010-03-24 深圳先进技术研究院 一种跟踪体内微型装置的方法
JP2010532681A (ja) 2007-06-29 2010-10-14 スリーエム イノベイティブ プロパティズ カンパニー 歯科用モデルのための、ビデオ補助境界マーキング
US20090025910A1 (en) * 2007-07-27 2009-01-29 Paul Hoffman Vapor chamber structure with improved wick and method for manufacturing the same
US20090076476A1 (en) 2007-08-15 2009-03-19 Hansen Medical, Inc. Systems and methods employing force sensing for mapping intra-body tissue
FR2920085B1 (fr) 2007-08-24 2012-06-15 Univ Grenoble 1 Systeme d'imagerie pour l'observation tridimensionnelle d'un champ operatoire
US20090133260A1 (en) * 2007-11-26 2009-05-28 Ios Technologies, Inc 3D dental shade matching and apparatus
US20100111389A1 (en) 2007-12-06 2010-05-06 Siemens Medical Solutions Usa, Inc. System and method for planning and guiding percutaneous procedures
US20090157059A1 (en) 2007-12-14 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Surgical instrument navigation system
JP2009204991A (ja) 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
US20090221908A1 (en) 2008-03-01 2009-09-03 Neil David Glossop System and Method for Alignment of Instrumentation in Image-Guided Intervention
DE102008018636B4 (de) 2008-04-11 2011-01-05 Storz Endoskop Produktions Gmbh Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8636653B2 (en) 2008-06-09 2014-01-28 Capso Vision, Inc. In vivo camera with multiple sources to illuminate tissue at different distances
EP2145575A1 (en) * 2008-07-17 2010-01-20 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO A system, a method and a computer program for inspection of a three-dimensional environment by a user
US8334900B2 (en) 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
BRPI0803388A2 (pt) * 2008-08-14 2010-06-15 Petroleo Brasileiro Sa sistema estereoscópico endoscópico
JP5435916B2 (ja) 2008-09-18 2014-03-05 富士フイルム株式会社 電子内視鏡システム
JP4702569B2 (ja) 2008-09-30 2011-06-15 マツダ株式会社 車両用画像処理装置
RU2011120186A (ru) 2008-10-20 2012-11-27 Конинклейке Филипс Электроникс, Н.В. Способ и система локализации на основе изображений
US8594841B2 (en) 2008-12-31 2013-11-26 Intuitive Surgical Operations, Inc. Visual force feedback in a minimally invasive surgical procedure
WO2010093780A2 (en) 2009-02-13 2010-08-19 University Of Florida Research Foundation, Inc. Communication and skills training using interactive virtual humans
US8690776B2 (en) 2009-02-17 2014-04-08 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image guided surgery
US9017334B2 (en) * 2009-02-24 2015-04-28 Microport Orthopedics Holdings Inc. Patient specific surgical guide locator and mount
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
US9060713B2 (en) 2009-04-07 2015-06-23 Regents Of The University Of Minnesota Sensing tissue properties
JP5611324B2 (ja) 2009-04-25 2014-10-22 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ インプラントと生物の骨との相対位置を評価するシステム
CA2761844C (en) 2009-05-14 2017-11-28 University Health Network Quantitative endoscopy
US20120063644A1 (en) 2009-06-01 2012-03-15 Koninklijke Philips Electronics N.V. Distance-based position tracking method and system
WO2010144419A2 (en) 2009-06-08 2010-12-16 Surgivision, Inc. Mri-guided interventional systems that can track and generate dynamic visualizations of flexible intrabody devices in near real time
WO2010148088A2 (en) 2009-06-16 2010-12-23 Surgivision, Inc. Mri-guided devices and mri-guided interventional systems that can track and generate dynamic visualizations of the devices in near real time
US10026016B2 (en) 2009-06-26 2018-07-17 Regents Of The University Of Minnesota Tracking and representation of multi-dimensional organs
US8696456B2 (en) * 2009-07-29 2014-04-15 Activision Publishing, Inc. Music-based video game with user physical performance
ES2353099B1 (es) 2009-07-30 2012-01-02 Fundacion Para Progreso Soft Computing Método y sistema de identificación forense por superposición craneofacial basado en soft computing.
US20110032088A1 (en) 2009-08-10 2011-02-10 Electronics And Telecommunications Research Institute Method of encoding haptic information on image, method of decoding haptic information from image and apparatus of processing haptic information for the same
JP2013509902A (ja) * 2009-11-04 2013-03-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 距離センサを使用した衝突の回避と探知
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US11699247B2 (en) 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
US9436280B2 (en) 2010-01-07 2016-09-06 Qualcomm Incorporated Simulation of three-dimensional touch sensation using haptics
BR112012016973A2 (pt) 2010-01-13 2017-09-26 Koninl Philips Electronics Nv sistema de navegação cirúrgica para a integração de uma pluralidade de imagens de uma região anatômica de um corpo, incluíndo uma imagem pré-operatótia digitalizada, uma imagem intra-operatória fluoroscópia e uma imagem intra-operatória endoscópica
CN102781303A (zh) 2010-02-01 2012-11-14 塞拉芬·尼盖茨·伊图瓦 球形胶囊视频内窥镜检查
DE102010006741A1 (de) 2010-02-03 2011-08-04 Friedrich-Alexander-Universität Erlangen-Nürnberg, 91054 Verfahren zum Verarbeiten eines Endoskopiebildes
JP5421828B2 (ja) 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP2011200515A (ja) 2010-03-26 2011-10-13 Hoya Corp 触覚センサを備える電子内視鏡及び電子内視鏡システム
JP5432793B2 (ja) * 2010-03-29 2014-03-05 オリンパス株式会社 蛍光内視鏡装置
CN102933163A (zh) * 2010-04-14 2013-02-13 史密夫和内修有限公司 用于基于患者的计算机辅助手术程序的系统和方法
CA2801271C (en) 2010-06-11 2018-10-30 Ethicon, Llc Suture delivery tools for endoscopic and robot-assisted surgery and methods
CN103209656B (zh) 2010-09-10 2015-11-25 约翰霍普金斯大学 配准过的表面下解剖部的可视化
RU2594813C2 (ru) 2010-09-15 2016-08-20 Конинклейке Филипс Электроникс Н.В. Роботизированное управление эндоскопом по изображениям сети кровеносных сосудов
DE102010050227A1 (de) 2010-11-04 2012-05-10 Siemens Aktiengesellschaft Endoskop mit 3D-Funktionalität
EP2693975B1 (en) 2011-04-07 2018-11-28 3Shape A/S 3d system for guiding objects
US20120265062A1 (en) 2011-04-13 2012-10-18 St. Jude Medical, Inc. Optical coherence tomography catheter for elastographic property mapping of lumens utilizing micropalpation
JP6083051B2 (ja) 2011-05-12 2017-02-22 デピュー シンセス プロダクツ, インコーポレーテッドDePuy Synthes Products, Inc. 内視鏡用の改良型画像センサ
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
KR20130015146A (ko) 2011-08-02 2013-02-13 삼성전자주식회사 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템
US8784301B2 (en) 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
WO2013027200A2 (en) 2011-08-21 2013-02-28 M.S.T. Medical Surgery Technologies Ltd. Device and method for asissting laparoscopic surgery - rule based approach
US9204939B2 (en) 2011-08-21 2015-12-08 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery—rule based approach
US10052157B2 (en) 2011-08-21 2018-08-21 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery—rule based approach
US10866783B2 (en) 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
EP2755544B1 (en) 2011-09-13 2019-12-25 Visionsense Ltd Proximal high definition endoscope
EP2781182A4 (en) * 2011-11-15 2015-08-05 Naoki Suzuki PHOTOGRAPHIC DEVICE AND PHOTOGRAPHIC SYSTEM
DE102011119608B4 (de) 2011-11-29 2021-07-29 Karl Storz Se & Co. Kg Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
WO2013096499A1 (en) 2011-12-19 2013-06-27 The Regents Of The University Of California System for and method of quantifying on-body palpitation for improved medical diagnosis
EP2793745B1 (en) * 2011-12-22 2019-07-31 MIMEDX Group Inc. Cross-linked dehydrated placental tissue grafts and methods for making and using the same
JP5918548B2 (ja) 2012-01-24 2016-05-18 富士フイルム株式会社 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
US20130211244A1 (en) 2012-01-25 2013-08-15 Surgix Ltd. Methods, Devices, Systems, Circuits and Associated Computer Executable Code for Detecting and Predicting the Position, Orientation and Trajectory of Surgical Tools
US8670816B2 (en) 2012-01-30 2014-03-11 Inneroptic Technology, Inc. Multiple medical device guidance
US9092996B2 (en) 2012-03-01 2015-07-28 Simquest Llc Microsurgery simulator
WO2013134782A1 (en) 2012-03-09 2013-09-12 The Johns Hopkins University Photoacoustic tracking and registration in interventional ultrasound
US20130250081A1 (en) 2012-03-21 2013-09-26 Covidien Lp System and method for determining camera angles by using virtual planes derived from actual images
CN102636130B (zh) * 2012-04-19 2014-07-09 中国科学院光电技术研究所 一种大动态范围测量非球面光学元件表面轮廓装置
US20150112237A1 (en) 2012-04-23 2015-04-23 Yissum Research Development Company of The Hebrew Jerusalem LTD. Device for rehabilitating brain mechanism of visual perception using complementary sensual stimulations
IN2014DN08848A (zh) * 2012-05-03 2015-05-22 Synthes Gmbh
US10013082B2 (en) 2012-06-05 2018-07-03 Stuart Schecter, LLC Operating system with haptic interface for minimally invasive, hand-held surgical instrument
JP5745178B2 (ja) 2012-06-29 2015-07-08 富士フイルム株式会社 ３次元測定方法、装置及びシステム、並びに画像処理装置
US9220570B2 (en) 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
EP2868256A4 (en) 2013-03-06 2016-08-10 Olympus Corp ENDOSCOPY SYSTEM AND OPERATING PROCESS FOR THE ENDOSCOPE SYSTEM
WO2014160510A2 (en) 2013-03-13 2014-10-02 Massachusetts Institute Of Technology Photometric stereo endoscopy
US9456752B2 (en) 2013-03-14 2016-10-04 Aperture Diagnostics Ltd. Full-field three-dimensional surface measurement
CN103356155B (zh) * 2013-06-24 2014-12-31 清华大学深圳研究生院 虚拟内窥镜辅助的腔体病灶检查系统
US20150062299A1 (en) 2013-08-30 2015-03-05 The Regents Of The University Of California Quantitative 3d-endoscopy using stereo cmos-camera pairs
US10022914B2 (en) * 2013-11-12 2018-07-17 Adobe Systems Incorporated Method and apparatus for automatically adding utility holes to printable 3-dimensional models
JP6644466B2 (ja) 2013-12-31 2020-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚通知を提供するシステム及び方法
WO2015106118A1 (en) 2014-01-09 2015-07-16 Sonitec Llc Systems and methods using ultrasound for treatment
US10130329B2 (en) 2014-01-28 2018-11-20 General Electric Company Distinct needle display in ultrasonic image
KR102237597B1 (ko) 2014-02-18 2021-04-07 삼성전자주식회사 수술 로봇용 마스터 장치 및 그 제어 방법
US9197885B2 (en) 2014-03-20 2015-11-24 Gopro, Inc. Target-less auto-alignment of image sensors in a multi-camera system
JP2017518147A (ja) 2014-03-28 2017-07-06 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術シーンの定量的三次元撮像
EP3125809B1 (en) 2014-03-28 2020-09-09 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
WO2015149046A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
CN111184577A (zh) 2014-03-28 2020-05-22 直观外科手术操作公司 器械在视野中的定量三维可视化
JP2017513662A (ja) 2014-03-28 2017-06-01 インテュイティブ サージカル オペレーションズ， インコーポレイテッド Ｑ３ｄ画像の３ｄ画像とのアライメント

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950550B1 (en) * 2000-07-07 2005-09-27 Koji Kajimura Tracing technique and recording media of object motion
CN103269430A (zh) * 2013-04-16 2013-08-28 上海上安机电设计事务所有限公司 基于bim的三维场景生成方法

Also Published As

Publication number Publication date
EP3122281B1 (en) 2022-07-20
US20170181798A1 (en) 2017-06-29
JP7433932B2 (ja) 2024-02-20
CN106456271A (zh) 2017-02-22
JP2017517355A (ja) 2017-06-29
US10350009B2 (en) 2019-07-16
EP3122281A1 (en) 2017-02-01
KR20160141772A (ko) 2016-12-09
JP2020073001A (ja) 2020-05-14
EP3122281A4 (en) 2018-05-23
KR102405687B1 (ko) 2022-06-07
CN110251047B (zh) 2022-01-18
CN110251047A (zh) 2019-09-20
WO2015149043A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
CN106456271B (zh) 手术植入物的定量三维成像和打印
CN106455944B (zh) Q3d模型与3d图像的对准
CN111419152B (zh) 增强视差的内镜成像
CN106535806B (zh) 来自多端口视角的手术场景的定量三维成像
KR101572487B1 (ko) 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
CN105816190B (zh) X射线记录系统
CN112867427A (zh) 使用方位和方向（p＆d）跟踪辅助的光学可视化的计算机化断层摄影（ct）图像校正
KR101772187B1 (ko) 이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스
CN106456267A (zh) 器械在视野中的定量三维可视化
CN108289598A (zh) 描绘系统
CN106535812A (zh) 带有基于定量三维成像的触觉反馈的手术系统
CN112533556A (zh) 用于计算机辅助外科手术的系统方法以及计算机程序产品
JP3707830B2 (ja) 術式支援用画像表示装置
CN110169821A (zh) 一种图像处理方法、装置及系统
US20240057847A1 (en) Endoscope system, lumen structure calculation system, and method for creating lumen structure information
CN111281534B (zh) 生成手术部位的三维模型的系统和方法
WO2015091226A1 (en) Laparoscopic view extended with x-ray vision
US20230015717A1 (en) Anatomical scanning, targeting, and visualization
JP2024525733A (ja) 手術前及び手術中のシーンの画像データを表示する方法及びシステム
KR101977650B1 (ko) 증강 현실을 이용한 의료 영상 처리 장치 및 의료 영상 처리 방법
CN110522514A (zh) 一种肝胆外科手术定位追踪系统
WO2023049528A1 (en) Anatomical scanning, targeting, and visualization
Le OPTICAL NAVIGATION TECHNIQUES FOR MINIMALLY INVASIVE ROBOTIC SURGERIES

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant