CN106535806B - 来自多端口视角的手术场景的定量三维成像 - Google Patents

来自多端口视角的手术场景的定量三维成像 Download PDF

Info

Publication number
CN106535806B
CN106535806B CN201580024439.0A CN201580024439A CN106535806B CN 106535806 B CN106535806 B CN 106535806B CN 201580024439 A CN201580024439 A CN 201580024439A CN 106535806 B CN106535806 B CN 106535806B
Authority
CN
China
Prior art keywords
model
sensor
image
endoscope
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580024439.0A
Other languages
English (en)
Other versions
CN106535806A (zh
Inventor
D·潘埃斯库
D·H·琼斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN106535806A publication Critical patent/CN106535806A/zh
Application granted granted Critical
Publication of CN106535806B publication Critical patent/CN106535806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Endoscopes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

提供一种系统，其包括定量三维(Q3D)内窥镜，该内窥镜通过提供到体腔的入口的第一端口插入到第一位置，在第一位置处，从所述内窥镜的视角中捕捉解剖结构的第一部分的第一3D图像。基于捕捉的第一图像产生第一Q3D模型。该内窥镜通过提供到体腔的入口的第二端口插入到第二位置，在第二位置处，捕捉解剖结构的第二部分的第二图像。基于捕捉的第二图像产生第二定量Q3D模型。第一Q3D模型和第二Q3D模型组合在一起，以产生解剖结构的扩展的Q3D模型。扩展的Q3D模型能够被存储以用于进一步的操纵或者能够以3D进行显示。

Description

来自多端口视角的手术场景的定量三维成像
相关申请
本申请要求于2014年3月28日提交的名称为“手术场景的定量三维成像(QUANTITATIVE THREE-DIMENSIONAL IMAGING OF SURGICAL SCENES)”的美国临时专利申请No.61/971,749；以及于2014年12月23日提交的名称为“来自多端口视角的手术场景的定量三维成像(QUANTITATIVE THREE-DIMENSIONAL IMAGING OF SURGICAL SCENES FROMMULTIPORT PERSPECTIVES)”的美国临时专利申请No.62/096,525的优先权的利益，所述专利申请的全部内容以引用方式并入本文。
技术领域
本发明总体涉及具有相关联的图像传感器的手术内窥镜检查系统，并且更具体地涉及确定显示在手术图像中的物理结构的三维坐标。
背景技术
定量三维(Q3D)视觉提供关于真实世界场景中的目标点的实际物理(x、y、z)3D坐标的数值信息。借助定量3D视觉，人不仅可以获得真实世界场景的三维感知，而且可以获得关于该场景中的对象的物理尺寸和该场景中的对象之间的物理距离的数值信息。以往，已经提出了一些Q3D系统，其使用飞行时间(time-of-flight)相关的信息或相位信息以确定关于场景的3D信息。其他Q3D系统已经使用结构光来确定关于场景的3D信息。
飞行时间信息的使用在名称为“CMOS兼容的三维图像传感器IC(CMOS-compatiblethree-dimensional image sensor IC)”的美国专利No.6,323,942中有所公开，该专利公开了三维成像系统，该系统包括使用CMOS制造技术在普通IC上制造的二维像素阵列光感测检测器。每个检测器具有相关联的高速计数器，该计数器累积在数量上与系统发出的脉冲的飞行时间(TOF)成正比的时钟脉冲，以从物点反射并且通过聚焦在该点上的像素检测器来检测。TOF数据提供从特定像素到反射所发出的光脉冲的对象上的点的距离的直接数字测量。在第二实施例中，计数器和高速时钟电路被省略，并且作为替代，每个像素检测器具有电荷积聚器和电子快门。快门在光脉冲发出时打开并且在其后关闭，使得每个像素检测器根据落在相关联的像素检测器上的返回光子能累积电荷。累积的电荷量提供来回TOF的直接测量。
延时信息的使用在名称为“用于内窥镜3D数据收集的装置和方法(Apparatus andmethod for endoscopic 3D data collection)”的美国专利No.8,262,559中有所公开，除了光成像机构以外，该专利公开了经调制的测量光束和光传送机构，用于将测量光束传导至要观察的区域上，其中光传送机构包括照明透镜，光成像机构用于将来自要观察区域的信号光束至少成像到相敏图像传感器上。可对应毫米范围内的深度差异的时间延迟导致相位信息，相位信息使描绘深度信息和距离信息的图像的产生成为可能。
使用结构光以确定对象在视觉图像中的物理坐标在名称为“内窥镜(Endoscope)”的美国专利申请公开No.2012/0190923中；以及在C.Schmalz等人的“基于结构光的内窥镜3D扫描仪(An endoscopic 3D scanner based on structured light)”(Medical ImageAnalysis，16(2012)1063-1072)中有所公开。三角形法用于测量表面形貌。可具有不同颜色光谱范围的呈投影光线形式的结构光入射在表面上并且从该表面反射出。反射光线通过被校准的相机来观察，以使用反射的颜色光谱信息来确定表面的3D坐标。更具体地，结构光的使用通常涉及照亮3D表面上的光图案，并且基于由于物理对象轮廓而产生的光的变形图案来确定物理距离。
已经构建成像器阵列相机，其包括可以用于计算用于阵列中的像素的场景深度信息的多个像素阵列。高分辨率(HR)图像自多个低分辨率(LR)图像生成。选择基准视点并且生成如通过该视点所看到的HR图像。视差处理技术利用混叠效应来确定无基准图像关于基准图像像素的像素对应。融合和超分辨率用于从多个LR图像产生HR图像。参见例如名称为“使用带有异构成像器的单片相机阵列捕捉并处理图像(Capturing and ProcessingImages using Monolithic Camera Array with Heterogeneous Imager)”的美国专利No.8,514,491；名称为“用于使用假设融合从包括混叠的场景的多个视图确定深度的系统和方法(Systems and Methods for Determining Depth from multiple Views of aScene that Include Aliasing using Hypothesized Fusion)”的美国专利申请公开No.2013/0070060；以及K.Venkataraman等人的“PiCam：超薄高性能单片相机阵列(PiCam：An ultra-Thin high Performance Monolithic Camera Array)”。
图1为示出根据一些实施例的已知成像器传感器180的细节的示意图。图像传感器180包括传感器184的排列。在该排列中的每个传感器包括二维的像素排列，该二维的像素排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠186。每个透镜堆叠186具有对应的焦平面188。每个透镜堆叠186创建单独的光学通道，光学通道将图像分解到设置在其对应焦平面188中的对应像素排列上。像素用作光传感器，并且每个焦平面188与其多个像素一起用作图像传感器。每个传感器与其焦平面188一起占据的传感器排列区域与其他传感器和焦平面所占据的传感器排列区域不同。
图2为示出图1的传感器184的已知排列的简化平面图的示意图，传感器184的已知排列包括被标记为传感器S11到S33的传感器。成像器传感器布置184在半导体芯片上进行制造以包括多个传感器S11到S33。传感器S11到S33中的每个包括多个像素(例如，0.32兆像素)，并且耦接到包括独立读出控制和像素数字化的外围电路(未示出)。在一些实施例中，传感器S11到S33排列成如图2所示的格网格式。在其他实施例中，传感器以非格网格式排列。例如，传感器可以环形图案、之字形图案、分散图案或包括子像素偏移的不规则图案排列。
图1至图2的传感器184的每个单个像素包括微透镜像素堆叠。图3为示出图1至图2的传感器的已知微透镜像素堆叠的示意图。像素堆叠800包括微透镜802，其放置在氧化层804之上。通常，氧化层的下方可以有滤色镜806，其设置在氮化层808之上，氮化层808设置在第二氧化层810之上，第二氧化层810位于硅层812的顶上，硅层812包括单个像素的有效区域814(通常是光电二极管)。微透镜802的主要作用是收集入射在其表面上的光并且使所述光聚焦在小的有效区域814上。像素孔径通过微透镜的扩展度来确定。
关于上述已知的成像器传感器排列架构的附加信息在美国申请No.US 8,514,491B2(提交于2010年11月22日)和美国专利申请公开No.US 2013/0070060 A1(提交于2012年9月19日)中有所提供。
发明内容
在一方面，系统和方法包括通过提供到体腔的入口(access)的第一端口插入到第一位置的定量三维(Q3D)内窥镜，在第一位置处，从所述内窥镜的视角中捕捉解剖结构的第一部分的第一Q3D图像。基于捕捉的第一图像产生第一Q3D模型。内窥镜或第二内窥镜通过提供到体腔的入口的第二端口插入到第二位置，在第二位置处，捕捉解剖结构的第二部分的第二图像。基于捕捉的第二图像产生第二定量Q3D模型。第一Q3D模型和第二Q3D模型组合在一起，以产生解剖结构的扩展的Q3D模型。扩展的Q3D模型能够被存储以用于进一步的操纵，或者能够以立体方式或3D方式显示。进一步的操纵可以包括其他器械之间或器械和解剖结构之间的距离的定量测量。
附图说明
当结合附图阅读时，从下面详细描述可以最好地理解本公开的方面。应当强调的是，根据行业中的标准实践，各种特征不是按比例绘制的。实际上，为了便于论述，各种特征的尺寸可任意增大或减小。此外，本公开可以在各种示例中重复参考标号和/或字母。这种重复是出于简化和清楚的目的，而其本身并不表示所讨论的各种实施例和/或构造之间的关系。
图1为示出已知成像器传感器的细节的示意图。
图2为示出图1的成像器传感器的已知传感器阵列的简化平面图的示意图。
图3为图2的传感器阵列的传感器内的像素的已知微透镜像素堆叠的示意图。
图4为示出通过根据一些实施例的透过观察器312的手术场景的透视图的示意图。
图5为根据一些实施例的使用一个或多个机械臂来执行微创手术程序的远程操作手术系统的示意方框图。
图6为根据一些实施例的图5的系统的患者侧系统的示意透视图。
图7A为根据一些实施例的包括第一图像捕捉系统的第一内窥镜的示意图。
图7B为根据一些实施例的包括第二图像捕捉系统的第二内窥镜的示意图。
图8为示出根据一些实施例的与图7A的包括第一图像捕捉系统的第一内窥镜相关联的控制块，并且示出操作中的系统的示意方框图。
图9为根据一些实施例的表示确定物理目标的定量三维位置的过程的示意流程图。
图10为示出根据一些实施例的通常对应于模块图9以系统地选择目标的过程的某些细节的示意流程图。
图11为根据一些实施例的示例传感器成像器阵列的示意图，传感器成像器阵列包括多个传感器并且设置成具有包含示例性三维物理世界场景的视野，示例性三维物理世界场景包括三个示例性对象。
图12为表示根据一些实施例的图11的多个物理对象到多个传感器上的投影的示意图。
图13为指示根据一些实施例的从现实世界场景内选择感兴趣区域(ROI)的示意图。
图14为示出根据一些实施例的关于多个传感器中的投影图像的相对几何偏移的细节的示意图。
图15为示出根据一些实施例的感兴趣区域(ROI)内的某些示例传感器中的投影图像的示意图，所述投影图像向右偏移以与ROI内的指定基准传感器中的投影图像对齐。
图16为示出根据一些实施例的所选目标点到多个传感器上的投影的示意图。
图17为示出根据一些实施例的包括图16的多个传感器的成像器阵列的一部分和设置在物理空间中的适当位置处的所选目标点T的示意图。
图18为根据一些实施例的当前所选目标点T到图16的多个图像传感器上的投影的示意性正视图。
图19为示出根据一些实施例的当前所选目标相对于如上参考图17所述的多个传感器的布置的示意图，并且该示意图还示出传感器中的每个的候选像素的y方向像素偏移。
图20为表示根据一些实施例的在手术程序期间使用Q3D信息的第一过程的示意流程图。
图21为示出根据一些实施例的按照图20的过程在显示屏上所显示的菜单选择的示意图。
图22A至图22B为表示根据一些实施例的按照图20的过程接收用户输入的某些细节的示意图。
图23为表示根据一些实施例的在手术程序期间使用Q3D信息的第二过程的示意图。
图24为示出根据一些实施例的按照图23的过程在显示屏上所显示的菜单选择的示意图。
图25A至图25C为示出根据一些实施例的设置在多个不同位置处以从不同视角捕捉图像信息的内窥镜的示意图，图像信息用于产生解剖结构的Q3D模型。
图26A至图26C为表示根据一些实施例的使用图25A至图25C的第一图像信息、第二图像信息和第三图像信息产生的第一Q3D模型、第二Q3D模型和第三Q3D模型的示意图。
图27为示出根据一些实施例的图26A至图26C的相应Q3D模型的示例对齐的示意图。
图28A至图28C为表示根据一些实施例的示例第二Q3D模型和第三Q3D模型的示例旋转(图28A)、平移(图28B)和所得的对齐(图28C)的示意图。
图29为示出根据一些实施例的示例复合Q3D模型的示意图，其中图25A至图25C的多个Q3D模型拼接(stitch)在一起。
图30A至图30C为示出根据一些实施例的在三个不同示例“抖动(jitter)”位置中以捕捉目标区域的三个不同图像观察点的内窥镜示意图。
图31为根据一些实施例的捕捉多视角Q3D模型的过程的示意性流程图。
图32为示出根据一些实施例的处理器的细节的示意图，处理器用3D透视图将Q3D模型显示在3D显示器上。
具体实施方式
给出以下描述以使本领域技术人员能够创建并使用具有多个图像传感器的手术内窥镜检查系统，每个传感器包括与另一个传感器的像素阵列分离的像素阵列，以便确定图像传感器的视野内的物理结构的三维坐标。对于本领域的技术人员而言，将易于对本实施例进行各种修改，并且本文所定义的一般原则可以应用于其他实施例和应用，而不背离本发明主题的精神和范围。而且，在下面描述中，出于说明的目的阐述了许多细节。然而，本领域的普通技术人员将认识到本发明主题可在没有这些具体细节的情况下进行实践。在其他情况下，为了不因不需要的细节而混淆本公开，因此以方框图形式示出众所周知的机器部件、过程和数据结构。相同的参考标号可以在不同附图中用于表示相同项的不同视图。下面所参考的附图中的流程图用于表示过程。计算机系统可以经配置执行这些过程中的一些。表示计算机实施过程的流程图内的模块表示根据计算机程序代码的计算机系统的配置，以执行参考这些模块描述的作用。因此，本发明主题并非旨在被限于所示实施例，而是符合与本文所公开的原则和特征一致的最广范围。
简要概述
根据一些实施例，成像器包括与内窥镜相关联的传感器阵列。图像传感器阵列包括多个传感器，并且每个传感器包括像素阵列。内窥镜的一部分插入人体体腔中，并且使用光源来照亮图像传感器阵列的视野中的目标对象。目标对象的物理位置和/或尺寸基于投影到阵列的单个传感器上的目标对象的图像来确定。
图4为示出根据一些实施例的透过观察器312的手术场景的透视图的示意图。具有两个观察元件401R、401L的观察系统可以提供优良的3D观察视角。表示手术场景中的物理结构的物理尺寸和/或位置信息的所示数值覆盖在手术场景图像上。例如，所示数值距离值“d_Instr_Trgt”显示在器械400和目标410之间的场景内。
远程操作医疗系统
远程操作指的是在一定距离处的机器的操作。在微创远程操作医疗系统中，外科医生可以使用包括相机的内窥镜以观察患者体内的手术部位。立体图像已经被捕捉，其允许在手术程序期间进行深度的感知。根据一些实施例，相机系统安装在内窥镜上并且包括成像器传感器阵列，所述相机系统提供加上颜色和照明数据的定量三维信息，所述定量三维信息可以用于生成三维图像。
图5为根据一些实施例的远程操作手术系统100的示意方框图，系统100使用一个或多个机械臂158来执行微创手术程序。系统100的方面包括遥控机器人和自主操作的特征。这些机械臂经常支撑器械。例如，机械手术臂(例如，中心机械手术臂158C)可以用于支撑带有立体或三维手术图像捕捉设备101C(诸如内窥镜相关联的Q3D图像传感器阵列)的内窥镜。机械手术臂158C可以包括无菌适配器或夹钳、夹子、螺钉、狭槽/凹槽或其他紧固件机构，以将包括图像捕捉设备101C的内窥镜机械地固定到机械臂。相反地，带有图像捕捉设备101C的内窥镜可以包括与机械手术臂158C互补的物理轮廓和/或结构，以便牢固地与其互相配合。
用户或操作者O(通常是外科医生)通过在主控制台150处操纵控制输入设备160来对患者P执行微创手术程序。操作者可以通过立体显示设备164来观察患者身体内部的手术部位的图像的视频帧，立体显示设备164包括以上参考图4所描述的观察器312。控制台150的计算机151经由控制线159引导远程操作控制的内窥镜手术器械101A至101C的移动，从而使用患者侧系统152(也称为“患者侧推车”)来影响器械的移动。
患者侧系统152包括一个或多个机械臂158。通常，患者侧系统152包括至少三个机械手术臂158A至158C(通常称为机械手术臂158)，所述机械手术臂158通过对应的定位组合臂156来支撑。中心机械手术臂158C可以支撑内窥镜相机101C，内窥镜相机101C适合于捕捉用于相机视野内的图像的Q3D信息。中心左侧和右侧的机械手术臂158A和158B分别可以支撑可操纵组织的器械101A和器械101B。
图6为根据一些实施例的患者侧系统152的示意透视图。患者侧系统152包括通过基座172支撑的推车柱170。一个或多个机械插入手术臂/连杆158分别附接到一个或多个组合臂(set-up arm)156，组合臂156是患者侧系统152的定位部分的一部分。近似地位于基座172上的中心位置处，推车柱170包括保护配重子系统和制动子系统的部件远离污染物的保护罩180。
除监控器臂154之外，每个机械手术臂158均用于控制器械101A至101C。而且，在本发明的一个实施例中，每个机械手术臂158均耦接到组合臂156，组合臂156进而耦接到托架壳体190。一个或多个机械手术臂158各自通过其相应的组合臂156来支撑，如图6所示。
机械手术臂158A至158D各自可以包括一个或多个位移换能器、取向传感器和/或定位传感器185，以生成原始的未校正的运动学信息，从而通过追踪系统辅助器械的初始获取和追踪。在本发明的一些实施例中，器械还可以包括位移换能器、定位传感器和或取向传感器186。而且，一个或多个器械可以包括标记189来辅助器械的获取和追踪。
关于远程操作医疗系统的附加信息在美国专利申请公开No.US2012/0020547(提交于2011年9月30日)中有所公开。
内窥镜成像器系统
图7A为根据一些实施例的带有第一图像捕捉系统101C的第一内窥镜的示意图。图像捕捉系统101C包括内窥镜，内窥镜包括伸长部分202，伸长部分202包括第一端部204和第二端部206以及第一端部204的顶端部分208。第一端部204的尺寸设定成插入人体体腔中。包括多个图像传感器(未示出)的传感器阵列210耦接在第一端部204的顶端部分208处。根据一些实施例，传感器阵列210中的每个传感器包括像素阵列。伸长部分202具有足以将顶端部分208定位成足够靠近体腔内的目标对象的长度，使得可以通过成像器传感器阵列210来使对象成像。根据一些实施例，第二端部206可以包括通常如上所述的物理轮廓和/或结构(未示出)，以便牢固地与机械臂(未示出)互相配合。伸长部分202还包括一个或多个电子信号路径212以电子地与成像器传感器阵列210传达信息。设置光源214来照亮要成像的对象。根据一些实施例，光源214可以是非结构化的光，例如白光、滤色光或处于一些所选波长的光。根据一些实施例，光源214位于顶端208处，而在其他实施例中其任意地与内窥镜101C分开定位。
图7B为根据一些实施例的带有第二图像捕捉系统101C2的第二内窥镜的示意图。基本上与带有第一图像捕捉系统101C的第一内窥镜相同的第二图像捕捉系统101C2的方面由相同的参考标号指示并且不再描述。到光导管输入的输入端诸如棒形透镜设置在第一端部204的顶端部分208处。光导管主体在伸长部分202内延伸，以便将作为光导管输入接收的图像传输到成像器传感器阵列210，成像器传感器阵列210从顶端部分208物理移位。在一些实施例中，成像器传感器阵列210被移位到距顶端部分208足够远，使得成像器传感器阵列210在观察体腔内的对象期间位于人体体腔外部。
图8为示出根据一些实施例的与带有图7A的第一图像捕捉系统101C的第一内窥镜101相关联的控制块，并且示出操作中的系统的示意方框图。通过成像器传感器阵列210捕捉的图像通过数据总线212发送到视频处理器104，视频处理器104经由总线105与控制器106进行通信。视频处理器104可以包括相机控制单元(CCU)和视频信号检测器(VSD)板。CCU对成像传感器210的各种设置诸如亮度、颜色方案、白平衡等进行编程或控制。VSD处理从成像传感器接收的视频信号。替代地，CCU和VSD结合到一个功能块中。
根据一些实施例，包括一个或多于一个处理器的处理器系统经配置执行处理器功能。在一些实施例中，处理器系统包括多个处理器，所述多个处理器经配置一起进行操作以执行本文所述的处理器功能。因此，本文提及的经配置执行一种或多种功能的至少一个处理器包括处理器系统，在处理器系统中，所述功能可以通过一个处理器单独执行或者通过多个处理器一起工作来执行。
在一种实施方式中，包括处理器和存储设备(未示出)的控制器106计算场景中的邻近伸长部分202的顶端208的点的定量3D坐标，并且驱动视频处理器104和3D显示器驱动器109两者来构成3D场景，然后3D场景可以显示在3D显示器110上。根据一些实施例，生成关于手术场景的Q3D信息，诸如场景中对象的表面轮廓的尺寸数值记号或距手术场景内的对象的距离。如下面更充分解释的那样，数值Q3D深度信息可以用于借助距离信息或表面轮廓信息对手术场景的立体图像加以注释。
数据总线107和数据总线108交换信息并且控制视频处理器104、控制器106和显示器驱动器109之中的信号。在一些实施例中，这些元件可以在内窥镜主体内部与图像传感器阵列210结合。替代地，它们可以分布在内窥镜的内部和/或外部。所示内窥镜经由插管140定位以穿透人体组织130，以便提供到包括目标120的手术场景的可视化入口。替代地，内窥镜和一个或多个器械还可以穿过单个开口(单个切口或自然孔口)以到达手术部位。目标120可以是解剖目标、另一手术器械或患者身体内部的手术场景的任何其他方面。
输入系统112接收3D视觉表示并且将其提供给处理器106。输入系统112可以包括耦接到电子通信总线(未示出)的存储设备，该存储设备从生成3D模型的系统(未示出)接收3D模型，诸如CRT或MRI。处理器106例如可以用于计算Q3D模型和3D视觉表示之间的预期对齐。更具体地，在没有限制的情况下，输入系统112可以包括处理器，处理器经配置在系统152和成像系统(未示出)(诸如MRI、CT或超声波成像系统)之间建立以太网通信连接。可以使用其他成像系统。可以使用其他类型的通信连接，诸如蓝牙、WiFi、光纤等。替代地，系统152和成像系统可以结合在一个更大的系统中。对齐过程的结果可保存在与处理器106相关联的存储设备中，为外部设备或系统或如图25所显示的流程提供进一步的操纵。
添加到场景图像的Q3D信息的示例
再次参考图4，图4为示出根据一些实施例的图5的主控制台150的观察器312的透视图的示意图。根据一些实施例，为提供三维透视图，观察器312包括针对每只眼睛的立体图像。如图所示，手术部位的左侧图像400L和右侧图像400R包括分别在左侧取景器410L和右侧取景器401R中的任何器械400和目标410。取景器中的图像400L和图像400R分别可以通过左侧显示设备402L和右侧显示设备402R来提供。显示设备402L、402R可以任选地为一对阴极射线管(CRT)监控器、液晶显示器(LCD)或其他类型的图像显示设备(例如，等离子体、数字光投影等)。在本发明的优选实施例中，彩色图像通过一对彩色显示设备402L、402R来提供；诸如彩色CRT或彩色LCD。为支持与现有设备的向后兼容性，立体显示设备402L和402R可以与Q3D系统一起使用。替代地，Q3D成像系统可以连接到3D监控器、3D TV或自由立体显示器，诸如无需使用3D效果眼镜的显示器。
具有两个观察元件401R、401L的观察系统可以提供优良的3D观察视角。Q3D成像系统使用手术场景中的物理结构的实际尺寸信息补充该观察透视图。与Q3D内窥镜检查系统结合使用的立体观察器312可以显示覆盖在手术场景的立体图像上的Q3D信息。例如，如图4所示，器械400和目标410之间的数字Q3D距离值“d_Instr_Trgt”可以显示在立体观察器312内。
可以用于覆盖手术场景的3D透视图上的物理位置和尺寸信息的视频立体观察系统的说明在美国专利申请公开No.US2012/0020547(提交于2011年9月30日)的[0043]至[0053]段和对应附图中有所提供，其以引用方式明确地并入本文。
处理定量三维物理信息
图9为根据一些实施例的表示确定物理目标的定量三维位置的过程的流程图。该过程参考带有图8实施例的图像捕捉系统101C的内窥镜进行描述。模块401配置控制器106以从成像传感器Sij获取视频数据。应该认识到，虽然图像传感器阵列210使全部视野“成像”，但图像传感器阵列210中的不同传感器和不同传感器内的不同像素可以通过来自视野内的不同对象点的图像投影来照亮。例如，视频数据可以包括颜色或光强度数据。每个传感器的每个像素可以提供指示投影在其上的图像的颜色和强度的一个或多个信号。模块402配置控制器以从物理世界视图(world view)中的所选感兴趣区域中系统地选择目标。模块403配置控制器以开始使用初始(x0，y0，z0)设置计算目标3D坐标(x，y，z)。然后，通过使用来自接收目标投影图像的所有传感器Sij的图像多样性数据，该算法检查坐标的一致性。坐标计算在决定模块404处进行精确化，直到达到可接受的精确度。决定模块404还配置控制器以确定当前计算的物理位置是否足够精确。响应于当前计算的位置不精确的确定，控制流程返回到模块403以尝试不同的可能的物理位置。响应于当前计算的位置足够精确的确定，模块405配置控制器以确定是否已经扫描整个感兴趣区域。响应于尚未扫描整个感兴趣区域的确定，控制流程返回到模块402并且选择不同的目标。响应于已经扫描整个感兴趣区域的确定，控制流程到模块406，模块406配置控制器以组合感兴趣的成像体积的三维模型。基于指示目标的结构的物理位置的三维信息组合目标的3D图像对本领域的技术人员而言是已知的并且不需要在本文进行描述。模块407配置控制器以存储通过使用为多个目标确定的物理位置信息而形成的3D模型以用于进一步的查看和操纵。例如，3D模型可以稍后用于手术应用，诸如针对患者器官的特定尺寸设定植入物的尺寸。在又一不同示例中，当新手术器械101安装在机器人系统152上时，需要回调所述3D模型并且将其显示在显示器110上，以便将新器械引用到先前的手术场景。模块407还可以存储3D视觉表示和Q3D模型之间的对齐结果。模块408配置控制器以使用为多个目标确定的物理位置信息来显示定量3D视图。Q3D视图的示例是图4所示的距离值“d_Instr_Trgt”。
应当注意到，三维中的立体显示产生观察错觉。然而，实际的3D显示呈现3D图像，诸如全息图像或投影在曲面上的图像。通常，3D显示允许视野移动以改变观察视角。
图10为示出根据一些实施例的通常对应于图9的模块402的过程的某些细节的示意流程图。模块402.1配置控制器以捕捉来自传感器阵列210中所有传感器的物理世界场景的图像。模块402.2配置控制器以从捕捉的场景内指定感兴趣的区域。模块402.3配置控制器以搜寻如感兴趣区域内的场景图像之间的最佳匹配，以便识别在不同传感器中的通过相同目标的投影照亮的像素位置。如稍后所解释，在没有限制的情况下，通过使来自传感器Sij的单个图像移位，直到移位图像和基准图像之间的二维交叉相关函数最大化，可实现最佳匹配。基准图像例如可以是从传感器S11接收的场景图像。模块402.4配置控制器以识别通过来自相同目标的投影照亮的候选像素。模块402.5配置控制器以计算用于所选目标的两个或更多个像素坐标(Nx，Ny)，从而确定候选像素是否通过来自相同目标的投影照亮。决定模块402.6确定计算的2D像素坐标值是否指示候选像素通过来自相同目标的投影照亮。通过使用多个传感器Sij观察相同场景所导致的图像多样性在与各种单个图像Sij中的具体目标相关联的正确识别(Nx，Ny)中起作用。例如，根据一些实施例，假设一种仅使用三个传感器S11、S12和S13的简化情境，如果2D像素坐标的三元数组[(Nx11，Ny11)、(Nx12，Ny12)、(Nx13，Ny13)]并不对应于相同目标到[S11，S12和S13]上的投影，则数量和(y方向上投影移位的估计值)将产生不同的值。根据稍后提出的方程式，如果像素坐标(NX11，Ny11)、(Nx12，Ny12)、(Nx13，Ny13)来自相同目标的投影，则和应该是相等的。
如果和不近似相等，则控制流程返回到模块402.4并且使传感器平面Sij上的目标投影的最佳候选精确化。如上所述，上述仅是算法的简化实施。通常，如图10模块402.6所示，和之间差的范数应该小于可接受公差ε，以便使模块402完成其迭代。对于x轴线的对应估计值和应满足类似的限制。响应于确定计算的2D像素坐标值(Nx，Ny)确实指示候选像素通过来自相同目标的投影来照亮，则控制流程到至模块403。
应该认识到，每个像素直接从世界场景捕捉颜色和强度信息。而且，根据上述过程，每个像素与投影在像素上的世界视图中物理对象的(x，y，z)坐标相关联。因此，颜色信息、照明强度信息和物理位置信息，即被投影的物理对象的颜色和照明以及位置，可以与非暂时性计算机可读存储设备中的像素相关联。下面表格1示出该关联。
表格1
像素标识符 颜色值 强度值 位置(x，y，z)
确定Q3D信息的示例
投影匹配的示例
图11为根据一些实施例的示例传感器阵列210的示意图，传感器阵列210包括传感器S11至S33的阵列，传感器S11至S33的阵列被设置为具有包括示例性三维物理世界场景的视野，该场景包括三个示例性对象。阵列中的每个传感器Sij包括像素的二维排列，所述排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠(lens stack)，透镜堆叠创建单独的光学通道，光学通道将图像分解到设置在透镜堆叠的焦平面中的对应像素排列上。每个像素用作光传感器，并且每个焦平面和其多个像素一起用作图像传感器。每个传感器S11至S33和其焦平面一起占据的传感器阵列区域与其他传感器和焦平面占据的传感器阵列区域不同。合适的已知图像传感器在美国专利No.US8,514,491(提交于2010年11月22日)和美国专利申请公开No.US2013/0070060(提交于2012年9月19日)中有所公开，所述专利在上面进行了描述。
根据一些实施例，传感器的特征为Nx和Ny(传感器在x方向和y方向上的像素的总数)，以及视野角度θx和θy。在一些实施例中，期望x轴线和y轴线的传感器特征是相同的。然而，在替代实施例中，传感器具有不对称的x轴线特征和y轴线特征。类似地，在一些实施例中，所有的传感器将具有相同的像素总数和相同的视野角度。传感器以良好受控制的方式分布在整个传感器阵列210中。例如，传感器可以在所示的二维格网上以δ距离分开。传感器布置间距δ在整个此格网上可以对称或不对称。
在图11所示的实施例中，传感器排列在矩形格网中，在该矩形格网中，传感器S11至S13占据顶行，传感器S21至S23占据中间行，并且传感器S31至S33占据底行。每个传感器包括N行像素和N列像素。由虚线指示的通过光源产生的光线从三角形的第一对象、球形的第二对象和矩形的第三对象中的每个反射到成像器阵列中的每个传感器。为了进行示意性的说明，仅示出到顶行中的传感器S11、S12和S13的光线。例如，光源可以是非结构化的白光或背景光。替代地，光源可以提供处于所选波长的光，诸如例如在可见光谱或红外线光谱中的光，或者光可以被过滤或分割以提供所选波长(例如，颜色)或波长范围(例如，颜色范围)。应该认识到，光线类似地从目标中的每个反射到传感器S21至S33。然而，为了简化说明，未示出这些其他光线。
根据模块401和模块402.1，传感器阵列210的传感器单独地从世界视图中捕捉图像。图12为根据一些实施例的表示图11的三个对象到传感器Sij(仅示出S11、S12和S13)上的投影的示意图。本领域的技术人员将认识到入射在传感器上的反射光线投影视野中的物体的图像。更具体地，从视野中的对象反射出的入射到成像器阵列的多个不同图像传感器上的光线在接收反射光线的每个传感器中产生对象的从三维到二维的多个透视投影，即不同投影。具体地，当从S11前进到S12到S13时，对象投影的相对位置从左侧移位到右侧。通过入射光线照亮的图像传感器像素响应于入射光产生电信号。因此，对于每个图像传感器，响应于指示该图像传感器内的图像投影的形状和位置的反射光，通过该图像传感器的像素产生电信号的图案。
根据模块402.2，感兴趣的区域选自世界场景。图13为指示从场景内选择感兴趣区域的示意图。在该示例中，三角形的第一对象、球形的第二对象和矩形的第三对象均在所选的感兴趣区域中。该步骤可以通过接受来自操作者的输入来实现，或者其可以使用由软件以规定方式配置的计算机来自动执行，或者通过操作者输入和自动软件控制选择的组合实现。例如，在一些实施例中，世界场景可以示出人类解剖结构的内腔，并且对象可以是内部人体器官或手术器械或其部分。外科医生可以从内腔内接收实时视觉影像，并且可以看到人类解剖结构的组织区域和在体腔内突出的手术器械的一部分。外科医生可以指定视野内的那些对象，对象的位置信息通过众所周知的技术来确定，所述技术诸如远程图显视频标记。替代地或另外地，此操作者请求，自动化处理诸如边缘检测算法可以用于指定感兴趣区域(ROI)。
根据模块402.3，确定在感兴趣区域内的场景图像之间的最佳匹配，以便识别不同传感器中的通过相同目标的投影照亮的像素位置。图14为示出根据一些实施例的关于传感器S11、S12和S13中投影图像的相对几何偏移的附加细节的示意图。根据一些实施例，来自传感器S13的图像被认为是基准图像，并且所选ROI中的对象的投影相对于它们在传感器S13中的位置在传感器S12中按照量σ23像素向右偏移。类似地，所选ROI中的对象的投影相对于它们在传感器S13中的位置在传感器S11中按照量σ13像素向右偏移。应该认识到，由于传感器S12、S11的视野(FOV)观察轴各自偏移到传感器S13的FOV观察轴的右侧(此类观察轴垂直于传感器平面)，所以来自ROI的投影图像相对于传感器S11在传感器S13和传感器S12中向左偏移。
图15为示出根据一些实施例的ROI内的传感器S11和S12中的投影图像的示意图，所述投影图像向右侧移位以与ROI内的传感器S13中的投影图像对齐。在当前示例中，传感器S13被指定用作基准传感器。应该认识到，可选择其他传感器用于确定对齐和几何尺寸。所选ROI内对象的投影在指定传感器例如传感器S13中被识别，并且在其他传感器例如传感器S11和传感器S12中的投影被移位直到其与指定传感器中的投影对齐。用这种方式，可以在其他传感器内识别所选ROI内对象的对应投影，连同其相对于指定传感器中投影的位置的偏移。
具体地，例如，三个示例对象的投影在传感器S12中按照量σ23像素向右移位，并且三个示例性对象的投影在传感器S13中按照量σ13像素向右移位。在示例性示例中，为了简化说明，假设投影仅在y方向上偏移不在x方向上偏移，但是相同的原则应用于如传感器之间的x方向投影偏移。然而，虽然该示例示出线性偏移，但本领域的技术人员可以应用其他转换诸如旋转，以使不同传感器中的具有相对偏移的投影对齐。
根据一些实施例，例如，二维(2D)交叉相关技术或主成分分析(PCA)可以用于将S13中ROI内的投影与S12中ROI内的投影对齐，并且将S13中ROI内的投影与S11中ROI内的投影对齐。通常，希望关于指定为基准的传感器的图像最佳匹配或对齐来自传感器Sij的图像。更具体地，S12中ROI内的投影图像被移位并且与S13中ROI内的投影图像交叉相关，直到实现最高的相关系数。同样地，S11中ROI内的投影图像被移位并且与S13中ROI内的投影图像交叉相关，直到实现最高的相关系数。因此，ROI的投影对齐用于通过确定S13中ROI的投影和S12中ROI的投影之间的偏移，并且通过确定S13中ROI的投影和S11中ROI的投影之间的偏移，来识别传感器S11和传感器S12中ROI的投影位置。
候选像素选择和精确化的示例
根据模块402.4，识别在不同传感器内的候选像素，根据最佳匹配过程，所述不同传感器通过来自相同目标的投影照亮。一旦已经在传感器S11、S12和S13中的每个中识别ROI内的对象的投影，则可确定ROI内单个目标点相对于成像器阵列的物理(x，y，z)投影。根据一些实施例，对于ROI内多个目标点中的每个，识别通过来自目标点的投影照亮的多个传感器中的每个内的一个或多个像素。对于每个此目标点，至少部分基于设置在确定通过来自目标点的投影照亮的不同传感器中的像素之间的几何关系确定物理(x，y，z)目标点位置。
应该认识到，一系列的目标点可以通过系统地遍历ROI(例如，以特定的步长大小从右向左并且以步长大小从上到下)来自动选择，并且可以确定每个所选目标点的物理(x，y，z)目标点位置。由于S11和S12与S13最佳匹配，所以遍历在移位的感兴趣区域内部执行。选择目标包括识别通过目标的投影照亮的传感器S11、S12和S13中的每个中的像素。因此，S11、S12和S13中的每个中的候选像素被识别为通过所选目标点的投影照亮的像素。
换言之，为了选择目标点T，在通过目标点T的投影照亮的传感器S11、S12和S13中的每个中选择像素。应该认识到，目标T的(x，y，z)物理位置在其选择的时候是未知的。而且，应该认识到，上述对齐过程的不精确可以导致每个传感器中哪些像素被所选目标T的投影照亮的确定的不精确。因此，如参考图17、图18和图19所解释，根据通过当前所选目标T的投影照亮的S11、S12和S13中的每个中的像素确定的精确度作出进一步确定。
继续上述示例，假设三角形的第一对象为当前所选目标点。图16为示出根据一些实施例的所选三角形目标点到传感器S11、S12和S13上的投影的示意图。根据这些投影，确定目标T的2D像素坐标[(NX11，Ny11)、(Nx12，Ny12)、(Nx13，Ny13)]。为了简单化，图16仅示出y轴像素坐标。使用这些2D像素坐标，应用表达式(402.5-1)和(402.5-2)并且计算的和作为模块402.5的一部分。作为模块402.6的一部分，计算范数并且将其与可接受公差ε相比。类似地，计算x轴像素坐标和位置估计值并且将其与可接受公差相比较。如果模块402.6的条件满足，则过程继续到模块403。否则，过程返回到模块402.4以使目标候选进一步精确化。
参考图17，其示出包括传感器S11、S12和S13的成像器阵列的一部分，和设置在物理空间中的位置(x，y，z)处的所选三角形第一对象目标点T。成像器阵列内的传感器在其之间具有已知间距δij。S11和S12之间的物理位置间距为δ12，并且S12和S13之间的物理位置间距为δ23。在一些实施例中，所有传感器Sij之间的间距是相同的、等于δ的构造规格。传感器Sij还具有已知的视野角度θ。
如上所解释，在一些实施例中，每个传感器构造成2D成像元件，其中像素以行和列的矩形图案排列。替代地，像素可以例如环形图案、之字形图案、分散图案或以包括子像素偏移的不规则图案排列。这些元件的角度和像素特性可以相同，或替代地传感器之间彼此可不同。然而，这些特性假设为已知。为了简化说明，假设传感器相同，但是，然而，它们可以不同。
为了简化起见，假设所有的传感器Sij均具有N×N像素。在距传感器S11的距离z处，传感器的N像素宽度向外扩展到通过FOV1指示的S11的y维度视野。同样地，在距传感器S12的距离z处，传感器S12的y维度视野通过FOV2来指示。而且，在距传感器S13的距离z处，传感器S13的y维度视野通过FOV3来指示。长度FOV1、FOV2和FOV3彼此重叠，预示着传感器S11、S12和S13实现物理地位于一些(未知的)距离z处的目标T的3路采样多样性。当然，如果传感器相同地构建，如在示例中所假设的，则长度FOV1、FOV2和FOV3也将相同。应该认识到，三个长度FOV1、FOV2和FOV3均具有相同的大小并且共面，因为它们处于距成像器阵列相同的(未知的)z距离处，但是为了进行示意性的说明，将它们描绘成如同它们彼此邻近堆叠。
参考图18，其示出当前所选目标点T到图像传感器S11、S12和S13上的投影的示意性正视图。为了简化起见，假设传感器包括大小为N×N像素的几何学矩形像素阵列。还假设目标T投影的x坐标均相等。换言之，假设对于目标T到S11、S12和S13上的投影，nx1＝nx2＝nx3。为了简化说明，还假设水平的几何视野角度θ与其垂直时相同，θx＝θy。如果上述假设中的任一个改变，本领域的技术人员将知道如何修改下面提出的过程，以便计算目标T的x、y和z物理坐标。
目标T的图像在图像传感器S11的平面中，投影到传感器S11内的几何坐标(nx1，ny1)处的物理点。更具体地，目标点T到传感器S11上的投影沿y轴线位于ny1像素，并且沿x轴线位于nx1像素，x轴线和y轴线均取自原点。目标T的图像在图像传感器S12的平面中，投影到传感器S12内的几何坐标(nx2，ny2)处的物理点。目标T的图像在图像传感器S13的平面中，投影到传感器S13内的几何坐标(nx3，ny3)处的物理点。应该认识到，每个传感器内的像素位置(nxi，nyi)相对于提供给传感器的原点(0，0)基准坐标来确定。如图17或图19所示，全球坐标系(x，y，z)被定义并且用于引用目标。例如，在没有限制的情况下，此类坐标系的原点可以放置在传感器S11的几何中心处。
参考图16和图18两者，可以看出目标的投影的y像素距离在每个传感器中是不同的。当前所选目标T的投影在S11中被设置到原点左侧的ny1像素。所选目标T的投影在S12中被设置到原点左侧的ny2像素。所选目标T的投影在S13中被设置到原点左侧的ny3像素。如上所述，为简化说明，假设目标的投影在所有三个传感器中均落在距原点相同的x像素距离处。
参考图19，其示出当前所选目标T相对于如上参考图17所述的传感器S11、S12和S13的布置，并且还示出在传感器中的每个中的候选像素的y方向像素偏移。应该理解，图19的附图提出用于确定所选目标点T的(x，y，z)物理坐标的物理结构和分析框架。在距成像器阵列平面的(未知的)距离z处，每个传感器的y方向视野延伸过标记为FOVi的长度。在一些实施例中，该长度FOVi对应于传感器的最大像素宽度，最大像素为N像素。考虑到工作假设为传感器具有x方向和y方向上对称的视野，长度还可以是沿x轴线是竖直的FOVi。
如上所述，候选像素选择至少部分地基于可以具有不确定水平的关联过程，该关联过程可以导致所选目标的物理位置的确定不精确。因此，根据一些实施例，进一步检查目标投影候选选择的精确度可以如下进行。
确定目标的物理(x，y)位置并检查目标投影候选选择的精确度的示例
根据模块402.5，为所选目标计算两个或更多个二维(Nx，Ny)坐标值，以确定来自相同目标的投影实际上是否照亮候选像素。基于上面讨论的假设并且将3D坐标系的原点放置在传感器S11的中心处，图19中的示例中的成像器阵列和当前所选目标T具有如下关系：
其中：
N为成像传感器的像素维度；
nx1为目标点T的以在x方向上距S11平面的原点的像素数目来表达的位置；
ny1为目标点T的以在y方向上距离S11平面的原点的像素数目来表达的位置；
ny2为目标点T的以在y方向上距离S12平面的原点的像素数目来表达的位置；以及
ny2为目标点T的以在y方向上距离S12平面的原点的像素数目来表达的位置；
θ为视野的角度。
而且，如果使用传感器S11和传感器S13执行相同的公式并且假定S11和S13之间的间隔为2δ，则我们得到：
其中：
nx3为目标点T的以在x方向上距S13平面的原点的像素数目表达的位置；以及
ny3为目标点T的以在y方向上距S13平面的原点的像素数目表达的位置。
因此，所选目标T的物理x坐标的确定可以基于表达式(3)或表达式(6)来确定。所选目标T的物理y坐标的确定可以基于表达式(2)或表达式(5)来确定。所选目标T的物理z坐标的确定可以基于方程式(1)或方程式(4)来确定。
更一般地说，根据模块402.6，作出关于计算的2D坐标值是否指示候选像素通过来自相同目标的投影照亮的确定。应该认识到，目标T的物理(x，y，z)坐标的更可靠的确定可以通过使用用于每个坐标的两个公式来得到。例如，用于目标T的y坐标可以使用公式(2)和公式(5)两者来确定。如果使用两个公式计算的所得y坐标值相差超过某些可接受公差值εy，则可以作出以下确定，即匹配过程未能够以足够精确度解决不同传感器中的投影之间的偏移，并且因此候选像素不相符，因为它们没有接收到来自相同目标T的投影。在y计算匹配失败的情况下，可执行匹配过程的另外的迭代，试图改善各自对应于所选目标T的传感器内的候选像素的选择。应该认识到，因为不同传感器上的不同透视投影由于例如视差效应而可以不同，因此计算的y值不太可能相等。因此，可接受公差值根据预期的应用加以规定。对于手术成像应用，0.1mm至0.3mm的ε通常提供可接受的Q3D精确度。在没有背离本发明的精神的情况下，本领域的技术人员可以定义不同的可接受公差水平。
考虑到围绕x轴线和y轴线的假设的传感器对称性，本领域的技术人员将认识到，使用类似于(2)和(5)中那些的公式(但使用nxi代替nyi)可作出相同类型的确定。公式(3)和公式(6)不可以作为402.5和402.6的一部分被使用，因为所述公式需要z坐标的知识。然而，模块402.5和模块402.6的本质是确定传感器S11、S12和S13的平面上的正确目标投影。为此，针对x轴线和y轴线调整的公式(2)和公式(5)是足够的。完整的一组坐标(x，y，z)作为模块403和模块404的一部分被计算，如下文所述。
确定目标的物理z位置的示例
如图19所示，根据模块403和404，z坐标的初始估计值z0用于开始实施计算过程。根据医疗应用，该初始值被自动定义。医疗应用定义要进行可视化的预期世界视图。初始值z0开始于最接近内窥镜的视野边缘。参考图8，例如，对于包括手术内窥镜检查的Q3D应用，z0可以远离Q3D内窥镜202的远端208 1mm至5mm。此初始估计值通常足以用于该应用，因为不太可能使任何组织或手术器械如此紧密接近Q3D内窥镜的存在。接下来，将值z0插入公式(3)和公式(6)中。假设目标的x坐标是唯一的，则如果z0为目标的真实且正确的z坐标，那么公式(3)和公式(6)可产生在可接受的公差水平εx内的相同值或大致相等的值。
|x(3)-x(6)|＜εx (7)
如果(3)和(6)在可接受的公差εx以外，那么迭代继续并且尝试z的新估计值。根据一些实施例，新估计值被自动定义。例如，z1＝z0+Δ，其中Δ为迭代的步长。通常，在第k次迭代处，zk＝zk-1+Δ。当满足条件(7)时，迭代过程停止。在确定正确的目标坐标时，更小的Δ产生增加的精确度，但还需要更多计算时间以完成该过程，因此等待时间增加。等待时间增加可以导致手术器械的移动和通过操作的外科医生对其可视化之间的延迟。换言之，外科医生可以落后于命令感知系统。对于20cm至30cm深的手术观察空间，0.1mm至0.3mm的Δ可以是足够的。当然，本领域的技术人员将知道平衡Δ的步长和完成迭代过程所需的计算时间。
出于展示的原因，已将上述说明简化，并且因此其仅包括三个传感器S11、S12和S13。通常，更多个传感器不仅可以用于增加Q3D坐标计算的精确度，而且减少总体迭代次数。例如，如果使用多于三个的传感器，优选地3×3传感器阵列，则可以利用方法诸如最陡梯度法以趋向通过模块402.5和模块403造成的估计误差的方向。迭代步长和方向可以被调整以匹配朝向3D误差梯度表面的局部极值的进展。
借助Q3D信息引导内窥镜手术
图20为根据一些实施例的表示在手术程序期间使用Q3D信息的第一过程2000的示意流程图。计算机程序代码配置计算机151以执行过程2000。模块2002配置计算机以接收用户输入，从而当看向观察器312时选择在外科医生视野内的至少两个对象。模块2004配置计算机以响应于接收用户选择在计算机控制台上显示菜单。决定模块2006配置计算机以确定到菜单的显示距离的用户输入是否被接收。响应于确定显示距离的用户输入被接收，模块2008配置计算机以在外科医生视野中的视频图像内显示数值距离。决定模块2010配置计算机以等待接收选择距离显示的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2006的操作。
决定模块2012配置计算机以确定到菜单的输入/录入(enter)接近度(proximity)警报界限的用户输入是否被接收。响应于确定输入接近度阈值的用户输入被接收，模块2014配置计算机以使用Q3D信息来监控外科医生视野内的两个或更多个对象之间的接近度。决定模块2016确定是否已经越过接近度阈值。响应于确定已经越过接近度阈值，模块2018配置计算机以激活警报。警报可以包括声音、视觉队列诸如闪光信号灯、器械移动的锁定以避免碰撞，或其他触觉反馈。响应于确定还未越过接近度阈值，控制流程返回到监控模块2014。决定模块2020配置计算机以等待接收输入接近度阈值的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2012的操作。
图21为示出根据一些实施例的按照图20过程在显示屏2102上所显示的菜单选择的示意图。显示屏2102包括与计算机151相关联的观察监控器。替代地，显示屏2102可以包括观察器312的观察元件401R、401L的区域。响应于用户输入，模块2004使菜单2104得以显示，菜单2104包括第一菜单项“显示距离”2106和第二菜单项“设定接近度警报”2108。响应于选择“显示距离”菜单项2106的用户输入，模块2008使两个或更多个对象之间的Q3D距离得以显示。再次参考图4，其示出器械400和使用模块2008显示的目标之间的Q3D距离“d_Instr_Trgt”的显示。响应于选择“设定接近度警报”菜单项2108的用户输入，显示“输入距离”UI输入2110，UI输入2110包括用户可以输入接近度距离阈值例如1cm的栏。在替代实施例(未示出)中，可以提前为所有器械设定默认的接近度阈值，并且用户可以使用例如图21的菜单来改变接近度阈值。在替代实施例中，用户可以决定选择默认阈值而不是输入阈值。在一些实施例中，用户可以选择显示距离和设定接近度警报两者。
图22A至图22B为表示根据一些实施例的按照图20的过程接收用户输入的某些细节的示意图。图22A示出目标410L、401R诸如人体组织的示例第一高光区域2202L、2202R，第一高光区域可以使用视频标记工具诸如远程图显，或者使用操纵图4的控制输入设备160的外科医生控制台创建。图22B示出器械顶端400L、400R的示例第二高光区域2206L、2206R，第二高光区域可以使用视频标记工具创建。在根据一些实施例的操作中，用户创建第一高光区域2202L、2202R。接下来，用户使用视频标记工具来创建器械顶端400L、400R的示例第二高光区域2206L、2206R。应该理解，将项加亮的顺序并不重要。然后用户致动选择器(未示出)(例如，按压ENTER键)以输入选择。模块2002将接收到的用户输入解释为目标图像410L、410R和器械图像400L、400R的选择。
图23为表示根据一些实施例的在手术程序期间使用Q3D信息的第二过程2300的示意流程图。计算机程序代码配置计算机151以执行过程2300。模块2302配置计算机以接收用户输入，从而当看向观察器312时选择外科医生视野内的对象。例如，再次参考图22A，其示出用户输入被接收以使用视频标记工具来创建器械顶端400L、400R的第二高光区域2206L、2206R。用户输入(未示出)被接收，以致动选择器(未示出)(例如，按压ENTER键)从而输入器械顶端400L、400R的图像的选择。
再一次返回到图23，响应于接收用户选择，模块2304配置计算机以在计算机控制台上显示菜单。决定模块2306配置计算机以确定到菜单的使所选对象的图像旋转的用户输入是否被接收。响应于确定使图像旋转的用户输入被接收，模块2308配置计算机以使图像旋转从而示出对象的不同三维透视图。决定模块2310配置计算机以等待接收使图像旋转的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2306的操作。
图24为示出根据一些实施例的按照图23的过程在显示屏2402上所显示的菜单选择的示意图。显示屏2402包括与计算机151相关联的观察监控器。替代地，显示屏2402可以包括观察器312的观察元件401R、401L的区域。响应于接收到的用户输入，模块2304使菜单2404得以显示，菜单2404包括第三菜单项“向左旋转”2406和第四菜单项“向右旋转”2408。响应于选择第三菜单项2406或第四菜单项2408中的一个或另一个的用户输入，模块2308使按照图9的模块407创建并存储的3D模型旋转。应该认识到，由于传感器成像器阵列210具有有限的总体视野，所以旋转量可以限制到几度，例如小于30度。
多端口
图25A至图25C为示出根据一些实施例的与Q3D图像传感器阵列相关联的内窥镜101C的示意图，Q3D图像传感器阵列设置在多个不同的位置处，以从多个不同位置的不同视角捕捉解剖结构2502的Q3D图像信息。再次参考图6，根据一些实施例的患者侧系统152包括多个机械手术臂158A至158D。如图5所示，不同的机械臂可以与不同的器械101A至101C相关联，器械101A至101C可以经由不同的端口(port)插入到患者体腔的内部，以参与微创手术程序。如本文所使用的术语“端口”可以指的是提供到患者体腔内的手术部位的入口的自然开口或手术切口。插管(未示出)可以被插入以沿端口的轮廓形成行(line)，从而在到体腔的进入点处用作器械和患者的体组织之间的保护屏障并且用作插入到体腔中的手术器械的引导件。替代地，可以不使用插管。
根据本发明的附加方面，参考图7A至图8所描述的内窥镜成像器系统与图像传感器阵列210相关联，内窥镜成像器系统可以替代地联接到多个手术臂158A至158D中的每个。每个臂可以用于通过不同的端口插入内窥镜。不同的端口在不同的位置处提供到体腔的入口，并且当联接到手术臂中的不同手术臂时，内窥镜具有体腔内场景的不同透视图。因此，通过将内窥镜替代地联接到不同的臂并且将内窥镜通过不同的端口插入体腔中，内窥镜可以用于从不同的视角捕捉Q3D信息。下面的描述在使用单个内窥镜的背景下进行，并且应该理解，类似的任选实施方式可以通过使用两个或更多个内窥镜来实现，每个内窥镜经由不同的端口进入，或者每个内窥镜经由相同的端口进入并且从空间中的不同位置成像。
参考图25A，图像捕捉系统101C(也被称为“内窥镜”)联接到通过第一端口2504插入的第一手术臂158A，第一端口2504提供通过解剖组织壁2510到体腔2512的入口，体腔2512包括将要成像的解剖结构2502。当联接到第一手术臂158A时，图像捕捉系统101C从第一观察视角捕捉第一视野(FOV1)内的第一图像信息2514。第一图像信息2514用于产生第一Q3D模型2515，第一Q3D模型2515存储在非暂时机器可读存储设备2516中。标为2517的箭头以简化形式指示图9至图19的过程，由此第一图像信息2514被集中，并且用于产生根据一些实施例的第一Q3D模型2515。
在图25B中，图像捕捉系统101C联接到通过第二端口2506插入的第二手术臂158B。当联接到第二手术臂158B时，图像捕捉系统101C从第二视角捕捉第二视野(FOV2)内的第二图像信息2524。第二图像信息2524用于产生第二Q3D模型2525，第二Q3D模型2525存储在非暂时机器可读存储设备2516中。标为2517的箭头以简化形式指示图9至图19的过程，由此第二图像信息2524被集中，并且用于产生根据一些实施例的第二Q3D模型2525。
在图25C中，图像捕捉系统101C联接到通过第三端口2508插入的第三手术臂158C。当联接到第三手术臂158C时，图像捕捉系统101C从第三视角捕捉第三视野(FOV3)内的第三图像信息2534。第三图像信息2534用于产生第三Q3D模型2535，第三Q3D模型2535存储在非暂时机器可读存储设备2516中。标为2517的箭头以简化形式指示图9至图19的过程，由此第三图像信息2534被集中，并且用于产生根据一些实施例的第三Q3D模型2535。
图26A至图26C为表示根据一些实施例的使用图25A至图25C的第一图像信息2514、第二图像信息2524和第三图像信息2534产生的第一Q3D模型2515、第二Q3D模型2525和第三Q3D模型2535的示意图。应该注意，在该示例中，每个独特的Q3D模型包括未呈现于其他Q3D模型中的Q3D结构信息，并且每个Q3D模型包括与至少一个其他Q3D模型重叠的信息。例如，如图所示的三角形结构2602仅在第一Q3D模型2515中表示，矩形结构2604仅在第二Q3D模型2525中表示，并且圆形结构2606仅在第三Q3D模型2535中表示。然而，伸长的矩形结构2608-1、2608-2、2608-3与三个Q3D模型重叠。为增强Q3D精确度，来自图26A至图26C的多个Q3D模型可以使用受控的抖动技术来取得，如下面更充分地描述。受控的抖动可以机械地产生，诸如通过控制机器臂158A至158C，或者电子地产生，诸如通过控制阵列透镜的光学性质。
图27为示出图26A至图26C的相应Q3D模型的示例对齐的示意图。应该注意，第一Q3D模型2515、第二Q3D模型2525和第三Q3D模型2535重叠。例如，可以看出伸长的矩形结构2808的第一重叠部分2808-4包括在第一Q3D模型2515和第二Q3D模型2525两者中。而且，例如，可以看出伸长的矩形结构2808的第二重叠部分2808-5包括在第二Q3D模型2525和第三Q3D模型2535两者中。
由Niemeyer等人发明的名称为“在微创手术装置中相机参考控制(CameraReferenced Control in a Minimally Invasive Surgical Apparatus)”的美国专利号US6,424,885B1(提交于1999年8月13日)(“885专利”)公开了使用运动学的系统和方法，所述专利的全部内容以引用方式明确地并入本文，根据一些实施例该专利用在本文中，以映射联接到不同手术臂158A至158C的器械101A至101C的相对位置，使得相对位置已知。再次参考附图25A至图25C，例如，第一手术臂158A与第一笛卡尔坐标系(x1，y1，z1)相关联。第二手术臂158B与第二笛卡尔坐标系(x2，y2，z2)相关联。第三手术臂158C与第三笛卡尔坐标系(x3，y3，z3)相关联。如‘885专利所解释的，基于在与臂中的每个相关联的坐标系之中的已知运动学关系，联接到第一手术臂、第二手术臂和第三手术臂的器械的相对位置已知。换言之，臂(和联接到臂的器械)中的任一个的绝对位置的改变可以改变臂相对于彼此的位置。然而，如‘885专利中所解释的，由于臂(和联接到臂的器械)之间的已知运动学关系，因此臂彼此的相对位置已知。
在Q3D模型的示例对齐中，当联接到第二手术臂158B并且定位成捕捉用于产生第二模型Q3D 2525的第二图像信息2524时，假设图像捕捉系统101C的视角和对应的FOV2作为参考视角。参考视角的确定包括图像捕捉系统101C相对于与第二手术臂158B相关联的第二笛卡尔坐标系(x2，y2，z2)的取向(ux2，uy2，uz2)的确定。换言之，根据一些实施例，虽然基于整个系统的运动学，第二手术臂158B的相对位置已知，但当内窥镜101C联接到第二臂158B时，内窥镜101C相对于第二臂158B的取向有助于第二视野FOV2的取向的确定。类似地，当图像捕捉系统101C固定到第一手术臂158A并且定位成捕捉用于产生第一模型Q3D模型2515的第一图像信息2514时，图像捕捉系统101C的第一工作空间视角包括图像捕捉系统101C相对于与第一手术臂158A相关联的第一笛卡尔坐标系(x1，y1，z1)的取向(ux1，uy1，uz1)。同样地，当图像捕捉系统101C固定到第三手术臂158C并且定位成捕捉用于产生第三模型Q3D模型2535的第三图像信息2534时，图像捕捉系统101C的第三工作空间视角包括图像捕捉系统101C相对于与第三手术臂158C相关联的第三笛卡尔坐标系(x3，y3，z3)的取向(ux3，uy3，uz3)。
第一手术臂158A和第二手术臂158B之间的已知运动学关系用于确定FOV1和FOV2的相对位置，这进而确定通过第一Q3D模型2515和第二Q3D模型2525表示的相对位置。类似地，第二手术臂158B和第三手术臂158C之间的已知运动学关系用于确定FOV2和FOV3的相对位置，这进而确定通过第二Q3D模型2525和第三Q3D模型2535表示的相对位置。根据一些实施例，该相对视野位置信息进而可以用于使第一Q3D模型与第二Q3D模型对齐，如图27所示，其中第一Q3D模型借助第一视野FOV1内的第一图像信息2514产生，第二Q3D模型借助第二视野FOV2内的第二图像信息2524产生。类似地，该相对视野位置信息可以用于使第三Q3D模型与第二Q3D模型对齐，如图27所示，其中第三Q3D模型借助第三视野FOV3内的第三图像信息2534产生，第二Q3D模型借助第二视野FOV2内的第二图像信息2524产生。
继续上面的示例，替代地，根据一些实施例，出现在第一Q3D模型、第二Q3D模型和第三Q3D模型的一部分中的共同基准点以及几何转换(例如，旋转和平移)可以用于确定FOV1、FOV2和FOV3的相对位置。图28A至图28C为表示根据一些实施例的示例第二Q3D模型和第三Q3D模型的示例旋转(图28A)、平移(图28B)和所得的对齐(图28C)的示意图。参考图28A，所示第二Q3D模型2525和第三Q3D模型2535稍微未对齐。第一基准点2802和第二基准点2804被认为是出现在第二Q3D模型2525和第三Q3D模型2535两者中。继续该示例，根据一些实施例，进行第三Q3D模型2535的取向的旋转和平移转换，以将第一基准点2802和第二基准点2804在第三Q3D模型2535中的出现与它们在第二Q3D模型2525中的出现对齐。
仍然参考图28A中的示例，如果需要，则通过采用由旋转角α限定的旋转矩阵Mx使第三Q3D模型2535围绕其x-轴线旋转。如果需要，则通过采用由旋转角β限定的旋转矩阵My使第三Q3D模型2535围绕其y-轴线旋转。最后，如果需要，则通过采用由旋转角γ限定的旋转矩阵Mz使第三Q3D模型2535围绕其z-轴线旋转。旋转矩阵的使用对本领域的技术人员而言众所周知，并且无需在本文中详细描述。如图28B所示，根据一些实施例，这些虚拟旋转的目的和结果是使得转换的第三Q3D模型2535与第二Q3D模型2525旋转地对齐。
所得的总体旋转矩阵M等于：
M＝Mx·My·Mz (8)
或者，以三角函数格式：
现在参考图28B中的示例，确定虚拟位置平移以将第三Q3D模型2535移动到与第二Q3D模型2525重叠的位置关系处，使得发生出现在第二模型2525和第三模型2535中的每个中的基准点2802、2804现在重叠，从而指示模型现在被对齐，如图28C所示。几何位置平移通过图28B所示的矢量、Tv来限定。几何平移对本领域的技术人员而言是众所周知的并且无需在本文中详细描述。
从以上解释应该理解，可做出类似的旋转和平移以使第一Q3D模型2515和第二Q3D模型2525对齐。
图29为示出根据一些实施例的示例复合Q3D模型的示意图，其中图25A至图25C的多个Q3D模型拼接在一起。如本文所使用的，“拼接”指的是对齐的重叠Q3D模型的合成以产生无缝的或基本上无缝的复合Q3D模型。将重叠图像信息拼接在一起的技术是众所周知的。参见例如Richard Szeliski的“图像对齐和拼接：指南(Image Alignment and Stitching：A Tutorial)”(Technical Report，MSR-TR-2004-92，微软公司，微软研究院，最新更新于2006年12月10日)，其公开了可以用于将多个Q3D模型拼接在一起的图像对齐和图像拼接算法。
在根据一些实施例的图像捕捉期间，用于捕捉图像的内窥镜101C的观察视角以受控样式被“抖动”。在上下文中，“抖动”意味着在两个或更多个实际观察点、取向或组合的观察点和取向之间进行调整或移动。在每个此观察点或取向处，Q3D内窥镜从目标区域捕捉图像信息，以便增强基于捕捉的图像信息所产生的Q3D模型的分辨率和精确度。图30A至图30C为示出根据一些实施例的在三个不同示例抖动位置中以捕捉目标区域的三个不同图像观察点的内窥镜101C的示意图。为到达不同的抖动位置，按照已知的较小量移动内窥镜101C，使得不同的抖动位置或取向相对于彼此已知。不同的内窥镜位置相差较小的距离，例如小于5mm。连续取向之间的较小的相对距离确保对应的3D图像中的足够的冗余信息。冗余用于改善Q3D模型的精确度。
内窥镜101C的受控抖动增加对应于目标感兴趣区域的空间体积内的点的坐标(x，y，z)的计算精确度。由于向以上参考图9至图19所描述的过程提供来自附加地或稍微地改变的视角的附加数据，所以精确度增加。具体地，受控抖动帮助图9的过程更精确地在步骤402至步骤404处发现目标。这可以通过改善发现在图10中的步骤402.3至402.5处所描述的最佳匹配的精确度来实现。内窥镜101C的抖动受控的事实从稍微不同的角度提供感兴趣的目标场景的视图。这相当于传感器Sij之间距离的虚拟增加。受控抖动可以通过控制支撑内窥镜101C的机器臂158C的硬件来实现，例如如参考图5所示。替代地，如果使用具有电子可调整的光学性质的透镜来构建Q3D内窥镜101C，则抖动可以被电子地引入。例如，根据Hassan firoozi等人的“用于3D内窥镜的液晶透镜阵列(Liquid crystal lens array fora 3D endoscope)”(Proceedings SPIE 9117，2014年5月9日)，可以采用液晶透镜阵列。此类透镜如果与内窥镜101C结合使用，则可以使其光学性质通过控制电压信号的调制进行调整。因此可以通过基于已知图案修改控制电压来引入光学抖动。例如，可以调整此类透镜的光学轴。该行为具有机械地抖动101C的取向的等效作用。无论是通过第三手术臂158C的运动进行的机械抖动，还是通过液晶透镜的控制电压的调制进行的电子抖动，在计算目标点的坐标(x，y，z)中均具有增强精确度的相同结果。
图31为根据一些实施例的捕捉多视角Q3D模型的过程3100的示意性流程图。应该认识到，系统152可以经配置实施过程3100中的方框或步骤中的一个或多个。在方框3102中，选择手术臂。为了解释的方便和清楚起见，下面的图表将参考上面的示例系统和Q3D模型来解释，但是应该理解，原则更广泛地适用。在方框3104中，图像捕捉系统101C固定到所选手术臂。假设，例如首先选择第一手术臂158A以使图像捕捉系统固定到其上。在方框3106中，固定到所选手术臂158A的图像捕捉系统通过体腔壁中的第一端口插入到具有以下视角的位置，即从该视角基于例如第一视野内FOV1内的第一图像信息2514使用内窥镜产生第一Q3D模型2515。根据一些实施例，在方框3106中，确定图像捕捉系统101C相对于与第一手术臂158A相关联的第一笛卡尔坐标系(x1，y1，z1)的取向(ux1，uy1，uz1)，并且将该取向存储于计算机可读存储设备(未示出)中。在方框3108中，用于生成第一Q3D模型2515的信息来自第一视野FOV1，如图25A所表示，并且存储于计算机可读存储设备(未示出)中。决定模块3110确定存在附加手术臂和对应的端口用于获得Q3D模型，并且因此控制流程再次到步骤3102，并且选择下一个手术臂。
继续上面的示例，假设在第二次通过方框3102中选择第二手术臂158B。
在第二次通过方框3104中，固定到所选手术臂158B的图像捕捉系统通过体腔壁中的第二端口插入到具有以下视角的位置，即从该视角基于例如第二视野FOV2内的第二图像信息2524使用内窥镜产生第二Q3D模型2525。
根据一些实施例，在第二次通过方框3106中，确定图像捕捉系统101C相对于与第二手术臂158B相关联的第二笛卡尔坐标系的取向(ux2，uy2，uz2)，并且将该取向存储于计算机可读存储设备中。
在第二次通过方框3108中，从第二视野FOV2中捕捉用于产生第二Q3D模型2525的信息，如图25B所表示，并且将该信息存储于计算机可读设备中。
仍然继续上面的示例，决定步骤3110确定存在另外的手术臂和对应的端口用于获得Q3D模型，并且因此，控制流程再次到步骤3102，并且选择下一个手术臂。假设在第三次通过方框3102中选择第三手术臂158C。在第三次通过方框3104中，固定到所选第三手术臂158C的图像捕捉系统通过体腔壁中的第三端口插入到具有以下视角的位置，即从该视角基于例如第三视野FOV3内的第三图像信息2534使用内窥镜产生第三Q3D模型2535。根据一些实施例，在第三次通过方框3106中，确定图像捕捉系统101C相对于与第三手术臂158C相关联的第三笛卡尔坐标系的取向(ux3，uy3、uz3)，并且将该取向存储于计算机可读存储设备中。在方框3108中，从第三视野FOV3中捕捉用于生成第三Q3D模型2535的信息，如图27C所表示，并且将该信息存储于计算机可读存储设备中。
接下来，根据上面的示例，决定步骤3110确定不存在附加手术臂和对应的端口用于获得Q3D模型，并且因此，控制流程到步骤3012。
替代地，参考图25A至图25C，Q3D内窥镜可以使用相同但定位在不同的端口2504、2506或2508中的臂例如158A中进行操纵。根据一些实施例，内窥镜在第一笛卡尔坐标系中的取向(ux1，uy1，uz1)和内窥镜101在第二笛卡尔坐标系中的取向(ux2，uy2，uz2)之间的已知运动学关系用于使第一Q3D模型和第二Q3D模型对齐，如图27所表示。内窥镜101在第二笛卡尔坐标系中的取向(ux2，uy2，uz2)和内窥镜101在第三笛卡尔坐标系中的取向(ux3，uy3，uz3)之间的已知运动学关系用于使第二Q3D模型和第二Q3D模型对齐，如图27所表示。
替代地，根据一些实施例并且如上面参考图28A至图28C所解释的，在第一Q3D模型、第二Q3D模型和第三Q3D模型的一部分中，或者在对应模型对中发现的共同基准点可以用于使模型对齐。如上所述，几何转换可以用于实现呈现于不同Q3D模型中的共同基准点的对齐的最佳匹配。
一旦Q3D模型对齐，方框3114就将第一Q3D模型、第二Q3D模型和第三Q3D模型拼接在一起，如图29所表示。一旦在方框3114中被创建，则组合并扩展的Q3D模型可以通过模块407来存储，或者通过模块408以3D来显示，这二者均参考图9。Q3D模型可以基于图32所描述的过程以3D来显示。出于该目的可以使用许多3D视频算法和硬件实施方式。应该理解，以3D进行显示包括立体显示和真实3D图像显示，其中立体显示创建三维中的观察错觉，真实3D图像显示创建占据三个空间维度的图像。该描述依据立体3D显示进行描述，并且本领域的技术人员将理解如何类似地创建加上必要变更的真实3D图像。
图32为示出根据一些实施例的处理器的细节的示意图，处理器用3D透视图将Q3D模型显示在3D显示器上。计算机模块3202配置包括视频处理器104、控制器106和显示驱动器109的图8的系统，以将Q3D模型分成右眼视图3204R和左眼视图3204L，规定平均人类瞳孔间距(IPD)为62mm至65mm。为实现该行为，应用体视学和人类IPD的已知细节。根据一些实施例，模块3206配置3D显示驱动器109的3D视频控制器106，以按已知的帧频在向左眼3208L提供视频帧和向右眼3208R提供帧之间交替地切换，以便给予观察者3D场景的印象。图32所描述的方法采用3D观察眼镜，诸如呈现于诸如图4至图6中所描述的远程操作手术系统中的那些。然而，可以使用其他3D视频显示机制。例如，授予Lipton的美国专利No.4,562,463(提交于1981年5月15日)和授予Naglele的美国专利No.6,008,839(提交于1995年11月27日)提供了附加的实施细节，并且这些专利的全部内容以引用方式并入本文。在被显示之后，用户可以根据关于图23和图24所提供的描述来操纵组合的Q3D模型。进一步的操纵可以包括其他器械之间或器械和解剖结构之间的距离的定量测量。
根据本发明的实施例的上述描述和附图仅说明本发明的原理。例如，可使用单个端口而不是使用多个端口来获得多个不同的视角，其中单个内窥镜动态地重新定位以从不同视角捕捉信息。例如，安装在内窥镜远端上的成像系统可以动态地转向以从各个视角进行成像，其中内窥镜安装在手术臂腕部机构上。因此，应该理解，本领域的技术人员在不背离所附权利要求定义的本发明的精神和范围的情况下，可以对本实施例进行各种修改。

Claims (7)

1.一种用于手术场景的3D成像的系统，其包括：
一个或多个定量三维内窥镜，即一个或多个Q3D内窥镜，其可操作以使体腔内的解剖结构成像；
至少一个操纵器，其经配置通过第一端口并且通过至少第二端口插入所述一个或多个Q3D内窥镜中的一个，所述第一端口和所述第二端口各自提供到所述体腔的入口；以及
至少一个处理器，其经配置：
基于在所述一个或多个Q3D内窥镜中的一个在所述第一端口中捕捉的第一图像内的提供采样多样性的重叠视野产生第一Q3D模型；
基于在所述一个或多个Q3D内窥镜中的一个在所述第二端口中捕捉的第二图像内的提供采样多样性的重叠视野产生第二Q3D模型；
其中所述第一Q3D模型和所述第二Q3D模型重叠；以及
将所述第一Q3D模型和所述第二Q3D模型组合在一起。
2.根据权利要求1所述的系统，
其中所述组合在一起包括：
当所述一个或多个Q3D内窥镜中的一个处于所述第一端口中时，确定所述一个或多个Q3D内窥镜中的所述一个相对于第一坐标系的第一位置；
当所述一个或多个Q3D内窥镜中的一个处于所述第二端口中时，确定所述一个或多个Q3D内窥镜中的一个相对于第二坐标系的第二位置；
使用所述一个或多个Q3D内窥镜中的所述一个的所述第一位置和所述一个或多个Q3D内窥镜中的所述一个的所述第二位置之间的运动学关系，以使所述第一Q3D模型和所述第二Q3D模型对齐。
3.根据权利要求1所述的系统，
其中所述组合在一起包括：
识别所述第一Q3D模型和所述第二Q3D模型内的共同基准点；以及
彼此几何地转换所述第一Q3D模型和所述第二Q3D模型的相对位置，以便使所述识别的共同基准点对齐。
4.根据权利要求1所述的系统，其进一步包括：
3D显示器，其经配置显示扩展的3D模型。
5.根据权利要求1所述的系统，其进一步包括：
操纵所述Q3D模型的装置。
6.根据权利要求5所述的系统，其中所述操纵所述Q3D模型的装置经配置执行第一手术器械和第二手术器械之间或者手术器械和解剖结构之间的距离的定量测量。
7.根据权利要求1所述的系统，其进一步包括：
控制所述至少一个操纵器以使所述一个或多个Q3D内窥镜中的一个的位置抖动到连续位置的装置。
CN201580024439.0A 2014-03-28 2015-03-28 来自多端口视角的手术场景的定量三维成像 Active CN106535806B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461971749P 2014-03-28 2014-03-28
US61/971,749 2014-03-28
US201462096525P 2014-12-23 2014-12-23
US62/096,525 2014-12-23
PCT/US2015/023217 WO2015149046A1 (en) 2014-03-28 2015-03-28 Quantitative three-dimensional imaging of surgical scenes from multiport perspectives

Publications (2)

Publication Number Publication Date
CN106535806A CN106535806A (zh) 2017-03-22
CN106535806B true CN106535806B (zh) 2019-06-18

Family

ID=54196488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580024439.0A Active CN106535806B (zh) 2014-03-28 2015-03-28 来自多端口视角的手术场景的定量三维成像

Country Status (6)

Country Link
US (1) US10334227B2 (zh)
EP (1) EP3125807B1 (zh)
JP (1) JP6609616B2 (zh)
KR (1) KR102373714B1 (zh)
CN (1) CN106535806B (zh)
WO (1) WO2015149046A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10555788B2 (en) 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
JP6854237B2 (ja) 2014-03-28 2021-04-07 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 視野内の器具の定量的三次元視覚化
KR102397254B1 (ko) 2014-03-28 2022-05-12 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 장면의 정량적인 3차원 영상
EP3122281B1 (en) 2014-03-28 2022-07-20 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and 3d modeling of surgical implants
JP6323184B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
WO2017096455A1 (en) 2015-12-09 2017-06-15 Titan Medical Inc. Stereoscopic imaging sensor apparatus and method for fabricating pairs of image sensors used in stereoscopic imaging
WO2018046092A1 (de) * 2016-09-09 2018-03-15 Siemens Aktiengesellschaft Verfahren zum betreiben eines endoskops und endoskop
US10222607B2 (en) * 2016-12-14 2019-03-05 Canon U.S.A., Inc. Three-dimensional endoscope
US11583349B2 (en) * 2017-06-28 2023-02-21 Intuitive Surgical Operations, Inc. Systems and methods for projecting an endoscopic image to a three-dimensional volume
US10058396B1 (en) * 2018-04-24 2018-08-28 Titan Medical Inc. System and apparatus for insertion of an instrument into a body cavity for performing a surgical procedure
CN109008909B (zh) * 2018-07-13 2024-01-26 宜宾学院 一种低功耗胶囊内窥镜图像采集及三维重建系统
JP7427654B2 (ja) * 2018-09-17 2024-02-05 オーリス ヘルス インコーポレイテッド 付随する医療処置を行うためのシステム及び方法
CN109288591B (zh) * 2018-12-07 2021-12-03 上海微创医疗机器人（集团）股份有限公司 手术机器人系统
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11102381B1 (en) 2021-01-05 2021-08-24 Board Of Regents, The University Of Texas System Clearcam Inc. Methods, systems and controllers for facilitating cleaning of an imaging element of an imaging device
US11844583B2 (en) 2021-03-31 2023-12-19 Moon Surgical Sas Co-manipulation surgical system having an instrument centering mode for automatic scope movements
US11812938B2 (en) 2021-03-31 2023-11-14 Moon Surgical Sas Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments
US11819302B2 (en) 2021-03-31 2023-11-21 Moon Surgical Sas Co-manipulation surgical system having user guided stage control
JP2024513204A (ja) 2021-03-31 2024-03-22 ムーン サージカル エスアエス 腹腔鏡下外科手術を実施するための外科手術用器具と併用するための協調操作式外科手術用システム
US11832909B2 (en) 2021-03-31 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having actuatable setup joints
US11986165B1 (en) 2023-01-09 2024-05-21 Moon Surgical Sas Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force
US11832910B1 (en) 2023-01-09 2023-12-05 Moon Surgical Sas Co-manipulation surgical system having adaptive gravity compensation
CN116086359B (zh) * 2023-04-07 2023-07-07 杭州键嘉医疗科技股份有限公司 一种手术器械追踪阵列的误差测量装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522906B1 (en) * 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
EP1826726A1 (en) * 2006-02-24 2007-08-29 Visionsense Ltd Method and system for navigating within a flexible organ of the body of a patient
EP2043499A1 (en) * 2006-07-10 2009-04-08 Katholieke Universiteit Leuven Endoscopic vision system
EP2444006A2 (en) * 1998-11-20 2012-04-25 Intuitive Surgical Operations, Inc. Cooperative minimally invasive telesurgical system
US8334900B2 (en) * 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
CN103315696A (zh) * 2012-03-21 2013-09-25 柯惠Lp公司 使用由真实图像得到的虚拟平面来确定摄像机角度的系统和方法
CN103596521A (zh) * 2011-04-07 2014-02-19 3形状股份有限公司 用于引导对象的3d系统和方法

Family Cites Families (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04176429A (ja) 1990-11-09 1992-06-24 Olympus Optical Co Ltd 内視鏡
JP3217386B2 (ja) 1991-04-24 2001-10-09 オリンパス光学工業株式会社 診断システム
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5603318A (en) * 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
AT399647B (de) 1992-07-31 1995-06-26 Truppe Michael Anordnung zur darstellung des inneren von körpern
JPH06160087A (ja) 1992-11-20 1994-06-07 Matsushita Electric Ind Co Ltd 画像を用いた距離測定方法及びその装置
US5860934A (en) 1992-12-21 1999-01-19 Artann Corporation Method and device for mechanical imaging of breast
JPH07240945A (ja) * 1994-02-25 1995-09-12 Matsushita Electric Ind Co Ltd 仮想空間生成提示装置
JP3599854B2 (ja) 1995-10-09 2004-12-08 オリンパス株式会社 医療用顔面装着型映像表示装置
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
JP3856406B2 (ja) * 1997-02-27 2006-12-13 株式会社東芝 画像処理装置
JPH11309A (ja) 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
JP2958458B1 (ja) 1998-08-26 1999-10-06 防衛庁技術研究本部長 多眼画像センサ
US7343195B2 (en) 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6517478B2 (en) 2000-03-30 2003-02-11 Cbyon, Inc. Apparatus and method for calibrating an endoscope
US6468203B2 (en) * 2000-04-03 2002-10-22 Neoguide Systems, Inc. Steerable endoscope and improved method of insertion
JP2002024807A (ja) 2000-07-07 2002-01-25 National Institute Of Advanced Industrial & Technology 物体運動追跡手法及び記録媒体
JP4451968B2 (ja) * 2000-07-11 2010-04-14 Ｈｏｙａ株式会社 ３次元画像入力装置
US6650927B1 (en) 2000-08-18 2003-11-18 Biosense, Inc. Rendering of diagnostic imaging data on a three-dimensional map
JP2002171537A (ja) 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
DE10138537B4 (de) 2001-08-06 2006-07-06 Siemens Ag Taktiles Feedback zur Darstellung von Gewebeelastizität
US8175680B2 (en) 2001-11-09 2012-05-08 Boston Scientific Scimed, Inc. Systems and methods for guiding catheters using registered images
JP3751568B2 (ja) 2002-02-21 2006-03-01 株式会社サタケ 内視鏡における空気噴流診断装置
US9155544B2 (en) * 2002-03-20 2015-10-13 P Tech, Llc Robotic systems and methods
JP3927487B2 (ja) 2002-12-02 2007-06-06 株式会社大野興業 人工骨モデルの製造方法
JP2006515128A (ja) * 2003-01-24 2006-05-18 マイコイ・コーポレーション 立体パノラマ画像取り込み装置
FR2855292B1 (fr) 2003-05-22 2005-12-09 Inst Nat Rech Inf Automat Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation
JP4414682B2 (ja) 2003-06-06 2010-02-10 オリンパス株式会社 超音波内視鏡装置
DE10340546B4 (de) 2003-09-01 2006-04-20 Siemens Ag Verfahren und Vorrichtung zur visuellen Unterstützung einer elektrophysiologischen Katheteranwendung im Herzen
JP2005087468A (ja) 2003-09-17 2005-04-07 Shoji Kawahito 距離画像計測機能を有する撮像装置及び内視鏡装置
JP4229791B2 (ja) 2003-09-19 2009-02-25 真 金子 内視鏡装置
US7746377B2 (en) 2003-11-28 2010-06-29 Topcon Corporation Three-dimensional image display apparatus and method
EP1691666B1 (en) 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
DE102004008164B3 (de) 2004-02-11 2005-10-13 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Erstellen zumindest eines Ausschnitts eines virtuellen 3D-Modells eines Körperinnenraums
US7289106B2 (en) 2004-04-01 2007-10-30 Immersion Medical, Inc. Methods and apparatus for palpation simulation
US20050254720A1 (en) 2004-05-17 2005-11-17 Kar-Han Tan Enhanced surgical visualizations with multi-flash imaging
JP2006109939A (ja) 2004-10-12 2006-04-27 Chinontec Kk 内視鏡装置
CN101065052B (zh) 2004-12-27 2010-12-22 奥林巴斯株式会社 医疗图像处理装置和医疗图像处理方法
US20100312129A1 (en) 2005-01-26 2010-12-09 Schecter Stuart O Cardiovascular haptic handle system
WO2006080076A1 (ja) 2005-01-28 2006-08-03 Saga University 三次元画像検出装置
JP2006305332A (ja) 2005-03-28 2006-11-09 Hiroshima Industrial Promotion Organization 画像処理装置およびそれを用いた内視鏡
US7752920B2 (en) 2005-12-30 2010-07-13 Intuitive Surgical Operations, Inc. Modular force sensor
KR101352360B1 (ko) 2005-04-27 2014-01-15 오브듀캇 아베 물체에 패턴을 전사하기 위한 수단
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US9492240B2 (en) * 2009-06-16 2016-11-15 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US9289267B2 (en) 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
US9661991B2 (en) 2005-08-24 2017-05-30 Koninklijke Philips N.V. System, method and devices for navigated flexible endoscopy
WO2007033379A2 (en) * 2005-09-14 2007-03-22 Neoguide Systems, Inc. Methods and apparatus for performing transluminal and other procedures
US8079950B2 (en) * 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
CN103142309B (zh) 2005-10-20 2015-06-17 直观外科手术操作公司 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
US7907166B2 (en) 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
DE102006002001B4 (de) 2006-01-16 2009-07-23 Sensomotoric Instruments Gmbh Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung
US20070236514A1 (en) 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
EP2029059A2 (en) 2006-05-25 2009-03-04 Spinemedica Corporation Patient-specific spinal implants and related systems and methods
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US7728868B2 (en) 2006-08-02 2010-06-01 Inneroptic Technology, Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US20080058593A1 (en) 2006-08-21 2008-03-06 Sti Medical Systems, Llc Computer aided diagnosis using video from endoscopes
US7824328B2 (en) 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
US8496575B2 (en) 2006-11-14 2013-07-30 Olympus Corporation Measuring endoscope apparatus, program and recording medium
US20090189749A1 (en) 2006-11-17 2009-07-30 Salada Mark A Haptic Interface Device and Method for Using Such
EP1968468B1 (en) 2006-12-15 2010-12-29 AO Technology AG Device for computer assisted distal locking of intramedullary nails
US20100149183A1 (en) 2006-12-15 2010-06-17 Loewke Kevin E Image mosaicing systems and methods
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
DE202007018027U1 (de) 2007-01-31 2008-04-17 Richard Wolf Gmbh Endoskopsystem
WO2009006303A2 (en) * 2007-06-29 2009-01-08 3M Innovative Properties Company Video-assisted margin marking for dental models
US20090076476A1 (en) 2007-08-15 2009-03-19 Hansen Medical, Inc. Systems and methods employing force sensing for mapping intra-body tissue
FR2920085B1 (fr) 2007-08-24 2012-06-15 Univ Grenoble 1 Systeme d'imagerie pour l'observation tridimensionnelle d'un champ operatoire
US20090133260A1 (en) 2007-11-26 2009-05-28 Ios Technologies, Inc 3D dental shade matching and apparatus
US20100111389A1 (en) * 2007-12-06 2010-05-06 Siemens Medical Solutions Usa, Inc. System and method for planning and guiding percutaneous procedures
US20090157059A1 (en) 2007-12-14 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Surgical instrument navigation system
JP2009204991A (ja) 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
US20090221908A1 (en) 2008-03-01 2009-09-03 Neil David Glossop System and Method for Alignment of Instrumentation in Image-Guided Intervention
DE102008018636B4 (de) 2008-04-11 2011-01-05 Storz Endoskop Produktions Gmbh Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8636653B2 (en) 2008-06-09 2014-01-28 Capso Vision, Inc. In vivo camera with multiple sources to illuminate tissue at different distances
EP2145575A1 (en) 2008-07-17 2010-01-20 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO A system, a method and a computer program for inspection of a three-dimensional environment by a user
JP5435916B2 (ja) 2008-09-18 2014-03-05 富士フイルム株式会社 電子内視鏡システム
JP4702569B2 (ja) 2008-09-30 2011-06-15 マツダ株式会社 車両用画像処理装置
WO2010046802A1 (en) 2008-10-20 2010-04-29 Koninklijke Philips Electronics, N.V. Image-based localization method and system
US8594841B2 (en) 2008-12-31 2013-11-26 Intuitive Surgical Operations, Inc. Visual force feedback in a minimally invasive surgical procedure
WO2010093780A2 (en) 2009-02-13 2010-08-19 University Of Florida Research Foundation, Inc. Communication and skills training using interactive virtual humans
US8690776B2 (en) 2009-02-17 2014-04-08 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image guided surgery
US9017334B2 (en) 2009-02-24 2015-04-28 Microport Orthopedics Holdings Inc. Patient specific surgical guide locator and mount
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
WO2010118117A1 (en) 2009-04-07 2010-10-14 Regents Of The University Of Minnesota Sensing tissue properties
JP5611324B2 (ja) 2009-04-25 2014-10-22 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ インプラントと生物の骨との相対位置を評価するシステム
US9138597B2 (en) * 2009-05-14 2015-09-22 University Health Network Quantitative endoscopy
EP2437676A1 (en) 2009-06-01 2012-04-11 Koninklijke Philips Electronics N.V. Distance-based position tracking method and system
EP2440129A4 (en) 2009-06-08 2015-06-03 Mri Interventions Inc MRI-CONTROLLED SURGICAL SYSTEMS WITH PRESET SCAN SURFACES
US8369930B2 (en) 2009-06-16 2013-02-05 MRI Interventions, Inc. MRI-guided devices and MRI-guided interventional systems that can track and generate dynamic visualizations of the devices in near real time
US10026016B2 (en) 2009-06-26 2018-07-17 Regents Of The University Of Minnesota Tracking and representation of multi-dimensional organs
ES2353099B1 (es) 2009-07-30 2012-01-02 Fundacion Para Progreso Soft Computing Método y sistema de identificación forense por superposición craneofacial basado en soft computing.
JP5094930B2 (ja) 2009-08-10 2012-12-12 韓國電子通信研究院 イメージに触覚情報を符号化する方法、イメージから触覚情報を復号化する方法、およびこのための触覚情報処理装置
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11699247B2 (en) 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
US9436280B2 (en) 2010-01-07 2016-09-06 Qualcomm Incorporated Simulation of three-dimensional touch sensation using haptics
RU2556593C2 (ru) 2010-01-13 2015-07-10 Конинклейке Филипс Электроникс Н.В. Совмещение и навигация для эндоскопической хирургии на основе интеграции изображений
EP2531088A1 (en) 2010-02-01 2012-12-12 Séraphin Nicaise Itoua Spherical capsule video endoscopy
DE102010006741A1 (de) * 2010-02-03 2011-08-04 Friedrich-Alexander-Universität Erlangen-Nürnberg, 91054 Verfahren zum Verarbeiten eines Endoskopiebildes
JP5421828B2 (ja) 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP2011200515A (ja) 2010-03-26 2011-10-13 Hoya Corp 触覚センサを備える電子内視鏡及び電子内視鏡システム
JP5432793B2 (ja) 2010-03-29 2014-03-05 オリンパス株式会社 蛍光内視鏡装置
BR112012031606B1 (pt) 2010-06-11 2020-11-10 Ethicon Llc distribuidor de sutura
US20140253684A1 (en) 2010-09-10 2014-09-11 The Johns Hopkins University Visualization of registered subsurface anatomy
WO2012035492A1 (en) 2010-09-15 2012-03-22 Koninklijke Philips Electronics N.V. Robotic control of an endoscope from blood vessel tree images
DE102010050227A1 (de) 2010-11-04 2012-05-10 Siemens Aktiengesellschaft Endoskop mit 3D-Funktionalität
US9138148B2 (en) 2011-04-13 2015-09-22 St. Jude Medical, Inc. High speed elastographic property mapping of lumens utilizing micropalpation delivered from an OCT-equipped catheter tip
AU2012253253B2 (en) 2011-05-12 2016-09-15 DePuy Synthes Products, Inc. Pixel array area optimization using stacking scheme for hybrid image sensor with minimal vertical interconnects
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
KR20130015146A (ko) 2011-08-02 2013-02-13 삼성전자주식회사 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템
US8784301B2 (en) 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US9204939B2 (en) 2011-08-21 2015-12-08 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery—rule based approach
US10866783B2 (en) 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
WO2013027201A2 (en) 2011-08-21 2013-02-28 M.S.T. Medical Surgery Technologies.Ltd. Device and method for asissting laparoscopic surgery- rule based approach
US10052157B2 (en) 2011-08-21 2018-08-21 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery—rule based approach
EP2755544B1 (en) 2011-09-13 2019-12-25 Visionsense Ltd Proximal high definition endoscope
CA2859998A1 (en) 2011-11-15 2013-05-23 Naoki Suzuki Photographic device and photographic system
DE102011119608B4 (de) 2011-11-29 2021-07-29 Karl Storz Se & Co. Kg Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
EP2793688A4 (en) 2011-12-19 2015-05-06 Univ California SYSTEM AND METHOD FOR QUANTIFYING BODILY PALPATION FOR THE IMPROVEMENT OF MEDICAL DIAGNOSIS
EP2793745B1 (en) 2011-12-22 2019-07-31 MIMEDX Group Inc. Cross-linked dehydrated placental tissue grafts and methods for making and using the same
JP5918548B2 (ja) * 2012-01-24 2016-05-18 富士フイルム株式会社 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
US20130211244A1 (en) 2012-01-25 2013-08-15 Surgix Ltd. Methods, Devices, Systems, Circuits and Associated Computer Executable Code for Detecting and Predicting the Position, Orientation and Trajectory of Surgical Tools
WO2013116240A1 (en) * 2012-01-30 2013-08-08 Inneroptic Technology, Inc. Multiple medical device guidance
US9092996B2 (en) 2012-03-01 2015-07-28 Simquest Llc Microsurgery simulator
US10758209B2 (en) 2012-03-09 2020-09-01 The Johns Hopkins University Photoacoustic tracking and registration in interventional ultrasound
WO2013160893A1 (en) 2012-04-23 2013-10-31 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. A device for rehabilitating brain mechanism of visual perception using complementary sensual stimulations
EP2844159B1 (en) 2012-05-03 2017-10-11 Synthes GmbH Surgical guide with cut resistant inserts
US10013082B2 (en) 2012-06-05 2018-07-03 Stuart Schecter, LLC Operating system with haptic interface for minimally invasive, hand-held surgical instrument
US9220570B2 (en) 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
JP5745178B2 (ja) 2012-06-29 2015-07-08 富士フイルム株式会社 ３次元測定方法、装置及びシステム、並びに画像処理装置
JP5676058B1 (ja) * 2013-03-06 2015-02-25 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2014160510A2 (en) 2013-03-13 2014-10-02 Massachusetts Institute Of Technology Photometric stereo endoscopy
US9456752B2 (en) * 2013-03-14 2016-10-04 Aperture Diagnostics Ltd. Full-field three-dimensional surface measurement
CN103269430A (zh) 2013-04-16 2013-08-28 上海上安机电设计事务所有限公司 基于bim的三维场景生成方法
US20150062299A1 (en) 2013-08-30 2015-03-05 The Regents Of The University Of California Quantitative 3d-endoscopy using stereo cmos-camera pairs
US10022914B2 (en) 2013-11-12 2018-07-17 Adobe Systems Incorporated Method and apparatus for automatically adding utility holes to printable 3-dimensional models
JP6644466B2 (ja) 2013-12-31 2020-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚通知を提供するシステム及び方法
WO2015106118A1 (en) 2014-01-09 2015-07-16 Sonitec Llc Systems and methods using ultrasound for treatment
US10130329B2 (en) 2014-01-28 2018-11-20 General Electric Company Distinct needle display in ultrasonic image
KR102237597B1 (ko) 2014-02-18 2021-04-07 삼성전자주식회사 수술 로봇용 마스터 장치 및 그 제어 방법
US9197885B2 (en) * 2014-03-20 2015-11-24 Gopro, Inc. Target-less auto-alignment of image sensors in a multi-camera system
EP3122281B1 (en) 2014-03-28 2022-07-20 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and 3d modeling of surgical implants
KR102397254B1 (ko) 2014-03-28 2022-05-12 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 장면의 정량적인 3차원 영상
US10555788B2 (en) 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
KR20160138502A (ko) 2014-03-28 2016-12-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 정량적인 3차원 모델의 3차원 영상과의 정렬
JP6854237B2 (ja) 2014-03-28 2021-04-07 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 視野内の器具の定量的三次元視覚化

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2444006A2 (en) * 1998-11-20 2012-04-25 Intuitive Surgical Operations, Inc. Cooperative minimally invasive telesurgical system
US6522906B1 (en) * 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
EP1826726A1 (en) * 2006-02-24 2007-08-29 Visionsense Ltd Method and system for navigating within a flexible organ of the body of a patient
EP2043499A1 (en) * 2006-07-10 2009-04-08 Katholieke Universiteit Leuven Endoscopic vision system
US8334900B2 (en) * 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
CN103596521A (zh) * 2011-04-07 2014-02-19 3形状股份有限公司 用于引导对象的3d系统和方法
CN103315696A (zh) * 2012-03-21 2013-09-25 柯惠Lp公司 使用由真实图像得到的虚拟平面来确定摄像机角度的系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D Reconstruction of Anatomical Structures from Endoscopic Images;Chenyu Wu;《Carnegie Mellon University-TheRobotics Institute》;20100131;全文
Real-time 3D Modeling from Endoscope Image Sequences;Oscar Garcia;《ICRA 2009 Workshop – Advanced Sensing and Sensor Integration in Medical Robotics》;20090513;正文第1页，附图2

Also Published As

Publication number Publication date
US10334227B2 (en) 2019-06-25
KR20160139017A (ko) 2016-12-06
EP3125807A1 (en) 2017-02-08
EP3125807B1 (en) 2022-05-04
JP6609616B2 (ja) 2019-11-20
CN106535806A (zh) 2017-03-22
KR102373714B1 (ko) 2022-03-15
US20170180704A1 (en) 2017-06-22
JP2017518148A (ja) 2017-07-06
WO2015149046A1 (en) 2015-10-01
EP3125807A4 (en) 2017-11-15

Similar Documents

Publication Publication Date Title
CN106535806B (zh) 来自多端口视角的手术场景的定量三维成像
CN106455944B (zh) Q3d模型与3d图像的对准
JP7321916B2 (ja) 手術シーンの定量的三次元撮像
US20220241013A1 (en) Quantitative three-dimensional visualization of instruments in a field of view
KR102397670B1 (ko) 정량적 3차원 영상화에 기초한 햅틱 피드백을 갖는 수술 시스템
KR101772187B1 (ko) 이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스
JP2023526239A (ja) 医療シーンなどのシーンを撮像してシーン内の物体を追跡する方法及びシステム
US20230355319A1 (en) Methods and systems for calibrating instruments within an imaging system, such as a surgical imaging system
US20230147711A1 (en) Methods for generating stereoscopic views in multicamera systems, and associated devices and systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant