CN110897590B - 带有基于定量三维成像的触觉反馈的手术系统 - Google Patents

带有基于定量三维成像的触觉反馈的手术系统 Download PDF

Info

Publication number
CN110897590B
CN110897590B CN201911355442.7A CN201911355442A CN110897590B CN 110897590 B CN110897590 B CN 110897590B CN 201911355442 A CN201911355442 A CN 201911355442A CN 110897590 B CN110897590 B CN 110897590B
Authority
CN
China
Prior art keywords
tissue
tissue structure
deformation
computer
instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911355442.7A
Other languages
English (en)
Other versions
CN110897590A (zh
Inventor
D·潘埃斯库
D·H·琼斯
C·艾伦比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN110897590A publication Critical patent/CN110897590A/zh
Application granted granted Critical
Publication of CN110897590B publication Critical patent/CN110897590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及带有基于定量三维成像的触觉反馈的手术系统。提供一种系统以在医疗程序期间提供触觉反馈，该系统包括：定量三维(Q3D)；手术器械，其被设置成使组织结构变形；触觉用户界面设备，其经配置响应于指示组织结构变形测量的信息提供组织结构变形的指示；以及处理器，其经配置产生包括指示组织结构变形测量的信息的Q3D模型，并且将指示组织结构变形测量的信息提供给触觉用户界面设备。

Description

带有基于定量三维成像的触觉反馈的手术系统
本申请是于2015年3月28日提交的名称为“带有基于定量三维成像的触觉反馈的手术系统”的中国专利申请2015800244403(PCT/US2015/023214)的分案申请。
相关申请
本申请要求于2014年3月28日提交的名称为“手术场景的定量三维成像(QUANTITATIVE THREE-DIMENSIONAL IMAGING OF SURGICAL SCENES)”的美国临时专利申请No.61/971,749；以及于2014年12月23日提交的名称为“带有基于定量三维成像的触觉反馈的手术系统(SURGICAL SYSTEM WITH HAPTIC FEEDBACK BASED UPON QUANTITATIVETHREE-DIMENSIONAL IMAGING)”的美国临时专利申请No.62/096,522的优先权的利益，所述专利申请的全部内容以引用方式并入本文。
技术领域
本发明总体涉及具有相关联的图像传感器的手术内窥镜检查系统，并且更具体地涉及确定显示在手术图像中的物理结构的三维坐标。
背景技术
定量三维(Q3D)视觉提供关于真实世界场景中的目标点的实际物理(x、y、z)3D坐标的数值信息。借助定量3D视觉，人不仅可以获得真实世界场景的三维感知，而且可以获得关于该场景中的对象的物理尺寸和该场景中的对象之间的物理距离的数值信息。以往，已经提出了一些Q3D系统，其使用飞行时间(time-of-flight)相关的信息或相位信息以确定关于场景的3D信息。其他Q3D系统已经使用结构光来确定关于场景的3D信息。
飞行时间信息的使用在名称为“CMOS兼容的三维图像传感器IC(CMOS-compatiblethree-dimensional image sensor IC)”的美国专利No.6,323,942中有所公开，该专利公开了三维成像系统，该系统包括使用CMOS制造技术在普通IC上制造的二维像素阵列光感测检测器。每个检测器具有相关联的高速计数器，该计数器累积在数量上与系统发出的脉冲的飞行时间(TOF)成正比的时钟脉冲，以从物点反射并且通过聚焦在该点上的像素检测器来检测。TOF数据提供从特定像素到反射所发出的光脉冲的对象上的点的距离的直接数字测量。在第二实施例中，计数器和高速时钟电路被省略，并且作为替代，每个像素检测器具有电荷积聚器和电子快门。快门在光脉冲发出时打开并且在其后关闭，使得每个像素检测器根据落在相关联的像素检测器上的返回光子能累积电荷。累积的电荷量提供来回TOF的直接测量。
延时信息的使用在名称为“用于内窥镜3D数据收集的装置和方法(Apparatus andmethod for endoscopic 3D data collection)”的美国专利No.8,262,559中有所公开，除了光成像机构以外，该专利公开了经调节的测量光束和光传送机构，用于将测量光束传导至要观察的区域上，其中光传送机构包括照明透镜，光成像机构用于将来自要观察区域的信号光束至少成像到相敏图像传感器上。可对应毫米范围内的深度差异的时间延迟导致相位信息，相位信息使描绘深度信息和距离信息的图像的产生成为可能。
使用结构光以确定对象在视觉图像中的物理坐标在名称为“内窥镜(Endoscope)”的美国专利申请公开No.2012/0190923中；以及在C.Schmalz等人的“基于结构光的内窥镜3D扫描仪(An endoscopic 3D scanner based on structured light)”，Medical ImageAnalysis，16(2012)1063-1072中有所公开。三角形法用于测量表面形貌。可具有不同颜色光谱范围的呈投影光线形式的结构光入射在表面上并且从该表面反射出。反射光线通过被校准的相机来观察，以使用反射的颜色光谱信息来确定表面的3D坐标。更具体地，结构光的使用通常涉及照亮3D表面上的光图案，并且基于由于物理对象轮廓而产生的光的变形图案来确定物理距离。
已经构建成像器阵列相机，其包括可以用于计算用于阵列中的像素的场景深度信息的多个像素阵列。高分辨率(HR)图像自多个低分辨率(LR)图像生成。选择基准视点并且生成如通过该视点所看到的HR图像。视差处理技术利用混叠效应来确定无基准图像关于基准图像像素的像素对应。融合和超分辨率用于从多个LR图像产生HR图像。参见例如名称为“使用带有异构成像器的单片相机阵列捕捉并处理图像(Capturing and ProcessingImages using Monolithic Camera Array with Heterogeneous Imager)”的美国专利No.8,514,491；名称为“用于使用假设融合从包括混叠的场景的多个视图确定深度的系统和方法(Systems and Methods for Determining Depth from multiple Views of aScene that Include Aliasing using Hypothesized Fusion)”的美国专利申请公开No.2013/0070060；以及K.Venkataraman等人的“PiCam：超薄高性能单片相机阵列(PiCam：An ultra-Thin high Performance Monolithic Camera Array)”。
图1为示出根据一些实施例的已知成像器传感器180的细节的示意图。图像传感器180包括传感器184的排列。在该排列中的每个传感器包括二维的像素排列，该二维的像素排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠186。每个透镜堆叠186具有对应的焦平面188。每个透镜堆叠186创建单独的光学通道，光学通道将图像分解到设置在其对应焦平面188中的对应像素排列上。像素用作光传感器，并且每个焦平面188与其多个像素一起用作图像传感器。每个传感器与其焦平面188一起占据的传感器排列区域与其他传感器和焦平面所占据的传感器排列区域不同。
图2为示出图1的传感器184的已知排列的简化平面图的示意图，传感器184的已知排列包括被标记为传感器S11到S33的传感器。成像器传感器布置184在半导体芯片上进行制造以包括多个传感器S11到S33。传感器S11到S33中的每个包括多个像素(例如，0.32兆像素)，并且耦接到包括独立读出控制和像素数字化的外围电路(未示出)。在一些实施例中，传感器S11到S33排列成如图2所示的格网格式。在其他实施例中，传感器以非格网格式排列。例如，传感器可以环形图案、之字形图案、分散图案或包括子像素偏移的不规则图案排列。
图1至图2的传感器184的每个单个像素包括微透镜像素堆叠。图3为示出图1至图2的传感器的已知微透镜像素堆叠的示意图。像素堆叠800包括微透镜802，其放置在氧化层804之上。通常，氧化层的下方可以有滤色镜806，其设置在氮化层808之上，氮化层808设置在第二氧化层810之上，第二氧化层810位于硅层812的顶上，硅层812包括单个像素的有效区域814(通常是光电二极管)。微透镜802的主要作用是收集入射在其表面上的光并且使所述光聚焦在小的有效区域814上。像素孔径通过微透镜的扩展度来确定。
关于上述已知的成像器传感器排列架构的附加信息在美国申请No.US 8,514,491B2(提交于2010年11月22日)和美国专利申请公开No.US 2013/0070060 A1(提交于2012年9月19日)中有所提供。
发明内容
在一方面，提供一种系统以在医疗程序期间提供触觉反馈(haptic feedback)。定量三维(Q3D)内窥镜被设置成使其视野内的场景成像。设置在视野内的手术器械可操作以使视野内的组织结构变形。触觉用户界面设备经配置响应于指示组织结构变形测量的信息提供组织结构变形的指示。一个或多个处理器经配置产生Q3D模型，并且将指示组织结构变形测量的信息提供给触觉用户界面设备，其中所述Q3D模型包括指示组织结构变形测量的信息。
在另一方面，提供一种系统，以在医疗程序期间提供触觉反馈。定量三维(Q3D)内窥镜被设置成使其视野内的场景成像。设置在视野内的手术器械可操作以使视野内的组织结构变形。一个或多个处理器经配置产生包括指示组织结构变形测量的信息的Q3D模型。基于测量的组织变形和组织硬度的知识，一个或多个处理器计算或估计通过器械施加到组织上的力。处理器或多个处理器提供指示施加到触觉用户界面设备的力的信息。
在另一方面，提供一种系统以在医疗程序期间提供触觉反馈。定量三维(Q3D)内窥镜被设置成使其视野内的场景成像。设置其视野内的器械可操作以对视野内的组织结构进行触诊。一个或多个处理器经配置产生包括指示触诊期间组织结构变形测量的信息的Q3D模型。基于测量的组织变形和施加的力的知识，一个或多个处理器计算或估计组织硬度的测量。处理器或多个处理器将指示触诊的组织硬度的信息提供给触觉用户界面设备。
附图说明
当结合附图阅读时，从下面详细描述可以最好地理解本公开的方面。应当强调的是，根据行业中的标准实践，各种特征不是按比例绘制的。实际上，为了便于论述，各种特征的尺寸可任意增大或减小。此外，本公开可以在各种示例中重复参考标号和/或字母。这种重复是出于简化和清楚的目的，而其本身并不表示所讨论的各种实施例和/或构造之间的关系。
图1为示出已知成像器传感器阵列的细节的示意图。
图2为示出包括多个传感器的已知成像器传感器阵列的简化平面图的示意图。
图3为已知微透镜像素堆叠的示意图。
图4为示出根据一些实施例的透过观察器的手术场景的透视图的示意图。
图5为根据一些实施例的远程操作手术系统的示意方框图，该系统使用一个或多个机械臂来执行微创手术程序。
图6为根据一些实施例的图5系统的患者侧系统的示意透视图。
图7A为根据一些实施例的第一图像捕捉系统的示意图。
图7B为根据一些实施例的第二图像捕捉系统的示意图。
图8为示出根据一些实施例的与图7A的第一图像捕捉系统相关联的控制块，并且示出操作中的系统的示意方框图。
图9为根据一些实施例的表示确定物理目标的定量三维位置的过程的示意流程图。
图10为示出根据一些实施例的通常对应于模块图9以系统地选择目标的过程的某些细节的示意流程图。
图11为根据一些实施例的示例传感器成像器阵列的示意图，传感器成像器阵列包括多个传感器并且设置成具有包含示例性三维物理世界场景的视野，示例性三维物理世界场景包括三个示例性对象。
图12为表示根据一些实施例的图11的多个物理对象到多个传感器上的投影的示意图。
图13为指示根据一些实施例的从现实世界场景内选择感兴趣区域(ROI)的示意图。
图14为示出根据一些实施例的关于多个传感器中的投影图像的相对几何偏移的细节的示意图。
图15为示出根据一些实施例的感兴趣区域(ROI)内的某些示例传感器中的投影图像的示意图，所述投影图像向右偏移以与ROI内的指定基准传感器中的投影图像对齐。
图16为示出根据一些实施例的所选目标点到多个传感器上的投影的示意图。
图17为示出根据一些实施例的包括图16的多个传感器的成像器阵列的一部分和设置在物理空间中的适当位置处的所选目标点T的示意图。
图18为根据一些实施例的当前所选目标点T到图16的多个图像传感器上的投影的示意性正视图。
图19为示出根据一些实施例的当前所选目标相对于如上参考图17所述的多个传感器的布置的示意图，并且该示意图还示出传感器中的每个的候选像素的y方向像素偏移。
图20为表示根据一些实施例的在手术程序期间使用Q3D信息的第一过程的示意流程图。
图21为示出根据一些实施例的按照图20的过程在显示屏上所显示的菜单选择的示意图。
图22A至图22B为表示根据一些实施例的按照图20的过程接收用户输入的某些细节的示意图。
图23为表示根据一些实施例的在手术程序期间使用Q3D信息的第二过程的示意图。
图24为示出根据一些实施例的按照图23的过程在显示屏上所显示的菜单选择的示意图。
图25为表示根据一些实施例的使用Q3D信息确定触觉反馈的过程的示意流程图。
图26为示出根据一些实施例的与手术器械的端部接触的组织结构和Q3D内窥镜的示意图。
图27A至图27C为表示根据一些实施例的有形用户界面(TUI)的第一实施例的示意图，有形用户界面(TUI)用作适用于提供触觉反馈的形状显示器。
图28A至图28C为表示其形状通过手术器械施加的力而变形的组织结构的示意图。
图29A至图29C为根据一些实施例的表示替代实施例的有形用户界面(TUI)的示意图，有形用户界面(TUI)用作适用于提供触觉反馈的形状显示器。
图30为示出根据一些实施例的安装在外科医生手指上的替代实施例TUI的示意图。
图31为根据一些实施例的经配置根据组织表面变形确定触觉反馈的示意计算块。
图32为表示根据一些实施例的使用图31的计算块执行的过程的示意流程图。
图33为根据一些实施例的与图27A至图27C的TUI一起使用的第一触觉反馈过程的示意流程图。
图34为根据一些实施例的与图29A至图29C的替代实施例TUI一起使用的第二触觉反馈过程的示意流程图。
图35为根据一些实施例的控制施加到所选组织表面位置的力的第三过程的示意流程图。
图36A至图36E为示出根据一些实施例的组织结构表面的一系列横截面视图的示意图，所述横截面视图示出响应通过器械施加的力所产生的组织表面的变形。
图37A至图37E为示出根据一些实施例的图27A至图27C的TUI的一系列横截面视图的示意图，所述横截面视图经配置示出TUI插针(pin)顶表面界面的示例性“即时”变形，该变形对应于图36A至图36E的一系列横截面视图所示的示例组织结构变形。
图38A至图38E为示出根据一些实施例的图27A至图27C的TUI的一系列横截面视图的示意图，所述横截面视图示出TUI反馈表面的示例“复合”变形，该变形对应于图36A至图36E的一系列横截面视图所示的示例目标组织变形。
图39A至图39E为示出根据一些实施例的图29A至图29C的替代实施例TUI内的一个或多个插针响应于图36A至图36E中所示的目标组织表面的示例变形的一系列位移的示意图。
具体实施方式
给出以下描述以使本领域技术人员能够创建并使用手术内窥镜检查系统，该系统捕捉定量三维(Q3D)信息并且基于Q3D信息产生触觉反馈。对于本领域的技术人员而言，将易于对本实施例进行各种修改，并且本文所定义的一般原则可以应用于其他实施例和应用，而不背离本发明主题的精神和范围。而且，在下面描述中，出于说明的目的阐述了许多细节。然而，本领域的普通技术人员将认识到本发明主题可在没有这些具体细节的情况下进行实践。在其他情况下，为了不因不需要的细节而混淆本公开，因此以方框图形式示出众所周知的机器部件、过程和数据结构。相同的参考标号可以在不同附图中用于表示相同项的不同视图。下面所参考的附图中的流程图用于表示过程。计算机系统可以经配置执行这些过程中的一些。表示计算机实施过程的流程图内的模块表示根据计算机程序代码的计算机系统的配置，以执行参考这些模块描述的作用。因此，本发明主题并非旨在被限于所示实施例，而是符合与本文所公开的原则和特征一致的最广范围。
简要概述
根据一些实施例，成像器包括与内窥镜相关联的传感器阵列。图像传感器阵列包括多个传感器，并且每个传感器包括像素阵列。内窥镜的一部分插入人体体腔中，并且使用光源来照亮图像传感器阵列的视野中的目标对象。目标对象的物理位置和/或尺寸基于投影到阵列的单个传感器上的目标对象的图像来确定。
图4为示出根据一些实施例的透过观察器312的手术场景的透视图的示意图。具有两个观察元件401R、401L的观察系统可以提供优良的3D观察透视图。表示手术场景中的物理结构的物理尺寸和/或位置信息的所示数值覆盖在手术场景图像上。例如，所示数值距离值“d_Instr_Trgt”显示在器械400和目标410之间的场景内。
远程操作医疗系统
远程操作指的是在一定距离处的机器的操作。在微创远程操作医疗系统中，外科医生可以使用包括相机的内窥镜以观察患者体内的手术部位。立体图像已经被捕捉，其允许在手术程序期间进行深度的感知。根据一些实施例，相机系统安装在内窥镜上并且包括成像器传感器阵列，所述相机系统提供加上颜色和照明数据的定量三维信息，所述定量三维信息可以用于生成三维图像。
图5为根据一些实施例的远程操作手术系统100的示意方框图，系统100使用一个或多个机械臂158来执行微创手术程序。系统100的方面包括遥控机器人和自主操作的特征。这些机械臂经常支撑器械。例如，机械手术臂(例如，中心机械手术臂158C)可以用于支撑带有立体或三维手术图像捕捉设备101C(诸如内窥镜相关联的Q3D图像传感器阵列)的内窥镜。机械手术臂158C可以包括无菌适配器或夹钳、夹子、螺钉、狭槽/凹槽或其他紧固件机构，以将包括图像捕捉设备101C的内窥镜机械地固定到机械臂。相反地，带有图像捕捉设备101C的内窥镜可以包括与机械手术臂158C互补的物理轮廓和/或结构，以便牢固地与其互相配合。
用户或操作者O(通常是外科医生)通过在主控制台150处操纵控制输入设备160来对患者P执行微创手术程序。操作者可以通过立体显示设备164来观察患者身体内部的手术部位的图像的视频帧，立体显示设备164包括以上参考图4所描述的观察器312。控制台150的计算机151经由控制线159引导远程操作控制的内窥镜手术器械101A至101C的移动，从而使用患者侧系统152(也称为“患者侧推车”)来影响器械的移动。
患者侧系统152包括一个或多个机械臂158。通常，患者侧系统152包括至少三个机械手术臂158A至158C(通常称为机械手术臂158)，所述机械手术臂158通过对应的定位组合臂(set-up arm)156来支撑。中心机械手术臂158C可以支撑内窥镜相机101C，内窥镜相机101C适合于捕捉用于相机视野内的图像的Q3D信息。中心左侧和右侧的机械手术臂158A和158B分别可以支撑可操纵组织的器械101A和器械101B。
图6为根据一些实施例的患者侧系统152的示意透视图。患者侧系统152包括通过基座172支撑的推车柱170。一个或多个机械插入手术臂/连杆158分别附接到一个或多个组合臂156，组合臂156是患者侧系统152的定位部分的一部分。近似地位于基座172上的中心位置处，推车柱170包括保护配重子系统和制动子系统的部件远离污染物的保护罩180。
除监控器臂154之外，每个机械手术臂158均用于控制器械101A至101C。而且，在本发明的一个实施例中，每个机械手术臂158均耦接到组合臂156，组合臂156进而耦接到托架壳体190。一个或多个机械手术臂158各自通过其相应的组合臂156来支撑，如图6所示。
机械手术臂158A至158D各自可以包括一个或多个位移换能器、定向传感器和/或定位传感器185，以生成原始的未校正的运动学信息，从而通过追踪系统辅助器械的初始获取和追踪。在本发明的一些实施例中，器械还可以包括位移换能器、定位传感器和或定向传感器186。而且，一个或多个器械可以包括标记189来辅助器械的获取和追踪。
关于远程操作医疗系统的附加信息在美国专利申请公开No.US 2012/0020547(提交于2011年9月30日)中有所公开。
内窥镜成像器系统
图7A为根据一些实施例的带有第一图像捕捉系统101C的第一内窥镜的示意图。图像捕捉系统101C包括内窥镜，内窥镜包括伸长部分202，伸长部分202包括第一端部204和第二端部206以及第一端部204的顶端部分208。第一端部204的尺寸设定成插入人体体腔中。包括多个图像传感器(未示出)的传感器阵列210耦接在第一端部204的顶端部分208处。根据一些实施例，传感器阵列210中的每个传感器包括像素阵列。伸长部分202具有足以将顶端部分208定位成足够靠近体腔内的目标对象的长度，使得可以通过成像器传感器阵列210来使对象成像。根据一些实施例，第二端部206可以包括通常如上所述的物理轮廓和/或结构(未示出)，以便牢固地与机械臂(未示出)互相配合。伸长部分202还包括一个或多个电子信号路径212以电子地与成像器传感器阵列210传达信息。设置光源214来照亮要成像的对象。根据一些实施例，光源214可以是非结构化的光，例如白光、滤色光或处于一些所选波长的光。根据一些实施例，光源214位于顶端208处，而在其他实施例中其任意地与内窥镜101C分开定位。
图7B为根据一些实施例的带有第二图像捕捉系统101C2的第二内窥镜的示意图。基本上与带有第一图像捕捉系统101C的第一内窥镜相同的第二图像捕捉系统101C2的方面由相同的参考标号指示并且不再描述。到光导管输入的输入端诸如棒形透镜设置在第一端部204的顶端部分208处。光导管主体在伸长部分202内延伸，以便将作为光导管输入接收的图像传输到成像器传感器阵列210，成像器传感器阵列210从顶端部分208物理移置。在一些实施例中，成像器传感器阵列210移置到距顶端部分208足够远，使得成像器传感器阵列210在观察体腔内的对象期间位于人体体腔外部。
图8为示出根据一些实施例的与带有图7A的第一图像捕捉系统101C的第一内窥镜101相关联的控制块，并且示出操作中的系统的示意方框图。通过成像器传感器阵列210捕捉的图像通过数据总线212发送到视频处理器104，视频处理器104经由总线105与控制器106进行通信。视频处理器104可以包括相机控制单元(CCU)和视频信号检测器(VSD)板。CCU对成像传感器210的各种设置诸如亮度、颜色方案、白平衡等进行编程或控制。VSD处理从成像传感器接收的视频信号。替代地，CCU和VSD结合到一个功能块中。
根据一些实施例，包括一个或多于一个处理器的处理器系统经配置执行处理器功能。在一些实施例中，处理器系统包括多个处理器，所述多个处理器经配置一起进行操作以执行本文所述的处理器功能。因此，本文提及的经配置执行一种或多种功能的至少一个处理器包括处理器系统，在处理器系统中，所述功能可以通过一个处理器单独执行或者通过多个处理器一起工作来执行。
在一种实施方式中，包括处理器和存储设备(未示出)的控制器106计算场景中的邻近伸长部分202的顶端208的点的定量3D坐标，并且驱动视频处理器104和3D显示器驱动器109两者来构成3D场景，然后3D场景可以显示在3D显示器110上。根据一些实施例，生成关于手术场景的Q3D信息，诸如场景中对象的表面轮廓的尺寸数值记号或距手术场景内的对象的距离。如下面更充分解释的那样，数值Q3D深度信息可以用于借助距离信息或表面轮廓信息对手术场景的立体图像加以注释。
数据总线107和数据总线108交换信息并且控制视频处理器104、控制器106和显示器驱动器109之中的信号。在一些实施例中，这些元件可以在内窥镜主体内部与图像传感器阵列210结合。替代地，它们可以分布在内窥镜的内部和/或外部。所示内窥镜经由插管140定位以穿透人体组织130，以便提供到包括目标120的手术场景的可视化入口。替代地，内窥镜和一个或多个器械还可以穿过单个开口(单个切口或自然孔口)以到达手术部位。目标120可以是解剖目标、另一手术器械或患者身体内部的手术场景的任何其他方面。
输入系统112接收3D视觉表示并且将其提供给处理器106。输入系统112可以包括耦接到电子通信总线(未示出)的存储设备，该存储设备从生成3D模型的系统(未示出)接收3D模型，诸如CRT或MRI。处理器106例如可以用于计算Q3D模型和3D视觉表示之间的预期对齐。更具体地，在没有限制的情况下，输入系统112可以包括处理器，处理器经配置在系统152和成像系统(未示出)(诸如MRI、CT或超声波成像系统)之间建立以太网通信连接。可以使用其他成像系统。可以使用其他类型的通信连接，诸如蓝牙、WiFi、光纤等。替代地，系统152和成像系统可以结合在一个更大的系统中。对齐过程的结果可保存在与处理器106相关联的存储设备中，为外部设备或系统或如图25所显示的流程提供进一步的操纵。
添加到场景图像的Q3D信息的示例
再次参考图4，图4为示出根据一些实施例的图5的主控制台150的观察器312的透视图的示意图。根据一些实施例，为提供三维透视图，观察器312包括针对每只眼睛的立体图像。如图所示，手术部位的左侧图像400L和右侧图像400R包括分别在左侧取景器410L和右侧取景器401R中的任何器械400和目标410。取景器中的图像400L和图像400R分别可以通过左侧显示设备402L和右侧显示设备402R来提供。显示设备402L、402R可以任选地为一对阴极射线管(CRT)监控器、液晶显示器(LCD)或其他类型的图像显示设备(例如，等离子体、数字光投影等)。在本发明的优选实施例中，彩色图像通过一对彩色显示设备402L、402R来提供；诸如彩色CRT或彩色LCD。为支持与现有设备的向后兼容性，立体显示设备402L和402R可以与Q3D系统一起使用。替代地，Q3D成像系统可以连接到3D监控器、3D TV或自由立体显示器，诸如无需使用3D效果眼镜的显示器。
具有两个观察元件401R、401L的观察系统可以提供优良的3D观察透视图。Q3D成像系统使用手术场景中的物理结构的实际尺寸信息补充该观察透视图。与Q3D内窥镜检查系统结合使用的立体观察器312可以显示覆盖在手术场景的立体图像上的Q3D信息。例如，如图4所示，器械400和目标410之间的数字Q3D距离值“d_Instr_Trgt”可以显示在立体观察器312内。
可以用于覆盖手术场景的3D透视图上的物理位置和尺寸信息的视频立体观察系统的说明在美国专利申请公开No.US2012/0020547(提交于2011年9月30日)的[0043]至[0053]段和对应附图中有所提供，其以引用方式明确地并入本文。
处理定量三维物理信息
图9为根据一些实施例的表示确定物理目标的定量三维位置的过程的流程图。该过程参考带有图8实施例的图像捕捉系统101C的内窥镜进行描述。模块401配置控制器106以从成像传感器Sij获取视频数据。应该认识到，虽然图像传感器阵列210使全部视野“成像”，但图像传感器阵列210中的不同传感器和不同传感器内的不同像素可以通过来自视野内的不同对象点的图像投影来照亮。例如，视频数据可以包括颜色或光强度数据。每个传感器的每个像素可以提供指示投影在其上的图像的颜色和强度的一个或多个信号。模块402配置控制器以从物理世界视图(world view)中的所选感兴趣区域中系统地选择目标。模块403配置控制器以开始使用初始(x0，y0，z0)设置计算目标3D坐标(x，y，z)。然后，通过使用来自接收目标投影图像的所有传感器Sij的图像多样性数据，该算法检查坐标的一致性。坐标计算在决定模块404处进行精确化，直到达到可接受的精确度。决定模块404还配置控制器以确定当前计算的物理位置是否足够精确。响应于当前计算的位置不精确的确定，控制流程返回到模块403以尝试不同的可能的物理位置。响应于当前计算的位置足够精确的确定，模块405配置控制器以确定是否已经扫描整个感兴趣区域。响应于尚未扫描整个感兴趣区域的确定，控制流程返回到模块402并且选择不同的目标。响应于已经扫描整个感兴趣区域的确定，控制流程到模块406，模块406配置控制器以组合感兴趣的成像体积的三维模型。基于指示目标的结构的物理位置的三维信息组合目标的3D图像对本领域的技术人员而言是已知的并且不需要在本文进行描述。模块407配置控制器以存储通过使用为多个目标确定的物理位置信息而形成的3D模型以用于进一步的查看和操纵。例如，3D模型可以稍后用于手术应用，诸如针对患者器官的特定尺寸设定植入物的尺寸。在又一不同示例中，当新手术器械101安装在机器人系统152上时，需要回调所述3D模型并且将其显示在显示器110上，以便将新器械引用到先前的手术场景。模块407还可以存储3D视觉表示和Q3D模型之间的对齐结果。模块408配置控制器以使用为多个目标确定的物理位置信息来显示定量3D视图。Q3D视图的示例是图4所示的距离值“d_Instr_Trgt”。
应当注意到，三维中的立体显示产生观察错觉。然而，实际的3D显示呈现3D图像，诸如全息图像或投影在曲面上的图像。通常，3D显示允许视野移动以改变观察视角。
图10为示出根据一些实施例的通常对应于图9的模块402的过程的某些细节的示意流程图。模块402.1配置控制器以捕捉来自传感器阵列210中所有传感器的物理世界场景的图像。模块402.2配置控制器以从捕捉的场景内指定感兴趣的区域。模块402.3配置控制器以搜寻如感兴趣区域内的场景图像之间的最佳匹配，以便识别在不同传感器中的通过相同目标的投影照亮的像素位置。如稍后所解释，在没有限制的情况下，通过使来自传感器Sij的单个图像移位，直到移位图像和基准图像之间的二维交叉相关函数最大化，可实现最佳匹配。基准图像例如可以是从传感器S11接收的场景图像。模块402.4配置控制器以识别通过来自相同目标的投影照亮的候选像素。模块402.5配置控制器以计算用于所选目标的两个或更多个像素坐标(Nx，Ny)，从而确定候选像素是否通过来自相同目标的投影照亮。决定模块402.6确定计算的2D像素坐标值是否指示候选像素通过来自相同目标的投影照亮。通过使用多个传感器Sij观察相同场景所导致的图像多样性在与各种单个图像Sij中的具体目标相关联的正确识别(Nx，Ny)中起作用。例如，根据一些实施例，假设一种仅使用三个传感器S11、S12和S13的简化情境，如果2D像素坐标的三元数组[(NX11，Ny11)、(Nx12，Ny12)、(Nx13，Ny13)]并不对应于相同目标到[S11，S12和S13]上的投影，则数量
Figure BDA0002335780810000141
和
Figure BDA0002335780810000142
(y方向上投影移位的估计值)将产生不同的值。根据稍后提出的方程式，如果像素坐标(NX11，Ny11)、(Nx12，Ny12)、(Nx13，Ny13)来自相同目标的投影，则
Figure BDA0002335780810000143
和
Figure BDA0002335780810000144
应该是相等的。
Figure BDA0002335780810000145
Figure BDA0002335780810000146
如果
Figure BDA0002335780810000147
和
Figure BDA0002335780810000148
不近似相等，则控制流程返回到模块402.4并且使传感器平面Sij上的目标投影的最佳候选精确化。如上所述，上述仅是算法的简化实施。通常，如图10模块402.6所示，
Figure BDA0002335780810000149
和
Figure BDA00023357808100001410
之间差的范数应该小于可接受公差ε，以便使模块402完成其迭代。对于x轴线的对应估计值
Figure BDA00023357808100001411
和
Figure BDA00023357808100001412
应满足类似的限制。响应于确定计算的2D像素坐标值(Nx，Ny)确实指示候选像素通过来自相同目标的投影来照亮，则控制流程到至模块403。
应该认识到，每个像素直接从世界场景捕捉颜色和强度信息。而且，根据上述过程，每个像素与投影在像素上的世界视图中物理对象的(x，y，z)坐标相关联。因此，颜色信息、照明强度信息和物理位置信息，即被投影的物理对象的颜色和照明以及位置，可以与非暂时性计算机可读存储设备中的像素相关联。下面表格1示出该关联。
表格1
像素标识符 颜色值 强度值 位置(x，y，z)
确定Q3D信息的示例
投影匹配的示例
图11为根据一些实施例的示例传感器阵列210的示意图，传感器阵列210包括传感器S11至S33的阵列，传感器S11至S33的阵列被设置为具有包括示例性三维物理世界场景的视野，该场景包括三个示例性对象。阵列中的每个传感器Sij包括像素的二维排列，所述排列在每个维度中至少具有两个像素。每个传感器包括透镜堆叠(lens stack)，透镜堆叠创建单独的光学通道，光学通道将图像分解到设置在透镜堆叠的焦平面中的对应像素排列上。每个像素用作光传感器，并且每个焦平面和其多个像素一起用作图像传感器。每个传感器S11至S33和其焦平面一起占据的传感器阵列区域与其他传感器和焦平面占据的传感器阵列区域不同。合适的已知图像传感器在美国专利No.US 8,514,491(提交于2010年11月22日)和美国专利申请公开No.US2013/0070060(提交于2012年9月19日)中有所公开，所述专利在上面进行了描述。
根据一些实施例，传感器的特征为Nx和Ny(传感器在x方向和y方向上的像素的总数)，以及视野角度θx和θy。在一些实施例中，期望x轴线和y轴线的传感器特征是相同的。然而，在替代实施例中，传感器具有不对称的x轴线特征和y轴线特征。类似地，在一些实施例中，所有的传感器将具有相同的像素总数和相同的视野角度。传感器以良好受控制的方式分布在整个传感器阵列210中。例如，传感器可以在所示的二维格网上以δ距离分开。传感器布置间距δ在整个此格网上可以对称或不对称。
在图11所示的实施例中，传感器排列在矩形格网中，在该矩形格网中，传感器S11至S13占据顶行，传感器S21至S23占据中间行，并且传感器S31至S33占据底行。每个传感器包括N行像素和N列像素。由虚线指示的通过光源产生的光线从三角形的第一对象、球形的第二对象和矩形的第三对象中的每个反射到成像器阵列中的每个传感器。为了进行示意性的说明，仅示出到顶行中的传感器S11、S12和S13的光线。例如，光源可以是非结构化的白光或背景光。替代地，光源可以提供处于所选波长的光，诸如例如在可见光谱或红外线光谱中的光，或者光可以被过滤或分割以提供所选波长(例如，颜色)或波长范围(例如，颜色范围)。应该认识到，光线类似地从目标中的每个反射到传感器S21至S33。然而，为了简化说明，未示出这些其他光线。
根据模块401和模块402.1，传感器阵列210的传感器单独地从世界视图中捕捉图像。图12为根据一些实施例的表示图11的三个对象到传感器Sij(仅示出S11、S12和S13)上的投影的示意图。本领域的技术人员将认识到入射在传感器上的反射光线投影视野中的物体的图像。更具体地，从视野中的对象反射出的入射到成像器阵列的多个不同图像传感器上的光线在接收反射光线的每个传感器中产生对象的从三维到二维的透视投影，即不同投影。具体地，当从S11前进到S12到S13时，对象投影的相对位置从左侧移位到右侧。通过入射光线照亮的图像传感器像素响应于入射光产生电信号。因此，对于每个图像传感器，响应于指示该图像传感器内的图像投影的形状和位置的反射光，通过该图像传感器的像素产生电信号的图案。
根据模块402.2，感兴趣的区域选自世界场景。图13为指示从场景内选择感兴趣区域的示意图。在该示例中，三角形的第一对象、球形的第二对象和矩形的第三对象均在所选的感兴趣区域中。该步骤可以通过接受来自操作者的输入来实现，或者其可以使用由软件以规定方式配置的计算机来自动执行，或者通过操作者输入和自动软件控制选择的组合实现。例如，在一些实施例中，世界场景可以示出人类解剖结构的内腔，并且对象可以是内部人体器官或手术器械或其部分。外科医生可以从内腔内接收实时视觉影像，并且可以看到人类解剖结构的组织区域和在体腔内突出的手术器械的一部分。外科医生可以指定视野内的那些对象，对象的位置信息通过众所周知的技术来确定，所述技术诸如远程图显视频标记。替代地或另外地，此操作者请求，自动化处理诸如边缘检测算法可以用于指定感兴趣区域(ROI)。
根据模块402.3，确定在感兴趣区域内的场景图像之间的最佳匹配，以便识别不同传感器中的通过相同目标的投影照亮的像素位置。图14为示出根据一些实施例的关于传感器S11、S12和S13中投影图像的相对几何偏移的附加细节的示意图。根据一些实施例，来自传感器S13的图像被认为是基准图像，并且所选ROI中的对象的投影相对于它们在传感器S13中的位置在传感器S12中按照量σ23像素向右偏移。类似地，所选ROI中的对象的投影相对于它们在传感器S13中的位置在传感器S11中按照量σ13像素向右偏移。应该认识到，由于传感器S12、S11的视野(FOV)观察轴各自偏移到传感器S13的FOV观察轴的右侧(此类观察轴垂直于传感器平面)，所以来自ROI的投影图像相对于传感器S11在传感器S13和传感器S12中向左偏移。
图15为示出根据一些实施例的ROI内的传感器S11和S12中的投影图像的示意图，所述投影图像向右侧移位以与ROI内的传感器S13中的投影图像对齐。在当前示例中，传感器S13被指定用作基准传感器。应该认识到，可选择其他传感器用于确定对齐和几何尺寸。所选ROI内对象的投影在指定传感器例如传感器S13中被识别，并且在其他传感器例如传感器S11和传感器S12中的投影被移位直到其与指定传感器中的投影对齐。用这种方式，可以在其他传感器内识别所选ROI内对象的对应投影，连同其相对于指定传感器中投影的位置的偏移。
具体地，例如，三个示例对象的投影在传感器S12中按照量σ23像素向右移位，并且三个示例性对象的投影在传感器S13中按照量σ13像素向右移位。在示例性示例中，为了简化说明，假设投影仅在y方向上偏移不在x方向上偏移，但是相同的原则应用于如传感器之间的x方向投影偏移。然而，虽然该示例示出线性偏移，但本领域的技术人员可以应用其他转换诸如旋转，以使不同传感器中的具有相对偏移的投影对齐。
根据一些实施例，例如，二维(2D)交叉相关技术或主成分分析(PCA)可以用于将S13中ROI内的投影与S12中ROI内的投影对齐，并且将S13中ROI内的投影与S11中ROI内的投影对齐。通常，希望关于指定为基准的传感器的图像最佳匹配或对齐来自传感器Sij的图像。更具体地，S12中ROI内的投影图像被移位并且与S13中ROI内的投影图像交叉相关，直到实现最高的相关系数。同样地，S11中ROI内的投影图像被移位并且与S13中ROI内的投影图像交叉相关，直到实现最高的相关系数。因此，ROI的投影对齐用于通过确定S13中ROI的投影和S12中ROI的投影之间的偏移，并且通过确定S13中ROI的投影和S11中ROI的投影之间的偏移，来识别传感器S11和传感器S12中ROI的投影位置。
候选像素选择和精确化的示例
根据模块402.4，识别在不同传感器内的候选像素，根据最佳匹配过程，所述不同传感器通过来自相同目标的投影照亮。一旦已经在传感器S11、S12和S13中的每个中识别ROI内的对象的投影，则可确定ROI内单个目标点相对于成像器阵列的物理(x，y，z)投影。根据一些实施例，对于ROI内多个目标点中的每个，识别通过来自目标点的投影照亮的多个传感器中的每个内的一个或多个像素。对于每个此目标点，至少部分基于设置在确定通过来自目标点的投影照亮的不同传感器中的像素之间的几何关系确定物理(x，y，z)目标点位置。
应该认识到，一系列的目标点可以通过系统地遍历ROI(例如，以特定的步长大小从右向左并且以步长大小从上到下)来自动选择，并且可以确定每个所选目标点的物理(x，y，z)目标点位置。由于S11和S12与S13最佳匹配，所以遍历在移位的感兴趣区域内部执行。选择目标包括识别通过目标的投影照亮的传感器S11、S12和S13中的每个中的像素。因此，S11、S12和S13中的每个中的候选像素被识别为通过所选目标点的投影照亮的像素。
换言之，为了选择目标点T，在通过目标点T的投影照亮的传感器S11、S12和S13中的每个中选择像素。应该认识到，目标T的(x，y，z)物理位置在其选择的时候是未知的。而且，应该认识到，上述对齐过程的不精确可以导致每个传感器中哪些像素被所选目标T的投影照亮的确定的不精确。因此，如参考图17、图18和图19所解释，根据通过当前所选目标T的投影照亮的S11、S12和S13中的每个中的像素确定的精确度作出进一步确定。
继续上述示例，假设三角形的第一对象为当前所选目标点。图16为示出根据一些实施例的所选三角形目标点到传感器S11、S12和S13上的投影的示意图。根据这些投影，确定目标T的2D像素坐标[(NX11，Ny11)、(Nx12，Ny12)、(Nx13，Ny13)]。为了简单化，图16仅示出y轴像素坐标。使用这些2D像素坐标，应用表达式(402.5-1)和(402.5-2)并且计算的
Figure BDA0002335780810000181
和
Figure BDA0002335780810000182
作为模块402.5的一部分。作为模块402.6的一部分，计算范数
Figure BDA0002335780810000183
并且将其与可接受公差ε相比。类似地，计算x轴像素坐标和位置估计值并且将其与可接受公差相比较。如果模块402.6的条件满足，则过程继续到模块403。否则，过程返回到模块402.4以使目标候选进一步精确化。
参考图17，其示出包括传感器S11、S12和S13的成像器阵列的一部分，和设置在物理空间中的位置(x，y，z)处的所选三角形第一对象目标点T。成像器阵列内的传感器在其之间具有已知间距δij。S11和S12之间的物理位置间距为δ12，并且S12和S13之间的物理位置间距为δ23。在一些实施例中，所有传感器Sij之间的间距是相同的、等于δ的构造规格。传感器Sij还具有已知的视野角度θ。
如上所解释，在一些实施例中，每个传感器构造成2D成像元件，其中像素以行和列的矩形图案排列。替代地，像素可以例如环形图案、之字形图案、分散图案或以包括子像素偏移的不规则图案排列。这些元件的角度和像素特性可以相同，或替代地传感器之间彼此可不同。然而，这些特性假设为已知。为了简化说明，假设传感器相同，但是，然而，它们可以不同。
为了简化起见，假设所有的传感器Sij均具有N×N像素。在距传感器S11的距离z处，传感器的N像素宽度向外扩展到通过FOV1指示的S11的y维度视野。同样地，在距传感器S12的距离z处，传感器S12的y维度视野通过FOV2来指示。而且，在距传感器S13的距离z处，传感器S13的y维度视野通过FOV3来指示。长度FOV1、FOV2和FOV3彼此重叠，预示着传感器S11、S12和S13实现物理地位于一些(未知的)距离z处的目标T的3路采样多样性。当然，如果传感器相同地构建，如在示例中所假设的，则长度FOV1、FOV2和FOV3也将相同。应该认识到，三个长度FOV1、FOV2和FOV3均具有相同的大小并且共面，因为它们处于距成像器阵列相同的(未知的)z距离处，但是为了进行示意性的说明，将它们描绘成如同它们彼此邻近堆叠。
参考图18，其示出当前所选目标点T到图像传感器S11、S12和S13上的投影的示意性正视图。为了简化起见，假设传感器包括大小为N×N像素的几何学矩形像素阵列。还假设目标T投影的x坐标均相等。换言之，假设对于目标T到S11、S12和S13上的投影，nx1＝nx2＝nx3。为了简化说明，还假设水平的几何视野角度θ与其垂直时相同，θx＝θy。如果上述假设中的任一个改变，本领域的技术人员将知道如何修改下面提出的过程，以便计算目标T的x、y和z物理坐标。
目标T的图像在图像传感器S11的平面中，投影到传感器S11内的几何坐标(nx1，ny1)处的物理点。更具体地，目标点T到传感器S11上的投影沿y轴线位于ny1像素，并且沿x轴线位于nx1像素，x轴线和y轴线均取自原点。目标T的图像在图像传感器S12的平面中，投影到传感器S12内的几何坐标(nx2，ny2)处的物理点。目标T的图像在图像传感器S13的平面中，投影到传感器S13内的几何坐标(nx3，ny3)处的物理点。应该认识到，每个传感器内的像素位置(nxi，nyi)相对于提供给传感器的原点(0，0)基准坐标来确定。如图17或图19所示，全球坐标系(x，y，z)被定义并且用于引用目标。例如，在没有限制的情况下，此类坐标系的原点可以放置在传感器S11的几何中心处。
参考图16和图18两者，可以看出目标的投影的y像素距离在每个传感器中是不同的。当前所选目标T的投影在S11中被设置到原点左侧的ny1像素。所选目标T的投影在S12中被设置到原点左侧的ny2像素。所选目标T的投影在S13中被设置到原点左侧的ny3像素。如上所述，为简化说明，假设目标的投影在所有三个传感器中均落在距原点相同的x像素距离处。
参考图19，其示出当前所选目标T相对于如上参考图17所述的传感器S11、S12和S13的布置，并且还示出在传感器中的每个中的候选像素的y方向像素偏移。应该理解，图19的附图提出用于确定所选目标点T的(x，y，z)物理坐标的物理结构和分析框架。在距成像器阵列平面的(未知的)距离z处，每个传感器的y方向视野延伸过标记为FOVi的长度。在一些实施例中，该长度FOVi对应于传感器的最大像素宽度，最大像素为N像素。考虑到工作假设为传感器具有x方向和y方向上对称的视野，长度还可以是沿x轴线是竖直的FOVi。
如上所述，候选像素选择至少部分地基于可以具有不确定水平的关联过程，该关联过程可以导致所选目标的物理位置的确定不精确。因此，根据一些实施例，进一步检查目标投影候选选择的精确度可以如下进行。
确定目标的物理(x，y)位置并检查目标投影候选选择的精确度的示例
根据模块402.5，为所选目标计算两个或更多个二维(Nx，Ny)坐标值，以确定来自相同目标的投影实际上是否照亮候选像素。基于上面讨论的假设并且将3D坐标系的原点放置在传感器S11的中心处，图19中的示例中的成像器阵列和当前所选目标T具有如下关系：
Figure BDA0002335780810000201
Figure BDA0002335780810000202
Figure BDA0002335780810000203
其中：
N为成像传感器的像素维度；
nx1为目标点T的以在x方向上距S11平面的原点的像素数目来表达的位置；
ny1为目标点T的以在y方向上距离S11平面的原点的像素数目来表达的位置；
ny2为目标点T的以在y方向上距离S12平面的原点的像素数目来表达的位置；以及
ny2为目标点T的以在y方向上距离S12平面的原点的像素数目来表达的位置；
θ为视野的角度。
而且，如果使用传感器S11和传感器S13执行相同的公式并且假定S11和S13之间的间隔为2δ，则我们得到：
Figure BDA0002335780810000211
Figure BDA0002335780810000212
Figure BDA0002335780810000213
其中：
nx3为目标点T的以在x方向上距S13平面的原点的像素数目表达的位置；以及
ny3为目标点T的以在y方向上距S13平面的原点的像素数目表达的位置。
因此，所选目标T的物理x坐标的确定可以基于表达式(3)或表达式(6)来确定。所选目标T的物理y坐标的确定可以基于表达式(2)或表达式(5)来确定。所选目标T的物理z坐标的确定可以基于方程式(1)或方程式(4)来确定。
更一般地说，根据模块402.6，作出关于计算的2D坐标值是否指示候选像素通过来自相同目标的投影照亮的确定。应该认识到，目标T的物理(x，y，z)坐标的更可靠的确定可以通过使用用于每个坐标的两个公式来得到。例如，用于目标T的y坐标可以使用公式(2)和公式(5)两者来确定。如果使用两个公式计算的所得y坐标值相差超过某些可接受公差值εy，则可以作出以下确定，即匹配过程未能够以足够精确度解决不同传感器中的投影之间的偏移，并且因此候选像素不相符，因为它们没有接收到来自相同目标T的投影。在y计算匹配失败的情况下，可执行匹配过程的另外的迭代，试图改善各自对应于所选目标T的传感器内的候选像素的选择。应该认识到，因为不同传感器上的不同透视投影由于例如视差效应而可以不同，因此计算的y值不太可能相等。因此，可接受公差值根据预期的应用加以规定。对于手术成像应用，0.1mm至0.3mm的ε通常提供可接受的Q3D精确度。在没有背离本发明的精神的情况下，本领域的技术人员可以定义不同的可接受公差水平。
考虑到围绕x轴线和y轴线的假设的传感器对称性，本领域的技术人员将认识到，使用类似于(2)和(5)中那些的公式(但使用nxi代替nyi)可作出相同类型的确定。公式(3)和公式(6)不可以作为402.5和402.6的一部分被使用，因为所述公式需要z坐标的知识。然而，模块402.5和模块402.6的本质是确定传感器S11、S12和S13的平面上的正确目标投影。为此，针对x轴线和y轴线调整的公式(2)和公式(5)是足够的。完整的一组坐标(x，y，z)作为模块403和模块404的一部分被计算，如下文所述。
确定目标的物理z位置的示例
如图19所示，根据模块403和404，z坐标的初始估计值z0用于开始实施计算过程。根据医疗应用，该初始值被自动定义。医疗应用定义要进行可视化的预期世界视图。初始值z0开始于最接近内窥镜的视野边缘。参考图8，例如，对于包括手术内窥镜检查的Q3D应用，z0可以远离Q3D内窥镜202的远端208 1mm至5mm。此初始估计值通常足以用于该应用，因为不太可能使任何组织或手术器械如此紧密接近Q3D内窥镜的存在。接下来，将值z0插入公式(3)和公式(6)中。假设目标的x坐标是唯一的，则如果z0为目标的真实且正确的z坐标，那么公式(3)和公式(6)可产生在可接受的公差水平εx内的相同值或大致相等的值。
|x(3)–x(6)|<εx (7)
如果(3)和(6)在可接受的公差εx以外，那么迭代继续并且尝试z的新估计值。根据一些实施例，新估计值被自动定义。例如，z1＝z0+△，其中△为迭代的步长。通常，在第k次迭代处，zk＝zk-1+Δ。当满足条件(7)时，迭代过程停止。在确定正确的目标坐标时，更小的Δ产生增加的精确度，但还需要更多计算时间以完成该过程，因此等待时间增加。等待时间增加可以导致手术器械的移动和通过操作的外科医生对其可视化之间的延迟。换言之，外科医生可以落后于命令感知系统。对于20cm至30cm深的手术观察空间，0.1mm至0.3mm的Δ可以是足够的。当然，本领域的技术人员将知道平衡△的步长和完成迭代过程所需的计算时间。
出于展示的原因，已将上述说明简化，并且因此其仅包括三个传感器S11、S12和S13。通常，更多个传感器不仅可以用于增加Q3D坐标计算的精确度，而且减少总体迭代次数。例如，如果使用多于三个的传感器，优选地3×3传感器阵列，则可以利用方法诸如最陡梯度法以趋向通过模块402.5和模块403造成的估计误差的方向。迭代步长和方向可以被调整以匹配朝向3D误差梯度表面的局部极值的进展。
借助Q3D信息引导内窥镜手术
图20为根据一些实施例的表示在手术程序期间使用Q3D信息的第一过程2000的示意流程图。计算机程序代码配置计算机151以执行过程2000。模块2002配置计算机以接收用户输入，从而当看向观察器312时选择在外科医生视野内的至少两个对象。模块2004配置计算机以响应于接收用户选择在计算机控制台上显示菜单。决定模块2006配置计算机以确定到菜单的显示距离的用户输入是否被接收。响应于确定显示距离的用户输入被接收，模块2008配置计算机以在外科医生视野中的视频图像内显示数值距离。决定模块2010配置计算机以等待接收选择距离显示的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2006的操作。
决定模块2012配置计算机以确定到菜单的输入/录入(enter)接近度(proximity)警报界限的用户输入是否被接收。响应于确定输入接近度阈值的用户输入被接收，模块2014配置计算机以使用Q3D信息来监控外科医生视野内的两个或更多个对象之间的接近度。决定模块2016确定是否已经越过接近度阈值。响应于确定已经越过接近度阈值，模块2018配置计算机以激活警报。警报可以包括声音、视觉队列诸如闪光信号灯、器械移动的锁定以避免碰撞，或其他触觉反馈。响应于确定还未越过接近度阈值，控制流程返回到监控模块2014。决定模块2020配置计算机以等待接收输入接近度阈值的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2012的操作。
图21为示出根据一些实施例的按照图20过程在显示屏2102上所显示的菜单选择的示意图。显示屏2102包括与计算机151相关联的观察监控器。替代地，显示屏2102可以包括观察器312的观察元件401R、401L的区域。响应于用户输入，模块2004使菜单2104得以显示，菜单2104包括第一菜单项“显示距离”2106和第二菜单项“设定接近度警报”2108。响应于选择“显示距离”菜单项2106的用户输入，模块2008使两个或更多个对象之间的Q3D距离得以显示。再次参考图4，其示出器械400和使用模块2008显示的目标之间的Q3D距离“d_Instr_Trgt”的显示。响应于选择“设定接近度警报”菜单项2108的用户输入，显示“输入距离”UI输入2110，UI输入2110包括用户可以输入接近度距离阈值例如1cm的栏。在替代实施例(未示出)中，可以提前为所有器械设定默认的接近度阈值，并且用户可以使用例如图21的菜单来改变接近度阈值。在替代实施例中，用户可以决定选择默认阈值而不是输入阈值。在一些实施例中，用户可以选择显示距离和设定接近度警报两者。
图22A至图22B为表示根据一些实施例的按照图20的过程接收用户输入的某些细节的示意图。图22A示出目标410L、401R诸如人体组织的示例第一高光区域2202L、2202R，第一高光区域可以使用视频标记工具诸如远程图显，或者使用操纵图4的控制输入设备160的外科医生控制台创建。图22B示出器械顶端400L、400R的示例第二高光区域2206L、2206R，第二高光区域可以使用视频标记工具创建。在根据一些实施例的操作中，用户创建第一高光区域2202L、2202R。接下来，用户使用视频标记工具来创建器械顶端400L、400R的示例第二高光区域2206L、2206R。应该理解，将项加亮的顺序并不重要。然后用户致动选择器(未示出)(例如，按压ENTER键)以输入选择。模块2002将接收到的用户输入解释为目标图像410L、410R和器械图像400L、400R的选择。
图23为表示根据一些实施例的在手术程序期间使用Q3D信息的第二过程2300的示意流程图。计算机程序代码配置计算机151以执行过程2300。模块2302配置计算机以接收用户输入，从而当看向观察器312时选择外科医生视野内的对象。例如，再次参考图22A，其示出用户输入被接收以使用视频标记工具来创建器械顶端400L、400R的第二高光区域2206L、2206R。用户输入(未示出)被接收，以致动选择器(未示出)(例如，按压ENTER键)从而输入器械顶端400L、400R的图像的选择。
再一次返回到图23，响应于接收用户选择，模块2304配置计算机以在计算机控制台上显示菜单。决定模块2306配置计算机以确定到菜单的使所选对象的图像旋转的用户输入是否被接收。响应于确定使图像旋转的用户输入被接收，模块2308配置计算机以使图像旋转从而示出对象的不同三维透视图。决定模块2310配置计算机以等待接收使图像旋转的用户输入的规定时间间隔，并且响应于在“超时”间隔内未接收到用户输入而结束决定模块2306的操作。
图24为示出根据一些实施例的按照图23的过程在显示屏2402上所显示的菜单选择的示意图。显示屏2402包括与计算机151相关联的观察监控器。替代地，显示屏2402可以包括观察器312的观察元件401R、401L的区域。响应于接收到的用户输入，模块2304使菜单2404得以显示，菜单2404包括第三菜单项“向左旋转”2406和第四菜单项“向右旋转”2408。响应于选择第三菜单项2406或第四菜单项2408中的一个或另一个的用户输入，模块2308使按照图9的模块407创建并存储的3D模型旋转。应该认识到，由于传感器成像器阵列210具有有限的总体视野，所以旋转量可以限制到几度，例如小于30度。
由Q3D内窥镜检查系统提供的触觉反馈
触觉学通常描述触摸反馈，触摸反馈可以包括动觉的(力)和皮肤的(触知)反馈，以及振动和移动。在手动微创手术(MIS)中，外科医生经由长轴感觉器械和患者的相互作用，长轴消除了触知提示和掩模力(masks force)提示。在远程操作手术系统中，因为外科医生不再直接操纵器械，所以自然的触觉反馈大部分被消除。在远程操作微创手术系统中，触觉技术的目的在于提供“透明性”，其中外科医生不会感觉好像他正在操作远程机构，而是他自己的手正在接触患者。描述这个概念的另一种方式为触觉远程呈现。通常，这需要在患者侧设备上的人造触觉传感器以获取触觉信息，并且需要在外科医生侧上的触觉显示器以将感测到的信息传达给外科医生。动觉的或力反馈系统通常测量或估计通过手术器械施加到患者的力，并且经由力反馈设备将分解的力提供到手部。触知反馈可以用于提供信息，诸如局部组织变形和整个组织表面上的压力分布。触知反馈可用于例如模拟触诊，在触诊中外科医生使用指尖来检测组织的局部机械性质，诸如顺从性、黏度和表面纹理，这些局部机械性质是组织健康的指示。参见Okamura A.M.的“机器人辅助微创手术中的触觉反馈(Haptic Feedback in Robot-Assisted Minimally Invasive Surgery)”，CurrentOpinion in Urology，2009年，第19(1)卷，第102页至第107页。
具有已知硬度的组织结构的变形可以根据施加于其上的力来确定，并且相反地，施加于具有已知硬度的组织结构的力可以根据组织结构变形确定。响应于由外科医生引起的运动，人体组织结构的形状在手术期间变形。软组织变形可依据线性弹性来近似，并且导致组织变形的接触力可以基于所得的组织变形来近似。通常，组织结构可以限定为一组具有类似尺寸的有限元。由于解剖模型的形状不规则性，所以将组织体积分解为四面体元素可以是优选的方法。因此，通过将目标组织结构分解为一组多边形(例如，四面体)元素，可以建模目标组织结构的配置。
通常，组织变形与根据下面公式的力有关：
[K]u＝f (8)
其中[K]为硬度矩阵并且是对称的、正的、确定的以及稀疏的；u为位移场；以及f为外力。该矩阵的尺寸为3N×3N，其中N为网格顶点的数目。如果假设至少一些水平的组织均向性，那么矩阵K可以表示成N×N矩阵。
更具体地，基于对象的变形施加到可变形对象表面的外力可以基于下面的公式来确定，在公式中获得可变形对象的位移u*所需的力可以根据下面公式来确定：
Figure BDA0002335780810000261
其中[K]为由向量ei组成的矩阵，其中1在第i个位置中并且零在别处。该系统由用于为计算变量强加指定值的拉格朗日乘数法产生。变分公式化和拉格朗日乘数可以用于使
Figure BDA0002335780810000262
最小化。在对系统求解之后所获得的[λ]的值λi等于相反的力，该力需要以自由度ui施加从而强加位移ui＝ui*。参见Cotin,S.等人的“用于手术模拟的软组织的实时弹性变形(Real-time elastic deformations of soft tissues for surgerysimulation)”，IEEE Transactions on Visualization and Computer Graphics(影响因子：1.9)，01/1999；5:62-73。DOI:10.1109/2945.764872，其全部内容以引用方式并入本文。组织硬度值是已知的或者可以容易地确定。例如，McKnight A.L.等人的“乳腺癌的MR弹性成像：初步结果(MR elastography of breast cancer:preliminary results)”，Am.J.Roentgenology，2002；178:1411-1417；Uffmann K.等人的“在借助MR弹性成像的极端骨骼肌的体内弹性测量(In vivo elasticity measurements of extremity skeletalmuscle with MR elastography)”，NMR in Biomedicine，2004；17:181-190；以及Tay B.K.等人的“在腹腔内器官的体内机械行为(In vivo mechanical behavior of intra-abdominal organs)”，IEEE Transactions on Biomedical Engineering，2006；53:2129-2138，所述文献通过该引用明确地并入本文，并且所述文献提供了用于各种组织结构的组织硬度的报告。它们的数据和其他数据可以用于确定矩阵[K]，如同适用于根据方程式(8)的力计算。
图25为表示根据一些实施例的使用Q3D信息以确定触觉反馈的过程2500的示意流程图。过程2500可以采用系统152和Q3D内窥镜系统101C中的一个或多个。图5或图6中的系统152，与图8的Q3D内窥镜系统101C结合，根据公式(8)或公式(9)计算通过器械施加到组织上的力向量f。硬度矩阵[K]可以包括已知的组织硬度值。一旦被计算出，通过器械施加到组织上的力就可以被显示或者用于驱动触觉界面设备。
参考图25，模块2502捕捉手术场景的Q3D信息，并且Q3D信息用于产生场景的Q3D模型。示例场景包括组织结构和手术器械。模块2504识别并配准场景内的手术器械。当使用一些力抵靠场景内的组织结构表面推进器械时，模块2506使用Q3D信息来确定器械周围的组织的位移u。模块2508获得场景内的组织结构的组织类型的合适的组织硬度矩阵信息[K]。模块2510使用确定的组织位移信息u和组织硬度矩阵信息来确定力f。模块2512覆盖确定的力f的手术场景内的外科医生视野内的视觉显示。模块2514致动触觉界面为外科医生提供触觉反馈，该触觉反馈指示确定的位移u和确定的力f。
图26为示出根据一些实施例的与手术器械2604的端部执行器部分接触的组织结构2602和具有图像传感器210阵列的内窥镜2606的示意图，图像传感器210阵列被设置成具有视野(FOV)以捕捉用于组织结构2602和器械2604之间的接触的Q3D图像信息。应该理解，内窥镜还可以用于在手术期间捕捉由外科医生可查看的立体视觉图像。在远程操作手术程序期间，外科医生通过立体显示设备164来观察手术场景，同时操纵图5所示的控制输入设备160来调动器械的端部执行器部分与目标组织结构的表面接触。外科医生控制器械的运动，以便将力施加到组织表面上的位置，这使该位置处的组织表面轮廓变形。
Q3D信息用于量化要提供给外科医生的触觉反馈的水平，使得该反馈指示通过器械2604施加到组织表面2608的变形和/或力。更具体地，使用Q3D信息确定的组织表面2604的位移2610的尺寸用于生成触觉反馈。假设组织结构或至少感兴趣的子区域具有基本上均匀的硬度，则更大的位移变形指示手术器械施加更大的力。根据方程式(8)，对于已知的硬度矩阵K，使用通过图8的Q3D内窥镜系统101C测量的位移u，能够计算或近似通过图26的器械2604施加到组织的力向量f。类似地，能够根据力向量f计算或近似通过组织呈现的阻力。此信息对于组织触诊应用可以是有用的。因此，根据一些实施例，能够向外科医生提供指示更大的变形和/或更大的力，或组织柔软度的触觉反馈。相反地，更小的位移变形可以指示手术器械施加更小的力，或者指示组织呈现增强的硬度，并且根据一些实施例，能够向外科医生提供指示更小变形和/或更小力或更高组织硬度的触觉反馈。
组织结构2602可以不具有均匀的硬度。嵌入组织结构内的局部的亚表面结构，诸如具有与组织结构硬度不同的硬度的肿瘤或血管，可以改变组织结构的局部硬度。局部亚表面结构在本文应被称为“异常物”。异常物的存在可影响响应于通过器械施加到覆盖异常的组织表面位置的力的局部位移变形。换言之，响应于一定量的力的覆盖亚表面异常物的组织表面位置的位移变形，将不同于响应于相同量的力的未覆盖亚表面异常物的不同组织表面位置处的位移变形。因此，作为组织结构硬度的此类变化，将基本上相同的力施加到组织结构的不同位置可以在那些不同位置处导致不同的变形。不同的变形可以指示亚表面异常物的存在。
为了解决组织硬度矩阵K的可变性，外科医生可以必须抵靠已知无异常物的相邻组织结构轻拍器械。这是可实现的目标，因为通常通过使用前置程序成像来识别异常物的位置。此类图形可以引导外科医生朝向无异常物的相邻区域。当抵靠包括异常物的区域轻拍器械2604时，Q3D内窥镜系统101C提供关于小于预期位移量u的定量信息。因此，可以获得组织硬度的相关映射。替代地，如果图26的器械2604装备有力传感器(未示出)，则可以基于方程式(8)计算或近似组织硬度映射。力传感器提供力向量f，并且Q3D内窥镜系统101C提供位移u。如果f和u在感兴趣区域内的足够多的点处被测量，则可以计算或近似硬度矩阵K的元素。例如，假设组织均向性和对称性，矩阵K具有多达N*(N+1)/2个不同的元素。因此，位移u和力向量f应该在多达N*(N+1)/2个位置处测量，以便充分地表征矩阵K。根据一些实施例，向外科医生提供指示不同组织表面位置处的不同组织结构的位移的触觉反馈。
触觉用户界面
如本文所使用的，术语“触觉用户界面”指的是向用户提供触觉信息的用户界面。存在许多不同种类的触觉界面。例如，如本文所述，也被称为有形用户界面的形状显示器可以用作提供指示对象的形状或轮廓的触觉信息的触觉界面。例如，触觉用户界面可以通过例如插针的选择性延伸和缩回或者通过可变的振动强度产生的机械刺激来提供触觉信息。触觉用户界面可以通过例如可变强度电刺激来提供触觉信息。
图27A至图27C为表示根据一些实施例的呈有形用户界面(TUI)2702形式的触觉用户界面的第一实施例的示意图，有形用户界面(TUI)2702用作适用于提供触觉反馈的形状显示器。TUI 2702包括容纳多个插针2706的外壳结构2704，插针2706可以选择性地从外壳向外移置。图27A示出TUI的第一实施例，其中许多个插针向外移置以创建通过图4的观察器312可观察到的在手术场景内可视的组织结构的三维模型2708。图27A所示的插针的配置对应于不存在指示组织结构变形的反馈的初始TUI状态。由TUI 2702的第一实施例产生的处于其初始状态的组织结构的三维模型2708，表示组织结构在不存在可使其形状变形的表面力时静止。图27B示出第一实施例TUI，其中第一(x，y)位置处的插针2706-1相对于插针的初始状态位置向内(如图所示，向下)移置第一量。图27C示出第一实施例TUI，其中第二插针2706-2相对于第二插针的初始状态位置向内移置不同于第一量的第二量。
图28A至图28C为表示其形状通过手术器械2804施加的力而变形的组织结构2802的示意图。图28A示出处于其自然静止状态下的组织结构2802，其中器械2804被设置成不接触组织结构。图28B示出借助足以按照第一位移量引起组织结构变形2806-1的力而在第一组织结构位置处接触组织结构的器械2804。图28C示出借助足以按照第二位移量引起组织结构变形2806-2的力而在第二组织结构位置处接触组织结构的器械。再次参考图27A至图27C，TUI 2702的第一实施例包括布置在笛卡尔坐标(x，y)平面中的轴向对齐的插针2706的阵列。每个插针与阵列中的(x，y)位置相关联。插针可在静止位置和可变凸起位移程度之间轴向移动。当所有插针2706均静止时，即没有轴向移位时，其头部(顶端)在外壳2704内限定平坦的、平面的(x，y)表面。每个插针2706与其自身的致动器(未示出)相关联，使得每个插针可以独立地轴向凸起、降低或凸起和降低可控制的可变位移量。根据一些实施例，在初始状态中，许多个插针被布置成创建组织结构2708的三维模型。插针位移相对于初始状态三维模型的变化提供触觉反馈，该触觉反馈指示模型式化组织结构的对应形状变化。使用第一实施例TUI产生的三维模型被几何地设定尺寸，使得外科医生可以在医疗程序期间以类似于外科医生触诊实际组织结构的方式的方式与模型相互作用。响应于通过与在外科医生的远程操作控制下的器械2804接触所引起的图28A至图28C的组织结构2802的表面变形，TUI组织模型2708的形状被改变，从而在手术程序期间向外科医生提供通过观察器312观察的指示组织结构变形的触觉反馈。Follmer S.等人的“inFORM：凭借形状和对象的动态物理效能和限制(inFORM:Dynamic Physical Affordances and Constraints through Shapeand Object)”，Actuation，UIST’13，10月8-11，英国，圣安德鲁斯，公开了使用形状显示器来提供触觉反馈的2.5D形状显示器，并且此TUI装置可以被修改以起到本文所描述的作用。例如，TUI 2702可以通过根据硬度矩阵K的Q3D内窥镜系统101C来驱动，硬度矩阵K如上所解释进行计算或近似。因此，至少可向外科医生提供关于组织硬度的相关信息，并且允许外科医生执行间接的或虚拟的组织触诊。
作为另一示例，外科医生操纵手术器械以便将基本上恒定的力提供给组织结构上的各个位置。恒力施加可以被调节，诸如通过使用传感器和可视仪表，或者通过设定远程操作操纵器来施加力直到感测到阈值力水平。替代地，施加可通过使用外科医生的感知到的感觉来完成。响应于基本上恒定的力施加，Q3D内窥镜捕捉力施加的位置和在各个组织位置处的组织变形的测量。响应于基本上恒定的力施加，方程式(8)的关系可以用于确定不同位置处的不同组织硬度，并且然后将位置和硬度映射到触觉TUI。触觉界面向外科医生提供指示不同位置处的不同组织硬度的反馈，以便产生到外科医生的虚拟触诊输出。然后，外科医生可以类似于外科医生在真实组织上的活动的方式，沿TUI上的路径追踪手指或手，并且沿该路径感测改变的硬度以对模拟的组织结构进行触诊。
根据一些实施例，组织硬度矩阵K或硬度映射可以映射到单个TUI插针2706的(x，y)位置。换言之，给定插针2706的物理位置(x，y)位置映射到组织结构2802的表面上的位置。出于该示例的目的，假设图27中的第一(x，y)位置处的TUI插针2706-1映射到图28B中的第一组织结构位置2806-1，并且图27C中第二(x，y)位置处的TUI插针2706-2映射到图28C中的第二组织结构位置2806-2。
假设TUI 2702具有W×L个插针，则组织表面的组织结构2802的Q3D模型可以被网格化到W×L格网上。然后，网格的每个节点可对应于TUI插针。假定Q3D模型提供感兴趣的组织表面的实际宽度(W组织)和长度(L组织)，则插针的对应(x，y)坐标和TUI位置计数NW和NL一起可以计算为(NW/W*W组织，NL/L*L组织)。相反地，对于已知Q3D模型，坐标点(x，y)和对应TUI插针的TUI位置计数一起可以计算为NX＝x*W/W组织和NY＝y*L/L组织。映射存储于非暂时性的、计算机可读的存储设备(未示出)中。TUI 2702的许多个插针2706向外(如图所示，向上)凸起，以便产生组织结构2802或者至少组织结构的感兴趣区域的组织表面轮廓的三维模型2708。
将手术器械与映射的组织表面位置配准。换言之，器械2804相对于组织结构2802的组织表面的映射位置的运动学位置在整个手术程序中进行配准并且更新。例如，配准可以通过使用类似于图9和图10所描述的识别算法来识别Q3D内窥镜的FOV中的目标器械得以实现。因此，由于器械2804的配准和组织位置与TUI位置之间的映射，器械2804和组织结构2804的表面位置之间的每次接触均可以映射到一个或多个TUI插针位置。而且，图像传感器阵列210捕捉器械和组织表面之间的每次接触的Q3D信息，Q3D信息可以用于确定由于接触所造成的组织表面的变形位移。进而，Q3D信息可以用于确定在一个或多个插针2706响应于与器械的接触的向外位移中的改变量，所述向外位移映射到接触的组织表面位置。
例如，图27A示出静止的第一实施例TUI 2702的示例性姿势，当如图28A所示时，外科医生已经移动器械邻近组织结构，但未使用器械以实际接触组织结构。图27B和图28B示出在外科医生的器械操纵中的触觉反馈，以引起图28B所示的第一组织位置2806-1的变形，该变形导致第一(x，y)位置处的TUI插针2706-1相对于其初始状态位置向内移动。基于如使用Q3D内窥镜系统101C测量的第一位移量来确定第一(x，y)位置处的插针2706-1的向内位置的量，其中器械使图28B中的第一组织位置2806-1移置所述第一位移量。类似地，图27C和图28C示出在外科医生的器械2804操纵中的触觉反馈，以引起图27C所示的第二组织位置2806-2的变形，该变形导致第二(x，y)位置处的TUI插针2706-2相对于其初始位置向内移动。基于第二位移量来确定在第二(x，y)位置处的插针2706-2的向外位移的改变，其中器械使图28C中的第二组织位置2806-2移置所述第二位移量。
替代地，感测为Q3D信息的组织变形可以与识别器械顶端位姿的运动学信息配准(例如，识别保持器械的运动学臂的位姿的运动学信息)。然后，将组合的组织变形信息与器械顶端位置和取向信息映射到TUI，以创建允许外科医生对模拟的组织结构进行触诊的触觉界面。
图29A至图29C为表示根据一些实施例的呈有形用户界面(TUI)2902形式的替代实施例触觉用户界面的示意图，有形用户界面(TUI)2902用作适合提供触觉反馈的形状显示器。替代TUI实施例2902包括外壳2904结构，外壳2904结构容纳多个轴向对齐的插针2906，插针2906可以响应于组织表面的位移按照可变量向外(如图所示，向上)移置。图29A示出静止的无插针2906凸起的替代TUI 2906。图29B示出插针2906凸起第一量的替代TUI2902。图29C示出插针2906凸起第二量的替代TUI 2902，其中第二量大于第一量。通常，图29A至图29C的替代实施例TUI 2902的插针配置与图27A至图27C的TUI 2702的插针配置类似。然而，替代实施例TUI 2906更小并且几何地设定尺寸用于安装在外科医生的指尖上。此替代TUI2906的示例已知。Killebrew J.H.等人的“生成任意时空触知刺激的密集阵列刺激器(ADense Array Stimulator to Generate Arbitrary Spatio-Temporal TactileStimuli)”，Journal of Neuroscience Methods，2007年，第161(1)卷，第62页至第74页，公开了400-探头刺激器“即时地”生成到皮肤的任意时空刺激。每个探头包括单个马达以控制其轴向位移。Moy G.等人的“用于远程触知的柔顺触知显示(A Compliant TactileDisplay for Teletaction)”，Proceedings of ICRA in Robotics and Automation，2000，IEEE，第4卷，公开了由硅橡胶模塑而成的一体式气动致动的触觉显示器。Howe，Robert D.等人的“远程触诊技术(Remote Palpation Technology)”，IEEE Engineeringin Medicine and Biology，1995年，5月/6月，公开了触觉形状显示器，由于形状金属合金线的高功率体积比和高功率重量比以及力重量比，因此该触觉形状显示器使用其作为致动器。
与图27A至图27C的TUI 2702类似，响应于通过与例如在外科医生的远程控制下的器械接触所引起的组织结构表面的变形，由图29A至图29C的替代实施例TUI 2902的插针2906的头部表示的TUI表面形状改变。然而，图29A至图29C的替代实施例TUI 2902和图27A至图27C的TUI 2702不同，替代实施例TUI的插针位置并未映射到组织表面位置。相反，通过替代实施例TUI 2902的插针2906的向外位移所产生的触觉反馈映射到组织表面的位置，组织表面通过立体显示设备164同时可见并且在外科医生控制下与手术器械当前接触。例如，TUI 2702的中心点被映射以对应于器械顶端，使得当器械顶端移动时，发生在TUI 2906上居中的改变的触觉知觉。外科医生将其手指放在TUI 2702上，以便感知该改变。通过此替代TUI 2902提供的触觉反馈的量与通过Q3D内窥镜系统101C提供的计算或近似的组织位移，或者与力如使用方程式(8)计算或近似的向量f相关联。
在替代实例中，一种实例为，插针最初向外轴向移置预定距离，并且插针被驱动以试图停留在该距离处。设定默认硬度，使得手指在压抵插针的顶部使插针稍微向下移置，同时插针被驱动以返回到其默认水平。因此，插针感觉“松软”。当器械横穿组织并且遇到一个或多个硬度改变时，硬度的改变转移到TUI，使得在TUI处感觉到带有增强硬度的组织为不太“松软”(朝向手指轴向移置的插针)，并且带有减小硬度的组织被感觉为更加“松软”(远离手指轴向移置的插针)。这样，器械顶端起到远程触诊器械的作用，其中触诊知觉转移到TUI。同样地，在替代实施例中，插针最初设置在与TUI表面齐平的轴向位移(参见例如，图29A)，并且带有减小硬度的组织在TUI处感觉为更硬(朝向手指轴向移置的插针)。
图30为示出根据一些实施例的安装在外科医生手指3002上的替代实施例TUI2902的示意图。当被安装时，替代实施例TUI 2902被定向，使得当插针2906响应于组织表面的组织位移向外移置时，插针2906压抵外科医生的指尖3002。根据一些实施例，不同插针位移量指示组织表面当前接触部分的不同组织位移，或者通过器械施加到组织表面的当前接触部分的力的不同量。
现在参考图28A至图28C和29A至图29C，图29A示出静止的替代实施例TUI 2902的示例姿势，当如图28A示出时，外科医生已经移动器械2804邻近组织结构2802，但还未使用器械以实际接触组织结构。图29B示出使用替代实施例TUI 2902的插针2906产生的界面表面形状，其中多个插针2906按照基于第一组织位移量确定的位移量凸起，以便给接触插针的用户提供第一刺激水平，其中器械2804按照所述凸起的位移量移置图28B中的第一组织位置2806-1。图29C示出使用替代实施例TUI 2902的插针2906产生的界面表面形状，其中多个插针2906按照基于第二组织位移量确定位移量凸起，以便给接触插针的用户提供第二刺激水平，其中器械2804按照所述凸起的位移量移置图28C中的第二组织位置2806-2。可以看出在第一组织位置2806-1和第二组织位置2806-2处的组织位移量是不同的，并且因此，响应于第一组织位移和第二组织位移的TUI插针位移量也是不同的。
本领域的技术人员将知道用其他形式的触觉刺激来替代插针的使用。例如，使用紧靠手部或手指抓握处的机械致动插针来代替刺激外科医生的手指3002，例如，可以提供亚阈值电触觉刺激。此类系统可以使用如通过Q3D内窥镜系统101C提供的安全水平的电流，该电流仅稍微超过人类感知的水平，通过组织位移u或组织力f的大小来调节。已知触觉刺激的此类其他形式。例如，Kaczmarek等人的“最大动态范围电触觉刺激波形(MaximalDynamic Range Electrotactile Stimulation Waveforms)”，IEEE Transactions onBiomedical Engineering，第39卷，第7期，1992年7月，已经提出用于合适的电触觉刺激的技术和波形，其全部内容以引用方式并入本文。在替代实施例中，操作的外科医生可以具有触觉反馈，该触觉反馈振动或提供操纵阻力到图5的控制输入设备160。振动或操纵阻力的量可根据组织位移u或组织力f的大小来调节，如通过图8的Q3D内窥镜系统101C所提供的。已知合适的实施方式，诸如美国专利No.US 6,594,552 B2(提交于2000年4月6日)和美国专利No.US 8,561,473 B2(提交于2009年3月30日)中所描述的，所述专利示出带有触觉反馈的控制输入设备的使用，并且其全部内容以引用方式并入本文。
Q3D信息到触觉反馈的转换
图31为根据一些实施例的经配置根据组织结构变形确定触觉反馈的示意计算块3102。根据一些实施例，触觉反馈通过可变插针轴向位移来提供。替代地，例如电刺激或振动刺激可以用于提供触觉反馈。图5的计算机151可以经配置实施该计算块。使用图像传感器阵列210收集的Q3D信息包括以下信息，该信息包括单个组织表面位置在某一时间的垂直变形距离Xti测量的指示。计算块接收指示变形距离Xti的信息作为输入，并且块3102根据变形距离Xti产生一个或多个插针位移量XUIi作为输出。虽然本文讨论了使用图像传感器阵列的Q3D内窥镜，但在不背离本发明的精神的情况下，可以使用其他类型的Q3D内窥镜。例如，可以使用具有相同性能的使用飞行时间传感器的Q3D内窥镜。美国专利No.US 8,262,559B2(提交于2009年4月9日)描述了此类替代Q3D内窥镜的至少一个示例，该专利以引用方式并入本文。
图32为表示根据一些实施例的使用图31的计算块来执行的过程3200的示意流程图。在模块3202，Q3D内窥镜系统计算图26的组织表面2608的位移u的3D坐标，例如，组织表面2608通过器械2604而变形。3D坐标计算根据图8至图19所描述的元素和模块来执行。在模块3204，组织位移u的3D坐标映射到插针位置计数和插针位移。例如，假设组织表面点(x，y)具有测量的位移uxy，带有如上所述计算出的位置计数NX和NY的插针被驱动以按照Dxy来移置其高度。基于估计的组织位移范围和TUI构造细节，D和u之间的关系可以是成比例的。例如，如果组织被估计为在高达20mm的范围内偏转，则D和u之间的关系可以为1:1。然后，对于每1mm的组织位移，TUI插针的高度可以改变1mm。如果手术程序在具有增强硬度的结构上执行，则使用更小的组织位移范围。在这种情况下，高达5mm的范围可以是最佳的。为了向外科医生提供足够的触觉反馈分辨率，插针位移D可以计算为4*u。换言之，对于每0.25mm的组织位移，TUI插针的高度改变1mm。本领域的技术人员知道如何用其他形式的触觉反馈界面来替代TUI触觉反馈系统的使用。例如，如果亚阈值电刺激用作触觉反馈的形式，那么刺激电流的大小根据上面讨论的比例关系来调节。替代地，如果控制输入设备160的振动用作触觉反馈，则振动的加速度或振动强度可以根据上面描述的比例关系来调节。通常，流程图的模块3204将位移uxy映射到通过图5或图6的系统152使用的触觉界面来提供的反馈的大小。在模块3206，该过程被迭代以覆盖与图26的器械2604接触的感兴趣的组织表面的所有点。在模块3208，触觉界面被驱动以提供根据计算的映射提供反馈。任选模块3210还可以以视觉格式在与系统152相关联的显示器中的任一个上提供组织位移信息。
力反馈界面
再次参考图26，可以看出可视记号2602覆盖在手术场景中的手术器械上，以向用户提供根据一些实施例的指示器械施加到目标组织结构的力的量的可视反馈。ReileyC.E.等人的“关于机器人辅助手术任务性能的可视反馈效果(Effects of visualfeedback on robot-assisted surgical task performance)”，The Journal ofThoracic and Cardiovascular Surgery，2008年1月，教导可视标记的使用以提供触知反馈同时在远程手术期间系手术结。可视记号包括覆盖在手术场景中的器械的图像上的颜色编码标记。标记的着色随通过力传感器感测到的力的量改变。响应于施加的力的理想量，标记被涂上黄色。响应于小于施加的力的理想量，标记被涂上绿色。响应于大于施加的力的理想量，标记被涂上红色。在操作中，用户可以使用标记颜色作为引导来根据需要重新定位器械，以实现力的理想量。响应于观察到绿色标记，用户可以重新定位器械以增大力的量。响应于观察到红色标记，用户可以重新定位标记以减小力的量。此力反馈界面可以结合在系统152内，系统152通过处理由图8的Q3D内窥镜系统101C提供的位移信息计算或近似力的量，如上所解释。替代地，可以使用其他类型的力反馈界面。例如，通过器械施加的力的量可以呈柱状图的形式或作为数字显示在图22A和图22B的观察器312的一侧上。
使用Q3D信息以提供触觉反馈的总体过程
图33为与根据一些实施例的与图27A至图27C的TUI 2702一起使用的第一触觉反馈过程的示意流程图。模块3302将组织表面位置映射到TUI位置并且将映射存储在非暂时性的、计算机可读的存储设备中。模块3304将手术器械与组织位置配准。配准例如可以通过使用类似于图9和图10所描述的识别算法来识别Q3D内窥镜的FOV中的目标器械来实现。模块3306接收选择组织表面位置的用户输入，并且移动器械以与所选组织表面位置对齐。模块3308接收用户输入以施加所选的力，并且移动器械接触所选组织位置并施加所选的力。模块3310接收指示所选组织表面响应于所施加的力的变形距离的Q3D信息。模块3312根据所选组织位置处的指示的组织变形距离确定映射到所选组织表面位置的一个或多个插针的位移量。模块3314按照预定的量实现映射到所选组织位置的一个或多个插针的位移。决定模块3316确定改变所选不同组织表面位置的新的用户输入是否被接收。如果未接收到此用户输入，那么模块3318引起一段规定量的等待，其后控制流程图再次返回到决定模块3316。响应于选择新的组织表面位置的用户输入的接收，控制流程图到模块3306。本领域的技术人员知道如何用其他形式的触觉反馈界面来替代TUI触觉反馈的使用。例如，如果亚阈值电刺激用作触觉反馈的形式，那么刺激电流的大小根据上面讨论的步骤进行调节。替代地，如果控制输入设备160的振动用作触觉反馈，则振动的加速度或振动强度可以根据上述步骤进行调节。而且，如果可视界面用于提供触觉反馈，则提供反馈的可视元素(例如，可视记号、柱状图、数字显示等)根据上述步骤来修改。
图34为与根据一些实施例的与图29A至图29C的替代实施例TUI 2902一起使用的第二触觉反馈过程的示意流程图。应该认识到，第一触觉过程和第二触觉过程是类似的。模块3406接收选择组织表面位置的用户输入并且移动器械以与所选组织表面位置对齐。模块3408接收用户输入以施加所选的力，并且移动器械以接触所选组织位置并施加所选的力。模块3410接收指示所选组织表面响应于施加的力的变形距离的Q3D信息。模块3412根据所选组织位置处的指示组织变形距离确定一个或多个插针位移量。模块3414按照确定的量实现映射到所选组织位置的一个或多个插针的位移。决定模块3416确定改变所选不同组织表面位置的新的用户输入是否被接收。如果未接收到此用户输入，那么模块3418引起一段规定量的等待，其后控制再次返回到决定模块3416。响应于接收选择新的组织表面位置的用户输入，控制流程图到模块3406。
图35为根据一些实施例的控制施加到所选组织表面位置的力的第三过程3500的示意流程图。如参考图26所解释，视觉提示2602可以提供在手术场景中，以提供是否改变施加到组织表面位置的力的指示。第三过程可以与第一过程或第二过程平行进行。模块3502接收使用与器械的顶端部分相关联的传感器感测的力的指示，并且在手术屏显示器内产生感测力的大小的可视记号。决定模块3504确定改变通过器械施加的力的量的用户输入是否被接收。响应于确定改变力的量的用户输入被接收，模块3506依据该用户输入改变施加的力。响应于确定未接收到改变力的量的用户输入，控制返回到模块3502。
用于虚拟组织触诊的基于Q3D的触觉反馈
图36A至图36E为示出根据一些实施例的组织结构3602表面的一系列横截面视图的示意图，所述横截面视图示出响应于通过器械3604施加的力所产生的组织表面3608的变形。更具体地，这些附图示出用于虚拟组织触诊的基于Q3D的触觉反馈的实施方式。在示例性序列中，器械3604接触组织结构3602的表面3608并且在其上施加具有垂直向下分量的力。附图示出组织表面3608响应于力在多个离散位置处的偏转。所示Q3D内窥镜202被设置成捕捉表示多个不同组织表面位置中的每个处的组织变形的图像信息。所示异常物3612在组织表面3608之下嵌入组织结构3602内。组织结构3602具有特征硬度Kt。异常物3612组织结构具有不同的特征硬度Ka。由于异常物组织结构3612在目标组织结构表面之下，所以其在使用Q3D内窥镜202所捕捉的图像中是不可见的。如上所述，硬度矩阵Kt和Ka可以是已知的先验。在这种情况下，当图36A的器械3604行进穿过包括异常物的区域时，系统152可以经配置用矩阵Kt来替代矩阵Ka。如上所述，基于示出异常物相对于组织表面的位置的操作前图像，用户或系统能够识别从Kt到Ka的过渡区。替代地，如上所讨论的，确定或近似带有异常物3612的区域和没有异常物的区域之间的相对硬度差异的机构可以结合到系统152中。在所有此类情况下，系统152提供给操作者关于通过器械施加的力或者关于通过组织呈现的硬度的直接触觉反馈、间接触觉反馈或触觉反馈的相对量。
图37A至图37E为示出根据一些实施例的图27A至图27C的TUI 2702的一系列横截面视图的示意图，所述横截面视图经配置示出TUI插针顶端表面界面的示例“即时”变形，该变形对应于图36A至图36E的一系列横截面图所示的示例组织结构变形。参考图37A，TUI2702包括根据一些实施例的具有轮廓的表面结构3706，所述轮廓对应于并反映形成于组织结构表面3608的变形。更具体地，TUI 2702包括形状改变的触觉反馈表面结构3706，触觉反馈表面结构3706包括多个插针2706，插针2706响应于通过器械3604施加的力的量，通过组织结构3602呈现的硬度或通过Q3D内窥镜测量的组织偏转的量进行协作以改变触觉反馈表面3706的物理形状。根据一些实施例，TUI形状改变表面3706包括共同限定TUI表面的多个垂直的插针2706。单个插针2706选择性地凸起和降低，以改变TUI表面结构的形状。响应于组织结构表面轮廓的改变，构成TUI表面的插针顶部的垂直(轴向)位置被改变，使得TUI表面轮廓连续地匹配组织结构轮廓。图37A至图37E中TUI表面变形被称为“即时的”，意味着它们与对应组织结构变形的存在基本上同时存在(即，用户未体验到可感知的延迟)的概念。给定的TUI变形响应于对应位置处的组织结构变形而出现，并且响应于对应位置处的组织结构形状返回到其自然形状而消失。替代地，TUI变形可以对应虚拟触诊期间通过器械施加的力的量，或者通过组织呈现的硬度的量。TUI的此替代实施例使用图37A至图37E中所解释的相同原理来实施。
图36A示出在与器械3604接触之前的目标组织结构3602的第一横截面视图。图37A示出在器械3604接触目标组织表面3608之前的TUI表面3706轮廓的对应第一横截面视图。为了简化下面的解释，所示的示例组织结构3602的外表面轮廓相对平坦。然而，应该理解，组织结构3602可以具有自然的曲线轮廓并且可以具有自然出现的不规则行为，诸如缺口和碰撞。
图36B示出组织结构3602的第二横截面视图，其中器械3604被压抵组织表面3608到表面下异常物3612结构的左侧，以便施加使组织结构3602的第一区域3606-1变形的力。在器械3604和第一表面区域3606-1处的组织表面之间的接触点处的变形深度为至少施加到接触点处的表面上的力Ft1和接触点处的目标组织表面的硬度的函数。在示例第二横截面视图中，第一区域内的最低偏转点为距组织表面3608的邻近未受干扰区域的垂直距离Xt1。垂直距离Xt1通过图8的Q3D内窥镜系统101C来测量。然后，系统152可以计算对应的器械力Ft1，或估计对应的局部组织硬度Kt1，如上所述。图37B示出TUI表面3706的轮廓的对应第二横截面视图，其中响应于使组织结构3602的第一区域3606-1按照量Xt1变形的器械3604，TUI表面3706的第一区域3706-1中的插针按照第一量XUI1缩回。替代地，可以响应于Ft1或Kt1应用相同的技术、元素或步骤来修改TUI表面。形成于对应于目标组织表面3606-1的第一区域的TUI表面3706-1的第一区域处的变形的形状对应于目标组织表面的第一区域的变形的形状。目标表面的第一区域的形状已经返回到其自然轮廓。TUI表面的第一区域处的变形深度XUI1为至少目标组织表面的变形深度Xt1的函数，所述变形深度Xt1响应于施加到目标组织表面的第一区域内的目标组织表面的力。替代地，TUI表面的第一区域处的变形深度XUI1可以是至少Ft1或Kt1的函数。
图36C示出组织结构3602的第三横截面视图，其中器械3604被压抵在表面下异常物结构3612上方的组织表面的第二区域3602，以便施加使目标组织表面变形的力。在该示例中，在器械3604和组织结构3602之间的接触点处的变形深度为至少施加在接触点处的目标表面上的力和接触点处的目标组织表面与接触点下方的表面下异常物结构两者的硬度的函数。在该示例中，假设异常物3612具有比目标组织结构3602大的硬度。在该示例中，还假设表面下异常物结构足够靠近目标组织表面，表面下异常物结构的硬度影响目标组织表面的响应通过器械施加的力的目标组织表面的偏转深度。在示例第三横截面视图中，目标组织表面的第二区域3606-2内的最低偏转点为距目标组织表面的邻近未受干扰区域的垂直距离Xt2。图37C示出TUI表面3706的轮廓的对应第三横截面视图，其中响应按照量Xt2使目标组织表面的第二区域3606-2变形的器械，TUI表面3706的第一区域3706-2中的插针按照第一量XUI2缩回。可以看出，响应于从中去除器械力，目标组织表面的第一区域已经返回到其自然形状。并且，响应于第一组织区域返回到其自然形状，TUI表面3706-1的第一区域回复到其被施力之前的静止形状。形成于对应于组织表面的第二区域3606-2的TUI表面的第二区域3706-2处的变形的形状对应于组织表面的第二区域的变形的形状。TUI表面的第二区域处的变形深度XUI2为至少目标组织表面的变形深度Xt2的函数，所述变形深度Xt2响应于施加到目标组织表面的第二区域内的目标组织表面的力。替代地，根据上述原理、技术、元素和步骤，TUI表面的第二区域处的变形深度XUI2可以为至少对应的力或硬度值Ft2或Kt2的函数。
在示例性示例中，由于表面下异常物3612的存在，组织结构3602的第二区域3606-2中的硬度由于表面下异常而高于目标组织结构3602的第一区域3606-1中的硬度。换言之，更硬的表面下异常物对目标组织结构的第二区域3606-2具有硬化作用。因此，第一区域3606-1中的目标组织表面的变形深度Xt1大于第二区域中的目标组织表面2606-2的变形深度Xt2。而且，TUI反馈表面的第一区域3706-1处的对应变形深度XUI1，大于TUI反馈表面的第二区域3706-2处的变形深度XUI2，其中，变形深度XUI1为第一区域3606-1中的目标组织表面的变形深度Xt1的函数，变形深度XUI2为第二区域3606-2中的组织表面的变形深度Xt2的函数。然而，如果TUI根据局部组织硬度Kt2而不是变形深度来改变其形状，则变形量XUI2大于XUI1，以便反映由异常物的存在而引起的增强的组织硬度。类似地，如果器械力映射到TUI2702上，则根据力从Ft1到Ft2的改变，变形量XUI2可以大于或小于XUI1。
图36D示出组织结构3602的第四横截面视图，其中器械3604被压抵组织表面3608的第三区域3606-3。在示例第四横截面视图中，第三区域3606-3内的最低偏转点为距目标组织表面3608的邻近未受干扰区域的垂直距离Xt3。图37D示出响应于按照量Xt3使组织结构的第三区域3606-3变形的器械所产生的TUI反馈表面3706的轮廓的对应第四横截面视图。形成于对应于组织表面的第三区域3606-3的TUI反馈表面3706的第三区域3706-3处的变形的形状对应于组织表面的第三区域3606-3的变形的形状。此外，响应于从中去除器械力，目标组织表面的第二区域3606-2已经返回到其自然形状。并且，响应于第二目标组织区域返回到其自然形状，TUI反馈表面3706的第二区域3706-2回复到其被施力之前的静止形状。由于目标组织结构的硬度在目标组织表面的第一区域和第二区域两者中基本上相同，所以变形深度Xt1与变形深度XUI3基本上相同。此外，由于变形深度XUI1为变形深度Xt1的函数，并且变形深度XUI3为变形深度Xt3的函数，变形深度XUI1与变形深度XUI3基本上相同。
图36E示出目标组织结构3602的第四横截面视图，其中器械3604被压抵组织表面3608的第四区域3606-4。在示例第四横截面视图中，第四区域3606-4内的最低偏转点为距目标组织表面3608的邻近未受干扰区域的垂直距离Xt4。图37E示出响应于按照量Xt4使组织结构的第三区域3606-3变形的器械所产生的TUI反馈表面3706的轮廓的对应第四横截面视图。响应于从中去除器械力，目标组织表面的第三区域3606-3已经返回到其自然形状。并且，响应于第三目标组织区域3606-3返回到其自然形状，TUI反馈表面的第三区域3706-3回复到其被施力之前的静止形状。形成于对应于组织表面3608的第四区域3606-4的TUI表面的第四区域3706-4的变形的形状对应于组织结构3602的第四区域3606-4的变形的形状。TUI反馈表面3706的第四区域3706-4处的变形深度XUI4为至少目标组织表面的变形深度Xt4的函数，所述变形深度Xt4响应于施加到目标组织表面的第四区域内的目标组织表面的力。在目标组织表面的示例横截面视图中，目标组织变形Xt1、Xt3和Xt4基本上相同，并且示例TUI表面变形XUI1、XUI3和XUI4基本上相同。
应该认识到，虽然所示器械3604在组织表面3608上的一系列离散位置处引起变形，用户还可以使器械以平滑的运动侧向移动穿过组织表面，以便使变形正面(deformation front)移动穿过目标组织表面。在这种情况下，图36A至图36E所示的离散位置表示在该变形正面上的离散位置。替代地，用户可以使器械以离散跳跃方式从一个位置移动到下一个位置。替代地，系统152可在直接或间接的用户控制下自动地将器械移动到各个位置。间接用户控制指的是响应于用户启动通过程序化的指令控制器械的移动。类似地，系统152可以被实施为根据程序化指令定义的算法使器械的移动完全自动化。在使器械以一系列的离散运动或平滑运动移动穿过目标组织表面期间，响应于器械力施加到不同目标组织位置，用户可以触摸TUI反馈3706表面以感觉其轮廓并且得到目标组织表面的形状和硬度改变的物理感受。由于目标组织变形的量至少部分地为在施加器械力的点处的目标组织硬度的函数，所以TUI表面区域的变形量提供目标组织表面的对应区域的硬度指示。具体地，例如，用户可以感受到一只手上的第二TUI位置处的XUI2和另一只手上的第一TUI位置、第三TUI位置变形和第四TUI位置处的变形XUI1、XUI3、XUI4之间的变形差异，这可以向用户指示第二目标组织位置处的目标组织硬度不同于第一目标组织位置、第三目标组织位置和第四目标组织位置处的目标组织硬度。如图36A至图36E所示，该组织硬度差异可以指示看不见的表面下异常物的存在。因此，该虚拟组织触诊系统和方法提供关于组织变形、通过器械施加的力或局部组织硬度的触觉反馈。
图38A至图38E为示出根据一些实施例的图27A至图27C的TUI的一系列横截面视图的示意图，所述横截面视图示出TUI反馈表面3806的示例“复合”变形，该变形对应于图36A至图36E的一系列横截面视图所示的示例目标组织变形。图38A至图38E中的TUI反馈表面变形被称为“复合的”以意味着变形积累的概念。在创建其他TUI表面变形时，每个TUI表面变形存留，使得在一系列离散目标组织变形结束时或者在变形正面的出现结束时，积累的TUI表面变形提供包括所有单个TUI表面变形的复合TUI表面变形。在图36A至图36E的一系列目标表面变形之后，例如，响应于器械力施加到不同目标组织位置，用户可以触摸TUI反馈表面3806的轮廓，以得到不同离散位置处的目标组织表面3608的形状改变差异的物理感受。在TUI表面的不同位置处的变形的形状或深度的差异可以指示对应目标组织位置处的目标组织表面硬度的差异，或者指示通过器械施加到相应组织位置处的力。例如，可以看出，第一TUI表面位置3806-1、第三TUI表面位置3806-3和第四TUI表面位置3806-4分别相对于TUI表面的静止水平按照量XUI1、XUI3和XUI4凹进去，并且第二TUI表面位置3806-2相对于TUI的静止水平按照量XUI2凹进去。假设基本上对于所有组织变形器械施加基本上相同的力，则由于在示例性示例中，量XUI1、XUI3和XUI4基本上相同，那些量和量XUI2之间的差异是由于第二区域3606-2中目标组织表面的硬度差异造成，该硬度差异可以指示隐藏的表面下异常物3612。
图39A至图39E为示出根据一些实施例的在图29A至图29C的替代实施例TUI 2902内的一个或多个插针的一系列位移的示意图，所述位于响应图36A至图36E中所示的目标组织表面的示例变形。TUI 2902提供包括插针2906阵列的触觉界面，插针2906中的一个或多个可以选择性的轴向延伸，以提供组织表面硬度的指示。在示例性示例中，插针延伸的长度与硬度成比例：更长的插针延伸对应于更大的硬度。替代地，如上所述，轴向驱动力可以增大以指示对应于更大的硬度。如上所解释，组织表面的不同区域可以具有不同的硬度，并且不同区域的不同硬度可以指示隐藏的表面下异常物的存在。图39A所示的示例初始插针位移表示量为Xp0的静止的或不活动的初始插针位移，其对应于在与图36A所表示的器械接触之前的示例目标组织表面。图39B表示量为Xp1的第一插针位移，其响应于在图36B中所表示的组织表面上的第一位置3606-1处的量为Xt1的示例变形。图39C表示量为Xp2的第二插针位移，其响应于在图36C中所表示的组织表面上的第二位置3606-2处的量为Xt2的示例变形。图39D表示量为Xp3的第三插针位移，其响应于在图39D中所表示的组织表面上的第三位置3606-3处的量为Xt3的示例变形。图36E表示量为Xp4的第四插针位移，其响应于在图39E中所表示的组织表面上的第四位置3606-4处的量为Xt4的示例变形。
由于目标组织表面硬度在第一组织表面位置、第三组织表面位置和第四组织表面位置处是相同的，因此第一插针位移Xp1、第三插针位移Xp3和第四插针位移Xp4基本上相同。由于在第二组织位置3606-2处组织表面硬度更大，因此第二插针位移Xp2大于其他三个。因此，当用户可控制地移动器械通过由图36A至图36E所表示的目标组织表面上的一系列接触位置时，不论是通过器械从一个位置到下一个位置的离散移动还是通过器械的更加连续的移动，插针位移均提供目标组织表面硬度的指示。而且，当器械从一个位置移动到另一个位置时，插针位移的改变指示这两个位置之间的目标组织结构硬度的改变。替代地，如果器械力f或组织硬度K映射到TUI上，则位移Xp1-p4具有基于f和K并且根据上面讨论的步骤进行计算的值。因此，虚拟组织触诊系统和方法提供关于组织变形、通过器械施加的力或局部组织硬度的触觉反馈。
本领域的技术人员知道如何用其他形式的触觉反馈界面来替代上面讨论的TUI触觉反馈系统的使用。例如，如果亚阈值电触觉刺激用作触觉反馈的形式，那么刺激电流的大小根据上面讨论的步骤进行调节。刺激电流的大小相应地改变，而不是调节的位移XUIi或Xpi。替代地，如果控制输入设备160的振动用作触觉反馈，则振动的加速度或振动强度可以根据组织位移Xt、力Ft或硬度Kt进行调节。而且，如果可视界面用于提供触觉反馈，则提供反馈的可视元素(例如，可视记号、柱状图、数字显示等)根据上面讨论的步骤来修改。
在操作中，当器械离散地或以连续的移动移动穿过目标组织表面，并且使用小的垂直力被向下按压(相对于目标组织表面)时，用户可视地观察手术场景，其中所述垂直力足以按照临床安全的量使目标组织表面变形，根据程序和组织类型，临床安全的量在例如零点几毫米，到几毫米或高达几厘米的范围内，所述临床安全的量充分大以触发提供组织表面硬度指示的反作用力，但并未足够大到引起组织损伤。例如，在心脏程序期间可以使用5g至40g范围内的力。在对肺进行干预期间可以使用更小的力范围1g至30g。在较硬的结构诸如骨骼上执行的程序可以使用更高水平的力，在某些情况下超过100g。当器械移动穿过目标组织表面时，触觉反馈提供目标组织结构变形、硬度或通过器械施加的力的实时指示(没有用户可感知的延迟)。因此，用户可视地跟随目标组织表面上的器械在其中对目标施加它的力的当前位置，并且与器械实时地、同时地向给定的目标组织表面位置提供力。
如上面参考图35所解释的，根据一些实施例，Q3D内窥镜系统101C测量组织位移，并且然后计算或近似施加到目标组织表面的力的量。在操作中，在硬度确定期间，诸如在虚拟触诊过程期间，施加到目标组织表面的力维持在上述安全范围内。更具体地，根据一些实施例，如果基本相同的力施加到图36B至图36E中所表示的目标组织表面上的示例离散位置中的每个，那么通过触觉反馈界面信息所表示的组织偏转与局部组织硬度成反比例。在一些实施例中，用户控制器械和目标组织结构之间的接触，以便调整器械施加于目标组织结构上的力。因此，在整个所有的硬度确定期间，力传感器可以用于实现目标组织结构上的基本上恒定的、标准化的力。替代地，系统152可以自动地或半自动地控制力。系统152还可以根据由Q3D位移测量值确定的器械力的水平来警告外科医生或手术工作人员。例如，在图35中，如果通过器械施加的力超过一定的安全阈值，则除提供适合的可视指标外，系统152还可以发出声音警报/听得见的警报或者提供可视警报或触知警报。
实施例的上述描述和附图仅说明本发明的原则。在不背离所附权利要求中限定的本发明的精神和范围的情况下，本领域的技术人员可以对实施例进行各种修改。

Claims (15)

1.一种包含计算机程序代码的计算机，所述计算机被配置为当程序代码被执行时执行一种方法，所述方法用于在医疗程序期间提供触觉反馈，所述方法包括：
在手术器械在组织结构的表面上移动以施加力使所述组织结构的不同组织表面位置变形期间，接收指示所述组织结构的所述不同组织表面位置的变形距离的图像信息；
在非暂时性存储设备中存储定量三维模型即Q3D模型，所述Q3D模型基于接收的图像信息为所述手术器械与在所述组织结构的不同位置处的组织表面之间的接触提供组织结构变形的测量的映射；以及
产生触觉反馈，所述触觉反馈指示在所述组织结构的表面的接触位置处的组织结构变形的测量的映射。
2.根据权利要求1所述的计算机，
其中接收所述图像信息包括定位具有成像传感器阵列的Q3D内窥镜，所述成像传感器阵列包括具有共面重叠视野的至少三个共面成像传感器，其中定位所述Q3D内窥镜以在所述重叠视野内接收所述组织结构的所述不同组织表面位置。
3.根据权利要求1所述的计算机，
其中存储所述触觉反馈包括产生形状显示器，所述形状显示器指示在所述组织结构的表面的所述接触位置处的组织结构变形的测量的映射。
4.根据权利要求1所述的计算机，
其中产生所述触觉反馈包括提供建模所述组织结构的至少一部分的三维轮廓。
5.根据权利要求1所述的计算机，
其中产生所述触觉反馈包括移置有形用户界面的一个或多个插针。
6.根据权利要求1所述的计算机，进一步包括：
响应于超过临床安全范围之外的组织结构变形的测量，产生警报。
7.根据权利要求6所述的计算机，
其中所述警报包括声音警报。
8.根据权利要求6所述的计算机，
其中所述警报包括可视警报。
9.一种包含计算机程序代码的计算机，所述计算机被配置为当程序代码被执行时执行一种方法，所述方法用于在医疗程序期间确定施加在组织上的力，所述方法包括：
在手术器械在组织结构的表面上移动以施加力使所述组织结构的不同组织表面位置变形期间，接收指示所述组织结构的所述不同组织表面位置的变形距离的图像信息；
在非暂时性存储设备中存储定量三维模型即Q3D模型，所述Q3D模型基于接收的图像信息为所述手术器械与在所述组织结构的不同位置处的所述组织表面之间的接触提供组织结构变形的测量的映射；以及
至少部分地基于在组织结构变形的至少一个测量位置处的组织变形的测量，确定由所述手术器械在组织结构变形的所述至少一个测量位置处施加在所述组织结构上的力。
10.根据权利要求9所述的计算机，
其中接收所述图像信息包括定位具有成像传感器阵列的Q3D内窥镜，所述成像传感器阵列包括具有共面重叠视野的至少三个共面成像传感器，其中定位所述Q3D内窥镜以在所述重叠视野内接收所述组织结构的所述不同组织表面位置。
11.根据权利要求9所述的计算机，进一步包括：
响应于确定的力超过临床安全范围之外，产生警报。
12.根据权利要求11所述的计算机，进一步包括：
其中所述警报包括声音警报。
13.根据权利要求12所述的计算机，进一步包括：
其中所述警报包括可视警报。
14.一种包含计算机程序代码的计算机，所述计算机被配置为当程序代码被执行时执行一种方法，所述方法用于在医疗程序期间提供虚拟组织触诊，所述方法包括：
在手术器械在组织结构的表面上移动以施加力使所述组织结构的不同组织表面位置变形期间，接收指示所述组织结构的所述不同组织表面位置的变形距离的图像信息；
在非暂时性存储设备中存储定量三维模型即Q3D模型，所述Q3D模型基于接收的图像信息为所述手术器械与在所述组织结构的不同位置处的所述组织表面之间的接触提供组织结构变形的测量的映射；以及
至少部分地基于在组织结构变形的至少一个测量位置处的组织变形的测量，确定组织结构变形的所述至少一个测量位置处的组织硬度；
产生触觉反馈，所述触觉反馈指示在组织结构变形的所述至少一个测量位置处的所确定的组织硬度。
15.根据权利要求14所述的计算机，
其中接收所述图像信息包括定位具有成像传感器阵列的Q3D内窥镜，所述成像传感器阵列包括具有共面重叠视野的至少三个共面成像传感器，其中定位所述Q3D内窥镜以在所述重叠视野内接收所述组织结构的所述不同组织表面位置。
CN201911355442.7A 2014-03-28 2015-03-28 带有基于定量三维成像的触觉反馈的手术系统 Active CN110897590B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461971749P 2014-03-28 2014-03-28
US61/971,749 2014-03-28
US201462096522P 2014-12-23 2014-12-23
US62/096,522 2014-12-23
CN201580024440.3A CN106535812B (zh) 2014-03-28 2015-03-28 带有基于定量三维成像的触觉反馈的手术系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580024440.3A Division CN106535812B (zh) 2014-03-28 2015-03-28 带有基于定量三维成像的触觉反馈的手术系统

Publications (2)

Publication Number Publication Date
CN110897590A CN110897590A (zh) 2020-03-24
CN110897590B true CN110897590B (zh) 2021-11-16

Family

ID=54196486

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580024440.3A Active CN106535812B (zh) 2014-03-28 2015-03-28 带有基于定量三维成像的触觉反馈的手术系统
CN201911355442.7A Active CN110897590B (zh) 2014-03-28 2015-03-28 带有基于定量三维成像的触觉反馈的手术系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580024440.3A Active CN106535812B (zh) 2014-03-28 2015-03-28 带有基于定量三维成像的触觉反馈的手术系统

Country Status (6)

Country Link
US (2) US10555788B2 (zh)
EP (1) EP3125809B1 (zh)
JP (1) JP6938369B2 (zh)
KR (1) KR102397670B1 (zh)
CN (2) CN106535812B (zh)
WO (1) WO2015149044A1 (zh)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9155544B2 (en) * 2002-03-20 2015-10-13 P Tech, Llc Robotic systems and methods
US11478152B2 (en) 2005-02-02 2022-10-25 Intuitive Surgical Operations, Inc. Electrophysiology mapping and visualization system
US9510732B2 (en) 2005-10-25 2016-12-06 Intuitive Surgical Operations, Inc. Methods and apparatus for efficient purging
US9055906B2 (en) * 2006-06-14 2015-06-16 Intuitive Surgical Operations, Inc. In-vivo visualization systems
US20080097476A1 (en) 2006-09-01 2008-04-24 Voyage Medical, Inc. Precision control systems for tissue visualization and manipulation assemblies
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
EP3125807B1 (en) 2014-03-28 2022-05-04 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
CN111184577A (zh) 2014-03-28 2020-05-22 直观外科手术操作公司 器械在视野中的定量三维可视化
US10555788B2 (en) 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
KR102397254B1 (ko) 2014-03-28 2022-05-12 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 장면의 정량적인 3차원 영상
US10350009B2 (en) 2014-03-28 2019-07-16 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and printing of surgical implants
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9974525B2 (en) 2014-10-31 2018-05-22 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
GB201609040D0 (en) 2016-05-23 2016-07-06 Univ The West Of England And Taunton And Somerset Nhs Trust Device For Patient Monitoring
EP3478178A1 (en) * 2016-06-30 2019-05-08 Koninklijke Philips N.V. Generation and personalization of a statistical breast model
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
CA2958163C (en) * 2017-02-15 2019-02-12 Synaptive Medical (Barbados) Inc. Digitally enhanced surgical instruments
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
WO2018220797A1 (ja) * 2017-06-01 2018-12-06 オリンパス株式会社 可撓管挿入支援装置と可撓管挿入装置
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
US11498216B2 (en) * 2017-09-22 2022-11-15 Mitsubishi Electric Corporation Remote control manipulator system and control device
EP3694412A4 (en) 2017-10-10 2021-08-18 Covidien LP SYSTEM AND METHOD FOR IDENTIFYING AND MARKING A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US11364004B2 (en) 2018-02-08 2022-06-21 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
WO2019163906A1 (ja) * 2018-02-21 2019-08-29 オリンパス株式会社 医療システムおよび医療システムの作動方法
US10933526B2 (en) * 2018-04-23 2021-03-02 General Electric Company Method and robotic system for manipulating instruments
CN112218595A (zh) 2018-05-18 2021-01-12 奥瑞斯健康公司 用于机器人使能的远程操作的系统的控制器
US11504201B2 (en) 2018-05-31 2022-11-22 Covidien Lp Haptic touch feedback surgical device for palpating tissue
CN112437642A (zh) * 2018-07-26 2021-03-02 索尼公司 信息处理设备、信息处理方法和程序
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
WO2020060750A1 (en) 2018-09-17 2020-03-26 Auris Health, Inc. Systems and methods for concomitant medical procedures
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
US11529038B2 (en) * 2018-10-02 2022-12-20 Elements Endoscopy, Inc. Endoscope with inertial measurement units and / or haptic input controls
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
US20220104884A1 (en) * 2019-02-08 2022-04-07 The Board Of Trustees Of The University Of Illinois Image-Guided Surgery System
JP6867654B2 (ja) * 2019-03-15 2021-05-12 リバーフィールド株式会社 医用ロボットシステムの力覚表示装置および力覚表示方法
US10748460B1 (en) * 2019-03-26 2020-08-18 Amazon Technologies, Inc. Tangible display
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
US20200403935A1 (en) * 2019-06-18 2020-12-24 Tmrw Foundation Ip & Holding S. À R.L. Software engine virtualization and dynamic resource and task distribution across edge and cloud
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
CN114402378B (zh) * 2019-09-09 2023-02-28 助视会有限公司 手术模拟器系统和方法
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
CN113633378B (zh) * 2020-04-27 2022-08-12 成都术通科技有限公司 位置确定方法、装置、设备及存储介质
CN111714164B (zh) * 2020-06-19 2022-03-01 上海交通大学 用于微创手术的触觉感知装置及其使用方法
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
WO2022020055A1 (en) * 2020-07-24 2022-01-27 Ta Instruments-Waters Llc Haptic feedback for configuring materials testing systems
US11937799B2 (en) 2021-09-29 2024-03-26 Cilag Gmbh International Surgical sealing systems for instrument stabilization
US20230096268A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
WO2024049435A1 (en) * 2022-09-01 2024-03-07 Exo Imaging, Inc. Apparatus, system and method to control an ultrasonic image on a display based on sensor input at an ultrasonic imaging device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5833633A (en) * 1992-12-21 1998-11-10 Artann Laboratories Device for breast haptic examination
US6233476B1 (en) * 1999-05-18 2001-05-15 Mediguide Ltd. Medical positioning system
JP2006305332A (ja) * 2005-03-28 2006-11-09 Hiroshima Industrial Promotion Organization 画像処理装置およびそれを用いた内視鏡
CN102159140A (zh) * 2008-07-22 2011-08-17 轴外科技术公司 组织改变装置及其使用方法
CN102196761A (zh) * 2008-10-28 2011-09-21 奥林巴斯医疗株式会社 医疗设备
CN102405024A (zh) * 2009-02-24 2012-04-04 瑞特医疗技术公司 患者专用的手术引导件定位器及安装件

Family Cites Families (186)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795830B2 (ja) 1984-08-31 1995-10-11 株式会社東芝 固体撮像装置
JPH04176429A (ja) 1990-11-09 1992-06-24 Olympus Optical Co Ltd 内視鏡
JP3217386B2 (ja) * 1991-04-24 2001-10-09 オリンパス光学工業株式会社 診断システム
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5603318A (en) 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
AT399647B (de) 1992-07-31 1995-06-26 Truppe Michael Anordnung zur darstellung des inneren von körpern
JPH06160087A (ja) 1992-11-20 1994-06-07 Matsushita Electric Ind Co Ltd 画像を用いた距離測定方法及びその装置
US5394455A (en) 1993-04-30 1995-02-28 The Regents Of The University Of California Digitally aided microfluoroscopy and fluorospot system and method of using the same
JPH07240945A (ja) 1994-02-25 1995-09-12 Matsushita Electric Ind Co Ltd 仮想空間生成提示装置
DE4434539C2 (de) 1994-09-27 1998-06-04 Luis Dr Med Schuster Verfahren zur Herstellung einer Endoprothese als Gelenkersatz bei Kniegelenken
JP3599854B2 (ja) 1995-10-09 2004-12-08 オリンパス株式会社 医療用顔面装着型映像表示装置
EP1577010A3 (en) 1995-12-05 2005-11-16 Tecan Trading AG Microsystem platform and its use
US6346940B1 (en) 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
DE69834762T2 (de) 1997-04-02 2007-06-14 Koninklijke Philips Electronics N.V. Synchronisierungsschaltung
JPH11309A (ja) 1997-06-12 1999-01-06 Hitachi Ltd 画像処理装置
JP2958458B1 (ja) 1998-08-26 1999-10-06 防衛庁技術研究本部長 多眼画像センサ
US6320979B1 (en) * 1998-10-06 2001-11-20 Canon Kabushiki Kaisha Depth of field enhancement
JP2000149017A (ja) 1998-11-17 2000-05-30 Sony Corp 画像処理装置および画像処理方法、並びに提供媒体
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6522906B1 (en) 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US6396873B1 (en) 1999-02-25 2002-05-28 Envision Advanced Medical Systems Optical device
US6594552B1 (en) 1999-04-07 2003-07-15 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
US7343195B2 (en) 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6517478B2 (en) 2000-03-30 2003-02-11 Cbyon, Inc. Apparatus and method for calibrating an endoscope
US6468203B2 (en) 2000-04-03 2002-10-22 Neoguide Systems, Inc. Steerable endoscope and improved method of insertion
JP2002024807A (ja) 2000-07-07 2002-01-25 National Institute Of Advanced Industrial & Technology 物体運動追跡手法及び記録媒体
JP4451968B2 (ja) 2000-07-11 2010-04-14 Ｈｏｙａ株式会社 ３次元画像入力装置
US6650927B1 (en) 2000-08-18 2003-11-18 Biosense, Inc. Rendering of diagnostic imaging data on a three-dimensional map
JP2002171537A (ja) 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
US7664297B2 (en) 2001-04-26 2010-02-16 Teijin Limited Three-dimensional joint structure measuring method
DE10138537B4 (de) * 2001-08-06 2006-07-06 Siemens Ag Taktiles Feedback zur Darstellung von Gewebeelastizität
US8175680B2 (en) 2001-11-09 2012-05-08 Boston Scientific Scimed, Inc. Systems and methods for guiding catheters using registered images
JP3751568B2 (ja) * 2002-02-21 2006-03-01 株式会社サタケ 内視鏡における空気噴流診断装置
US9155544B2 (en) 2002-03-20 2015-10-13 P Tech, Llc Robotic systems and methods
JP3927487B2 (ja) 2002-12-02 2007-06-06 株式会社大野興業 人工骨モデルの製造方法
FR2855292B1 (fr) 2003-05-22 2005-12-09 Inst Nat Rech Inf Automat Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation
JP4414682B2 (ja) 2003-06-06 2010-02-10 オリンパス株式会社 超音波内視鏡装置
DE10340546B4 (de) 2003-09-01 2006-04-20 Siemens Ag Verfahren und Vorrichtung zur visuellen Unterstützung einer elektrophysiologischen Katheteranwendung im Herzen
JP2005087468A (ja) 2003-09-17 2005-04-07 Shoji Kawahito 距離画像計測機能を有する撮像装置及び内視鏡装置
JP4229791B2 (ja) 2003-09-19 2009-02-25 真 金子 内視鏡装置
US7746377B2 (en) 2003-11-28 2010-06-29 Topcon Corporation Three-dimensional image display apparatus and method
EP1691666B1 (en) 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
DE102004008164B3 (de) 2004-02-11 2005-10-13 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Erstellen zumindest eines Ausschnitts eines virtuellen 3D-Modells eines Körperinnenraums
US7289106B2 (en) * 2004-04-01 2007-10-30 Immersion Medical, Inc. Methods and apparatus for palpation simulation
US20050254720A1 (en) 2004-05-17 2005-11-17 Kar-Han Tan Enhanced surgical visualizations with multi-flash imaging
EP1804670B1 (en) 2004-08-17 2013-02-06 Technion Research & Development Foundation Limited Ultrasonic image-guided tissue-damaging
US7424088B2 (en) 2004-09-29 2008-09-09 Kabushiki Kaisha Toshiba Image reconstruction method using Hilbert transform
JP2006109939A (ja) 2004-10-12 2006-04-27 Chinontec Kk 内視鏡装置
EP1832223B1 (en) 2004-12-27 2017-10-25 Olympus Corporation Medical image processing apparatus, and medical image processing method
US20100312129A1 (en) * 2005-01-26 2010-12-09 Schecter Stuart O Cardiovascular haptic handle system
WO2006080076A1 (ja) 2005-01-28 2006-08-03 Saga University 三次元画像検出装置
US7752920B2 (en) * 2005-12-30 2010-07-13 Intuitive Surgical Operations, Inc. Modular force sensor
US7312448B2 (en) 2005-04-06 2007-12-25 Carl Zeiss Nts Gmbh Method and apparatus for quantitative three-dimensional reconstruction in scanning electron microscopy
KR101352360B1 (ko) 2005-04-27 2014-01-15 오브듀캇 아베 물체에 패턴을 전사하기 위한 수단
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US9492240B2 (en) 2009-06-16 2016-11-15 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US9289267B2 (en) 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
EP1924197B1 (en) 2005-08-24 2017-10-11 Philips Electronics LTD System for navigated flexible endoscopy
EP1931237A2 (en) 2005-09-14 2008-06-18 Neoguide Systems, Inc. Methods and apparatus for performing transluminal and other procedures
US8079950B2 (en) 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
EP3162318B1 (en) * 2005-10-20 2019-10-16 Intuitive Surgical Operations, Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system
US7907166B2 (en) 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
CN100450445C (zh) 2006-01-11 2009-01-14 中国科学院自动化研究所 一种实时自由臂三维超声成像系统及其方法
DE102006002001B4 (de) 2006-01-16 2009-07-23 Sensomotoric Instruments Gmbh Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung
IL181470A (en) 2006-02-24 2012-04-30 Visionsense Ltd Method and system for navigation within a flexible organ in the human body
US20070236514A1 (en) 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
WO2007139949A2 (en) 2006-05-25 2007-12-06 Spinemedica Corporation Patient-specific spinal implants and related systems and methods
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
GB0613576D0 (en) 2006-07-10 2006-08-16 Leuven K U Res & Dev Endoscopic vision system
US7728868B2 (en) 2006-08-02 2010-06-01 Inneroptic Technology, Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US20080058593A1 (en) 2006-08-21 2008-03-06 Sti Medical Systems, Llc Computer aided diagnosis using video from endoscopes
US7824328B2 (en) 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
US8496575B2 (en) 2006-11-14 2013-07-30 Olympus Corporation Measuring endoscope apparatus, program and recording medium
EP2082351A2 (en) * 2006-11-17 2009-07-29 Mark A. Salada Haptic interface device and method for using such
ATE493082T1 (de) 2006-12-15 2011-01-15 Ao Technology Ag Vorrichtung für die computergestützte distale arretierung von marknägeln
US20100149183A1 (en) 2006-12-15 2010-06-17 Loewke Kevin E Image mosaicing systems and methods
EP1952752B2 (de) 2007-01-31 2019-10-16 Richard Wolf GmbH Endoskopsystem
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
CN100594840C (zh) 2007-05-18 2010-03-24 深圳先进技术研究院 一种跟踪体内微型装置的方法
US8620473B2 (en) * 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
JP2010532681A (ja) 2007-06-29 2010-10-14 スリーエム イノベイティブ プロパティズ カンパニー 歯科用モデルのための、ビデオ補助境界マーキング
US20090076476A1 (en) * 2007-08-15 2009-03-19 Hansen Medical, Inc. Systems and methods employing force sensing for mapping intra-body tissue
FR2920085B1 (fr) 2007-08-24 2012-06-15 Univ Grenoble 1 Systeme d'imagerie pour l'observation tridimensionnelle d'un champ operatoire
US20090133260A1 (en) 2007-11-26 2009-05-28 Ios Technologies, Inc 3D dental shade matching and apparatus
US20100111389A1 (en) 2007-12-06 2010-05-06 Siemens Medical Solutions Usa, Inc. System and method for planning and guiding percutaneous procedures
US20090157059A1 (en) * 2007-12-14 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Surgical instrument navigation system
US8561473B2 (en) 2007-12-18 2013-10-22 Intuitive Surgical Operations, Inc. Force sensor temperature compensation
US7440952B1 (en) 2007-12-18 2008-10-21 International Business Machines Corporation Systems, methods, and computer products for information sharing using personalized index caching
JP2009204991A (ja) 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
US20090221908A1 (en) 2008-03-01 2009-09-03 Neil David Glossop System and Method for Alignment of Instrumentation in Image-Guided Intervention
DE102008018636B4 (de) 2008-04-11 2011-01-05 Storz Endoskop Produktions Gmbh Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2009151903A2 (en) 2008-05-20 2009-12-17 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with hetergeneous imagers
US8636653B2 (en) 2008-06-09 2014-01-28 Capso Vision, Inc. In vivo camera with multiple sources to illuminate tissue at different distances
EP2145575A1 (en) 2008-07-17 2010-01-20 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO A system, a method and a computer program for inspection of a three-dimensional environment by a user
US8334900B2 (en) 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
BRPI0803388A2 (pt) 2008-08-14 2010-06-15 Petroleo Brasileiro Sa sistema estereoscópico endoscópico
JP5435916B2 (ja) 2008-09-18 2014-03-05 富士フイルム株式会社 電子内視鏡システム
JP4702569B2 (ja) 2008-09-30 2011-06-15 マツダ株式会社 車両用画像処理装置
EP2348954A1 (en) 2008-10-20 2011-08-03 Koninklijke Philips Electronics N.V. Image-based localization method and system
US8594841B2 (en) * 2008-12-31 2013-11-26 Intuitive Surgical Operations, Inc. Visual force feedback in a minimally invasive surgical procedure
US9978288B2 (en) * 2009-02-13 2018-05-22 University Of Florida Research Foundation, Inc. Communication and skills training using interactive virtual humans
US8690776B2 (en) 2009-02-17 2014-04-08 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image guided surgery
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
US8939894B2 (en) 2009-03-31 2015-01-27 Intuitive Surgical Operations, Inc. Three-dimensional target devices, assemblies and methods for calibrating an endoscopic camera
WO2010118117A1 (en) * 2009-04-07 2010-10-14 Regents Of The University Of Minnesota Sensing tissue properties
WO2010122145A1 (en) 2009-04-25 2010-10-28 Siemens Aktiengesellschaft A method and a system for assessing the relative pose of an implant and a bone of a creature
EP2245982A1 (en) * 2009-04-30 2010-11-03 BAE Systems PLC Endoscopic method and device
WO2010130056A1 (en) 2009-05-14 2010-11-18 University Health Network Quantitative endoscopy
WO2010140074A1 (en) 2009-06-01 2010-12-09 Koninklijke Philips Electronics N.V. Distance-based position tracking method and system
US20100312696A1 (en) 2009-06-03 2010-12-09 Parijat Sinha Virtual shared account
WO2010144402A2 (en) 2009-06-08 2010-12-16 Surgivision, Inc. Mri-guided surgical systems with preset scan planes
US8396532B2 (en) 2009-06-16 2013-03-12 MRI Interventions, Inc. MRI-guided devices and MRI-guided interventional systems that can track and generate dynamic visualizations of the devices in near real time
US10026016B2 (en) 2009-06-26 2018-07-17 Regents Of The University Of Minnesota Tracking and representation of multi-dimensional organs
ES2353099B1 (es) 2009-07-30 2012-01-02 Fundacion Para Progreso Soft Computing Método y sistema de identificación forense por superposición craneofacial basado en soft computing.
JP5094930B2 (ja) * 2009-08-10 2012-12-12 韓國電子通信研究院 イメージに触覚情報を符号化する方法、イメージから触覚情報を復号化する方法、およびこのための触覚情報処理装置
DE102009043523A1 (de) 2009-09-30 2011-04-07 Siemens Aktiengesellschaft Endoskop
WO2011055245A1 (en) 2009-11-04 2011-05-12 Koninklijke Philips Electronics N.V. Collision avoidance and detection using distance sensors
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11699247B2 (en) 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
US9436280B2 (en) * 2010-01-07 2016-09-06 Qualcomm Incorporated Simulation of three-dimensional touch sensation using haptics
CN102711650B (zh) 2010-01-13 2015-04-01 皇家飞利浦电子股份有限公司 用于内窥镜手术的基于图像整合的配准和导航
US20120316392A1 (en) 2010-02-01 2012-12-13 Itoua Seraphin Nicaise Spherical capsule video endoscopy
DE102010006741A1 (de) 2010-02-03 2011-08-04 Friedrich-Alexander-Universität Erlangen-Nürnberg, 91054 Verfahren zum Verarbeiten eines Endoskopiebildes
JP5421828B2 (ja) 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP2011200515A (ja) 2010-03-26 2011-10-13 Hoya Corp 触覚センサを備える電子内視鏡及び電子内視鏡システム
JP5432793B2 (ja) 2010-03-29 2014-03-05 オリンパス株式会社 蛍光内視鏡装置
AU2011239570A1 (en) 2010-04-14 2012-11-01 Smith & Nephew, Inc. Systems and methods for patient- based computer assisted surgical procedures
MX337815B (es) 2010-06-11 2016-03-18 Ethicon Llc Herramientas para dispensar suturas para cirugía endoscópica y asistida por robot y métodos.
KR20130108320A (ko) 2010-09-10 2013-10-02 더 존스 홉킨스 유니버시티 관련 애플리케이션들에 대한 일치화된 피하 해부구조 참조의 시각화
WO2012035492A1 (en) * 2010-09-15 2012-03-22 Koninklijke Philips Electronics N.V. Robotic control of an endoscope from blood vessel tree images
DE102010050227A1 (de) 2010-11-04 2012-05-10 Siemens Aktiengesellschaft Endoskop mit 3D-Funktionalität
CN103596521B (zh) 2011-04-07 2016-08-31 3形状股份有限公司 用于引导对象的3d系统和方法
US20120265062A1 (en) 2011-04-13 2012-10-18 St. Jude Medical, Inc. Optical coherence tomography catheter for elastographic property mapping of lumens utilizing micropalpation
US8952312B2 (en) 2011-05-12 2015-02-10 Olive Medical Corporation Image sensor for endoscopic use
US8900131B2 (en) 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
JP2013015959A (ja) 2011-07-01 2013-01-24 Ricoh Co Ltd 情報処理装置、情報処理システムおよびプログラム
KR20130015146A (ko) 2011-08-02 2013-02-13 삼성전자주식회사 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템
US8784301B2 (en) * 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US9204939B2 (en) 2011-08-21 2015-12-08 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery—rule based approach
US10052157B2 (en) 2011-08-21 2018-08-21 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery—rule based approach
US10092164B2 (en) 2011-08-21 2018-10-09 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery—rule based approach
US10866783B2 (en) 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
WO2013038403A2 (en) 2011-09-13 2013-03-21 Visionsense Ltd. Proximal high definition endoscope
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
CA2859998A1 (en) * 2011-11-15 2013-05-23 Naoki Suzuki Photographic device and photographic system
DE102011119608B4 (de) * 2011-11-29 2021-07-29 Karl Storz Se & Co. Kg Vorrichtung und Verfahren zur endoskopischen 3D-Datenerfassung
US20150011894A1 (en) * 2011-12-19 2015-01-08 The Regents Of The University Of California System for and method of quantifying on-body palpitation for improved medical diagnosis
WO2013095830A1 (en) 2011-12-22 2013-06-27 Mimedx Group Inc. Cross-linked dehydrated placental tissue grafts and methods for making and using the same
JP5918548B2 (ja) 2012-01-24 2016-05-18 富士フイルム株式会社 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
US20130211244A1 (en) 2012-01-25 2013-08-15 Surgix Ltd. Methods, Devices, Systems, Circuits and Associated Computer Executable Code for Detecting and Predicting the Position, Orientation and Trajectory of Surgical Tools
WO2013116240A1 (en) 2012-01-30 2013-08-08 Inneroptic Technology, Inc. Multiple medical device guidance
KR20130092189A (ko) * 2012-02-10 2013-08-20 삼성전자주식회사 촉각 전달 장치 및 방법
US9092996B2 (en) 2012-03-01 2015-07-28 Simquest Llc Microsurgery simulator
US10758209B2 (en) 2012-03-09 2020-09-01 The Johns Hopkins University Photoacoustic tracking and registration in interventional ultrasound
US20130250081A1 (en) 2012-03-21 2013-09-26 Covidien Lp System and method for determining camera angles by using virtual planes derived from actual images
CN102636130B (zh) 2012-04-19 2014-07-09 中国科学院光电技术研究所 一种大动态范围测量非球面光学元件表面轮廓装置
EP2845184A1 (en) * 2012-04-23 2015-03-11 Yissum Research Development Company of the Hebrew University of Jerusalem Ltd. Device for rehabilitating brain mechanism of visual perception using complementary sensual stimulations
EP2844159B1 (en) 2012-05-03 2017-10-11 Synthes GmbH Surgical guide with cut resistant inserts
US10013082B2 (en) * 2012-06-05 2018-07-03 Stuart Schecter, LLC Operating system with haptic interface for minimally invasive, hand-held surgical instrument
JP6053342B2 (ja) * 2012-06-15 2016-12-27 キヤノン株式会社 医療用マニピュレータおよび、該医療用マニピュレータを備えた医療用画像撮影システム
US9220570B2 (en) * 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
JP5745178B2 (ja) 2012-06-29 2015-07-08 富士フイルム株式会社 ３次元測定方法、装置及びシステム、並びに画像処理装置
WO2014046618A1 (en) * 2012-09-19 2014-03-27 Nanyang Technological University Flexible master - slave robotic endoscopy system
CN104582559B (zh) 2013-03-06 2016-10-12 奥林巴斯株式会社 内窥镜系统和内窥镜系统的工作方法
WO2014160510A2 (en) 2013-03-13 2014-10-02 Massachusetts Institute Of Technology Photometric stereo endoscopy
US9456752B2 (en) 2013-03-14 2016-10-04 Aperture Diagnostics Ltd. Full-field three-dimensional surface measurement
CN103269430A (zh) 2013-04-16 2013-08-28 上海上安机电设计事务所有限公司 基于bim的三维场景生成方法
CN103356155B (zh) 2013-06-24 2014-12-31 清华大学深圳研究生院 虚拟内窥镜辅助的腔体病灶检查系统
US20150062299A1 (en) * 2013-08-30 2015-03-05 The Regents Of The University Of California Quantitative 3d-endoscopy using stereo cmos-camera pairs
US10022914B2 (en) 2013-11-12 2018-07-17 Adobe Systems Incorporated Method and apparatus for automatically adding utility holes to printable 3-dimensional models
JP6644466B2 (ja) * 2013-12-31 2020-02-12 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚通知を提供するシステム及び方法
CA2936453A1 (en) * 2014-01-09 2015-07-16 Axiosonic, Llc Systems and methods using ultrasound for treatment
US10130329B2 (en) 2014-01-28 2018-11-20 General Electric Company Distinct needle display in ultrasonic image
KR102237597B1 (ko) * 2014-02-18 2021-04-07 삼성전자주식회사 수술 로봇용 마스터 장치 및 그 제어 방법
US9197885B2 (en) 2014-03-20 2015-11-24 Gopro, Inc. Target-less auto-alignment of image sensors in a multi-camera system
US10350009B2 (en) 2014-03-28 2019-07-16 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and printing of surgical implants
KR102397254B1 (ko) 2014-03-28 2022-05-12 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 장면의 정량적인 3차원 영상
EP3125807B1 (en) 2014-03-28 2022-05-04 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
KR20160138502A (ko) 2014-03-28 2016-12-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 정량적인 3차원 모델의 3차원 영상과의 정렬
CN111184577A (zh) 2014-03-28 2020-05-22 直观外科手术操作公司 器械在视野中的定量三维可视化
US10555788B2 (en) 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5833633A (en) * 1992-12-21 1998-11-10 Artann Laboratories Device for breast haptic examination
US6233476B1 (en) * 1999-05-18 2001-05-15 Mediguide Ltd. Medical positioning system
JP2006305332A (ja) * 2005-03-28 2006-11-09 Hiroshima Industrial Promotion Organization 画像処理装置およびそれを用いた内視鏡
CN102159140A (zh) * 2008-07-22 2011-08-17 轴外科技术公司 组织改变装置及其使用方法
CN102196761A (zh) * 2008-10-28 2011-09-21 奥林巴斯医疗株式会社 医疗设备
CN102405024A (zh) * 2009-02-24 2012-04-04 瑞特医疗技术公司 患者专用的手术引导件定位器及安装件

Also Published As

Publication number Publication date
WO2015149044A1 (en) 2015-10-01
CN110897590A (zh) 2020-03-24
US10555788B2 (en) 2020-02-11
US20200022769A1 (en) 2020-01-23
JP2017510409A (ja) 2017-04-13
EP3125809B1 (en) 2020-09-09
US11304771B2 (en) 2022-04-19
KR20160138233A (ko) 2016-12-02
EP3125809A1 (en) 2017-02-08
JP6938369B2 (ja) 2021-09-22
KR102397670B1 (ko) 2022-05-16
CN106535812A (zh) 2017-03-22
CN106535812B (zh) 2020-01-21
EP3125809A4 (en) 2018-03-21
US20170181808A1 (en) 2017-06-29

Similar Documents

Publication Publication Date Title
CN110897590B (zh) 带有基于定量三维成像的触觉反馈的手术系统
JP7321916B2 (ja) 手術シーンの定量的三次元撮像
US20220241013A1 (en) Quantitative three-dimensional visualization of instruments in a field of view
JP6609616B2 (ja) マルチポートの視点からの手術シーンの定量的な３次元イメージング
CN106455944B (zh) Q3d模型与3d图像的对准
EP3075342B1 (en) Microscope image processing device and medical microscope system
CN114245719A (zh) 基于深度传感器和辅助传感器执行与计算机辅助外科手术系统相关联的操作的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant