CN111989065A - 具有立体显示器的机器人手术系统中的观察者移动的补偿 - Google Patents

具有立体显示器的机器人手术系统中的观察者移动的补偿 Download PDF

Info

Publication number
CN111989065A
CN111989065A CN201980026709.XA CN201980026709A CN111989065A CN 111989065 A CN111989065 A CN 111989065A CN 201980026709 A CN201980026709 A CN 201980026709A CN 111989065 A CN111989065 A CN 111989065A
Authority
CN
China
Prior art keywords
observer
image
surgical site
movement
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980026709.XA
Other languages
English (en)
Inventor
德怀特·梅格兰
艾伯特·德沃尔尼克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN111989065A publication Critical patent/CN111989065A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了用于补偿在机器人手术期间的观察者移动的系统和方法。一种示例性系统包含：图像捕获装置，其被配置成捕获手术部位的图像；立体显示器装置；传感器，其被配置成检测观察者的位置；以及计算装置，其包含处理器和存储指令的存储器。所述指令在由所述处理器执行时使所述计算装置从所述图像捕获装置接收所述手术部位的所述图像，从所述传感器接收指示所述观察者的位置的数据，基于所述观察者的移动处理所述手术部位的接收到的图像，并使所述立体显示器装置显示所述手术部位的已处理的图像。

Description

具有立体显示器的机器人手术系统中的观察者移动的补偿
背景技术
相关技术的描述
机器人手术涉及例如外科医生或技术员的临床医师经由控制台操作手术机器人。机器人手术可以用内窥镜执行，并且因此可供临床医师使用的手术部位的唯一视图可以是由内窥镜相机捕获的图像，例如三维(3D)或立体图像。在操作手术机器人并且因此查看3D图像时，临床医师的头部可能会移动。临床医师的头部的此类移动可能会使临床医师期望3D图像的对应移动，例如基于临床医师的视角的改变。然而，常规的3D视频图像未被配置成基于临床医师的头部的移动而移动。因此，如果在临床医生查看3D图像时临床医师的头部移动，则临床医生感知的3D图像与临床医生期望感知的3D图像稍微不同。在利用头部或视线跟踪来控制联接到内窥镜相机的机器人臂的移动的手术机器人系统中，此差异甚至可能更大。鉴于前述内容，将有益的是具有用于在机器人手术期间控制手术机器人时控制和显示来自内窥镜相机的立体图像的改进式系统和方法。
发明内容
根据各种实施例，本公开描述具有观察者移动补偿的机器人手术系统。在本公开的一方面中，一种说明性系统包含：图像捕获装置，其被配置成捕获手术部位的图像；立体显示器装置；传感器，其被配置成检测观察者的位置；以及计算装置，其包含至少一个处理器和存储指令的存储器。在由所述至少一个处理器执行时，所述指令使所述计算装置从所述图像捕获装置接收所述手术部位的所述图像，从所述传感器接收指示所述观察者的第一位置的数据，基于所述观察者的所述第一位置处理所述手术部位的接收到的图像，并使所述立体显示器装置显示所述手术部位的已处理的立体图像。
在各实施例中，所述手术部位的所述图像包含左眼图像数据和右眼图像数据。
在一些实施例中，所述手术部位的所述图像具有帧大小，并且所述基于所述观察者的所述第一位置处理所述手术部位的所述接收到的图像包含基于所述观察者的所述第一位置确定要显示的所述图像的部分，要显示的所述图像的所述部分小于所述帧大小。
在另一个实施例中，要显示的所述图像的所述部分对应于数目小于包含在所述手术部位的所述图像中的像素的数目的像素。
在一实施例中，所述确定要显示的所述图像的所述部分包含裁剪所述图像的至少一部分。
在各实施例中，所述确定要显示的所述图像的所述部分包含使所述图像的至少一部分移位。
在一些实施例中，所述使所述图像的至少所述部分移位包含基于所述观察者的所述第一位置确定所述观察者的移动向量，基于所述观察者的已确定的移动向量确定要移位的像素的方向和量，以及基于要移位的像素的已确定的方向和量使所述图像的至少一部分移位。
在额外实施例中，所述确定所述观察者的所述移动向量进一步包含确定移动程度，并且所述确定要移位的像素的所述方向和所述量是进一步基于已确定的移动程度。
在另一个实施例中，所述确定要移位的像素的所述方向和所述量是进一步基于所述观察者的所述移动向量与要移位的像素的所述方向和量之间的关系。所述关系可以基于表格或阈值。
在各实施例中，所述确定所述观察者的所述移动向量包含确定所述观察者的所述第一位置是否接近最大阈值，以及提供指示所述观察者的所述第一位置接近所述最大阈值的警报。
在一实施例中，所述确定所述观察者的所述移动向量包含确定所述观察者的所述第一位置是否超出最大阈值，以及提供指示所述观察者的所述第一位置超出所述最大阈值的警报。
在另一个实施例中，所述系统进一步包含手术机器人，其中所述图像捕获装置联接到所述手术机器人，并且所述指令在由所述处理器执行时进一步使所述计算装置：基于从所述传感器接收的所述数据确定所述观察者的移动向量；以及使所述手术机器人基于所述观察者的已确定的移动向量重新定位所述图像捕获装置。
在一些实施例中，所述立体显示器是自动立体显示器。
在若干实施例中，所述立体显示器是无源立体显示器，并且所述系统进一步包括由所述观察者佩戴的三维(3D)眼镜。
在各实施例中，所述3D眼镜使左眼图像显示给所述观察者的左眼并使右眼图像显示给所述观察者的右眼。
在一实施例中，所述图像捕获装置是联接到内窥镜的立体相机。
在另一个实施例中，所述传感器是运动传感器或相机。
在一些实施例中，从所述传感器接收的指示所述观察者的第一位置的所述数据包含所述观察者的图像，并且所述指令在由所述处理器执行时进一步使所述计算装置：基于所述观察者的所述图像生成第二图像数据；以及通过处理所述第二图像数据检测所述观察者的所述第一位置。
在若干实施例中，所述检测所述观察者的第一位置包含检测以下中的一个或多个：所述观察者相对于所述立体显示器的向量法线的距离、所述观察者相对于所述立体显示器的所述向量法线的方向，或所述观察者相对于所述立体显示器的定向。
在各实施例中，所述观察者的所述方向是横向方向或竖直方向中的一个或多个。
在一些实施例中，所述指令在由所述至少一个处理器执行时进一步使所述计算装置：从所述传感器接收指示所述观察者的第二位置的额外数据；基于所述观察者的所述第二位置处理所述手术部位的所述接收到的图像；以及使所述立体显示器显示所述手术部位的所述已处理的图像。
根据本公开的实施例，提供用于补偿机器人手术系统中的观察者移动的方法。在本公开的一方面中，一种说明性方法包含：从图像捕获装置接收手术部位的图像；从传感器接收指示观察者的第一位置的数据；基于所述观察者的所述第一位置处理所述手术部位的接收到的图像；以及使立体显示器装置显示所述手术部位的已处理的图像。
根据本公开的实施例，提供存储用于补偿机器人手术系统中的观察者移动的程序的非暂时性计算机可读存储介质。在本公开的一方面中，一种说明性程序包含指令，所述指令在由处理器执行时使计算装置：从图像捕获装置接收手术部位的图像；从传感器接收指示观察者的第一位置的数据；基于所述观察者的所述第一位置处理所述手术部位的接收到的图像；以及使立体显示器装置显示所述手术部位的已处理的图像。
可以组合本公开的任何上述方面和实施例而不脱离本公开的范围。
附图说明
下文中参考图式描述本公开的各种方面和特征，其中：
图1是根据本公开的实施例的可以用于补偿观察者移动的示例性机器人手术系统的示意图；
图2是形成图1的系统的部分的示例性计算装置的简化框图；
图3是根据本公开的实施例的用于补偿具有立体显示器的机器人手术系统中的观察者移动的示例性方法的流程图；
图4是根据本公开的实施例的用于处理补偿观察者移动的立体图像数据的示例性方法的流程图；并且
图5示出根据本公开的实施例的可以由图2的计算装置显示的示例性图形用户界面的各种视图。
具体实施方式
本公开大体上涉及立体图像在三维(3D)显示器上的显示，且更具体地说，涉及在常规的3D显示器上查看立体图像时由用户感知的头部移动效应的减轻。在这方面，本公开涉及用于补偿具有立体显示器的机器人手术系统中的观察者移动的系统和方法，例如通过检测观察者的移动，基于观察者的检测到的移动来重新定位内窥镜相机，基于检测到的观察者的移动来使从内窥镜相机接收的图移位像以补偿观察者的移动，以及在立体显示器上显示已移位的图像。以此方式，基于观察者的头部在显示之前的移动，例如通过使一个或多个行和/或列的像素在立体图像的边缘周围移位来裁剪立体图像和/或使立体图像移位。立体图像的此类移位的效果是，即使从内窥镜相机接收的图像并不移动，通过改变立体图像的所显示部分以使所显示图像以观察者期望立体图像移动的方式“移动”，也视觉上减轻了由观察者的头部的移动导致的观察者感知的立体图像的移动。视觉和/或听觉引导、通知和/或告警可以由立体显示器和/或与其相关联的计算装置显示和/或发出，以辅助观察者适当地移动观察者的身体、头部、面部和/或眼部来控制内窥镜相机的移动和/或图像的移位。本领域的技术人员将了解，还可以基于其它用户界面来控制内窥镜相机，并且因此不必基于观察者的移动来控制内窥镜相机。
参考图1，示出了根据本公开的实施例的用于补偿具有立体显示器的机器人手术系统中的观察者移动的系统100。系统100包含：工作台110，其支撑主体B；立体显示器装置120；一个或多个图像捕获装置125a和125b；内窥镜140，其包含内窥镜相机145；手术机器人组件150；以及计算装置200。图1进一步示出了观察者O。观察者可以是用户、临床医师、外科医生、护士、技术员，和/或操作手术机器人组件150的任何其他人。
内窥镜相机145可以是能够捕获立体图像的单个相机或多个相机，和/或本领域的技术人员已知的可以用于捕获手术部位的3D图像的任何其它相机或成像装置。在一些实施例中，内窥镜相机145是双镜头或多镜头相机。显示器120可以是被配置成向观察者输出立体图像的任何立体显示器装置。例如，显示器120可以是自动立体显示器、无源立体显示器，和/或本领域的技术人员已知的被配置成显示三维(3D)图像的任何其它显示器装置。在显示器120是无源立体显示器装置的实施例中，系统100可以进一步包含由观察者佩戴的3D眼镜127。例如，3D眼镜127可以使左眼图像显示给观察者的左眼并使右眼图像显示给观察者的右眼。
图像捕获装置125a和125b可以是本领域的技术人员已知的任何图像捕获装置，例如摄像机、静态相机、立体相机等。在一些实施例中，图像捕获装置125a和125b是被配置成检测观察者的移动的运动传感器。在其它实施例中，图像捕获装置125a、125b是基于红外光的标记跟踪装置，其被配置成跟踪附接到观察者的标记，例如附接到观察者的头部和/或附接到3D眼镜127的标记。在各实施例中，图像捕获装置125a和125b围绕显示器120定位以检测观察者的查看方向和/或角度。图像捕获装置125a和125b在下文中被统称为图像捕获装置125。
手术机器人组件150包含：基座151；第一接合件152，其联接到基座151；第一机器人臂155，其联接到第一接合件152；第二接合件153，其联接到第一机器人臂155；第二机器人臂154，其联接到第二接合件153；以及器械驱动单元156，其联接到第二臂154。内窥镜140经由器械驱动单元156附接到手术机器人组件150。在各实施例中，多个手术机器人组件150可以同时使用且可以一起形成手术机器人。虽然图1中示出单个手术机器人组件150，但是在不脱离本公开的范围的情况下，手术训练环境中可以包含多个手术机器人组件150，并且本领域的技术人员将认识到，可以使用具有单个和/或多个手术机器人组件150的手术机器人来应用下文所描述的方法，所述手术机器人组件各自包含至少一个基座151、机器人臂154和155、接合件152和153，以及器械驱动单元156。主体B可以是在上面执行机器人手术过程的患者的身体。
计算装置200可以是本领域的技术人员已知的可配置以用于机器人手术期间的任何计算装置。例如，计算装置200可以是台式电脑、笔记本电脑、服务器和终端配置，和/或用于手术机器人组件150的控制计算机等。在一些实施例中，计算装置200可以包含在显示器120中。如下文进一步所描述，可以在机器人手术期间使用系统100以检测观察者的移动，基于检测到的移动来重新定位内窥镜140，以及基于检测到的移动来使由内窥镜相机145捕获的图像移位。
现在转到图2，示出了根据本公开的实施例的形成图1的系统100的部分的计算装置200的示意图。计算装置200包含存储数据库240和应用程序280的存储器202。应用程序280包含指令，所述指令在由处理器204执行时使计算装置200执行各种功能，如下文所描述。应用程序280进一步包含图形用户界面(GUI)指令285，所述图形用户界面指令285在由处理器204执行时使计算装置200生成一个或多个GUI(图2中未示出)，例如图5A-5D中所示出的示例性GUI。数据库240存储与基于观察者的移动的图像的移位相关的各种表格、阈值和/或关系型数据，如下文进一步所描述。
存储器202可以包含用于存储数据和/或软件的任何非暂时性计算机可读存储介质，所述数据和/或软件可由处理器204执行且控制计算装置200、显示器120和/或手术机器人组件150的操作。在一实施例中，存储器202可以包含一个或多个固态存储装置，例如快闪存储器芯片。替代地或除一个或多个固态存储装置之外，存储器202可以包含通过大容量存储控制器(图2中未示出)和通信总线(图2中未示出)连接到处理器204的一个或多个大容量存储装置。尽管在本文中所包含的计算机可读介质的描述是指固态存储装置，但是本领域的技术人员应了解，计算机可读存储介质可以是可以由处理器204访问的任何可用介质。也就是说，计算机可读存储介质可包括以用于存储如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的非暂时性、易失性和非易失性、可移动和不可移动介质。例如，计算机可读存储介质可以包含RAM、ROM、EPROM、EEPROM、快闪存储器或其它固态存储器技术、CD-ROM、DVD、蓝光或其它光存储装置、磁带盒、磁带、磁盘存储装置或其它磁存储装置，或可以用于存储期望信息且可以由计算装置200访问的任何其它介质。
计算装置200进一步包含输入接口206、通信接口208和输出接口210。输入接口206可以是鼠标、键盘或其它手持控制器、脚踏板、触摸屏、语音接口和/或用户可通过其与计算装置200交互的任何其它装置或接口。
通信接口208可以被配置成连接到网络，例如由有线网络和/或无线网络组成的局域网(LAN)、广域网(WAN)、无线移动网络、蓝牙网络和/或因特网。输出接口210可以是可用于由计算装置200输出图像或数据的屏幕或其它显示器装置。
参考图3，示出了根据本公开的实施例的用于补偿具有立体显示器的机器人手术系统中的观察者移动的示例性方法300的流程图。在各实施例中，可以使用例如图1的系统100的系统和例如图2的计算装置200的一个或多个计算装置来实施方法300。在步骤S302处开始，计算装置200接收主体B内的手术部位的一个或多个图像。图像可以是手术部位的第一图像，并且可以由内窥镜相机145捕获。第一图像可以是包含左眼图像数据和右眼图像数据的立体图像。在一些实施例中，第一图像是手术部位的实时图像，并且第一图像的下述处理实时进行。
接下来，在步骤S304处，计算装置200接收指示观察者的位置的数据。数据可以由图像捕获装置125获取。数据可以包含观察者的图像和/或图像数据，例如观察者的身体的部分的图像，例如，观察者的头部、面部和/或眼部。例如，如果从图像捕获装置125接收的数据包含图像，则计算装置200可以处理图像以生成图像数据，并且可以随后进一步处理图像数据以标识观察者以及检测图像数据中的观察者的位置，例如相对于向量法线且居中于显示器120的前表面的位置(下文中称为“法线向量”)。例如，法线向量可以是来源于面向观察者的显示器120的表面的中心的向量。在一些实施例中，计算装置200可以处理从图像捕获装置125接收的图像和/或图像数据以标识观察者的头部、面部和/或眼部，以及观察者的头部、面部和/或眼部的查看方向、定向和/或角度。计算装置200可以进一步处理从图像捕获装置125接收的图像和/或图像数据以确定观察者的身体、头部、面部和/或眼部的移动，例如相对于法线向量的移动。例如，计算装置200可以间歇地和/或连续地从图像捕获装置125接收数据，并且可以间歇地和/或连续地处理数据以标识观察者的连续位置，并且由此确定观察者相对于先前位置的移动和/或相对于法线向量的移动。在其它实施例中，例如其中图像捕获装置125是运动传感器的实施例，图像捕获装置125向计算装置200提供运动数据。
作为任选的步骤，在步骤S306处，计算装置200(例如经由应用程序280)可以处理在步骤S304处接收的数据以基于观察者的已确定的一个或多个位置来确定观察者(例如观察者的头部、面部和/或眼部)的移动的方向、量、速度和/或程度。例如，计算装置200可以确定观察者是否相对于法线向量在水平方向、竖直方向、对角线方向和/或旋转方向上移动。计算装置200可以进一步确定观察者在每一方向上的移动的量、速度和/或程度，例如，用户可以向左移动5cm且向上移动2cm。随后，计算装置200可以使手术机器人组件150基于观察者的已确定的移动来重新定位内窥镜140。
如上所述，在一些实施例中，计算装置200可以间歇地和/或连续地从图像捕获装置125接收观察者的图像和/或图像数据。随后，计算装置200可以间歇地和/或连续地处理观察者的图像和/或图像数据以检测观察者的移动。例如，计算装置200可以确定观察者相对于从图像捕获装置125接收的图像和/或图像数据中的法线向量的连续位置。随后，计算装置200可以基于已确定的观察者相对于图像和/或图像数据中的法线向量的连续位置来确定观察者的移动的向量。
作为额外任选的步骤，在重新定位内窥镜140之后，在步骤S308处，计算装置200从内窥镜相机145接收手术部位的第二图像。类似于第一图像，第二图像可以是包含左眼图像数据和右眼图像数据的立体图像，并且可以具有与第一图像相同的纵横比、分辨率、帧大小和/或像素数目。
此后，与步骤S306和/或S308同时进行，或在其中在步骤S304之后不直接执行步骤S306和S308的实施方案中，在步骤S310处，计算装置200，例如经由应用程序280，确定如在步骤S306处观察者的已确定的位置是否接近所述特定移动方向的最大阈值。例如，计算装置200可能已经在数据库240中存储了相对于法线向量的每一个方向的各种表格和/或阈值。表格和/或阈值可以指示观察者相对于法线向量的方向和距离与内窥镜140的对应移动和/或显示立体图像数据所需的调整之间的各种关系。例如，表格和/或阈值可以指示在使手术机器人组件150在相同方向上将内窥镜140重新定位预定量所需的例如水平方向等特定方向上的观察者的移动量，和/或在特定方向上以基于观察者相对于法线向量的位置来使从内窥镜140接收的立体图像移位的像素数目。表格和/或阈值还可以指示在可用于使手术机器人组件150重新定位内窥镜140的特定方向上的最大移动量和/或可在特定方向上移位的最大像素数目。此类最大阈值可以对应于内窥镜140和/或手术机器人组件150的运动极限，和/或可用于在特定方向上移位的最大像素数目。
如果在S310处确定观察者的位置未接近与所述特定方向对应的最大阈值(在S310步骤处为“否”)，则处理跳转到步骤S318。替代地，如果在步骤S310处确定观察者的位置接近与所述特定方向对应的最大阈值(在步骤S310处为“是”)，则处理进行到步骤S312。在步骤S312处，计算装置200，例如经由应用程序280，确定观察者的位置是否超出与所述特定方向对应的最大阈值。如果在步骤S312处确定观察者的位置未超出与所述特定方向对应的最大阈值(在步骤S312处为“否”)，则处理进行到步骤S314，其中计算装置200提供警报以向观察者通知观察者的位置正接近与所述特定方向对应的最大阈值。替代地，如果在步骤S312处确定观察者的位置超出与所述特定方向对应的最大阈值(在步骤S312处为“是”)，则处理进行到步骤S316，其中计算装置提供警告以向观察者通知观察者的位置已经超出最大阈值。在步骤S314处提供警报或在步骤S316处提供警告之后，处理进行到步骤S318。
在步骤S318处，计算装置200，例如经由应用程序280，处理在步骤S302处接收的手术部位的图像和/或在步骤S308处接收的手术部位的第二图像。下文参考图4描述关于可以在步骤S318处用作手术部位的图像的处理的部分的示例性过程400的其它细节。随后，在步骤S320处，计算装置200使显示器120显示手术部位的已处理的图像。
此后，在步骤S322处，计算装置200，例如经由应用程序280，确定手术过程是否已经完成。例如，计算装置200可以从观察者和/或参与手术过程的另一个临床医师接收指示手术过程已经完成的输入。如果在步骤S322处确定手术过程尚未完成(在步骤S322处为“否”)，则处理返回到步骤S304。替代地，如果在步骤S322处确定手术过程已经完成(在步骤S322处为“是”)，则处理结束。
现在转到图4，示出了根据本公开的实施例的用于处理立体图像以补偿观察者移动的示例性方法400的流程图。计算装置200可以执行图4的方法的一些或全部步骤，例如，在上文所描述的图3的方法300的步骤S318处或期间。然而，本领域的技术人员将认识到，在不脱离本公开的范围的情况下，可以不同序列重复、省略和/或执行方法400的一些步骤。
在步骤S402处开始，计算装置200接收手术部位的图像。可以从例如内窥镜相机145的相机接收手术部位的图像，如图5所示，例如图像502是由显示器120显示的立体图像。因此，从内窥镜相机145接收的图像可以包含由显示器装置120显示为立体图像502的左眼图像数据和右眼图像数据。图像502可以具有特定纵横比、分辨率、帧大小和/或像素数目。例如，图像502可以具有多行和多列像素。纵横比、分辨率、帧大小和/或像素数目可以对应于所使用的内窥镜相机145的类型。替代地或另外，纵横比、分辨率、帧大小和/或像素数目可以对应于由计算装置200使用的图像处理技术。例如，图像502的帧大小可以对应于包含在图像502中的像素数目。
此后，在步骤S404处，计算装置200，例如经由应用程序280，裁剪手术部位的图像502的至少一部分以指定图像502的所显示部分504，如图5所示。例如，所显示部分504可以包含数目小于包含在手术部位的图像502中的完整像素的数目的像素。因此，所显示部分504可以具有比手术部位的图像502更小的分辨率、帧大小和/或像素数目。例如，所显示部分504可以排除手术部位的图像502的外边缘周围的一个或多个行和/或列的像素506。如图5所示，所显示部分504具有比图像502更小的帧大小。图像视图508示出可以在移位之前呈现在显示器120上的图像502的所显示部分504的示例。
接下来，在步骤S406处，计算装置200，例如经由应用程序280，确定例如头部、面部和/或眼部等观察者的身体相对于法线向量的位置。在一些实施例中，上文参考步骤S306描述的确定与此处描述的确定相同。在其它实施例中，计算装置200可以执行观察者相对于法线向量的位置的两个单独确定。例如，计算装置200可以确定观察者相对于法线向量的位置的水平距离、竖直距离和/或对角线距离。在一些实施例中，计算装置200可以基于观察者相对于法线向量的位置来确定方向分量，例如向量以及例如量值的标量分量。在一些实施例中，确定观察者的连续位置(例如第一位置、第二位置等)，并且随后可以基于已确定的观察者相对于法线向量的连续位置来检测观察者的移动。例如，在观察者相对于法线向量移动时，可以确定观察者相对于法线向量的一个或多个位置，并且可以基于观察者相对于法线向量的连续位置来确定观察者的移动的方向、量、速度和/或程度。
此后，在步骤S408处，计算装置200，例如经由应用程序280，基于在步骤S406处确定的观察者的位置，确定像素的方向和/或量以使图像502的所显示部分504移位和/或平移。确定可以基于表格和/或阈值。例如，如上文参考步骤S310所描述的，计算装置200可能已在数据库240中存储各种表格和/或阈值。表格和/或阈值可以指示观察者相对于法线向量的方向和/或距离与使图像502的所显示部分504移位和/或平移的对应的像素的方向和量之间各种关系。例如，表格和/或阈值可以指示在相同方向上使图像帧504的预定量的像素移位所需的例如水平方向等特定方向上的观察者距法线向量的距离。在各实施例中，可以针对每一个方向配置不同阈值和/或关系。例如，基于观察者的偏好，水平方向的阈值可以低于竖直方向的阈值，因此允许观察者在水平方向上相对于法线向量的移动比观察者在竖直方向上相对于法线向量的移动具有更高灵敏度。表格和/或阈值还可以指示观察者在特定方向上距法线向量的最大距离，所述最大距离可用于在所述方向上使像素移位。例如，如果一次使太多像素移位和/或平移，则由显示器120显示的图像可能看起来失真。因而，最大阈值可以对应于可以一次移位和/或平移的像素数目的极限。另外，在其中计算装置200基于观察者的移动来确定方向分量和标量分量的实施例中，要移位的像素的方向和/或量的确定可以进一步基于方向分量和标量分量。
接下来，在步骤S410处，计算装置200，例如经由应用程序280，基于在步骤S408处确定的要移位的像素的方向和/或量来使图像502的所显示部分504移位。例如，如果观察者的位置在法线向量的左侧为特定量，则计算装置200可以使所显示部分504向右移位在步骤S408处确定的像素量。在图5中所示的示例中，如未移位的图像视图508中所示，图像502的所显示部分504向右移位(如由观察者所查看)，如已移位的图像视图510中所示，使得所显示部分504包含在未移位的图像视图508的右侧且不包含在其中的一列或多列像素，并且排除包含在未移位的图像视图508的右侧中的手术部位的图像502的一列或多列像素。因而，均基于从内窥镜相机145接收的手术部位的图像502的未移位的图像视图508和已移位的图像视图510可以包含重叠部分，所述重叠部分是未移位的图像视图508和已移位的图像视图510两者的大部分。然而，已移位的图像视图510包含已移位的图像视图510的右侧的小部分，所述小部分不包含在未移位的图像视图508中，并且已移位的图像视图510将排除未移位的图像视图508的右侧的小部分。
因而，借助于上述系统和方法，计算装置200可以被配置成检测观察者的一个或多个位置，基于依据观察者的连续位置而确定的观察者的移动来重新定位内窥镜相机，基于观察者的一个或多个位置来使从内窥镜相机接收的图像中的一个或多个行和/或列的像素移位以补偿观察者的移动，以及在立体显示器上显示已移位的图像。以此方式，基于观察者的头部在显示之前的移动来裁剪立体图像和/或使立体图像移位。立体图像的此类移位的一个效果是，即使从内窥镜相机接收的图像并不移动，所显示图像也以观察者期望立体图像移动的方式“移动”。
装置、包含此类装置的系统以及使用此类装置的方法的详细实施例如本文所描述。然而，这些详细的实施例仅是本公开的示例，其可以以各种形式实施。因此，本文公开的具体结构和功能细节不应被理解为限制性的，而是应被理解为仅仅作为权利要求的基础以及作为允许本领域的技术人员以适当的详细结构不同地使用本公开的代表性基础。

Claims (26)

1.一种具有观察者移动补偿的机器人手术系统，所述系统包括：
图像捕获装置，其被配置成捕获手术部位的图像；
立体显示器装置；
传感器，其被配置成检测观察者的位置；以及
计算装置，其包含至少一个处理器和存储指令的存储器，所述指令在由所述至少一个处理器执行时使所述计算装置：
从所述图像捕获装置接收所述手术部位的所述图像，
从所述传感器接收指示所述观察者的第一位置的数据，
基于所述观察者的所述第一位置处理所述手术部位的接收到的图像，以及
使所述立体显示器装置显示所述手术部位的已处理的图像。
2.根据权利要求1所述的系统，其中所述手术部位的所述图像包含左眼图像数据和右眼图像数据。
3.根据权利要求1所述的系统，其中所述手术部位的所述图像具有帧大小，并且
其中所述基于所述观察者的所述第一位置处理所述手术部位的所述接收到的图像包含基于所述观察者的所述第一位置确定要显示的所述图像的部分，要显示的所述图像的所述部分小于所述帧大小。
4.根据权利要求3所述的系统，其中要显示的所述图像的所述部分对应于数目小于包含在所述手术部位的所述图像中的像素的数目的像素。
5.根据权利要求3所述的系统，其中所述确定要显示的所述图像的所述部分包含裁剪所述图像的至少一部分。
6.根据权利要求3所述的系统，其中所述确定要显示的所述图像的所述部分包含使所述图像的至少一部分移位。
7.根据权利要求6所述的系统，其中所述使所述图像的至少所述部分移位包含：
基于所述观察者的所述第一位置确定所述观察者的移动向量；
基于所述观察者的已确定的移动向量确定要移位的像素的方向和量；以及
基于要移位的像素的已确定的方向和量使所述图像的至少一部分移位。
8.根据权利要求7所述的系统，其中所述确定所述观察者的所述移动向量进一步包含确定移动程度，并且
其中所述确定要移位的像素的所述方向和所述量是进一步基于已确定的移动程度。
9.根据权利要求7所述的系统，其中所述确定要移位的像素的所述方向和所述量是进一步基于所述观察者的所述移动向量与要移位的像素的所述方向和量之间的关系。
10.根据权利要求9所述的系统，其中所述关系是基于表格。
11.根据权利要求9所述的系统，其中所述关系是基于阈值。
12.根据权利要求7所述的系统，其中所述确定所述观察者的所述移动向量包含：
确定所述观察者的所述第一位置是否接近最大阈值；以及
提供指示所述观察者的所述第一位置接近所述最大阈值的警报。
13.根据权利要求7所述的系统，其中所述确定所述观察者的所述移动向量包含：
确定所述观察者的所述第一位置是否超出最大阈值；以及
提供指示所述观察者的所述第一位置超出所述最大阈值的警报。
14.根据权利要求1所述的系统，其进一步包括：
手术机器人，其中所述图像捕获装置联接到所述手术机器人，并且
其中所述指令在由所述至少一个处理器执行时进一步使所述计算装置：
基于从所述传感器接收的所述数据确定所述观察者的移动向量；以及
使所述手术机器人基于所述观察者的已确定的移动向量重新定位所述图像捕获装置。
15.根据权利要求1所述的系统，其中所述立体显示器是自动立体显示器。
16.根据权利要求1所述的系统，其中所述立体显示器是无源立体显示器，并且所述系统进一步包括由所述观察者佩戴的三维(3D)眼镜。
17.根据权利要求16所述的系统，其中所述3D眼镜使左眼图像显示给所述观察者的左眼并使右眼图像显示给所述观察者的右眼。
18.根据权利要求1所述的系统，其中所述图像捕获装置是联接到内窥镜的立体相机。
19.根据权利要求1所述的系统，其中所述传感器是运动传感器。
20.根据权利要求1所述的系统，其中所述传感器是相机。
21.根据权利要求20所述的系统，其中从所述传感器接收的指示所述观察者的第一位置的所述数据包含所述观察者的图像，并且
其中所述指令在由所述至少一个处理器执行时进一步使所述计算装置：
基于所述观察者的所述图像生成第二图像数据；以及
通过处理所述第二图像数据检测所述观察者的所述第一位置。
22.根据权利要求21所述的系统，其中所述检测所述观察者的所述第一位置包含检测以下中的一个或多个：
所述观察者相对于所述立体显示器的向量法线的距离；
所述观察者相对于所述立体显示器的所述向量法线的方向；或
所述观察者相对于所述立体显示器的定向。
23.根据权利要求22所述的系统，其中所述观察者的所述方向是横向方向或竖直方向中的一个或多个。
24.根据权利要求1所述的系统，其中所述指令在由所述至少一个处理器执行时进一步使所述计算装置：
从所述传感器接收指示所述观察者的第二位置的额外数据；
基于所述观察者的所述第二位置处理所述手术部位的所述接收到的图像；以及
使所述立体显示器装置显示所述手术部位的所述已处理的图像。
25.一种用于补偿机器人手术系统中的观察者移动的方法，所述方法包括：
从图像捕获装置接收手术部位的图像；
从传感器接收指示观察者的第一位置的数据；
基于所述观察者的所述第一位置处理所述手术部位的接收到的图像；以及
使立体显示器装置显示所述手术部位的已处理的图像。
26.一种存储用于补偿机器人手术系统中的观察者移动的程序的非暂时性计算机可读存储介质，所述程序包含指令，所述指令在由处理器执行时使计算装置：
从图像捕获装置接收手术部位的图像；
从传感器接收指示观察者的第一位置的数据；
基于所述观察者的所述第一位置处理所述手术部位的接收到的图像；以及
使立体显示器装置显示所述手术部位的已处理的图像。
CN201980026709.XA 2018-04-20 2019-04-01 具有立体显示器的机器人手术系统中的观察者移动的补偿 Pending CN111989065A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862660398P 2018-04-20 2018-04-20
US62/660,398 2018-04-20
PCT/US2019/025096 WO2019204012A1 (en) 2018-04-20 2019-04-01 Compensation for observer movement in robotic surgical systems having stereoscopic displays

Publications (1)

Publication Number Publication Date
CN111989065A true CN111989065A (zh) 2020-11-24

Family

ID=68239770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980026709.XA Pending CN111989065A (zh) 2018-04-20 2019-04-01 具有立体显示器的机器人手术系统中的观察者移动的补偿

Country Status (4)

Country Link
US (1) US11647888B2 (zh)
EP (1) EP3781073A4 (zh)
CN (1) CN111989065A (zh)
WO (1) WO2019204012A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090268015A1 (en) * 2008-04-26 2009-10-29 Intuitive Surgical, Inc. Augmented stereoscopic visualization for a surgical robot
CN106456148A (zh) * 2014-03-19 2017-02-22 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、系统和方法
WO2017210101A1 (en) * 2016-06-03 2017-12-07 Covidien Lp Systems, methods, and computer-readable storage media for controlling aspects of a robotic surgical device and viewer adaptive stereoscopic display
US20180092706A1 (en) * 2016-10-03 2018-04-05 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery

Family Cites Families (197)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5762458A (en) 1996-02-20 1998-06-09 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US5855583A (en) 1996-02-20 1999-01-05 Computer Motion, Inc. Method and apparatus for performing minimally invasive cardiac procedures
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
US6364888B1 (en) 1996-09-09 2002-04-02 Intuitive Surgical, Inc. Alignment of master and slave in a minimally invasive surgical apparatus
US7727244B2 (en) 1997-11-21 2010-06-01 Intuitive Surgical Operation, Inc. Sterile surgical drape
US6132368A (en) 1996-12-12 2000-10-17 Intuitive Surgical, Inc. Multi-component telepresence system and method
US6331181B1 (en) 1998-12-08 2001-12-18 Intuitive Surgical, Inc. Surgical robotic tools, data architecture, and use
US7699855B2 (en) 1996-12-12 2010-04-20 Intuitive Surgical Operations, Inc. Sterile surgical adaptor
US8529582B2 (en) 1996-12-12 2013-09-10 Intuitive Surgical Operations, Inc. Instrument interface of a robotic surgical system
US8206406B2 (en) 1996-12-12 2012-06-26 Intuitive Surgical Operations, Inc. Disposable sterile surgical adaptor
US7666191B2 (en) 1996-12-12 2010-02-23 Intuitive Surgical, Inc. Robotic surgical system with sterile surgical adaptor
US8182469B2 (en) 1997-11-21 2012-05-22 Intuitive Surgical Operations, Inc. Surgical accessory clamp and method
US6714839B2 (en) 1998-12-08 2004-03-30 Intuitive Surgical, Inc. Master having redundant degrees of freedom
JP3724157B2 (ja) 1997-10-30 2005-12-07 コニカミノルタホールディングス株式会社 映像観察装置
EP1109497B1 (en) 1998-08-04 2009-05-06 Intuitive Surgical, Inc. Manipulator positioning linkage for robotic surgery
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6757422B1 (en) 1998-11-12 2004-06-29 Canon Kabushiki Kaisha Viewpoint position detection apparatus and method, and stereoscopic image display system
US8600551B2 (en) 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
US6459926B1 (en) 1998-11-20 2002-10-01 Intuitive Surgical, Inc. Repositioning and reorientation of master/slave relationship in minimally invasive telesurgery
US6659939B2 (en) 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6951535B2 (en) 2002-01-16 2005-10-04 Intuitive Surgical, Inc. Tele-medicine system that transmits an entire state of a subsystem
US6799065B1 (en) 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
US7125403B2 (en) 1998-12-08 2006-10-24 Intuitive Surgical In vivo accessories for minimally invasive robotic surgery
US6770081B1 (en) 2000-01-07 2004-08-03 Intuitive Surgical, Inc. In vivo accessories for minimally invasive robotic surgery and methods
US6493608B1 (en) 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
US6394998B1 (en) 1999-01-22 2002-05-28 Intuitive Surgical, Inc. Surgical tools for use in minimally invasive telesurgical applications
US6565554B1 (en) 1999-04-07 2003-05-20 Intuitive Surgical, Inc. Friction compensation in a minimally invasive surgical apparatus
US6424885B1 (en) 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US6594552B1 (en) 1999-04-07 2003-07-15 Intuitive Surgical, Inc. Grip strength with tactile feedback for robotic surgery
US6716233B1 (en) 1999-06-02 2004-04-06 Power Medical Interventions, Inc. Electromechanical driver and remote surgical instrument attachment having computer assisted control capabilities
US6793652B1 (en) 1999-06-02 2004-09-21 Power Medical Interventions, Inc. Electro-mechanical surgical device
US6315184B1 (en) 1999-06-02 2001-11-13 Powermed, Inc. Stapling device for use with an electromechanical driver device for use with anastomosing, stapling, and resecting instruments
US7695485B2 (en) 2001-11-30 2010-04-13 Power Medical Interventions, Llc Surgical device
US10188471B2 (en) 1999-09-17 2019-01-29 Intuitive Surgical Operations, Inc. Tele-operative surgical systems and methods of control at joint limits using inverse kinematics
US8004229B2 (en) 2005-05-19 2011-08-23 Intuitive Surgical Operations, Inc. Software center and highly configurable robotic systems for surgery and other uses
US8768516B2 (en) 2009-06-30 2014-07-01 Intuitive Surgical Operations, Inc. Control of medical robotic system manipulator about kinematic singularities
US7594912B2 (en) 2004-09-30 2009-09-29 Intuitive Surgical, Inc. Offset remote center manipulator for robotic surgery
US9259280B2 (en) 1999-09-17 2016-02-16 Intuitive Surgical Operations, Inc. Phantom degrees of freedom in joint estimation and control
JP2003510864A (ja) * 1999-09-22 2003-03-18 カナデアン スペース エージェンシー 頭に装着するディスプレイのための時間／動きを補償する方法およびシステム
US6206903B1 (en) 1999-10-08 2001-03-27 Intuitive Surgical, Inc. Surgical tool with mechanical advantage
US6312435B1 (en) 1999-10-08 2001-11-06 Intuitive Surgical, Inc. Surgical instrument with extended reach for use in minimally invasive surgery
US6491691B1 (en) 1999-10-08 2002-12-10 Intuitive Surgical, Inc. Minimally invasive surgical hook apparatus and method for using same
US6645196B1 (en) 2000-06-16 2003-11-11 Intuitive Surgical, Inc. Guided tool change
US6746443B1 (en) 2000-07-27 2004-06-08 Intuitive Surgical Inc. Roll-pitch-roll surgical tool
US6902560B1 (en) 2000-07-27 2005-06-07 Intuitive Surgical, Inc. Roll-pitch-roll surgical tool
US6840938B1 (en) 2000-12-29 2005-01-11 Intuitive Surgical, Inc. Bipolar cauterizing instrument
US6994708B2 (en) 2001-04-19 2006-02-07 Intuitive Surgical Robotic tool with monopolar electro-surgical scissors
US6783524B2 (en) 2001-04-19 2004-08-31 Intuitive Surgical, Inc. Robotic surgical tool with ultrasound cauterizing and cutting instrument
US7824401B2 (en) 2004-10-08 2010-11-02 Intuitive Surgical Operations, Inc. Robotic tool with wristed monopolar electrosurgical end effectors
US7607440B2 (en) 2001-06-07 2009-10-27 Intuitive Surgical, Inc. Methods and apparatus for surgical planning
AU2002322374B2 (en) 2001-06-29 2006-10-26 Intuitive Surgical, Inc. Platform link wrist mechanism
US6817974B2 (en) 2001-06-29 2004-11-16 Intuitive Surgical, Inc. Surgical tool having positively positionable tendon-actuated multi-disk wrist joint
US6676684B1 (en) 2001-09-04 2004-01-13 Intuitive Surgical, Inc. Roll-pitch-roll-yaw surgical tool
US6728599B2 (en) 2001-09-07 2004-04-27 Computer Motion, Inc. Modularity system for computer assisted surgery
CN101584607B (zh) 2001-12-04 2012-06-06 Tyco医疗健康集团 用于校准外科器械的系统和方法
US6839612B2 (en) 2001-12-07 2005-01-04 Institute Surgical, Inc. Microwrist system for surgical procedures
US6793653B2 (en) 2001-12-08 2004-09-21 Computer Motion, Inc. Multifunctional handle for a medical robotic system
US7386365B2 (en) 2004-05-04 2008-06-10 Intuitive Surgical, Inc. Tool grip calibration for robotic surgery
AU2003293353A1 (en) 2002-12-06 2004-06-30 Intuitive Surgical, Inc. Flexible wrist for surgical tool
US8882657B2 (en) 2003-03-07 2014-11-11 Intuitive Surgical Operations, Inc. Instrument having radio frequency identification systems and methods for use
US7410483B2 (en) 2003-05-23 2008-08-12 Novare Surgical Systems, Inc. Hand-actuated device for remote manipulation of a grasping tool
US9002518B2 (en) 2003-06-30 2015-04-07 Intuitive Surgical Operations, Inc. Maximum torque driving of robotic surgical tools in robotic surgical systems
US7379790B2 (en) 2004-05-04 2008-05-27 Intuitive Surgical, Inc. Tool memory-based software upgrades for robotic surgery
US7947034B2 (en) 2004-07-30 2011-05-24 Tyco Healthcare Group Lp Flexible shaft extender and method of using same
US9261172B2 (en) 2004-09-30 2016-02-16 Intuitive Surgical Operations, Inc. Multi-ply strap drive trains for surgical robotic arms
US9700334B2 (en) 2004-11-23 2017-07-11 Intuitive Surgical Operations, Inc. Articulating mechanisms and link systems with torque transmission in remote manipulation of instruments and tools
US8465474B2 (en) 2009-05-19 2013-06-18 Intuitive Surgical Operations, Inc. Cleaning of a surgical instrument force sensor
US8496647B2 (en) 2007-12-18 2013-07-30 Intuitive Surgical Operations, Inc. Ribbed force sensor
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8147503B2 (en) 2007-09-30 2012-04-03 Intuitive Surgical Operations Inc. Methods of locating and tracking robotic instruments in robotic surgical systems
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
JP2008544814A (ja) 2005-06-30 2008-12-11 インテュイティブ サージカル， インコーポレイテッド マルチアームロボット遠隔手術におけるツール状態および通信のためのインディケータ
US8273076B2 (en) 2005-06-30 2012-09-25 Intuitive Surgical Operations, Inc. Indicator for tool state and communication in multi-arm robotic telesurgery
US8079950B2 (en) 2005-09-29 2011-12-20 Intuitive Surgical Operations, Inc. Autofocus and/or autoscaling in telesurgery
US7453227B2 (en) 2005-12-20 2008-11-18 Intuitive Surgical, Inc. Medical robotic system with sliding mode control
US7819859B2 (en) 2005-12-20 2010-10-26 Intuitive Surgical Operations, Inc. Control system for reducing internally generated frictional and inertial resistance to manual positioning of a surgical manipulator
WO2007075864A1 (en) 2005-12-20 2007-07-05 Intuitive Surgical, Inc. Instrument interface of a robotic surgical system
US7741802B2 (en) 2005-12-20 2010-06-22 Intuitive Surgical Operations, Inc. Medical robotic system with programmably controlled constraints on error dynamics
US8182470B2 (en) 2005-12-20 2012-05-22 Intuitive Surgical Operations, Inc. Telescoping insertion axis of a robotic surgical system
US7762825B2 (en) 2005-12-20 2010-07-27 Intuitive Surgical Operations, Inc. Electro-mechanical interfaces to mount robotic surgical arms
US7689320B2 (en) 2005-12-20 2010-03-30 Intuitive Surgical Operations, Inc. Robotic surgical system with joint motion controller adapted to reduce instrument tip vibrations
US9241767B2 (en) 2005-12-20 2016-01-26 Intuitive Surgical Operations, Inc. Method for handling an operator command exceeding a medical device state limitation in a medical robotic system
US8054752B2 (en) 2005-12-22 2011-11-08 Intuitive Surgical Operations, Inc. Synchronous data communication
US7757028B2 (en) 2005-12-22 2010-07-13 Intuitive Surgical Operations, Inc. Multi-priority messaging
US7756036B2 (en) 2005-12-22 2010-07-13 Intuitive Surgical Operations, Inc. Synchronous data communication
US7907166B2 (en) 2005-12-30 2011-03-15 Intuitive Surgical Operations, Inc. Stereo telestration for robotic surgery
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US8628518B2 (en) 2005-12-30 2014-01-14 Intuitive Surgical Operations, Inc. Wireless force sensor on a distal portion of a surgical instrument and method
US7835823B2 (en) 2006-01-05 2010-11-16 Intuitive Surgical Operations, Inc. Method for tracking and reporting usage events to determine when preventive maintenance is due for a medical robotic system
KR101249988B1 (ko) * 2006-01-27 2013-04-01 삼성전자주식회사 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법
US8597182B2 (en) 2006-04-28 2013-12-03 Intuitive Surgical Operations, Inc. Robotic endoscopic retractor for use in minimally invasive surgery
WO2007146984A2 (en) 2006-06-13 2007-12-21 Intuitive Surgical, Inc. Control system configured to compensate for non-ideal actuator-to-joint linkage characteristics in a medical robotic system
US20080064921A1 (en) 2006-06-13 2008-03-13 Intuitive Surgical, Inc. Guide tube control of minimally invasive surgical instruments
US8597280B2 (en) 2006-06-13 2013-12-03 Intuitive Surgical Operations, Inc. Surgical instrument actuator
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US8151661B2 (en) 2006-06-30 2012-04-10 Intuituve Surgical Operations, Inc. Compact capstan
US7391173B2 (en) 2006-06-30 2008-06-24 Intuitive Surgical, Inc Mechanically decoupled capstan drive
US8781162B2 (en) 2011-01-05 2014-07-15 Ailive Inc. Method and system for head tracking and pose estimation
US7736254B2 (en) 2006-10-12 2010-06-15 Intuitive Surgical Operations, Inc. Compact cable tension tender device
US7935130B2 (en) 2006-11-16 2011-05-03 Intuitive Surgical Operations, Inc. Two-piece end-effectors for robotic surgical tools
US9226648B2 (en) 2006-12-21 2016-01-05 Intuitive Surgical Operations, Inc. Off-axis visualization systems
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US8620473B2 (en) 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US8903546B2 (en) 2009-08-15 2014-12-02 Intuitive Surgical Operations, Inc. Smooth control of an articulated instrument across areas with different work space conditions
US9050120B2 (en) 2007-09-30 2015-06-09 Intuitive Surgical Operations, Inc. Apparatus and method of user interface with alternate tool mode for robotic surgical tools
US8012170B2 (en) 2009-04-27 2011-09-06 Tyco Healthcare Group Lp Device and method for controlling compression of tissue
US8561473B2 (en) 2007-12-18 2013-10-22 Intuitive Surgical Operations, Inc. Force sensor temperature compensation
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8155479B2 (en) 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US9895813B2 (en) 2008-03-31 2018-02-20 Intuitive Surgical Operations, Inc. Force and torque sensing in a surgical robot setup arm
US7843158B2 (en) 2008-03-31 2010-11-30 Intuitive Surgical Operations, Inc. Medical robotic system adapted to inhibit motions resulting in excessive end effector forces
US7886743B2 (en) 2008-03-31 2011-02-15 Intuitive Surgical Operations, Inc. Sterile drape interface for robotic surgical instrument
US9265567B2 (en) 2008-06-30 2016-02-23 Intuitive Surgical Operations, Inc. Vessel sealing instrument with stepped jaw
US8540748B2 (en) 2008-07-07 2013-09-24 Intuitive Surgical Operations, Inc. Surgical instrument wrist
US9204923B2 (en) 2008-07-16 2015-12-08 Intuitive Surgical Operations, Inc. Medical instrument electronically energized using drive cables
US8821480B2 (en) 2008-07-16 2014-09-02 Intuitive Surgical Operations, Inc. Four-cable wrist with solid surface cable channels
US8315720B2 (en) 2008-09-26 2012-11-20 Intuitive Surgical Operations, Inc. Method for graphically providing continuous change of state directions to a user of a medical robotic system
US20100116080A1 (en) 2008-11-11 2010-05-13 Intuitive Surgical, Inc. Robotic linkage
US8161838B2 (en) 2008-12-22 2012-04-24 Intuitive Surgical Operations, Inc. Method and apparatus for reducing at least one friction force opposing an axial force exerted through an actuator element
US8335590B2 (en) 2008-12-23 2012-12-18 Intuitive Surgical Operations, Inc. System and method for adjusting an image capturing device attribute using an unused degree-of-freedom of a master control device
US8594841B2 (en) 2008-12-31 2013-11-26 Intuitive Surgical Operations, Inc. Visual force feedback in a minimally invasive surgical procedure
US8374723B2 (en) 2008-12-31 2013-02-12 Intuitive Surgical Operations, Inc. Obtaining force information in a minimally invasive surgical procedure
US8858547B2 (en) 2009-03-05 2014-10-14 Intuitive Surgical Operations, Inc. Cut and seal instrument
US8120301B2 (en) 2009-03-09 2012-02-21 Intuitive Surgical Operations, Inc. Ergonomic surgeon control console in robotic surgical systems
US8418073B2 (en) 2009-03-09 2013-04-09 Intuitive Surgical Operations, Inc. User interfaces for electrosurgical tools in robotic surgical systems
US8423182B2 (en) 2009-03-09 2013-04-16 Intuitive Surgical Operations, Inc. Adaptable integrated energy control system for electrosurgical tools in robotic surgical systems
US8423186B2 (en) 2009-06-30 2013-04-16 Intuitive Surgical Operations, Inc. Ratcheting for master alignment of a teleoperated minimally-invasive surgical instrument
EP2594222B1 (en) 2009-11-13 2018-10-03 Intuitive Surgical Operations, Inc. Surgical tool with a compact wrist
US20110118708A1 (en) 2009-11-13 2011-05-19 Intuitive Surgical Operations, Inc. Double universal joint
CN105193469B (zh) 2009-11-13 2018-12-04 直观外科手术操作公司 具有复设的闭合机构的末端执行器
KR101313797B1 (ko) 2009-12-18 2013-10-01 한국전자통신연구원 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법
JP5750122B2 (ja) 2010-02-11 2015-07-15 インテュイティブ サージカル オペレーションズ， インコーポレイテッド ロボット内視鏡の作動制御方法およびシステム
US20110282357A1 (en) 2010-05-14 2011-11-17 Intuitive Surgical Operations, Inc. Surgical system architecture
US8644988B2 (en) 2010-05-14 2014-02-04 Intuitive Surgical Operations, Inc. Drive force control in medical instrument providing position measurements
US9019345B2 (en) 2010-07-02 2015-04-28 Intuitive Surgical Operations, Inc. Imaging mode blooming suppression
EP2590586B1 (en) 2010-07-09 2014-08-06 Intuitive Surgical Operations, Inc. Electrosurgical tool cover
EP2640301B1 (en) 2010-11-15 2016-03-30 Intuitive Surgical Operations, Inc. Decoupling instrument shaft roll and end effector actuation in a surgical instrument
US20120127302A1 (en) 2010-11-18 2012-05-24 Canon Kabushiki Kaisha Mixed reality display
US20120127203A1 (en) 2010-11-18 2012-05-24 Canon Kabushiki Kaisha Mixed reality display
US9241766B2 (en) 2010-12-22 2016-01-26 Intuitive Surgical Operations, Inc. Alternate instrument removal
EP4364674A1 (en) 2011-02-15 2024-05-08 Intuitive Surgical Operations, Inc. Indicator for knife location in a stapling or vessel sealing instrument
EP2675365B1 (en) 2011-02-15 2018-04-25 Intuitive Surgical Operations, Inc. Systems for detecting clamping or firing failure
US9393017B2 (en) 2011-02-15 2016-07-19 Intuitive Surgical Operations, Inc. Methods and systems for detecting staple cartridge misfire or failure
WO2012112251A1 (en) 2011-02-15 2012-08-23 Intuitive Surgical Operations, Inc. Systems for indicating a clamping prediction
CN103327922B (zh) 2011-02-18 2017-03-22 直观外科手术操作公司 融合和切割用外科器械及相关方法
US9259277B2 (en) 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Instrument actuation interface
WO2012166817A2 (en) 2011-05-31 2012-12-06 Intuitive Surgical Operations, Inc. Surgical instrument with single drive input for two end effector mechanisms
WO2012170256A1 (en) 2011-05-31 2012-12-13 Intuitive Surgical Operations, Inc. Positive control of robotic surgical instrument end effector
US9465226B2 (en) * 2011-08-09 2016-10-11 Sony Computer Entertainment Inc. Automatic shutdown of 3D based on glasses orientation
KR102067458B1 (ko) 2011-10-21 2020-01-20 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 로봇 수술 기구 엔드 이펙터용 파지력 제어 방법
WO2013063522A2 (en) 2011-10-26 2013-05-02 Reid Robert Cyrus Surgical instrument motor pack latch
US9503713B2 (en) 2011-11-02 2016-11-22 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking
WO2013073028A1 (ja) * 2011-11-16 2013-05-23 株式会社 東芝 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
US9144456B2 (en) 2012-04-09 2015-09-29 Intuitive Surgical Operations, Inc. Surgical instrument control
US9094788B2 (en) 2012-08-03 2015-07-28 Blackberry Limited Centralized data store for providing all place-related data to applications on a mobile device
EP3824840A1 (en) 2012-08-15 2021-05-26 Intuitive Surgical Operations, Inc. User initiated break-away clutching of a surgical mounting platform
CN109009440B (zh) 2012-08-15 2021-07-30 直观外科手术操作公司 由机器人手臂的手动运动控制的可移动手术安装平台
JP6012068B2 (ja) * 2012-08-28 2016-10-25 日本電気株式会社 電子機器、その制御方法及びプログラム
EP4082468A1 (en) 2012-09-17 2022-11-02 Intuitive Surgical Operations, Inc. Methods and systems for assigning input devices to teleoperated surgical instrument functions
WO2014093367A1 (en) 2012-12-10 2014-06-19 Intuitive Surgical Operations, Inc. Collision avoidance during controlled movement of image capturing device and manipulatable device movable arms
EP2938273B1 (en) 2012-12-31 2024-04-24 Intuitive Surgical Operations, Inc. Surgical staple cartridge with enhanced knife clearance
WO2014127300A1 (en) 2013-02-15 2014-08-21 Intuitive Surgical Operations, Inc. Systems and methods for synchronizing nodes of a robotic system
US10507066B2 (en) 2013-02-15 2019-12-17 Intuitive Surgical Operations, Inc. Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
US9839481B2 (en) 2013-03-07 2017-12-12 Intuitive Surgical Operations, Inc. Hybrid manual and robotic interventional instruments and methods of use
US9948852B2 (en) 2013-03-15 2018-04-17 Intuitive Surgical Operations, Inc. Intelligent manual adjustment of an image control element
JP6530368B2 (ja) 2013-03-15 2019-06-12 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 殺菌インターフェースを備える手術患者側カート
CN105208963B (zh) 2013-05-15 2018-12-04 直观外科手术操作公司 具有悬挂系统的外科手术患者侧推车
CN105188593B (zh) 2013-05-15 2018-02-23 直观外科手术操作公司 远程操作的手术系统的力传递机构
US20150035953A1 (en) * 2013-07-31 2015-02-05 Reald Inc. Electronic display numerical aberration correction
CN105431103B (zh) 2013-08-09 2018-08-17 直观外科手术操作公司 具有用于控制容纳在远侧的多个马达的远程电流控制器的医疗机器人系统
US9446517B2 (en) 2013-10-17 2016-09-20 Intuitive Surgical Operations, Inc. Fault reaction, fault isolation, and graceful degradation in a robotic system
CN106030683B (zh) 2013-12-20 2020-10-30 直观外科手术操作公司 用于医疗程序培训的模拟器系统
KR102561141B1 (ko) 2014-03-17 2023-07-31 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 진동 감소 장치를 가진 바퀴부착 카트, 그리고 관련 시스템 및 방법
WO2015142790A1 (en) 2014-03-17 2015-09-24 Intuitive Surgical Operations, Inc. Restoring instrument control input position/orientation during midprocedure restart
EP4079251A1 (en) 2014-03-17 2022-10-26 Intuitive Surgical Operations, Inc. Guided setup for teleoperated medical device
EP3119325B2 (en) 2014-03-17 2022-04-13 Intuitive Surgical Operations, Inc. Systems and methods for control of imaging instrument orientation
KR102332119B1 (ko) 2014-03-17 2021-11-29 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격 조종 의료 시스템에서 미리 설정된 암 위치를 가지는 자동화된 구조
EP3485838B1 (en) 2014-03-17 2020-07-22 Intuitive Surgical Operations Inc. Constant force spring with active bias
JP6534680B2 (ja) 2014-03-17 2019-06-26 インテュイティブ サージカル オペレーションズ， インコーポレイテッド モード移行において振動を減衰させる指令形成
WO2015142791A1 (en) 2014-03-17 2015-09-24 Intuitive Surgical Operations, Inc. Coupler to transfer motion to surgical instrument from servo actuator
US9918800B2 (en) 2014-03-17 2018-03-20 Intuitive Surgical Operations, Inc. Surgical system with obstacle indication system
WO2015142824A1 (en) 2014-03-17 2015-09-24 Intuitive Surgical Operations, Inc. Surgical drape and systems including surgical drape and attachment sensor
DE102014223181B3 (de) * 2014-11-13 2016-01-28 Carl Zeiss Meditec Ag Visualisierungsvorrichtung für einen Operationssitus
US10033308B2 (en) 2015-03-17 2018-07-24 Intuitive Surgical Operations, Inc. Systems and methods for motor torque compensation
KR102501099B1 (ko) 2015-03-17 2023-02-17 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법
KR102512881B1 (ko) 2015-06-10 2023-03-23 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 오정렬되었을 때의 마스터 대 슬레이브 배향 매핑
EP4190264A1 (en) 2015-06-11 2023-06-07 Intuitive Surgical Operations, Inc. Systems and methods for instrument engagement
CN113456241A (zh) 2015-11-12 2021-10-01 直观外科手术操作公司 具有训练或辅助功能的外科手术系统
CN108289691B (zh) 2015-11-13 2021-04-09 直观外科手术操作公司 具有二自由度腕部的推拉式缝合器
US9949798B2 (en) 2016-01-06 2018-04-24 Ethicon Endo-Surgery, Llc Methods, systems, and devices for controlling movement of a robotic surgical system
US10299880B2 (en) * 2017-04-24 2019-05-28 Truevision Systems, Inc. Stereoscopic visualization camera and platform
US20200169724A1 (en) * 2017-08-16 2020-05-28 NutriCern, Inc. Optimizing perception of stereoscopic visual content
US10555778B2 (en) * 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090268015A1 (en) * 2008-04-26 2009-10-29 Intuitive Surgical, Inc. Augmented stereoscopic visualization for a surgical robot
CN106456148A (zh) * 2014-03-19 2017-02-22 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、系统和方法
WO2017210101A1 (en) * 2016-06-03 2017-12-07 Covidien Lp Systems, methods, and computer-readable storage media for controlling aspects of a robotic surgical device and viewer adaptive stereoscopic display
US20180092706A1 (en) * 2016-10-03 2018-04-05 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery

Also Published As

Publication number Publication date
EP3781073A4 (en) 2022-01-26
US11647888B2 (en) 2023-05-16
WO2019204012A1 (en) 2019-10-24
US20210243427A1 (en) 2021-08-05
EP3781073A1 (en) 2021-02-24

Similar Documents

Publication Publication Date Title
JP2022530012A (ja) パススルー画像処理によるヘッドマウントディスプレイ
US11184597B2 (en) Information processing device, image generation method, and head-mounted display
US11697062B2 (en) Information processing apparatus and warning presentation method
US20140293007A1 (en) Method and image acquisition system for rendering stereoscopic images from monoscopic images
US11086395B2 (en) Image processing apparatus, image processing method, and storage medium
US20160295194A1 (en) Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
US11484792B2 (en) Information processing apparatus and user guide presentation method
WO2015048906A1 (en) Augmented reality system and method for positioning and mapping
US9210407B2 (en) Image processing apparatus and method, and program
EP2750607B1 (en) Live 3d x-ray viewing
JP2018050179A5 (zh)
EP3333808A1 (en) Information processing device
JP2024050696A (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
JP6649010B2 (ja) 情報処理装置
US11627303B2 (en) System and method for corrected video-see-through for head mounted displays
US10634891B2 (en) Medical observation device, lens driving control device, lens driving control method, and video microscope device
US10567656B2 (en) Medical observation device, information processing method, program, and video microscope device
JP2006287813A (ja) ３次元画像表示装置
US11647888B2 (en) Compensation for observer movement in robotic surgical systems having stereoscopic displays
US10783853B2 (en) Image provision device, method and program that adjusts eye settings based on user orientation
JP2015029215A (ja) 立体画像処理装置
EP4374241A1 (en) Calibration method of a system comprising an eye tracking device and a computing device comprising one or multiple screens
CN101843104A (zh) 在三维室内获取图像

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination