CN107249497A - 手术室和手术部位感知 - Google Patents

手术室和手术部位感知 Download PDF

Info

Publication number
CN107249497A
CN107249497A CN201680010428.1A CN201680010428A CN107249497A CN 107249497 A CN107249497 A CN 107249497A CN 201680010428 A CN201680010428 A CN 201680010428A CN 107249497 A CN107249497 A CN 107249497A
Authority
CN
China
Prior art keywords
picture
amplification
image
augmented reality
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680010428.1A
Other languages
English (en)
Other versions
CN107249497B (zh
Inventor
德怀特·梅格兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Priority to CN202110220279.4A priority Critical patent/CN113017836A/zh
Publication of CN107249497A publication Critical patent/CN107249497A/zh
Application granted granted Critical
Publication of CN107249497B publication Critical patent/CN107249497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Urology & Nephrology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)

Abstract

本公开是针对一种由用户佩戴的扩增实境头戴式装置。所述装置包含：图像捕捉装置，其被配置成捕捉手术环境的图像；以及透明镜片，其被配置成基于所述手术环境的所述图像而显示扩增图像。耦合到所述透明镜片的眼球追踪模块被配置成确定所述用户的眼睛的注视方向，其中由所述眼球追踪模块确定的所述眼睛的所述注视方向用于操纵所述扩增图像。

Description

手术室和手术部位感知
相关申请的交叉引用
本申请要求2015年2月20日提交的第62/118,841号美国临时专利申请的权益和优先权，所述美国临时专利申请的内容以全文引用的方式并入本文中。
背景技术
微创手术(MIS)已涉及使用多个小切口而非一个较大开口来执行手术。小切口减少了病人的不适和改进的恢复时间。小切口也限制了内脏、组织和其它物质的可见度。
典型手术室中的外科医生和相关工作人员在MIS或机器人手术期间通过非最优方式进行通信。外科医生的手常常被手术工具或控制台控件占据，他/她无法轻易地放下所述手术工具或控制台控件以指出他/她需要或希望手术室(OR)工作人员观察和/或介入/辅助的事物。在可能时使用语言通信(在当前机器人手术系统的情况下可能是困难的)，但这并非指示病人上、内窥镜显示器上、OR中等等的特定位置的信息丰富(information rich)方式。另外，在MIS和机器人手术期间，在手术场地是典型的仅通过内窥镜观察的手术场地的情况下，发生在视野之外的事情是未知的，这可导致器械与身体结构、其它器械等等的未观察到的碰撞。
需要改进参与手术操作的所有成员之间的通信，以便改进病人的就医结果并提高外科手术的效率和安全性。
发明内容
在本公开的一方面中，一种由用户佩戴的扩增实境头戴式装置包含：图像捕捉装置，其被配置成捕捉手术环境的图像；以及镜片，其被配置成基于所述手术环境的所述图像而显示扩增图像。眼球追踪模块耦合到所述镜片且被配置成确定所述用户的眼睛的注视方向，其中由所述眼球追踪模块确定的所述眼睛的所述注视方向用于操纵所述扩增图像。
所述扩增实境头戴式装置还可包含允许临床医师使用语音命令的麦克风。
所述图像捕捉装置可以标清、高清或超高清格式捕捉三维图像。
所述扩增图像可包含病人的生物计量数据。所述扩增图像还可包含突出显示部分，其中所述突出显示部分由所述用户的所述眼睛的所述注视来确定。
在一些实施例中，所述镜片可以是透明的。在其它实施例中，所述图像捕捉装置可安装到所述镜片的第一侧，且监控器可安装到所述镜片的与所述第一侧相反的第二侧。
在本公开的另一方面中，一种手术系统包含：手术器械；第一扩增实境头戴式显示器，其被配置成由第一用户佩戴；以及第二扩增实境头戴式显示器，其被配置成由第二用户佩戴。所述系统还包含控制器，所述控制器被配置成将第一扩增图像提供到所述第一扩增实境头戴式显示器并将第二扩增图像提供到所述第二扩增实境头戴式显示器。
在所述手术系统中，所述手术器械可以是机器人手术器械。
所述手术系统还可包含手术控制台，所述手术控制台包含机器人控制器和手势检测器。所述手势检测器被配置成检测所述第一用户的手部移动并将指示所述手部移动的信号提供到所述控制器。所述第一扩增图像包含由所述控制器提供的虚拟表示，且所述控制器基于所述信号而操纵所述虚拟表示。所述虚拟表示是病人的图像或虚拟控制面板。
所述第一扩增实境头戴式装置包含第一图像捕捉装置，所述第一图像捕捉装置被配置成捕捉手术环境的图像并将所述第一图像提供到所述控制器，其中所述控制器使用所述第一图像以产生所述第一扩增图像。所述第一扩增实境头戴式装置还包含：第一镜片，被配置成接收并显示所述第一扩增图像；以及第一眼球追踪模块，其耦合到所述第一镜片且被配置成确定所述第一用户的眼睛的注视方向。由所述第一眼球追踪模块确定的所述第一用户的所述眼睛的所述注视方向用于操纵所述第一扩增图像。
所述第二扩增实境头戴式装置包含第二图像捕捉装置，所述第二图像捕捉装置被配置成捕捉手术环境的图像并将所述第二图像提供到所述控制器，其中所述控制器使用所述第二图像以产生所述第二扩增图像。所述第二扩增实境头戴式装置还包含：第二镜片，被配置成接收并显示所述第二扩增图像；以及第二眼球追踪模块，其耦合到所述第二镜片且被配置成确定所述第二用户的眼睛的注视方向。由所述第二眼球追踪模块确定的所述第二用户的所述眼睛的所述注视方向用于操纵所述第二扩增图像。
在所述手术系统中，所述控制器从所述第一追踪模块接收所述第一用户的所述眼睛的所述注视，基于所述第一用户的所述眼睛的所述注视而突出显示所述第一扩增图像的第一部分，且突出显示所述第二扩增图像的第二部分，其中所述第二部分对应于所述第一部分。
附图说明
根据以下结合附图进行的详细描述，本公开的上述和其它方面、特征和优点将变得更加显而易见，在附图中：
图1是根据本公开的实施例的用于扩增手术环境的系统的框图；
图2是图1的控制器的系统框图；
图3是根据本公开的实施例的扩增实境头戴式显示器的透视图；
图4是手术环境的代表图；
图5是包含图3的扩增实境头戴式显示器中所展示的图像的手术环境的代表图；
图6是描绘扩增实境头戴式显示器上所展示的图像的手势控制的代表图；且
图7是根据本公开的实施例的机器人手术系统的系统框图。
具体实施方式
在外科手术期间从一个或多个手术相机捕捉的图像数据可经由扩增实境头戴式显示器(ARHMD)呈现给临床医师(例如，外科医生和/或手术室工作人员)。ARHMD在临床医师的眼睛与其周围的世界之间放置透明表面。小型显示器反射临床医师在看见世界的同时所见的透明表面。所捕捉图像数据由计算机解译以产生扩增图像，所述扩增图像适当地与临床医师看见的事物集成以扩增其正常观察到的事物。
为了进一步改进外科手术，ARHMD可包含用以监控临床医师的注视的眼球追踪器。通过监控临床医师的注视，可确定临床医师正在寻找的项目的位置并将其适当地标记在从不同视角查看同一位置的另一人的显示器中。眼球追踪还可与语音识别或其它形式的不以手为中心的意图指示(例如，特定眨眼模式)组合，使得临床医师可查看项目，指示他/她希望向别人展示同一项目，且其它人将从其视角看见所述项目。
通过使用ARHMD和计算机化监管系统，临床医师的手部和手指移动可受到监控，且临床医师可与虚拟空中控件(例如，开关、刻度盘、键盘等)交互。由此，可将复杂命令传送到计算机监管系统而不需要无菌设备。
除了临床医师能够将空间明确信息传达到同样佩戴ARHMD的其它人以外，计算机监管系统还可观察外科医生和/或工作人员的动作以及OR中的临床医师和/或工作人员所见的事物，且可情境适当地将信息注入到其视角。举例来说，在外科医生指示需要在手术机器人上改变工具的情况下。OR工作人员可具有自动放置在其相应ARHMD的显示器上的指示符，所述指示符展示新的工具所位于的地点，随后展示关于OR工作人员需要针对工具变化而将其放置的地点的指示。此类型的动作序列辅助显示器可适合于外科医生和OR工作人员的技能/经验的情境，使得仅提供适于所述手术室的辅助/引导水平。
在机器人或传统MIS手术中，器械端口还可与ARHMD一起使用。所述端口将含有与计算机视觉软件组合的相机，从而能够理解相机所见的手术部位的空间信息。分段且被解译的场景信息将根据组合来自所有端口的相机数据而导出，以提供对手术部位的全面和持续理解。基于组合的相机数据，监管计算机将对手术部位超出外科医生和/或OR工作人员通过内窥镜视角将看到的事物具有全面理解。此信息将由监管系统用于确定外科医生和/或OR工作人员可能发现有用的事物(例如，工具与身体结构在内窥镜视角之外的碰撞)，且可通过将适当的图像注入到参与手术的每个人的ARHMD上所提供的扩增图像中以空间正确方式传达此理解。
除了来自ARHMD和器械端口上的相机的数据以外，额外空间感知相机还可存在于OR中(例如，在机械臂上，或位于吊杆上，或在OR台上方的天花板上)，所述相机还可馈入到计算机视觉软件中，从而向其提供对OR台附近以及病人内的手术部位的全面综述。以此方式，可通过ARHMD而适当地使在进行有效、时间和安全性有效手术时对外科医生和OR工作人员有帮助的广泛范围的洞察可用。
除了ARHMD以外，环绕OR台安装的投影仪也可用于将ARHMDS的内容显示给不佩戴ARHMD的个体。这些投影仪将按需要允许适当的可视指示符重叠在OR台区域中的物理实体的顶部上。通过将3D深度感知相机包含在投影仪中，甚至当在弯曲表面上展示图像时，所投影的图像也可经调整以正确地呈现给观察者。
这些技术中的一种或多种可包含为手术机器人系统中的成像系统的部分，以实时地向临床医师提供关于在内窥镜视野内或之外的不明显状况和物件的额外信息。
本公开是针对用于在外科手术期间实时地将扩增图像提供给临床医师的系统和方法。本文中所描述的系统和方法可使用眼球追踪、语音识别和/或手势的组合以准许手术室工作人员有效地与其它手术室工作人员通信。
关于本文中所描述的进行中外科手术的显示器、交互监控和自动智能蒸馏的系统为在MIS和机器人外科手术中工作的外科医生和OR工作人员提供优于当前情形的多个益处。装备有视线追踪的ARHMD的佩戴者可在OR或手术部位中向佩戴ARHMD的另一人确切展示其关注的事物。这允许在外科医生与OR工作人员之间可靠地传送位置中心信息的具体通信，这改进了效率和安全性。
此通信方法还允许位置中心通信，而不要求参与者将手从无菌装置中移开，从而再次改进了手术效率。手/手势追踪/解译的使用还允许将命令给予手术系统而不要求额外的无菌调节，从而再次改进了手术效率。这些命令可导致特定ARHMD的说明性标注自动起始以协调动作，例如手术机器人上的工具变化。引导水平可调整到特定团体成员的技能/经验水平增强了手术的效率和安全性。
对手术部位处的工具动作的自动理解和对外科医生和/或OR工作人员保证注意的问题的后续通知将改进手术的效率和安全性。举例来说，可避免无意的工具-组织接触。手术部位的自动考评的另一益处是，可注意所放置的例如海绵的物件且在手术结束时检查其移除，进而提高手术的安全性。
转向图1，根据本公开的实施例的用于扩增手术环境的系统大体上展示为100。系统100包含控制器102，控制器102具有处理器104和存储器106。存储器106存储由处理器104执行的监管软件。系统100还包含记录静止帧图像或移动图像的图像捕捉装置108，例如，相机。一个或多个图像捕捉装置108可放置在手术环境中的一个或多个位置中，所述位置包含(但不限于)手术台上方、手术工具上、机器人手术系统的各种部分上等。传感器阵列110将关于手术环境的信息提供到控制器102。举例来说，传感器阵列110包含能够获得病人的生物计量数据(例如，脉搏、温度、血压、血氧水平、心律等)的生物计量传感器。显示器112在外科手术期间将扩增图像显示给临床医师。在一些实施例中，控制器102可经由无线或有线连接与中心服务器(未图示)通信。中心服务器可存储一个或多个病人的图像，所述图像可使用x射线、计算机断层扫描或磁共振成像来获得。
由一个或多个图像捕捉设备108捕捉的图像提供到控制器102以提供对提供到显示器112的手术环境的全面综述。全面综述可提供广泛范围的洞察以辅助一个或多个临床医师进行高效且安全的外科手术。
图2描绘控制器102的系统框图。如图2中所展示，控制器102包含被配置成接收静止帧图像、视频或数据的收发器114。在一些实施例中，收发器114可包含用以经由无线通信协议接收静止帧图像、视频或数据的天线。静止帧图像、视频或数据被提供到处理器104。处理器104包含处理所接收到的静止帧图像、视频或数据以产生扩增图像或视频的图像处理滤波器116。图像处理滤波器116可使用离散组件、软件或其组合来实施。扩增图像或视频被提供到显示器112。
图3描绘呈ARHMD 118形式的显示器112的实例。如图3中所展示，ARHMD 118包含透明镜片显示器120，当佩戴时，透明镜片显示器120位于临床医师的眼睛与手术环境之间。ARHMD 118还包含能够在手术环境中拍摄静止或移动图像的图像捕捉装置122。由图像捕捉装置122捕捉的图像在显示在透明镜片显示器120上之前由控制器102解译并被扩增。图像捕捉装置122可拍摄标清、高清和/或超高清的三维图像。三维图像经处理以形成扩增图像，从而允许临床医师感知扩增图像的深度。
ARHMD 118还包含被配置成追踪佩戴ARHMD 118的临床医师的眼球移动的眼球追踪模块124。眼球追踪模块124发出从眼睛反射且由相机或任何其它光学传感器检测到的光。由控制器102分析所检测到的反射光以从反射的变化提取眼球旋转。在一些实施例中，控制器102可使用角膜反射和光瞳的中心作为随时间追踪的特征。在其它实施例中，使用来自角膜前方和镜片后方的反射来追踪眼球移动。在又其它实施例中，来自眼睛内部的特征(例如，视网膜血管)跟随眼球旋转。这些眼球追踪方法能够追踪临床医师的注视，使得控制器102可确定临床医师的所关注位置。眼球追踪模块124还能够解译不以手为中心的意图指示，例如眨眼模式。
ARHMD 118还可包含用以从临床医师接收语音命令的麦克风126，下文将更详细地描述这一点。
图4描绘利用本文中所描述的实施例的手术环境。如在图4中可见，手术环境包含佩戴ARHMD 118a的外科医生和佩戴另一ARHMD 118b的手术室(OR)工作人员。外科医生使用手术控制台128来操作机器人手术器械126。机器人手术器械126可以是任何已知的机器人手术器械。手术控制台128包含被配置成将命令发送到机器人手术器械126的机器人控制器130。机器人控制器130可经由任何常规方法将命令传输到机器人手术器械126。
手术控制台还包含被配置成检测临床医师的手势的手势检测器132。
图5描绘包含ARHMDs 118a和118b中所展示的图像的手术环境。如图5中所展示，ARHMD 118a描绘由安置在手术工具136上的图像捕捉装置(例如，图像捕捉装置108)拍摄的病人的扩增图像134。在此实例中，图像134是病人在微创外科手术期间的腹腔镜图。在手术期间，外科医生可意识到需要替换手术工具136或缝合钉或夹具药筒(clip cartridge)可能被迅速耗尽。举例来说，眼球追踪模块124将外科医生的注视追踪到屏幕138，且确切地说，眼球追踪模块124将外科医生的注视追踪到屏幕138的指示工具状态的部分140。眼球追踪模块124将接着将信号传输到控制器102，控制器102将在扩增图像中突出显示部分140，并将具有突出显示部分140的扩增图像提供到ARHMD 118a和118b两者。在ARHMD 118b上所展示的扩增图像142(其从佩戴ARHMD 118b的人的视角显示扩增图像)中，屏幕138将具有指示需要替换手术工具136或缝合钉或夹具药筒可能被迅速耗尽的突出显示部分140。在一些实施例中，图像142将从OR工作人员的视角突出显示手术工具136的图像144，使得OR工作人员将被告知需要替换所有手术工具136或手术工具136的一部分。因为操作机器人手术器械126的外科医生常常处于非无菌环境中，所以使用ARHMD 118a允许外科医生容易地与OR工作人员通信并准许OR工作人员意识到可能需要新的缝合钉或夹具药筒或手术工具。
在一些实施例中，外科医生还可环顾OR以搜索特定项目。在外科医生的注视落在ARHMD 118a上所展示的扩增图像中的项目上后，通过使用语音命令、眨眼模式或任何其它形式的命令，OR工作人员的ARMHD 118b将从其个别视角在ARHMD 118b上所展示的扩增图像中突出显示所述项目。
在其它实施例中，ARHMD 118a和118b可从控制器102接收扩增图像，所述扩增图像是根据组合来自所有图像捕捉设备108的图像数据而导出，以提供对手术部位的全面和持续理解。基于组合的图像数据，控制器102将对手术部位超出外科医生和/或OR工作人员通过内窥镜视角将看到的事物具有全面理解。此信息将由控制器102用于确定外科医生和/或OR工作人员可能发现有用的事物(例如，工具与身体结构在内窥镜视角之外的碰撞)，且可在ARHMD 118a或118b上所提供的扩增图像中以空间正确方式传达此理解。
图6描绘监控手部和手指手势以提供佩戴ARHMD 118a的临床医师与控制器102之间的更详细交互的手术环境。控制器102获得先前已获得的图像146，且在扩增图像148中显示图像146的虚拟表示150。临床医师查看ARHMD 118a上的虚拟表示150，且通过使用他的手和/或手指，临床医师可操纵虚拟表示150。确切地说，手势检测器132检测外科医生的手部和/或手指移动，并将指示此类移动的信号传输到控制器102。控制器102空间解析所检测到的手部和/或手指移动以及虚拟表示150以操纵虚拟表示150。举例来说，临床医师可收缩他的手指以放大图像，或分开他的手指以缩小图像。临床医师可指向虚拟表示150中的特定图像以突出显示所述图像。
在一些实施例中，虚拟控制面板可展示在ARHMD 118a上，使得临床医师可与虚拟/空中控件交互，所述控件例如(但不限于)用于电外科或机电器械的开关或刻度盘，或虚拟键盘。使用虚拟/空中控件减少了OR中所需的无菌设备的数目。如上文所描述，手势检测器132将检测外科医生的手部和/或手指移动，并将指示此类移动的信号传输到控制器102。控制器102将空间解析所检测到的手部和/或手指移动以及虚拟/空中控件以基于临床医师的手部和/或手指移动而执行命令。
如图7中所展示，机器人手术系统200可与紧邻手术室或位于远程位置的一个或多个控制台202结合使用。在此实例中，一个团体的临床医师或护士可使病人对手术作好准备，并用一个或多个器械204配置机器人手术系统200，而另一临床医师(或一组临床医师)经由机器人手术系统远程控制器械。如可了解，高度熟练的临床医师可在多个位置执行多个操作而不离开他/她的远程控制台，这在经济上有利，且对于病人或一系列病人也是有益的。
手术系统200的机器人臂206通常通过控制器210耦合到一对主手柄208。控制器210可与控制台202整合，或作为手术室内的独立装置而提供。手柄206可由临床医师移动以产生附接到机器人臂206的任何类型的手术器械204(例如，探针、末端执行器、抓钳、刀片、剪刀等)的工作端的对应移动。举例来说，手术器械204可以是包含图像捕捉装置的探针。探针插入到病人体内以便在外科手术期间捕捉病人体内的关注区的图像。在显示器212上将图像显示给临床医师之前，由控制器210将图像处理滤波器116中的一个或多个应用于所捕捉图像。
可缩放主手柄208的移动，使得工作端的对应移动不同于(小于或大于)通过临床医师的操作手执行的移动。可调整标度因子或齿轮比率(gearing ratio)，使得操作者可控制手术器械204的工作端的分辨率。
在手术系统200的操作期间，主手柄208由临床医师操作以产生机器人臂206和/或手术器械204的对应移动。主手柄208将信号提供到控制器208，控制器208接着将对应信号提供到一个或多个驱动电机214。一个或多个驱动电机214耦合到机器人臂206，以便移动机器人臂206和/或手术器械204。
主手柄208可包含各种触觉216，触觉216用以将与各种组织参数或状况(例如，归因于操纵的组织抗性、切割或以其它方式治疗、通过器械压在组织上、组织温度、组织阻抗等)相关的反馈提供给临床医师。如可了解，此类触觉216向临床医师提供模拟实际操作状况的增强的触觉反馈。触觉216可包含振动电机、电活性聚合物、压电装置、静电装置、次声波音频波表面致动装置、反向电振动或能够将触觉反馈提供给用户的任何其它装置。主手柄208还可包含多种不同致动器218，其用于精细组织操纵或治疗，从而进一步增强临床医师模仿实际操作状况的能力。
在本文中所描述的实施例中，ARHMD 118包含透明镜片显示器120。然而，不具有透明显示器的ARHMD还可与本文中所描述的实施例一起使用。举例来说，ARHMD可具有一个或多个镜片，其中每个镜片包含附接到镜片前方的相机以捕捉手术环境的图像。在图像进行本文中所描述的图像处理技术中的一种或多种后，所处理或扩增图像显示在附接到遮挡用户视线的镜片后方的监控器上。因此，在将所捕捉图像显示给用户之前，可操纵所捕捉图像。
本文中所公开的实施例是本公开的实例，且可以各种形式体现。本文中所公开的特定结构和功能细节不应被解释为限制性的，而是应被解释为权利要求书的基础，和用于教示所属领域的技术人员以实际上任何适当详细结构不同地使用本公开的代表性基础。类似参考数字可贯穿图式的描述指代类似或相同元件。
短语“在实施例中”、“在一些实施例中”或“在其它实施例中”可各自指代根据本公开的相同或不同实施例中的一个或多个。采用“A或B”形式的短语意味着“(A)、(B)或(A和B)”。采用“A、B或C中的至少一个”形式的短语意味着“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)”。临床医师可指代执行医疗手术的临床医师或任何医疗专业人员，例如医生、护士、技术员、医疗助理等等)。
本文中所描述的系统还可利用一个或多个控制器来接收各种信息并转化所接收到的信息以产生输出。控制器可包含任何类型的计算装置、计算电路，或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可包含多个处理器和/或多核中央处理单元(CPU)，且可包含任何类型的处理器，例如微处理器、数字信号处理器、微控制器等等。控制器还可包含用以存储数据和/或算法以执行一系列指令的存储器。
本文中所描述方法、程序、算法或代码中的任一种可转换成编程语言或计算机程序或以编程语言或计算机程序表达。“编程语言”和“计算机程序”包含用于将指令指定给计算机的任何语言，且包含(但不限于)这些语言和其派生语言：汇编程序、Basic、批处理文件、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、帕斯卡、Perl、PL1、脚本语言、Visual Basic、自身指定程序的元语言，以及所有第一代、第二代、第三代、第四代和第五代计算机语言。还包含数据库和其它数据模式，以及任何其它元语言。不对被解译、编译或使用经编译和解译方法两者的语言进行区分。也不对程序的编译版本与源版本进行区分。因此，提及编程语言可以多于一种状态存在(例如，源、经编译、对象或经链接)的程序是对任何和所有此类状态的提及。对程序的提及可涵盖实际指令和/或那些指令的意图。
本文中所描述方法、程序、算法或代码中的任一个可包含在一个或多个机器可读媒体或存储器上。术语“存储器”可包含以可由机器此类处理器、计算机或数字处理装置读取的形式提供(例如，存储和/或传输)信息的机制。举例来说，存储器可包含只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储媒体、光学存储媒体、闪存装置，或任何其它易失性或非易失性存储器存储装置。包含在其上的代码或指令可由载波信号、红外信号、数字信号和其它类似信号表示。
应理解，前述描述仅说明本公开。所属领域的技术人员在不脱离本公开的情况下可以设计各种替代和修改。举例来说，本文中所描述的扩增图像中的任一个可合并到待显示给临床医师的单个扩增图像中。因此，本公开意图涵盖所有此类替代、修改和变化。呈现参考所附图式所描述的实施例仅为了展现本公开的某些实例。与上文所描述和/或所附权利要求书中的元件、步骤、方法和技术无实质不同的其它元件、步骤、方法和技术也意图在本公开的范围内。

Claims (17)

1.一种由用户佩戴的扩增实境头戴式装置，其包括：
图像捕捉装置，其被配置成捕捉手术环境的图像；
镜片，其被配置成基于所述手术环境的所述图像而显示扩增图像；以及
眼球追踪模块，其耦合到镜片显示器且被配置成确定所述用户的眼睛的注视方向，
其中由所述眼球追踪模块确定的所述眼睛的所述注视方向用于操纵所述扩增图像。
2.根据权利要求1所述的扩增实境头戴式装置，其进一步包括麦克风。
3.根据权利要求1所述的扩增实境头戴式装置，其中所述图像捕捉装置捕捉三维图像。
4.根据权利要求1所述的扩增实境头戴式装置，其中所述扩增图像包含病人的生物计量数据。
5.根据权利要求1所述的扩增实境头戴式装置，其中所述扩增图像包含突出显示部分，其中所述突出显示部分由所述用户的所述眼睛的所述注视来确定。
6.根据权利要求1所述的扩增实境头戴式装置，其中所述镜片是透明的。
7.根据权利要求1所述的扩增实境头戴式装置，其中所述图像捕捉装置被安装到所述镜片的第一侧，且监控器被安装到所述镜片的与所述第一侧相反的第二侧。
8.一种手术系统，其包括：
手术器械；
第一扩增实境头戴式显示器，其被配置成由第一用户佩戴；
第二扩增实境头戴式显示器，其被配置成由第二用户佩戴；以及
控制器，其被配置成将第一扩增图像提供到所述第一扩增实境头戴式显示器并将第二扩增图像提供到所述第二扩增实境头戴式显示器。
9.根据权利要求8所述的手术系统，其中所述手术器械是机器人手术器械。
10.根据权利要求9所述的手术系统，其进一步包括手术控制台，所述手术控制台包含机器人控制器和手势检测器。
11.根据权利要求10所述的手术系统，其中所述手势检测器被配置成检测所述第一用户的手部移动并将指示所述手部移动的信号提供到所述控制器。
12.根据权利要求11所述的手术系统，其中所述第一扩增图像包含由所述控制器提供的虚拟表示，且所述控制器基于所述信号而操纵所述虚拟表示。
13.根据权利要求12所述的手术系统，其中所述虚拟表示是病人的图像。
14.根据权利要求12所述的手术系统，其中所述虚拟表示是虚拟控制面板。
15.根据权利要求8所述的手术系统，其中所述第一扩增实境头戴式装置包含：
第一图像捕捉装置，其被配置成捕捉手术环境的图像并将所述第一图像提供到所述控制器，其中所述控制器使用所述第一图像以产生所述第一扩增图像；
第一镜片，其被配置成接收并显示所述第一扩增图像；以及
第一眼球追踪模块，其耦合到所述第一镜片且被配置成确定所述第一用户的眼睛的注视方向，
其中由所述第一眼球追踪模块确定的所述第一用户的所述眼睛的所述注视方向用于操纵所述第一扩增图像。
16.根据权利要求15所述的手术系统，其中所述第二扩增实境头戴式装置包含：
第二图像捕捉装置，其被配置成捕捉手术环境的图像并将所述第二图像提供到所述控制器，其中所述控制器使用所述第二图像以产生所述第二扩增图像；
第二镜片，其被配置成接收并显示所述第二扩增图像；以及
第二眼球追踪模块，其耦合到所述第二镜片且被配置成确定所述第二用户的眼睛的注视方向，
其中由所述第二眼球追踪模块确定的所述第二用户的所述眼睛的所述注视方向用于操纵所述第二扩增图像。
17.根据权利要求16所述的手术系统，其中所述控制器从所述第一追踪模块接收所述第一用户的所述眼睛的所述注视方向，基于所述第一用户的所述眼睛的所述注视方向而突出显示所述第一扩增图像的第一部分，且突出显示所述第二扩增图像的第二部分，其中所述第二部分对应于所述第一部分。
CN201680010428.1A 2015-02-20 2016-01-22 手术室和手术部位感知 Active CN107249497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110220279.4A CN113017836A (zh) 2015-02-20 2016-01-22 手术室和手术部位感知

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562118841P 2015-02-20 2015-02-20
US62/118,841 2015-02-20
PCT/US2016/014419 WO2016133644A1 (en) 2015-02-20 2016-01-22 Operating room and surgical site awareness

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110220279.4A Division CN113017836A (zh) 2015-02-20 2016-01-22 手术室和手术部位感知

Publications (2)

Publication Number Publication Date
CN107249497A true CN107249497A (zh) 2017-10-13
CN107249497B CN107249497B (zh) 2021-03-16

Family

ID=56689022

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680010428.1A Active CN107249497B (zh) 2015-02-20 2016-01-22 手术室和手术部位感知
CN202110220279.4A Pending CN113017836A (zh) 2015-02-20 2016-01-22 手术室和手术部位感知

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110220279.4A Pending CN113017836A (zh) 2015-02-20 2016-01-22 手术室和手术部位感知

Country Status (5)

Country Link
US (2) US10908681B2 (zh)
EP (1) EP3258876B1 (zh)
JP (3) JP6709796B2 (zh)
CN (2) CN107249497B (zh)
WO (1) WO2016133644A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108392269A (zh) * 2017-12-29 2018-08-14 广州布莱医疗科技有限公司 一种手术辅助方法及手术辅助机器人
CN109875691A (zh) * 2019-03-16 2019-06-14 韩志勇 面向微创手术体表投影调整方法的轴调整方法
CN110989203A (zh) * 2019-11-28 2020-04-10 四川泛华航空仪表电器有限公司 一种360度视野的眼镜及其使用方法
CN111487946A (zh) * 2019-01-29 2020-08-04 发那科株式会社 机器人系统
CN111616803A (zh) * 2019-12-17 2020-09-04 柯惠Lp公司 具有用户接合监视的机器人手术系统
US11029753B2 (en) 2019-11-05 2021-06-08 XRSpace CO., LTD. Human computer interaction system and human computer interaction method
CN113038902A (zh) * 2018-11-14 2021-06-25 任昇俊 利用扩增实境的手术辅助装置
CN113100931A (zh) * 2020-01-09 2021-07-13 Bhs科技有限公司 用于控制医学成像装置的头戴式显示系统和方法
CN114041103A (zh) * 2019-05-29 2022-02-11 直观外科手术操作公司 用于计算机辅助手术系统的操作模式控制系统和方法
WO2023165568A1 (en) * 2022-03-02 2023-09-07 Fu Jen Catholic University Surgical navigation system and method thereof

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866783B2 (en) * 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
US11561762B2 (en) * 2011-08-21 2023-01-24 Asensus Surgical Europe S.A.R.L. Vocally actuated surgical control system
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10761599B2 (en) * 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
US10646289B2 (en) * 2015-12-29 2020-05-12 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
WO2017165301A1 (en) 2016-03-21 2017-09-28 Washington University Virtual reality or augmented reality visualization of 3d medical images
CN115177208A (zh) * 2016-05-09 2022-10-14 奇跃公司 用于用户健康分析的增强现实系统和方法
US11071596B2 (en) 2016-08-16 2021-07-27 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
WO2018052966A1 (en) * 2016-09-16 2018-03-22 Zimmer, Inc. Augmented reality surgical technique guidance
CN108289600A (zh) 2016-10-03 2018-07-17 威博外科公司 用于机器人外科手术的沉浸式三维显示器
EP3538012A4 (en) * 2016-11-11 2020-07-15 Intuitive Surgical Operations Inc. TELE-OPERATED SURGICAL SYSTEM WITH INSTRUMENT CONTROL BASED ON THE COMPETENCE LEVEL OF SURGERY
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US10568701B2 (en) 2016-12-19 2020-02-25 Ethicon Llc Robotic surgical system with virtual control panel for tool actuation
CN116230153A (zh) * 2017-01-11 2023-06-06 奇跃公司 医疗助理
US10638080B2 (en) 2017-01-30 2020-04-28 Alcon Inc. Systems and method for augmented reality ophthalmic surgical microscope projection
CA3055941C (en) * 2017-03-13 2023-06-20 Zimmer, Inc. Augmented reality diagnosis guidance
US9892564B1 (en) * 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
EP3612123A4 (en) * 2017-04-20 2021-01-13 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR RESTRICTING A SURGICAL SYSTEM WITH VIRTUAL REALITY
EP3318214B1 (en) * 2017-04-21 2020-04-15 Siemens Healthcare GmbH Medical imaging device with smartglasses and method for supporting a person using a medical imaging device
WO2018210656A1 (en) * 2017-05-16 2018-11-22 Koninklijke Philips N.V. Augmented reality for collaborative interventions
US10678338B2 (en) 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
WO2019083805A1 (en) 2017-10-23 2019-05-02 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PRESENTING ENHANCED REALITY ON A SCREEN OF A TELEOPERATION SYSTEM
WO2019091875A1 (en) * 2017-11-07 2019-05-16 Koninklijke Philips N.V. Augmented reality triggering of devices
EP3707581A1 (en) * 2017-11-07 2020-09-16 Koninklijke Philips N.V. Augmented reality drag and drop of objects
US11857152B2 (en) * 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
WO2019139931A1 (en) 2018-01-10 2019-07-18 Covidien Lp Guidance for placement of surgical ports
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
CN112236077A (zh) * 2018-06-04 2021-01-15 巴德阿克塞斯系统股份有限公司 用于使解剖可视化、定位医疗设备或放置医疗设备的系统和方法
EP3621086A1 (en) * 2018-09-06 2020-03-11 Koninklijke Philips N.V. Augmented reality user guidance during examinations or interventional procedures
US11204677B2 (en) * 2018-10-22 2021-12-21 Acclarent, Inc. Method for real time update of fly-through camera placement
EP3689229A1 (en) * 2019-01-30 2020-08-05 DENTSPLY SIRONA Inc. Method and system for visualizing patient stress
US20200405402A1 (en) * 2019-06-27 2020-12-31 Covidien Lp Touchless button control of surgical instrument using augmented reality
US10758309B1 (en) 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
WO2021016429A1 (en) * 2019-07-25 2021-01-28 Tornier, Inc. Positioning a camera for perspective sharing of a surgical site
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
AU2021210962A1 (en) 2020-01-22 2022-08-04 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
KR102378114B1 (ko) * 2020-04-01 2022-03-24 고려대학교 산학협력단 증강 현실을 이용한 수술 가이드 방법 및 장치
US11945123B2 (en) * 2020-04-28 2024-04-02 Altec Industries, Inc. Head mounted display for remote operation of machinery
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
WO2021226134A1 (en) * 2020-05-04 2021-11-11 Raytrx, Llc Surgery visualization theatre
US11196944B2 (en) * 2020-05-06 2021-12-07 At&T Intellectual Property I, L.P. System for infinite windows with optical disparity and depth resolution
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11922581B2 (en) * 2020-05-08 2024-03-05 Coviden Lp Systems and methods of controlling an operating room display using an augmented reality headset
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11877792B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Smart energy combo control options
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US11911030B2 (en) 2020-10-02 2024-02-27 Cilag Gmbh International Communication capability of a surgical device with component
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US20220104896A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Interactive information overlay on multiple surgical displays
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11883052B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International End effector updates
US11883022B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US20220104694A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Control of a display outside the sterile field from a device within the sterile field
EP4262607A4 (en) * 2020-12-15 2024-06-05 Point 2 Point Production Ltd MEDICAL TELETREATMENT SYSTEM AND METHOD THEREFOR
WO2022204506A1 (en) * 2021-03-26 2022-09-29 C. R. Bard, Inc. Medical device projection system
EP4276586A1 (en) * 2022-05-12 2023-11-15 Koninklijke Philips N.V. Providing information about an area of interest
US11742108B1 (en) 2022-07-28 2023-08-29 Altec Industries, Inc. Operation and insulation techniques
US11749978B1 (en) 2022-07-28 2023-09-05 Altec Industries, Inc. Cross-arm phase-lifter
US11717969B1 (en) 2022-07-28 2023-08-08 Altec Industries, Inc. Cooperative high-capacity and high-dexterity manipulators
US11839962B1 (en) 2022-07-28 2023-12-12 Altec Industries, Inc. Rotary tool for remote power line operations
US11689008B1 (en) 2022-07-28 2023-06-27 Altec Industries, Inc. Wire tensioning system
US11660750B1 (en) 2022-07-28 2023-05-30 Altec Industries, Inc. Autonomous and semi-autonomous control of aerial robotic systems
US11697209B1 (en) 2022-07-28 2023-07-11 Altec Industries, Inc. Coordinate mapping for motion control
US11997429B2 (en) 2022-07-28 2024-05-28 Altec Industries, nc. Reducing latency in head-mounted display for the remote operation of machinery
US11794359B1 (en) 2022-07-28 2023-10-24 Altec Industries, Inc. Manual operation of a remote robot assembly
EP4345838A1 (en) * 2022-09-29 2024-04-03 Koninklijke Philips N.V. Visualizing an indication of a location in a medical facility

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206583A1 (en) * 1996-10-02 2005-09-22 Lemelson Jerome H Selectively controllable heads-up display system
US20130267838A1 (en) * 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
CN103561635A (zh) * 2011-05-11 2014-02-05 谷歌公司 视线追踪系统
US20140275760A1 (en) * 2013-03-13 2014-09-18 Samsung Electronics Co., Ltd. Augmented reality image display system and surgical robot system comprising the same
CN104067160A (zh) * 2011-11-22 2014-09-24 谷歌公司 使用眼睛跟踪在显示屏中使图像内容居中的方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3065702B2 (ja) * 1991-04-23 2000-07-17 オリンパス光学工業株式会社 内視鏡システム
US5836869A (en) * 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
JP2000231625A (ja) * 1999-02-12 2000-08-22 Sanyo Electric Co Ltd 指示情報伝達装置
JP2001104331A (ja) * 1999-10-06 2001-04-17 Olympus Optical Co Ltd 医療用顔面装着型映像表示装置
WO2002029700A2 (en) 2000-10-05 2002-04-11 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US7331929B2 (en) * 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
WO2012044334A2 (en) * 2009-11-13 2012-04-05 Intuitive Surgical Operations, Inc. Method and apparatus for hand gesture control in a minimally invasive surgical system
JP5530234B2 (ja) * 2010-03-29 2014-06-25 オリンパス株式会社 操作入力装置およびマニピュレータシステム
JP5704833B2 (ja) * 2010-05-10 2015-04-22 オリンパス株式会社 操作入力装置およびマニピュレータシステム
US20130021374A1 (en) * 2011-07-20 2013-01-24 Google Inc. Manipulating And Displaying An Image On A Wearable Computing System
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US20130342572A1 (en) 2012-06-26 2013-12-26 Adam G. Poulos Control of displayed content in virtual environments
JP2016032485A (ja) * 2012-12-27 2016-03-10 国立大学法人 東京医科歯科大学 内視鏡下手術支援システム及び画像制御方法
JP6299067B2 (ja) 2013-02-14 2018-03-28 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
RU2621488C2 (ru) 2013-02-14 2017-06-06 Сейко Эпсон Корпорейшн Укрепляемый на голове дисплей и способ управления для укрепляемого на голове дисплея
WO2014145166A2 (en) 2013-03-15 2014-09-18 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
US9285587B2 (en) * 2013-03-15 2016-03-15 Inrix, Inc. Window-oriented displays for travel user interfaces
JP6252004B2 (ja) * 2013-07-16 2017-12-27 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
US10405786B2 (en) * 2013-10-09 2019-09-10 Nedim T. SAHIN Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
US9936916B2 (en) * 2013-10-09 2018-04-10 Nedim T. SAHIN Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2016199699A1 (ja) * 2015-06-12 2016-12-15 株式会社ソニー・インタラクティブエンタテインメント 制御装置、制御方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206583A1 (en) * 1996-10-02 2005-09-22 Lemelson Jerome H Selectively controllable heads-up display system
CN103561635A (zh) * 2011-05-11 2014-02-05 谷歌公司 视线追踪系统
CN104067160A (zh) * 2011-11-22 2014-09-24 谷歌公司 使用眼睛跟踪在显示屏中使图像内容居中的方法
US20130267838A1 (en) * 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
US20140275760A1 (en) * 2013-03-13 2014-09-18 Samsung Electronics Co., Ltd. Augmented reality image display system and surgical robot system comprising the same

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108392269B (zh) * 2017-12-29 2021-08-03 广州布莱医疗科技有限公司 一种手术辅助方法及手术辅助机器人
CN108392269A (zh) * 2017-12-29 2018-08-14 广州布莱医疗科技有限公司 一种手术辅助方法及手术辅助机器人
CN113038902B (zh) * 2018-11-14 2022-03-11 任昇俊 利用扩增实境的手术辅助装置
CN113038902A (zh) * 2018-11-14 2021-06-25 任昇俊 利用扩增实境的手术辅助装置
CN111487946B (zh) * 2019-01-29 2024-03-29 发那科株式会社 机器人系统
CN111487946A (zh) * 2019-01-29 2020-08-04 发那科株式会社 机器人系统
CN109875691A (zh) * 2019-03-16 2019-06-14 韩志勇 面向微创手术体表投影调整方法的轴调整方法
CN112674882A (zh) * 2019-03-16 2021-04-20 韩志勇 面向微创手术体表投影轴调整的偏移方向判断方法
CN109875691B (zh) * 2019-03-16 2021-04-06 孔祥瑞 面向微创手术体表投影调整方法的轴调整方法
CN112674882B (zh) * 2019-03-16 2022-05-06 济南康铭生物技术有限公司 面向微创手术体表投影轴调整的偏移方向判断方法
CN114041103A (zh) * 2019-05-29 2022-02-11 直观外科手术操作公司 用于计算机辅助手术系统的操作模式控制系统和方法
US11029753B2 (en) 2019-11-05 2021-06-08 XRSpace CO., LTD. Human computer interaction system and human computer interaction method
CN110989203A (zh) * 2019-11-28 2020-04-10 四川泛华航空仪表电器有限公司 一种360度视野的眼镜及其使用方法
CN111616803B (zh) * 2019-12-17 2023-08-15 柯惠Lp公司 具有用户接合监视的机器人手术系统
CN111616803A (zh) * 2019-12-17 2020-09-04 柯惠Lp公司 具有用户接合监视的机器人手术系统
CN113100931A (zh) * 2020-01-09 2021-07-13 Bhs科技有限公司 用于控制医学成像装置的头戴式显示系统和方法
WO2023165568A1 (en) * 2022-03-02 2023-09-07 Fu Jen Catholic University Surgical navigation system and method thereof

Also Published As

Publication number Publication date
JP2018511359A (ja) 2018-04-26
EP3258876A4 (en) 2018-12-26
US10908681B2 (en) 2021-02-02
CN107249497B (zh) 2021-03-16
EP3258876A1 (en) 2017-12-27
JP2021100690A (ja) 2021-07-08
EP3258876B1 (en) 2023-10-18
JP2020049296A (ja) 2020-04-02
WO2016133644A1 (en) 2016-08-25
CN113017836A (zh) 2021-06-25
JP6709796B2 (ja) 2020-06-17
US20180032130A1 (en) 2018-02-01
US20210157403A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
CN107249497A (zh) 手术室和手术部位感知
US11147640B2 (en) Medical devices, systems, and methods using eye gaze tracking
CN110200702B9 (zh) 集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法
JP7046912B2 (ja) 遠隔操作医療システムにおけるオンスクリーンメニューのためのシステム及び方法
KR20180068336A (ko) 훈련 또는 보조 기능들을 갖는 수술 시스템
CN109890311A (zh) 在计算机辅助远程操作外科手术中的可重新配置的显示器
US11960645B2 (en) Methods for determining if teleoperation should be disengaged based on the user's gaze
Staub et al. Human-computer interfaces for interaction with surgical tools in robotic surgery
WO2017151904A1 (en) Methods and systems for anatomical image registration
CN112384339A (zh) 用于主机/工具配准和控制以进行直观运动的系统和方法
CN109996510A (zh) 用于控制具有可铰接远侧部分的工具的系统和方法
JP2023507063A (ja) 手術中に画像取込装置を制御するための方法、装置、およびシステム
CN114845618A (zh) 计算机辅助手术系统、手术控制设备和手术控制方法
Mattos et al. Microsurgery systems
Kogkas A gaze-contingent framework for perceptually-enabled applications in healthcare
WO2024020223A1 (en) Changing mode of operation of an instrument based on gesture detection
BARONE Vision based control for robotic scrub nurse

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant