CN110650704B - 用于检测图像捕获装置的视野内的物体的系统和方法 - Google Patents

用于检测图像捕获装置的视野内的物体的系统和方法 Download PDF

Info

Publication number
CN110650704B
CN110650704B CN201880033983.5A CN201880033983A CN110650704B CN 110650704 B CN110650704 B CN 110650704B CN 201880033983 A CN201880033983 A CN 201880033983A CN 110650704 B CN110650704 B CN 110650704B
Authority
CN
China
Prior art keywords
surgical instrument
view
camera
field
surgical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880033983.5A
Other languages
English (en)
Other versions
CN110650704A (zh
Inventor
威廉·派纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of CN110650704A publication Critical patent/CN110650704A/zh
Application granted granted Critical
Publication of CN110650704B publication Critical patent/CN110650704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973—Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/742—Joysticks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/743—Keyboards
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A61B2034/744—Mouse
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0807—Indication means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3618—Image-producing devices, e.g. surgical cameras with a mirror
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
    • A61B2090/3975—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/71—Manipulators operated by drive cable mechanisms

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Manipulator (AREA)
  • Endoscopes (AREA)

Abstract

方法、系统和计算机可读介质跟踪一个或多个外科手术器械的位置。该方法包括：检测在摄像机的视野内设置在第一外科手术器械的远端上的多个标记；基于所述摄像机的所述视野内的所述多个标记的位置，计算所述第一外科手术器械的位置；确定所述第一外科手术器械相对于第二外科手术器械的所述位置。

Description

用于检测图像捕获装置的视野内的物体的系统和方法
背景技术
机器人外科手术系统越来越多地用于微创医疗手术中。通常，机器人外科手术系统包含外科医生控制台，所述外科医生控制台远离一个或多个机器人臂定位，外科手术器械和/或摄像机联接到所述机器人臂。外科医生控制台可以在另一个房间或另一个建筑物中从机器人臂定位在手术室的另外一侧，并且包含输入手柄或用于接收来自外科医生的输入的其它输入装置。输入被传送到中央控制器，所述中央控制器将输入转换成用于操纵患者附近的机器人臂的命令。
为了观察手术部位，外科医生控制台可以包含立体显示器，有时被称为三维(3D)显示器。在一些配置中，结合外科医生佩戴的对应的一副立体眼镜，这样的显示器通过将图像作为分别提供给左眼和右眼的一对不同图像呈现给外科医生并复制左眼与右眼之间偏移的影响(这导致每只眼睛在显示器中看到的内容都会有所不同)来促进图像中的深度感知。每只眼睛在显示器中看到的不同图像被感知为图像中物体深度的差异。在其它配置中，观看立体显示器不需要眼镜。
立体显示器提供通过机器人外科手术系统从手术部位提供的图像。在机器人外科手术系统的一些配置中，每个机器人臂，包含附接有一个或多个摄像机的机器人臂从其自己的基座或手推车延伸。在外科手术前的准备期间，根据外科医生的偏好，每个机器人臂都可以移动到手术室中的各个位置。为了将每个手推车固定在适当的位置，每个轮子都包含锁或其它固定机构以防止移动。在手术期间，摄像机提供手术部位的视图。当外科医生提供输入以移动机器人臂，并因此移动其上的外科手术器械时，可以将外科手术器械移入和移出摄像机的视野。
尽管上述机器人外科手术系统配置是适当的，但是可以对其进行改进。例如，由于某些医疗手术的持续时间可能相对较长，因此在控制台内保持受限的定位可能会使某些外科医生感到不适。另外，关于机器人臂，当机器人臂和/或器械已经移出摄像机的视野时，外科医生可以依靠他/她的记忆来确定一个机器人臂和/或器械相对于另一机器人臂和/或器械的位置。但是，视野外的机器人臂可能会在手术期间的某个时刻发生移动，因此可能不会位于外科医生最后记得的地方。因此，外科医生可能需要花费时间来寻找视野外的机器人臂，这降低了效率。
发明内容
根据本公开的机器人外科手术系统允许外科医生对在患者的床边采取什么动作以及如何实施所述动作具有更好的控制。
根据本公开的一方面，提供了一种用于跟踪一个或多个外科手术器械的位置的方法。所述方法包含：检测在摄像机的视野内设置在第一外科手术器械的远端上的多个标记；基于在摄像机的视野内检测到的多个标志的位置，计算第一外科手术器械的位置；并确定第一外科手术器械相对于第二外科手术器械的位置。
在本公开的另一方面中，第一外科手术器械联接到机器人臂并且具有用于计算第一外科手术器械的位置的预定点。
在本公开的又一方面中，计算第一外科手术器械的位置包含计算机器人臂的预定点的位置以识别机器人臂的基座的位置。
在本公开的另一方面中，所述方法还包含通过连续更新检测到的多个标记的位置来跟踪第一外科手术器械的位置。
在本公开的又一方面中，计算第一外科手术器械的位置包含基于检测到的多个标记的位置三角测量第一外科手术器械的三维位置。
在本公开的又一方面中，所述方法还包含存储第一外科手术器械的位置。
在本公开的另一方面中，所述方法还包含：当第一外科手术器械在摄像机的视野之外时，在显示器上显示识别第一外科手术器械的位置的指示符。
在本公开的又一方面中，所述方法包含增大摄像机的视野以将多个标记包含在其中。
在本公开的另一方面中，所述方法还包含显示第一外科手术器械不再处于摄像机的视野内的警告。
在本公开的又一方面中，显示警告包含用消息提示用户。
在本公开的又一方面中，所述方法还包含确定手术室内第一外科手术器械的最佳位置。
在本公开的另一方面中，所述方法还包含生成手术室内的第一外科手术器械的位置的图。
在本公开的又一方面中，生成所述图包含生成示出手术台和第一外科手术器械的相对位置的图。
在本公开的又一方面中，所述方法还包含：当检测到的多个标记处于摄像机的视野之外时，禁用控制第一外科手术器械的能力。
在本公开的另一方面中，所述方法还包含计算第一外科手术器械距摄像机的视野的距离。在本公开的又一方面中，所述方法还包含在显示装置上显示所计算的距离。
根据本公开的另一方面，提供了一种机器人外科手术系统，其被配置成跟踪一个或多个外科手术器械的位置。所述机器人外科手术系统包含：联接到第一外科手术器械的机器人臂；被配置成获得手术部位的图像的摄像机；被配置成显示从摄像机获得的手术部位的图像的显示器；图像处理器，其被配置成检测在摄像机的视野内设置在第一外科手术器械的远端上的多个标记；以及控制器，其被配置成基于视野内的多个标记的位置来计算第一外科手术器械的位置，并且确定第一外科手术器械相对于第二外科手术器械的位置。
在本公开的另一方面中，机器人臂具有预定点，并且控制器被进一步配置成部分地基于预定点来计算第一外科手术器械的位置。
在本公开的另一方面中，控制器被进一步配置成通过计算机器人臂的预定点的位置以识别机器人臂的基座的位置来计算第一外科手术器械的位置。
在本公开的另一方面中，控制器被进一步配置成通过连续更新检测到的多个标记的位置来跟踪第一外科手术器械的位置。
在本公开的又一方面中，控制器被进一步配置成通过基于检测到的多个标记的位置三角测量第一外科手术器械的三维位置来计算第一外科手术器械的位置。
在本公开的又一方面中，所述系统还包含联接到控制器的存储器，并且所述存储器存储第一外科手术器械的位置。
在本公开的又一方面中，控制器被进一步配置成当第一外科手术器械在摄像机的视野之外时，使显示器显示识别第一外科手术器械的位置的指示符。
在本公开的另一方面中，控制器被进一步配置成增大摄像机的视野以将多个标记包含在其中。
在本公开的另一方面中，控制器被进一步配置成使显示器显示第一外科手术器械不再处于摄像机的视野内的警告。
在本公开的另一方面中，显示警告包含用消息提示用户。
在本公开的另一方面中，控制器被进一步配置成确定手术室内第一外科手术器械的最佳位置。
在本公开的又一方面中，控制器被进一步配置成生成示出第一外科手术器械在手术室内的位置的图。
在本公开的又一方面中，生成所述图包含生成示出手术台和第一外科手术器械的相对位置的图。
在本公开的又一方面中，控制器被进一步配置成当检测到的多个标记处于摄像机的视野之外时，禁用控制第一外科手术器械的能力。
在本公开的又一方面中，控制器被进一步配置成计算第一外科手术器械距摄像机的视野的距离。
在本公开的又一方面中，控制器被进一步配置成使显示装置显示所计算的距离。
根据本公开的又一方面，一种非暂时性计算机可读介质，其上存储有指令，当由处理器执行时，所述指令使得检测在摄像机的视野内设置在第一外科手术器械的远端上的多个标记；基于在摄像机的视野内检测到的多个标记的位置来计算第一外科手术器械的位置；并确定第一外科手术器械相对于第二外科手术器械的位置。
在本公开的另一方面中，包含另外的指令，当由处理器执行时，所述另外的指令使得通过使用与第一外科手术器械联接的机器人臂上的预定点来计算第一外科手术器械的位置。
在本公开的另一方面中，包含另外的指令，当由处理器执行时，所述另外的指令使得计算第一外科手术器械的位置包含计算机器人臂的预定点的位置以识别机器人臂的基座的位置。
在本公开的另一方面中，包含另外的指令，当由处理器执行时，所述另外的指令使得通过连续更新检测到的多个标记的位置来跟踪第一外科手术器械的位置。
在本公开的又一方面中，计算第一外科手术器械的位置包含基于检测到的多个标记的位置三角测量第一外科手术器械的三维位置。
在本公开的另一方面中，包含另外的指令，当由处理器执行时，所述另外的指令使得存储第一外科手术器械的位置。
在本公开的另一方面中，包含另外的指令，当由处理器执行时，所述另外的指令使得当第一外科手术器械在摄像机的视野之外时，在显示器上显示识别第一外科手术器械的位置的指示符。
在本公开的另一方面中，包含另外的指令，当由处理器执行时，所述另外的指令使得增大摄像机的视野以将多个标记包含在其中。
在本公开的另一方面中，包含另外的指令，当由处理器执行时，所述另外的指令使得显示第一外科手术器械不再处于摄像机的视野内的警告。
在本公开的又一方面中，显示警告包含用消息提示用户。
在本公开的另一方面中，包含另外的指令，当由处理器执行时，所述另外的指令使得确定手术室内第一外科手术器械的最佳位置。
在本公开的另一方面中，包含另外的指令，当由处理器执行时，所述另外的指令使得生成手术室内的第一外科手术器械的位置的图。
在本公开的又一方面中，生成所述图包含生成示出手术台和第一外科手术器械的相对位置的图。
在本公开的另一方面中，包含另外的指令，当由处理器执行时，所述另外的指令使得当检测到的多个标记处于摄像机的视野之外时，禁用控制第一外科手术器械的能力。
在本公开的另一方面中，包含另外的指令，当由处理器执行时，所述另外的指令使得计算第一外科手术器械距摄像机的视野的距离。
在本公开的另一方面中，包含另外的指令，当由处理器执行时，所述另外的指令使得在显示装置上显示所计算的距离。
本公开的示例性实施例的另外的细节和方面将在下文参考附图更详细地描述。
附图说明
本文中参考附图描述本公开的实施例，其中：
图1是根据本公开的机器人外科手术系统的示意图；
图2是根据本公开的用于实施到图1的机器人外科手术系统中的显示系统的一部分的透视图；
图3是根据实施例的用于图1的机器人外科手术系统中的标记和图像捕获装置的简化视图；
图4是根据另一实施例的用于图1的机器人外科手术系统中的标记和图像捕获装置的简化视图；
图5是根据又一实施例的用于图1的机器人外科手术系统中的标记和图像捕获装置的简化视图；
图6是根据实施例的用于图1的机器人外科手术系统中的头戴式设备上的标记和图像捕获装置的简化视图；
图7是根据本公开的机器人外科手术系统的功能框图；
图8是根据本公开的用于相对于机器人外科手术系统的显示装置确定外科医生的位置的方法的流程图；
图9是根据本公开的用于确定机器人外科手术系统的部件的位置的方法的流程图；且
图10是根据本公开的用于相对于机器人外科手术系统的显示装置确定外科医生的位置的另一种方法的流程图。
具体实施方式
本公开采用光学元件或标记以及摄像机或图像捕获装置来确定物体或人的位置。如下文将更详细地描述，当摄像机或图像捕获装置检测到标记时，将检测到的标记的位置用于计算物体或人的位置。现在参考各图详细描述本公开的实施例，图中相同附图标号在若干视图中的每个视图中标示相同或对应元件。如本文所用，术语“临床医师”是指医生、护士或任何其它护理提供者并且可包含辅助人员。在整个说明书中，术语“近端”是指装置或其部件的最远离患者的部分，并且术语“远端”是指装置或其部件的最接近患者的部分。
参考图1，提供了机器人外科手术系统10，其被配置用于躺在手术台“T”上的患者“P”上，以用于执行微创外科手术。根据实施例，机器人外科手术系统10通常包含多个机器人臂12，所述机器人臂被配置成接收来自控制器30的命令，以用于响应于在远程定位的外科医生控制台40处接收的输入来操纵一个或多个机器人臂12。
每个机器人臂12均由多个构件组成，这些构件通过联接到基座18并从基座18延伸的接头连接。每个基座18均提供每个机器人臂12从其延伸的不同位置。例如，基座18可以由多个可移动的手推车构成。在另一实施例中，所有机器人臂12均从单个基座延伸。在实施例中，连接到每个机器人臂12的远端的是外科手术组件14，所述外科手术组件包含外科手术器械固定器16，所述外科手术器械固定器被配置成可拆卸地与外科手术器械20联接。每个机器人臂12均可包含被配置用于不同目的的外科手术器械20。例如，一个机器人臂12可以包含具有抓握钳口器械20的外科手术器械，而另一个机器人臂12可以包含具有剪刀的外科手术器械。其它合适的器械20a，20b包含但不限于吻合器、夹子施加器、缝线穿引器、压舌片等。
尽管描绘了四个机器人臂12，但是外科手术系统10可包含少于或多于四个机器人臂12。在这方面，附加的机器人臂(未示出)同样连接到控制器30并且可经由控制台40远程操纵。因此，一个或多个附加的外科手术组件14，外科手术器械固定器16和/或外科手术器械20a、20b也可以附接到附加的机器人臂。在另一实施例中，机器人臂12中的一个或多个包含定位在手术部位“S”上方的图像捕获装置66、设置在手术部位“S”(未示出)中的图像捕获装置66等等。图像捕获装置66捕获手术部位“S”的视觉图像、红外图像、超声图像、X射线图像、热图像和/或任何其它已知的实时图像。在实施例中，图像捕获装置66包含用于检测标记或光学元件64a-d、64s(也统称为标记64)的滤光器，例如带通滤光器，下文将进一步详细描述。在又一实施例中，图像捕获装置66中的一个或多个未附接到机器人臂12，并且放置在手术室周围的预定位置处。在任何情况下，图像捕获装置66均将捕获的成像数据发射到控制器30，所述控制器从成像数据实时地创建手术部位“S”和/或手术室的图像，并将图像发射到显示装置44以供显示。在另一实施例中，所显示的图像是由图像捕获装置捕获的数据的二维渲染。
一个或多个外科手术组件14，外科手术器械固定器16，外科手术器械20a、20b和/或机器人臂12的远端中的每一个均包含两个或更多个标记64，所述标记各自被附接、联接、涂漆或以其它方式放置在上述部件上的预定位置处。标记64被配置成在图像捕获装置66的视野内是可检测的。在实例中，标记64可以是独特的涂漆标记，例如，圆形、点或其它填充或未填充的形状。在另一实例中，标记64可以由材料制成或包含设置在其上的材料，所述材料可以被图像捕获装置66可见地或以另一种方式检测到。特别地，所述材料可以是视野抑制器，例如将光反射限制在特定波长范围内的漫射和/或反射元件，例如3MTM高级光控膜(明尼苏达州明尼阿波利斯市的3M所有)或反射性标记球，例如加拿大安大略省的NDIInternational的反射性标记球。在又一实例中，标记64可以是射频识别标签或其它标签，其能够发射可由被配置成包含对应检测机构的图像捕获装置66检测到的波。
机器人臂12可以由连接到控制器30的电驱动器(未示出)驱动。根据实施例，控制器30被配置成例如经由计算机程序激活驱动器，使得机器人臂12和对应于机器人臂12的外科手术组件14，外科手术器械固定器16和/或外科手术器械20a、20b执行通过控制台40接收的期望移动。控制器30还可以被配置成调节机器人臂12和/或驱动器的移动。
控制器30可以控制多个发动机32，每个发动机均被配置成驱动一条或多条线缆的推动或拉动，所述线缆例如联接到外科手术器械20的线缆(未示出)。在使用中，当推动和/或拉动这些线缆时，一条或多条线缆实现外科手术器械20a、20b的操作和/或移动。控制器30协调各种发动机32的激活，以协调一条或多条线缆的推动或拉动运动，从而协调一个或多个外科手术器械20的操作和/或移动。在实施例中，每个发动机32均被配置成致动驱动杆或杠杆臂以实现外科手术器械20a、20b的操作和/或移动，作为一条或多条线缆的补充或替代。
控制器30包含任何合适的逻辑控制电路，所述逻辑控制电路适于根据一组指令执行计算和/或操作。控制器30可以被配置成经由无线(例如，Wi-Fi、蓝牙、LTE等)和/或有线连接与远程系统(未示出)通信。远程系统可以包含与控制台40的各种部件、算法和/或操作有关的数据、指令和/或信息。远程系统可以包含任何合适的电子服务、数据库、平台、云等。控制器30可包含可操作地连接到存储器34的中央处理单元。存储器可以包含暂时类型存储器(例如，RAM)和/或非暂时类型存储器(例如，闪存介质和磁盘介质等)。在一些实施例中，存储器是远程系统的一部分和/或可操作地联接到远程系统。
控制器30可以包含多个输入和输出，以用于例如通过驱动电路与控制台40的部件介接。控制器30可以被配置成接收输入信号和/或生成输出信号以控制控制台40的各种部件中的一个或多个(例如，一个或多个发动机和/或显示装置44)。输出信号可以包含和/或可以基于可以由用户预编程和/或输入的算法指令。控制器30可以被配置成从用户界面(例如，操作控制台40的开关、按钮、触摸屏等)接受多个用户输入，所述用户界面可以远程联接到系统10。
存储器34可以直接和/或间接地联接到控制器30，以存储包含来自一个或多个生物和/或解剖图谱的术前数据的指令和/或数据库。根据实施例，存储器34存储与标记64a-d、64s相对于每个对应器械的位置有关的数据；与每个机器人臂12上的预定点的位置有关的数据；与手术室中的预定点的位置(例如手术室的拐角位置、手术室的地板上的预定点的位置等)有关的数据；与手术台“T”上的预定点的位置有关的数据；和/或可用于确定一个或多个外科手术器械20a、20b相对于彼此和/或相对于手术室内位置的位置的其它数据。存储器34可以是远程系统10的一部分和/或可操作地联接到远程系统10。
为了向控制器30提供输入，外科医生控制台40包含各种输入装置。在实施例中，外科医生控制台40包含输入手柄70或输入踏板，所述输入手柄或输入踏板被配置成由外科医生通过致动来操纵。特别地，外科医生使用他或她的手来抓握和移动输入手柄70，并且输入手柄70的移动经由控制器30平移，从而向机器人臂12和/或外科手术器械20a、20b提供对应移动。外科医生踩踏输入踏板以提供选择，从而提供对机器人臂12或外科手术器械20a、20b的进一步控制。
显示装置44被设置为显示从图像捕获装置66接收的二维图像或三维图像。在提供三维图像的实施例中，显示装置44被配置成提供用于使用或不使用专门的观察透镜进行观看的三维图像，所述观察透镜例如以头戴式设备50的形式提供，例如被配置为眼镜或另一合适的配置的头戴式设备。
头戴式设备50包含设置在其上的标记64s。在实施例中，标记64s的检测指示佩戴头戴式设备50的外科医生的眼睛指向显示装置44。头戴式设备50上的标记64s可以以与包含在外科手术组件14，外科手术器械固定器16，外科手术器械20a、20b和/或机器人臂12的远端上的那些标记类似的方式进行配置。根据实施例，一个或多个标记64s被放置在头戴式设备50上的特定位置处，使得标记64s的检测指示外科医生的头部以特定方式定位，例如，向前指向显示装置44。为了检测标记64，外科医生控制台40包含安装到显示装置44或另一个位置的图像捕获装置48，以允许图像捕获装置48在系统操作期间被引导到外科医生。在实施例中，图像捕获装置48可以包含一个或多个滤光器52，例如带通滤光器，以用于检测标记64。
图2是根据本文的各种实施例的用于实施到机器人外科手术系统10中的显示系统的一部分的透视图，示出了显示装置44、头戴式设备50、光源54、图像捕获装置48和音频装置68的示例性布置。在实施例中，显示装置44包含屏幕70和设置在屏幕70前面的一个或多个层72。屏幕70包含通过一个或多个层72将由某些像素显示的视觉内容引导到外科医生的某只眼睛的像素。特别地，一个或多个层72可以包含双凸透镜层。例如，双凸透镜层包含设置在对应像素行上方的多个竖直透镜，所述多个竖直透镜被配置成以适于允许第一组像素的视觉内容被外科医生的第一只眼睛感知并且允许第二组像素的视觉内容被外科医生的第二只眼睛感知的角度定向。
光源54被配置成提供光并且可以沿着显示装置44的边缘安装(如图1所示)或者定位在显示装置44的附近、上方或下方。光源54可以提供可见和/或不可见光谱(例如紫外线、红外线等)内的光以由标记64s反射，所述标记可以包含在头戴式设备50上的预定位置处。根据实施例，标记64s可以是光学元件，所述光学元件包含当以预定角度范围内的角度观察时允许反射光的可见性的机构，以供图像捕获装置48检测。在实施例中，显示系统被配置成使得如果未检测到标记64s，那么例如通过音频装置68可听地提供通知，触觉地提供通知或通过显示装置44视觉地提供通知。
如图3所示，标记64s由反射元件300和漫射元件302构成。反射元件300可以包含镜子，并且漫射元件302可以是具有矩形横截面形状的管形元件，以允许通过限制由反射元件300反射的光来限制由图像捕获装置48实现的标记64s的可见性。具体地，反射光的行进可以水平地由第一角度β限制并且竖直地由第二角度α限制。尽管描绘为具有矩形横截面形状，但是管形元件可以具有不同的横截面形状。在另一实施例中，如图4所示，标记64s包含反射元件400和漫射元件402，所述漫射元件包含多个具有矩形横截面形状的管形元件。管形元件彼此基本相同地在相同方向上延伸，并且协调以限制由反射元件400反射的光，以允许标记64s被图像捕获装置48检测到。
根据另一实施例，标记64s可以是光学元件，所述光学元件包含当以预定角度范围内的角度观察时允许反射光的可见性的机构，例如如图5所描绘。在此，标记64s具有反射元件500和漫射元件502，其中漫射元件502采取具有透明度的膜的形式，所述膜被配置成将标记64s的观察限制到预定角度范围。在实施例中，漫射元件502被配置成允许在相对于反射元件500的范围内(例如，包含基本垂直于反射元件500的角度的视角范围)被引导的光反射，并且由此对于图像捕获装置48是可见的。以超出视角范围的角度指向漫射元件502的光不会被反射元件500反射，且因此对于图像捕获装置48是不可见的。
在另一实施例中，如图6所描绘，标记64s被配置成反射特定波长范围内的光(例如，可见光或不可见光)。在这样的实施例中，图像捕获装置48包含带通滤光器52，所述带通滤光器被选择为对应于标记64s的特定波长范围。因此，当从标记64s反射的光的波长通过带通滤光器52时，图像捕获装置48检测到标记64s，从而允许图像捕获装置48观察标记64s。在所述实施例中，标记64s示出为设置在呈一副眼镜的形式的头戴式设备50上。应当理解，标记64s替代地可以包含在头带或其它可穿戴装置上，或者可以是放置在用户的面部或头部的各个位置上的贴纸。
图7是图1的机器人外科手术系统10的简化框图。机器人外科手术系统10包含控制器720、塔架730和控制台740。控制器720被配置成响应于从控制台740接收的输入而与塔架730通信，从而提供用于操作的指令。
控制器720通常包含处理单元722、存储器724、塔架接口726和控制台接口728。处理单元722，特别是借助于存储在存储器724中的计算机程序，以这样的方式起作用，以使塔架730的部件根据由控制台740的输入装置742限定的移动来执行期望的移动。在这方面，处理单元722包含任何合适的逻辑控制电路，所述逻辑控制电路适于根据一组指令执行计算和/或操作。处理单元722可以包含一个或多个处理装置，例如微处理器类型的处理装置或能够执行存储在存储器724中的指令和/或处理数据的其它物理装置。存储器724可以包含暂时类型存储器(例如，RAM)和/或非暂时类型存储器(例如，闪存介质和磁盘介质等)。塔架接口726和控制台接口728分别与塔架730和控制台740无线地(例如，Wi-Fi、蓝牙、LTE等)和/或经由有线配置通信。尽管描绘为单独的模块，但是在其它实施例中，接口732、734可以是单个部件。
塔架730包含通信接口732，所述通信接口被配置成从塔架接口726接收通信和/或数据，以用于操纵发动机机构734，从而移动机器人臂736a-736d。根据实施例，发动机机构734被配置成响应于来自处理单元722的指令，接收用于机械操纵线缆(未示出)的电流的施加，所述线缆附接到机器人臂736a-736d，以引起机器人臂736a-736d中所选择的一个机器人臂和/或联接到机器人臂736a-736d中的一个的器械的期望移动。塔架730还包含图像捕获装置738，所述图像捕获装置捕获实时图像并经由通信接口732将表示图像的数据发射到控制器730。
为了帮助外科医生操纵塔架730的装置，控制台740具有输入装置742、显示器746、计算机748和摄像机750。输入装置742联接到计算机748并由临床医生用于提供输入。在这方面，输入装置742可以是手柄或踏板或其它计算机配件，例如键盘、操纵杆、鼠标、按钮、轨迹球或其它部件。计算机748包含处理单元和存储器，所述存储器包含与塔架730的各种部件、算法和/或操作有关的数据、指令和/或信息，并且可以使用任何合适的电子服务、数据库、平台、云等来操作。显示器746从计算机748接收指令以显示从图像捕获装置738和/或从通信接口732接收的信息。摄像机750在控制台740处捕获外科医生的图像。
上文简要描述的标记64可用于实施各种定位和安全机制。在实施例中，在外科手术期间，系统10知道外科医生相对于显示装置44的定位可能是有利的。现在转向图8，根据实施例，提供了用于确定外科医生相对于机器人外科手术系统10的显示装置44的定位的方法800的流程图。方法800可以至少部分地由执行存储在存储器724(图7)中的指令的处理单元722来实施。另外，图8的方法800中示出的特定步骤顺序借助于实例提供并且不是限制性的。在不脱离本公开的范围的情况下，方法800的步骤可以以不同于图8中所示的顺序的顺序来执行。此外，图8的方法800中示出的一些步骤可以同时执行而不是按顺序执行。
参考图8，在步骤802处，将来自光源54的光指向标记64s。如上所述，标记64s设置在外科医生的头部或面部上，例如，设置在头戴式设备50上。因此，取决于外科医生的头部或面部的定位，标记64s可以或可以不反射来自光源54的光。例如，在实施例中，多个标记64s包含在头戴式设备50上的特定位置处，使得所有标记64s的检测指示外科医生的眼睛指向显示装置44。在另一实施例中，一个或多个标记64s至少部分地覆盖头戴式设备50以形成特定形状，并且特定形状的检测指示外科医生的眼睛指向显示装置44。
在任何情况下，为了确定是否检测到一个或多个标记64s，图像捕获装置48在步骤804处捕获外科医生的图像。基于来自步骤804的图像，确定是否在步骤806处检测到所有标记64s，无论它们是设置在特定位置处的多个标记64s还是形成特定形状的一个或多个标记64s。如果检测到标记64s，那么方法800重复步骤804以使用图像捕获装置48捕获外科医生的附加图像。如果未检测到所有标记64s，那么在步骤808处由系统10提供通知，指示外科医生的眼睛未指向显示装置44。在实施例中，系统10可以经由音频装置68提供听觉通知，提供触觉通知和/或视觉通知。根据实施例，除了提供通知之外，系统10还防止在输入手柄70或其它输入装置(例如踏板(如果包含的话))处接收输入。
在另一实例中，在外科手术期间，临床医生知道每个机器人臂12和/或外科手术器械20a、20b位于何处可能是有利的。在这方面，系统10使用捕获的图像数据来检测捕获的图像数据内标记64的位置，从而确定机器人臂12和/或外科手术器械20a、20b的位置。现在转向图9，根据实施例，提供了用于确定包含在机器人外科手术系统10中的部件的位置的方法900的流程图。方法900可以至少部分地由执行存储在存储器724(图7)中的指令的处理单元722来实施。另外，图9的方法900中示出的特定步骤顺序借助于实例提供而且不是限制性的。在不脱离本公开的范围的情况下，方法900的步骤可以以不同于图9中所示的顺序的顺序执行。此外，图9的方法900中示出的一些步骤可以同时执行而不是按顺序执行。
在系统10的校准期间和/或在整个外科手术过程中，在步骤902处，图像捕获装置66在视野内捕获图像。在图像捕获装置66是内窥镜的实施例中，由图像捕获装置66接收的图像描绘了手术部位“S”。手术部位“S”可以在患者体内，在切口部位和/或在患者身体上。在另一实施例中，图像捕获装置66是设置在患者身体上方或手术室内的某个位置处的摄像机，并且图像捕获装置66捕获的图像是患者的鸟瞰图或手术室的整体图。应了解，由于单独装置66的特定透镜配置，图像捕获装置66的视野可能受到限制。在任何情况下，捕获的图像都被发射到显示装置44并显示在显示装置44上，这允许临床医生知道图像捕获装置66的视野。
在步骤904处，确定是否在捕获的图像内检测到器械20a上的标记64a。器械20a上的标记64a被包含为一组两个或更多个标记，它们彼此间隔预定距离。相对于同一组标记中的其它一个或多个标记，每个组中每个标记的位置是已知的。为了从二维图像确定器械的位置，所述一组标记包含至少两个标记。为了从三维图像确定器械20a的位置，所述一组标记64a包含至少三个标记。无论所述一组标记中标记的具体数目如何，例如使用合适的数字处理算法来处理图像，以检测图像中所述一组标记64a的存在。可以缩小图像捕获装置66以增大视野，并且方法300在步骤902处进行重复以允许图像捕获装置66捕获附加图像。
在另一实施例中，为了防止意外地操纵视野外的器械20a，如果在步骤904处在图像捕获装置66的视野内未检测到标记或仅检测到一组标记64a中的一个标记64，那么在步骤920处确定是否没有检测到标记64a。如果是这样，那么系统10在步骤922处确定器械20a是视野外的器械，并且视野外的器械20a被禁用。特别是，控制视野外的器械的能力被禁用。然后，方法900接着在步骤902处重复以捕获附加图像。如果在步骤920处检测到器械20a上的任何标记64a，那么在步骤924处对应的器械20a保持启用或重新被启用。当标记移回图像捕获装置66的视野内时，器械20a将重新被启用。在任何一种情况下，方法900都继续进行到步骤906。
在步骤906处，根据捕获的图像中检测到的一组标记来确定标记64a在器械20a上的位置。根据实施例，基于在器械20a上的一组标记中的每个标记64a的已知放置来计算标记64a的位置。标记的位置可以由空间中的x-y-z坐标表示为矢量或其它合适的空间位置表示形式。
在步骤908处，基于在捕获的图像中器械20a上的标记64a的位置以及与器械20a相对应的机器人臂12上的一个或多个预定点，计算器械20的位置。应了解，可以根据机器人臂12上的任何位置，例如机器人臂12和/或基座18的对应连杆中的一个上由空间中的坐标表示的特定位置等来选择机器人臂12上与器械20a相对应的一个或多个预定点。在实施例中，机器人臂12上的预定点是已经放置在机器人臂12上的标记64a。然后，将机器人臂12上与器械20a相对应的预定点以及器械20a上的一组标记中的每个标记64a的位置用于三角测量并计算器械20a的位置。特别地，在二维图像中，因为器械20a上的两个标记64a用作三角形的两个点，而机器人臂12上的预定点用作三角形的一个点，所以可以根据三角形的这三个点进行计算，以确定器械20a相对于对应机器人臂12上的预定点的确切位置。在另一实例中，使用机器人臂12和器械20a的感兴趣的一个或多个点的一个或多个位置进行计算来识别机器人臂12的基座的位置。可以将在任何给定时间的器械20a和/或机器人臂12的基座的一个或多个位置存储在存储器34中以供以后使用。例如，器械20a和/或机器人臂12的基座的存储位置可以用于确定机器人臂12的最佳定位以用于以后的外科手术。
可以想到的是，可以使用一对摄像机(例如，立体摄像机)，在其创建的两个图像之间具有已知的间隔和已知的角度。以这种方式，可以由更少的点构成3D构造，和/或可以实现更准确/可靠的位置感测。另外，这种布置有助于可视化在R摄像机中可能不可见但在L摄像机中可能可见的标记。
应了解，可以在系统10的操作过程期间重复步骤902到908，以跟踪机器人臂12和/或器械20a的位置。在实施例中，步骤902到908的重复允许连续更新标记64的位置，并因此连续更新臂12和/或器械20a的位置。在实施例中，可以通过过滤或通过预测算法来跟踪标记，以增强运动跟踪并适应标记的临时遮挡。
为了相对于另一器械20b(在下文中也称为“第二器械”)的位置确定器械20a(在下文中也称为“第一器械”)的位置，在步骤910处，将第二器械20b的位置与第一器械20a的位置进行比较。在实施例中，包含第二器械20b的位置的数据被存储在存储器34中，并且与第一器械20a的位置进行比较。
在另一实施例中，第二器械20b的位置尚未确定。在这种情况下，将由图像捕获装置66捕获的图像用于确定第二器械20b的位置。例如，从捕获的图像(例如从在步骤902中捕获的图像)检测到第二器械20b上的一组标记64b。例如，由相同的图像捕获装置66捕获两个器械20a、20b，并且根据在步骤904处用于检测第一器械20a上的一组标记64a的图像检测第二器械20b上的一组标记64b。方法900然后继续进行到步骤906，在所述步骤中，根据在捕获的图像中检测到的一组标记64b确定第二器械20b上的标记64b的位置。任选地，也执行步骤920和922。接下来，在步骤908处，基于捕获的图像中第二器械20b上的标记64b的位置以及与第二器械20b相对应的机器人臂12上的一个或多个预定点，计算第二器械20b的位置。然后将第二器械20b的计算出的位置与第一器械20a的计算出的位置进行比较，从而相对于第二器械20b的位置确定第一器械20a的位置。
根据实施例，第一器械20a和第二器械20b的计算出的位置可用于在外科手术期间为临床医生提供改善的视角。在这方面，在步骤912处指示第一器械20a相对于第二器械20b的位置。例如，当图像捕获装置66捕获手术部位“S”的图像并且仅第一器械20a在图像捕获装置66的视野内时，例如箭头的指示符可以显示在显示装置44上的图像中以指向第二器械20b相对于第一器械20a所处的方向。在另一实例中，如果同时使用两个器械20a、20b，但是将一个器械(例如第二器械20b)移出图像捕获装置66的视野，那么可以将指示符显示为指向移动第二器械20b的方向。在另一实施例中，指示符可以是指示外科医生增大摄像机48的视野的消息。在又一实施例中，所显示的消息包含第二器械20b在摄像机视野之外的距离。在另一实施例中，指示符是经由输入手柄70传达给临床医生的触觉指示，或者是经由扬声器(未示出)传达给临床医生的听觉指示。以此方式，如果临床医生想要在使用第一器械20a的同时或之后开始使用第二器械20b，那么临床医生在第二器械20b接合之前知道第二器械20b的位置。
除了向外科医生提供定向之外，在步骤914处，第一器械20a和第二器械20b的计算出的位置可用于生成示出第一器械20a和第二器械20b在手术室内的位置的图。在实例中，手术室内的固定位置，例如在手术室的地板上、墙壁上和/或拐角处的位置被存储在存储器34内，并且用于生成手术室的图。第一器械20a和第二器械20b的位置，以及在一些实施例中，与器械20a、20b联接的机器人臂12的对应基座18的位置和/或手术台“T”的位置(如果已知)标绘在生成的手术室图中。然后显示手术室的图以向临床医生提供机器人外科手术系统的部件的位置的概览，如果控制台40位于手术室的观察范围之外，那么这尤其有用。此外，从先前的外科手术过程中存储在存储器34中的器械20a、20b和/或机器人臂12的基座18的位置可以在生成的图上指示和/或可以用于确定机器人臂12在手术室内的最佳定位以用于以后的外科手术。
在使用标记64的另一实例中，为了提供对机器人臂12的额外控制，系统10被配置成通过使用外科医生佩戴的头戴式设备50上的一个或多个标记来进一步防止意外移动，以确定外科医生的眼睛是否指向显示装置44。在这方面，系统10被配置成经由摄像机48捕获包含头戴式设备50(其上设置有一个或多个标记64)的图像数据，并且检测捕获的图像数据内的标记64。现在转向图10，根据实施例，提供了确定外科医生的头部相对于显示装置44的位置的方法1000的流程图。方法1000可以至少部分地由执行存储在存储器724(图7)中的指令的处理单元722来实施。另外，图10的方法1000中示出的特定步骤顺序借助于实例提供而且不是限制性的。在不脱离本公开的范围的情况下，方法1000的步骤可以以不同于图10中所示的顺序的顺序执行。此外，图10的方法1000中示出的一些步骤可以同时执行而不是按顺序执行。
在实施例中，在步骤1002处，由摄像机48捕获外科医生的图像。然后在步骤1004处确定是否在捕获的图像中检测到一个或多个标记64。在实施例中，摄像机48被配置成检测一个或多个标记64是否在其视野内并且相对于其定位在特定角度或位置处。标记64的检测指示佩戴上面设置有标记64的头戴式设备50的外科医生的眼睛指向显示装置44。在实施例中，标记64包含漫射材料和/或反射材料，并且摄像机48包含对应滤光器52，以仅在标记64以特定角度呈现时允许标记64的视觉感知。标记64包含如下类型：其中光学目标的可见性受到壁或分区的限制，从而允许光学目标仅在以特定角度观察时才能在视觉上被感知。在另一实例中，标记64由前表面镜构成，所述前表面镜覆盖有限于特定角度范围的工程透明膜，在所述特定角度范围内光将被反射。在另一实例中，标记64包含反射材料，所述反射材料覆盖有工程漫射器，以在水平平面和/或竖直平面中将标记64的可见性限于特定角度，例如由新泽西州牛顿市的ThorLabs公司销售的反射材料。因此，当外科医生佩戴的头戴式设备50以某一角度倾斜，从而允许光从标记64反射并通过摄像机48上的滤光器52过滤以对摄像机48是可见时，然后检测到标记64。否则，未检测到标记64。
如果确定未检测到头戴式设备50上的一个或多个标记64，那么系统10在步骤1006处禁用机器人臂12和器械20a、20b的移动。在实例中，从输入手柄70接收的输入不被传送到机器人臂12或器械20a、20b。以此方式，当外科医生未看向显示装置44时，防止系统10允许可能会对患者“P”造成影响的操作。任选地，在步骤408处，在显示装置44上、在听觉上或触觉上提供通知，以指示外科医生应该重新定位他或她的头部以重新启用机器人臂12和/或器械20a、20b的功能。如果确定在摄像机48的视野内未检测到标记64，那么系统10照常允许操作机器人臂12和器械20a、20b，并在步骤1002处进行重复以捕获附加图像。
根据实施例，机器人臂12和/或器械20a、20b的移动的禁用和启用取决于是否检测到标记64中的一个。在另一实施例中，机器人臂12和/或器械20a、20b的移动的禁用和启用取决于是否检测到头戴式设备50上的一组标记64中包含的所有标记64。
本文所描述的系统还可以利用一个或多个控制器来接收各种信息并变换所接收的信息以生成输出。控制器可以包含任何类型的计算装置、计算电路或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可以包含多个处理器和/或多核中央处理单元(CPU)，并且可以包含任何类型的处理器，例如微处理、数字信号处理器、微控制器等。控制器还可以包含存储器，所述存储器用于存储数据和/或算法以执行一系列指令。
本文所描述的任何方法、程序、算法或代码均可以被转换为编程语言或计算机程序或以编程语言或计算机程序表达。“编程语言”和“计算机程序”包含用于将指令指定给计算机的任何语言，且包含(但不限于)这些语言和其派生语言：Assembler、Basic、Batchfiles、BCPL、C、C+、C++、Delphi、Fortran、Java、JavaScript、机器代码、操作系统命令语言、Pascal、Perl、PL1、脚本语言、Visual Basic、本身指定程序的元语言，以及所有第一代、第二代、第三代、第四代和第五代计算机语言。还包含数据库和其它数据模式，以及任何其它元语言。被解译、被编译或使用编译和解译方法的语言之间没有区别。程序的编译版本和源版本之间也没有区别。因此，对程序的引用(其中编程语言可以多于一个状态(例如源状态、编译状态、对象状态或链接状态)存在)是对任何和所有这些状态的引用。对程序的引用可以涵盖实际指令和/或那些指令的意图。
本文所描述的任何方法、程序、算法或代码均可以包含在一个或多个机器可读介质或存储器上。术语“存储器”可以包含以例如处理器、计算机或数字处理装置等机器可读的形式提供(例如，存储和/或发射)信息的机构。例如，存储器可以包含只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存装置或任何其它易失性或非易失性存储器存储装置。其上包含的代码或指令可以由载波信号、红外信号、数字信号和其它类似信号表示。
虽然已经在附图中示出本公开的若干实施例，但是本公开并不旨在受其限制，因为本公开的范围旨在如领域将允许的一样广泛并且说明书同样以此方式阅读。还设想以上实施例的任何组合，且所述组合处于所附权利要求书的范围内。因此，上述描述不应解释为限制性的，而仅仅是作为特定实施例的例示。本领域的技术人员将设想到在本文所附的权利要求书的范围内的其它修改。

Claims (48)

1.一种跟踪一个或多个外科手术器械的位置的方法，其包括：
检测在第一摄像机的视野内设置在第一外科手术器械的远端上的多个第一标记和在第二摄像机的视野内设置在外科医生的头戴式设备上的多个第二标记；
基于在所述第一摄像机的所述视野内检测到的所述多个第一标记的位置来计算所述第一外科手术器械的位置；
确定所述第一外科手术器械相对于第二外科手术器械的所述位置；以及
当检测到的所述多个第二标记中的至少一个处于所述第二摄像机的视野之外时，禁用控制所述第一外科手术器械的能力。
2.根据权利要求1所述的方法，其中所述第一外科手术器械联接到具有用于计算所述第一外科手术器械的所述位置的预定点的机器人臂。
3.根据权利要求2所述的方法，其中计算所述第一外科手术器械的所述位置包含：计算所述机器人臂的所述预定点的位置以识别所述机器人臂的基座的位置。
4.根据权利要求1所述的方法，其还包含通过连续地更新检测到的所述多个第一标记的所述位置来跟踪所述第一外科手术器械的所述位置。
5.根据权利要求1所述的方法，其中计算所述第一外科手术器械的所述位置包含基于检测到的所述多个第一标记的所述位置三角测量所述第一外科手术器械的三维位置。
6.根据权利要求1所述的方法，其还包括存储所述第一外科手术器械的所述位置。
7.根据权利要求6所述的方法，其还包括：当所述第一外科手术器械在所述第一摄像机的所述视野之外时，在显示器上显示识别所述第一外科手术器械的所述位置的指示符。
8.根据权利要求6所述的方法，其还包括增大所述第一摄像机的所述视野以将所述多个第一标记包含在所述视野中。
9.根据权利要求6所述的方法，其还包含显示所述第一外科手术器械不再处于所述第一摄像机的所述视野内的警告。
10.根据权利要求9所述的方法，其中显示警告包含用消息提示用户。
11.根据权利要求6所述的方法，其还包含确定手术室内的所述第一外科手术器械的最佳位置。
12.根据权利要求11所述的方法，其还包含生成示出所述手术室内的所述第一外科手术器械的所述位置的图。
13.根据权利要求12所述的方法，其中生成所述图包含生成示出手术台和所述第一外科手术器械的相对位置的图。
14.根据权利要求6所述的方法，其还包含当检测到的所述多个第一标记处于所述第一摄像机的所述视野之外时，禁用控制所述第一外科手术器械的能力。
15.根据权利要求6所述的方法，其还包含计算所述第一外科手术器械距所述第一摄像机的所述视野的距离。
16.根据权利要求15所述的方法，其还包含在显示装置上显示所计算的距离。
17.一种被配置成跟踪一个或多个外科手术器械的位置的机器人外科手术系统，其包括：
机器人臂，所述机器人臂联接到第一外科手术器械；
第一摄像机，所述第一摄像机被配置成获得手术部位的图像；
第二摄像机，所述第二摄像机被配置成获得外科医生的头戴式设备的图像；
显示器，所述显示器被配置成显示从所述第一摄像机获得的所述手术部位的所述图像；
图像处理器，所述图像处理器被配置成检测在所述第一摄像机的视野内设置在所述第一外科手术器械上的多个第一标记和在所述第二摄像机的视野内设置在外科医生的所述头戴式设备上的多个第二标记；以及
控制器，所述控制器被配置成基于所述第一摄像机的所述视野内的所述多个第一标记的位置来计算所述第一外科手术器械的位置，并确定所述第一外科手术器械相对于第二外科手术器械的所述位置，并且当检测到的所述多个第二标记中的至少一个处于所述第二摄像机的视野之外时，禁用控制所述第一外科手术器械的能力。
18.根据权利要求17所述的机器人外科手术系统，其中所述机器人臂具有预定点并且所述控制器被进一步配置成部分地基于所述预定点来计算所述第一外科手术器械的所述位置。
19.根据权利要求18所述的机器人外科手术系统，其中所述控制器被进一步配置成通过计算所述机器人臂的所述预定点的位置以识别所述机器人臂的基座的位置，来计算所述第一外科手术器械的所述位置。
20.根据权利要求17所述的机器人外科手术系统，其中所述控制器被进一步配置成通过连续地更新检测到的所述多个第一标记的所述位置来跟踪所述第一外科手术器械的所述位置。
21.根据权利要求17所述的机器人外科手术系统，其中所述控制器被进一步配置成通过基于检测到的所述多个第一标记的所述位置三角测量所述第一外科手术器械的三维位置来计算所述第一外科手术器械的所述位置。
22.根据权利要求17所述的机器人外科手术系统，其还包括联接到所述控制器的存储器，所述存储器存储所述第一外科手术器械的所述位置。
23.根据权利要求22所述的机器人外科手术系统，其中所述控制器被进一步配置成使所述显示器在所述第一外科手术器械在所述第一摄像机的所述视野之外时显示识别所述第一外科手术器械的所述位置的指示符。
24.根据权利要求22所述的机器人外科手术系统，其中所述控制器被进一步配置成增大所述第一摄像机的所述视野以将所述多个第一标记包含在所述视野中。
25.根据权利要求22所述的机器人外科手术系统，其中所述控制器被进一步配置成使所述显示器显示所述第一外科手术器械不再处于所述第一摄像机的所述视野内的警告。
26.根据权利要求25所述的机器人外科手术系统，其中显示警告包含用消息提示用户。
27.根据权利要求22所述的机器人外科手术系统，其中所述控制器被进一步配置成确定手术室内的所述第一外科手术器械的最佳位置。
28.根据权利要求27所述的机器人外科手术系统，其中所述控制器被进一步配置成生成示出所述手术室内的所述第一外科手术器械的所述位置的图。
29.根据权利要求28所述的机器人外科手术系统，其中所述图示出手术台和所述第一外科手术器械的相对位置。
30.根据权利要求22所述的机器人外科手术系统，其中所述控制器被进一步配置成当检测到的所述多个第一标记处于所述第一摄像机的所述视野之外时禁用控制所述第一外科手术器械的能力。
31.根据权利要求22所述的机器人外科手术系统，其中所述控制器被进一步配置成计算所述第一外科手术器械距所述第一摄像机的所述视野的距离。
32.根据权利要求31所述的机器人外科手术系统，其中所述控制器被进一步配置成使显示装置显示所计算的距离。
33.一种非暂时性计算机可读介质，其上存储了指令，所述指令在由处理器执行时会使得：
检测在第一摄像机的视野内设置在第一外科手术器械上的多个第一标记和在第二摄像机的视野内设置在外科医生的头戴式设备上的多个第二标记；
基于所述第一摄像机的所述视野内的所述多个第一标记的位置来计算所述第一外科手术器械的位置；
确定所述第一外科手术器械相对于第二外科手术器械的所述位置；以及
当检测到的所述多个第二标记中的至少一个处于所述第二摄像机的视野之外时，禁用控制所述第一外科手术器械的能力。
34.根据权利要求33所述的非暂时性计算机可读介质，其还包含指令，所述指令在由处理器执行时会使得通过使用机器人臂上的预定点来计算所述第一外科手术器械的所述位置，所述第一外科手术器械联接到所述机器人臂。
35.根据权利要求34所述的非暂时性计算机可读介质，其还包含指令，所述指令在由处理器执行时会使得通过计算所述机器人臂的所述预定点的位置以识别所述机器人臂的基座的位置，来计算所述第一外科手术器械的所述位置。
36.根据权利要求33所述的非暂时性计算机可读介质，其还包含指令，所述指令在由处理器执行时会使得通过连续地更新检测到的所述多个第一标记的所述位置来跟踪所述第一外科手术器械的所述位置。
37.根据权利要求33所述的非暂时性计算机可读介质，其还包含指令，所述指令在由处理器执行时会使得通过基于检测到的所述多个第一标记的所述位置三角测量所述第一外科手术器械的三维位置来计算所述第一外科手术器械的所述位置。
38.根据权利要求33所述的非暂时性计算机可读介质，其还包含指令，所述指令在由处理器执行时会使得存储所述第一外科手术器械的所述位置。
39.根据权利要求38所述的非暂时性计算机可读介质，其还包含指令，所述指令在由处理器执行时会使得在所述第一外科手术器械在所述第一摄像机的所述视野之外时在显示器上显示识别所述第一外科手术器械的所述位置的指示符。
40.根据权利要求38所述的非暂时性计算机可读介质，其还包含指令，所述指令在由处理器执行时会使得增大所述第一摄像机的所述视野以将所述多个第一标记包含在所述视野中。
41.根据权利要求38所述的非暂时性计算机可读介质，其还包含指令，所述指令在由处理器执行时会使得显示所述第一外科手术器械不再处于所述第一摄像机的所述视野内的警告。
42.根据权利要求41所述的非暂时性计算机可读介质，其中显示警告包含用消息提示用户。
43.根据权利要求38所述的非暂时性计算机可读介质，其还包含指令，所述指令在由处理器执行时会使得确定手术室内的所述第一外科手术器械的最佳位置。
44.根据权利要求43所述的非暂时性计算机可读介质，其还包含指令，所述指令在由处理器执行时会使得生成示出所述手术室内的所述第一外科手术器械的所述位置的图。
45.根据权利要求44所述的非暂时性计算机可读介质，其中生成所述图包含生成示出手术台和所述第一外科手术器械的相对位置的图。
46.根据权利要求38所述的非暂时性计算机可读介质，其还包含指令，所述指令在由处理器执行时会使得在检测到的所述多个第一标记处于所述第一摄像机的所述视野之外时禁用控制所述第一外科手术器械的能力。
47.根据权利要求38所述的非暂时性计算机可读介质，其还包含指令，所述指令在由处理器执行时会使得计算所述第一外科手术器械距所述第一摄像机的所述视野的距离。
48.根据权利要求47所述的非暂时性计算机可读介质，其还包含指令，所述指令在由处理器执行时会使得在显示装置上显示所计算的距离。
CN201880033983.5A 2017-05-25 2018-05-07 用于检测图像捕获装置的视野内的物体的系统和方法 Active CN110650704B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762511022P 2017-05-25 2017-05-25
US62/511,022 2017-05-25
PCT/US2018/031327 WO2018217433A1 (en) 2017-05-25 2018-05-07 Systems and methods for detection of objects within a field of view of an image capture device

Publications (2)

Publication Number Publication Date
CN110650704A CN110650704A (zh) 2020-01-03
CN110650704B true CN110650704B (zh) 2023-05-26

Family

ID=64395854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880033983.5A Active CN110650704B (zh) 2017-05-25 2018-05-07 用于检测图像捕获装置的视野内的物体的系统和方法

Country Status (7)

Country Link
US (1) US11918299B2 (zh)
EP (1) EP3629978A4 (zh)
JP (2) JP7197511B2 (zh)
CN (1) CN110650704B (zh)
AU (1) AU2018273693A1 (zh)
CA (1) CA3063693A1 (zh)
WO (1) WO2018217433A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7076447B2 (ja) 2016-11-24 2022-05-27 ユニヴァーシティ オブ ワシントン ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング
DE102019004233B4 (de) * 2018-06-15 2022-09-22 Mako Surgical Corp. Systeme und verfahren zum verfolgen von objekten
US11059582B2 (en) 2019-02-11 2021-07-13 Cnh Industrial Canada, Ltd. Systems for acquiring field condition data
US11001380B2 (en) * 2019-02-11 2021-05-11 Cnh Industrial Canada, Ltd. Methods for acquiring field condition data
EP3934559A4 (en) * 2019-03-08 2022-12-07 Covidien LP ROBOTIC SURGICAL PROCESSES
CN113677283A (zh) * 2019-04-12 2021-11-19 柯惠Lp公司 用于基于颜色指示缝线张力的方法和系统
US10758309B1 (en) * 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries
US10949986B1 (en) 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
CN112641513B (zh) * 2020-12-15 2022-08-12 深圳市精锋医疗科技股份有限公司 手术机器人及其控制方法、控制装置
CN112587244A (zh) * 2020-12-15 2021-04-02 深圳市精锋医疗科技有限公司 手术机器人及其控制方法、控制装置
CN112618029A (zh) * 2021-01-06 2021-04-09 深圳市精锋医疗科技有限公司 手术机器人及其引导手术臂移动的方法、控制装置
CN113349933A (zh) * 2021-07-08 2021-09-07 杭州柳叶刀机器人有限公司 一种机器人系统
US12016642B2 (en) 2021-09-08 2024-06-25 Proprio, Inc. Constellations for tracking instruments, such as surgical instruments, and associated systems and methods
US20230096268A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
JP2024048960A (ja) * 2022-09-28 2024-04-09 株式会社メディカロイド 遠隔手術支援システムおよび指導医側操作装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010200894A (ja) * 2009-03-02 2010-09-16 Tadashi Ukimura 手術支援システム及び手術ロボットシステム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4184749A (en) 1978-06-22 1980-01-22 Mcdonnell Douglas Corporation Wide angle narrow bandpass optical filter system
JP3540362B2 (ja) 1994-06-14 2004-07-07 オリンパス株式会社 手術用マニピュレータの制御システム及びその制御方法
US5649021A (en) * 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
US6324011B1 (en) 1997-12-11 2001-11-27 Casio Computer Co., Ltd. Reflection plate having directivity and a display apparatus using the same
JPH11174214A (ja) 1997-12-11 1999-07-02 Casio Comput Co Ltd 指向性反射板およびそれを用いた反射型表示装置
US6927694B1 (en) 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
US7979157B2 (en) * 2004-07-23 2011-07-12 Mcmaster University Multi-purpose robotic operating system and method
WO2006087689A2 (en) 2005-02-18 2006-08-24 Koninklijke Philips Electronics N. V. Automatic control of a medical device
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US8503759B2 (en) * 2007-04-16 2013-08-06 Alexander Greer Methods, devices, and systems useful in registration
EP2626006B1 (en) 2007-08-14 2019-10-09 Koninklijke Philips N.V. Robotic instrument systems utilizing optical fiber sensors
US8488243B2 (en) 2008-10-27 2013-07-16 Realid Inc. Head-tracking enhanced stereo glasses
JP5522397B2 (ja) * 2009-11-20 2014-06-18 独立行政法人産業技術総合研究所 標識検定装置
IT1401669B1 (it) 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
KR101181569B1 (ko) 2010-05-25 2012-09-10 정창욱 단일 통로 수술 모드와 다통로 수술 모드를 실현할 수 있는 수술용 로봇 시스템 및 그 제어 방법
US8830329B2 (en) 2010-10-07 2014-09-09 Sony Computer Entertainment Inc. 3-D glasses with camera based head tracking
US9072523B2 (en) 2010-11-05 2015-07-07 Ethicon Endo-Surgery, Inc. Medical device with feature for sterile acceptance of non-sterile reusable component
KR101284087B1 (ko) * 2011-04-29 2013-07-10 한국과학기술원 시각센서를 이용한 수술용 로봇, 그 수술용 로봇의 위치 및 각도 분석방법, 그 수술용 로봇의 제어방법, 그 수술용 로봇의 위치 및 각도 분석시스템 및 그 수술용 로봇의 제어 시스템
JP5800616B2 (ja) 2011-07-15 2015-10-28 オリンパス株式会社 マニピュレータシステム
US9204939B2 (en) * 2011-08-21 2015-12-08 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery—rule based approach
US9106903B2 (en) 2011-11-18 2015-08-11 Zspace, Inc. Head tracking eyewear system
US11896446B2 (en) * 2012-06-21 2024-02-13 Globus Medical, Inc Surgical robotic automation with tracking markers
JP2015528713A (ja) * 2012-06-21 2015-10-01 グローバス メディカル インコーポレイティッド 手術ロボットプラットフォーム
US20150049952A1 (en) 2013-08-14 2015-02-19 Vsp Labs, Inc. Systems and methods of measuring facial characteristics
JP5927366B1 (ja) * 2014-09-24 2016-06-01 オリンパス株式会社 医療システム
US10413373B2 (en) * 2016-08-16 2019-09-17 Ethicon, Llc Robotic visualization and collision avoidance

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010200894A (ja) * 2009-03-02 2010-09-16 Tadashi Ukimura 手術支援システム及び手術ロボットシステム

Also Published As

Publication number Publication date
EP3629978A1 (en) 2020-04-08
US20200170718A1 (en) 2020-06-04
JP7197511B2 (ja) 2022-12-27
JP2022101696A (ja) 2022-07-06
JP2020520752A (ja) 2020-07-16
EP3629978A4 (en) 2021-03-03
WO2018217433A1 (en) 2018-11-29
US11918299B2 (en) 2024-03-05
AU2018273693A1 (en) 2019-11-28
CA3063693A1 (en) 2018-11-29
CN110650704A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN110650704B (zh) 用于检测图像捕获装置的视野内的物体的系统和方法
CN110177518B (zh) 用于在图像捕获装置的视场内检测物体的系统和方法
US20210157403A1 (en) Operating room and surgical site awareness
US11707330B2 (en) Systems and methods for surgical navigation
CN109275333B (zh) 用于控制机器人递送操纵器的系统、方法和计算机可读程序产品
US11006100B1 (en) Smart glasses system
KR102512876B1 (ko) 입체 뷰어를 위한 눈 시선 추적을 통합하는 의료 디바이스, 시스템, 및 방법
JP2021126519A (ja) 外科手術におけるコンピュータ支援ナビゲーションのための光学器具追跡ボリュームのエクステンデッドリアリティ視覚化
EP3613547B1 (en) Synthetic representation of a surgical robot
CN111317567A (zh) 胸腔成像、距离测量以及通知系统和方法
CN111317568B (zh) 胸部成像、距离测量、手术感知以及通知系统和方法
JP2017515617A (ja) 視野内の器具の定量的三次元視覚化
EP3867921A1 (en) Augmented reality with medical imaging
CN110545748A (zh) 具有用户接合监控的机器人外科手术系统
JP2021171657A (ja) 手術中の支援されたナビゲーションのための拡張現実ヘッドセットのカメラによって追跡された参照アレイを備えた手術器具の位置合わせ
US11442534B1 (en) Smart glasses system
US20150301439A1 (en) Imaging Projection System
EP3871193B1 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
US11775052B1 (en) Smart room system
US20200297446A1 (en) Method and Apparatus for Providing Improved Peri-operative Scans and Recall of Scan Data
WO2024049942A1 (en) Techniques for updating a registration transform between an extended-reality system and a computer-assisted device
CN117012342A (zh) 用于基于估计的外科医生姿态确定造影的技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant