CN112074248A - 立体可视化相机和集成式机器人技术平台 - Google Patents

立体可视化相机和集成式机器人技术平台 Download PDF

Info

Publication number
CN112074248A
CN112074248A CN201980028564.7A CN201980028564A CN112074248A CN 112074248 A CN112074248 A CN 112074248A CN 201980028564 A CN201980028564 A CN 201980028564A CN 112074248 A CN112074248 A CN 112074248A
Authority
CN
China
Prior art keywords
processor
image
robotic arm
joint
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980028564.7A
Other languages
English (en)
Inventor
M·瑞米瑞兹卢纳
M·韦斯曼
T·P·瑞德尔
G·C·坡尔金
A·B·特瑞帕斯
P·特里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcon Inc
Original Assignee
Alcon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcon Inc filed Critical Alcon Inc
Publication of CN112074248A publication Critical patent/CN112074248A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A61B90/25—Supports therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B90/57—Accessory clamps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/066—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring torque
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0801—Prevention of accidental cutting or pricking
    • A61B2090/08021—Prevention of accidental cutting or pricking of the patient or his organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Endoscopes (AREA)
  • Microscoopes, Condenser (AREA)
  • Manipulator (AREA)

Abstract

披露了一种机器人成像设备。机器人成像设备包括机器人臂、立体相机、以及定位于机器人臂与立体相机之间的传感器。传感器传输输出数据，所述输出数据指示操作者施加在立体相机上的平移力和旋转力。机器人成像设备还包括处理器，所述处理器被配置为基于机器人臂的当前位置和传感器的输出数据来确定机器人臂的移动顺序，并基于所确定的移动顺序，通过提供给至少一个关节的一个或多个电机控制信号来使机器人臂的至少一个关节旋转。至少一个关节的旋转基于所检测到的操作者施加的平移力和旋转力来提供机器人臂的动力辅助移动。

Description

立体可视化相机和集成式机器人技术平台
背景技术
外科手术是一门艺术。有成就的艺术家创作的艺术品远远超出了普通人的能力。艺术家使用画笔将多罐涂料转换为生动的图像，这些图像引起了观众强烈而独特的情感。艺术家将普通的文字写在纸上，并将其变成戏剧性的且令人振奋的表演。艺术家掌握乐器使它们发出优美的音乐。类似地，外科医生使用看似普通的手术刀、镊子和探针，创造改变生命的生物学奇迹。
像艺术家一样，外科医生也有他们自己的方法和偏好。有抱负的艺术家被教导他们的工艺基础知识。初学者经常遵循规定的方法。随着他们获得经验、信心和知识，他们发展出他们自己的独特技艺以反映出他们自己和他们的个人环境。类似地，医学生被教导外科手术的基础知识。他们关于这些方法上经过严格测试。随着这些学生通过实习和专业实践取得进步，他们会基于他们认为的应该完成外科手术的最好方式来发展基础知识的衍生(仍在医学标准之内)。例如，考虑由不同的知名外科医生执行的相同医疗手术。事件的顺序、起搏、工作人员的安排、工具的放置以及对成像设备的使用在各外科医生之间基于他们的偏好而有所不同。甚至切口的大小和形状对外科医生来说也可能是独一无二的。
外科医生的艺术般的独特性和成就使他们厌倦了改变或更改他们的方法的外科手术工具。工具应是外科医生的延伸，同时操作和/或协调同步地操作。决定手术流程或改变外科医生节奏的外科手术工具常常会被丢弃或被修改以使符合要求。
在示例中，考虑显微外科手术可视化，其中，某些外科手术涉及的患者结构对于人类来说太小以至于无法用肉眼轻易地看见。对于这些显微外科手术，需要放大以充分观察微观结构。外科医生通常需要可视化工具，这些工具是他们眼睛的自然延伸。的确，显微外科手术可视化的早期工作包括将放大透镜附接到头戴式光学接目镜(称为外科手术放大镜)上。第一副是在1876年开发的。如今外科医生仍在使用大幅改进版本的外科手术放大镜(某些包括光学变焦和集成光源)。图1示出了具有光源102和放大透镜104的一副外科手术放大镜100的图。外科手术放大镜150年来经久不衰可以归因于它们实际上是外科医生眼睛的延伸。
尽管外科手术放大镜使用寿命长，但它们并不完美。具有放大透镜和光源的放大镜，比如图1的放大镜100，具有大得多的重量。即使在外科医生的面部前面施加很小的重量，也可能增加不适感和疲劳感，尤其是在持续很久的外科手术中。外科手术放大镜100还包括连接到远程电源的电缆106。电缆有效地起到了链条的作用，从而限制了外科医生在其外科手术执行期间的移动性。
另一个显微外科手术可视化工具是外科手术显微镜，也称为手术显微镜。外科手术显微镜的大范围商业发展始于1950年代，目的是更换外科手术放大镜。外科手术显微镜包括光路、透镜和聚焦元件，与外科手术放大镜相比，这些外科手术显微镜提供了更大的放大率。较大的光学元件阵列(以及由此产生的重量)意味着必须将外科手术显微镜与外科医生分离。虽然这种分离为外科医生提供了更多的操作空间，但外科手术显微镜的体积使其占用了患者上方相当大的手术空间，从而减小了外科手术台的大小。
图2示出了现有技术的外科手术显微镜200的图。可以想象，外科手术显微镜在手术区域的大小和存在使其容易发生碰撞。为了在显微镜头部201处提供稳定性和刚性，显微镜被连接到相对较大的伸缩臂202和204或其他类似的支撑结构。大的伸缩臂202和204占用了额外的外科手术空间，并降低了外科医生和工作人员的可操作性。总体上，图2所示的外科手术显微镜200可能重达350千克(“kg”)。
为了使用外科手术显微镜200观察目标外科手术部位，外科医生直接通过目镜206进行观察。为了减轻外科医生背部的压力，通常将目镜206沿着外科医生的自然视线定位，使用臂202来调整高度。然而，外科医生并不仅通过观察目标外科手术部位来进行手术。目镜206必须被定位成使得外科医生在到患者的工作距离的臂长度内。这种精确定位对于确保外科手术显微镜200成为外科医生的延伸而不是阻碍是至关重要的，尤其是在长时间段使用时。
像任何复杂的器械一样，使用外科手术显微镜需要外科医生花费数十至数百小时才能感到舒适。如图2所示，外科手术显微镜200的设计需要从外科医生到目标外科手术部位的大致90°角的光路。例如，需要从目标外科手术部位到显微镜头部201的完全竖直的光路。这意味着每次显微外科手术都必须将显微镜头部201定位在患者的正上方。另外，外科医生必须几乎水平地(或者向下某个微小的角度)向目镜206里看。外科医生的自然倾向是将他的视线引导至外科手术部位处的手。一些外科医生甚至想将其头部移近外科手术部位，以更精确地控制其手部移动。遗憾的是，外科手术显微镜200没有给予外科医生这种灵活性。相反，外科手术显微镜200无情地决定了外科医生在其外科手术执行期间必须将其眼睛放在目镜206上并且将其头部保持在臂长处，同时还要占用患者上方的宝贵外科手术空间。外科医生甚至不能简单地低头看着患者，因为显微镜头部201挡住了外科医生的视线。
更糟糕的是，有些外科手术显微镜200包括用于辅助手术人员(例如，助理外科医生、护士或其他临床工作人员)的第二副目镜208。第二副目镜208通常与第一目镜206成直角定位。目镜206与目镜208之间的紧密度决定了助手必须紧靠着外科医生站立(或坐着)，这进一步限制了移动。对于一些喜欢有一定空间进行手术的外科医生来说，这可能会是令人厌烦的。尽管具有放大的益处，但是外科手术显微镜200并不是外科医生的自然延伸。相反，它们是外科手术室里的主导引向器(overbearing director)。
发明内容
本披露涉及一种包括立体可视化相机和机器人臂的立体机器人系统。示例立体机器人系统被配置为获取目标外科手术部位的立体图像，同时使操作者能够使用机器人臂定位立体可视化相机。如本文所披露的，机器人臂包括机电操作的关节，这些关节提供结构稳定性以使立体可视化相机能够记录高分辨率图像而不会由于相机意外移动而产生抖动或其他伪影。机器人臂还提供了结构灵活性，结构灵活性允许操作者将立体可视化相机定位在不同的位置和/或取向，以获得目标外科手术部位的期望视图。因此，示例立体机器人系统使外科医生能够在适合外科医生的任何位置舒适地完成改变生命的显微外科手术。
本披露的立体机器人系统可以相对于最适合外科医生或患者的需要的术野围绕任何数量的取向定位，而没有对可视化设备的物理和机械限制。立体机器人系统被配置为提供机动化关节移动辅助，机动化关节移动辅助使外科医生或其他操作者能够毫不费力地定位立体可视化相机。在一些实施例中，立体机器人系统被配置为基于从定位立体相机的操作者检测到的力来提供机器人臂的机动化辅助移动。立体机器人系统还可以使操作者能够选择目标外科手术部位上的视觉锁定，同时使操作者能够改变立体可视化相机的取向和/或位置。另外地或可替代地，立体机器人系统被配置有一个或多个边界，边界防止立体可视化相机和/或机器人臂接触患者、外科手术工作人员和/或外科手术器械。总体上，立体机器人系统作为外科医生的眼睛的延伸而操作，同时给予外科医生通常自由地进行显微外科手术的自由，而没有限制或妨碍。
本文所描述的主题的各方面可以单独使用或与本文所描述的一个或多个其他方面结合使用。在不限制前述描述的情况下，在本披露的第一方面中，机器人成像设备包括：基部区段，所述基部区段被配置用于连接至固定结构或推车以及机器人臂，所述机器人臂具有连接至基部区段的第一端部、包括联接接口第二端部、以及将第一端部连接到第二端部的多个关节和连杆。每个关节包括被配置为使关节绕轴线旋转的电机和被配置为传输相应关节的位置的关节传感器。机器人成像设备还包括在联接接口处连接至机器人臂的立体相机。立体相机被配置为记录目标外科手术部位的左图像和右图像，以产生目标外科手术部位的立体图像流。机器人成像设备进一步包括传感器，所述传感器定位于联接接口处并被配置为检测和传输输出数据，所述输出数据指示操作者施加在立体相机上的平移力和旋转力。机器人成像设备另外包括存储器，所述存储器存储至少一个由一个或多个指令和/或数据结构定义的算法，所述指令和/或数据结构至少基于机器人臂的当前位置和检测到的平移力和旋转力指定机器人臂的每个关节的旋转方向、速度和持续时间。此外，机器人成像设备包括通信地联接到传感器和机器人臂的至少一个处理器。所述至少一个处理器被配置为从传感器接收指示平移力和旋转力的输出数据并使用存储器中的至少一个算法基于机器人臂的当前位置和传感器的输出数据来确定机器人臂的移动顺序。所述至少一个处理器还被配置为通过提供给至少一个关节的一个或多个电机控制信号，基于所确定的移动顺序，使机器人臂的关节中的至少一个关节旋转。所述至少一个关节的旋转基于所检测到的操作者施加在立体相机上的平移力和旋转力，提供机器人臂的动力辅助移动。
根据本披露的第二方面，除非另有说明，否则第二方面可以与本文中列出的任何其他方面结合使用，所述至少一个处理器被配置为基于来自所述多个关节的关节传感器的输出数据来确定所述机器人臂的当前位置。
根据本披露的第三方面，除非另外声明，否则第三方面可以与本文中列出的任何其他方面结合使用，所述传感器包括六自由度触觉力感测装置或转矩传感器中的至少一个。
根据本披露的第四方面，除非另有说明，否则第四方面可以与本文中列出的任何其他方面结合使用，立体相机包括至少一个控制臂，所述控制臂具有用于实现动力辅助移动的释放按钮，并且至少一个处理器被配置为接收指示选择释放按钮的输入消息，并且在接收到与释放按钮相关的输入消息之后，使用传感器的输出数据确定移动顺序。
根据本披露的第五方面，除非另有说明，否则第五方面可以与本文中列出的任何其他方面结合使用，所述设备进一步包括联接板，所述联接板的第一端部被配置为连接至机器人臂的联接接口，并且第二端部包括第二联接接口，所述第二联接接口被配置为连接到立体相机。所述联接板包括至少一个关节，所述关节包括被配置为传输相应关节的位置的关节传感器和可由所述至少一个处理器根据所述移动顺序控制的电机。
根据本披露的第六方面，除非另外声明，否则第六方面可以与本文列出的任何其他方面结合使用，传感器位于联接接口或第二联接接口处。
根据本披露的第七方面，除非另外声明，否则第七方面可以与本文中列出的任何其他方面结合使用，所述联接板包括第二关节，所述第二关节使操作者能够手动地将立体相机在水平取向与竖直取向之间旋转。第二关节包括被配置为传输第二关节的位置的关节传感器。
根据本披露的第八方面，除非另外声明，否则第八方面可以与本文列出的任何其他方面结合使用，立体相机包括壳体，所述壳体底侧，所述底侧被配置为在联接接口处连接至机器人臂。
根据本披露的第九方面，除非另有说明，否则第九方面可以与本文列出的任何其他方面结合使用，机器人成像设备包括机器人臂，所述机器人臂包括用于连接至固定结构的第一端部、包括联接接口的第二端部、以及将第一端部连接到第二端部的多个关节和连杆，每个关节包括被配置为使关节绕轴线旋转的电机和被配置为传输相应关节的位置的关节传感器。机器人成像设备还包括在联接接口处连接至机器人臂的成像装置、以及传感器，所述成像装置配置为记录目标外科手术部位的图像，所述传感器定位在联接接口处并且被配置为检测和传输力和/或转矩输出数据，力和/或转矩输出数据指示操作者施加在成像装置上的力和/或转矩。机器人成像设备进一步包括通信地联接到传感器和机器人臂的至少一个处理器。所述至少一个处理器被配置为从传感器接收力和/或转矩输出数据、将力和/或转矩输出数据转换为平移向量和旋转向量、使用运动学基于机器人臂的当前位置以及平移向量和旋转向量确定机器人臂的移动顺序、以及通过提供给至少一个关节的一个或多个电机控制信号基于所确定的移动顺序使机器人臂的关节中的至少一个关节旋转，所述移动顺序指定所述机器人臂的所述关节中的至少一些关节的旋转方向、速度和移动持续时间。
根据本披露的第十方面，除非另有说明，否则第十方面可以与本文列出的任何其他方面结合使用，所述处理器被配置为基于移动顺序基于机器人臂的当前位置或机器人臂的未来位置中的至少一个来确定至少一个比例因子，并将比例因子施加于移动顺序的至少一个关节速度。
根据本披露的第十一方面，除非另有说明，否则第十一方面可以与本文列出的任何其他方面结合使用，所述至少一个比例因子是基于所述机器人臂或所述成像装置距虚拟边界的距离而配置的。随着接近虚拟边界，至少一个比例因子减小到值‘0’。
根据本披露的第十二方面，除非另外声明，否则第十二方面可以与本文中列出的任何其他方面结合使用，所述虚拟边界对应于患者、医疗器械或手术室工作人员中的至少一个。
根据本披露的第十三方面，除非另外说明，否则第十三方面可以与本文列出的任何其他方面结合使用，所述处理器被配置为使显示装置显示图标，所述图标指示已将所述至少一个比例因子施加于所述移动顺序。
根据本披露的第十四方面，除非另外说明，否则第十四方面可以与本文列出的任何其他方面结合使用，所述处理器被配置为基于所述机器人臂的关节之间的关节角度或关节极限确定至少一个比例因子，并将所述比例因子施加于所述移动顺序的至少一个关节速度。
根据本披露的第十五方面，除非另有说明，否则第十五方面可以与本文列出的任何其他方面结合使用，所述处理器被配置用于为所述力和/或转矩输出数据提供重力补偿，并为所述力和/或转矩输出数据提供力施加补偿，以补偿所述传感器的位置与所述操作者将力和/或转扭施加在所述成像装置上的位置之间的偏移。
根据本披露的第十六方面，除非另有说明，否则第十六方面可以与本文列出的任何其他方面结合使用，所述处理器被配置为确定或识别所述机器人臂的多个关节的关节奇异点以控制滞后和反冲，并且基于所述运动学确定移动顺序，同时避免所述机器人臂移动通过所述关节奇异点。
根据本披露的第十七方面，除非另有说明，否则第十七方面可以与本文列出的任何其他方面结合使用，所述机器人成像设备进一步包括联接板，所述联接板的第一端部被配置为连接到所述机器人臂的联接接口，第二端部包括第二联接接口，所述第二联接接口被配置为连接到所述立体相机。所述联接板包括至少一个关节，所述关节包括被配置为传输相应关节的位置的关节传感器和可由所述至少一个处理器根据所述移动顺序控制的电机。所述传感器位于所述联接接口或所述第二联接接口处。
根据本披露的第十八方面，除非另有说明，否则第十八方面可以与本文列出的任何其他方面结合使用，所述机器人臂包括至少四个关节，并且所述联接板包括至少两个关节。
根据本披露的第十九方面，除非另有说明，否则第十九方面可以与本文中列出的任何其他方面结合使用，所述处理器被配置为通过将指示所述移动顺序指定的所述旋转方向、速度和所述移动持续时间的一个或多个命令信号传输至相应关节的电机，使所述机器人臂的所述关节中的至少一个关节旋转。
根据本披露的第二十方面，除非另有说明，否则第二十方面可以与本文中列出的任何其他方面结合使用，所述处理器被配置为对在所述移动顺序期间当所述机器人臂正在移动时所述成像装置记录的图像进行比较，以确认在所述移动顺序期间所述机器人臂按照所指定的那样在移动。
根据本披露的第二十一方面，除非另有说明，否则第二十一方面可以与本文中列出的任何其他方面结合使用，所述运动学包括逆运动学或雅可比运动学中的至少一个。
根据本披露的第二十二方面，结合图3至图65展示和描述的结构和功能中的任何一个可以与结合图3至图65中的任何其他图以及结合前述方面中的任何一个或多个方面展示和描述的结构和功能中的任何一个结合使用。
鉴于以上方面和本文中的披露，因此，本披露的优点是提供一种在立体相机与机器人臂之间提供无缝协调的立体机器人系统。
本披露的另一个优点是提供一种立体机器人系统，所述立体机器人系统使用机器人臂来增加立体机器人系统的焦距、工作距离和/或放大率。
本披露的另一个优点是提供一种立体机器人系统，所述立体机器人系统基于操作者在立体相机上施加的力/转矩来提供机器人臂的动力辅助移动。
本文所讨论的优点可以在本文披露的实施例中的一个或一些实施例(也许不是全部实施例)中找到。附加特征和优点在本文进行了描述，并且从以下详细说明和附图来看将是显而易见的。
附图说明
图1示出了一副现有技术的外科手术放大镜的图。
图2示出了现有技术的外科手术显微镜的图。
图3和图4示出了根据本披露的示例实施例的立体可视化相机的立体图。
图5和图6示出了根据本披露的示例实施例的包括图3和图4的立体可视化相机的显微外科手术环境的图。
图7和图8示出了根据本披露的示例实施例的展示图3至图6的示例立体可视化相机内的光学元件的图。
图9示出了根据本披露的示例实施例的图7和图8的示例立体可视化相机的偏转元件的图。
图10示出了根据本披露的示例实施例的图7和图8的示例立体可视化相机的右光学图像传感器和左光学图像传感器的示例的图。
图11和图12示出了根据本披露的示例实施例的图7和图8的示例立体可视化相机的光学元件的示例载架的图。
图13示出了根据本披露的示例实施例的图7和图8的示例立体可视化相机的示例挠曲件的图。
图14示出了根据本披露的示例实施例的用于获取和处理图像数据的示例立体可视化相机的模块的图。
图15示出了根据本披露的示例实施例的图14的模块的内部部件的图。
图16示出了根据本披露的示例实施例的图14和图15的信息处理器模块的图。
图17示出了根据本披露的示例实施例的显示监视器的示例。
图18至图21示出了展示右光路与左光路之间的假视差的图。
图22示出了展示与用于相应右光路和左光路的两个平行透镜的位置相关的离焦条件的图。
图23和图24示出了展示当融合到立体图像时，假视差如何导致数字图形和/或图像失去准确性的图。
图25和图26展示了根据本披露的示例实施例的示出减少或消除假视差的示例过程的流程图。
图27示出了根据本披露的示例实施例的展示相对于光学图像传感器的像素网格如何调整变焦重复点的图。
图28至图32示出了根据本披露的示例实施例的展示用于定位变焦重复点的模板匹配程序的图。
图33示出了根据本披露的示例实施例的图5的显微外科手术环境的侧视图。
图34示出了根据本披露的示例实施例的图5的示例机器人臂的实施例。
图35示出了根据本披露的示例实施例的图33和图34的机器人臂连接到推车上的图。
图36示出了根据本披露的示例实施例的图33和图34的机器人臂安装到天花板上的图。
图37示出了根据本披露的示例实施例的机器人臂的联接板的实施例。
图38至图40示出了根据本披露的示例实施例的联接板处于不同旋转位置的图。
图41展示了根据本披露的示例实施例的图3至图40的立体机器人平台的实施例。
图42展示了根据本披露的示例实施例的用于校准图3至图33的立体可视化相机的示例过程或例程。
图43示出了根据本披露的示例实施例的图3至图33和图42的示例立体可视化相机以多个离散步长移动物平面的实施例。
图44展示了曲线图，展示了根据本披露的示例实施例的展示用于确定图3至图33和图42的立体可视化相机的投影中心的处理器可执行的例程。
图45示出了根据本披露的示例实施例的光学示意图的平面图，该光学示意图展示了图3至图33的立体可视化相机的瞳孔间距如何被测量和校准。
图46示出了根据本披露的示例实施例的光学示意图的平面图，该光学示意图展示了图3至图33的立体可视化相机的光轴可以如何被测量和校准。
图47展示了根据本披露的示例实施例的其中充分表征了光学参数的经校准的立体可视化相机的图。
图48展示了根据本披露的示例实施例的用于校准图5和图33至图41的机器人臂的示例过程或例程。
图49示出了根据本披露的示例实施例的展示如何根据机器人空间校准立体可视化相机和/或机器人臂的图。
图50示出了根据本披露的示例实施例的展示用于限制立体可视化相机和/或机器人臂的移动的水平和竖直边界平面的图。
图51展示了根据本披露的示例实施例的如何基于到边界的距离来按比例调节机器人臂和/或联接板的关节转速的示例。
图52示出了根据本披露的示例实施例的用于将交替模态可视化产生的图像与立体图像融合的示例过程的图。
图53至图61示出了根据本披露的示例实施例的展示通过组合图3至图52的立体可视化相机和/或机器人臂而产生的实况截面融合可视化效果的图。
图62示出了根据本披露的示例实施例的展示用于提供图3至图52的立体可视化相机的辅助驱动的过程的图。
图63示出了根据本披露的示例实施例的用于使用输入装置移动图3至图52的示例可视化相机的示例过程的图。
图64示出了根据本披露的示例实施例的展示用于为立体可视化相机提供锁定到目标的算法、例程或过程的图。
图65示出了根据本披露的示例实施例的展示图64的锁定到目标特征的虚拟球体的图。
具体实施方式
本披露总体上涉及立体可视化相机和平台。立体可视化相机可以被称为数字立体显微镜(“DSM”)。示例相机和平台被配置用于将显微镜光学元件与视频传感器集成到独立式头部单元中，该自含式头部单元比现有技术显微镜(比如图1的外科手术放大镜100和图2的外科手术显微镜200)显著地更小、更轻、并且更具操纵性。示例相机被配置用于在外科手术环境内将立体视频信号传输至一个或多个电视监视器、投影仪、全息装置、智能眼镜、虚拟现实装置或其他视觉显示装置。
监视器或其他视觉显示装置可以被定位在外科手术环境中，以便在对患者进行外科手术时容易地处于外科医生的视线内。这种灵活性使外科医生能够基于个人偏好或习惯放置显示监视器。另外，本文披露的立体可视化相机的灵活性和纤薄外形减小了在患者上方占用的区域。总之，与上面所讨论的外科手术显微镜200相比，立体可视化相机和监视器(例如，立体可视化平台)使外科医生和外科手术团队能够对患者进行复杂的显微外科手术，而不受移动性的支配或限制。因此，示例立体可视化平台作为外科医生的眼睛的延伸，使外科医生能够进行杰作般的显微外科手术而无需处理由先前已知的可视化系统引起的压力、限制和局限。
本文的披露内容总体上涉及显微外科手术。示例立体可视化相机实际上可以用于任何显微外科手术，包括例如颅脑外科手术、脑部外科手术、神经外科手术、脊柱外科手术、眼外科手术、角膜移植、矫形外科手术、耳鼻喉外科手术、牙外科手术、整形和重建外科手术、或普通外科手术。
本披露在本文中还涉及目标部位、场景或视野。如本文中所使用的，目标部位或视野包括由示例立体可视化相机正在记录或以其他方式成像的物体(或物体的一部分)。通常，目标部位、场景或视野是距示例立体可视化相机的主物镜组件的工作距离，并且与示例立体可视化相机对准。目标部位可以包括患者的生物组织、骨骼、肌肉、皮肤或其组合。在这些实例中，通过具有与患者解剖学结构进展相对应的深度分量，目标部位可能是三维的。目标部位还可以包括用于示例立体可视化相机的校准或验证的一个或多个模板。这些模板可以是二维的、比如在纸(或塑料片材)上的图形设计，或者可以是三维的、比如以接近某个区域中的患者解剖学结构。
在全文中还提及了x方向、y方向、z方向和倾斜方向。z方向沿着从示例立体可视化相机到目标部位的轴线，并且一般是指深度。x方向和y方向在入射到z方向的平面中并且包括目标部位的平面。x方向是沿着与y方向的轴线成90°的轴线。沿x方向和/或y方向的移动是指平面内移动，并且可以指示例立体可视化相机的移动、示例立体可视化相机内的光学元件的移动和/或目标部位的移动。
倾斜方向对应于相对于x方向、y方向和/或z方向沿着欧拉角(例如，偏航轴、俯仰轴和翻滚轴)的移动。例如，完全对准的透镜相对于x方向、y方向和/或z方向大体上是0°倾斜。换言之，透镜的面与沿z方向的光成90°或垂直。另外，透镜的边缘(如果透镜具有矩形形状)沿x方向和y方向平行。可以通过偏航移动、俯仰移动和/或翻滚移动来为透镜和/或光学图像传感器命名。例如，透镜和/或光学图像传感器可以沿相对于z方向的俯仰轴命名为面向上或面向下。沿z方向的光以非垂直角度接触透镜的面(斜向上或斜向下)。透镜和/或光学图像传感器沿偏航轴、俯仰轴或翻滚轴的倾斜使得例如焦点或ZRP能够被调整。
I.示例立体可视化相机
图3和图4示出了根据本披露的示例实施例的立体可视化相机300的立体图。示例相机300包括壳体302，该壳体被配置用于围封光学元件、透镜电机(例如，致动器)和信号处理电路系统。相机300的宽度(沿x轴)在15至28厘米(cm)之间、优选地在22cm左右。另外，相机300的长度(沿y轴)在15cm至32cm之间、优选地在25cm左右。进一步地，相机300的高度(沿z轴)在10cm至20cm之间、优选地在15cm左右。相机300的重量在3kg至7kg之间、优选地在3.5kg左右。
相机300还包括控制臂304a和304b(例如，操作手柄)，控制臂被配置用于控制放大率水平、聚焦和其他显微镜特征。控制臂304a和304b可以包括用于激活或选择某些特征的相应控件305a和305b。例如，控制臂304a和304b可以包括控件305a和305b，这些控件用于选择荧光模式、调整投射到目标部位的光的量/类型以及控制显示输出信号(例如，在1080p或4K和/或立体之间选择)。另外，控件305a和/或305b可以用于启动和/或执行校准过程和/或移动连接至立体可视化相机300的机器人臂。在一些实例中，控件305a和305b可以包括相同的按钮和/或特征。在其他实例中，控件305a和305b可以包括不同的特征。进一步地，控制臂304a和304b还可以被配置为把手以使操作者能够定位立体可视化相机300。
如图3所示，每个控制臂304经由可旋转的柱306连接至壳体302。此连接使得控制臂304能够相对于壳体302旋转。此旋转为外科医生提供了根据需要布置控制臂304的灵活性，从而进一步增强了立体可视化相机300与外科手术执行同步的适应性。
虽然图3和图4所示的示例相机300包括两个控制臂304a和304b，但应当理解，相机300可以只包括一个控制臂或不包括控制臂。在立体可视化相机300不包括控制臂的实例中，控件可以与壳体302集成和/或经由遥控器提供。
图4示出了根据本披露的示例实施例的立体可视化相机300的后侧的自底向上立体图。立体可视化相机300包括被配置为连接至支撑件的安装支架402。如图5和图6中更详细描述的，支撑件可以包括具有一个或多个关节的臂，以提供显著的可操作性。臂可以连接至可移动的推车上或者固定在墙壁或天花板上。
立体可视化相机300还包括被配置用于接收电源适配器的电源端口404。可以从AC插座和/或推车上的电池接收功率。在一些实例中，立体可视化相机300可以包括内部电池以在没有电绳的情况下有助于操作。在这些实例中，电源端口404可以用于为电池充电。在替代性实施例中，电源端口404可以与安装支架402集成，使得立体可视化相机300经由支撑件内的电线(或其他导电布线材料)接收功率。
图4还示出了立体可视化相机300可以包括数据端口406。示例数据端口406可以包括任何类型的端口，包括例如以太网接口、高清多媒体接口(“HDMI”)接口、通用串行总线(“USB”)接口、串行数字接口(“SDI”)、数字光学接口、RS-232串行通信接口等。数据端口406被配置用于在立体可视化相机300与布线到一个或多个计算装置、服务器、记录装置和/或显示装置的电绳之间提供通信连接。通信连接可以传输立体视频信号或二维视频信号以用于进一步处理、存储和/或显示。数据端口406还可以使控制信号能够被发送到立体可视化相机300。例如，连接的计算机(例如，膝上型计算机、台式计算机和/或平板计算机)处的操作者可以将控制信号传输至立体可视化相机300以指导操作、执行校准或改变输出显示设置。
在一些实施例中，数据端口406可以用无线接口代替(和/或补充)。例如，立体可视化相机300可以经由Wi-Fi将立体显示信号传输至一个或多个显示装置。无线接口的使用，结合内部电池，使立体可视化相机300能够不需要电线，从而进一步提高了外科手术环境中的可操作性。
图4所示的立体可视化相机300还包括主物镜组件的前工作距离主物镜408。示例透镜408是立体可视化相机300内的光路的起点。来自立体可视化相机300的内部光源的光通过透镜408透射到目标部位。另外，从目标部位反射的光被接收在透镜408中并传递到下游光学元件。
II.立体可视化相机的示例性可操作性
图5和图6示出了根据本披露的示例实施例的在显微外科手术环境500内使用的立体可视化相机300的图。如图所示，立体可视化相机300(尤其是当与多自由度臂结合使用时)的小占地面积和可操作性使得能够相对于患者502灵活定位。从立体可视化相机300的角度来看，患者502的一部分包括目标部位503。外科医生504可以将立体可视化相机300定位在几乎任何取向，同时在(以仰卧位躺着的)患者502上方留出足够的外科手术空间。立体可视化相机300因此具有最低程度的侵入性(或不具有侵入性)以使外科医生504能够在不受干扰或阻碍的情况下进行改变生命的显微外科手术。
在图5中，立体可视化相机300经由安装支架402连接至机械臂506。臂506可以包括带有机电制动器的一个或多个旋转或可延伸的关节，以有助于容易地重新定位立体可视化相机300。为了移动立体可视化相机300，外科医生504或助手508致动臂506的一个或多个关节上的制动释放器。在将立体可视化相机300移动到期望位置之后，可以接合制动器以将臂506的关节锁定在位。
立体可视化相机300的重要特征是它不包括目镜。这意味着立体可视化相机300不必与外科医生504的眼睛对准。这种自由度使得立体可视化相机300能够被定位并定向在期望的位置，这在现有的已知外科手术显微镜中是不可行或不可能的。换言之，外科医生504可以在用于进行该程序的最佳视图下执行显微外科手术，而不是仅限于由外科手术显微镜的目镜所指示的适当视图。
返回图5，立体可视化相机300经由机械臂506连接至具有显示监视器512和514的推车510(统称为立体可视化平台或立体机器人平台516)。在所展示的配置中，立体可视化平台516是独立式的并且可以被移动到显微外科手术环境500中的任何期望位置，包括在外科手术室之间。集成平台516使立体可视化相机300能够按需移动和使用，而无需花费时间通过连接显示监视器512和514来配置系统。
显示监视器512和514可以包括任何类型的显示器，包括高清电视、超高清电视、智能眼镜、投影仪、一个或多个计算机屏幕、膝上型计算机、平板计算机和/或智能电话。显示监视器512和514可以连接至机械臂以实现类似于立体可视化相机300的灵活定位。在一些实例中，显示监视器512和514可以包括触摸屏，以使操作者能够将命令发送到立体可视化相机300和/或调整显示器的设置。
在一些实施例中，推车516可以包括计算机520。在这些实施例中，计算机520可以控制连接至立体可视化相机300的机器人式机械臂。另外地或可替代地，计算机520可以处理来自立体可视化相机300的视频(或立体视频)信号(例如，图像或帧流)，以在显示监视器512和514上显示。例如，计算机520可以组合或交织来自立体可视化相机300的左视频信号与右视频信号以创建用于显示目标部位的立体图像的立体信号。计算机520还可以用于将视频和/或立体视频信号存储到视频文件中(存储到存储器中)，从而可以记载外科手术执行并进行回放。进一步地，计算机520还可以将控制信号发送到立体可视化相机300以选择设置和/或执行校准。
在一些实施例中，图5的显微外科手术环境500包括眼外科手术。在本实施例中，机械臂506可以被编程用于对患者的眼睛进行眼眶扫描。这种扫描使外科医生能够在玻璃体视网膜手术中检查外周视网膜。相比之下，对于传统的光学显微镜，外科医生可以观察到外周视网膜的唯一方法是使用被称为巩膜凹陷的技术将眼睛的一侧推入视野。
图6示出了显微外科手术环境500的图，其中患者502处于坐姿以进行后路颅底神经外科手术。在所展示的实施例中，立体可视化相机300被放置在水平位置以面对患者502的头的后部。机械臂506包括关节，这些关节使立体可视化相机300能够如图所示被定位。另外，推车510包括监视器512，该监视器可以与外科医生的自然视线方向对准。
没有目镜使得立体可视化相机300能够被水平定位并低于外科医生504的视平线。进一步地，相对小的重量和灵活性使得立体可视化相机300能够以其他已知外科手术显微镜无法想象的方式被定位。立体可视化相机300从而为患者502和/或外科医生504的任何期望位置和/或取向提供显微外科手术视图。
虽然图5和图6示出了用于定位立体可视化相机300的两个示例实施例，但是应当理解，立体可视化相机300可以根据机械臂506的自由度数量而定位在任意数量的位置。在一些实施例中完全可以将立体可视化相机300定位成面向上(例如，倒置)。
III.示例立体可视化平台与已知外科手术显微镜的比较
将图3至图6的立体可视化相机300与图2的外科手术显微镜200进行比较，差异显而易见。在外科手术显微镜中包括目镜206需要外科医生不断地将他/她的眼睛朝向接目镜定向，接目镜相对于显微镜头部201和患者处于固定位置。进一步地，外科手术显微镜的体积和重量限制了它仅被定位在相对于患者大致竖直的取向上。相比之下，示例立体可视化相机300不包括目镜，并且可以相对于患者被定位在任何取向或位置，从而使外科医生在外科手术期间自由移动。
为了使其他临床工作人员能够观察显微外科手术目标部位，外科手术显微镜200需要添加第二目镜208。通常，大多数已知的外科手术显微镜200不允许添加第三目镜。相比之下，示例立体可视化相机300可以通信地联接至无限数量的显示监视器。虽然上述图5和图6示出了连接至推车510的显示监视器512和514，但是外科手术室可以到处都有显示监视器，这些显示监视器全都示出由立体可视化相机300记录的显微外科手术视图。因此，整个外科手术团队都可以观察目标外科手术部位的放大视图，而不是将视图局限于一个或两个人(或需要共享目镜)。此外，可以向其他房间(比如培训室和观察室)中的人呈现显示给外科医生的相同的放大视图。
与立体可视化相机300相比，双目镜外科手术显微镜200更容易受到碰撞或被无意地移动。由于在外科手术期间外科医生将其头部放置在目镜206和208上以通过接目镜观察，所以显微镜头部201受到恒定力和周期性碰撞。添加第二目镜208使来自第二角度的力加倍。总之，外科医生的恒定力和周期性碰撞可能导致显微镜头部201移动，从而需要重新定位显微镜头部201。这种重新定位会延迟外科手术和烦扰外科医生。
示例立体可视化相机300不包括目镜，并且一旦其被锁定在位就预期不会接收到来自外科医生的接触。这对应于在外科医生的执行期间立体可视化相机300被意外地移动或碰撞的机会显著降低。
为了有助于第二目镜208，外科手术显微镜200必须配备有分束器210，该分束器可以包括容纳在精密金属管中的玻璃透镜和反射镜。分束器210的使用减少了在第一目镜处接收的光，因为一些光被反射到了第二目镜208。进一步地，第二目镜208和分束器210的添加增加了显微镜头部201的重量和体积。
与外科手术显微镜200相比，立体可视化相机300仅包含用于传感器的光路，从而减小了重量和体积。另外，光学传感器接收全部入射光，因为不需要分束器来将一部分光改向。这意味着示例立体可视化相机300的光学传感器接收到的图像尽可能明亮和清晰。
某些型号的外科手术显微镜可以使摄像机能够被附接。例如，图2的外科手术显微镜200包括经由分束器214连接至光路的单视摄像机212。摄像机212可以是单视的或立体的，比如
Figure BDA0002744152620000191
True
Figure BDA0002744152620000192
3D可视化系统眼科相机。摄像机212记录从分束器214接收的图像，以在显示监视器上显示。摄像机212和分束器214的添加进一步增加了显微镜头部201的重量。另外，分束器214消耗了去往目镜206和/或208的额外光。
每个分束器210和214将入射光部分地分成三个路径，从而从外科医生的视野中移除光。外科医生的眼睛对弱光的敏感性有限，使得来自呈现给他/她的手术部位的光必须足以允许外科医生进行该手术。然而，外科医生不能总是增加施加到患者目标部位的光的强度，尤其是在眼科手术中。在产生光毒性之前，患者的眼睛对强光的敏感性有限。因此，对分束器的数量和比例以及对可以从第一目镜206分离的光量存在限制，以能够使用辅助装置208和212。
图3至图6的示例立体可视化相机300不包括分束器，使得光学成像传感器从主物镜组件接收全部光量。由于后期处理可以使图像足够明亮和可见(并且可调整)以在监视器上显示，因此这使得能够使用具有弱光敏感性的传感器或者甚至使用敏感性超出可见光波长的光学传感器。
进一步地，由于限定光路的光学元件独立位于立体可视化相机300内，因此可以通过相机来控制这些光学元件。这种控制允许光学元件的放置和调整针对三维立体显示器而不是针对显微镜目镜被优化。相机的这种配置允许从相机控件或从远程计算机以电子方式提供控制。另外，可以通过相机300上的一个或多个程序来自动提供控制，该一个或多个程序被配置用于调整光学元件以在变焦时保持焦点或针对光学缺陷和/或假视差进行调整。相比之下，外科手术显微镜200的光学元件在摄像机212的外部并且仅经由操作者输入来控制，该操作者输入通常被优化用于通过目镜206观察目标部位。
在最终比较中，外科手术显微镜200包括用于移动视野或目标场景的X-Y摇摄(panning)装置220。X-Y摇摄装置220通常是大型、笨重且昂贵的机电模块，因为它必须刚性地支撑和移动外科手术显微镜头部201。另外，移动显微镜头部201会将外科医生的定位改变到目镜206的新位置。
相比之下，示例立体可视化相机300包括存储器，该存储器包括指令，这些指令在被执行时使处理器选择光学传感器的像素数据以使得能够在宽像素网格上进行X-Y摇摄。另外，示例立体可视化相机300可以包括小型电机或致动器，该小型电机或致动器控制主物镜光学元件以在不移动相机300的情况下改变与目标部位的工作距离。
IV.立体可视化相机的示例光学元件
图7和图8示出了根据本披露的示例实施例的展示图3至图6的示例立体可视化相机300内的光学元件的图。获取目标部位的左视图和右视图以构建立体图像可能看起来相对简单。然而，如果没有仔细的设计和补偿，许多立体图像在左视图与右视图之间会出现对准问题。当长时间观察时，由于左视图与右视图之间的差异，对准问题会在观察者的大脑中造成混乱。这种混乱可能导致头痛、疲劳、眩晕甚至恶心。
示例立体可视化相机300通过具有右光路和左光路并对一些光学元件的独立控制和/或调整而将其他左光学元件和右光学元件固定在共用载架中来减少(或消除)对准问题。在示例实施例中，一些左变焦透镜和右变焦透镜可以固定到共用载架上，以确保左放大率和右放大率基本上相同。然而，前透镜或后透镜可以是径向地、旋转地、轴向地和/或倾斜地独立可调的，以补偿变焦放大率、视觉缺陷和/或假视差(比如变焦重复点的运动)中的小差异。可调整透镜提供的补偿会在整个变焦放大率范围内实现几乎完美对准的光路。
另外地或可替代地，可以使用像素读出和/或渲染技术来减少(或消除)对准问题。例如，可以相对于左图像(由左光学传感器记录)来向上或向下调整右图像(由右光学传感器记录)以校正图像之间的竖直错位。类似地，可以相对于左图像来向左或向右调整右图像以校正图像之间的水平错位。
下面的图7和图8示出了光学元件的示例布置和定位，这些光学元件提供了几乎无伪像、无假视差和无畸变的对准光路。如稍后所讨论的，某些光学元件可以在校准和/或用于进一步对准光路并去除任何剩余的畸变、假视差和/或缺陷期间移动。在所展示的实施例中，光学元件被定位在两条平行的路径上以产生左视图和右视图。替代实施例可以包括折叠的、偏转的或以其他方式不平行的光路。
所展示的路径对应于人类的视觉系统，使得如在立体显示器上显示的左视图和右视图看起来相隔一段距离，该距离产生了大约6度的会聚角，这个会聚角相当于成年人的眼睛观看大约4英尺远的物体的会聚角，从而产生立体视觉。在一些实施例中，由左视图和右视图生成的图像数据在显示监视器512和514上组合在一起以生成目标部位或场景的立体图像。替代实施例包括其他立体显示器，其中，左视图仅呈现给观看者的左眼，并且对应的右视图仅呈现给右眼。在用于调整和验证适当对准和校准的示例性实施例中，两个视图被重叠显示给两只眼睛。
立体视图优于单视视图，因为立体视图更接近地模仿了人类的视觉系统。立体视图提供深度感知、距离感知和相对大小感知，以向外科医生提供目标外科手术部位的真实视图。对于比如视网膜外科手术之类的手术，立体视图至关重要，因为外科手术移动和力如此之小以至于外科医生无法感觉到它们。提供立体视图有助于外科医生的大脑在大脑感知深度的同时甚至感觉到微小运动时放大触觉。
图7示出了示例立体可视化相机300的侧视图，其中壳体302是透明的以显露光学元件。图8示出了展示由图7所示的光学元件提供的光路的图。如图8所示，光路包括右光路和左光路。从面向前方并向下观看立体可视化相机300的视角示出了图8中的光路。从此视图来看，左光路出现在图8的右侧，而右光路示出在左侧。
图7所示的光学元件是左光路的一部分。应当理解，关于光学元件的关系位置和布置，图7中的右光路通常与左光路相同。如上所述，光路的中心之间的瞳孔间距在58mm至70mm之间，其可以按比例调节为10mm至25mm。这些光学元件中的每一个包括具有特定直径(例如，在2mm至29mm之间)的透镜。因此，光学元件自身之间的距离在1mm至23mm之间、优选地在10mm左右。
示例立体可视化相机300被配置用于获取目标部位700的图像(也称为场景或视野(“FOV”)或目标外科手术部位)。目标部位700包括患者身上的解剖位置。目标部位700还可以包括实验室生物样品、校准载玻片/模板等。来自目标部位700的图像经由主物镜组件702在立体可视化相机300处被接收，该主物镜组件包括前工作距离透镜408(如图4所示)和后工作距离透镜704。
A.示例主物镜组件
示例主物镜组件702可以包括任何类型的屈光组件或反光组件。图7示出了作为消色差屈光组件的物镜组件702，其中前工作距离透镜408是固定的，而后工作距离透镜704是沿z轴可移动的。前工作距离透镜408可以包括平凸(“PCX”)透镜和/或新月形透镜。后工作距离透镜704可以包括消色差透镜。在主物镜组件702包括消色差屈光组件的示例中，前工作距离透镜408可以包括半球面透镜和/或新月形透镜。另外，后工作距离透镜704可以包括消色差双合透镜、消色差双合透镜组和/或消色差三合透镜。
主物镜组件702的放大率在6x至20x之间。在一些实例中，主物镜组件702的放大率可以基于工作距离而略有变化。例如，主物镜组件702针对200mm的工作距离可以具有8.9x的放大率，并且针对450mm的工作距离可以具有8.75x的放大率。
示例后工作距离透镜704被配置成相对于前工作距离透镜408可移动以改变它们之间的间隔。透镜408与704之间的间隔确定了主物镜组件702的整体前焦距长度，并且因此确定了焦平面的位置。在一些实施例中，焦距是透镜408与704之间的距离加上前工作距离透镜408的厚度的一半。
前工作距离透镜408和后工作距离透镜704一起被配置用于提供无限共轭图像以便为下游光学图像传感器提供最佳焦点。换言之，正好位于目标部位700的焦平面的物体将其图像投射在无限远的距离，从而在所提供的工作距离处无限耦合。通常，物体从焦平面沿着光路的一定距离内焦点对准地出现。然而，超过一定的阈值距离，物体开始显得模糊或离焦。
图7示出了工作距离706，该工作距离是前工作距离透镜408的外表面至目标部位700的焦平面之间的距离。工作距离706可以对应于角度视野，其中，更长的工作距离产生更宽的视野或更大的可视区域。因此，工作距离706设置了焦点对准的目标部位或场景的平面。在所展示的示例中，通过移动后工作距离透镜704可在200mm至450mm之间调整工作距离706。在示例中，当工作距离为450mm时，可以使用上游变焦透镜在20mm×14mm至200mm×140mm之间调整视野。
图7和图8所示的主物镜组件702针对左光路和右光路两者都提供了目标部位700的图像。这意味着透镜408和704的宽度应该至少与左光路和右光路一样宽。在替代实施例中，主物镜组件702可以包括分开的左前工作距离透镜和右前工作距离透镜408以及分开的左后工作距离透镜和右后工作距离透镜704。每对分开的工作距离透镜的宽度可以在图7和图8所示的透镜408和704的宽度的1/4至1/2之间。进一步地，后工作距离透镜704中的每一个都可以是独立可调的。
在一些实施例中，主物镜组件702可以是可替换的。例如，可以添加不同的主物镜组件以改变工作距离范围、放大率、数值孔径和/或折射/反射类型。在这些实施例中，立体可视化相机300可以基于安装了哪个主物镜组件而改变下游光学元件的定位、光学图像传感器的性质和/或图像处理的参数。操作者可以使用图3的控件305之一和/或用户输入装置来指定在立体可视化相机300中安装哪个主物镜组件。
B.示例光源
为了照亮目标部位700，示例立体可视化相机300包括一个或多个光源。图7和图8示出了三个光源，这三个光源包括可见光源708a、近红外(“NIR”)光源708b和近紫外(“NUV”)光源708c。在其他示例中，立体可视化相机300可以包括附加的或更少的(或不包括)光源。例如，可以省略NIR光源和NUV光源。示例光源708被配置用于生成被投射到目标场景700的光。所生成的光与目标场景相互作用并反射离开目标场景，其中一些光被反射到主物镜组件702。其他示例可以包括外部光源或来自环境的环境光。
示例可见光源708a被配置用于输出光谱的人类可见部分中的光以及波长在可见光范围之外的一些光。NIR光源708b被配置用于输出主要是波长略超过可见光谱的红色部分的光，其也被称为“近红外”。NUV光源708c被配置用于输出主要是波长在可见光谱中蓝色部分中的光，其被称为“近紫外”。由光源708输出的光谱由相应控制器进行控制，如下所述。光源708发射的光的亮度可以通过切换速率和/或施加的电压波形来控制。
图7和图8展示了可见光源708a和NIR光源708b直接通过主物镜组件702被提供至目标部位700。如图8所示，来自可见光源708a的可见光沿着可见路径710a传播。另外地，来自NIR光源708b的NIR光沿着NIR路径710b传播。虽然光源708a和708b示出为位于主物镜组件702的后面(相对于目标部位700而言)，但在其他示例中，可以将光源708a和708b设置在主物镜组件702的前面。在一个实施例中，光源708a和708b可以设置在壳体302的外侧并且面向目标部位700。在又其他实施例中，可以使用例如科赫尔照明设置和/或暗场照明设置来将光源708与立体可视化相机300分开设置。
与光源708a和708b相比，来自NUV光源708c的NUV光由偏转元件712(例如，分束器)使用落射照明设置反射到主物镜组件702。偏转元件712可以被涂覆或以其他方式被配置成仅反射超出NUV波长范围的光，从而过滤NUV光。来自NUV光源708c的NUV光沿着NUV路径710c传播。
在一些实施例中，NIR光源和NUV光源708b和708c可以与激发滤波器一起使用以进一步过滤可能未被滤波器(例如，滤波器740)阻挡的光。可以将滤波器放置在主物镜组件702之前和/或在主物镜组件之后的光源708b和708c的前面。来自NUV和NIR光源708b和708c的光经过滤之后包括激发解剖物体的荧光部位914(图9所示)中的荧光的波长。进一步地，来自NUV和NIR光源708b和708c的光经过滤之后可以包括与荧光部位914发射的波长不在同一范围内的波长。
来自光源708的光通过主物镜组件的投射提供了基于工作距离706和/或焦平面来改变被照明的视野的好处。由于光通过主物镜组件702，因此光被投射的角度基于工作距离706而变化，并且对应于角度视野。因此，此配置确保了无论工作距离或放大率如何，光源708都可以适当地照亮视野。
C.示例偏转元件
图7和图8所展示的示例偏转元件712被配置用于通过主物镜组件702将特定波长的光从NUV光源708c透射至目标部位700。偏转元件712还被配置用于将从目标部位700接收的光反射到下游光学元件，该光学元件包括用于变焦和记录的前镜组714。在一些实施例中，偏转元件712可以过滤通过主物镜组件702从目标部位700接收的光，使得某些波长的光到达前镜组714。
偏转元件712可以包括任何类型的反射镜或透镜以在指定方向上反射光。在示例中，偏转元件712包括二向色镜或滤波器，该二向色镜或滤波器在不同波长下具有不同的反射和透射特性。图7和图8的立体可视化相机300包括单个偏转元件712，该偏转元件针对右光路和左光路两者提供光。在其他示例中，相机300可以包括针对右光路和左光路中的每一个的单独的偏转元件。进一步地，可以针对NUV光源708c提供单独的偏转元件。
图9示出了根据本披露的示例实施例的图7和图8的偏转元件712的图。为简洁起见，未示出主物镜组件702。在本示例中，偏转元件712包括两个平行面902和904，这两个平行面用于透射和反射某些波长的光。平行面902和904被设置为相对于左光路和右光路(表示为路径906)成45°角。选择45°角是因为这个角度会使反射光与透射光成90°角传播，从而提供最佳分离而不会导致在下游前镜组714中检测到分离出的光。在其他实施例中，偏转元件712的角度可以在10度与80度之间，而不会无意地传播不需要的波长的光。
示例NUV光源708c位于偏转元件712的后面(相对于目标部位700)。来自光源708c的光沿路径908传播并且接触偏转元件712。NUV光源708c的主波长范围附近的NUV光通过偏转元件712沿着路径910透射到目标部位700。来自NUV光源708c的、波长在NUV光源708c的主波长范围之上(和之下)的光沿着路径912反射到壳体302的光吸收器或未使用区域。
当NUV光到达目标部位700时，它被解剖物体的一个或多个荧光部位914吸收。在一些实例中，解剖物体可能已被注入造影剂，该造影剂被配置用于吸收NUV光并且发射具有不同主波长的光。在其他实例中，解剖物体可能会自然地吸收NUV光并且发射具有不同主波长的光。荧光部位914反射或发射的光中的至少一些沿着路径916传播，直到它接触偏转元件712为止。大部分光沿着路径906从表面904反射到前镜组714。包括在NUV光源708c的主波长范围附近的NUV光在内的一部分光沿着路径918通过偏转元件712透射到壳体302的光吸收器或未使用区域。因此，图9所示的偏转元件712使得能够利用光谱的一个区域在目标部位700处对荧光剂进行光学激发，同时阻止许多激发光行进到下游前镜组714。
应当理解，可以改变偏转元件712的反射率和透射率特性以满足其他光谱要求。在一些实例中，壳体302可以包括槽，该槽使得能够基于期望的光反射率和透射率特性来更换偏转元件712和/或NUV光源708c。还应当理解，在路径908与路径910之间的偏转元件712内部的第一路径以及在路径916与路径918之间的偏转元件712内部的第二路径分别成角度以示意性地表示光在空气与偏转元件712的内部之间传播时光的折射。所示角度并不意味着表示实际的反射角度。
D.示例变焦透镜
图7和图8的示例立体可视化相机300包括一个或多个变焦透镜，该一个或多个变焦透镜用于改变目标部位700的焦距和视角以提供变焦放大率。在所展示的示例中，变焦透镜包括前镜组714、变焦透镜组件716和镜筒组718。应当理解，在其他实施例中，可以省略前镜组714和/或镜筒组718。可替代地，变焦透镜可以包括附加透镜以提供进一步的放大率和/或图像分辨率。
前镜组714包括针对右光路的右前透镜720和针对左光路的左前透镜722。透镜720和722可各自包括正会聚透镜以将来自偏转元件712的光引导至变焦透镜组件716中的相应透镜。因此，透镜720和722的横向位置限定了从主物镜组件702和偏转元件712被传播到变焦透镜组件716的光束。
透镜720和722中的一个或两个可以是径向可调的以匹配左光路和右光路的光轴。换言之，透镜720和722中的一个或两个可以在入射到光路的平面中左右移动和/或上下移动。在一些实施例中，透镜720和722中的一个或多个可以旋转或倾斜以减少或消除图像光学缺陷和/或假视差。变焦期间移动透镜720和722的任一个或两个可能会导致每个光路的变焦重复点(“ZRP”)对用户来说似乎保持静止。除了径向移动之外，前透镜720和722中的一个或两个可以轴向地(沿着相应的光路)移动以匹配光路的放大率。
示例变焦透镜组件716形成无焦点变焦系统，该无焦点变焦系统用于通过改变传播到镜筒组718的光束的大小来改变视野(例如，线性视野)的大小。变焦透镜组件716包括具有右前变焦透镜726和左前变焦透镜728的前变焦透镜组724。变焦透镜组件716还包括具有右后变焦透镜732和左后变焦透镜734的后变焦透镜组730。前变焦透镜726和728可以是正会聚透镜，而后变焦透镜732和734包括负发散透镜。
基于前变焦透镜726和728、后变焦透镜732和734与镜筒组718之间的距离来确定针对左光路和右光路中的每一个的图像光束的大小。通常，随着后变焦透镜732和734朝着镜筒组718(沿着相应光路)移动，光路的大小减小，从而减小放大率。另外，当后变焦透镜732和734朝着镜筒组718移动时，前变焦透镜726和728也可以朝着(或远离)镜筒组718移动(比如以抛物线弧形)，以保持焦平面在目标部位700上的位置，从而保持焦点。
前变焦透镜726和728可以被包括在第一载架(例如，前变焦组724)内，而后变焦透镜732和724被包括在第二载架(例如，后变焦组730)内。载架724和730中的每一个可以沿着光路在导轨(或轨道)上移动，使得左放大率和右放大率同时改变。在本实施例中，可以通过移动右前透镜720和/或左前透镜722来校正左光路与右光路之间的放大率的任何细微差异。另外地或可替代地，镜筒组718的右镜筒736和/或左镜筒738可以轴向地移动。
在替代实施例中，右前变焦透镜726可以与左前变焦透镜728轴向地移动分开。另外，右后变焦透镜732可以与左后变焦透镜734轴向地移动分开。分开的移动可使变焦透镜组件716能够校正小的放大率差异，尤其是当前镜组714和镜筒组718沿光路静止时。进一步地，在一些实施例中，右前变焦透镜726和/或左前变焦透镜728可以是径向地和/或旋转地可调的(和/或倾斜的)，以保持ZRP在光路上的表观位置。另外地或可替代地，右后变焦透镜732和/或左后变焦透镜734可以是径向地和/或旋转地可调的(和/或倾斜的)，以保持ZRP在光路上的表观位置。
示例镜筒组718包括右镜筒736和左镜筒738，它们与变焦透镜组件716一起是无焦点变焦系统的一部分。透镜736和738可以包括正会聚透镜，正会聚透镜被配置用于拉直或聚焦来自变焦透镜组件716的光束。换言之，透镜736和738使变焦透镜组件716的无限耦合输出聚焦。
在一些示例中，镜筒组718被径向地并且轴向地固定在壳体302内。在其他示例中，镜筒组718可以沿光路轴向地移动以提供增大的放大率。另外地或可替代地，透镜736和738中的每一个可以是径向地和/或旋转地可调的(和/或倾斜的)，以例如校正前镜组714、前变焦透镜组724和/或后变焦透镜组730的左透镜与右透镜之间的光学性质上的差异(由于制造或自然玻璃偏差)。
总之，示例前镜组714、变焦透镜组件716和镜筒组718被配置用于实现5X至大约20X之间的光学变焦、优选地在具有受衍射限制的分辨率的变焦水平上。在一些实施例中，如果可以损害图像质量，则前镜组714、变焦透镜组件716和镜筒组718可以提供更高的变焦范围(例如，25X至100X)。在这些实施例中，立体可视化相机300可以向操作者输出消息来指示所选光学范围在光学范围之外并且受到图像质量下降的影响。
在一些实施例中，前镜组714、变焦透镜组件716、镜筒组718和/或主物镜组件702的透镜可以使用平衡彼此的光学畸变参数的材料分别由多个光学子元件构造成双合透镜。双合透镜结构减少了色差和光学像差。例如，前工作距离透镜408和后工作距离透镜702可以各自被构造为双合透镜。在另一个示例中，前透镜720和722、前变焦透镜726和728、后变焦透镜732和734以及镜筒736和738可以各自包括双合透镜。
在又进一步的实施例中，前镜组714、变焦透镜组件716、镜筒组718和/或主物镜组件702的透镜可以被不同地调谐和/或具有不同的性质以提供具有不同性能的两个平行光路。例如，可以选择变焦透镜组件716中的右透镜为右光路提供5X至10X的光学变焦，而选择变焦透镜组件716中的左透镜为左光路提供15X至20X的光学变焦。这种配置可以使两个不同的放大率能够在单视视图中在同一时间和/或在同一屏幕上示出。
E.示例滤波器
图7和图8的示例立体可视化相机300包括一个或多个滤波器740(或滤波器组件)，该一个或多个滤波器用于选择性地透射期望波长的光。图8示出了可以将单个滤波器740应用于右光路和左光路。在其他示例中，每个光路可以具有单独的滤波器。包括单独的滤波器使得例如能够在同一时间从左光路和右光路过滤不同波长的光，例如能够将荧光图像与可见光图像结合显示。
图7示出了滤波器740包括绕其旋转轴旋转的轮。在所展示的实施例中，滤波器740可以容纳三个不同的光学滤波器对。然而，在其他实施例中，滤波器740可以包括附加的或更少的滤波器对。通常，在滤波器740处从目标部位700接收的光包括广谱的波长。主物镜组件702、前镜组714、变焦透镜组件716和镜筒组718的透镜被配置用于使相对较宽的光带宽通过，该光带宽包括操作者感兴趣的波长和不期望的波长。另外，下游光学图像传感器对某些波长敏感。因此，示例滤波器740使光谱的某些部分通过并阻挡光谱的某些部分，以实现不同的期望特征。
作为轮，滤波器740包括能够每秒大约四次改变位置的机械装置。在其他实施例中，滤波器740可以包括数字微型反射镜，该数字微型反射镜可以以诸如每秒60次的视频帧率改变光路的方向。在这些其他实施例中，左光路和右光路中的每一个都将包括微型反射镜。左微型反射镜和右微型反射镜可以具有同步或同时切换。
在一些实施例中，滤波器740可以与光源708同步以实现“时间交织的”多光谱成像。例如，滤波器740可以包括红外截止滤波器、近红外带通滤波器和近紫外截止滤波器。选择不同的滤波器类型来处理光源708的不同光谱以及偏转元件712的反射率和透射率特性以在预定时间使某些期望波长的光通过。
在一种模式中，滤波器740和光源708被配置用于提供可见光模式。在这种模式中，可见光源708a将光从可见光范围透射到目标部位700，其中的一些光反射到主物镜组件702。反射的光可以包括可见光谱之外的一些光，这可能会影响光学图像传感器。可见光被偏转元件712反射，并且通过前镜组714、变焦透镜组件716以及镜筒组718。在该示例中，滤波器740被配置用于将红外截止滤波器或近紫外截止滤波器应用于光路以移除可见光谱之外的光，使得仅可见光谱中的光通过最终光学组742和光学图像传感器744。
在另一种模式中，滤波器740和光源708被配置用于向光学传感器744提供窄波长的荧光。在这种模式中，NUV光源708c将光从光谱的深蓝区域透射到目标部位700。偏转元件712允许深蓝区域的期望光在反射不期望的光的同时通过。深蓝光与目标部位700相互作用，从而发射荧光。在一些示例中，将δ-氨基酮戊酸(“5ala”)和/或原卟啉IX施用于目标部位700以使在接收到深蓝光时发射荧光。除了反射的深蓝光和一些可见光之外，主物镜组件702还接收荧光。深蓝光从右光路和左光路通过偏转元件712。因此，仅可见光和荧光通过前镜组714、变焦透镜组件716和镜筒组718。在该示例中，滤波器740被配置用于将近紫外截止滤波器应用于光路以移除期望荧光光谱之外的光，包括可见光和任何剩余的NUV深蓝光。因此，仅窄波长的荧光到达光学图像传感器744，这使得能够基于相对强度更容易地检测并辨别荧光。
在又一模式中，滤波器740和光源708被配置用于向光学传感器744提供吲哚菁绿(“ICG”)荧光。在这种模式中，NIV光源708b将可见光谱的远红区域(也被认为是近红外区域)中的光透射到目标部位700。另外，可见光源708a将可见光透射到目标场景700。可见光和远红光在目标部位被带有ICG的物质吸收，然后该物质在更远红区域中发射高度受激发的荧光。除了反射的NIR光和可见光之外，主物镜组件702还接收荧光。光被偏转元件712反射到前镜组714、变焦透镜组件716和镜筒组718。在该示例中，滤波器740被配置用于将近红外带通滤波器应用于光路以移除期望荧光光谱之外的光，包括可见光和至少一些NIR光。因此，仅更远红区域中的荧光到达光学图像传感器744，这使得能够基于相对强度更容易地检测并辨别荧光。
Figure BDA0002744152620000321
表1
上面的表1示出了光源和滤波器的不同可能组合的汇总，这些光源和滤波器用于使某个期望波长的光到达光学光传感器744。应当理解，可以使用其他类型的滤波器和/或光源来进一步增加在图像传感器744处接收的不同类型的光。例如，被配置用于使窄波长的光通过的带通滤波器可用于对应于施加到目标部位700的某些生物染色剂或造影剂。在一些示例中，滤波器740可以包括级联或多于一个的滤波器，以使得来自两个不同范围的光能够被过滤。例如，第一滤波器740可以应用红外截止滤波器和近紫外截止滤波器，使得仅期望波长范围的可见光通过光学传感器744。
在其他实施例中，单独的滤波器740可以用于左光路和右光路。例如，右滤波器可以包括红外截止滤波器，而左滤波器包括近红外带通滤波器。这种配置使得能够在可见波长中同时观察到目标部位700与IGC绿色荧光波长。在另一个示例中，右滤波器可以包括红外截止滤波器，而左滤波器包括近紫外截止滤波器。在这种配置中，目标部位700可以与5ALA荧光同时在可见光中示出。在这些其他实施例中，右图像流和左图像流仍可以被组合成立体视图，该立体视图提供了与可见光中的目标部位700的视图相结合的某些解剖结构的荧光视图。
F.示例最终光学元件组
图7和图8的示例立体可视化相机300包括用于将从滤波器740接收的光聚焦到光学图像传感器744上的最终光学元件组742。最终光学元件组742包括右最终光学元件745和左最终光学元件747，该右最终光学元件和左最终光学元件可以各自包括正会聚透镜。除了使光聚焦之外，光学元件745和747可以被配置用于在光到达光学图像传感器744之前校正右光路和左光路中的微小像差。在一些示例中，透镜745和747可以径向地和/或轴向地移动以校正由前镜组714、变焦透镜组件716和镜筒组718引起的放大率和/或聚焦像差。在示例中，左最终光学元件747可以径向地移动，而右最终光学元件745被固定以在放大率改变期间移除ZRP移动。
G.示例图像传感器
图7和图8的示例立体可视化相机图300包括用于获取和/或记录从最终光学元件组742接收的入射光的图像传感器744。图像传感器744包括：右光学图像传感器746，用于获取和/或记录沿右光路传播的光；以及左光学图像传感器748，用于获取和/或记录沿左光路传播的光。左光学图像传感器746和右光学图像传感器748各自包括例如互补金属氧化物半导体(“CMOS”)感测元件、N型金属氧化物半导体(“NMOS”)、和/或半导体电荷耦合器件(“CCD”)感测元件。在一些实施例中，左光学传感器746和右光学传感器748是相同的和/或具有相同的性质。在其他实施例中，左光学传感器746和右光学传感器748包括不同的感测元件和/或性质以提供不同的能力。例如，右光学图像传感器746(使用第一滤色器阵列)可以被配置成对蓝色荧光更敏感，而左光学图像传感器748(使用第二滤色器阵列)被配置成对可见光更敏感。
图10示出了根据本披露的示例实施例的图像传感器744的右光学图像传感器746和左光学图像传感器748的示例。右光学图像传感器746包括光感测元件(例如，像素)的第一二维网格或矩阵1002。另外，左光学图像传感器748包括光感测元件的第二二维像素网格1004。每个像素都包括滤波器，该滤波器仅使特定波长的光通过，从而与底层光检测器接触。用于不同颜色的滤波器分散在传感器746和748上，以跨网格提供对所有波长的光检测。光检测器可能对可见光以及在可见光谱之上和之下的其他范围敏感。
网格1002和1004的光感测元件被配置用于记录光的波长范围，作为视野中的目标部位700的表示。入射在光感测元件上的光使电变化累积。读取电荷以确定在感测元件处接收的光量。另外，由于感测元件的滤光特性在制造公差内是已知的，因此所接收的光的波长范围是已知的。目标部位700的表示被引导到光感测元件上，使得用于相应光学图像传感器746和748的网格1002和1004在空间上对目标部位700进行采样。空间采样的分辨率是影响图像质量和均等性(parity)的参数。
图10中的像素网格1002和1004中示出的像素数不表示光学图像传感器746和748中的实际像素数。相反，传感器的分辨率通常在1280x720像素与8500x4500像素之间，优选地在2048x1560像素左右。然而，并非网格1002和1004的所有像素都被选择用于图像传输。而是，选择网格1002和1004的子集或像素集用于传输。例如，在图10中，从像素网格1002选择像素集1006作为右图像进行传输，并且从像素网格1004选择像素集1008作为左图像进行传输。如所展示的，关于相应的像素网格1002和1004，像素集1006不需要位于与像素集1008相同的位置。对像素集1006和1008的单独控制使得左图像和右图像能够针对图像缺陷和/或假视差(诸如，移动ZRP)被对准和/或校正。
从像素网格中选择像素集使得能够选择像素网格的用于补偿图像缺陷/假视差和/或用于使左光学图像和右光学图像更对准的一部分。换言之，可以针对像素网格(实时地)移动或调整像素集，以通过减少或消除假视差来提高图像质量。可替代地，立体图像的左视图和右视图中的任一者或两者都可以在图像处理流水线中(例如，在渲染视图以供显示期间)虚拟地移动以实现相同的效果。传感器的旋转错位也可以被虚拟地校正。在使用期间，像素集还可以跨像素网格移动，以提供摇摄视野的外观。在示例中，可以从具有2048x1560像素的像素网格中选择具有1920x1080像素的像素集或像素窗口。像素窗口或像素集的位置可以由软件/固件控制，并且可以在设置和/或使用期间移动。因此，基于像素集或像素窗口的长度和宽度方向上的像素数量来指定光学图像传感器746和748的分辨率。
1.使用示例图像传感器进行颜色感测
如上所述，光学感测元件746和748包括具有不同滤波器的像素，以检测某些颜色的光。例如，一些像素被主要通过红光的滤波器覆盖，一些像素被主要通过绿光的滤波器覆盖，并且一些像素被主要通过蓝光的滤波器覆盖。在一些实施例中，将拜耳模式(Bayerpattern)应用于像素网格1002和1004。然而，应当理解的是，在其他实施例中，可以使用针对某些波长的光优化的不同颜色图案。例如，每个感测区域中的绿色滤波器可以被宽带滤波器或近红外滤波器替换，从而扩展感测光谱。
通过以下方式实施拜耳模式：将对两行乘两列的像素进行分组；并且一个用红色滤波器覆盖、一个用蓝色滤波器覆盖、两个用绿色滤波器覆盖，每一个都采用棋盘格模式。因此，红色和蓝色的分辨率各自是整个感兴趣的感测区域的四分之一，而绿色分辨率是整个感兴趣的感测区域的一半。
可以将绿色分配给一半的感测区域，以使光学图像传感器746和748作为亮度传感器进行操作并模仿人类视觉系统。另外，红色和蓝色模仿人类视觉系统中的色度传感器，但不如绿色感测重要。一旦确定了某个区域的红色、绿色和蓝色的量，就可以通过对红色、绿色和蓝色值进行求平均值来确定可见光谱中的其他颜色，如结合以下讨论的图16的去拜尔(de-Bayer)程序1580a所讨论的。
在一些实施例中，光学图像传感器746和748可以使用堆叠的部件而不是滤波器来感测颜色。例如，感测元件可以包括竖直地堆叠在像素区内的红色、绿色和蓝色感测部件。在另一示例中，棱镜一次或多次使用特殊涂层的分束器将入射光分成多个分量(通常至少两次产生三种分量颜色，称为“3芯片”)，其中感测元件被放置在每个分束的路径中。其他传感器类型使用不同的模式，诸如用宽带滤波器或近红外滤波器替换绿色滤波器之一，从而扩展数字外科手术显微镜的感测可能性。
2.使用示例图像传感器感测可见范围之外的光
光学图像传感器746和748的示例感测元件滤波器被配置用于还使感测元件可以检测到的范围内的近红外光通过。这使得光学图像传感器746和748能够检测可见范围之外的至少一些光。这种敏感性可能会降低光谱的可见部分中的图像质量，因为其会“洗掉”图像，从而降低许多类型场景中的对比度，并对色彩质量产生负面影响。结果，滤波器740可以使用红外截止滤波器来阻挡近红外波长，同时使可见波长通过光学图像传感器746和748。
然而，这种近红外敏感性可能是令人期望的。例如，可以将诸如ICG的荧光剂引入目标部位700。ICG变成被可见波长或光或其他波长或光激发或激活，并发射近红外范围内的荧光。如上所述，NIR光源708b提供NIR光，并且可见光源708a提供可见光以激发具有ICG的试剂。所发射的光进一步沿着红色光谱，其可以穿过使用近红外带通滤波器或高通滤波器的滤波器740。然后，由光学图像传感器746和748检测来自红色光谱的光。通过使滤波器740的光谱特性与光源708和荧光剂的预期行为相匹配，可以在目标部位700处将试剂和生物结构(诸如包含试剂的血液)与不包含试剂的其他结构区分开。
注意，在此示例中，NIR光源708b具有与滤波器740中的近红外滤波器不同的主波长。具体地，NIR光源708b具有在780纳米(“nm”)左右的主波长(光输出光谱的大部分存在于该主波长左右)。相比而言，滤波器740的近红外滤波器透射波长在近似810nm至910nm范围内的光。来自NIR光源708b的光和穿过滤波器740的光均为“近红外”波长。然而，光波长是分开的，使得示例立体可视化相机300可以使用光源708进行激发并且在对激发光进行滤光时用光学图像传感器744进行检测。因此，此配置使得能够使用荧光剂。
在另一实施例中，试剂可以在蓝色、紫色和近紫外区域被激发，并在红色区域发出荧光。这种试剂的示例包括由于引入5ALA引起的恶性胶质瘤中的卟啉累积。在此示例中，需要滤除蓝光，同时使光谱的剩余部分通过。近紫外截止滤波器适用于这种情况。如以上讨论的具有“近红外”的情况一样，NUV光源708c具有与滤波器740中的近紫外截止滤波器不同的主波长。
H.示例透镜载架
以上第IV(D)节提到，前镜组714、变焦透镜组件716和/或镜筒组718中的至少一些透镜可以沿轨道在一个或多个载架中移动。例如，前变焦透镜组724可以包括使前变焦透镜726和728轴向地一起移动的载架。
图11和图12示出了根据本披露的示例实施例的示例载架的图。在图11中，载架724包括在支撑结构1102内的右前变焦透镜726和左前变焦透镜728。载架724包括被配置用于可移动地连接到轨道1106的轨道固持器1104。对致动部分1108施加力‘F’，以使载架724沿轨道1106移动。力‘F’可以由导螺杆或其他线性致动装置施加。如图11中所展示的，将力‘F’施加在载架724的偏移处。轨道1106与载架724之间的摩擦产生力矩My，该力矩使支撑结构1102绕图11中所示出的Y轴略微移动。这种略微移动可能导致右前变焦透镜726和左前变焦透镜728在相反的方向上略微移位，从而导致假视差，该假视差是立体图像的视图之间的视差误差。
图12示出了载架724的另一示例。在此示例中，将力‘F’对称地施加在中心结构1202上，该中心结构连接到轨道固持器1104和支撑结构1102。力‘F’产生力矩Mx，该力矩使载架724围绕图12中所示出的X轴略微旋转或移动。旋转移动使右前变焦透镜726和左前变焦透镜728在相同方向上移位相同程度的移动，从而减少(或消除)假视差的发生。
尽管图11和图12示出了一个载架内的透镜726和728，但是在其他实施例中，透镜726和728可以各自处于载架内。在这些示例中，每个透镜将处于单独的导轨或轨道上。可以为每个透镜提供单独的导螺杆，以沿着相应的光路提供独立的轴向移动。
I.示例挠曲件
以上第IV(D)节提到，前镜组714、变焦透镜组件716和/或镜筒组718中的至少一些透镜可以径向地移动、旋转和/或倾斜。另外地或可替代地，光学图像传感器746和748可以相对于它们相应的入射光路轴向地移动和/或倾斜。轴向和/或倾斜移动可以由一个或多个挠曲件提供。在一些示例中，挠曲件可以级联，使得第一挠曲件提供在第一方向上的运动，而单独的挠曲件提供在第二方向上的独立运动。在另一个示例中，第一挠曲件提供沿俯仰轴的倾斜，而单独的挠曲件提供沿偏航轴的倾斜。
图13示出了根据本披露的示例实施例的示例双挠曲件1300的图。图13中展示的挠曲件1300用于光学图像传感器744，并且被配置用于使右光学图像传感器746和左光学图像传感器748沿其相应的光轴独立地移动，以用于最终聚焦的目的。挠曲件1300包括支撑梁1301，该支撑梁用于连接至示例立体可视化相机300的壳体302并提供用于致动的刚性基部。挠曲件1300还包括用于每个通道(例如，传感器746和748)的梁1302，该梁在除了运动方向1310之外的所有方向上都是刚性的。梁1302连接到挠性铰链1303，该挠性铰链使得梁1302能够在运动方向1310上移动，在此示例中为平行四边形平移。
致动器装置1304使梁1302在期望的方向上挠曲期望的距离。致动器装置1304包括用于每个通道的推螺杆1306和拉螺杆1308，该推螺杆和该拉螺杆向梁1302施加相反的力，从而使挠性铰链1303移动。例如，可以通过转动推螺杆1306以推动梁1302来向内移动梁1302。图13中所展示的挠曲件1300被配置用于使右光学图像传感器746和左光学图像传感器748沿着其光轴独立地轴向移动。
在使梁1302挠曲到期望位置之后，锁定机构被接合以防止进一步移动，从而产生刚性柱。锁定机构包括推螺杆1306及其相应的同心拉螺杆1308，当拧紧该推螺杆和该拉螺杆时，会在梁1302的刚性柱中产生较大的反作用力。
尽管光学图像传感器746和748被示出为连接到同一挠曲件1300，但是在其他示例中，传感器可以连接到单独的挠曲件。例如，返回到图8，右光学图像传感器746连接到挠曲件750，而左光学图像传感器748连接到挠曲件752。使用单独的挠曲件750和752使得光学图像传感器746和748能够被分别调整成例如使左光学视图和右光学视图对准、和/或减少或消除假视差。
另外，尽管图13示出了连接至挠曲件1300的图像传感器746和748，但是在其他示例中，前镜组714、变焦透镜组件716、镜筒组718和/或最终光学元件组742的透镜可以替代地连接到可替代的或附加的挠曲件。在一些实例中，前镜组714、变焦透镜组件716、镜筒组718和/或最终光学元件组742的右透镜和左透镜中的每一个都可以连接到单独的挠曲件1300以提供独立的径向调整、旋转调整和/或倾斜调整。
挠曲件1300可以提供小于微米的运动分辨率。由于非常精细的运动调整，因此对于4K显示监视器，来自右光路和左光路的图像可能具有几个或甚至一个像素的对准精度。通过使左视图与右视图叠加并用双眼而不是立体地观察两个视图，在每个显示器512、514上观察这种准确性。
在一些实施例中，挠曲件1300可以包括标题为“SYSTEM FOR THE SUB-MICRONPOSITIONING OF A READ/WRITE TRANSDUCER(用于读/写换能器的亚微米定位的系统)”的美国专利号5,359,474中披露的挠曲件，该美国专利的全部内容通过引用并入本文。在又其他实施例中，前镜组714、变焦透镜组件716、镜筒组718和/或最终光学元件组742的透镜可能在径向方向上是静止的。相反，可以使用在光路上具有可调整偏转方向的偏转元件(例如，反射镜)来操控右光路和/或左光路，以调整对准和/或假视差。另外地或可替代地，可以在光路上设置倾斜/移位透镜。例如，可以使用可调整楔形透镜来控制光轴的倾斜。在其他实施例中，前镜组714、变焦透镜组件716、镜筒组718和/或最终光学元件组742的透镜可以包括具有可以以电子方式变化的参数的动态透镜。例如，透镜可以包括Invenios FranceSAS生产的Varioptic液体镜片。
V.立体可视化相机的示例处理器
示例立体可视化相机300被配置用于记录来自右光路和左光路的图像数据，并将该图像数据输出到(多个)监视器512和/或514以显示为立体图像。图14示出了根据本披露的示例实施例的用于获取和处理图像数据的示例立体可视化相机300的模块的图。应当理解的是，模块展示了由某些硬件、控制器、处理器、驱动器和/或接口执行的操作、方法、算法、例程、和/或步骤。在其他实施例中，模块可以被组合、被进一步划分和/或被移除。进一步地，模块中的一个或多个(或模块的一部分)可以设置在立体可视化相机300的外部，诸如设置在远程服务器、计算机和/或分布式计算环境中。
在图14所展示的实施例中，图7至图13中的部件408、702至750和1300统称为光学元件1402。光学元件1402(具体是光学图像传感器746和748)通信地联接到图像捕捉模块1404以及电机与照明模块1406。图像捕捉模块1404通信地联接到信息处理器模块1408，该信息处理器模块可以通信地联接到位于外部的用户输入装置1410以及一个或多个显示监视器512和/或514。
示例图像捕捉模块1404被配置用于从光学图像传感器746和748接收图像数据。另外，图像捕捉模块1404可以在相应像素网格1002和1004内定义像素集1006和1008。图像捕捉模块1404还可以指定图像记录性质，诸如帧率和曝光时间。
示例电机与照明模块1406被配置用于控制一个或多个电机(或致动器)以改变光学元件1402中的一个或多个光学元件的径向位置、轴向位置和/或倾斜位置。例如，电机或致动器可以转动传动螺杆以使载架724沿着如图11和图12中所示出的导轨1106移动。电机或致动器还可以转动图13的挠曲件1300的推螺杆1306和/或拉螺杆1308，以调整透镜和/或光学图像传感器的径向位置、轴向位置或倾斜位置。电机与照明模块1406还可以包括用于控制光源708的驱动器。
示例信息处理器模块1408被配置用于处理图像数据以供显示。例如，信息处理器模块1408可以提供对图像数据的颜色校正、从图像数据中滤除缺陷和/或渲染图像数据以用于立体显示。信息处理器模块1408还可以通过向图像捕捉模块1404和/或电机与照明模块1406提供指令以对光学元件执行指定的调整，来执行一个或多个校准例程以对立体可视化相机300进行校准。信息处理器模块1408可以进一步确定指令并将这些指令实时地提供给图像捕捉模块1404和/或电机与照明模块1406，以改善图像对准和/或减少假视差。
示例用户输入装置1410可以包括计算机，该计算机提供用于改变立体可视化相机300的操作的指令。用户输入装置1410还可以包括用于选择立体可视化相机300的参数和/或特征的控件。在实施例中，用户输入装置1410包括图3的控制臂304。用户输入装置1410可以硬连线到信息处理器模块1408。另外地或可替代地，用户输入装置1410以无线方式或光学方式通信地联接到信息处理器模块1408。
示例显示监视器512和514包括例如被配置用于提供三维观看体验的电视和/或计算机监视器。例如，显示监视器可以包括
Figure BDA0002744152620000421
55LW5600电视。可替代地，显示监视器512和514可以包括膝上型计算机屏幕、平板计算机屏幕、智能电话屏幕、智能眼镜、投影仪、全息显示器等。
以下各节更详细地描述了图像捕捉模块1404、电机与照明模块1406、以及信息处理器模块1408。
A.示例图像捕捉模块
图15示出了根据本披露的示例实施例的图像捕捉模块1404的图。示例图像捕捉模块1404包括图像传感器控制器1502，该图像传感器控制器包括处理器1504、存储器1506和通信接口1508。处理器1504、存储器1506和通信接口1508可以经由图像传感器控制器总线1512通信地联接在一起。
处理器1504可使用永久性存储在存储器1506内的一个或多个程序1510进行编程。程序1510包括机器可读指令，这些机器可读指令当被执行时使处理器1504执行一个或多个步骤、例程、算法等。在一些实施例中，可以将程序1510从信息处理器模块1408和/或从用户输入装置1410传输至存储器1506。在其他示例中，可以将程序1510直接从信息处理器模块1408和/或从用户输入装置1410传输至处理器1504。
示例图像传感器控制器1502通信地联接到光学元件1402的右光学图像传感器746和左光学图像传感器748。图像传感器控制器1502被配置用于除了发送定时控制数据和/或编程数据之外，还向光学图像传感器746和748提供功率。另外，图像传感器控制器1502被配置用于从光学图像传感器746和748接收图像和/或诊断数据。
光学图像传感器746和748中的每一个都包含用于控制某些参数和/或特性的可编程寄存器。寄存器中的一个或多个可以指定像素集1006和1008在图10的相应像素网格1002和1004内的位置。寄存器可以存储相对于像素网格1002和1004的原点或边缘点的起始位置的值。寄存器还可以指定像素集1006和1008的宽度和高度，以定义感兴趣的矩形区域。图像传感器控制器1502被配置用于读取处于指定像素集1006和1008内的像素的像素数据。在一些实施例中，光学图像传感器746和748的寄存器可以促进对其他形状(诸如，圆形、椭圆形、三角形等)的像素集的指定。另外地或可替代地，光学图像传感器746和748的寄存器可以使得能够为像素网格1002和1004中的每个网格同时指定多个像素集。
像素网格1002和1004的像素的光感测部分由嵌入式电路系统控制，该嵌入式电路系统指定不同的光感测模式。这些模式包括重置模式、积分模式和读出模式。在重置模式期间，像素的电荷存储部件被重置为已知的电压电平。在积分模式期间，像素被切换到“开”状态。到达像素的感测区或元件的光使电荷累积在电荷存储部件(例如，电容器)中。所存储的电荷量与在积分模式期间入射在感测元件上的光量相对应。在读出模式期间，电荷量被转化为数字值，并且经由嵌入式电路系统从光学图像传感器746和748中读出，并被传输至图像传感器控制器1502。为了读取每个像素，在给定区域中的每个像素的电荷存储部件通过开关式内部电路系统顺序连接到读出电路，该读出电路执行电荷从模拟值到数字数据的转化。在一些实施例中，像素模拟数据被转化为12位数字数据。然而，应当理解的是，基于噪声、调整时间(settling time)、帧率和数据传输速度的考虑，分辨率可以更低或更高。每个像素的数字像素数据可以被存储到寄存器中。
图15的图像传感器控制器1502的示例处理器1504被配置用于从像素集1006和1008内的每个像素接收像素数据(例如，指示存储在像素中的与像素元素上的入射光量相对应的电荷的数字数据)。处理器1504根据从右光学图像传感器746接收的像素数据形成右图像。另外，处理器1504根据从左光学图像传感器748接收的像素数据形成左图像。可替代地，处理器1504在向下游传输数据之前仅形成每个左图像和右图像的一部分(例如，一行或几行)。在一些实施例中，处理器1504使用寄存器位置来确定图像内的每个像素的位置。
在创建右图像和左图像之后，处理器1504使右图像和左图像同步。然后，处理器1504将右图像和左图像两者传输至通信接口1508，该通信接口将图像处理成用于经由通信信道1514传输至信息处理器模块1408的格式。在一些实施例中，通信信道1514符合USB 2.0或3.0标准，并且可以包括铜或纤维光缆。通信信道1514可以使得每秒能够传输高达大约每秒60对(或更多)左图像和右图像(具有1920x1080的立体分辨率和12位的数据转化分辨率)。使用铜USB线缆使得能够从信息处理器模块1408向图像捕捉模块1404提供功率。
以下各节进一步描述了由图像传感器控制器1502的、执行某些程序1510以从光学图像传感器746和748获取图像数据和/或处理该图像数据的处理器1504提供的特征。
1.曝光示例
示例处理器1504可以控制或编程光学图像传感器746和748处于积分模式的时间量，如上所讨论的。积分模式在称为曝光时间的时间段内发生。处理器1504可以通过将值写入光学图像传感器746和748的曝光寄存器来设置曝光时间。另外地或可替代地，处理器1504可以将指令传输至以信号的形式发送曝光时间的开始和结束的光学图像传感器746和748。曝光时间可以被编程为在几毫秒(“ms”)到几秒之间。优选地，曝光时间大约是帧率的倒数。
在一些实施例中，处理器1504可以将卷帘快门(rolling shutter)方法应用于光学图像传感器746和748以读取像素数据。在这种方法下，像素集1006和1008的给定像素行的曝光时间恰好在该行中的像素已经被读出并且然后被重置之后开始。短时间之后，根据其重新开始的曝光时间来读取并且因此重置下一行(通常在物理上最接近刚设置的行)。对每个像素行的顺序读取继续，直到像素集1006和1008的最后一行或底部行已被读取并重置。然后，处理器1504返回到像素集1006和1008的顶部行，以读取下一图像的像素数据。
在另一实施例中，处理器1504应用全局快门(global shutter)方法。在这种方法下，处理器1504以与卷帘快门方法类似的方式实施读出和重置。然而，在这种方法中，对于像素集1006和1008中的所有像素同时发生积分。与卷帘快门方法相比，全局快门方法具有减少图像中的缺陷的优点，因为所有像素同时被曝光。相比之下，在卷帘快门方法中，在曝光像素集的线之间存在较小的时间延迟。小缺陷可能在线曝光之间(特别是在目标部位700处读数之间的小变化可能发生的顶部线与底部线之间)的时间段内形成。
2.动态范围示例
示例处理器1504可以执行一个或多个程序1510以检测光学图像传感器746和748的动态范围之外的光。通常，极亮的光完全填充像素的电荷存储区域，从而导致丢失关于确切亮度水平的图像信息。类似地，极暗的光或光不足不能在像素中产生有意义的电荷，这也导致丢失图像信息。因此，由这种像素数据创建的图像不能准确地反映目标部位700处的光强度。
为了检测动态范围之外的光，处理器1504可以执行若干个高动态范围(“HDR”)程序1510之一，这些高动态范围程序包括例如多重曝光程序、多斜率像素积分程序和多传感器图像融合程序。在示例中，多重曝光程序可以利用与光学图像传感器746和748集成或相嵌的HDR特征。在这种方法下，像素集1006和1008在正常曝光时间内被置于积分模式中。读取像素集1006和1008的这些线并将其存储在光学图像传感器746和748处的存储器中和/或图像传感器控制器1502的存储器1506中。在由处理器1504执行读取之后，像素集1006和1008中的每条线再次被打开持续小于正常曝光时间的第二曝光时间。处理器1504在第二曝光时间之后读取像素的每条线，并将这个像素数据与相同线的由于正常曝光时间而产生的像素数据进行组合。处理器1504可以应用色调映射以在来自正常长度曝光时间的像素数据与来自短长度曝光时间的像素数据之间进行选择(或进行组合)，并且将所得到的像素数据映射到与下游处理和显示兼容的范围。使用多重曝光程序，处理器1504能够扩展光学图像传感器746和748的动态范围并压缩所得到的像素数据范围以进行显示。
处理器1510可以针对相对较暗的光操作类似的程序。然而，不是第二曝光时间小于正常时间，而是第二曝光时间大于正常时间，从而为像素提供更多的时间来累积电荷。处理器1510可以使用色调映射来调整读取的像素数据以补偿更长的曝光时间。
3.帧率示例
示例处理器1510可以控制或指定光学图像传感器746和748的帧率。在一些实施例中，光学图像传感器746和748包括板载定时电路系统和可编程控制寄存器，以指定像素集1006和1008中的每个像素通过以上讨论的成像模式每秒循环的次数。每当像素集经过这三种模式时，就会形成帧或图像。帧率是每秒对像素集1006和1008中的像素进行积分、读取和重置的次数。
处理器1510可以与光学图像传感器746和748同步，使得在适当的时间进行读取。在其他示例中，处理器1510与光学图像传感器746和748异步。在这些其他示例中，光学图像传感器746和748可以在本地读取之后将像素数据存储到临时存储器或队列中。然后可以由处理器1510周期性地读取像素数据以用于右图像和左图像同步。
以时间顺序的方式处理帧或图像(例如，创建图像流)提供了如视频传达的运动的错觉。示例处理器1510被配置用于对向观察者提供流畅视频的外观的帧率进行编程。太低的帧率使任何运动出现断断续续或不均匀。高于最大阈值帧率的电影质量对观察者而言是无法辨别出的。示例处理器1510被配置用于每秒生成大约20至70帧，优选地每秒50与60帧之间，以用于典型的外科手术可视化。
4.传感器同步示例
图15的示例处理器1504被配置用于控制光学图像传感器746和748的同步。处理器1504可以例如同时向光学图像传感器746和748提供功率。处理器1504然后可以将时钟信号提供给光学图像传感器746和748两者。时钟信号使得光学图像传感器746和748能够以自由运行模式但以同步和/或同时的方式独立地操作。因此，光学图像传感器746和748几乎同时记录像素数据。示例处理器1504从光学图像传感器746和748接收像素数据、构建图像和/或帧的至少一部分、并且使图像和/或帧(或其部分)同步，以解释任何略微的定时失配。通常，光学图像传感器746和748之间的滞后小于200微秒。在其他实施例中，处理器1504可以在例如每个重置模式之后使用同步引脚来同时激活光学图像传感器746和748。
B.示例电机与照明模块
图15的示例立体可视化相机300包括电机与照明模块1406，该电机与照明模块控制用于使光学元件1402的透镜移动和/或控制来自光源708的照明输出的一个或多个电机或致动器。示例电机与照明模块1406包括电机与照明控制器1520，该电机与照明控制器包含经由通信总线1528可通信地联接在一起的处理器1522、存储器1524和通信接口1526。存储器1524存储一个或多个程序1530，该一个或多个程序可在处理器1522上执行以执行对光学元件1402的透镜和/或对光源708的控制、调整和/或校准。在一些实施例中，可以将程序1530从信息处理器模块1408和/或用户输入装置1410传输至存储器1524。
通信接口1526通信地联接到图像捕捉模块1404的通信接口1508和信息处理器模块1408的通信接口1532。通信接口1526被配置用于从图像捕捉模块1404和信息处理器模块1408接收命令消息、定时信号、状态消息等。例如，图像捕捉模块1404的处理器1504可以向处理器1522发送定时信号，以使光学图像传感器746和748的照明控制与曝光时间之间的定时同步。在另一示例中，信息处理模块1408可以发送指导激活某些光源708和/或使光学元件1402的某些透镜移动的命令消息。命令可以响应于经由例如用户输入装置1410从操作者接收到的输入。另外地或可替代地，命令可以响应于校准例程和/或实时调整，以减少或消除图像错位和/或缺陷(诸如，假视差)。
示例电机与照明模块1406包括驱动器，该驱动器向控制电机提供功率，以调整光学元件1402的透镜的轴向位置和/或径向位置和/或从光源708输出的光。具体地，电机与照明模块1406包括：用于将NUV信号传输至NUV光源708c的NUV光驱动器1534、用于将NIR信号传输至NIR光源708b的NIR光驱动器1536、以及用于将可见光信号传输至可见光源708a的可见光驱动器1538。
另外地，电机与照明模块1406包括滤波器电机驱动器1540，该滤波器电机驱动器用于将滤波器电机信号传输至控制图7和图8的滤波器740的滤波器电机1542。电机与照明模块1406包括：用于将后变焦透镜电机信号传输至后变焦透镜电机1546的后变焦透镜电机驱动器1544、用于将前变焦透镜电机信号传输至前变焦透镜电机1550的前变焦透镜电机驱动器1548、以及用于将工作距离透镜电机信号传输至工作距离透镜电机1554的后工作距离透镜电机驱动器1552。电机与照明模块1406还可以包括使偏转元件712移动和/或倾斜的电机和/或致动器。
后变焦透镜电机1546被配置用于旋转使载架730沿着导轨或轨道轴向移动的传动螺杆。前变焦透镜电机1550被配置用于旋转使载架724沿着图11和图12所示出的导轨1106轴向移动的传动螺杆。工作距离透镜电机1554被配置用于旋转使后工作距离透镜702沿导轨或轨道轴向移动的传动螺杆。
驱动器1536、1538和1540可以包括任何类型的照明驱动器、变压器和/或镇流器。驱动器1536、1538和1540被配置用于输出脉冲宽度调制(“PWM”)信号以控制由光源708输出的光强度。在一些实施例中，处理器1522可以控制驱动器1536、1538和1540的定时以与用于使用滤波器电机驱动器1540来应用特定滤波器的定时相对应。
示例驱动器1540、1544、1548和1552可以包括例如步进电机驱动器和/或DC电机驱动器。同样地，电机1542、1546、1550和/或1554可以包括步进电机、DC电机或其他电、磁、热、液压或气动致动器。电机1542、1546、1550和/或1554可以包括例如旋转编码器、有槽光学开关(例如，光斩波器)和/或线性编码器，以报告轴和/或轮轴的角位置以便进行反馈报告和控制。替代实施例可以包括具有合适的驱动器及其等同物的音圈电机、压电电机、线性电机。
为了控制驱动器1534、1536、1538、1540、1544、1548和1552，处理器1522被配置用于使用程序1530来将命令消息转化为数字信号和/或模拟信号。处理器1522将数字信号和/或模拟信号传输至输出模拟功率信号(比如与所接收的信号相对应的PWM信号)的适当的驱动器。模拟功率信号向适当的电机或致动器提供功率，从而使其旋转(或以其他方式移动)所期望的量。
处理器1522可以从驱动器1534、1536、1538、1540、1544、1548和1552，电机1542、1546、1550和/或1554和/或光源708接收反馈。该反馈与例如照明水平或照明输出相对应。关于电机，反馈与电机(或其他致动器)的位置和/或移动量相对应。处理器1522使用程序1530将所接收的信号转换成数字反馈，以基于相应的电机或致动器轴的角位置来确定例如透镜的径向位置、倾斜位置和/或轴向位置。然后，处理器1522可以将具有位置信息的消息传输至信息处理器模块1408以显示给用户和/或跟踪光学元件1402的透镜的位置以进行校准。
在一些实施例中，电机与照明模块1406可以包括额外的驱动器，以改变光学元件1402内的各个透镜的轴向位置、倾斜位置和/或径向位置。例如，电机与照明模块1406可以包括驱动器，该驱动器控制用于致动光学图像传感器746和748的挠曲件750和752以进行倾斜调整和/或径向调整/轴向调整的电机。进一步地，电机与照明模块1406可以包括驱动器，该驱动器控制用于分别沿x轴或y轴径向地和/或轴向地倾斜和/或调整前透镜720和722、前变焦透镜726和728、后变焦透镜732和734、镜筒736和738、和/或最终光学元件745和747的电机(或致动器)。对透镜和/或传感器的独立调整使得例如电机与照明控制器1520能够移除图像缺陷和/或使左图像和右图像对准。
以下各节描述了处理器1552如何执行一个或多个程序1530来改变工作距离、变焦、滤波器位置、透镜位置和/或光输出。
1.工作距离示例
图15的电机与照明模块1406的示例处理器1522被配置用于调整立体可视化相机300的工作距离。通过调整后工作距离透镜704与前工作距离透镜408之间的距离来设置工作距离。处理器1522通过使后工作距离透镜704相对于前工作距离透镜408移动来调整距离。具体地，处理器1522向后工作距离透镜电机驱动器1552发送信号，该信号在与后工作距离透镜704要被移动的量成比例的预定时间内激活工作距离透镜电机1554。工作距离透镜电机1554通过附接到保持后工作距离透镜704的滑轨的螺纹来传动导螺杆。工作距离透镜电机1554使得透镜704移动所期望的距离，从而调整工作距离。工作距离透镜电机1554可以向处理器1522提供反馈信号，该反馈信号判定后工作距离透镜704是否被移动了所期望的量。如果移动小于或大于所期望的量，则处理器1522可以发送进一步细化后工作距离透镜704的位置的指令。在一些实施例中，信息处理器模块1408可以确定针对后工作距离透镜704的反馈控制。
为了确定后工作距离透镜704的位置，处理器1522可以操作一个或多个校准程序1530。例如，一旦激活，处理器1522就可以指导工作距离透镜电机1554传动导螺杆以使后工作距离透镜704沿着导轨或轨道移动，直到在运动范围的一端处触发限位开关为止。处理器1522可以将这个停止位置指定为电机1554的编码器的零点。了解后工作距离透镜704的当前位置和相应的编码器值，处理器1522变得能够确定使后工作距离透镜704移动至期望位置轴旋转的次数。轴旋转的次数以模拟信号的形式(经由驱动器1552)传输至工作距离透镜电机1554，以相应地使透镜704移动到指定位置。
2.变焦示例
图15的示例处理器1522被配置用于执行一个或多个程序1530以改变立体可视化相机300的变焦水平。如以上所讨论的，通过改变前变焦组724和后变焦组730相对于彼此以及相对于前镜组714和镜筒组718的位置来实现变焦(例如，放大率改变)。与以上针对后工作距离透镜704描述的校准过程类似，处理器1522可以沿着导轨或轨道校准组724和730的位置。特别地，处理器1522发送指令使后变焦透镜电机1546和前变焦透镜电机1550沿着一个轨道(或多个轨道)将组724和730(例如，载架)移动到限位开关处的停止位置。处理器1522从电机1546和1550接收编码器反馈以确定与组724和730的停止位置相关联的编码器值。然后，处理器1522可以使编码器值归零，或者使用停止位置处的已知编码器值来确定要激活多少个电机1546和1550来实现组724和730沿轨道的期望位置。
除了对停止位置的校准之外，处理器1522还可以执行定义组724和730的位置的程序1530以实现所期望的变焦水平。例如，在校准过程期间，可以将相对于一组所期望变焦值的距离设置的已知模式存储为程序1530(或查找表)。校准过程可以包括将模板放置在目标部位700内，并且指导处理器522移动组724和730，直到某个指定的标记或字符为在右图像或帧和左图像或帧中的某个大小。例如，校准例程可以确定组724和730在轨道上的位置，这些位置与在目标部位700处的模板上的字符“E”在右图像和左图像中被显示为具有10个像素高度时相对应。
在一些实施例中，信息处理器模块1408可以执行视觉分析，并且向处理器1522发送指令，这些指令与针对组724和730所期望的移动相关，以进行放大或缩小。另外，信息处理器1408可以发送用于移动焦平面的指令，使得处于所期望的变焦水平的目标部位700焦点对准。指令可以包括例如用于使后工作距离透镜704移动、和/或使组724和730一起移动和/或单独移动的指令。在一些替代实施例中，处理器1522可以从用户输入装置1410或另一计算机接收处于某些变焦水平的前变焦组724和后变焦组730的轨道位置的校准参数。
示例处理器1522和/或信息处理器模块1408可以发送指令，使得当放大率改变时图像保持焦点对准。处理器1522例如可以使用程序1530和/或查找表来确定如何沿着光轴移动某些透镜以将焦点保持在目标部位700上。程序1530和/或查找表可以指定放大率水平和/或轨道上的设置点以及防止焦平面移动所需的相应透镜调整。
以下表2示出了示例程序1530或查找表，处理器1522可以使用该示例程序或查找表以在改变放大率时保持焦点。基于轨道到相应组724和730的停止位置的长度来使前变焦透镜组724和后变焦透镜组730的位置标准化。为了减小放大率，使后变焦透镜组朝向镜筒组718移动，从而沿轨道增加位置。前变焦透镜组724也被移动。然而，该前变焦透镜组的移动不一定等于后变焦透镜组730的移动。而是，前变焦透镜组724的移动导致改变组724与730之间的距离，以保持焦平面的位置从而在改变放大率时维持焦点。例如，为了将放大率水平从10X减小到9X，处理器1522指导后变焦透镜组730沿着轨道从位置10移动到位置11。另外，处理器1522指导前变焦透镜组724沿着轨道(或与组730相同的轨道)从位置5移动到位置4。不仅使组724和730移动以改变放大率，而且使组724和730相对于彼此移动以保持焦点。
放大率 前变焦透镜组位置 后变焦透镜组位置
10X 5 10
9X 4 11
8X 3 12
7X 4.5 14
6X 6 17
5X 8 20
表2
应当理解的是，表2提供了可以使组724和730如何移动的示例。在其他示例中，表2可以包括考虑组724和730的更精确的放大率和/或位置的附加行。另外地或可替代地，表2可以包括针对后工作距离透镜704的列。例如，后工作距离透镜704可以代替前变焦透镜组724或与前变焦透镜组结合移动以保持焦点。进一步地，表2可以包括指定组724和730以及后工作距离透镜704的位置的行，以在工作距离改变期间保持焦点。
可以通过校准来确定和/或从远程计算机或用户输入装置1410接收表2中的值。在校准期间，信息处理器模块1408可以操作校准程序1560，该校准程序通过不同的放大率和/或工作距离来进行。信息处理器模块1408处的处理器1562可以对图像本身或所接收的像素数据执行图像处理，以确定何时使用例如具有预定形状和/或字符的模板来实现所期望的放大率。处理器1562判定所接收的图像是否是焦点对准的。响应于确定图像是离焦的，处理器1562将指令发送到处理器1522，以调整前变焦透镜组724和/或后工作距离透镜组704。该调整可以包括沿着光路在向前和向后方向上的重复移动，直到处理器1562确定图像是焦点对准的为止。为了确定图像是焦点对准的，处理器1562可以执行例如图像分析，从而搜索光模糊性最小的图像和/或分析相邻像素区域之间的光值差异(其中较大的差异对应于更多的焦点对准图像)的像素数据。在确定图像是以所期望的工作距离和放大率焦点对准之后，处理器1562和/或处理器1522然后可以记录组724和730和/或后工作距离透镜704的位置以及相应的放大率水平。
3.滤波器位置示例
图15的电机与照明模块1406的示例处理器1522被配置用于基于所接收的指令使滤波器740移动到右光路和左光路中。在一些示例中，滤波器740可以包括反射镜阵列。在这些示例中，处理器1522将指令发送到滤波器电机驱动器1540，以致动一个或多个电机1542来改变反射镜的位置。在一些实例中，驱动器1540可以沿着一条或多条路径将电荷发送到滤波器740，从而使某些反射镜元件切换到打开位置或关闭位置。在这些示例中，基于致动哪些反射镜，滤波器类型选择通常有两种。
在其他示例中，滤波器740可以包括具有不同类型的滤波器(诸如，红外截止滤波器、近红外带通滤波器、和近紫外截止滤波器)的轮。在这些示例中，轮由滤波器电机1542旋转。处理器1522确定轮的与不同滤波器之间的划分相对应的停止位置。处理器1522还确定与每个停止位置相对应的旋转编码器值。
处理器1522可以操作校准程序1530和/或处理器1562可以操作校准程序1560以确定停止位置。例如，处理器1522可以使滤波器轮740缓慢旋转，其中，处理器1562(使用图像分析或从图像捕捉模块1404读取像素数据)确定在像素处接收到的光何时变化。像素处的光值的变化指示应用于光路的滤波器类型的变化。在一些实例中，当应用不同的滤波器类型时，处理器1522可以改变哪些光源708被激活，以在像素处创建进一步的区别。
4.光控制和滤波器示例
如以上所讨论的，处理器1522可以结合滤波器740来控制光源708，以使期望波长的光到达光学图像传感器746和748。在一些示例中，处理器1522可以控制或同步激活一个或多个光源708与激活一个或多个滤波器740之间的定时。为了同步定时，程序1530可以指定用于激活某个滤波器的延迟时间。处理器1522使用这个程序1530来确定相对于发送用于打开光源708的信号何时传输用于例如激活滤波器740的信号。预定的定时确保当激活指定的光源708时应用适当的滤波器740。这种配置使得由一个光源708(诸如，荧光)突出显示的特征能够基于在第二光源708(诸如，白光或环境光)下显示的特征或与之相结合地示出。
在一些实例中，可以与可以改变滤波器740一样快地切换光源708，从而使得在不同的光中记录的图像能够基于彼此相结合地显示。例如，发出荧光(由于施用的染料或造影剂)的静脉或其他解剖结构可以在环境照明下的图像上示出。在此示例中，将相对于可见光中所示出的背景解剖特征来突出显示静脉。在这个实例中，信息处理器模块1408的处理器1562和/或图形处理单元1564(例如，视频卡或图形卡)将在应用一个滤波器期间记录的一个或多个图像与在应用后一个滤波器期间记录的图像相组合或相叠加。
在一些实施例中，处理器1522可以同时激活多个光源708。可以同时或顺序地激活光源708以“交织”不同波长的光，以使得能够使用光学图像传感器746和748处的适当像素来提取不同的信息。同时激活光源可有助于照亮暗场。例如，一些应用使用UV光来刺激目标部位700处的荧光。然而，UV光被操作者感知为非常暗。因此，处理器1522可以周期性地激活可见光源1538以将一些可见光添加到视野中，使得外科医生可以观察不具有对UV光敏感的压倒性像素的视野，但还可以检测一些可见光。在另一示例中，光源708之间的交替在一些实例中避免了冲洗掉光学图像传感器746和748的在其范围的边缘处具有重叠敏感性的像素。
5.光强度控制
图15的示例处理器1522被配置用于执行一个或多个程序1530，以改变由光源708提供的照明强度或照明水平。应当理解的是，景深取决于目标部位700处的照明水平。通常，较高的照明度提供较大的景深。处理器1522被配置用于确保在不冲洗或过热视野的情况下为所期望的景深提供适量的照明。
可见光源708a由可见光驱动器1538驱动，并且输出光谱的人类可见部分中的光以及此区域之外的一些光。NIR光源708b由NIR光驱动器1536驱动，并且输出波长主要在被称为近红外处的光。NUV光源708c由NUV光驱动器1534驱动，并且输出波长主要在可见光谱的被称为近紫外的蓝色部分深度处的光。相应的光驱动器1534、1536和1538由处理器1522提供的命令控制。对光源708的相应输出光谱的控制通过PWM信号来实现，其中，控制电压或电流在最小值(例如，断开)与最大值(例如，接通)之间切换。通过改变切换速率以及PWM信号中电压或电流处于每个周期的最大电平的时间百分比，来控制从光源708输出的光的亮度。
在一些示例中，处理器1522基于视野或变焦水平的大小来控制光源708的输出。处理器1522可以执行程序1530，该程序针对某些光敏设置指定光强度为变焦的函数。程序1530可以包括例如将变焦水平与光强度值进行相关的查找表。处理器1522使用程序1530基于所选的放大率水平来选择用于光源708的PWM信号。在一些示例中，处理器1522可以随着放大率的增加而减小光强度，以维持提供给每单位面积视野的光量。
C.示例信息处理器模块
图15的立体可视化相机300内的示例信息处理器模块1408被配置用于分析并处理从图像捕捉模块1404接收的图像/帧以进行显示。另外，信息处理器模块1408被配置用于与不同的装置进行接口连接并且将控制指令转译成用于图像捕捉模块1404和/或电机与照明模块1406的消息。信息处理器模块1408还可以提供用于手动校准和/或管理光学元件1402的自动校准的接口。
如图15中所示出的，信息处理器模块1408通信地和/或电联接到图像捕捉模块1404以及电机与照明模块1406。例如，除了通信信道1566和1568之外，通信信道1514还可以包括USB 2.0或USB 3.0连接。这样，信息处理器模块1408调节并向模块1404和1406提供功率。在一些实施例中，信息处理器模块1408将来自壁式插座的110伏交流(“AC”)功率转化为用于模块1404和1406的5伏、10伏、12伏和/或24伏直流(“DC”)供应。另外地或可替代地，信息处理器模块1408从立体可视化相机300的壳体302内部的电池和/或在推车510处的电池接收电功率。
示例信息处理器模块1408包括用于与图像捕捉模块1404以及电机与照明模块1406进行双向通信的通信接口1532。信息处理器模块1408还包括处理器1562，该处理器被配置用于执行一个或多个程序1560以处理从图像捕捉模块1404接收的图像/帧。程序1560可以存储在存储器1570中。另外，处理器1562可以执行对光学元件1402的校准和/或调整光学元件1402以使右图像和左图像对准和/或移除视觉缺陷。
为了将图像和/或帧处理成经渲染的三维立体显示，示例信息处理器模块1408包括图形处理单元1564。图16示出了根据本披露的示例实施例的图形处理单元1564的图。在操作期间，处理器1562从图像捕捉模块1404接收图像和/或帧。解包例程1602将图像/帧从有利于跨通信信道1514传输的格式转化或以其他方式改变成有利于图像处理的格式。例如，图像和/或帧可以在多个消息中跨通信信道1514传输。示例解包例程1602组合来自多个消息的数据以重组帧/图像。在一些实施例中，解包例程1602可以将帧和/或图像排队，直到由图形处理单元1564请求为止。在其他示例中，处理器1562可以在每个右和左图像/帧对被完全接收并解包之后对其进行传输。
示例图形处理单元1564使用一个或多个程序1580(图15所示出的)来准备图像以便进行渲染。在图15和图16中示出了程序1580的示例。程序1580可以由图形处理单元1564的处理器执行。可替代地，图16中所示出的每个程序1580可以由单独的图形处理器、微控制器和/或专用集成电路(“ASIC”)执行。例如，去拜尔程序1580a被配置用于在邻近像素上对像素值进行平滑或平均处理，以补偿施加到图7和图8的右光学图像传感器746的像素网格1002和左光学图像传感器748的像素网格1004的拜耳模式。图形处理单元1564还可包括用于颜色校正和/或白平衡调整的程序1580b、1580c和1580d。图形处理单元1564还包括渲染器程序1580e，该渲染程序用于准备经颜色校正的图像/帧以在显示监视器512和514上显示。图形处理单元1564可以进一步交互和/或包括外围输入单元接口1574，该外围输入单元接口被配置用于组合、融合或以其他方式包括与目标部位700的立体显示一起呈现的其他图像和/或图形。以下更一般地讨论了程序1580和信息处理器模块1408的进一步细节。
示例信息处理器模块1408可以执行一个或多个程序1562，以检查并改善立体可视化相机300的等待时间。等待时间是指事件在目标部位700处发生并且该事件由显示监视器512和514示出所花费的时间量。低等待时间提供了一种感觉，即立体可视化相机300是外科医生的眼睛的延伸，而等待时间长容易从显微外科手术中分神。示例处理器1562可以跟踪从光学图像传感器746和748读取图像之间逝去了多少时间，直到基于所读取图像的组合立体图像被传输用于显示为止。对长等待时间的检测可以使处理器1562减少排队时间、增加帧率和/或跳过一些颜色校正步骤。
1.用户输入示例
图15的信息处理器模块1408的示例处理器1562被配置用于将用户输入指令转化为用于电机与照明模块1406和/或图像捕捉模块1402的消息。用户输入指令可以包括改变立体可视化相机300的光学方面(包括放大率水平、工作距离、焦平面(例如，焦点)的高度、光源708和/或滤波器740的滤光类型)的请求。用户输入指令还可以包括执行校准(包括图像处于焦点对准的指示和/或图像对准的指示、和/或对左图像与右图像之间对准的ZRP的指示)的请求。用户输入指令可以进一步包括对立体可视化相机300的参数(诸如帧率、曝光时间、颜色校正、图像分辨率等)的调整。
可以从用户输入装置1410接收用户输入指令，该用户输入装置可以包括图3的控制臂304的控件305和/或远程控件。用户输入装置1410还可以包括计算机、平板计算机等。在一些实施例中，经由网络接口1572和/或外围输入单元接口1574来接收指令。在其他实施例中，可以从有线连接和/或RF接口接收指令。
示例处理器1562包括用于确定指令类型以及确定如何处理用户输入的程序1560。在示例中，用户可以按下控件305的按钮来改变放大率水平。可以继续按下按钮，直到操作者已经使立体可视化相机300达到所期望的放大率水平为止。在这些示例中，用户输入指令包括指示例如要增加放大率水平的信息。对于所接收的每个指令(或接收到指示指令的信号的每个时间段)，处理器1562将指示放大率变化的控制指令发送到电机与照明处理器1406。处理器1522根据程序1530使用例如表2来确定要移动多少个变焦透镜组724和730。因此，处理器1522将信号或消息传输至后变焦透镜电机驱动器1544和/或前变焦透镜电机驱动器1548，从而使后变焦透镜电机1546和/或前变焦透镜电机1550将后变焦透镜组730和/或前变焦透镜组724移动由处理器1562指定的量以实现所期望的放大率水平。
应当理解的是，在以上示例中，立体可视化相机300基于用户输入提供改变，但还进行自动调整以维持焦点和/或较高的图像质量。例如，处理器1522确定如何移动变焦透镜组724和730，而不是简单地改变放大率水平，以仍然保持焦点，从而使操作者不必手动执行此任务。另外，处理器1562可以随着放大率水平的改变而实时地调整和/或对准右图像和左图像内的ZRP。例如，这可以通过选择或改变像素集1006和1008相对于图10的像素网格1002和1004的位置来完成。
在另一示例中，处理器1562可以从用户输入装置1410接收指令以改变帧率。处理器1562将消息传输至图像捕捉模块1404的处理器1504。进而，处理器1504向右图像传感器746和左图像传感器748的寄存器写入新帧率的指示。处理器1504还可以用新帧率来更新内部寄存器，以改变读取像素的速度。
在又一示例中，处理器1562可以从用户输入装置1410接收指令以开始对ZRP的校准例程。作为响应，处理器1562可以执行指定如何操作校准的程序1560。除了用于验证图像质量的例程之外，程序1560还可以包括例如放大率水平和/或工作距离的进展或迭代。例程可以指定：对于每个放大率水平，除了验证ZRP之外，还应验证焦点。例程还可以指定如何调整变焦透镜组724和730和/或后工作距离透镜704以实现焦点对准的图像。例程可以进一步针对放大率水平指定如何使右图像和左图像的ZRP居中。一旦已经验证了图像质量，程序1560除了存储像素集1006和1008的位置以及相应的放大率水平之外，还可以存储(到查找表)变焦透镜组724和/或730和/或后工作距离透镜704的位置。因此，当在随后的时间请求相同的放大率水平时，处理器1562使用查找表来指定变焦透镜组724和/或730、和/或后工作距离透镜704到电机与照明模块1406的位置以及像素集1006和1008到图像捕捉模块1404的位置。应当理解的是，在一些校准例程中，可以径向地/旋转地调整和/或倾斜光学元件1402中的至少一些透镜以使ZRP居中和/或使右图像和左图像对准。
2.接口示例
为了促进立体可视化相机300与外部装置之间的通信，示例信息处理器模块1408包括网络接口1572和外围输入单元接口1574。示例网络接口1572被配置用于使得远程装置能够通信地联接到信息处理器模块1408，以例如存储所记录的视频，控制立体可视化相机300的工作距离、变焦水平、焦点、校准或其他特征。在一些实施例中，远程装置可以提供用于校准查找表的值或参数，或更一般地，提供具有校准参数的程序1530。网络接口1572可以包括以太网接口、局域网接口和/或Wi-Fi接口。
示例外围输入单元接口1574被配置用于可通信地联接到一个或多个外围装置1576，并且促进立体图像数据与外围数据(诸如，患者生理数据)的集成。外围输入单元接口1574可以包括
Figure BDA0002744152620000601
接口、USB接口、HDMI接口、SDI等。在一些实施例中，外围输入单元接口1574可以与网络接口1572组合。
外围装置1576可以包括例如数据或视频存储单元、患者生理传感器、医学成像装置、输注泵、透析机器和/或平板计算机等。外围数据可以包括来自专用二维红外专用相机的图像数据、来自用户的膝上型计算机的诊断图像和/或来自眼科装置(诸如，Alcon
Figure BDA0002744152620000602
系统和WaveTec公司的Optiwave Refractive Analysis(ORATM)系统)的图像或患者诊断文本。
示例外围输入单元接口1574被配置用于将来自外围装置1576的数据转化和/或格式化为适当数字形式以便与立体图像一起使用。一旦采用数字形式，图形处理单元1564就将外围数据与其他系统数据和/或立体图像/帧集成。该数据被渲染有在显示监视器512和/或514上显示的立体图像。
为了配置外围数据与立体图像的包含，处理器1562可以控制集成设置。在示例中，处理器1562可以使图形处理单元1564在显示监视器512和/或514上显示配置面板。配置面板可以使得操作者能够将外围装置1576连接到接口1574和处理器1562，以随后与装置1576建立通信。处理器1564然后可以读取哪些数据可用或者使得操作者能够使用配置面板来选择数据目录位置。目录位置中的外围数据显示在配置面板中。配置面板还可以向操作者提供用于使外围数据与立体图像数据叠加或显示为单独图片的选项。
外围数据(和叠加格式)的选择使处理器1562读取数据并将其传输至图形处理单元1564。图形处理单元1564将外围数据应用于立体图像数据以作为叠加图形(诸如，将术前图像或图形与实时立体图像融合)、“画中画”、和/或在主立体图像窗口之侧或之上的子窗口来呈现。
3.去拜尔程序示例
图16的示例去拜尔程序1580a被配置用于产生在每个像素值处具有红色、绿色和蓝色值的图像和/或帧。如以上所讨论的，右光学图像传感器746和左光学图像传感器748的像素具有使红色波长范围、蓝色波长范围或绿色波长范围的光通过的滤波器。因此，每个像素仅包含光数据的一部分。因此，在信息处理器模块1408中从图像捕捉模块1404接收的每个图像和/或帧具有包含红色、蓝色或绿色像素数据的像素。
示例去拜尔程序1580a被配置用于对相邻和/或邻近像素的红色、蓝色和绿色像素数据求平均，以确定每个像素的更完整颜色数据。在示例中，具有红色数据的像素和具有蓝色数据的像素位于具有绿色数据的两个像素之间。对两个像素的绿色像素数据进行求平均，并将其分配给具有红色数据的像素和具有蓝色数据的像素。在一些实例中，可以基于具有红色数据的像素和具有蓝色数据的像素距相应的绿色像素的距离来对平均绿色数据进行加权。计算之后，最初只有红色或蓝色数据的像素现在包括绿色数据。因此，在由图形处理单元1564执行去拜尔程序1580a之后，每个像素包含红色、蓝色和绿色光量的像素数据。混合不同颜色的像素数据以确定色谱上的所得颜色，可以由渲染器程序1580e将该所得颜色用于显示和/或用于显示监视器512和514。在一些示例中，去拜尔程序1580a可以确定所得颜色并存储指示该颜色的数据或标识符。
4.颜色校正示例
示例颜色校正程序1580b、1580c和1580d被配置用于调整像素颜色数据。传感器颜色校正程序1580b被配置用于考虑或调整光学图像传感器746和748的颜色感测中的可变性。用户颜色校正程序1580c被配置用于基于操作者的感知和反馈来调整像素颜色数据。进一步地，显示颜色校正程序1580d被配置用于基于显示监视器类型来调整像素颜色数据。
为了校正用于传感器可变性的颜色，示例颜色校正程序1580b指定可由图形处理单元1564和/或处理器1562执行的校准例程。传感器校准包括将校准的颜色图表(诸如，如爱色丽(X-Rite)公司的Color
Figure BDA0002744152620000621
数字SG)放置在目标部位700处。处理器1562和/或图形处理单元1564执行程序1580b，该程序包括向图像捕捉模块1404发送指令以记录颜色图表的右图像和左图像。可以将来自右图像和左图像的像素数据(在由去拜尔程序1580a处理之后)与同颜色图表相关联的像素数据进行比较，该颜色图表可以从外围单元1576和/或远程计算机经由网络接口1572存储到存储器1570中。处理器1562和/或图形处理单元1564确定像素数据之间的差异。这些差异被存储到存储器1570作为校准数据或参数。传感器颜色校正程序1580b将校准参数应用于后续的右图像和左图像。
在一些示例中，可以在像素的区域上对差异进行求平均，使得程序1580b找到颜色校正数据的最佳拟合，该最佳拟合可以全局地应用于光学图像传感器746和748的所有像素，以产生尽可能接近颜色图表的颜色。另外地或可替代地，程序1580b可以处理从用户单元装置1410接收的用户输入指令以校正颜色。指令可以包括基于操作者的偏好对红色、蓝色和绿色像素数据进行的区域性和/或全局性改变。
示例传感器颜色校正程序1580b还被配置用于校正白平衡。通常，白光应导致具有相等值的红色、绿色和蓝色像素。然而，像素之间的差异可以由成像期间使用的光的色温、每个像素的滤波器和感测元件的固有方面、以及例如图7和图8的偏转元件712的光谱滤光参数引起。示例传感器颜色校正程序1580b被配置用于指定用于对光不平衡进行校正的校准例程。
为了执行白平衡，处理器1562(根据来自程序1580b的指令)可以在显示监视器512和/或514上显示指令，以供操作者将中性卡放置在目标部位700上。然后，处理器1562可以指导图像捕捉模块1404记录中性卡的一个或多个图像。在通过解包例程1602和去拜尔程序1580a进行处理之后，程序1580b确定红色、蓝色和绿色数据中的每一个的区域性和/或全局性白平衡校准权重值，使得每个像素具有基本相等的红色、蓝色和绿色数据值。将白平衡校准权重值存储到存储器1570。在操作期间，图形处理单元1564使用程序1580b来应用白平衡校准参数以提供白平衡。
在一些示例中，程序1580b针对右光学图像传感器746和左光学图像传感器748逐个确定白平衡校准参数。在这些示例中，程序1580b可以存储用于左图像和右图像的单独的校准参数。在其他实例中，传感器颜色校正程序1580b确定右视图与左视图之间的权重，以使得右光学图像传感器746和左光学图像传感器748的颜色像素数据几乎相同。可以将确定的权重应用于白平衡校准参数，以便随后在立体可视化相机300的操作期间使用。
在一些实施例中，图16的传感器颜色校正程序1580b指定将白平衡校准参数作为右光学图像传感器746和左光学图像传感器748的像素上的数字增益来应用。例如，图像捕捉模块1404的处理器1504将数字增益应用于从每个像素读取的像素数据。在其他实施例中，将白平衡校准参数作为每个像素颜色感测元件的模拟增益来应用。
当激活不同的光源708和/或滤波器740的滤光类型时，示例传感器颜色校正程序1580b可以执行白平衡和/或颜色校正。结果，存储器1570可以基于选择哪个光源708来存储不同的校准参数。进一步地，传感器颜色校正程序1580b可以针对不同类型的外部光执行白平衡和/或颜色校正。操作者可以使用用户输入装置1410来指定外部光源的特性和/或类型。这种校准使得立体可视化相机300能够针对不同的照明环境提供颜色校正和/或白平衡。
示例程序1580b被配置用于分别对光学图像传感器746和748中的每一个执行校准。因此，程序1580b在操作期间将不同的校准参数应用于右图像和左图像。然而，在一些示例中，可以仅对一个传感器746或748执行校准，并且将校准参数用于另一传感器。
示例用户颜色校正程序1580c被配置用于请求操作者提供的关于图像质量参数(诸如，亮度、对比度、伽马、色调和/或饱和度)的反馈。反馈可以作为指令从用户输入装置1410接收。由用户进行的调整作为用户校准参数存储在存储器1570中。这些参数随后由用户颜色校正程序1580c在对光学图像传感器746和748进行颜色校正之后应用于右光学图像和左光学图像。
图16的示例显示颜色校正程序1580d被配置用于使用例如DatacolorTM斯派德(Spyder)颜色检查器来校正显示监视器的图像颜色。与程序1580b类似的程序1580d指导图像捕捉模块1404记录显示颜色模板在目标场景700处的图像。显示颜色校正程序1580d操作例程以调整像素数据以便与存储在存储器1570中的查找表中的预期显示输出匹配。调整后的像素数据可以作为显示校准参数存储到存储器1570中。在一些示例中，相机或其他成像传感器可以连接到外围输入单元接口1574，该外围输入单元接口提供关于由用于调整像素数据的显示监视器512和514记录的颜色的图像或其他反馈。
5.立体图像显示示例
图16的图形处理单元1564的示例渲染器程序1580e被配置用于准备左右图像和/或帧以便进行三维立体显示。在通过程序1580b、1580c和1580d对左右图像的像素数据进行颜色校正之后，渲染器程序1580e被配置用于将左眼和右眼数据绘制成适合于立体显示的格式并且将最终渲染的版本放置到输出缓冲器中以便传输至显示监视器512或514之一。
通常，渲染器程序1580e接收右图像和/或帧以及左图像和/或帧。渲染器程序1580e将左图像和/或帧以及右图像和/或帧组合成单个帧。在一些实施例中，程序1580e操作自上而下模式，并将左图像数据的高度缩短一半。然后，程序1580e将缩短的左图像数据放置在组合帧的上半部分中。类似地，程序1580e将右图像数据的高度缩短一半，并将缩短的右图像数据放置在组合帧的下半部分中。
在其他实施例中，渲染器程序1580e操作并排模式，其中左图像和右图像中的每一个在宽度上被缩短一半并且被组合成单个图像，使得左图像数据被设置在图像的左半部分，而右图像数据被设置在图像的右半部分。在又一替代实施例中，渲染器程序1580e操作行交织模式，其中，左帧和右帧中的每隔一行被丢弃。将左帧和右帧组合在一起以形成完整的立体图像。
示例渲染器程序1580e被配置用于分别为每个连接的显示监视器渲染组合的左图像和右图像。例如，如果将显示监视器512和514两者连接，则渲染器程序1580e为显示监视器512渲染第一组合的立体图像，并且为显示监视器514渲染第二组合的立体图像。渲染器程序1580e格式化第一和第二组合的立体图像，使得它们可与显示监视器和/或屏幕的类型和/或屏幕大小兼容。
在一些实施例中，渲染器程序1580e基于显示监视器将如何显示立体数据来选择图像处理模式。操作者的大脑对立体图像数据的正确解释要求将立体图像的左眼数据传达到操作者的左眼，并且将立体图像的右眼数据传达到操作者的右眼。通常，显示监视器为左眼数据提供第一偏振并且为右眼数据提供第二相反的偏振。因此，组合的立体图像必须与显示监视器的偏振匹配。
图17示出了根据本披露的示例实施例的显示监视器512的示例。显示监视器512可以是例如具有屏幕1702的
Figure BDA0002744152620000651
55LW5600三维电视。示例显示监视器512在屏幕1702上使用偏振膜，使得所有奇数行1704具有第一偏振并且所有偶数行1706具有相反的偏振。为了与图17中所示出的显示监视器512兼容，渲染器程序1580e将必须选择行交织模式，使得左图像数据和右图像数据处于交替的线上。在一些实例中，渲染器程序1580e可以在准备立体图像之前请求(或以其他方式接收)显示监视器512的显示特性。
为了观看在屏幕1702上显示的立体图像，外科医生504(从图5中记住他)戴着眼镜1712，该眼镜包括包含与行1704的第一偏振匹配的第一偏振的左镜片1714。另外，眼镜1712包括包含与行1706的第二偏振匹配的第二偏振的右镜片1716。因此，左镜片1714仅允许来自左行1704的左图像数据的大部分光通过，同时阻挡来自右图像数据的大部分光。另外，右镜片1716允许来自右行1706的右图像数据的大部分光通过，同时阻挡来自左图像数据的大部分光。来自“错误”视图的、到达每只相应眼睛的光量被称为“串扰”，并且通常保持在足够低的值以允许舒适地观看。因此，外科医生504在左眼中观看由左光学图像传感器748记录的左图像数据，而在右眼中观看由右光学图像传感器746记录的右图像数据。外科医生的大脑将这两个视图融合在一起，以创建三维距离和/或深度的感知。进一步地，使用这种显示监视器对于观察立体可视化相机300的准确性而言是有利的。如果外科医生或操作者不戴眼镜，则左视图和右视图可用双眼观察到。如果将平面目标放置在焦平面上，则两个图像将在理论上对准。如果检测到错位，则可以由处理器1562启动重新校准过程。
示例渲染器程序1580e被配置用于渲染圆偏振的左视图和右视图。然而，在其他实施例中，渲染器程序1580e可以提供与线性偏振兼容的立体图像。无论使用哪种类型的极性，示例处理器1562都可以执行程序1560以验证或检查由渲染器程序1580e输出的立体图像的极性。为了检查极性，处理器1562和/或外围输入单元接口1574将诊断数据插入左图像和/或右图像。例如，处理器1562和/或外围输入单元接口1574可以将“左”文本叠加到左图像上，并且将“右”文本叠加到右图像上。处理器1562和/或外围输入单元接口1574可以显示提示，该提示指示操作者在戴眼镜1712时一次闭一只眼，以确认在左眼处正在接收左视图并且在右眼处正在接收右视图。操作者可以经由用户输入装置1410提供指示偏振是否正确的确认。如果偏振不正确，则示例渲染器程序1580e被配置用于反转将左图像和右图像插入到组合的立体图像中的位置。
在又其他实施例中，示例渲染器程序1580e被配置用于提供帧顺序投影，而不是创建组合的立体图像。在此，渲染器程序1580e渲染与右图像和/或帧以时间顺序交织的左图像和/或帧。因此，左图像和右图像交替地呈现给外科医生504。在这些其他实施例中，屏幕1702未偏振。相反，眼镜1712的左镜片和右镜片可以被电子地或光学地同步到其帧序列的相应部分，这向用户提供对应的左视图和右视图以辨别深度。
在一些示例中，渲染器程序1580e可以提供右图像和左图像中的某些图像，以显示在单独的显示监视器上或一个显示监视器上的单独窗口中。当光学元件1402的右光路和左光路的透镜可独立地调整时，这种配置可能特别有益。在示例中，可以将右光路设置为第一放大率水平，而将左光路设置为第二放大率水平。因此，示例渲染器程序1580e可以在显示监视器512上显示来自左视图的图像流，并在显示监视器514上显示来自右视图的图像流。在某些实例中，左视图可以在显示监视器512上的第一窗口中显示，而右视图在同一显示监视器512的第二窗口中显示(例如，画中画)。因此，虽然不是立体的，但是同时显示左图像和右图像向外科医生提供了有用的信息。
在另一示例中，光源708和滤波器740可以快速切换以利用可见光和荧光生成交替的图像。示例渲染器程序1580e可以将左视图和右视图进行组合以在不同光源下提供立体显示，以便例如在可见光下示出背景的同时用染料剂突出显示静脉。
在又一示例中，可以将数字变焦应用于右光学图像传感器746和/或左光学图像传感器748。通常，数字变焦会影响图像的感知分辨率，并且取决于诸如显示分辨率和观看者的偏好等因素。例如，图像捕捉模块1404的处理器1504可以通过创建在以数字方式变焦的像素之间合成和间置的内插像素来应用数字变焦。处理器1504可以操作程序1510，该程序协调光学图像传感器746和748的选择和内插像素。处理器1504传输具有应用于信息处理器模块1408的数字变焦的右图像和左图像，以进行后续渲染和显示。
在一些实施例中，处理器1504从处理器1562接收指令：要在没有数字变焦的图像之间记录数字变焦图像，以提供目标部位700的感兴趣区域的数字变焦的画中画(或单独窗口)显示。因此，处理器1504将数字变焦应用于从像素网格1002和1004读出的每隔一个的图像。除了以数字方式变焦的立体图像之外，这使得渲染器程序1580e能够同时显示立体全分辨率图像。可替代地，要以数字方式变焦的图像从当前图像复制、按比例调节、并且在渲染阶段期间被放置在叠加在当前图像之上的适当位置。这种可替代地配置避免了“交替”记录要求。
6.校准示例
图14至图16的示例信息处理器模块1408可以被配置用于执行一个或多个校准程序1560，以校准例如工作距离和/或放大率。例如，处理器1562可以向电机与照明模块1406发送指令，以执行用于将从主物镜组件702到目标部位700的工作距离(以毫米为单位测得的)映射到工作距离透镜电机1554的已知电机位置的校准步骤。处理器1562通过沿光轴以离散步长顺序地移动物平面并且使左图像和右图像重新聚焦、同时记录编码器计数和工作距离来执行校准。在一些示例中，工作距离可以由外部装置测量，该外部装置经由外围输入单元接口1574和/或到用户输入装置1410的接口将所测得的工作距离值传输至处理器1562。处理器1562可以存储后工作距离透镜704的位置(基于工作距离透镜电机1554的位置)和相应的工作距离。
示例处理器1562还可以执行程序1560以执行放大率校准。处理器1562可以使用电机与照明模块1406设置光学元件1402以选择放大率水平。处理器1562可以记录光学元件1402的位置或相对于每个放大率水平的相应电机位置。可以通过测量已知大小的物体在图像中的高度来确定放大率水平。例如，处理器1562可以将物体测量为具有10个像素的高度，并使用查找表来确定10个像素的高度对应于5X放大率。
为了与两种不同成像模态的立体视角匹配，通常期望如同这些立体透视图是简单的针孔相机那样对他们两者进行建模。可以从用户可调整的方向和距离来观看3D计算机模型(诸如，MRI脑肿瘤)的视角(例如，如同图像是由合成的立体相机记录的那样)。可调整性可以用于匹配实况外科手术图像的视角，因此该视角必须是已知的。示例处理器1562可以校准这些针孔相机模型参数中的一个或多个，例如右光学图像传感器746和左光学图像传感器748的投影中心(“COP”)。为了确定投影中心，处理器1562确定从投影中心到物平面的焦点距离。首先，处理器1562以某一放大率水平来设置光学元件1402。然后，处理器1562在沿光轴的三个不同距离处记录图像高度的测量结果，该三个不同距离包括在物平面处、小于物平面距离的距离d、以及大于物平面距离的距离d。处理器1562对两个最极端位置处的相似三角形使用代数公式，以确定到投影中心的焦点距离。处理器1562可以使用相同的方法或通过确定用于校准的放大率之间的比率来确定其他放大率下的焦点距离。处理器可以使用投影中心来将比如MRI肿瘤模型等所期望融合物体的图像的视角与实时立体外科手术图像匹配。另外地或可替代地，可以使用比如开放式CV校准相机(OpenCVcalibrateCamera)等现有相机校准过程来找到上述参数以及诸如光学元件1402的畸变模型等附加相机信息。
示例处理器1562可以进一步校准左光轴和右光轴。处理器1562确定左光轴与右光轴之间的瞳孔间距，以进行校准。为了确定瞳孔间距，示例处理器1562记录像素集1006和1008以像素网格1002和1004为中心的左图像和右图像。处理器1562确定左图像和右图像的ZRP的位置(和/或到移位物体的距离)，这些位置指示图像错位和视差程度。另外，处理器1562基于放大率水平按比例调节视差和/或距离。然后，处理器1562使用考虑了视差程度和/或到显示器中物体的按比例调节距离的三角测量计算来确定瞳孔间距。接下来，处理器1562将瞳孔间距与在指定放大率水平下作为校准点的光轴相关联。
VI.图像对准和假视差调整实施例
与人类视觉类似，立体图像包括会聚在感兴趣点的右视图和左视图。以与感兴趣点略微不同的角度来记录右视图和左视图，这会导致两个视图之间出现视差。感兴趣点之前或之后的场景中的物品展现出视差，使得可以推算出项距观看者的距离或深度。感知距离的准确性取决于例如观看者视力的清晰度。大多数人展现出其视力有某种程度的缺陷，从而导致右视图与左视图之间存在一些不准确。然而，他们仍然可能通过大脑以某种程度的准确性融合视图来实现立体视觉。
当左图像和右图像由相机记录而不是由人类观看时，显示屏上组合的图像之间的视差产生立体视觉，这会在二维显示器上提供三维立体图像的外观。视差中的误差可能影响三维立体图像的质量。与理论上完美的视差相比，观察到的视差的不准确性被称为假视差。与人类不同，相机没有自动补偿不准确性的大脑。
如果假视差变得很显著，则三维立体图像可能无法观看，以达到引起眩晕、头痛和恶心的程度。存在可能影响显微镜和/或相机中的视差的多种因素。例如，右视图和左视图的光学通道可能不完全相等。光学通道可能具有不匹配的焦点、放大率和/或感兴趣点错位。这些问题可能在不同的放大率和/或工作距离下具有不同的严重性，从而减少了通过校准所做的校正努力。
诸如图2的外科手术显微镜200等已知的外科手术显微镜被配置用于通过目镜206提供适当的视图。通常，已知外科手术显微镜的光学元件的图像质量不足以用于立体相机。其原因是因为外科手术显微镜的制造商认为主要的观看是通过目镜。任何相机附件(诸如，相机212)要么是单视场的并且不受假视差的影响，要么是具有假视差不那么明显的低图像分辨率的立体式。
国际标准，比如ISO 10936-1:2000，光学和光学器械-手术显微镜-第1部分：要求和测试方法已经产生，以提供对外科手术显微镜的图像质量的规范限制。规范限制通常是针对通过外科手术显微镜的目镜进行观看而设置的，并且不考虑三维立体显示。例如，关于假视差，ISO 10936-1:2000指定左视图与右视图之间的竖直轴差应小于15弧分。轴的小角度偏差通常以弧分(与1/60度相对应)或弧秒(与1/60弧分相对应)进行量化。15弧分规范限制与具有为250mm的工作距离和为35mm的视野(其具有为8°的角度视野)的典型外科手术显微镜的左视图与右视图之间的3％差异相对应。
对于目镜观看，3％差异是可以接受的，其中，外科医生的大脑能够克服较小程度的误差。然而，在显示监视器上以立体方式观看时，此3％差异会在左视图与右视图之间产生明显的差异。例如，当左视图和右视图一起示出时，3％差异导致图像看起来不相连，并且难以长时间观看。
另一个问题是，已知的外科手术显微镜可能仅在一个或几个放大率水平下满足15弧分规范限制，和/或仅单独光学元件可能满足某个规范限制。例如，制造单独透镜以满足某个准则。然而，当在光路中组合各个光学元件时，偏离标准的较小偏差可能被放大而不是被抵消。当在包括共用主物镜的光路中使用五个或更多个光学元件时，这可能是特别明显的。另外，很难完全匹配平行通道上的光学元件。最多，在制造期间，仅在一个或几个特定放大率水平下对外科手术显微镜的光学元件进行校准，以满足15弧分的规范限制。因此，尽管据称外科手术显微镜满足ISO 10936-1:2000规范，但校准点之间的误差可能更大。
另外，ISO 10936-1:2000规范在添加附加部件时允许更大的公差。例如，添加第二目镜(例如，目镜208)使假视差增加2弧分。此外，尽管这种误差对于通过目镜206和208进行观看是可以接受的，但是当通过相机以立体方式观看时，图像错位变得更加明显。
与已知外科手术显微镜相比，本文披露的示例立体可视化相机300被配置用于自动调整光学元件1402中的至少一些以减少或消除假视差。将光学元件嵌入立体可视化相机300内使得能够针对三维立体显示进行自动地(有时实时地)精细调整。在一些实施例中，示例立体可视化相机300可以提供20至40弧秒的准确性，这与已知外科手术显微镜的15弧分准确性相比，光学误差减少了接近97％。
准确性的提高使得示例立体可视化相机300能够提供使用已知的立体显微镜不能够执行的特征。例如，许多新的显微外科手术都依赖于实况外科手术部位中的准确测量结果，以便进行最佳大小调整、定位、匹配、定向和诊断。这包括确定血管的大小、复曲面人工晶状体(“IOL”)的放置角度、从术前图像到实时视图的脉管系统匹配、动脉下方肿瘤的深度等。因此，示例立体可视化相机300使得能够使用例如图形叠加或图像分析来进行精确测量，以确定解剖结构的大小。
已知的外科手术显微镜要求外科医生将已知大小的物体(诸如，微型尺)放入视野内。外科医生将物体的大小与周围的解剖结构进行比较，以确定近似大小。然而，此过程相对较慢，因为外科医生必须将物体放置在正确的位置，并且然后在执行测量后将其移除。另外，由于大小是基于外科医生的主观比较和测量，因此测量仅提供近似值。一些已知的立体相机提供图形叠加以确定大小。然而，如果左视图与右视图之间存在假视差，则会降低这些叠加的准确性。
A.ZRP作为假视差来源
ZRP不准确性在左图像与右图像之间提供了重要误差来源，从而导致假视差。ZRP或变焦重复点是指在改变放大率水平时在视野中保持在同一位置的点。图18和19示出了不同放大率水平的左视野和右视野中的ZRP的示例。具体地，图18示出了低放大率水平的左视野1800和高放大率水平的左视野1850。另外，图19示出了低放大率水平的右视野1900和高放大率水平的右视野1950。
应当注意的是，图18和19示出了十字准线1802和1902，以提供本披露的示例性参考点。十字准线1802包括沿着y方向或y轴定位的第一十字准线1802a和沿着x方向或x轴定位的第二十字准线1802b。另外，十字准线1902包括沿着y方向或y轴定位的第一十字准线1902a和沿着x方向或x轴定位的第二十字准线1902b。在实际实施方式中，在默认情况下示例立体可视化相机300通常不包括十字准线或者将十字准线添加到光路(除非操作者要求这样)。
理想地，ZRP应该被定位在中心位置或原点。例如，ZRP应该在十字准线1802和1902中居中。然而，光学元件1402中的不准确性和/或光学元件1402之间的略微错位导致ZRP将被定位成远离十字准线1802和1902的中心。除了ZRP在左视图与右视图之间的错位之外，假视差的程度还与左视图和右视图中的每个ZRP距各自中心有多远相对应。此外，光学元件1402中的不准确性可能导致ZRP随着放大率变化而略微漂移，从而进一步导致更大程度的假视差。
图18示出了图7的目标部位700的视野1800和1850中的三个新月形的物体1804、1806和1808。应当理解的是，相对于光学图像传感器746和748，视野1800和1850是线性视野。将物体1804、1806和1808放置在视野1800中，以展示如何从左图像错位和右图像错位中生成假视差。将物体1804沿着十字准线1802a定位在十字准线1802b上方。将物体1806沿着十字准线1802b定位并且在十字准线1802a的左侧。将物体1808定位在十字准线1802b的略微下方，并且在十字准线1802a的右侧。用于左视野1800的ZRP 1810被定位在物体1808的凹口中。
通过使用示例立体可视化相机300的变焦透镜组件716增大放大率水平(例如，变焦)，将左视野1800改变为左视野1850。增大放大率使物体1804、1806和1808看起来扩展或增长，如视野1850中所示出的。在所展示的示例中，视野1850近似为视野1800的放大率水平的3X。
与低放大率视野1800相比，高放大率视野1850中的物体1804、1806和1808的大小已经增加了约3X，同时还相对于ZRP 1810彼此移动间隔开3X。另外，物体1804、1806和1808的位置已相对于十字准线1802移动。现在将物体1804移位至十字准线1802a的左侧，并且被移位成略微远离十字准线1802b。另外，物体1806现在进一步移位至十字准线1802a的左侧，并略微高于十字准线1802b。通常，物体1808相对于十字准线1802位于相同(或几乎相同)的位置，其中，ZRP 1810相对于十字准线1802和物体1806位于完全相同(或几乎相同)的位置。换言之，随着放大率的增大，物体1804、1806和1808(以及视野1850中的任何其他物体)看起来都远离ZRP 1810并向外移动。
在图19中所展示的右视野1900和1950中示出了相同的物体1804、1806和1808。然而，ZRP的位置不同。具体地，ZRP 1910位于右视野1900和1950的十字准线1902b的上方并且在十字准线1902a的左侧。因此，ZRP 1910位于与左视野1800和1850中的ZRP 1810不同的位置处。在所展示的示例中，假设左光路和右光路在第一放大率水平下完全对准。因此，在右视野1900中示出的物体1804、1806和1808位于与左视野1800中相同的物体1804、1806和1808所在的相同位置。由于左视图和右视图是对准的，因此不存在假视差。
然而，在高放大率视野1950中，物体1804、1806和1808扩展并远离ZRP 1910移动。给定ZRP 1910的位置，物体1804向右移动或移位，并且物体1806向下移动或移位。另外，与物体1808在视野1900中的位置相比，该物体向下和向右移动。
图20示出了将高放大率左视野1850与高放大率右视野进行比较的像素图。网格2000可以表示物体1804(L)、1806(L)和1808(L)在左光学图像传感器748的像素网格1004上的位置与物体1804(R)、1806(R)和1808(R)在左光学图像传感器746的像素网格1002上的位置相叠加。图20清楚地示出了物体1804、1806和1808处于左视野1850和右视野1950中的不同位置。例如，物体1804(R)位于十字准线1902a的右侧并且在十字准线1902b的上方，而相同的物体1804(L)位于十字准线1802a的左侧并且进一步在十字准线1802b的上方。
物体1804、1806和1808的位置差异与由在不同位置产生ZRP1810和1910的光学元件1402的光学对准缺陷所产生的假视差相对应。假设没有畸变或其他成像误差，图20所示出的假视差对于图像内的所有点通常是相同的。当通过外科手术显微镜(诸如，图2的显微镜200)的目镜进行观看时，物体1804、1806和1808的位置差异可能不明显。然而，当以立体图像在显示监视器512和514上进行观看时，差异变得显而易见，并且可能导致头痛、恶心和/或眩晕。
图21示出了展示关于左右ZRP的假视差的图。该图包括像素网格2100，该像素网格包括图10的右像素网格1002和左像素网格1004的叠加。在这个展示的示例中，用于左光路的左ZRP 2102位于沿x轴的+4处以及沿y轴的0处。另外，用于右光路的右ZRP 2104位于沿x轴的-1处以及沿y轴的0处。在x轴和y轴的相交处示出了原点2106。
在此示例中，物体2108在第一低放大率下相对于左图像和右图像对准。当放大率增加3X时，物体2108的大小增加，并且远离ZRP 2102和2104移动。轮廓物体2110基于ZRP2102和2104与原点2106对准而示出物体2108在第二较高放大率下的理论位置。具体地，物体2108在第一放大率水平下的凹口在沿x轴的位置+2处。在3X放大率的情况下，凹口沿x轴移动3X，使得在较高放大率水平下凹口位于沿x轴的+6处。另外，由于ZRP 2102和2104在理论上将在原点2106处对准，因此物体2110将在左视图与右视图之间对准(图21中被示出为在假设叠加下的单个物体)。
然而，在此示例中，左ZRP 2102和右ZRP 2104的错位使物体2110在较高放大率下在左视图与右视图之间错位。关于右光路，右ZRP 2104位于沿着x轴的-1处，使得其在低放大率下偏离物体2108的凹口3个像素。当放大3X时，此差异变为9个像素，该物体被显示为物体2110(R)。类似地，左ZRP 2102位于沿x轴的+4像素处。在3X放大率下，物体2108从偏离2像素移动到偏离6像素，该物体被示出为在沿x轴的-2处的物体2110(L)。
物体2110(L)和物体2110(R)的位置差异与在较高放大率下的左视图与右视图之间的假视差相对应。如果将右视图和左视图组合成立体图像以进行显示，则在渲染器程序1850e使用行交织模式时，物体2110的位置将在每行处错位。该错位将不利于生成立体视觉，并且可能产生看起来模糊或使操作者感到困惑的图像。
B.假视差的其他来源
尽管左光路与右光路之间的ZRP错位是假视差的重要来源，但也存在其他误差来源。例如，假视差可能是由于右光路与左光路之间的不相等放大率变化而引起的。平行光路之间的放大率差异可能是由于光学元件1402的透镜的光学性质或特性的略微差异而引起的。进一步地，如果图7和图8的左前变焦透镜726和右前变焦透镜728中的每一个和左后变焦透镜736和右后变焦透镜738中的每一个都被独立地控制，则略微差异可能由于定位而引起的。
返回参照图18和图19中，对于左光路和右光路，放大率变化的差异产生不同大小的物体以及物体之间的不同间距。例如，如果左光路具有较高的放大率变化，则与图19中的右视野1950中的物体1804、1806和1808相比，物体1804、1806和1808将看起来更大，并且移动距ZRP 1810更大的距离处。即使ZRP 1810和1910对准，物体1804、1806和1808的位置的差异也会导致假视差。
假视差的另一来源是由于左光路和右光路的不均等聚焦而引起的。通常，左视图与右视图之间的焦点对准的任何差异都可能导致感知到的图像质量下降，并可能导致关于左视图或右视图是否占主导地位的潜在混乱。如果焦点差异明显，则可能导致离焦(“OOF”)状况。在左视图和右视图被示出在同一图像的立体图像中，OOF状况特别明显。另外，OOF状况不容易校正，因为重新聚焦离焦光路通常导致另一个光路变成未聚焦。通常，需要确定两个光路都是焦点对准的点，这可以包括沿着光路改变左透镜和右透镜的位置和/或调整距目标部位700的工作距离。
图22示出了展示OOF状况如何形成的图。该图将感知的分辨率(例如，焦点)与相对于最佳分辨率部分2202的透镜位置相关。在此示例中，左后变焦透镜734处于位置L1处，而右后变焦透镜732处于位置R1处。在位置L1和R1处，后变焦透镜732和734都在最佳分辨率2202的范围内，使得左光路和右光路具有匹配的焦点水平。然而，L1和R1的位置存在与距离ΔP相对应的差异。在稍后的时间，工作距离706被改变，使得点离焦。在此示例中，后变焦透镜732和734两者移动到位置L2和R2的相同距离，使得距离ΔP不变。然而，位置改变导致分辨率ΔR的显著改变，使得左后变焦透镜734具有比右后变焦透镜732更高的分辨率(例如，更好的焦点)。分辨率ΔR与OOF状况相对应，这会由于右光路与左光路之间的焦点错位而导致假视差。
假视差的又另一来源可能是由于对在目标部位700处正在移动的物体进行成像引起的。假视差是由于右光学图像传感器746和左光学图像传感器748的曝光之间的较小同步误差引起的。如果没有同时记录左视图和右视图，则物体看起来在两个视图之间移位或错位。组合的立体图像在左视图和右视图的两个不同位置处示出了同一物体。
此外，假视差的另一来源涉及在放大率期间移动的ZRP点。以上在第IV(A)节中讨论的示例假设左视图和右视图的ZRP不在x方向或y方向上移动。然而，如果变焦透镜726、728、732和/或734不与光路或轴完全平行地(例如，在z方向上)移动，则ZRP可能会在放大率期间移位。如以上参照图11所讨论的，当将力施加到致动部分1108时，载架724可以略微地移位或旋转。此旋转可能使左右ZRP在改变放大率水平时略微地移动。
在示例中，在放大率改变期间，载架730在单个方向上移动，而对于放大率的一部分改变，载架724在相同方向上移动，并且对于放大率的剩余部分改变，载架在相反方向上移动，以进行焦点调整。如果载架724的运动轴线相对于光轴略微倾斜或旋转，则左光路和/或右光路的ZRP将在第一部分的一个方向上移位，随后在放大率改变的第二部分的相反方向上移位。另外，由于不均匀地施加力，因此右前变焦透镜726和左前变焦透镜728可能经历左光路与右光路之间不同程度的ZRP移位。总之，ZRP的位置变化导致光路错位，从而产生假视差。
C.减少假视差促进数字图形和图像与立体视图结合
随着外科手术显微镜变得越来越数字化，设计人员正在添加将图形、图像和/或其他数字效果叠加到实时视图图像上的特征。例如，引导叠加、立体磁共振成像(“MRI”)图像的融合和/或外部数据可以与由相机记录的图像组合，或者甚至可以在目镜自身中显示。假视差降低了与底层立体图像叠加的准确性。外科医生通常要求例如将经由MRI可视化的肿瘤尽可能准确地通常以三维的形式放置在融合的实况外科手术立体视图中。否则，术前肿瘤图像为外科医生提供很少信息，从而从执行过程中分散注意力。
例如，外科手术引导件可以与右视图图像对准而与左视图错位。在两个视图之间错位的外科手术引导件对于操作者而言是显而易见的。在另一示例中，在图形处理单元1564创建组合的立体图像之前，可以在信息处理器模块1408中将外科手术引导件分别与左视图和右视图对准。然而，左视图与右视图之间的错位在引导件之间产生错位，从而降低了引导件的有效性并在显微外科手术过程中产生混乱和延迟。
标题为“IMAGING SYSTEM AND METHODS DISPLAYING A FUSED MULTIDIMENSIONALRECONSTRUCTED IMAGE(显示融合的多维重建图像的成像系统和方法)”的第9,552,660号美国专利(通过引用并入本文)披露了如何将术前图像和/或图形在视觉上与立体图像进行融合。图23和24示出了展示假视差如何使数字图形和/或图像在融合到立体图像时失去准确性的图。图24示出了患者眼睛2402的正视图，并且图23示出了眼睛沿图24的平面A-A的截面视图。在图23中，指导信息处理器模块1408确定从焦平面2302到例如眼睛2402的后囊上的感兴趣物体2304的尾部距离d。信息处理器模块1408操作程序1560，该程序指定例如通过对来自眼睛2402的左右视图的图像数据进行三角测量计算来确定距离d。从左光学图像传感器748的视角示出了视图2306，并且从右光学图像传感器746的视角示出了视图2308。假设左视图2306和右视图2308与眼睛2402的前中心2310重合。另外，左视图2306和右视图2308是被投射到焦平面2302上的物体2304的作为理论右投影2312和理论左投影2314的二维视图。在此示例中，处理器1562通过使用三角测量例程来计算理论右投影2312的外延和理论左投影2314的外延的交点来确定到感兴趣物体2304的距离d。
然而，在此示例中，存在假视差，这导致实际左投影2316位于理论左投影2314的左侧距离P处，如图23和图24中所示出的。处理器1562使用实际左投影2316和右投影2312来使用三角测量例程确定到右投影2312的外延与实际左投影2316的外延的交点2320的距离。交点2320的距离等于距离d加上误差距离e。因此，假视差使用从立体图像获取的数据导致错误的距离计算。如图23和24中所示出的，即使很小程度的假视差也可能产生显著误差。在融合图像的上下文中，错误的距离可能导致用于与立体图像融合的肿瘤三维可视化的不准确放置。不准确放置可能延迟外科手术、妨碍外科医生的执行或使整个可视化系统被忽略。更糟糕的是，外科医生可能在显微外科手术过程中依据肿瘤图像的不准确放置并且犯错。
D.示例立体可视化相机减少或消除假视差
图3至图16的示例立体可视化相机300被配置用于减少或消除视觉缺陷、假视差和/或通常导致假视差的错位光路。在一些示例中，立体可视化相机300通过将左光路和右光路的ZRP对准到右光学图像传感器746和左光学图像传感器748的像素集1006和1008的相应中心来减少或消除假视差。另外地或可替代地，立体可视化相机300可以使左图像和右图像的光路对准。应当理解的是，立体可视化相机300可以执行用于减少校准期间的假视差的动作。另外，立体可视化相机300可以在使用期间实时地减少检测到的假视差。
图25和图26展示了根据本披露的示例实施例的示出用于减少或消除假视差的示例过程2500的流程图。尽管参照图25和图26中所展示的流程图描述了过程2500，但应当理解的是，可以使用执行与过程2500相关联的步骤的许多其他方法。例如，许多框的顺序可以改变，某些框可以与其他框组合，并且所描述的许多框是可选的。进一步地，可以在多个装置之间执行过程2500中描述的动作，该多个装置包括例如示例立体可视化相机300的光学元件1402、图像捕捉模块1404、电机与照明模块1406和/或信息处理器模块1408。例如，过程2500可以由信息处理器模块1408的程序1560之一执行。
示例过程2500在立体可视化相机300接收到用于使右光路和左光路对准的指令时开始(框2502)。可以响应于操作者请求立体可视化相机300执行校准例程来从用户输入装置1410接收指令。在其他示例中，可以在确定右图像和左图像错位之后从信息处理器模块1408接收指令。信息处理器模块1408可以通过执行程序1560来确定图像错位，该程序使右图像与左图像相叠加并确定像素值的差异，其中大面积像素上的较大差异指示错位图像。在一些示例中，程序1560可以在不执行叠加功能的情况下将左图像和右图像的像素数据进行比较，其中，例如，从右像素数据中减去左像素数据以确定错位的严重性。
在接收到用于减少假视差的指令之后，示例立体可视化相机300定位左或右光路之一的ZRP。为了展示的目的，过程2500包括首先确定左光路的ZRP。然而，在其他实施例中，过程2500可以首先确定右光路的ZRP。为了确定左ZRP，立体可视化相机300将至少一个变焦透镜(例如，左前变焦透镜728和/或左后变焦透镜734)沿着左光路的z方向移动到第一放大率水平处(框2504)。在前变焦透镜726和728连接到同一载架724并且后变焦透镜732和734连接到同一载架730的实例中，左透镜的移动导致右透镜也移动。然而，在过程2500的这个部分期间仅考虑了左透镜的移动。
在第一放大率水平下，立体可视化相机300使左变焦透镜沿z方向移动(框2506)。该移动可以包括例如在第一放大率水平附近的来回移动。例如，如果第一放大率水平是5X，则移动可能在4X与6X之间。该移动还可以包括在一个方向上的移动，诸如，从5X到4X。在此移动期间，立体可视化相机300可以调整一个或多个其他透镜以维持目标部位700的焦点。在框2508处，在左变焦透镜移动期间，立体可视化相机300使用例如左光学图像传感器748记录目标部位700的图像和/或帧2509的流或序列。使用被配置用于包含像素网格1004的原点和左ZRP的潜在位置的超大像素集1008来记录图像2509。
信息处理器模块1408的示例处理器1562分析图像流以定位不在图像之间的x方向或y方向上移动的一部分区域(框2510)。该一部分区域可以包括一个或几个像素，并且与左ZRP相对应。如以上所讨论的，在放大率改变期间，物体远离ZRP移动或朝向ZRP移动。在放大率改变时，只有ZRP处的物体相对于视野保持在恒定位置中。处理器1562可以使用像素数据来计算每个像素的图像流之间的增量。整个图像流中具有最小增量的区与左ZRP相对应。
信息处理器模块1408的示例处理器1562接下来根据像素网格1004确定在图像流之间不移动的一部分区域的坐标(例如，确定左ZRP的位置)(框2512)。在其他示例中，信息处理器模块1408的处理器1562确定原点与同左ZRP相对应的一部分区域之间的距离。该距离用于确定左ZRP在像素网格1004上的位置。一旦确定了左ZRP的位置，信息处理器模块1408的处理器1562就确定左光学图像传感器748的像素集(例如，像素集1008)，使得左ZRP位于像素集的中心处(在一个像素中)(框2514)。在这一点上，左ZRP在左光路内居于中心。
在一些示例中，可以通过重新选择像素集来迭代地执行框2504至2514，直到左ZRP处于原点的像素内并且假视差被最小化为止。在确定像素网格之后，信息处理器模块1408的处理器1562将像素集的坐标和/或左ZRP的坐标中的至少一个存储到存储器1570作为校准点(框2516)。信息处理器模块1408的处理器1562可以将第一放大率水平与校准点相关联，使得当立体可视化相机300返回到第一放大率水平时选择相同的像素集。
图27示出了展示如何根据左光学图像传感器748的像素网格来调整左ZRP的图。最初，选择以原点2704为中心的初始(例如，超大)像素集2702。像素集2702足够大以在图像流中记录潜在的ZRP。在此所展示的示例中，左ZRP 2706位于原点2704的上方和右侧。信息处理器模块1408的处理器1562基于左ZRP 2706的位置来确定像素集2708，使得左ZRP 2706位于或被定位在像素集2708的中心处。
在确定了左ZRP并将其与图25中的像素集的原点对准之后，示例过程2500使图26中的左图像与右图像对准。为了对准图像，示例处理器1562将来自在左ZRP与原点对准之后记录的左图像和右图像的像素数据进行比较。在一些实施例中，处理器1562使左图像与右图像相叠加，以使用例如减法和/或模板方法来确定差异。处理器1562选择或确定右光路的像素集，使得所得到的右图像与左图像对准或重合(框2519)。
在所展示的实施例中，示例处理器1562确定右ZRP。这些步骤类似于在框2504至2512中针对左ZRP讨论的步骤。例如，在框2518处，立体可视化相机300将右变焦透镜移动到第一放大率水平。在一些实施例中，右透镜的放大率水平不同于用于确定左ZRP的放大率水平。然后，信息处理器模块1408的示例处理器1562使右变焦透镜移动到放大率水平附近，并在移动期间从右光学图像传感器746接收图像流2521(框2520和2522)。信息处理器模块1408的示例处理器1562通过定位在图像之间不移动的一部分区域来确定来自右图像流的右ZRP(框2524)。接下来，处理器1562确定右ZRP的坐标和/或对准的像素集1006的中心到右ZRP之间的距离(框2526)。
处理器1562然后例如使用右ZRP的距离或坐标来指导电机与照明模块1406在右光路中在x方向、y方向和/或倾斜方向中的至少一个方向上移动至少一个透镜，以使右ZRP与对准的像素集1006的中心对准(框2528)。换言之，右ZRP被移动成与对准的像素集1006的中心重合。在一些示例中，右前透镜720、右镜筒736、右最终光学元件745和/或右图像传感器746在相对于右光路的z方向的x方向、y方向和/或倾斜方向上移动(使用例如挠曲件)。移动程度与右ZRP距像素集1006中心的距离成比例。在一些实施例中，处理器1562以数字方式改变右前透镜720、右镜筒736和/或右最终光学元件745的性质，以具有与使透镜移动相同的效果。处理器1562可以重复步骤2520至2528和/或使用后续的右图像进行以下各项：确认右ZRP与像素集1006的中心对准、和/或迭代地确定使右ZRP与像素集的中心对准所需的进一步的透镜移动。
示例处理器1562将右像素集和/或右ZRP的坐标存储到存储器1570作为校准点(框2530)。处理器1562还可以将被移动以对准右ZRP的右透镜的位置存储成校准点。在一些示例中，结合第一放大率水平，右光路的校准点与左光路的校准点一起存储。因此，当立体可视化相机300随后被设置为第一放大率水平时，处理器1562将校准点内的数据应用于光学图像传感器746和748和/或一个或多个光学元件1402的径向定位。
在一些示例中，可以针对不同的放大率水平和/或工作距离重复过程2500。因此，处理器1562判定对于另一放大率水平或工作距离是否需要ZRP校准(框2532)。如果要选择另一放大率水平，则过程2500返回到图25中的框2504。然而，如果不需要另一放大率水平，则示例过程结束。
可以将每个校准点存储在查找表中。表中的每一行可以与不同的放大率水平和/或工作距离相对应。查找表中的列可以提供左ZRP、右ZRP、左像素集和/或右像素集的坐标。另外，一列或多列可以指定光学元件1402的透镜的相关位置(例如，径向位置、旋转位置、倾斜位置和/或轴向位置)，以实现除了对准的左右图像以外的放大率水平下的聚焦。
因此，除了目标部位的视图之外，过程2500还导致右ZRP和左ZRP被对准到相应光学图像传感器746和748的像素网格以及在三维立体图像中彼此对准。在某些实例中，左图像和右图像以及相应的ZRP具有准确性并且对准到一个像素内。通过使左视图与右视图(例如，来自左光路和右光路的图像)相叠加并用双眼而不是立体地观察两个视图，这种准确性可以在显示器514或514上观察到。
应当理解的是，在一些示例中，首先选择右像素集，使得右ZRP与像素集的原点对准或重合。然后，可以通过移动光学元件1402的一个或多个右透镜和/或左透镜来使右光学图像和左光学图像对准。此可替代过程仍然提供彼此并且相对于光学图像传感器746和748居中并对准的右和左ZRP。
程序2500通过确保左右ZRP保持对准以及右图像和左图像保持对准，最终在全光学放大率范围内减少或消除立体可视化相机300中的假视差。换言之，使右光学图像传感器746和左光学图像传感器748的双光学器件对准，使得左光路与右光路之间的图像中心处的视差在焦平面处近似为零。另外，示例立体可视化相机300在放大率范围内是同焦的，并且在放大率和工作距离范围内是同心的，因为每个光路的ZRP已经对准到相应像素集的中心。因此，在相同的中心点上进行训练时，仅改变放大率将在光学图像传感器746和748两者中保持目标部位700的焦点。
可以在执行外科手术之前和/或根据操作者的要求在校准时执行以上过程2500。示例过程2500还可以在使用术前显微外科手术图像和/或外科手术指引图形进行图像配准之前执行。进一步地，示例过程2500可以在立体可视化相机300的操作期间自动地实时执行。
1.模板匹配示例
在一些实施例中，信息处理器模块1408的示例处理器1562被配置用于结合一个或多个模板使用程序1560来确定右ZRP和/或左ZRP的位置。图28示出展示处理器1562如何使用目标模板2802来确定左ZRP的位置的图。在此示例中，图28示出了第一左图像，该第一左图像包括与左光学图像传感器748的左像素网格1004的原点2804或中心对准的模板2802。可以通过将立体可视化相机300移动到适当的位置来对准模板2802。可替代地，模板2802可以在目标部位700处移动直到对准为止。在其他示例中，模板2802可以包括不需要与像素网格1004的中心对准的另一图案。例如，模板可以包括图形波图案、图形呼吸描记器图案、患者的外科手术部位的视图和/或具有在x和y方向上都具有一定程度的非周期性的视觉上可辨识特征的网格。模板被配置用于防止周期性图像的子集在多个位置完全地对准到较大图像上，这使得这种模板不适用于匹配。适用于模板匹配的模板图像被称为“可模板匹配的”模板图像。
图28中所示出的模板2802在第一放大率水平下成像。针对模板2802示出了左ZRP2806。ZRP 2806具有相对于原点2804的坐标Lx，Ly。然而，在目前情况下，处理器1562尚未标识出左ZRP 2806。
为了定位ZRP 2806，处理器1562使左变焦透镜(例如，左前变焦透镜728和/或左后变焦透镜734)将放大率从第一放大率水平改变为第二放大率水平(在此示例中，具体为从1X改变到2X)。图29示出了第二左图像的图，该第二左图像包括在放大率水平增大两倍的情况下像素网格1004上的目标2802。从第一放大率水平到第二放大率水平，目标2802的一部分在大小上增大并且远离相对于第一和第二图像保持静止的左ZRP 2806均匀地扩展。另外，像素网格1004的原点2804与左ZRP 2806之间的距离保持为相同。
示例处理器1562从图29中所示出的第二图像合成数字模板图像3000。为了创建数字模板图像，处理器1562复制图29中所示出的第二图像，并通过从第一放大率到第二放大率的放大率变化的倒数来按比例调节复制的图像。例如，如果从第一图像到第二图像的放大率变化2倍，则将第二图像按比例调节1/2。图30示出了包括模板2802的数字模板图像3000的图。将图30的数字模板图像3000中的模板2802按比例调节成与图28中所示出的第一个左图像中的模板2802相同的大小。
示例处理器1562使用数字模板图像3000来定位左ZRP 2806。图31示出了示出叠加在像素网格1004中记录的第一左图像(或以第一放大率水平记录的随后左图像)上的数字模板图像3000的图。数字模板图像3000与第一左图像的组合产生了如图31中所展示的合成视图。最初，数字模板图像3000以像素网格1004的原点2804为中心。
示例处理器1562将数字模板图像3000与底层模板2802进行比较以确定它们是否对准或匹配。然后，示例处理器1562将数字模板图像3000水平地或竖直地移动一个或多个像素，并执行另一比较。处理器1562迭代地移动数字模板图像3000，该数字模板图像针对每个位置编译关于数字模板图像3000与底层模板2802匹配的接近程度的度量矩阵。处理器1562选择矩阵中与最佳匹配度量相对应的位置。在一些示例中，处理器1562使用OpenCVTM模板匹配功能。
图32示出了具有与模板2802对准的数字模板图像3000的图。使数字模板图像3000移动以实现最佳匹配的距离被示为Δx和Δy。知道数字模板图像3000是在M1/M2(第一放大率水平除以第二放大率水平)的比例下合成的情况下，处理器1562使用以下方程(1)和(2)来确定左ZRP 2806的坐标(Lx，Ly)。
Lx＝Δx/(M1/M2)-方程(1)
Ly＝Δy/(M1/M2)-方程(2)
在确定左ZRP 2806的坐标(Lx，Ly)之后，示例处理器1562选择或确定具有与左ZRP2806对准或重合的原点的像素子集，如以上结合图25和图26的过程2500所讨论的。在一些实施例中，处理器1562可以迭代地使用模板匹配以收敛于高准确ZRP位置和/或像素子集。进一步地，尽管以上示例讨论了定位左ZRP，但是可以使用相同的模板匹配过程来定位右ZRP。
在一些实施例中，可以使用以上描述的模板匹配程序1560来使左图像与右图像对准。在这些实施例中，在某一放大率水平下记录左图像和右图像。两个图像都可以包括例如图28的目标模板2802。选择右图像的一部分并且将其与左图像相叠加。然后，右图像的该部分在左图像周围水平地和/或竖直地移位一个或多个像素。示例处理器1562在右图像的该部分的每个位置处执行比较，以确定与左图像存在多近的匹配。一旦确定了最佳位置，就确定了右像素网格1002的像素集1006，使得右图像总体上与左图像重合。可以基于右图像的部分被移动了多少以与左图像重合来确定像素集1006的位置。具体地，处理器1562使用在x方向、y方向和/或倾斜方向上的移动量来确定右像素集1006的相应坐标。
2.右图像和左图像对准示例
在一些实施例中，图14至图16的信息处理器模块1408的示例处理器1562在显示监视器512和/或514上显示右图像与左图像的叠加。处理器1562被配置用于接收用于使右图像与左图像对准的用户反馈。在此示例中，使用例如图形处理单元1564将用于右图像和左图像的每个像素数据精确地映射成显示监视器512的相应像素。左图像和右图像相叠加的显示使任何假视差对于操作者而言显而易见。通常，在没有假视差的情况下，左图像和右图像应几乎完全对准。
如果操作者检测到假视差，则操作者可以致动控件305或用户输入装置1410以使右图像或左图像移动以便与右图像和左图像中的另一个对准。来自控件305的指令可以使处理器1562相应地实时调整左像素集或右像素集的位置，使得随后的图像在反映操作者输入的显示监视器512上显示。在其他示例中，指令可以使处理器1562经由径向调整、旋转调整、轴向调整或倾斜来改变光学元件1402中的一个或多个光学元件的位置。操作者继续经由控件305和/或用户输入装置1410提供输入，直到左图像和右图像对准为止。在接收到确认指令时，处理器1562将校准点存储到反映在设置放大率水平下的图像对准的查找表。
另外地或可替代地，可以使用以上所描述的模板匹配方法在聚焦于与立体可视化相机300的立体光轴近似正交的平面目标上时执行图像对准。此外，每当“可模板匹配的”场景在左光路和右光路两者的视图中时，模板匹配方法可以用于实时地使左视图与右视图对准。在示例中，从例如以视图中心为中心或在该中心附近的左视图的子集复制模板图像。从焦点对准图像的中心采样确保在其他视图(在此示例中，为右视图)中呈现目标部位700的相似视图。对于离焦图像，情况并非如此，在当前实施例中，仅在成功自动聚焦操作之后才执行此对准方法。然后在另一个视图(在此示例中，为右视图)的当前视图(或其副本)中匹配所选模板，并且从结果中仅获取y值。当视图竖直地对准时，模板匹配中的y值为零像素或接近零像素。非零y值指示两个视图之间的竖直错位，并且应用使用相同的y值进行校正以选择第一视图的像素读出集，或者将使用y的取反值进行的校正应用于另一视图的像素读出集。可替代地，校正可以应用于可视化流水线的其他部分，或者在(多个)像素读出集与所述流水线之间拆分。
在一些示例中，操作者还可以手动地使右ZRP与像素网格1002的原点对准。例如，在确定右ZRP的位置之后，处理器1562(和/或外围输入单元接口1574或图形处理单元1564)使右ZRP以图形方式突出显示在由显示监视器512显示的右图像上。处理器1562还可以显示指示像素网格1002的原点的图形。操作者使用控件305和/或用户输入装置1410将右ZRP操控到原点。处理器1562使用来自控件305和/或用户输入装置1410的指令来相应地移动光学元件1402中的一个或多个。除了以图形方式显示右ZRP的当前位置和原点之外，处理器1562还可以实时地提供右图像流，以向操作者提供关于定位的更新反馈。操作者继续经由控件305和/或用户输入装置1410提供输入，直到右ZRP对准为止。在接收到确认指令时，处理器1562将校准点存储到反映在设置的放大率水平下光学元件1402的位置的查找表。
3.对准误差比较
与已知的具有立体相机的数字外科手术显微镜相比，示例立体可视化相机300在右图像与左图像之间产生较少的对准误差。以下讨论的分析比较了具有相机和示例立体可视化相机300的已知数字外科手术显微镜的ZRP错位生成的假视差。最初，两个相机都被设置在第一放大率水平下，其中，焦平面被定位在患者眼睛的第一位置上。使用以下方程(3)来确定从每个相机到眼睛的工作距离(“WD”)。
WD＝(IPD/2)/tan(α)-方程(3)
在此方程中，IPD对应于瞳孔间距，该瞳孔间距近似为23mm。另外，α是例如右光学图像传感器746与左光学图像传感器748之间的角的一半，在此示例中，该角为2.50°。会聚角是此角的两倍，在此示例中，该会聚角为5°。所得的工作距离为263.39mm。
将相机放大到第二放大率水平，并且对患者眼睛的第二位置进行三角测量。在此示例中，第二位置处于与第一位置距相机相同的物理位置处，但在第二放大率水平下呈现。放大率的变化由于一个或两个ZRP相对于传感器像素网格中心的错位而生成假水平视差。对于已知的相机系统，假视差被确定为例如与0.05°相对应的3弧分。在以上方程(3)中，将0.05°值加到α，这产生为258.22mm的工作距离。工作距离之差为5.17mm(263.39mm-258.22mm)，这与已知的具有相机附件的数字外科手术显微镜的误差相对应。
相比而言，示例立体可视化相机300能够自动地使ZRP对准在像素集或网格的中心的一个像素内。如果角度视野为5°并使用与4k显示监视器结合使用的4k图像传感器来记录，则一个像素准确性与0.00125°(5°/4000)或4.5弧秒相对应。使用以上方程(3)，将0.00125°值加到α，这产生263.25mm的工作距离。立体可视化相机300的工作距离之差为0.14mm(263.39mm-263.25mm)。当与已知的数字外科手术显微镜的5.17mm误差相比时，示例立体可视化相机300减少97.5％的对准误差。
在一些实施例中，立体可视化相机300可以在更高的分辨率下更准确。在以上示例中，对于5°视野，分辨率约为4.5弧秒。对于具有2°视野的8K超高清晰系统(4000行中的每行中具有8000个像素)，立体可视化相机300的分辨率近似为1弧秒。这意味着左视图和右视图的ZRP可以对准到一个像素或1弧秒。这比具有数量级为弧分的假视差的已知的数字显微镜系统明显更精确。
4.减少假视差的其他来源
以上示例讨论了示例立体可视化相机300如何减少由于错位的ZRP和/或左图像和右图像本身而导致的假视差。立体可视化相机300还可以被配置用于减少假视差的其他来源。例如，立体可视化相机300可以通过同时对右光学图像传感器746和左光学图像传感器748进行计时以在基本上相同的时刻记录图像来减少由于运动引起的假视差。
示例立体可视化相机300还可以减少由于左光路与右光路之间的不同放大率而引起的假视差。例如，立体可视化相机300可以基于左光路来设置放大率水平。立体可视化相机300然后可以进行自动调整，使得右图像的放大率与左图像匹配。处理器1562例如可以使用图像数据例如通过测量左图像和右图像中共同的某些特征之间的像素数量来计算控制参数。处理器1562然后可以通过数字比例调节、插入内插像素和/或删除外来像素来均衡左图像和右图像的放大率水平。示例处理器1562和/或图形处理单元1564可以重新渲染右图像，使得放大率与左图像匹配。另外地或可替代地，立体可视化相机300可以包括对左右光学元件1402的独立调整。处理器1562可以分别控制左右光学元件1402以实现相同的放大率。在一些示例中，处理器1562可以首先设置例如左放大率水平，然后单独地调整右光学元件1402以实现相同的放大率水平。
示例立体可视化相机300可以进一步减少由于不同的焦点而引起的假视差。在示例中，处理器1562可以执行程序1560，该程序为给定的放大率和/或工作距离的每个光路确定最佳焦点。处理器1562首先在最佳分辨率点处对光学元件1402进行聚焦。处理器1562然后可以在合适的非物平面位置处检查OOF状况，并且匹配左图像与右图像的焦点。接下来，处理器1562以最佳分辨率重新检查焦点，并迭代地调整焦点，直到左右光学元件1402两者在物平面和远离物平面都很好地一样聚焦为止。
示例处理器1562可以通过监视与右图像和左图像之一或两者的焦点有关的信号来测量和验证最佳焦点。例如，“锐度”信号由图形处理单元1564针对左图像和右图像同时和/或同步地生成。信号随着焦点的变化而变化，并且可以由图像分析程序、边缘检测分析程序、模式强度傅里叶变换带宽程序和/或调制传递函数(“MTF”)测量程序来确定。处理器1562在监视指示锐度图像的最大信号的同时调整光学元件1402的焦点。
为了优化OOF状况，处理器1562可以监视左图像和右图像两者的锐度信号。如果焦点移离物平面并且与例如左图像有关的信号增加但与右图像有关的信号减少，则处理器1562被配置用于确定光学元件1402正在移出焦点。然而，如果与右图像和左图像两者相关的信号相对较高并且近似相等，则处理器1562被配置用于确定光学元件1402被适当地定位以进行聚焦。
5.低假视差的益处
由于右图像与左图像之间的低假视差，示例立体可视化相机300具有优于已知数字外科手术显微镜的许多优点。例如，几乎完全对准的左右图像为外科医生提供几乎完全的立体显示，从而减少眼睛疲劳。这允许将立体可视化相机300用作外科医生的眼睛的延伸，而不是累赘的工具。
在另一个示例中，精确对准的左图像和右图像允许以数字方式获取外科手术部位的准确测量结果。例如，可以测量患者的晶状体囊的大小，使得可以确定并且准确地植入正确大小的IOL。在另一实例中，可以测量移动血管的运动，使得可以将红外荧光素叠加准确地放置在融合图像中。在此，实际运动速度通常不是外科医生感兴趣的，而对于叠加图像的放置和实时调整至关重要。叠加图像的正确匹配的按比例调节、配准和视角对于提供准确融合的组合实时立体图像和替代模式图像都很重要。
在一些示例中，处理器1562可以使操作者能够在显示监视器512上绘制测量参数。处理器1562在屏幕上接收绘制的坐标，并相应地将坐标转译成立体图像。处理器1562可以通过将显示监视器512上绘制的按比例调节到立体图像中所示出的放大率水平来确定测量值。处理器1562进行的测量包括在立体显示器中显示的两个或三个位置的点对点测量、点对表面测量、表面特性测量、体积确定测量、速度验证测量、坐标变换、器械和/或组织跟踪等。
VII.立体可视化相机的示例机器人技术系统
如结合图5和图6所讨论的，示例立体可视化相机300可以连接到作为立体可视化平台或立体机器人平台516的一部分的机械臂或机器人臂506。示例机器人臂506被配置为在一个或多个手术期间使操作者能够将立体可视化相机300定位和/或定向在患者上方和/或旁边。因此，机器人臂506使操作者能够将立体可视化相机300移动到目标外科手术部位的期望视野(“FOV”)。外科医生通常更喜欢将相机定位和/或定向在与他们自己的FOV相似的FOV中以实现更容易的视觉取向以及屏幕上显示的图像与外科医生的FOV之间的对应关系。本文披露的示例机器人臂506提供结构灵活性和辅助控制，以使定位能够与外科医生的FOV重合或一致，而不会阻挡外科医生自己的FOV。
与本文披露的立体机器人平台516相比之下，已知的立体显微镜固持装置包括由操作者手动移动的简单机械臂。这些装置包括多个旋转关节，这些旋转关节配备有允许手动重新定位的机电制动器。进一步地，为了允许操作者容易地改变视图并且不中断手术，一些已知的固持装置具有机动化关节。机动化关节具有不同的复杂程度，范围从例如简单的XY定位到包括操纵连接的刚性臂的多个独立旋转关节的装置。在大多数手术中，希望快速且容易地从不同方向获得视图。然而，已知的立体显微镜固持装置存在一个或多个问题。
已知的立体显微镜固持装置的位置、方向和/或取向准确性有限，这通常受到外科医生操纵显微镜以观察图像的期望方面的手动能力的限制。具有多个关节的固持装置可能操作起来特别麻烦，因为装置操纵通常会引起所有关节同时移动。通常，操作者正在察看臂如何移动。在将臂定位在期望位置后，操作者将检查成像装置的FOV是否在期望位置对准。很多时候，即使装置正确对准，也必须调整装置的焦点。另外的已知立体显微镜固持装置不能相对于目标外科手术部位中的其他物体提供一致的FOV或焦平面，因为这些装置不具有臂位置存储器，或者当患者在手术过程中移动或移位时存储器不准确。
已知的立体显微镜固持装置通常具有定位系统，其中，控制独立于显微镜参数，比如物平面焦距、放大率和照明。对于这些装置，必须手动执行定位和例如变焦的协调。在示例中，操作者可以达到透镜极限以聚焦或改变工作距离。操作者必须手动改变固持装置的位置，然后使立体显微镜重新聚焦。
已知的立体显微镜固持装置仅旨在用于观察外科手术部位。已知的装置不确定从FOV内的组织到FOV外部的另一个物体的位置或距离。已知的装置也不提供组织与实时外科手术部位内的其他物体的比较来形成交替观察模态，比如将MRI图像与实时视图相组合。相反，来自已知装置的视图将单独显示，并且与其他医学图像或模板不对准。
另外，已知的立体显微镜固持装置具有可能不准确的参数，这是因为除了观察之外，对精度的重视程度较低。ISO标准10936-1:2000(E)“光学和光学器械-手术显微镜-第1部分：要求和测试方法”在很大程度上是由普通人类操作者使用目镜得出的，以实现合理的立体光学图像质量。操作者的大脑将这些视图组合到脑子里的图像中以实现立体视觉。而通常这些视图不会组合或在一起比较。只要操作者看到可接受的图像并且不会遭受比如头痛之类的有害影响，就可以满足他们的需要。立体显微镜固持装置也是如此，其中允许一些不稳定性、臂下垂和不精确的移动控制。然而，当高分辨率数码相机与已知的固持装置一起使用时，结构上不准确很容易观察到并且可能影响其使用，特别是对于显微外科手术而言。
如上所述，已知的立体显微镜固持装置可能由于相机的重量而下垂。通常，对已知机器人定位系统进行校准以确定仅系统本身的顺从性或不准确性。立体显微镜固持装置没有考虑相机或相机座架与固持装置之间的任何不准确性。下垂通常由操作者在观察显示器上的图像的同时手动定位相机来补偿。在提供机动化运动的系统中，例如，当相机的重心(“CG”)重新定位在臂关节的旋转轴线的相对侧时，在这种情况下围绕轴线的恢复扭矩反转方向，会发生下垂的变化。随后，机构中的任何顺从性或下垂(由操作者通过调整相机的位置、方向和/或取向来补偿)现在添加到位置、方向和/或取向误差。在一些情况下，例如，当将相机移动穿过机器人奇异点时，会迅速发生力矩反转，并且所产生的相机图像会快速且过度地错误移位。这样的误差限制了已知的立体显微镜固持装置例如准确地跟踪或追踪该部位中的组织或器械的能力。
已知的立体显微镜固持装置包括用于在空间上定位和追踪外科手术器械并在监视器上提供其随后的代表性显示的特征。然而，这些已知的系统需要额外的位置明显的立体定位相机或三角测量装置、以及器械上的明显的基准装置。添加的装置增加了复杂性、成本和操作突显性。
本文披露的示例立体机器人平台516包括连接至机械臂或机器人臂506的示例立体可视化相机300。图5和图6展示了立体机器人平台516的示例。通过一个或多个显示监视器512、514来显示由相机300记录的立体图像。机器人臂506机械地连接到推车510，该推车也可以支撑一个或多个显示监视器512、514。机器人臂可以包括例如在大小、性质、功能和操作上通常是拟人化的铰接机器人臂。
图33示出了根据本披露的示例实施例的图5的显微外科手术环境500的侧视图。在所展示的示例中，显示监视器512可以经由具有一个或多个关节的机械臂3302连接到推车510，以实现灵活的定位。在一些实施例中，机械臂3302可以足够长以在手术期间在患者上方延伸以提供相对近距离的外科医生观察。
图33还展示了立体机器人平台516的侧视图，该立体机器人平台包括立体可视化相机300和机器人臂506。相机300经由联接板3304机械地联接至机器人臂506。在一些实施例中，联接板3304可以包括一个或多个关节，以提供相机300的另外的定位和/或取向度。在一些实施例中，联接板3304必须由操作者手动移动或旋转。例如，联接板3304可以具有使相机300能够被快速定位在具有沿着z轴的光轴(即，向下指向患者)与沿着x轴或y轴的光轴(即，侧向指向患者)之间的关节。
示例联接板3304可以包括传感器3306，该传感器被配置为检测操作者施加的用于移动相机300的力和/或扭矩。在一些实施例中，操作者可以通过抓握控制臂304a和304b(图3所示)来定位相机300。在操作者用手紧握控制臂304a和304b之后，用户可以在机器人臂306的帮助下定位和/或定向相机300。传感器3306检测操作者提供的力向量或扭矩角。本文披露的示例平台516使用感测到的力/扭矩来确定机器人臂506的哪些关节应该旋转(以及关节应该旋转多快)以提供与操作者提供的力/扭矩相对应的相机300的辅助移动。传感器3306可以位于联接板3304与相机300之间的接口处，以用于检测操作者经由控制臂304施加的力和/或扭矩。
在一些实施例中，传感器3306可以包括例如六自由度触觉力感测模块。在这些实施例中，传感器3306可以检测在x轴、y轴和z轴上的平移力或运动。传感器3306还可以单独检测绕偏航轴、俯仰轴和翻滚轴的旋转力或运动。平移力和旋转力的分离可以使立体机器人平台516能够更容易地计算用于控制机器人臂506的正向和/或反向运动学。
示例传感器3306可以被配置为检测力，因为机器人臂506可能不能仅通过用户移动。相反，传感器3306检测用户施加的平移力和旋转力，平移力和旋转力被立体机器人平台516用来确定旋转哪些关节以提供对机器人臂506的辅助移动控制。在其他示例中，机器人臂506可以允许操作者在没有帮助的情况下、或者在至少初始帮助下的移动。在这些其他示例中，传感器3306检测用户施加的运动，该运动被立体机器人平台516用来随后使一个或多个关节旋转，由此提供辅助移动。从最初检测到运动或引起运动的力直到立体机器人平台516引起关节旋转之间的时间可以小于200毫秒(“ms”)、100ms、50ms或少至10ms，这种情况下用户未注意到机器人臂506的无辅助移动的初始时间。
示例传感器3306可以输出指示旋转力/运动的数字数据和指示平移力/运动的数字数据。在此示例中，对于检测到的每条轴线上的力/运动，数字数据可以具有8、16、32或64位分辨率。可替代地，传感器3306可以传输与感测到的力和/或运动成比例的模拟信号。示例传感器3306可以以例如1ms、5ms、10ms、20ms、50ms、100ms等的周期性采样率来传输数据。可替代地，传感器3306可以提供近乎连续的力/运动数据流。
在一些实施例中，示例传感器3306可以替代地位于控制臂304a和304b中的一个或多个中，或者位于控制臂304a和304b与壳体302之间。在示例中，在每个控制臂304a和304b包括传感器3306的情况下，示例立体机器人平台516可以接收两组平移力和旋转力或运动。在这些示例中，立体机器人平台516可以求出来自传感器3306的值的平均值。
在所展示的实施例中，机器人臂506的第一端部安装到推车510上，而机器人臂的相反的第二端部机械地连接到立体可视化相机300(例如，机器人末端执行器)上。图33示出了机器人臂506将立体可视化相机300固持在伸出位置，比如将立体可视化相机300定位在外科手术部位上方，同时保持平台516的其余部分不妨碍到外科医生。推车510被配置为牢固地固持立体机器人平台516，并且被加重和平衡以防止在规定的操作位置上倾倒。
示例立体机器人平台516被配置为提供以下益处。
1.可视化增强。机器人臂506与立体可视化相机300之间的通信使平台516能够指向相机300和使相机转向以快速且更准确地可视化外科手术部位。例如，机器人臂506可以沿其光轴移动相机300，以将聚焦和变焦的范围扩展到仅包含在相机内的聚焦和变焦的范围之外。平台516的相对较小的大小在更广泛的各种外科手术和取向中提供了Heads-Up
Figure BDA0002744152620000961
由此提高了外科手术的效率和外科医生的人体工程学。
2.大小性能增强。具有立体图像内所有点的准确测量能力的示例立体可视化相机300被配置为将测量信息传送给机器人臂506。机器人臂506继而包括准确的位置、方向和/或取向确定能力，并且与相机300配准，使得可以相对于立体机器人平台516和患者的解剖学结构共有的坐标系准确地变换图像内和图像之间的尺寸。
3.来自立体可视化相机300的立体图像数据的质量和准确性使其能够与来自各种模态的外部源的图像或诊断数据组合以构造融合图像。外科医生可以使用这种融合图像来更准确、更高效地执行手术，并达到更好的患者结果。
4.立体可视化相机300、机器人臂506和/或图像和运动处理器(例如，图14的处理器1408)可以被编程用于有益的手术应用。例如，特定的可视化部位位置、方向和/或取向可以被保存，然后稍后在手术中被返回。可以将精确的运动路径编程为例如遵循特定的组织长度或线。在其他示例中，可以设置预编程的路点，由此允许操作者基于在医疗手术期间正在执行哪个步骤来改变机器人臂506的位置和/或取向。
5.立体机器人平台516通过使用和分析准确的图像位置信息来提供本质上受指导的外科手术。这样的指导可以被传送到其他装置，比如执行外科手术的至少多个部分的另一个机器人系统。与这样的其他装置的部件共享功能的立体机器人平台516的部件可以被一起集成到一个包装体中，以实现性能、准确性和成本的效率。
A.机器人臂实施例
图34展示了根据本披露的示例实施例的示例机器人臂506的实施例。在一些实施例中，机器人臂506类似于或包括来自优傲机器人公司(Universal Robots S/A)的UR5型号。机器人臂506的外表面包括适合在手术室中使用并且易于清洁的铝和塑料材料。
虽然本文中将机器人臂506描述为机电的，但是在其他示例中，机器人臂506可以是机械的、液压的或气动的。在一些实施例中，机器人臂506可以具有混合致动机构，例如，使用带有控制阀的真空吸盘来固持和操纵相机300。进一步地，虽然下文将机器人臂506描述为包括一定数量的关节和连杆，但是应当理解，机器人臂506可以包括任何数量的关节、任何长度的连杆和/或包括任何类型的关节、或传感器。
如本文所述，机器人臂506被放置并且关节被定向以提供术野的不受限制的视图，同时为操作者提供用于患者的任何外科手术的3D立体显示。机器人臂506在非临界运动中的移动被设置为足够快以使操作者方便且安全。在外科手术期间，机器人臂506的移动被控制得细致且准确。另外，通过外科手术所需的整个运动范围，机器人臂的移动被控制为是平滑且可预测的。如本文所述，机器人臂506的移动可通过遥控或通过臂本身的手动操纵来控制。在一些实施例中，机器人臂506被配置为仅使用例如单个小指就可以以最小的力来定位(例如，经由辅助引导特征)。
在一些实施例中，机器人臂506可以包括在关节上的机械或电子锁定制动器。在操作者设置相机300的目的或“姿势”(通常是相机的位置和方向)后，制动器即可接合。机器人臂506可以包括锁定或解锁开关或其他输入装置，以防止不期望的手动或意外运动。当被锁定时，示例机器人臂提供足够的稳定性，这使得立体可视化相机300能够提供稳定、清楚的图像。机器人臂506可以另外地或可替代地包括一个或多个阻尼装置，以吸收或减弱在立体可视化相机300移动到新姿势之后的振动。阻尼装置可以包括例如流体填充的线性或旋转阻尼器，基于橡胶的隔振安装阻尼器和/或调谐的质量弹簧阻尼器。可替代地或另外地，臂506可以包括机电阻尼，例如，通过使用比例积分微分(“PID”)伺服系统。
示例机器人臂506可以被配置成具有配载位置，一个或多个连杆被返回到该配载位置以用于运输和储存。配载位置使机器人臂能够在简洁的占地面积内被运输和储存，但在一些外科手术中展开，需要到达范围较远。沿着机器人臂506设置比如为立体可视化相机300布设的电缆以避免干扰外科手术。
在图34所展示的实施例中，机器人臂506包括六个关节，标记为R1、R2、R3、R4、R5和R6。在其他实施例中，机器人臂506可以包括更少或更多的关节。另外地，在一些实施例中，关节R1至R6中的至少一些具有+/-360°的旋转运动能力。旋转运动可以由机电子系统提供，该机电子系统针对每个关节包括电机，该电机被配置为通过一个或多个防反冲关节齿轮箱来驱动机械旋转关节。关节R1至R6中的每一个可以包括一个或多个用于检测关节位置的旋转传感器。进一步地，每个关节可以包括滑动离合器和/或机电制动器。
关节R1至R6中的每一个可以具有大约+/-1/10毫米(“mm”)的运动的整体可重复性(附接有相机300)。关节可以具有可变的转速，转速可以被控制在每秒0.5°至180°之间。总之，这转换为每秒1mm到每秒1米之间的相机移动。在一些实施例中，立体机器人平台516可以具有用于在外科手术期间就位的关节R1至R6中的一个或多个的调速器。关节R1至R6中的每一个都可以电连接至机器人臂506的控制器中的电源和/或命令行。用于电源和命令信号的电线可以布设在关节和连杆内部。进一步地，一个或多个关节可以包括阻尼器，比如用于连接至连杆的O形环。阻尼器可以例如减少或吸收机器人臂506的振动、推车510的振动、和/或通过立体可视化相机300施加的振动。
关节R1包括基关节，该基关节机械地联接至凸缘3402，该凸缘固定至固定结构3404。凸缘3402可以包括任何类型的机械连接器。固定结构3404可以包括例如图5的推车510、墙壁、天花板、桌子等。关节R1被配置成绕着可以包括z轴的第一轴线3410旋转。
关节R1通过连杆3430连接到关节R2。示例连杆3430包括被配置用于为机器人臂506的下游区段提供结构支撑的圆柱体或其他管状结构。连杆3430被配置为提供与关节R2的旋转牢固连接，以使关节R2能够旋转，同时连杆3430通过其与关节R1的连接而被固持在位。关节R2可以包括例如被配置成绕轴线3412旋转的肩关节。示例轴线3412被配置成垂直于(或基本上垂直于)轴线3410。鉴于关节R1绕z轴旋转，轴线3412被配置为在xy平面内。
关节R2通过连杆3432机械地联接到关节R3。连杆3432被配置为具有比连杆3430更长的长度，并且被配置用于为机器人臂506的下游部分提供结构支撑。关节R3可以包括例如肘关节。关节R3与关节R2一起提供机器人臂506的可扩展定位和/或定向。关节R3被配置为绕轴线3414旋转，该轴线垂直于或正交于轴线3410并且平行于轴线3412。
关节R3经由连杆3434连接到关节R4，连杆为机器人臂506的下游部分提供结构支撑。示例关节R4可以是例如第一腕关节，该第一腕关节被配置为提供绕轴线3416的旋转，该轴线可以与轴线3412和3414正交。关节R4经由连杆3436机械地连接到关节R5。关节R5可以是第二腕关节，该第二腕关节被配置为提供绕与轴线3416正交的轴线3418的旋转。关节R5经由连杆3438机械地连接到关节R6。关节R6可以是第三腕关节，该第三腕关节被配置为绕与轴线3418正交的轴线3420旋转。腕关节R4至R6一起在定位本文所述的立体可视化相机300时提供精确的灵活性。
示例机器人臂506包括连接器3450。示例连接器3450经由连杆3440连接到关节R6。在一些实施例中，示例连杆3440可以包括使关节R6能够使连接器3450旋转的套筒。如本文中所讨论的，连接器3450可以被配置为在不使用联接板时直接机械地联接到联接板3304或立体可视化相机300。连接器3450可以包括一个或多个用于将机器人臂506固定到联接板3304和/或立体可视化相机300的螺钉。
在一些实施例中，所展示示例的机器人臂506在大致类似于人的手臂的取向上可以具有85mm的最大到达范围。臂506可以具有5千克的有效载荷容量。进一步地，臂506可以被配置为“协作”装置，以使得能够在人附近进行安全操作。例如，控制机器人臂506可以施加到外表面上的最大力。如果机器人臂的一部分意外接触到另一个物体，则会检测到碰撞，并立即停止运动。在紧急停止情况下(例如，断电)，关节R1至R6可以向后驱动或手动旋转，使得操作者可以抓住机器人系统的一部分并将其摆动开。例如，关节内的滑动离合器限制了关节电机在操作期间可旋转地施加到臂506上的最大扭矩。当断电时，关节的滑动离合器在被手动操纵时滑动，以允许操作者迅速将机器人臂506移开。
图35至图40展示了根据本披露的示例实施例的机器人臂506和立体可视化相机300的示例配置。图35示出了经由凸缘3402连接到推车510的机器人臂506的图。在此示例中，立体可视化相机300直接连接到连接器3540。在此实施例中，连接器3540和/或立体可视化相机300可以包括图33的传感器3306，该传感器用于感测由操作者在立体可视化相机300上施加的平移和/或旋转力/运动。如果连接器3540包括传感器3306，则输出力/运动数据可以通过机器人臂506传输到控制器。如果例如传感器3306位于立体可视化相机300上，则输出数据可以与控制数据一起被传输到单独的控制器。在一些实施例中，可以在推车510中或在服务器处单独地设置控制器。
图36示出了机器人臂506经由凸缘3402安装到天花板3404上的实施例。机器人臂可以从手术室的天花板上悬挂下来，以减少地板空间的混乱。可以将包括关节的机器人臂506定位在执行外科手术活动的区域上方并从其越过，不妨碍外科医生和手术室工作人员，而仍提供相机300的功能性定位和/或定向，同时提供显示监视器512和514的清晰视图。
图37示出了联接板3304的实施例。在所展示的示例中，联接板3304的第一端部3702连接到机器人臂506的连接器3450。联接板3304的第二端部3704连接到立体可视化相机300。示例联接板3304被配置为提供用于移动立体可视化相机300的额外自由度。联接板3304还延长了机器人臂506的最大到达范围。联接板3304可以具有在10cm至100cm之间的长度。
联接板3304可以包括一个或多个关节。在所展示的示例中，联接板3304包括关节R7、R8和R9。示例关节是提供绕相应轴线旋转的机械关节。关节R7至R9可以包括可旋转的闩锁机构，该闩锁机构在操作者致动释放按钮或杠杆之后可移动。每个关节R7至R9可以具有其自己的释放按钮，或者单个按钮可以释放每个关节R7至R9。
关节R7至R9可以经由相应的连杆连接在一起。另外地，设置了连杆3718用于与机器人臂506的连接器3450连接。关节R7被配置为绕轴线3710旋转，而关节R8被配置为绕轴线3712旋转，而关节R9被配置为绕轴线3714旋转。轴线3710和3714彼此平行并且正交于轴线3712。关节R7和R9可以被配置为提供+/-360°旋转。在其他示例中，关节R7和R9可以提供绕相应的轴线3710和3714的+/-90°、+/-180°旋转或+/-270°旋转。关节R8可以提供绕轴线3712的+/-90°旋转。在一些示例中，关节R8可以仅被设置为+90°、0°和-90°。
在一些实施例中，关节R7至R9可以包括提供连续移动的电机。关节R7至R9还可以包括控制装置，比如传送或提供指示或旋转位置的数据的开关或位置传感器。以这种方式，关节R7至R9可以类似于机器人臂506的关节R1至R6，并且提供用于反馈控制的辅助移动和定位感测。可以经由布设穿过机器人臂506的电线、连接器3450内的电源/电线连接器和/或机器人臂506外部的电线来提供关节R7至R9的功率和控制。
图37示出了立体可视化相机300定位在水平取向以使得沿z轴设置光轴3720的示例。水平取向可以用于对躺下的患者进行成像。相比之下，图38示出了关节R8旋转了90°以将相机300定位在竖直取向上从而使得沿x轴或与x轴正交的y轴设置光轴3720的实施例。竖直取向可以用于对坐着的患者进行成像。应当理解，关节R8使立体可视化相机300能够基于手术而在水平位置与竖直位置之间快速地重新定向。
在图36和图37所示展的示例中，示例传感器3306可以位于例如机器人臂的连接器3450处(通过联接板3304的连接)和/或位于联接板的第一端部3702处(在与连接器3450的连接处)。可替代地或另外地，示例传感器3306可以例如位于联接板的第二端部3704处(在与相机300的连接处)和/或在相机300处与联接板3304的第二端部3704的连接处。
图39和图40示出了处于水平取向并且绕关节R9的轴线3714旋转了+90°的立体可视化相机300。图40示出了处于水平取向并且绕关节R9的轴线3714旋转了-90°的立体可视化相机300的示例。
如图34至图40中所展示，示例机器人臂506被配置用于为立体可视化相机300提供支撑并允许相机的光轴的精确定位和/或定向和瞄准。由于立体可视化相机300不具有目镜并且不需要针对外科医生的眼睛被定向，因此实现许多用于成像的令人期望的位置和/或取向，这些位置和/或取向在以前是不切实际的。外科医生可以在对于手术而言最佳而不是对于其相对于目镜的取向而言最佳的视图下来执行。
当与立体可视化相机300一起使用时，示例机器人臂506使外科医生能够看到拐角附近和不容易看见的其他位置。机器人臂506还使患者能够被放置在不同的位置，包括仰卧、俯卧、坐着、半坐着等。因此，机器人臂506使患者能够被放置在针对特定手术而言最佳的位置。当与立体可视化相机300一起使用时，示例机器人臂506可以被安装以获得最不突显的位置。臂506和相机300因此为外科医生提供了视觉位置和取向的多种可能性，同时方便地定位和定向成不造成妨碍。
机器人臂506的连杆和关节和/或联接板3304的布置以及机动化的六个(或九个)自由度通常允许相机300根据需要定位，而连杆和关节的配置对于相机的姿态而言不是唯一的。如下文更详细地讨论的，可以在不改变相机300的姿态或FOV的情况下手动地重新定位和/或重新定向臂506的关节和连杆和/或板3304。此配置允许例如肘关节从遮挡视线移出，而无需通过相机300改变外科手术部位的视图。进一步地，控制系统可以确定相机300的位置和姿态并计算和显示机器人臂506的替代位置和/或取向，以例如避免人员或显示器遮挡。联接板3304的不同位置和/或取向的使用以及图像处理器翻转、倒置或以其他方式重新定向所显示的图像的能力允许甚至更多的机器人臂506的位置和/或取向。
通常放置机器人臂506和/或联接板3304，并且关节被定位成使得在任何常规移动中避免关节奇异点。避免关节奇异点提供了更好的机器人滞后和反冲控制。进一步地，机器人臂506和/或联接板3304的连杆和关节长度和配置提供了沿着大多数任何期望的运动路径的平滑移动。例如，机器人臂506的重新定位和/或重新定向使其能够在不改变焦点的情况下改变外科手术部位内的目标点的相机300视图的方向，由此允许外科医生从不同的方向/取向观察同一目标点。在另一个示例中，机器人臂506能够通过沿着视线朝向或背离目标点平移相机300而在不改变焦点的情况下改变到目标点的工作距离。使用机器人臂506和/或联接板3304和立体机器人平台516的立体可视化相机300，可根据需要获得许多相似的运动路径。
B.机器人控制实施例
图34至图40的示例机器人臂506和/或联接板3304可以由一个或多个控制器来控制。图41展示了根据本披露的示例实施例的图3至图40的立体机器人平台516的实施例。示例立体机器人平台516包括立体可视化相机300和对应的图像捕捉模块1404以及结合图14和图15描述的电机与照明模块1406。
在所展示的实施例中，立体机器人平台516包括位于远离立体可视化相机300的位置的服务器或处理器4102。处理器4102可以包括例如膝上型计算机、工作站、台式计算机、平板计算机、智能电话等，其配置有由存储在存储器1570中的指令定义的一个或多个软件程序，当被处理器4102执行时，软件程序使处理器4102执行这里描述的操作。此示例中的示例处理器4102被配置为包括信息处理器模块1408、图像传感器控制器1502、和/或图14至图16的电机与照明控制器1520(或执行结合其描述的操作)。
在一些示例中，图像传感器控制器1502和/或电机与照明控制器1520的至少一些操作可以分别与图像捕捉模块1404以及电机与照明模块1406共享。例如，处理器4102可以生成用于改变焦点、放大率和/或工作距离的命令，并且通过电机与照明模块1406内的电机与照明控制器1520的第一部分以及电机与照明控制器1520的第二部分控制驱动器1534至1552。另外地或可替代地，操作性地位于处理器4102中的信息处理器模块1408的第一部分被配置为从图像捕捉模块1404中的信息处理器模块1408的第二部分接收各个左/右图像和/或立体图像。信息处理器模块1408的第一部分可以被配置用于处理图像以显示在一个或多个显示监视器512和/或514上，包括在视觉上将图像与图形指南/文字、来自MRI机器的图像重叠、X射线、或其他成像装置和/或荧光图像融合。
处理器4102经由电线束4102电联接和/或通信地联接到立体可视化相机300的图像捕捉模块1404以及电机与照明模块1406。在一些实施例中，电线束4102可以在机器人臂506的外部。在其他实施例中，电线束4102可以在机器人臂的内部或布设穿过机器人臂。在又其他实施例中，图像捕捉模块1404以及电机与照明模块1406可以例如经由
Figure BDA0002744152620001041
与处理器4102无线通信。
示例处理器4102还经由电线束4102电联接和/或通信地联接到传感器3306。处理器4102被配置为从传感器3306接收例如旋转和/或平移输出数据。该数据可以包括数字数据和/或模拟信号。在一些实施例中，处理器4102从传感器3306接收指示检测到的力和/或运动的几乎连续的输出数据流。在其他示例中，处理器4102以周期性的采样间隔接收输出数据。在又其他示例中，处理器4102周期性地传输请求输出数据的请求消息。
在所展示的示例中，处理器4102进一步通信地联接到以下中至少一者：显示监视器512、输入装置1410a、1410b和其他装置/系统4104(例如，比如X射线机、计算机断层扫描(“CT”)机器、磁共振成像(“MRI”)机器、用于存储图像或外科手术指南的相机、工作站等的医疗成像装置)。输入装置1410a可以包括触摸屏装置，并且输入装置1410b可以包括脚踏开关。触摸屏输入装置1410a可以与显示监视器512集成和/或作为单独的装置设置在例如图5的推车510上。示例显示监视器512被配置为显示一个或多个用户界面，用户界面包括由立体可视化相机300记录的目标外科手术部位的立体视频(或单独的二维左右视频)。
触摸屏输入装置1410a被配置为提供一个或多个用户界面，用于接收与立体可视化相机300、联接板3304和/或机器人臂506的控制有关的用户输入。输入装置1410a可以包括一个或多个图形控制按钮、滑块等，其被配置为使操作者能够指定、设置或以其他方式提供用于控制工作距离、焦点、放大率、照明源和水平、滤波器、和/或立体可视化相机300的数字变焦的指令。输入装置1410a还可包括一个或多个控制按钮，以使操作者能够选择外科手术指引图形/文字、视频和/或图像，以融合和/或以其他方式叠加在显示监视器512上显示的所显示立体视频上。输入装置1410a还可以包括用户界面，该用户界面被配置为使操作者能够输入或创建外科手术可视化模板。输入装置1410a可以进一步包括一个或多个用于控制机器人臂506和/或联接板3304的控制按钮，包括用于控制比如速度、运动、展开/存放、校准、目标锁定等操作参数、存储视图位置、和/或改变或输入相机300的新取向的选项。用于机器人臂506和/或联接板3304的用户界面控件可以包括用于移动相机300的控件，这些控件被转换成用于各个关节R1至R9的命令。另外地或可替代地，用于机器人臂506和/或联接板3304的用户界面控件可以包括用于分别移动关节R1至R9中的每一个的控件。经由输入装置1410a接收的输入被传输到处理器4102以进行处理。
示例脚踏开关输入装置1410可以包括例如食物踏板，食物踏板被配置为接收用于控制立体可视化相机300、联接板3304和/或机器人臂506的位置的输入。例如，脚踏板输入装置1410b可以包括用于使相机300沿着x轴、y轴和/或z轴移动的控件。脚踏板输入装置1410b还可以包括用于存储相机300的位置和/或返回到先前存储的位置的控件。脚踏板输入装置1410b还可以包括用于改变相机300的焦点、变焦、放大率等的控件。
在其他实施例中，立体机器人平台516可以包括额外的和/或替代性的输入装置1410，比如操纵杆、鼠标或其他类似的2D或3D手动输入装置。输入装置1410被配置为提供类似于XY摇摄装置的输入，额外的自由度产生系统运动的灵活性。具有3D能力的输入装置，比如3D鼠标或六自由度控制器，非常适合灵活且方便的输入命令。这些用户控制装置的主要益处是，在运动发生时可以轻松观察外科手术图像。进一步地，外科医生可以观察整个外科手术和附近部位周围发生的情况，以避免例如使相机300撞到外科手术工作人员和/或附近的设备。
可选地，输入装置1410可以包括头部、眼睛或安装有眼镜的追踪装置、语音识别装置和/或手势输入装置。这些类型的输入装置1410促进“免提”可操作性，使得操作者不需要用其无菌手套触摸任何东西。可以使用手势识别控制，其中识别某些操作手运动并将其转换为用于相机300、联接板3304和/或机器人臂506的控制信号。语音识别装置提供了相似的功能，其中麦克风感测操作者的命令，比如“向左移动相机”，将语音识别为命令，并将其转化为合适的相机和/或机器人控制信号。替代实施例包括眼睛追踪装置，眼睛追踪装置被配置为确定操作者的眼睛相对于3D显示器的位置，并且可以根据操作者正在看的显示场景中的位置来调整视图。
其他实施例包括被配置为在参考系中追踪操作者的头部的位置的装置(通过例如可追踪的目标或安装在操作者的3D眼镜上的一组目标)和用于激活“头部追踪”的脚踏开关。示例追踪输入装置被配置为在激活时间存储操作者头部的起始位置，然后以某个短时间间隔连续检测头部位置。追踪输入装置结合处理器4102可以计算当前位置与起始位置之间的移动增量向量，并将该向量转化为对应的机器人臂或相机透镜移动。例如，追踪输入装置1410和处理器4102可以将左/右头部移动转化成机器人臂移动，使得屏幕上的图像向左/向右移动。追踪输入装置1410和处理器4102还可以将头部的上/下移动转化为机器人臂或相机透镜的移动，使得屏幕上的图像向上/下移动，并且可以将头部的前/后移动转化为机器人臂或相机透镜的移动，使得屏幕上的图像放大/缩小。其他移动转化是可能的，例如，通过将头部旋转转化为机器人臂506的“锁定到目标”运动。如这里所述，锁定到目标被配置为将机器人平台516的焦点保持在场景或FOV中的同一点上，处于某个公差内，并使机器人臂506(以及因此视图)沿模仿操作者的头部移动的方向枢转。
在某些外科手术之前，需要制定外科手术计划，为器械和可视化建立期望的路径。在一些实施例中，输入装置1410被配置为遵循这样的预定路径：几乎没有来自操作者的进一步输入。这样，操作者可以继续操作，而外科手术部位的视图则按照预先计划自动改变。在一些实施例中，外科手术计划可以包括一组预先计划的对应于相机位置、放大率、焦点等的路点。操作者可以致动输入装置1410以随着外科手术进行而前进通过路点(使处理器4102按计划移动机器人臂506、联接板3304和/或相机300)。
在所展示的实施例中，示例传感器3306是输入装置。传感器3306被配置为检测操作者的移动或立体可视化相机300上的力并将检测到的力/移动转化为旋转和/或平移数据。传感器3306可以包括运动预期输入装置，比如六自由度触觉力感测模块或光传感器(例如，力/扭矩传感器)，运动预期输入装置使机器人臂506能够机电地响应于操作者轻推相机300。光传感器可以包括光电装置，该光电装置被配置为将施加的力和/或扭矩变换为电信号，由此使得能够感测到操作者输入的期望的力/扭矩并将其变换为在感测的线性和/或旋转方向上提供的运动请求。在其他实施例中，其他传感器类型可以用于传感器3306。例如，传感器3306可以包括被配置为感测操作者的触觉请求的应变仪或压电装置。
在一个实施例中，外科医生握住一个或多个控制臂304并且致动或推动释放按钮(其可以位于一个或两个控制臂304上)。释放按钮的致动使相机300向处理器4102传输指示操作者期望开始“辅助移动”模式的消息。处理器4102配置机器人臂506和/或联接板3304以使外科医生能够使相机300朝期望的方向平缓地转向。在此移动期间，处理器4102使机器人臂506和/或联接板以“动力转向”的方式移动相机300，安全地支撑其重量并以协调的方式自动确定哪些关节应被激活以及哪些关节应被制动，从而实现外科医生的期望移动。
在所展示的示例中，图41的立体机器人平台516包括机器人臂控制器4106，该机器人臂控制器被配置为控制机器人臂506和/或联接板3304。机器人臂控制器4106可以包括处理器、服务器、微控制器、工作站等，其被配置为将来自处理器4102的一个或多个消息或指令转化为引起关节R1到R9中的任何一个旋转的一个或多个消息和/或信号。机器人臂控制器4106还被配置为接收传感器信息，比如来自机器人臂506和/或联接板3304的关节位置和/或速度，并将其转化为用于处理器4102的一个或多个消息。
在一些实施例中，机器人臂控制器4106被配置为位于处理器4102与机器人臂506之间的独立模块。在其他实施例中，机器人臂控制器4106可以被包括在机器人臂506内。在又其他实施例中，机器人臂控制器4106可以包括在处理器4102中。
示例机器人臂控制器4106包括一个或多个存储在存储器4120中的可由机器人处理器4122执行的指令。指令可以被配置到一个或多个软件程序、算法和/或例程中。存储器4120可以包括任何类型的易失性或非易失性存储器。示例机器人处理器4122通信地联接到处理器4102，并且被配置为接收与机器人臂506和/或联接板3304的操作有关的一个或多个消息。示例机器人处理器4120还被配置为向处理器4102传输指示关节R1至R9的位置和/或速度的一个或多个消息。一个或多个消息还可以指示关节已经到达行程停止点或被阻止移动。
示例处理器4120被配置为以协调的方式确定对哪些关节R1至R9供电，使得所有关节的所有运动的总和产生相机300处的期望图像运动。在“向左移动相机”示例中，可能存在几个关节的复杂运动使相机的外科手术图像从外科医生的相对视角来看好像简单而平滑地向左平移。应当注意，在“向左移动相机”示例中，取决于相机300如何通过联接板3304连接到机器人臂506，到特定关节的控制信号可能根据位置/取向而显著不同。
存储器4120可以包括一个或多个基于关节的已知位置来指定关节R1至R9如何移动的指令。机器人臂控制器4106被配置为执行该一个或多个指令，以确定指导的相机移动如何转换为关节移动。在示例中，机器人臂控制器4106可以从处理器4102接收指示立体可视化相机300要沿z轴向下移动并且在xy平面中侧面移动的消息。换言之，处理器4102传输经由输入装置1410接收的关于相机300的期望移动的输入的指示。示例机器人臂控制器4106被配置为将3维坐标中的移动向量转换成实现期望位置/取向的关节位置移动信息。机器人臂控制器4106可以确定或考虑机器人臂506和/或联接板3304的连杆和关节当前位置(和/或相机300的位置/取向)结合期望的移动来确定移动增量向量。另外地，机器人臂控制器4106可以执行一项或多项检查，以确保期望的移动不会导致相机300进入由一个或多个三维边界指定的受限区域或接近受限区域，三维边界是在与臂506和联接板3304相同的坐标系中定义的。靠近边界的区域可以指定减小的比例因子，该比例因子在将移动信号发送到关节时由机器人臂控制器4106施加，这随着机器人臂506接近边界而使关节移动得更慢并且不会在进一步移动越过边界。
在执行边界检查之后，机器人臂控制器4106使用移动增量和关节R1至R9中的每一个的当前位置/取向来确定用于旋转一个或多个关节以使机器人臂506将相机300移动到指定位置的最佳或接近最佳移动顺序。机器人臂控制器4106可以使用例如优化例程，该优化例程确定为了满足移动增量向量所需的最小关节移动量。在确定关节移动量之后，示例机器人臂控制器4106被配置为向电机控制器4124发送一个或多个消息(指示旋转量和旋转速度，考虑到了任何比例因子)。机器人臂控制器4106可以发送一系列消息，以使机器人臂506和/或联接板3304按定义或协调的顺序移动。这一系列消息还可能引起关节速度发生变化，例如，机器人臂506接近虚拟或物理边界。
示例电机控制器4124被配置为将接收到的消息转换或转化为模拟信号，比如使关节R1至R9中的一个或多个旋转的脉宽调制(“PWM”)信号。电机控制器4124可以例如选择到适当的关节电机的输入行，其中脉冲持续时间用于控制电机旋转的持续时间，并且脉冲的频率、占空比和/或振幅用于控制转速。电机控制器4124还可以为关节电机和对应的关节传感器提供功率。
在一些实施例中，机器人臂控制器4106结合电机控制器4124被配置为接收或读取关节传感器位置信息，并通过运动学确定机器人关节和相机300的位置和取向。每个关节R1至R9可以包括至少一个传感器，该传感器检测并传输指示关节位置、关节转速和/或关节旋转方向的数据。在一些实施例中，传感器仅传输位置信息，并且速度/方向由机器人臂控制器4106基于位置信息随时间的差异来确定。机器人臂控制器4106可以将传感器数据传输到处理器4102以确定移动信息。
机器人臂控制器4106从处理器4102接收移动指令，并且通过雅可比式确定正向和/或反向运动学、哪些电机和关节应被激活、速度和距离、以及方向。然后，机器人臂控制器4106将适当的命令信号发送到电机控制器4124中的电机功率放大器，以驱动机器人臂506中的关节电机。
示例机器人臂506接收适当的电机功率信号并相应地移动。臂506中的传感器和制动器对不同操作和来自机器人臂控制器4106的反馈信息做出反应。在一些实施例中，机器人臂506机械地且通信地连接至联接板3304，联接板将联接器状态和取向信息传输至机器人臂控制器4106。
在一些实施例中，图41的示例机器人臂506包括联接器控制器4130。示例联接器控制器4130被配置为绕过机器人处理器4106并在处理器4102与联接板3304之间转发控制信息。联接器控制器4130可以从处理器4102接收消息并对应地使关节R7至R9在联接板3304上旋转。联接器控制器4130还可以接收关于关节位置和/或速度的传感器信息并且将一个或多个指示关节位置和/或速度的消息传输到处理器4102。在这些实施例中，处理器4102可以传输用于控制机器人臂506的消息以及用于联接板3304的单独消息。
在一些实施例中，机器人臂控制器4106被配置为确定关节R7至R9如何移动。然而，如果联接板3304没有通信地直接联接至机器人臂506，则机器人处理器4106可以经由处理器4102将移动信号传输至联接器控制器4130。在机器人处理器4106的至少一些操作者所在位置具有处理器4102的实例中，联接器控制器4130从处理器4102接收移动命令或信号结合机器人臂506从处理器4102接收移动命令或信号。
在图41所展示的实施例中，示例立体可视化相机300、处理器4102、联接板3304、机器人臂506、机器人臂控制器4106和/或输入装置1410经由输入功率模块4140接收功率。示例模块4140包括电源(比如来自壁式插座的功率)和/或隔离变压器，以防止电力线异常破坏系统性能。在一些实例中，电源可以包括电池电源。
立体可视化平台516还可以包括被配置为立即断电的紧急停止开关4142。开关4142可以仅对机器人臂506和/或联接板3304断电。处理器4106可以检测紧急停止开关4142的激活并且使关节制动器接合以防止机器人臂506掉落。在一些实例中，机器人臂506被配置为在检测到失电之后激活关节制动器。在一些实施例中，如果施加了高于阈值的力，则机器人臂506的关节R1至R6被配置成滑动，由此使操作者能够在紧急情况下在有电或没电的情况下迅速将臂移开。
在一些实施例中，示例处理器4102被配置为显示机器人臂506、联接板3304和/或立体可视化相机300的一个或多个图形表示。处理器4102可以使图形表示被显示在一个或多个用户界面中，用户界面为机器人臂506、联接板3304和/或相机300提供控制。处理器4102可以定位和定向图形表示以反映机器人臂506、联接板3304和/或相机的当前位置。处理器4102使用例如来自机器人臂控制器4106的反馈消息来确定要旋转图形表示中的哪些关节，由此改变显示装置的取向和/或位置。在一些情况下，处理器4102被配置为通过例如操作者将图形表示中的连杆、关节或相机300移动到期望位置来经由图形表示接收用户输入。在立体可视化相机300的移动的情况下，处理器4102可以传输与相机移动的位置相对应的新坐标。在移动后的关节或连杆的情况下，处理器4102可以将指示关节旋转和/或连杆的位置的消息传输到机器人臂控制器4106。
在一些实施例中，处理器4102结合机器人臂控制器4106操作，以基于机器人臂506和/或联接板3304的移动或配合其来调节相机的一个或多个透镜。例如，如果使机器人臂506朝向外科手术部位移动时，处理器4102结合机器人臂控制器4106操作以通过移动立体可视化相机300的一个或多个透镜改变工作距离或焦点以保持焦点。处理器4102结合机器人臂控制器4106操作，以确定例如机器人臂506的移动引起工作距离减小。EPU处理器4102结合机器人臂控制器4106操作以基于通过移动机器人臂506设置的新的工作距离来确定透镜的新位置。这可以包括移动一个或多个透镜来调整焦点。在一些实施例中，处理器4102可以指导相机300操作用于机器人臂506的新位置的校准例程，以消除例如假视差。
在一些情况下，操作者可能正在改变立体可视化相机300的一个或多个透镜的位置并达到透镜行程极限。透镜的位置从相机300发送到处理器4102，处理器确定已达到极限与否。在检测到已经达到极限之后，处理器4102可以基于来自操作者的输入使机器人臂506移动(通过控制器4106)，由此将其命令从透镜移动扩展到臂移动以达到期望的放大率或目标区域。这样，结合机器人臂控制器4106操作的处理器4102使操作者能够仅使用一个用户界面，而不是在用于机器人臂的界面与相机之间进行变化。应当了解，处理器4102和/或控制器4106可以检查期望的移动以防任何预定的移动极限，以确保移动不会引起相机300或机器人臂506进入受限的患者或操作者空间。如果检测到违反极限，则与机器人臂控制器4106连接的处理器4102可以(通过在触摸屏输入装置1410a和/或显示监视器512上显示的用户界面)向操作者显示指示极限的警报，以指示机器人臂506停止的原因。
C.机器人臂和立体相机校准实施例
如上所述，示例立体可视化相机300被配置为提供处于不同的放大率的目标外科手术部位的高分辨率立体视频图像。作为立体可视化平台516的一部分，立体可视化相机300结合机器人臂506和/或联接板3304操作，以精确而清晰地改变图像焦点、工作距离、放大率等。为了实现图像获取灵活性，立体可视化平台516被配置为操作一个或多个校准、初始化和/或重置例程。在一些实施例中，立体可视化相机300、机器人臂506、联接板3304或更一般地、立体可视化平台516在制造期间和/或安装之后被校准。通过机器人臂506对相机300的校准提供了相机300相对于机器人臂506和操作者空间的定位信息。在立体可视化平台516上电之后，在一些实施例中，相机300和/或机器人臂506被配置为执行进一步的校准/初始化，以在那时测量和验证相机300的位置和取向。
示例处理器4102被配置为将校准的结果(例如，校准数据)存储在例如存储器1570和/或图41的存储器4120中。可以将校准结果存储到存储器1570和/或4120中的校准寄存器和/或查找表(“LUT”)。所存储的校准数据将光学、功能和/或性能特征与相机300、机器人臂506和/或联接板3304的属性相关或映射，所述属性可由操作者或通过处理器4102调节、测量和/或验证。例如，(图7中的)主物镜组件702的工作距离致动器电机编码器位置在LUT中映射到工作距离。在另一个示例中，沿着用于变焦透镜组件716的线性编码器的变焦透镜轴向位置在LUT中被映射到放大率水平。对于这些示例中的每一个，示例处理器4102被配置为确定编码器特征的正确水平，调整并验证该特征提供了指定的或期望的工作距离和/或放大率与否。在一些实施例中，LUT可以是复合的，其中多个性能特征被映射到多个平台516属性，以对相机300、机器人臂506和/或联接板3304的所有相关方面进行整体控制。
机器人臂506和示例立体可视化相机300的组合提供了目标视图相对于机器人臂506的参考系的高度准确的位置、方向和/或取向信息。以下部分描述了如何校准立体可视化相机300以定义视觉尖端。在确定视觉尖端之后，将立体可视化相机300与机器人臂506和/或联接板3306的参考系配准。因此，在校准和配准之后，外科手术部位的立体视图与立体可视化相机300的集成控制结合机器人臂506和/或联接板3304的位置、方向和取向控制统一。
在一些实施例中，图41的示例处理器4102被配置为将立体可视化相机300的配准(包括其视觉尖端)精确地与机器人臂506的位置、方向和/或取向校准相集成，以定义获取的立体图像及其中的所有点的统一位置、方向和/或取向意识。示例处理器4102被配置为使用来自立体可视化相机300的固有视觉成像数据来协调或引导机器人臂506的物理定位和/或定向以提供操作者所期望的可视化。另外地，提供处理器4102提供的这种方向和协调以保持可视化的优选特征，比如焦点、工作距离、预定义的定位、定向等。
在一些实施例中，立体可视化相机300、机器人臂506、和/或联接板3304的校准一般包括(i)确定和/或测量立体可视化平台516的影响立体图像的功能参数的不准确性；(ii)校准或调整立体可视化平台516，以将立体图像中的不准确性最小化到期望水平或低于期望水平；(iii)通过立体图像的双通道的彼此同时比较或校准模板来验证是否已调整到期望的校准准确性水平内；以及(iv)在其任务的执行中使用立体可视化平台516，其中校准的准确性水平是可检测和保持的。
在替代实施例中，机器人臂506设置有一个或多个固定校准基准点，固定校准基准点用于精确地校准机器人臂506的关节和连杆彼此的物理关系以及校准相机300的视觉尖端与机器人臂506和/或初始姿态配置的关系。机器人平台固定校准基准点可以用于将机器人臂506与外部环境(比如手术室)或与外部环境内的患者或目标空间配准或集成。固定校准基准点可以包括机器人臂506的本体的外部部分的专用附件、或者机器人臂506的比如安装点、关节、拐角等已知外部特征的组合。
1.立体可视化相机实施例的校准
为了匹配外科手术部位的立体视图，示例处理器4102和/或立体可视化相机300被配置为执行一个或多个校准例程。可以由存储在存储器1570中的一个或多个指令来指定示例例程，这些例程在被处理器4102执行时使处理器4102确定对应于某些工作距离、放大率(例如，变焦水平)和焦点水平的透镜位置。指令还可以使处理器4102操作一个或多个用于在不同的工作距离和/或放大率下确定立体可视化相机300的投影中心、立体光轴和/或ZRP的例程。校准使例如处理器4102能够在改变放大率和/或工作距离时将焦点保持在目标外科手术部位上。
图42展示了根据本披露的示例实施例的用于校准立体可视化相机300的示例过程4200或例程。尽管参照图42中所展示的流程图描述了过程4200，但应当理解的是，可以使用执行与过程4200相关联的步骤的许多其他方法。例如，许多框的顺序可以改变，某些框可以与其他框组合，并且所描述的许多框是可选的。进一步地，可以在多个装置之间执行过程4200中描述的动作，该多个装置包括例如示例立体可视化相机300的光学元件1402、图像捕捉模块1404、电机与照明模块1406和/或信息处理器模块1408。例如，过程4200可以由信息处理器模块1408的程序1560之一执行。
示例过程4200在立体可视化相机300被提供功率或以其他方式被初始化时开始(框4202)。相机300可以安装到机器人臂506上。可替代地，当立体可视化相机300连接到固定座架时，可以执行过程4200。接下来，示例过程4200执行如以上结合图25和图26所讨论的ZRP对准(框4204)。如上所讨论的，示例处理器4102可以自动对准ZRP，和/或结合操作者进行操作以使左和右光路对准在图像传感器746、748上。在一些示例中，处理器4102和/或操作者可以通过电机以足够的准确性引起挠曲件(例如，图13的挠曲件1300)的小移动或屈曲，以对透镜部件的倾斜度进行非常小的调整，从而将ZRP移动成与像素网格原点对准。在半手动对准期间，处理器4102可以使来自图像传感器746和748的左图像和右图像重叠在显示监视器512上。操作者可以使用输入装置1410调整图像，从而使传感器746和748的像素集相应地移动，直到ZRP正确对准为止。
在对准期间，将ZRP设置为对准在图像中心，以避免假视差。对准到显示器上的大约单个像素内是可能的。从左视图和右视图到图像中心的对准程度在重叠图像中是可见的，包括在变焦操作期间。在8°FOV的示例中，使用4K图像传感器746、748和显示监视器512的对应4K显示分辨率(包含约4000像素乘约2000行)会产生8°/4000个像素＝7弧秒的系统分辨率。然而，可以最多在任何放大率下执行ZRP对准，其中分辨率(相同像素数(例如4000))除以减小(或增大)的角FOV。例如，高放大率的相机300的示例性实施例产生约2°的角FOV。8K UHD显示监视器512和传感器746和748在大约4000行中具有大约8000个像素。此系统的分辨率为2°/8000个像素＝1弧秒。这比本领域中的已知系统要好约一个数量级或更多，在本领域中，组装的单个测量的部件的准确性具有公差，这些部件的分辨率是以弧分为单位测量的。随着图像传感器和显示监视器密度更高，在相同物理传感器或显示空间中像素总体上更小，立体可视化相机300可调整性的准确性随着较小的像素大小而按比例调节。立体可视化相机300的提高的高准确性对准提供了更好、更准确的数字效果。
当左图像和右图像的ZRP保持在期望公差范围内的图像中心并且目标外科手术部位的图像在从低放大率循环到高放大率时保持准确时，则ZRP的对准完成。在立体可视化相机300的整个放大能力中ZRP对准之后，用于每个放大率水平的像素集位置和/或透镜位置被存储到例如LUT 4203或其他数据结构。在其他示例中，处理器4102将每个放大率水平的像素集位置和/或透镜位置写入校准寄存器。
在ZRP对准之后，示例处理器4102被配置为针对工作距离和/或放大率(例如，变焦)进行校准(框4206)。如以上结合图15的工作距离和变焦示例所讨论的，对工作距离的精确了解在相机300中是重要的，使得机器人臂506可以相对于期望坐标精确地放置相机。在一些实例中，使用准确的基准点以及机器人臂506的机械尺寸将物平面数据从图像变换为立体可视化平台516的相应的坐标系，在此称为机器人空间。
执行示例校准过程4200以映射立体可视化相机300的光学系统的工作距离，其中，工作距离可以从共模物镜(“CMO”)透镜组件的前面(例如，图4和图7的前工作距离主物镜408)到物平面以毫米为单位进行计算或测量。工作距离被映射到已知的可测量参数，例如聚焦电机位置，是从已知的“原”位置(比如物理停止或限位开关触发位置)以电机轴编码装置的计数为单位进行测量的。
在框4206处的校准是由处理器4102沿着光轴以离散步长顺序地移动物平面并重新聚焦图像同时记录编码器计数和工作距离来执行的，如结合图43更详细地讨论的那样。处理器4102从CMO的前面在外部测量工作距离。编码器计数和工作距离的映射存储到LUT4203或不同LUT和/或校准寄存器。给定期望的工作距离，此校准使处理器4102能够将编码器计数位置输出至电机控制器。立体可视化相机300的示例性实施例使用每转高计数轴编码装置，其中，工作距离的分辨率是每个编码器计数约1微米。替代实施例可以包括不同的编码器分辨率，以根据需要提供较高或较低的工作距离分辨率。
图43示出了根据本披露的示例实施例的示例立体可视化相机300以离散步长移动物平面的实施例。示例性立体可视化相机300包括图7的主物镜组件702(例如，单个CMO)，主物镜组件被配置为提供目标外科手术部位的左视图和右视图。在所展示的示例中，主物镜组件702被示出为消色差屈光组件，其中固定的前工作距离透镜408在壳体4302内，而可移动的后工作距离透镜740可沿z轴(或其他光轴)移动。后工作距离704的移动改变了到前工作距离透镜408的距离。透镜408与704之间的间隔决定了主物镜组件702的整体前焦距4304，并且因此决定了前焦平面4306(或简称为“焦平面”)的位置。前焦平面4306与主物镜组件702的主平面4308的距离等于焦距4304。可能难以测量主平面4308的位置，因此从壳体4302的底表面到前焦平面的距离被定义为工作距离4310。因此，工作距离4310准确地设置了焦点对准的目标部位或场景的平面。
对物体在前焦平面4306成像会产生共轭图像，该共轭图像位于距主物镜组件702的背部或后部无限远处。两条平行的光路包括相机300的光学器件和传感器714、716、718、744R和744L，其横向间隔瞳孔间距(“IPD”)4312，沿相应的左光轴4320和右光轴4322在与主物镜组件702的光轴4324略有不同的方向上产生左视图和右视图。调整这两条光路，使得它们相应的外部会聚左轴和右轴被设置为在图像4330的FOV的中心重合。这个点4330在本文中被称为立体可视化相机300在前焦平面4306处的“尖端”。
后工作距离透镜740的位置的调整引起前焦距4304主物镜组件702改变。如图所示，后工作距离透镜740的位置变化产生了新的工作距离4310’，其位于新的前焦平面4306’的位置。后工作距离透镜740的移动还引起左光轴4320’和右光轴4322’的重新对准，从而产生相机300的重新定位的末端4330’。用相机300使物体在焦平面4306上方或下方可视化减小了物体的焦点。
以类似于工作距离校准的方式，可以通过处理器4102在测量已知大小的物体的图像高度的同时改变放大率来构建类似的LUT或工作距离LUT 4203中的附加列。可以通过从已知的“原”位置(比如物理停止或限位开关触发位置)确定电机轴编码装置的计数来量化放大率。处理器4102可以相对地例如以每个放大率位置处的传感器像素数量来测量图像高度。放大率可以通过例如以像素为单位的高度除以以毫米为单位的高度来表征。
返回图42，在校准了立体可视化相机300的工作距离和放大率之后，示例处理器4102被配置为确定投影中心(框4208)。投影中心(例如，COP)可以使用对立体可视化相机300建模的一个或多个例程来确定，如以上结合图15所讨论的。为了匹配外科手术部位的左右立体视图，通常期望使用以用于处理器4102的软件、固件、硬件和/或GPU代码实现的数学模型来对物理相机300进行建模。可以从用户可调整的方向和距离来显现和观看3D计算机模型(比如脑肿瘤的MRI图像)的视角(例如，如同图像是由合成立体相机捕捉的)。模型的可调整性可以由处理器4102用于匹配实况外科手术图像的视角，因此该视角必须是已知的。
立体可视化相机300和/或处理器4102的示例性实施例被配置为针对放大率和工作距离的每个值准确地测量和计算相机模型参数。这些值由包含在立体可视化相机300中的单独的光学器件控制。对准双光学器件，使得在左右通道/视图之间的图像中心处的视差在焦平面4330处大约为零。另外地，示例立体可视化相机300在放大率范围内是齐焦的，并且在放大率和工作距离范围内是共心的，因为每个左右通道的ZRP已经与其相应的像素网格的中心对准(以上在框4202中所述)。换言之，仅改变放大率使图像在两个通道中保持焦点对准，并在同一中心点上被训练。类似地，如果目标和立体可视化相机300保持静止，则仅改变工作距离应该不会引起图像的竖直视差，而只会导致左视图与右视图之间的水平视差增大。
图44展示了曲线图4400，其展示了根据本披露的示例实施例的可由处理器4102执行的、用于确定立体可视化相机300的COP的例程。在所展示的示例中，针孔或建模相机300的COP沿着光轴4402在针孔(O)的平面处。为了确定相机模型的COP，使用虚拟针孔相机模型，其中，处理器4102被配置为确定从COP到物平面的实际焦点距离4404。在校准例程期间，处理器4102保持相机300的放大率固定，同时记录图像高度4406的测量值，例如以光学图像传感器744的平面处的像素数记录，高度为4408的物体沿光轴4402在三个不同距离：在物平面处，在小于物平面距离的距离“d”处，以及在大于物平面距离的距离“d”处。处理器4102在两个最极端位置处使用包括基于相似三角形的代数的例程，以确定到COP 4410的焦点距离4404。处理器4102可以基于替代性放大率与用于校准的放大率之比来确定在替代性放大率下的焦点距离。
返回到图42，示例处理器4102被配置为确定用于改变工作距离和放大率的COP。处理器4102将用于透镜的电机轴编码器计数与LUT 4203中、不同LUT中或一个或多个校准寄存器中用于改变工作距离和放大率的COP相关。在一些实施例中，处理器4102可以仅存储一个放大率和/或工作距离的COP的关系，并使用一个已知的COP关系来计算其他放大率和/或工作距离。
在针对COP进行校准之后，示例处理器4102被配置为校准立体左右光轴以及立体可视化相机300的轴线之间的瞳孔间距(“IPD”)(框4210)。为了表征立体可视化相机300的光学器件，应该知道左右通道/视图之间的IPD。在实施例中，可以将IPD设计成固持图7所示的传感器和光学器件的机械部件。IPD因此是机械设置的。然而，实际光轴可能与光学元件及其座架的机械轴线不同。其他实施例使IPD能够在立体可视化相机300内变化。
在一些应用中，期望精确地知道立体光轴相对于立体可视化相机300的参考系上的基准轴线或机械轴线的方向。这使例如处理器4102能够通过机械手段精确地瞄准立体可视化相机300。瞄准可以通过几何定义的视线向量来表征，相对于立体可视化相机300的参考系与立体光轴重合地向外观看。另外地，光学传感器744的左右通道的计时包括在视线向量中，该视线向量包括立体可视化相机300的取向或姿态。
图45示出了根据本披露的示例实施例的光学示意图的平面图，该光学示意图展示了立体可视化相机300的IPD可以如何被测量和校准。在所展示的示例中，光轴4502与机械轴线4504完全对准。右图像传感器746和左图像传感器748(由一个或多个相机模型近似)间隔开IPD 4506。传感器746和748对准并聚焦在物体4508上(在目标外科手术部位中)。将物体4508放置在距传感器746和748的焦点距离4510处，使得物平面处的视差理论上为零，如在物体的左或右视图在焦平面4512处的显示中所描绘的。在此示例性示例中，为清楚起见，物体4508是圆盘，其正视图显示为物品4514。
图45还展示了另一个示例，其中物体4508沿着机械轴线移位距离“d”并且被示出为物品4508’。物体4508的位移产生视差，视差在左视图4520的显示中显示为PL，而在右视图4522的显示中显示为PR。在此示例中，机械轴线和光轴重合，并且视差量相等。视差可以例如通过对左视图4520与右视图4522之间的差异像素的数量进行计数并且乘以在COP校准步骤中确定的放大倍数像素/毫米来测量。处理器4102可以使用三角测量法来计算IPD。每个视图的位移距离d和视差的测量准确度有助于精确了解立体可视化相机300的IPD。
图46示出了根据本披露的示例实施例的光学示意图的平面图，该光学示意图展示了立体可视化相机300的光轴可以如何被测量和校准。在此示例中，光轴4502与机械轴线4504错开角度(α)，被显示为4602。右图像传感器746和左图像传感器748(由一个或多个相机模型近似)被对准并聚焦在被放置在焦点距离处的物体4508上(在目标外科手术部位中)，使得在物体4508的平面处的视差理论上为零，如在焦平面4604处物体4508的左视图或右视图的显示中所描绘的。
图46还展示了另一个示例，其中物体4508沿着机械轴线移位距离“d”并且被示出为物体4508’。物体4508的位移产生视差，视差在左视图4610的显示中显示为PL，而在右视图4612的显示中显示为PR。在机械轴线4504和光轴4502不重合的此示例中，视差量不相等。示例处理器4102被配置为通过三角测量法来计算IPD以及错位角α(例如，立体光轴)。每个视图的位移距离d和视差的测量准确度使处理器4102能够准确地确定立体可视化相机300的IPD和光轴。
可以采用类似的过程来测量例如在竖直平面中机械轴线和光轴的错位。可以组合例如在水平平面或竖直平面中的错位的组合，使得可以相对于机械轴线准确地推导视线向量。在一些实施例中，可以在工作距离和/或放大率的不同水平下测量IPD和光轴参数。IPD、光轴、工作距离和/或放大率之间的关系可以由处理器4102存储到LUT4203、另一个LUT和/或校准寄存器。
返回到图42，在示例立体可视化相机300的光轴和/或IPD被校准之后，示例处理器4102被配置为完成校准过程，以使得相机300能够连接至机器人臂506(框4212)。然后，过程4200可以结束。在一些实施例中，如果相机300被重新初始化和/或如果任何校准不能被证实或验证，则重复示例过程4200的至少一部分。
应当理解，在一些实施例中，可以手动或半手动地执行过程4200的以上步骤。在其他实施例中，上述步骤可以由处理器4200自动且连续地执行。在一些实施例中，可以通过对合适的目标或具有足够数量的物体的任何目标的图像识别来进行测量，这些物体包括足够的对比度以便能够在左视图和右视图中进行识别。另外地，处理器4102可以确定或计算视差测量值，以评估立体可视化相机300的光学元件的准确相对位置。处理器4102可以实时地执行光学测量。
在一些实施例中，使用自动化重复技术来执行这些或等同校准和测量方法可以提高准确性并减少校准和测量所需的时间和/或精力。例如，如前所述，通过编码器计数的数量和LUT 4203可以准确地知道工作距离(以及因此位移d)。如前所述，通过编码器计数的数量和LUT 4203也准确地知道放大率及其例如像素/毫米转化因子。可以手动或自动地准确地执行针对差异或物体大小确定而对图像中的像素的计数，例如，如先前使用模板匹配所述。可以组合这些值的测量和存储，使得示例处理器4102可以近乎实时地准确推导出立体相机模型参数和视线向量。
图47展示了光学参数被充分表征的经校准的立体可视化相机300的图。在所展示的实施例中，示出了左光轴和右光轴通向通过相机模型所确定的假想的左图像传感器位置和右图像传感器位置4700。图47还示出了中央立体光轴或视线向量4702。相机模型的假想左和右视线分量位于焦点距离Z处。另外，相机模型的左右视线分量间隔开测量的有效IPD。在所展示的示例中，如由立体可视化相机300内的图像传感器746和748所记录的假想的左和右视线分量以相似的立体视角观察焦平面处的物体。
2.立体可视化的校准实现与其他图像的融合
示例处理器4102被配置为使用校准参数/信息，不仅用于提供高分辨率的清晰图像，而且用于将实况立体图像与从外部装置4104接收的一个或多个图像/模型对准。LUT4203和/或校准寄存器中与相机模型参数有关的校准数据的映射使处理器4102能够创建以软件、固件、硬件和/或计算机代码实现的立体可视化相机300的数学模型。在示例中，处理器4102被配置为使用例如结合图42讨论的过程4200来接收、确定或访问相机模型参数。如果已经执行了校准，则处理器4102从一个或多个存储器1570和/或4120访问相机模型参数。处理器4102还从装置4104接收图像数据的替代性模态，比如术前图像、MRI图像、来自MRI或CT数据的外科手术部位的3D模型、X射线图像和/或外科手术指南/模板。处理器4102被配置为使用相机模型参数来显现替代性模态数据的合成的立体图像。示例处理器4102还被配置为提供合成的立体图像以经由监视器512显示。在一些示例中，处理器4102被配置为将合成的立体图像与当前的立体可视化融合，其中每个模态的期望方面是可见的和/或以相同的视角覆盖，就像被单个可视化装置获取的一样。
在一些实施例中，处理器4102使用图47所展示的参数来将替代性模态的合成的立体图像(例如MRI图像数据)与立体可视化相机300的立体视角进行匹配。因此，示例处理器4102将所存储的光学校准参数用于立体图像合成。在示例中，处理器4102使用光学校准参数来将实况立体图像与使用MRI装置在术前成像的脑肿瘤的三维模型融合。示例处理器4102使用光学校准参数来选择与立体图像匹配的脑肿瘤的三维模型的对应位置、大小和/或取向。换言之，处理器4102选择三维模型的与由立体可视化相机300记录的视图相对应的部分。处理器4102还可以基于检测相机300的工作距离、放大率和/或取向如何改变来改变显示模型的哪个部分。
处理器4102可以使模型的图形表示重叠在立体图像上，和/或使模型的图形表示在视觉上显得与立体图像融合。处理器4102执行的图像处理可以包括使模型的图形表示与实况立体视图之间的边界平滑。图像处理还可以包括使模型的图形表示的至少一部分的透明度提高，以使得外科医生也看得见下面的实况立体视图。
在一些示例中，处理器4102被配置为生成和/或显现立体图像中的每个像素的深度图。处理器4102可以使用校准参数来确定例如图像中的组织深度。处理器4102可以使用深度信息进行图像识别，以注意感兴趣的组织和/或识别器械的位置，从而避免在相机300与机器人臂506配合时意外接触。深度信息可以由处理器4102输出到例如机器人缝合装置、诊断设备、过程监视和记录系统等，以进行协调的并且至少半自动化的外科手术。
3.机器人臂实施例的校准
如上所讨论的，在对立体可视化相机300进行校准之后，可以将其连接至机器人臂506和/或联接板3304。如下所述，示例处理器4102和/或机器人处理器4122使用所存储的校准参数所提供的关于焦距Z的工作距离的精确知识来确定立体可视化相机300的位置和/或取向。立体可视化相机300与机器人臂的组合被配置为在保持目标外科手术部位的焦点或视图的同时提供不同工作距离的无缝过渡。
不论机器人臂的类型如何，都可以执行下述机器人臂506的校准过程。例如，可以对包括通过旋转关节彼此连接的机械连杆的铰接式机器人系统执行校准过程，从简单的一个或两个连杆和关节编号到包括六个或更多个关节的关节结构。还可以对笛卡尔机器人系统执行校准过程，该笛卡尔机器人系统包括具有线性关节的起重架，该起重架使用具有X、Y和Z方向的坐标系。笛卡尔机器人系统的最后的关节可以包括腕式旋转关节。可以对圆柱形机器人系统进一步执行校准过程，该圆柱形机器人系统包括在其基部的旋转关节、以及一个或多个额外的旋转关节和/或线性关节以形成圆柱形工作空间。此外，可以对极机器人系统执行校准过程，该极机器人系统包括通过可以在一个以上旋转轴线上操作的关节连接到基部的臂，并且进一步包括一个或多个线性关节或腕关节。校准过程可以另外针对选择顺从性组装机器人臂(“SCARA”)系统加以执行，该系统包括以主要圆柱形的方式操作的选择顺应性臂，用于组装应用。
图48展出了根据本披露的示例实施例的用于校准机器人臂506的示例过程4800或例程。尽管参照图48中所展示的流程图描述了过程4800，但应当理解的是，可以使用执行与过程4800相关联的步骤的许多其他方法。例如，许多框的顺序可以改变，某些框可以与其他框组合，并且所描述的许多框是可选的。进一步地，可以在多个装置之间执行过程4800中描述的动作，该多个装置包括例如图14的示例立体可视化相机300的光学元件1402、图像捕捉模块1404、电机与照明模块1406、信息处理器模块1408和/或图41的关节R1至R9以及机器人臂控制器4106。例如，过程4800可以由机器人臂控制器4106的存储器4120中存储的程序执行。
在一些实施例中，联接板3304连接至机器人臂506(框4802)。如果未使用联接板3304，则立体可视化相机300直接连接到机器人臂506的连接或联接接口3450。如果使用联接板3304，则立体可视化相机300连接到联接板(框4804)。如上所讨论的，联接板3304的第一端部3702连接到机器人臂506，并且联接板3304的第二端部3704连接到立体可视化相机300。
在示例立体可视化相机300连接到机器人臂506之后，示例处理器4102和/或机器人臂控制器4106被配置为将相机及其视线向量校准为起源于机器人臂506的固定基部3404周围的坐标系(框4806)。该坐标系在本文中称为“机器人空间(robot space或roboticspace)”。在此校准步骤期间，处理器4102和/或机器人臂控制器4106使用机器人臂506的已知移动来确定在目标外科手术部位的可视化期间相机300的视线向量和物平面的取向和位置。
在一些实施例中，相机300、联接板3304和机器人臂506的机械特征存在，使得当机械地连接在一起时，相机300、联接板3304和机器人臂506之间的关系是唯一地确定和已知的。在这些实施例中，处理器4102和/或机器人臂控制器4106根据相机300、联接板3304和机器人臂506的已知机械几何形状确定视线向量的位置、方向和/或取向。
在不存在这些机械特征的其他实施例中，示例处理器4102和/或机器人臂控制器4106被配置为执行准确地确定在机器人空间中相机300与机器人臂506之间的空间关系的例程。处理器4102和/或机器人臂控制器4106将立体可视化相机300移动到起始位置，该起始位置可以包括存放位置、重新定向位置或外科手术位置。立体可视化相机300然后将相机从起始位置移动到大约可视化位于机器人臂506的固定基部3404上的校准目标的位置。校准目标可以位于例如推车510的方便区域处、在机器人臂506的运动球体内的位置。校准目标的一些示例包括例如小球体或其他可唯一地识别的、可以相对于彼此(在二维或立体图像中)位于唯一已知取向的物体。球体的坐标相对于推车510和固定基部3404是固定的并且是已知的，因此在机器人空间中是已知的。处理器4102和/或机器人臂控制器4106被配置为将坐标存储到例如存储器4120。
在校准期间，处理器4102和/或机器人臂控制器4106接收关于工作距离、放大率、立体光轴和/或IPD的视线向量数据4807。立体可视化相机300被设置为同时可视化在校准目标处的球体，并通过立体图像中视差的使用确定这些球体的位置。处理器4102和/或机器人臂控制器4106记录初始坐标系中的球体的位置，例如，相对于相机300(即，“相机空间)中的基准点的X、Y和Z。X、Y、Z位置可以对应于原点位置，并且在文件或LUT中被定义为原点或具有其他已知坐标值。处理器4102和/或机器人臂控制器4106还使用来自关节传感器的输出数据来确定机器人臂506中的关节和连杆的位置和取向。处理器4102和/或机器人臂控制器4106还接收位置信息，以确定联接装置3304的位置和取向。机器人臂506和联接装置3304的位置和取向共同使处理器4102和/或机器人臂控制器4106能够确定相机300的姿态。处理器4102和/或机器人臂控制器4106被配置为基于相机记录的校准目标的球体的位置以及机器人臂506和/或联接板3304的位置来执行相机空间与机器人空间之间的坐标变换。处理器4102和/或机器人臂控制器4106可以将坐标变换存储到LUT 4203、用于机器人臂506的不同LUT、和/或一个或多个校准寄存器。
在一些实施例中，移动相机300以记录位于推车510、天花板、墙壁和/或外科手术区域内的多个校准目标的图像。每个校准目标可以具有使其X、Y、Z物理位置能够被识别的唯一取向。处理器4102和/或机器人臂控制器4106对每个校准目标执行额外的坐标变换，并将变换存储到一个或多个LUT和/或寄存器。
在其他实施例中，处理器4102和/或机器人臂控制器4106可以使用替代性方法来根据机器人空间校准相机300。在此上下文中，“校准”是指“配准”，其中处理器4102和/或机器人臂控制器4106被配置为在配准可能变化的较宽的空间上计算配准。例如，可以使用如下系统，其中使用单独的立体相机来观察和定位推车510上的校准目标以及安装在相机300和/或患者或外科手术床上的类似校准目标。处理器4102和/或机器人臂控制器4106被配置为对相机300进行建模和追踪，相机作为具有视线向量和工作距离的外科手术器械被建模和追踪。视线向量和工作距离定义了用于准确可视化目标外科手术部位的参数。在这些其他实施例中，其他相机确定并报告参考系(比如立体相机300)中每个这种器械的坐标系的位置和取向信息。然后，使用线性代数，通过处理器4102和/或机器人臂控制器4106计算器械相对于彼此的姿态和/或位置，由此产生相机300到机器人空间的校准。
在一些实施例中，处理器4102和/或机器人臂控制器4106还被配置为针对联接板3304进行校准。在一些实例中，联接板3304包括一个或多个根据关节R7至R9的位置而激活的开关。开关的已知位置被处理器4102和/或机器人臂控制器4106用作坐标变换的一部分。另外地或可替代地，通过在监视来自相机300的图像以确定取向的同时使机器人臂506移动来校准联接板3304。在如图37所示定向联接板3304的示例中，命令机器人臂506在相对于采用的取向的方向上移动(例如，沿z轴移动相机300)。如果假定的取向如图37所示，其中相机300朝下，则机器人臂506的向下移动将使图像中的物体随着相机300的靠近而变大。如果例如图像中的物体相反地向侧面移动或向上/向下移动，则处理器4102和/或机器人臂控制器4106被配置为检测运动并确定采用的取向不正确。处理器4102和/或机器人臂控制器4106可以生成错误并提示操作者正确的取向和/或基于图像中的检测到的移动确定取向是否正确。如上所述，通过使用例如图像匹配模板算法来自动解密相机300的移动产生的图像变化。在一些实施例中，处理器4102和/或机器人臂控制器4106使用匹配模板算法确定在联接板3304处的关节取向，该关节取向被存储到LUT以用于校准。
图49示出了根据本披露的示例实施例的展示如何根据机器人空间校准立体可视化相机300和/或机器人臂506的图。在所展示的实施例中，基于旋转能力和/或长度对关节R1至R9中的每个关节和对应的连杆进行建模。存储器4120可以存储与模型相关联的数学参数。进一步地，处理器4102和/或机器人臂控制器4106可以使用数学模型来确定例如机器人臂506和/或相机300的当前位置，该当前位置可以用于基于操作者提供的预期移动计算关节如何旋转。
在所展示的示例中，关节R1设置在(0，0，0)的坐标位置处。关节R1至R9之间的长度对应于连杆的长度。在所展示的示例中，立体可视化相机300被建模为连接到九个联接器的机器人末端执行器。图49所示的三维空间是使用十个齐次变换的序列建模的，这些齐次变换可以包括矩阵乘法。前六个参考系或关节R1至R6表示机器人臂506的正向运动，并且可以使用机器人臂的Denavit-Hartenberg参数进行计算。接下来的三个参考系或关节R7至R9表示从机器人臂506的工具末端到联接板3304的末端的变换。最后的参考系R10表示从联接板3304的工具末端到立体可视化相机300的控制点的变换。
参考系或关节R7表示联接板3304的俯仰关节，其可以在0°到90°之间变化。参考系或关节R8表示联接板3304的偏航关节，并且可以根据偏航配置在-90°、0°到90°之间变化。联接板的关节R7至R9可以包括电压源和电位计。连接器3450和/或机器人臂506的联接器控制器4130可以包括被配置为接收电位计的电压输出的I/O工具末端连接器。处理器4102和/或机器人臂控制器4106被配置为接收输出电压并对应地确定联接板3304的俯仰角和偏航角。处理器4102和/或机器人臂控制器4106将联接板的俯仰和偏航信息与来自机器人臂506的关节R1至R6的传感器输出数据相组合，以计算参考系R1至R10的位置从而确定机器人臂506、联接板3304和/或相机300的三维位置。
控制点表示运动链最末端的参考系10，并且就选择特征所基于的位置方面是可完全程控的。例如，如果操作者选择辅助驱动特征，则处理器4102和/或机器人臂控制器4106被配置为将表示相机300的控制点设置为沿着控制臂304的旋转轴线在相机内部。在另一个示例中，如果操作者选择锁定到目标特征，则处理器4102和/或机器人臂控制器4106被配置为将相机300的控制点设置为光轴视线向量的原点。
返回到图48，在根据机器人空间校准相机300之后，处理器4102和/或机器人臂控制器4106被配置为根据患者空间校准机器人空间(框4808)。需要对患者空间进行校准以使立体可视化平台516能够进行患者的准确可视化，其中，需要机器人系统与患者之间的取向。在一些实施例中，此取向是固定的。在其他实施例中，如果改变，则可以感测和知道取向。在一些实施例中，将患者放置在手术室的床上，并使用一个或多个基准点4809将其与床配准。例如，如果患者正在接受脑部外科手术，则将他们固定在床上并将外部参考系固定在其颅骨上。参考系可由立体可视化相机300观察到并且可以包括比如校准目标的布置中的基准点4809，其中，同时可看见两个或更多个已知位置的非共线物体，使得参考系的、以及因此患者颅骨的位置和取向能够被确定。其他实施例可以使用被植入患者中并且在MRI或类似图像中可见的基准点4809。这样的基准点4809可以用于准确地追踪患者的颅骨以及MRI图像并将其与表示患者空间的坐标系配准。进一步地，其他实施例可以使用患者自身固有的特征的图像识别。例如，使用生物特征数据、原位X射线或类似替代性模态成像的面部识别或类似识别可以用于精确地定位患者的位置和取向。在另一个示例中，可以使用如上所述的一个或多个深度图计算以及由处理器4102和/或机器人臂控制器4106执行的表面匹配功能来确定患者面部的表面的模型。
在一个实施例中，固定并确定手术室的床相对于机器人空间的位置和取向。一些实施例包括刚性框架，该刚性框架以已知的位置和取向将床机械地与例如推车510上的配件配准。可替代地，床可以相对于机器人臂506固定，并且基准点可以用于确定位置和取向。例如，机器人推车510和床可以被固着在地板上并在手术的持续时间内是固定的。
在通过相机300可视化患者的基准点4809之后，基准点在机器人空间中的位置和取向可以由处理器4102和/或机器人臂控制器4106解密并存储，其中实现从机器人空间到患者空间的坐标系变换。应注意，从一个空间到另一个空间的坐标系变换通常是可选择的和可逆的。例如，将期望的相机运动或姿态变换成机器人空间以使处理器4102和/或机器人臂控制器4106能够确定离散的关节运动和取向可能更高效。可替代地，将信息在患者空间中的显示监视器512上呈现给外科医生可能更容易和更高效。可以通过处理器4102和/或机器人臂控制器4106将点位置和向量变换为大多数任何坐标系中的相应点位置和向量，例如，推车原点、患者参考系、GPS和/或期望的其他坐标系。
在一些实施例中，处理器4102和/或机器人臂控制器4106被配置为使用自动化迭代技术来执行这些机器人/患者空间校准和测量的方法或等同方法，以提高准确性并减少校准时间。在示例性实施例中，处理器4102和/或机器人臂控制器4106准确地知道立体可视化相机300相对于基准点的位移和取向。可以准确地执行机器人臂506的运动，并且可以准确地分析基准点的后续图像。可以通过处理器4102和/或机器人臂控制器4106组合校准参数的可视化和知识，使得可以以自动方式准确地执行测量、以及因此校准。例如，这对于从一个外科手术和一个患者到下一个外科手术和患者保持准确校准是重要的。
在一些示例中，处理器4102和/或机器人臂控制器4106被配置为确定机器人臂506和/或相机300相对于患者空间和/或机器人空间的边界。边界表示在软件中实现的虚拟极限，以防止机器人臂506和/或相机300接触或逃出定义的区域或空间。在一些示例中，在存储器4120中存储的一个或多个LUT或寄存器中将极限定义为比例因子，这些比例因子由处理器4102和/或机器人臂控制器4106施加到关节移动信号。随着接近每个单独边界的极限，比例因子的大小减小到零。例如，可以基于操作者输入来确定关节旋转量和速度。然而，在将信号发送到适当的关节之前，处理器4102和/或机器人臂控制器4106按比例将关节转速调节该比例因子。另外地，处理器4102和/或机器人臂控制器4106可以保持旋转量，使得关节移动期望的量，但是速度减小，直到关节到达边界。应当理解，如果期望的移动远离边界，则在应用了比例因子的旋转区域中的关节可以不施加比例因子。因此，处理器4102和/或机器人臂控制器4106可以基于当前位置和操作者估计的期望移动将比例因子施加于某些关节，同时将比例因子‘1’施加于其他关节。
比例因子严格在零与一之间，这能够将比例因子结合在一起并使软件能够支持无限数量的可能边界。比例因子可以随着接近边界而线性地减小，这引起随着机器人臂506接近边界，关节R1至R9的旋转逐渐变慢。在其他示例中，比例因子可以随着接近边界而指数地减小。
通常，操作者通常将注意力集中在显示监视器512上的术野或立体图像上。这样，操作者通常不知道机器人臂506的各个连杆和/或联接板3304的位置。因此，何时机器人臂506将要达到极限或撞击机器人臂506的另一部分并不总是直观的。因此，关节限位件可以始终是有效的，并防止机器人臂506的任何部分击中自身或将关节置于奇异配置，比如肘锁定。示例处理器4102和/或机器人臂控制器4106被配置为基于机器人臂506的当前位置来确定比例因子。处理器4102和/或机器人臂控制器4106还可以考虑操作者提供的预计移动指令，以确定要施加哪个比例因子。基于当前和/或预计的移动，处理器4102和/或机器人臂控制器4106使用例如一个或多个LUT基于关节角度空间中的距离来计算比例因子。关节角度间隔可以定义已知引起关节锁定或引起机器人臂506击中自身的关节角度的某些组合。这样，关节角度间隔确定是基于确定和比较关节相对于彼此的当前(和/或预计的)移动。
除了机器人臂506的边界之外，存储器4120还可以存储与笛卡尔极限有关的边界，笛卡尔极限防止机器人臂506击中推车510，防止机器人臂击中显示监视器512和/或防止相机300击中机器人臂506。处理器4102和/或机器人臂控制器4106可以使用例如在结合图49所讨论的坐标系来确定和/或施加笛卡尔极限。在一些示例中，极限可以是与某个连杆相关或与其固着。这样，当连杆在3D空间中移动时，连杆周围的边界相应地移动。在其他示例中，这些极限是静态的并且固定到图49中所示的3D空间内的某些坐标平面或线上。处理器4102和/或机器人臂控制器4106可以通过计算或确定在笛卡尔空间中的比例因子和施加正向运动变换来施加这些极限。
示例处理器4102和/或机器人臂控制器4106还可以确定患者边界，患者边界定义了机器人臂506和/或相机300的任何点都不能违反的虚拟地点。可以通过针对机器人臂506和/或联接板3304上的每个位置关节到边界平面的位置的距离计算笛卡尔空间中的比例因子来确定患者边界。显示处于图50的取向5002的边界平面被实现为位于非倾斜配置的某个竖直Z位置处的X、Y平面。对于倾斜配置，比如显示处于图50的取向5004的患者半坐，边界平面根据相机300面向的方向而被设置为位于正X值或负X值的Y、Z平面。
以上讨论的示例边界可以作为默认边界存储到存储器4120和/或在外科手术之前通过处理器4102和/或机器人臂控制器4106确定。在一些实施例中，可以基于输入的要执行的外科手术类型来访问或确定某些边界。例如，可以通过相机300对患者进行成像并且使用校准信息/参数确定患者深度来确定患者边界。处理器4102和/或机器人臂控制器4106然后可以创建边界并将其施加于患者上方或旁边指定的位置。在检测到监视器、外科手术工作人员或外科手术器械之后，可以创建类似的边界。
例如，可以在特定外科手术工具的使用周围确定边界，使得大小较大的工具或接触时会带来某些风险的工具。示例处理器4102和/或机器人臂控制器4106可以接收工具类型的输入和/或使用图像分析来检测立体图像中的工具。在其他示例中，处理器4102和/或机器人臂控制器4106计算与外科手术器械有关的深度信息，以确定其大小、取向和/或位置。示例处理器4102和/或机器人臂控制器4106将外科手术器械的图像转换成坐标系，比如结合图49讨论的坐标系。处理器4102和/或机器人臂控制器4106还将具有小于‘1’的值的比例因子施加于与外科手术器械的位置相对应的区域，由此防止机器人臂506和/或相机300意外接触外科手术工具。在一些实例中，处理器4102和/或机器人臂控制器4106可以在手术期间追踪外科手术工具的移动并相应地改变边界。
图51展示了根据本披露的示例实施例的如何基于到边界的距离来按比例调节机器人臂506和/或联接板3304的关节转速的示例。曲线图5102示出了关节R1的旋转速度，并且曲线图5104示出了关于第一区5112和第二区5114的肩角(例如，旋转位置)5110，该第一区与靠近边界的区域相对应，在该区域中，比例因子从值‘1’减小，该第二区与比例因子减小到值‘0’的边界相对应。
图51示出了当机器人臂506、特别是关节R1使至少一个连杆和/或立体可视化相机300接近第一区5112时，旋转速度相对于到第二区5114的距离而动态地按比例调节。然后，当至少一个连杆和/或立体可视化相机300到达第二区5114时，比例因子减小到值‘0’，并且所有朝向边界的关节旋转移动都停止。换言之，当机器人臂506和立体可视化相机300接近极限或边界时，处理器4102和/或机器人臂控制器4106使关节R1至R9中的至少一些的转速减小并在当到达第二区5114时最终达到‘0’度/秒的速度(如曲线图5102和5104中的20秒到30秒之间所示)。该曲线图还示出了当至少一个连杆和/或立体可视化相机300背离第二区5114移动时，处理器4102和/或机器人臂控制器4106使用比例因子值‘1’，因为第二区5114没有被接近。
在一些实施例中，处理器4102和/或机器人臂控制器4106被配置为使显示监视器512或其他用户界面显示一个或多个表示机器人臂506的状态的图形图标。例如，当机器人臂506和/或相机300位于比例因子的值为‘1’的区或区域中时，可以显示绿色图标。另外地，当机器人臂506和/或相机300位于第一区5112内时，可以显示黄色图标，以指示关节转速变慢。进一步地，当机器人臂506到达第二区5114或边界/极限时，可以显示红色图标，以指示越过边界的进一步移动是不可能的。
返回到图48，在确定机器人空间边界之后，示例处理器4102和/或机器人臂控制器4106被配置为使机器人臂506能够与立体可视化相机300一起操作(框4812)。这可以包括能够在外科手术期间使用机器人臂506和立体可视化相机300。这可能还包括启用功能，比如辅助驱动和/或锁定到目标。另外地或可替代地，这可以包括启用图41的一个或多个输入装置1410处的一个或多个用户控件。在机器人臂506和立体可视化相机300启用之后，示例过程4800结束。如果立体可视化平台516被重新初始化，发生检测到的故障或者校准不能被验证，则示例过程4800可以重复。
D.立体可视化相机和机器人臂操作实施例
示例立体可视化相机300被配置为与机器人臂506和/或联接板3304结合操作以提供增强的可视化特征。如以下更详细讨论的，增强特征包括扩展焦点、自动聚焦末端定位、提供图像中的物体之间距离的测量值、提供联合可视化机器人运动、下垂补偿、图像融合以及可视化位置/取向的存储。增强的可视化特征还可以包括机器人臂506的辅助驱动能力和锁定到目标能力，该锁定到目标能力使相机能够锁定到特定视图上，同时使机器人臂506和/或联接板3304的取向能够改变。
1.扩展焦点实施例
在一些实施例中，机器人臂506和/或联接板3304可以提供相机300的扩展焦点。如以上结合图43所讨论的，立体可视化相机300包括用于改变工作距离的主物镜组件702。为了聚焦在外科手术部位中的物体上，主物镜组件702将焦点距离从恰好在物体之前改变为刚好经过物体。然而，在一些实例中，主物镜组件702在实现最佳聚焦之前达到前工作距离透镜408的机械极限。
示例处理器4102和/或机器人臂控制器4106被配置为检测何时达到机械极限和/或替代地确定透镜408将要达到机械极限并相应地调整机器人臂506的位置。处理器4102和/或机器人臂控制器4106被配置为使用机器人臂506来通过计算相机300的视线向量并使机器人臂506沿着光轴被致动来扩展焦点。处理器4102和/或机器人臂控制器4106使用立体可视化相机300的上述校准参数来确定实现聚焦所需的距离。例如，如上所讨论的，前工作距离透镜408的位置被映射到主物镜组件702到目标物体的物理工作距离。该距离提供关于相机300的中心距目标物体有多远的估计。另外地，校准参数可以包括前工作距离透镜408的电机或编码器步长到工作距离之间的映射，以提供实现某个工作距离或聚焦所需的距离的估计。相应地，处理器4102和/或机器人臂控制器4106可以读取前工作距离透镜408的当前编码器值并确定表示从相机300到目标物体的竖直距离的米数。换言之，处理器4102和/或机器人臂控制器4106将透镜移动(以编码器计数为单位)转化为机器人空间中的物理距离。然后，处理器4102和/或机器人臂控制器4106确定关节转速、方向和/或将使机器人臂506沿光轴移动确定的距离的持续时间(例如，移动顺序)。然后，处理器4102和/或机器人臂控制器4106将一个或多个信号发送到与移动顺序相对应的适当关节，以使机器人臂506提供扩展焦点。在一些情况下，处理器4102和/或机器人臂控制器4106可以在信号被传输到机器人臂506和/或联接板3304的关节R1至R9之前施加比例因子。
应当理解，焦点的扩展引起机器人臂506的自动移动。换言之，机器人臂506可以继续使相机300运动通过最佳聚焦点。另外地，在没有来自操作者的移动机器人臂的输入的情况下、而是在关于改变焦点的操作者图像情况下发生机器人臂506的移动。在一些情况下，处理器4102和/或机器人臂控制器4106可以自动地调整焦点以保持清晰的图像。
在一些实施例中，处理器4102和/或机器人臂控制器4106被配置为响应于通过输入装置1410按下单个按钮而使机器人臂506沿着相机的工作距离移动。此特征使操作者能够固定主物镜组件702的电机位置，并通过移动机器人臂506和/或联接板3304获得聚焦。如以上结合图43所讨论的，此“机器人自动聚焦”特征或过程通过处理器4102和/或机器人臂控制器4106估计或确定从主物镜组件702的前部到目标的距离来实现。处理器4102和/或机器人臂控制器4106被配置为使用所确定的距离和反馈定律来命令机器人臂506的竖直速度(或沿相机300的光轴的速度)，直到所确定的距离达到值‘0’。处理器4102和/或机器人臂控制器4106可以在使目标物体聚焦的过程期间的任何时候使用此自动聚焦算法。在一些实施例中，处理器4102和/或机器人臂控制器4106可以从最后一次在搜索自动聚焦方向时将自动聚焦用作种子或起点开始使用机器人臂506和/或联接板3304的移动，由此提高使目标物体聚焦的速度和准确性。
应当理解，示例处理器4102和/或机器人臂控制器4106可以被配置为附加于或替代移动前镜组714、镜筒组718和/或最后的光学组742使机器人臂506和/或联接板3304移动，每一组都可以通过相应的电机来移动，该电机的编码器计数映射到位置、焦点、工作距离和/或放大率。例如，当前镜组714、镜筒组718和/或最后的光学组742中的任何一个处于将要接近移动极限时，处理器4102和/或机器人臂控制器4106可以使机器人臂506沿光轴移动。在一些示例中，处理器4102和/或机器人臂控制器4106可以使机器人臂506首先移动到大致焦点对准或接近聚焦的位置，然后调整前镜组714、镜筒组718和/或最后的光学组742，以使目标图像接近理想聚焦。
2.自动聚焦末端定位实施例
在一些实施例中，机器人臂506和/或联接板3304可以与立体可视化相机300结合操作以提供自动聚焦末端定位。在这些实施例中，处理器4102和/或机器人臂控制器4106被配置为定位相机300以使目标外科手术部位可视化，而无需特定图像及其内容的信息或反馈。处理器4102和/或机器人臂控制器4106可以使用以上结合图42和图49所讨论的经校准的相机模型参数来执行开环相机定位。处理器4102和/或机器人臂控制器4106可以使机器人臂506定位立体可视化相机300，使得相机的焦点或末端在场景中。立体可视化相机300基于与机器人臂506和/或联接板的姿态有关的校准信息和相机300的光学校准参数相对于坐标系确定相机300的瞄准方向。处理器4102和/或机器人臂控制器4106可以通过相对于机器人臂506的坐标系的几何定义的视线向量来表征瞄准，视线向量与相机300的立体光轴重合地对准。
在一些实施例中，处理器4102和/或机器人臂控制器4106被配置为执行初始化例程，以将校准参数和/或其他存储器数据与可以用于末端定位的实际物理参考位置对准。例如，处理器4102和/或机器人臂控制器4106可以使机器人臂506和/或联接板移动到“位置0”处的硬停止，在该位置，所有位置数据域都设置为0(或三维空间中的0，0，0)。相对于此点进行进一步移动，并根据例如机器人臂506和/或联接板3304的不同关节电机的编码器计数更新位置数据。
在其他实施例中，处理器4102和/或机器人臂控制器4106可以基于一个或多个可视化参数来确定或设置相机300的末端位置。例如，处理器4102和/或机器人臂控制器4106可以使用投影中心位置作为视线向量的近端(例如，用于使相机300瞄准的“起点”)。在一些外科手术系统中，外科手术器械上的这个点称为“后”点，并且可以相对于末端设置。处理器4102和/或机器人臂控制器4106根据末端和后点计算视线向量方向以确定相机300相对于机器人臂506的坐标系的瞄准。
另外地或可替代地，处理器4102和/或机器人臂控制器4106可以确定焦点距离，焦点距离用于计算立体图像的焦平面距投影中心的范围。图像在焦平面的中心是“末端”点。处理器4102和/或机器人臂控制器4106可以使用经校准的工作距离确定从相机300到末端点的实际空间物理距离。进一步地，如以上关于放大率校准所讨论的，处理器4102和/或机器人臂控制器4106可以确定放大率。
3.距离测量实施例
在一些实施例中，机器人臂506和/或联接板3304可以与立体可视化相机300结合操作以提供立体图像中的物体之间的距离测量值和/或深度测量值。例如，处理器4102可以使用变换为机器人空间的光学校准参数在维度上确定相机300相对于机器人臂506的坐标系的焦点或末端中心。如以上结合图45和图46所讨论的，处理器4102可以使用图像中的任何点的视线向量和左/右视差信息通过三角测量法计算其相对于末端或相对于图像中的任何其他点的三维位置。这种三角测量法使处理器4102能够将图像中的任何点映射到机器人坐标系。这样，处理器4102可以相对于机器人臂506的同一坐标空间计算多个物体的位置和/或深度和/或物体的不同部分的位置，这使得能够确定物体之间的距离测量值和/或深度测量值。
处理器4102可以使距离和/或深度测量信息在视觉上显示在立体图像上和/或结合立体图像显示。在一些情况下，操作者可以通过选择屏幕上的物体或者使用手指或外科手术器械直接指向患者中的实际物体来使用输入装置1410选择两个或更多个物体。处理器4102接收选择的指示并相应地确定物体的坐标及其之间的距离。处理器4102然后可以结合立体图像显示标尺图形和/或指示距离的值(和/或所选择的物体的指示)。
进一步地，物体的追踪使得能够存储先前被成像(或在其他图像中提供)的其他物体的位置，并在以后进行比较。例如，相机300可以移动到至少一些物体在当前FOV之外的位置。然而，操作者可以指导处理器4102确定在FOV内的物体与当前在FOV外的先前被成像的物体之间的距离。
在一些实施例中，处理器4102可以使用物体的坐标来融合交替模态可视化产生的数字图像或模型，比如MRI图像、X射线图像、外科手术模板或指南、术前图像等。示例处理器4102被配置为使用坐标平面中的物体位置以及深度信息来正确按比例调节、定向和定位交替模态可视化。处理器4102可以选择在所显示的立体图像中具有相同特征(例如，物体)的交替模态可视化的至少一部分。例如，处理器4102可以使用图像分析例程在立体图像中定位血管图案、疤痕、畸形或其他可观察到的物理结构或物体。然后，处理器4102定位交替模态可视化中的相同特征。处理器4102选择交替模态可视化的包括相同特征的部分。然后，处理器4102可以使用立体图像中的特征之间的坐标、深度和/或距离来按比例调节、旋转和/或定向交替模态可视化的所选择部分。然后，处理器可以将交替模态可视化的经调整的部分与立体图像融合。处理器4102可以追踪可识别的物体如何相对于彼此和/或相对于FOV移动，以确定融合图像要如何被相应地更新。例如，相机300向另一个外科手术位置的移动可以使处理器4102选择术前图像的另一个部分以与另一个外科手术位置的立体图像融合。
在一些实例中，处理器4102和/或机器人臂控制器4106可以使机器人臂506移动以追踪FOV中的物体的移动。处理器4102使用物体的坐标位置来检测移动或混淆。响应于检测到移动或混淆，处理器4102和/或机器人臂控制器4106被配置为确定要如何移动机器人臂506和/或联接板3304以追踪物体的移动或克服混淆。例如，处理器4102和/或机器人臂控制器4106可以沿圆形路径移动机器人臂506以从多个方向可视化患者视网膜上的点，以避免来自工具的反射或混淆。
4.图像融合实施例
如上所讨论的，处理器4102被配置为将来自交替模态的图像融合到实况立体图像。例如，如果外科医生正在对患有深部脑肿瘤的患者进行手术，则外科医生可以指导处理器4102在正确的位置、正确的深度和立体视角处可视化脑肿瘤的MRI图像，作为相机300产生的在显示监视器512上的其实况图像。在一些实施例中，处理器4102被配置为将FOV中一个或多个物体的距离和/或深度测量信息用于与交替模态视图融合。处理器4102还可以提供使用立体光轴(例如，视线向量)、IPD和/或相机模型参数的成像融合，相机模型参数是在结合图42讨论的校准步骤中计算的并存储到一个或多个LUT。光学校准参数的使用使得处理器4102能够显示交替模态图像，就好像图像是由立体可视化相机300获取的一样。处理器4102可以使用相机的光学校准参数基于相机300的有效IPD来对交替模态图像进行建模、按比例调节或修改，使得鉴于施加的相机300的工作距离和放大率，在距外科手术部位中的焦点的距离Z处观察交替模态图像。
图52示出了根据本披露的示例实施例的用于将交替模态可视化产生的图像与立体图像融合的示例过程5200的图。尽管参照图52中所展示的流程图描述了过程5200，但应当理解的是，可以使用执行与过程5200相关联的步骤的许多其他方法。例如，许多框的顺序可以改变，某些框可以与其他框组合，并且所描述的许多框是可选的。进一步地，可以在多个装置之间执行过程5200中描述的动作，该多个装置包括例如图14的示例立体可视化相机300的光学元件1402、图像捕捉模块1404、电机与照明模块1406、信息处理器模块1408和/或图41的关节R1至R9以及机器人臂控制器4106。例如，过程5200可以由处理器4102的存储器1570中存储的程序来执行。
过程5200的示例处理器4102被配置为使用光学校准参数来将例如先前生成的患者的三维MRI数据作为具有正确视角的立体图像加以渲染，作为由相机300记录的立体图像。处理器4102可以从图41的装置4104接收交替模态可视化(比如MRI数据)(框5202)。处理器5202还可以通过输入装置1410接收输入5203，该输入指示交替模态可视化要与立体可视化相机300记录的立体图像融合(框5204)。
在过程5200期间，当外科医生将相机300定位在外科手术的期望取向和位置时，处理器4102获得姿态数据5205(框5206)。姿态数据5201可以包括机器人臂506、联接板3304和/或立体可视化相机300的位置。处理器4102还从一个或多个LUT(比如图42的LUT 4203)访问与相机300有关的放大率和工作距离光学校准参数5207(框5208)。处理器4102使用姿态数据5205结合放大率和工作距离光学校准参数5207来确定相机300的立体轴线和IPD(框5210)。处理器4102应用姿态数据、立体轴线数据、IPD数据和/或光学校准参数以选择MRI数据的至少一部分和/或修改、按比例调节、定向、分割等MRI数据的所选择部分，使得所选择部分是在立体可视化相机300所观察到的患者脑视图的视角下提供的(框5212)。处理器4102被配置为应用立体光轴视线向量和IPD以将MRI数据的所选择部分渲染为与相机300的当前实况视图相对应的立体图像中(框5114)。然后，处理器4102可以如本文中所讨论的那样将立体MRI图像与相机300产生的实况立体图像融合(框5216)。
如上所讨论的，处理器4102可以使用物体或特征来将定位渲染的MRI数据或将其与立体可视化相机300产生的立体图像融合。例如，处理器4102可以使用一个或多个图像分析例程来识别立体图像中的不同特征或物体，定位渲染的立体MRI数据中的相同的不同特征，并将渲染的立体MRI数据放在相机立体图像的适当部分上，使得特征或物体对准并具有相同的比例、大小、深度、取向等。处理器4102可以使渲染的立体MRI数据至少部分透明以使实况图像也是可见的。另外地或可替代地，处理器4102可以调整渲染的立体MRI数据的边界处的阴影以减小渲染的立体MRI数据与相机立体图像之间的视觉对比度。图52的示例过程5200然后可以结束。
示例过程5200使外科医生能够在相对于相机300的立体图像的准确位置看见脑肿瘤。外科医生可以尤其在外科手术中途使用这种融合可视化。例如，外科医生可以以被最佳描述为“x射线视觉”的方式看到在当前解剖水平下方的目前为止未露出的肿瘤。可以通过输入装置1410来调整实况或渲染的立体MRI图像的透明度的控制，以优化融合图像的清晰度。该示例过程相应地实现肿瘤的更安全、更准确且高效的切除。
在一些实施例中，如果FOV、焦点、工作距离和/或放大率改变，则可以重复过程5200。在这些实施例中，处理器4102被配置为使用经更新的姿态信息并从查找表中提取对应的立体轴线和IPD，以将MRI数据重新渲染为经更新的准确立体图像。处理器4102被配置为将新渲染的MRI数据融合到当前立体图像中，使得实况视图和对应的MRI数据位于正确的位置、深度和取向。
在一些实施例中，示例处理器4102被配置为与立体可视化相机300、机器人臂506和/或联接板3304一起操作以生成实况截面融合可视化。外科手术部位的截面可视化为外科医生提供了明显改善的视点，而这种视点以其他方式是无法获得的。图53示出了患有胶质母细胞瘤5302的患者5300的图，在患者头部的内部以幻影方式展示了胶质母细胞瘤。具体地，胶质母细胞瘤5302可能位于患者的脑部5304中，其以光幻想线示出。图53的图是典型的例如来自MRI装置的术前诊断图像，其中，堆叠了许多图像切片，并且渲染并可视化了患者头盖骨5306的内部的3D模型。
在所展示的示例中，要通过脑外科手术去除胶质母细胞瘤5302。图54示出了正经历开颅手术5400以提供头盖骨5306的入路的患者5300的立体图的图。手术5400还包括使用外科手术器械5402进行脑解剖和牵拉。通常，将外科手术入路部位5404制成深圆锥形以触及到胶质母细胞瘤5302。
图55示出了根据本披露的示例实施例的立体可视化平台516的图，该立体可视化平台包括立体可视化相机300和机器人臂506以可视化开颅手术5400。如图所示，开颅手术5400被设置成使得机器人臂506被定位成使立体可视化相机300沿着圆锥形外科手术部位5404的可视化轴线5500瞄准穿过头盖骨5306的顶部。如图57所示，手术外科医生的视线通常穿过头盖骨506的顶部。如从图7可以了解的，很难看到外科手术的深度、以及例如外科手术器械5402的末端。
图55所示的示例立体可视化相机300提供了沿圆锥形外科手术入路部位的轴线5500向下观察到的高度准确的立体图像。如上所讨论的，处理器4102使用相机300的左视图与右视图之间的针对两个视图共用的所有点的视差信息确定每个点距已知参考深度(例如物平面)的深度。在所展示的示例中，左视图与右视图之间的视差等于值‘0’，这使得处理器4102能够确定图像中的每个点的深度图。深度图可以由处理器4102重新渲染，就如同该图是从不同角度观察到一样。进一步地，处理器4102被配置为在接收到外科医生和/或操作者的指令时使深度图的至少一部分变透明。在所展示的示例中，处理器4102可以使深度图的在图57的截面AA下方的部分变透明，由此使处理器4102能够生成实况外科手术入路部位5404的截面图。
图56示出了圆锥形外科手术入路部位5404的幻影图。为了清楚起见，在本讨论内容中，所展示的外科手术入路部位5404包括阶梯状的圆锥形段。在此示例中，部位5404的掠锥角由角度‘α’表示。
图58示出了用于开颅手术5400的圆锥形外科手术入路部位5404的图。外科手术器械5402的大小和形状的先验知识、以及其位置、方向和/或取向的图像识别使处理器4102能够为图58所示的截面图生成图像数据。在图57表示的立体视图中识别器械5402使得能够将其精确地放置在图58的截面图中并且可视化例如在对患者的脑部5304进行手术时外科医生看不见的器械的下侧。
在一些实施例中，处理器4102被配置为将胶质母细胞瘤5302的图像与近实况或实况立体图像融合。如上所讨论的，机器人臂506和相机300的组合提供了相对于机器人参考系或机器人空间的视图的高度精确的位置、方向和/或取向信息。在根据患者5300的参考系将机器人臂506和相机300配准或校准之后，通过处理器4102生成外科手术入路部位5404的准确位置、方向和/或取向信息及其对于患者的相应位置。处理器4102使用图像融合来将胶质母细胞瘤5302的MRI图像的选择部分叠加到截面图上，如图59所示。另外地，图像融合使得能够可视化其他相关的MRI图像数据，包括例如期望包括在图像中的脑部血管或其他结构。示例性外科手术继续进行，除了器械5402的安全间隔或位置外，外科医生还能够看到并获悉胶质母细胞瘤5302的深度位置。
图59示出了外科手术入路部位5404的截面图的图。在此示例中，立体可视化相机300可看见胶质母细胞瘤5302的一部分5302’。图60示出了正交于图57的平面AA的截面图的图。该图可以展示处理器4102基于与外科手术入路部位5404的实时视图融合的MRI数据生成的截面图。如图61所示，处理器4102对深度图的使用能够在不同的期望截面平面和截面平面的组合处渲染外科手术入路部位5404。渲染使处理器4102能够显示完整的胶质母细胞瘤5302，包括来自MRI数据的可见部分5402’和提示。处理器4102可以从相机300的视角或作为截面图显示可视化，如图61所示。
5.联合可视化的机器人运动实施例
在一些实施例中，示例处理器4102与机器人臂控制器4106、立体可视化相机300、机器人臂506和/或联接板3304结合操作以将可视化与机器人运动联合。在一些示例中，处理器4102和/或机器人臂控制器4106在闭环中操作以基于机器人运动提供联合可视化。在这些示例中，处理器4102和/或机器人臂控制器4106被配置为基于特定图像及其内容(例如，物体、可识别特征等)定位机器人臂506、联接板3304和/或相机300以用于外科手术部位的可视化。如上所讨论的，处理器4102和/或机器人臂控制器4106知道机器人臂506和相机300的位置。另外地，相机记录的图像数据是立体的，这样提供了深度数据。因此，处理器4102和/或机器人臂控制器4106可以确定每个可视化点在患者上或机器人三维空间中的位置。因此，当机器人臂506使相机300从具有初始图像的初始位置沿期望的方向移动时，预料在第二移动后图像中看到期望的图像变化。
可替代地，可以通过处理器4102和/或机器人臂控制器4106被配置为将表示期望移动的方程应用到初始图像数据来计算预料的移动后图像，这产生了计算出的第二图像。如上所述，处理器4102和/或机器人臂控制器4106使用匹配模板例程或函数将移动后的实际图像与计算出的图像进行比较。如果检测到错误，则处理器4102和/或机器人臂控制器4106可以通过相应地移动机器人臂506和/或相机300来校正错误。例如，给定初始图像和从操作者接收到的期望的移动“向右移动100个像素”，处理器4102和/或机器人臂控制器4106可以将理论移动后的图像的图像数据计算为向右移位100个像素。然后，通过执行对如所披露的不同协调的机器人关节的命令来进行物理移动，以将机器人臂506和/或相机300重新定位到理论上期望的位置。相机300记录第二图像，该第二图像由处理器4102和/或机器人臂控制器4106使用例如匹配模板函数或其等同物与计算出的图像数据进行比较。如果移动是准确的，则数据将在两个图像完全对准的相机300的末端处指示100％的关联性。然而，如果实际图像数据在另一个位置(例如，向右101个像素和向上5个像素)显示出最佳关联性，则可以通过处理器4102和/或机器人臂控制器4106修改移动，以通过经由机器人臂506将相机300物理地向左移动1个像素并向下移动5个像素来校正错误。
6.下垂补偿实施例
在一些实施例中，机器人臂506的关节R1至R9中的至少一些和/或联接板3304会发生一些下垂。处理器4102和/或机器人臂控制器4106可以被配置为提供机器人臂下垂的校正。在一些情况下，处理器4102和/或机器人臂控制器4106被配置为对一系列小移动执行下垂补偿，使得在机器人臂506的运动范围内保持运动准确度。例如，为了表征和消除下垂，在练习特定机器人关节的运动方向上执行下垂补偿，以根据实际机器人关节旋转位置来隔绝错误。通过将错误与通过将相机300的负载重量乘以力矩臂(或连杆)长度而计算出的转矩进行比较，可以确定那个关节的顺从性。可替代地，可以使用分析技术，例如有限元分析(“FEA”)来计算关节顺从性。
使用并存储在所有旋转位置中所有关节的上述合顺从性表征，处理器4102和/或机器人臂控制器4106可以计算特定相机位置的总体下垂。处理器4102和/或机器人臂控制器4106可以确定对于LUT和/或校准寄存器的每个相机位置的下垂校正因子。进一步地，处理器4102和/或机器人臂控制器4106可以将下垂校正因子应用于机器人臂移动命令或移动顺序(施加比例因子之前或之后)，使得下垂补偿合并到移动命令/信号中。可以在进行中的运动过程中计算校正因子，由此实现对相机300的精确追踪和跟踪。此校正因子进一步消除了对用于立体可视化平台516的校准/定位的第二相机的需要，并且消除了在相机300上具有基准目标的需要，因此消除了悬垂干扰的问题。
7.可视化位置/取向存储实施例
在一些实施例中，示例处理器4102被配置为保存可视化参数以返回到立体可视化相机300的某个取向和/或位置。可视化参数可以包括立体可视化相机300、机器人臂506和/或联接板3304的视线向量、位置、放大率、工作距离、焦点、位置和/或取向。
在一个示例中，外科医生可能想要在视觉照明下在血管的一部分的吻合期间具有小缝合线的高度放大的可视化。然后，外科医生可以在红外照明下缩小到整个血管的较宽视图，以检查通畅性。然后，外科医生可以返回放大的可视化以完成缝合。在此示例中，处理器4102被配置为保存每个位置处的可视化参数。处理器4102可以存储与已经连续被观察了一段时间的位置相对应的位置，所述时间段比如是两秒、五秒、三十秒等。处理器4102还可以在通过输入装置1410从外科医生接收到指令之后存储位置。
处理器4102可以显示所存储的位置和/或路点的清单。存储位置的选择使处理器4102和/或机器人臂控制器4106将机器人臂和/或联接板3304移动到先前的位置并调整光学参数，包括如先前设置的光照明和滤波。这样的配置使外科医生能够无缝顺序地观察所有存储的位置，而无需从所显示的手术图像中移开他们的眼睛或从该部位移开他们的手和器械。
在一些实施例中，处理器4102可以被配置为使操作者能够在外科手术之前创建路点或位置/取向。可以顺序地提供路点，这使得处理器4102在从操作者接收到要前进的输入之后在手术期间能够前进经过指定的路点。处理器4102可以通过触摸屏输入装置1410a提供机器人臂506、联接板3304和/或相机300的三维表示，以使操作者能够虚拟地定位立体可视化平台516。这可以包括相对于虚拟化的患者和/或基于患者的交替模态可视化提供放大率、工作距离和/或焦点。处理器4102被配置为针对每个路点将可视化参数存储到例如存储器1570和/或存储器4120。
在一些实施例中，处理器4102被配置为执行特定于某些手术的某些可视化。例如，处理器4102中的图像识别功能用于使相机300与感兴趣物体自动地对准。处理器4102将外科手术部位的图像与目标物体的图像或先前图像进行比较，以提供期望的物体的识别及其在立体图像内的位置和取向。处理器4102和/或机器人臂控制器4106被配置为例如将机器人臂506移向物体，并且将相机300朝向物体变焦，并为特定物体和手术设置期望的图像视图属性。例如，在眼科学中，可以将实况视网膜图像与保存的图像进行比较，使得例如可以根据图像识别来定位患者视网膜的视神经头。然后，处理器4102和/或机器人臂控制器4106自动移动机器人臂506和/或联接板3304，并使相机300聚焦和/或改变其放大率，使得相机300的末端指向神经头以进行诊断。然后，处理器4102可以将相机300和/或监视器512设置为没有红色着色的图像显示，以使视网膜的特征更容易与周围组织区分开。
除了保存并返回到存储的可视化以外，示例处理器还可以保存从一个视图到另一个视图的运动路径。在以上讨论的吻合示例中，处理器4102和/或机器人臂控制器4106可以使机器人臂506和/或相机300在高放大率下跟踪血管的整个长度以检查动脉瘤或其他状况。处理器4102可以被配置为根据需要识别并跟踪连续的血管。处理器4102可以对有限的像素集执行匹配模板例程，以有效确定机器人臂506和/或相机300的运动方向。
示例处理器4102还可以在从不同视角进行的物体的可视化内编程并存储运动路径。例如，可以通过对处理器4102和/或机器人臂控制器4106编程以绕眼睛内的点枢转来执行患者的眼睛的眼科前房角镜检查。在此示例中，机器人臂506以大体上圆锥形的运动挥动相机300，使得从多个视角观察患者的眼睛。外科手术部位可视化的这种运动可以用于选择最佳角度，以防止来自照明的假反射或以替代性观察角度看到周围障碍物。
在一些实施例中，处理器4102被配置为减少深度图计算中的遮挡。由于立体图像的两个视图的视差，因此深度图计算中固有遮挡，其中，第一个视图看到的部位的某个部分与另一个视图不同。因此，每个视图都看不到另一个视图的某个部分。通过在使用图像像素的三维位置的知识的同时在不同位置之间移动机器人臂506并重新计算深度图，减少了遮挡。通过在执行已知运动步长之后迭代地计算图，可以将深度图制作得更准确，计算预计的图变化，通过差异确定误差，并且构建平均图。
E.辅助驱动实施例
在一些实施例中，处理器4102和/或机器人臂控制器4106被配置为执行由存储在存储器1570和/或4120中的指令所定义的一个或多个算法、例程等，以使机器人臂506和/或联接板3304能够基于操作者施加的用于移动立体可视化相机300的检测到的力来提供动力关节移动。在这些实施例中，通过将立体可视化相机300移动到期望的位置和/或取向，辅助驱动特征使机器人臂506能够作为外科医生的延伸操作。如下所述，处理器4102和/或机器人臂控制器4106被配置为监视操作者施加的力/扭矩/移动以及臂关节的位置以推断操作者的意图并相应地移动机器人臂506和/或联接板3304。
图62示出了根据本披露的示例实施例的展示用于为立体可视化相机300提供辅助驱动的算法、例程或过程6200的图。尽管参照图62中所展示的流程图描述了过程6200，但应当理解的是，可以使用执行与过程6200相关联的步骤的许多其他方法。例如，许多框的顺序可以改变，某些框可以与其他框组合，并且所描述的许多框是可选的。进一步地，在过程6200中描述的动作可以在多个装置之间执行，该多个装置包括例如图14的示例性立体可视化相机300的信息处理器模块1408和/或图41的关节R1至R9和机器人臂控制器4106。在一些示例中，过程6200可以通过机器人臂控制器4106的存储器4120中存储的程序执行。当对相机300施加力时，示例过程6200可以周期性地执行。例如，过程6200可以在每个更新周期采样力/转矩数据，其可以是1(“ms”)、5ms、8ms、20ms、50ms等。
在所展示的实施例中，处理器4102和/或机器人臂控制器4106从传感器3306接收与操作者在相机300上施加的力有关的力/转矩输出数据6201。处理器4102和/或机器人臂控制器4106被配置为对接收到的输出数据6201进行过滤(框6202)。输出数据可以包括力和/或转矩向量。过滤可以包括应用面向推车振动的第一低通滤波器、第二低通滤波器和/或陷波滤波器。在其他示例中，处理器4102和/或机器人臂控制器4106可以使用单个低通滤波器和陷波滤波器。
示例处理器4102和/或机器人臂控制器4106还从机器人臂506和/或联接板3304中的一个或多个关节传感器接收关节位置数据6203。处理器4102和/或机器人臂控制器4106使用关节位置数据6203来提供经过滤的力/转矩输出数据的补偿(框6204)。补偿可以包括重力补偿和/或力施加点补偿。对于重力补偿，从经过滤的数据中去除地球重力的作用。对于力施加点补偿，处理器4102和/或机器人臂控制器4106基于对相机300施加力的点(例如，控制臂304)向经过滤的数据(和/或重力补偿数据)提供补偿。如以上结合图35所讨论的，传感器3306成角度地与控制臂304相距某个偏移距离。偏移距离和角度会导致施加在控制臂304处的力在传感器3306中被检测时略微有方向和角度移位。力施加补偿调整力值，就像直接将力施加到传感器3306上而不是施加到控制臂304一样。可以基于传感器3306与控制臂304之间的已知角度和/或距离来预先确定力施加补偿。重力补偿和力施加点补偿共同修改经过滤的力/转矩数据，以形成与操作者在相机的控制臂304处提供的力/转矩成比例的力/转矩向量。
示例处理器4102和/或机器人臂控制器4106还使用关节位置数据6203结合补偿后的经过滤的力/转矩输出数据来执行力/转矩参考系到整体参考系或机器人空间之间的坐标变换(框6206)。该变换可以包括基于已知的机器人空间和传感器3306的取向的一个或多个预定义方程或关系式。示例处理器4102和/或机器人臂控制器4106还使用关节位置数据6203来执行立体可视化相机300的相机参考系与整体参考系或机器人空间之间的坐标变换(框6208)。如上所述，相机参考系的坐标变换可以基于映射到机器人臂506的机器人空间的光学校准参数。
在执行坐标变换之后，示例处理器4102和/或机器人臂控制器4106被配置为使用至少一个sigmoid函数将力/转矩向量转化为一个或多个平移/旋转向量(框6210)。平移/旋转向量的形成产生对操作者的预期方向的推断。平移和旋转信息用于确定机器人臂506的关节将如何旋转以与操作者的预期移动成镜像、相匹配和/或相近似。
在一些示例中，示例处理器4102和/或机器人臂控制器4106被配置为将机器人速度按比例调节施加于平移/旋转向量(框6212)。速度按比例调节可以例如基于机器人臂506的操作条件。例如，例如一旦开始外科手术就可以施加速度按比例调节，以防止臂以相对较高的速度率意外撞到手术室工作人员、器械和/或患者。当手术尚未开始时，当患者没有在场时，示例处理器4102和/或机器人臂控制器4106可以施加较小的速度按比例调节以用于机器人臂506的校准或设置。
示例处理器4102和/或机器人臂控制器4106基于按比例调节的平移/旋转向量来确定机器人臂506的关节的潜在移动顺序。在评估可能的顺序时，处理器4102和/或机器人臂控制器4106识别要避开的关节奇异点，由此排除机器人臂506的对应的移动操作(框6214)。如上所讨论的，奇异点可以包括肘锁定或其他可能容易出现滞后和反冲的位置。处理器4102和/或机器人臂控制器4106被配置为在使用例如雅可比式运动学(例如，雅可比矩阵的反转)排除移动奇异点后选择移动顺序(框6216)。雅可比运动方程基于按比例调节的平移/旋转向量定义机器人臂506和/或联接板506的某些关节将如何移动。雅可比运动学提供速度控制，而下面讨论的逆运动学提供位置控制。在一些实施例中，处理器4102和/或机器人臂控制器4106可以替代地使用逆运动学或其他机器人臂控制例程。处理器4102和/或机器人臂控制器4106确定移动顺序，该移动顺序指定机器人臂和/或联接板3304的某些关节应如何以协调方式移动并例如指定关节转速、关节旋转方向、和/或关节旋转持续时间。移动顺序还可以指定机器人臂506和/或联接板3304的关节将旋转的顺序。机器人臂和/或联接板3304的关节R1至R9中的任何一个都可以单独旋转，也可以根据移动顺序具有重叠移动。
在确定移动顺序之后，处理器4102和/或机器人臂控制器4106被配置为使用关节速度按比例调节和/或边界来执行碰撞避免。例如，处理器4102和/或机器人臂控制器4106被配置为确定移动顺序是否将引起机器人臂506和/或联接板3304的一个或多个关节和/或连杆接近边界或其他定义的笛卡尔极限，比如患者或器械周围的空间。如以上结合图49所讨论的，处理器4102和/或机器人臂控制器4106可以将根据移动顺序对机器人空间中的连杆和/或关节的位置的估计与一个或多个定义的边界和/或角度极限进行比较。基于距边界的距离，处理器4102和/或机器人臂控制器4106通过比例值施加一个或多个关节速度极限(框6218)。处理器4102和/或机器人臂控制器4106还可以施加一个或多个关节位置极限(框6220)，关节位置极限防止例如机器人臂506的连杆彼此撞和/或防止机器人臂506、联接板3304和/或相机300延伸超过边界。就在位置极限前面的位置(例如，位置极限前面1厘米(“cm”)、2cm、10cm等)和/或位置极限处的位置可以对应于笛卡尔机器人空间比例因子的值为‘0’的位置。
在一些示例中，处理器4102和/或机器人臂控制器4106可以执行雅可比运动学，其中提供的边界作为方程的输入，在方程中，移动通过边界附近的区域的移动被提供较高的成本因子。边界成本因数的使用使处理器4102和/或机器人臂控制器4106在确定移动顺序时如果可能的话避开靠近边界的位置。成本因子可以包括同与机器人空间中的特定位置相关联的比例因子的减小成反比。比例因子可以适用于每个关节/连杆，或者对于机器人空间中相同位置，每个关节可以存在单独的比例因子。
在提供碰撞避免之后，示例处理器4102和/或机器人臂控制器4106被配置为提供机器人臂506的相对快速反转的校正(框6222)。处理器4102和/或机器人臂控制器4106可以实施零相位延迟算法，以拒绝迅速引起一个或多个关节改变旋转方向的方向性脉冲。零相位延迟算法可以由滤波器实施，该滤波器在操作者过快地反转方向时防止例如机器人臂弯曲或摇摆。
如图62所展示，示例处理器4102和/或机器人臂控制器4106被配置为验证移动顺序的命令(框6224)。处理器4102和/或机器人臂控制器4106可以验证命令以确保命令(或指示命令的信号)在关节电机的操作参数(例如，持续时间、转速等)内。处理器4102和/或机器人臂控制器4106还可以通过将命令与电流阈值进行比较来验证命令，以确保机器人臂506在移动顺序的任何阶段期间都不会汲取过量电流。
示例处理器4102和/或机器人臂控制器4106还可以将一个或多个抗噪声滤波器应用于移动命令或指示移动命令的信号(框6226)。滤波器可以包括高频低通滤波器，该高频低通滤波器去除可能在关节电机中引起出瞬态信号的高频噪声分量。在任何过滤之后，处理器4102和/或机器人臂控制器4106根据移动顺序通过一个或多个信号或消息将一个或多个命令传输到机器人臂506和/或联接板3304的适当关节电机(框6228)。所传输的命令使相应关节处的电机移动机器人臂506和/或联接板3304，由此使相机300按照操作者的预期移动。只要操作者向相机300施加力，示例过程6200就可以重复。
图63示出了根据本披露的示例实施例的用于使用输入装置1410移动示例可视化相机300的示例过程6300的图。示例过程6300与图62的过程6200几乎相同，不同之处在于与传感器3306有关的框6202至6206被去除。在所展示的示例中，从输入装置1410接收控制输入6301，输入装置是比如控制臂304上的按钮、脚踏板、操纵杆、触摸屏界面等。控制输入6301指示相机在机器人臂506的笛卡尔机器人空间中的方向性移动。
如图63所展示，控制输入6301与来自机器人臂506和/或联接板3304中的一个或多个关节传感器的关节位置数据6203组合，以执行从相机参考系到整体参考系和/或机器人空间的坐标变换(框6208)。然后，示例过程6300以与针对过程6200所讨论的相同的方式继续进行。处理器4102和/或机器人臂控制器4106相应地基于从输入装置1410接收的控制输入6301使机器人臂506、联接板3304和/或相机300移动到期望的位置和/或取向。
F.锁定到目标实施例
在一些实施例中，处理器4102和/或机器人臂控制器4106被配置为执行由存储在存储器1570和/或4120中的指令所定义的一个或多个算法、例程等，以使机器人臂506和/或联接板3304能够提供锁定到目标特征。在这些实施例中，通过使立体可视化相机300在锁定到目标外科手术部位上的同时能够被重新定向，锁定到目标特征使机器人臂506能够作为外科医生的延伸而操作。如下所讨论的，处理器4102和/或机器人臂控制器4106被配置为监视由操作者施加的力/转矩/移动以及臂关节的位置，以推断操作者的意图并相应地重新定向机器人臂506和/或联接板3304，使得相机300的焦点保持锁定或固定。
通过使所有运动限制在虚拟球体的表面上，锁定到目标特征使相机300能够被重定向。相机300的末端位于虚拟球体的外表面(例如，虚拟球体的上半球)，并且相机300或目标外科手术部位的焦点构成虚拟球体的中心。示例处理器4102和/或机器人臂控制器4106使操作者能够将相机300在虚拟球体的外表面上移动，同时保持相机300指向球体的中心，由此在移动期间将目标外科手术部位保持焦点对准。锁定到目标特征使操作者能够容易且快速地获得同一目标部位的明显不同的视图。
图64示出了根据本披露的示例实施例的展示用于为立体可视化相机300提供锁定到目标的算法、例程或过程6400的图。尽管参照图64中所展示的流程图描述了过程6400，但应当理解的是，可以使用执行与过程6400相关联的步骤的许多其他方法。例如，许多框的顺序可以改变，某些框可以与其他框组合，并且所描述的许多框是可选的。进一步地，在过程6400中描述的动作可以在多个装置之间执行，该多个装置包括例如图14的示例性立体可视化相机300的信息处理器模块1408和/或图41的关节R1至R9和机器人臂控制器4106。在一些示例中，过程6400可以通过机器人臂控制器4106的存储器4120中存储的程序执行。
示例过程6400类似于辅助驱动过程6200。然而，过程6400提供了命令关节位置以保持相机300的焦点，而示例过程6200提供了关节速度的计算。示例过程6400确定操作者输入的期望力/移动向量，并计算旋转变换，使得在机器人臂506和/或联接板3304的一个或多个关节移动从而重新定向相机300时相机300的焦点保持固定。相机300的重新定向使得能够从不同角度对目标外科手术部位进行成像。当第一视线路径被例如器械阻挡，并且外科医生期望保持当前焦点时，可能需要重新定向。
当操作者选择输入装置1410上的锁定到目标按钮时，示例过程6400开始，这引起指令消息或信号被传输到处理器4102和/或机器人臂控制器4106。在接收到消息之后，处理器4102和/或机器人臂控制器4106在锁定到目标模式下操作，在该模式下，工作距离和/或焦点保持固定，同时使操作者能够改变相机300的取向，这引起机器人臂和/或联接板3304的一个或多个关节提供辅助移动。当接收到指令时，示例处理器4102和/或机器人臂控制器4106可以记录相机300的当前工作距离、放大率、焦点和/或其他光学参数。处理器4102和/或机器人臂控制器4106还可以记录FOV的当前图像。
在过程6400开始之后，处理器4102和/或机器人臂控制器4106从传感器3306接收与操作者在相机300上施加的力有关的力/转矩输出数据6201。如结合图62所讨论的，处理器4102和/或机器人臂控制器4106过滤数据6102并为其提供重力/力施加补偿(框6202和6204)。同样类似于图62，处理器4102和/或机器人臂控制器4106使用关节位置数据6203结合补偿后的经过滤的力/转矩输出数据来执行力/转矩参考系到整体参考系或机器人空间之间的坐标变换(框6206)。示例处理器4102和/或机器人臂控制器4106还使用关节位置数据6203来执行立体可视化相机300的相机参考系与整体参考系或机器人空间之间的坐标变换(框6208)。示例处理器4102和/或机器人臂控制器4106还执行从整体参考系或机器人空间到对应于虚拟球体的球面坐标的变换(框6410)。
在坐标变换之后，示例处理器4102和/或机器人臂控制器4106被配置为例如基于相机300的操作模式来按比例调节轨迹速度(框6412)。按比例调节可以类似于在图62的框6212处执行的按比例调节。图64的示例过程6400通过处理器4102和/或机器人臂控制器4106继续计算球体终点(框6414)。球体终点的计算提供关于操作者期望的移动方向的推断并且确定在不旋转球体的情况下相机300将要在虚拟球体上移动多远。
图65示出了根据本披露的示例实施例的展示锁定到目标特征的虚拟球体6500的图。如图65中所示，基于根据关节位置数据6203确定的当前位置，将立体可视化相机300虚拟地放置在球体6500上。相机300的视线向量指向位于球体6500的中心的被表示为xyz目标的末端。处理器4102和/或机器人臂控制器4106被配置为使用变换后的力/转矩数据来确定球体上的相机300将如何沿着球体6500的表面移动，同时保持视线向量指向xyz目标，其中球体上的任何给定点由方程得出，该方程是旋转球角‘v’和‘u’的函数。当使用力/转矩数据时，处理器4102和/或机器人臂控制器4106使用对应于平移力的‘x’和‘y’分量来直接确定相机300将如何在虚拟球体6500上移动以确定球体终点。
处理器4102和/或机器人臂控制器4106可以针对不同的输入有区别地确定球体终点。例如，如果通过输入装置1410接收输入，如图63所示，则处理器4102和/或机器人臂控制器4106将‘上’、‘下’、‘左’和‘右’从相机坐标转化到机器人空间坐标，这些被设置为x、y向量。类似于力/转矩数据，x、y向量由处理器4102和/或机器人臂控制器4106用于直接确定相机300将如何在虚拟球6500上移动以确定球体终点。应当理解，在通过输入装置接收输入的实例中，可以省略结合框6202至6206所讨论的操作，如图63所示。
在一些示例中，处理器4102和/或机器人臂控制器4106被配置为接收轨道输入数据。在这些示例中，处理器4102和/或机器人臂控制器4106在沿着虚拟球体6500的球角‘u’迭代移动时保持球角‘v’恒定。沿着球角‘u’的迭代移动使得能够针对轨道输入确定球体终点。应当理解，虽然将输入应用于虚拟球体6500，但是在其他示例中，可以将输入应用于其他形状。例如，虚拟球体6500可以替代地被定义为虚拟圆柱、椭圆、蛋形、金字塔形/截头锥体等。
在其他示例中，处理器4102和/或机器人臂控制器4106被配置为接收水平范围输入数据。在这些示例中，处理器4102和/或机器人臂控制器4106在沿着虚拟球体6500的球角‘v’迭代移动时保持球角‘u’恒定。沿着球角‘v’的迭代移动使相机300移动到虚拟球体6500的顶部。
返回到图64，在确定球体终点之后，处理器4102和/或机器人臂控制器4106被配置为在相机300已经沿着虚拟球体移动到所确定的终点之后计算相机300将锁定保持在x、y、z目标所需的旋转量(框6416)。处理器4102和/或机器人臂控制器4106还可以在该计算期间提供偏航校正(框6418)。换言之，处理器4102和/或机器人臂控制器4106被配置为鉴于其在虚拟球体6500上的新位置确定将如何定向相机300，使得相机300的视线向量或末端设置在相同的x、y、z目标，该目标指向虚拟球体6500的中心，该中心对应于目标外科手术部位或焦点。
在此步骤期间，处理器4102和/或机器人臂控制器4106确定实现期望的取向所需的机器人臂506和/或联接板3304的关节角度。在框6414中计算出x、y、z球体终点之后，处理器4102和/或机器人臂控制器4106确定相机300的翻滚量和俯仰量。在一些实施例中，计算是两步过程。首先，处理器4102和/或机器人臂控制器4106计算初始的4×4变换矩阵T，该矩阵鉴于x、y、z球体终点在不旋转情况下提供相机300的移动。然后，处理器4102和/或机器人臂控制器4106计算翻滚量和俯仰量，使得相机300在随后的关节旋转循环内保持锁定在位于x、y、z(和/或位于x、y、z球体终点)处的目标。处理器4102和/或机器人臂控制器4106可以使用以下方程(4)和(5)来计算翻滚量和俯仰量，其中T下一个对应于4×4变换矩阵。可以在每个更新周期(例如8ms)执行计算。
Figure BDA0002744152620001571
使得：
x目标_下一个＝x目标
y目标_下一个＝y目标
z目标_下一个＝z目标
Figure BDA0002744152620001572
在上面的方程(4)中，x目标_下一个、y目标_下一个和z目标_下一个是对T下一个矩阵的约束条件。以上约束条件指定翻滚角和俯仰角被选择成使得以上x、y、z方程有效。换言之，在关节旋转的下一个更新周期，目标的x、y、z位置必须等于当前周期中目标的x、y、z位置。约束条件使得相机300能够通过翻滚角和俯仰角旋转，但是相对于x、y、z位置保持锁定。
进一步地，在方程(5)的第一矩阵的底下一行的-sinθ对应于俯仰角，而在第二矩阵的底下一行的sinθ对应于翻滚角。鉴于函数cos(roll)，可能存在俯仰的闭式表达式。处理器4102和/或机器人臂控制器4106可以使用迭代方法来估计被计算为函数cos(roll)的翻滚，俯仰等于fn(cos(roll))，以生成以上方程的正确翻滚/俯仰解对。
在根据结合框6416和6418描述的操作计算翻滚量和俯仰量之后，示例处理器4102和/或机器人臂控制器4106被配置为提供奇异点避免并计算逆运动学以确定关节旋转，从而除了沿着虚拟球体6500的相机300的新的x、y、z位置之外，还实现翻滚量和俯仰量(框6214和6420)。逆运动学的计算使处理器4102和/或机器人臂控制器4106能够确定机器人臂506和/或联接板3304的关节的移动顺序。
除了关节速度极限和/或位置极限之外，示例处理器4102和/或机器人臂控制器4106还可以对移动顺序施加错误校正(框6418、6218、6220)。如以上结合图62所讨论的，极限和错误校正可以防止机器人臂506、相机300和/或联接板3304击中自身、超过一个或多个边界、和/或处于可接受的关节位置内。处理器4102和/或机器人臂控制器4106还可以基于移动顺序在将命令(或指示命令的信号)发送到机器人臂506和/或联接板3304的一个或多个关节R1至R9之前验证移动顺序的用于关节的命令，提供抗噪声过滤(方框6224、6226、6228)。如果没有检测到其他移动，则示例过程6400然后可以结束。否则，当接收到操作者输入时，以周期性间隔(例如10ms、20ms等)重复过程6400。
在一些实施例中，处理器4102和/或机器人臂控制器4106可以为器械提供锁定到目标追踪。在这些示例中，将虚拟球体6500的中心的xyz目标替换为与移动目标相对应的动态轨迹。例如，这样的特征可以实现脊柱工具的追踪。在这些实施例中，器械可以包括一个或多个基准点和/或其他标记。示例立体可视化相机300记录包括基准点的图像。处理器4102和/或机器人臂控制器4106可以执行从相机参考系空间到机器人空间的坐标变换，以确定器械如何沿着x、y、z轴移动。示例处理器4102和/或机器人臂控制器4106追踪基准点如何在图像中移动并确定对应的x、y、z移动向量。在一些实例中，可以将x、y、z向量输入到图64的框6414的球体终点计算中，以改变虚拟球体6500的中心的位置。响应于球体6500的移动，处理器4102和/或机器人臂控制器4106确定如何定位机器人臂506以保持与新目标位置相同的工作距离和/或取向。处理器4102和/或机器人臂控制器4106然后可以应用逆运动学来确定机器人臂506和/或联接板的关节旋转以追踪目标的移动。类似于过程6200和6400，处理器4102和/或机器人臂控制器4106可以在向所确定的移动顺序中指定的关节发送命令之前应用错误校正、关节极限、滤波器和/或验证。
结论
将理解的是，本文描述的系统、结构、方法和过程中的每一个可以使用一个或多个计算机程序或部件来实施。这些程序和部件可以作为一系列计算机指令在任何常规计算机可读介质上提供，所述任何常规计算机可读介质包括随机存取存储器(“RAM”)、只读存储器(“ROM”)、闪速存储器、磁盘或光盘、光学存储器或其他存储介质、及其组合和衍生物。指令可以被配置成由处理器执行，所述处理器当执行一系列计算机指令时执行或促进对所披露的方法和过程的全部或部分的执行。
应当理解的是，对本文描述的示例实施例的各种改变和修改对于本领域技术人员而言将是显而易见的。在不脱离本主题的精神和范围并且不减少其预期优点的情况下，可以进行这种改变和修改。因此，意图是这种改变和修改由所附权利要求覆盖。此外，与当前美国法律一致，应理解的是，除非在本权利要求中明确地阐述了术语“装置”或“步骤”，否则不旨在引用35U.S.C.112(f)或pre-AIA 35U.S.C.112的段落6。因此，权利要求并不旨在限于说明书或其等同物中描述的相应结构、材料或动作。

Claims (21)

1.本发明要求保护如下内容：
一种机器人成像设备，包括：
基部区段，所述基部区段被配置用于连接至固定结构或手推车；
机器人臂，所述机器人臂包括
连接到所基部区段的第一端部，
包括联接接口的第二端部，以及
将所述第一端部连接至所述第二端部的多个关节和连杆，每个关节包括被配置为使所述关节绕轴线旋转的电机和被配置为传输相应关节的位置的关节传感器；
立体相机，所述立体相机在所述联接接口处连接至所述机器人臂，所述立体相机被配置为记录目标外科手术部位的左图像和右图像，以产生所述目标外科手术部位的立体图像流；
传感器，所述传感器定位于所述联接接口处并被配置为检测和传输输出数据，所述输出数据指示操作者施加在所述立体相机上的平移力和旋转力；
存储器，所述存储器存储至少一个由一个或多个指令和/或数据结构定义的算法，所述指令和/或数据结构至少基于所述机器人臂的当前位置和检测到的平移力和旋转力指定所述机器人臂的每个所述关节的旋转方向、速度和持续时间；以及
通信地联接至所述传感器和所述机器人臂的至少一个处理器，所述至少一个处理器被配置为：
从所述传感器接收指示所述平移力和所述旋转力的所述输出数据，
使用所述存储器中的所述至少一个算法，基于所述机器人臂的当前位置和来自所述传感器的输出数据，确定所述机器人臂的移动顺序，以及
通过提供给所述至少一个关节的一个或多个电机控制信号，基于所确定的移动顺序，使所述机器人臂的至少一个所述关节旋转，
其中，所述至少一个关节的旋转基于所检测到的所述操作者施加在所述立体相机上的平移力和旋转力，提供所述机器人臂的动力辅助移动。
2.如权利要求1所述的设备，其中，所述至少一个处理器被配置为基于来自所述多个关节的关节传感器的输出数据来确定所述机器人臂的当前位置。
3.如权利要求1或2所述的设备，其中，所述传感器包括六自由度触觉力感测装置或转矩传感器中的至少一个。
4.如权利要求1或2所述的设备，其中，所述立体相机包括至少一个控制臂，所述控制臂具有用于实现所述动力辅助移动的释放按钮，并且
其中，所述至少一个处理器被配置为：
接收指示选择所述释放按钮的输入消息；以及
在接收到与所述释放按钮相关的所述输入消息之后，使用所述传感器的输出数据确定移动顺序。
5.如权利要求1或4所述的设备，进一步包括联接板，所述联接板的第一端部被配置为连接到所述机器人臂的联接接口，第二端部包括第二联接接口，所述第二联接接口被配置为连接到所述立体相机，
其中，所述联接板包括至少一个关节，所述关节包括被配置为传输相应关节的位置的关节传感器和可由所述至少一个处理器根据所述移动顺序控制的电机。
6.如权利要求5所述的设备，其中，所述传感器位于所述联接接口或所述第二联接接口处。
7.如权利要求5所述的设备，其中，所述联接板包括第二关节，所述第二关节使所述操作者能够手动地将所述立体相机在水平取向与竖直取向之间旋转，其中，所述第二关节包括被配置为传输所述第二关节的位置的关节传感器。
8.如权利要求1或4所述的设备，其中，所述立体相机包括壳体，所述壳体包括底侧，所述底侧被配置为在所述联接接口处连接至所述机器人臂。
9.一种机器人成像设备，包括：
机器人臂，所述机器人臂包括
用于连接至固定结构的第一端部，
包括联接接口的第二端部，以及
将所述第一端部连接至所述第二端部的多个关节和连杆，每个关节包括被配置为使所述关节绕轴线旋转的电机和被配置为传输相应关节的位置的关节传感器；
在所述联接接口处连接至所述机器人臂的成像装置，所述成像装置被配置为记录目标外科手术部位的图像；
传感器，所述传感器定位于所述联接接口处并被配置为检测和传输力和/或转矩输出数据，所述力和/或转矩输出数据指示操作者施加在所述成像装置上的力和/或转矩；以及
通信地联接至所述传感器和所述机器人臂的至少一个处理器，所述至少一个处理器被配置为：
从所述传感器接收所述力和/或转矩输出数据，
将所述力和/或转矩输出数据转化为平移向量和旋转向量，
使用运动学，基于所述机器人臂的当前位置以及所述平移向量和旋转向量确定所述机器人臂的移动顺序，所述移动顺序指定所述机器人臂的所述关节中的至少一些关节的旋转方向、速度和移动持续时间，以及
通过提供给所述至少一个关节的一个或多个电机控制信号，基于所确定的移动顺序，使所述机器人臂的所述关节中的至少一个关节旋转。
10.如权利要求9所述的设备，其中，所述处理器被配置为：
基于所述移动顺序，基于所述机器人臂的当前位置或所述机器人臂的未来位置中的至少一个来确定至少一个比例因子；以及
将所述比例因子施加于所述移动顺序的至少一个关节速度。
11.如权利要求10所述的设备，其中，所述至少一个比例因子是基于所述机器人臂或所述成像装置距虚拟边界的距离而配置的；并且
其中，随着接近所述虚拟边界，所述至少一个比例因子减小到值‘0’。
12.如权利要求11所述的设备，其中，所述虚拟边界对应于患者、医疗器械或手术室工作人员中的至少一个。
13.如权利要求11所述的设备，其中，所述处理器被配置为使显示装置显示图标，所述图标指示已将所述至少一个比例因子施加于所述移动顺序。
14.如权利要求9或13所述的设备，其中，所述处理器被配置为：
基于所述机器人臂的关节之间的关节角度或关节极限确定所述至少一个比例因子；以及
将所述比例因子施加于所述移动顺序的至少一个关节速度。
15.如权利要求9或13所述的设备，其中，所述处理器被配置为：
为所述力和/或转矩输出数据提供重力补偿；以及
为所述力和/或转矩输出数据提供力施加补偿，以补偿所述传感器的位置与所述操作者将所述力和/或转扭施加在所述成像装置上的位置之间的偏移。
16.如权利要求9、13或15所述的设备，其中，所述处理器被配置为：
确定或识别所述机器人臂的所述多个关节的关节奇异点，以控制滞后和反冲；以及
基于所述运动学确定移动顺序，同时避免机器人臂移动通过所述关节奇异点。
17.如权利要求9或13所述的设备，进一步包括联接板，所述联接板的第一端部被配置为连接到所述机器人臂的联接接口，第二端部包括第二联接接口，所述第二联接接口被配置为连接到所述立体相机，
其中，所述联接板包括至少一个关节，所述关节包括被配置为传输相应关节的位置的关节传感器和可由所述至少一个处理器根据所述移动顺序控制的电机，并且
其中，所述传感器位于所述联接接口或所述第二联接接口处。
18.如权利要求17所述的设备，其中，所述机器人臂包括至少四个关节，并且所述联接板包括至少两个关节。
19.如权利要求9、13或17所述的设备，其中，所述处理器被配置为通过将指示所述移动顺序指定的所述旋转方向、速度和所述移动持续时间的一个或多个命令信号传输至相应关节的电机，使所述机器人臂的所述关节中的至少一个关节旋转。
20.如权利要求9、13或17所述的设备，其中，所述处理器被配置为对在所述移动顺序期间当所述机器人臂正在移动时所述成像装置记录的图像进行比较，以确认在所述移动顺序期间所述机器人臂按照所确定的那样在移动。
21.如权利要求9、13或17所述的设备，其中，所述运动学包括逆运动学或雅可比运动学中的至少一个。
CN201980028564.7A 2018-04-27 2019-04-29 立体可视化相机和集成式机器人技术平台 Pending CN112074248A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862663689P 2018-04-27 2018-04-27
US62/663,689 2018-04-27
PCT/US2019/029729 WO2019210322A1 (en) 2018-04-27 2019-04-29 Stereoscopic visualization camera and integrated robotics platform

Publications (1)

Publication Number Publication Date
CN112074248A true CN112074248A (zh) 2020-12-11

Family

ID=68295756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980028564.7A Pending CN112074248A (zh) 2018-04-27 2019-04-29 立体可视化相机和集成式机器人技术平台

Country Status (7)

Country Link
EP (1) EP3745982A1 (zh)
JP (1) JP7379373B2 (zh)
CN (1) CN112074248A (zh)
AU (2) AU2019261643B2 (zh)
CA (1) CA3093009A1 (zh)
TW (1) TWI734106B (zh)
WO (1) WO2019210322A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581424A (zh) * 2020-05-12 2020-08-25 叶建美 基于图像识别的地图坐标定位方法
CN112618155A (zh) * 2020-12-17 2021-04-09 上海市普陀区中心医院 一种用于眼科激光手术的滤光防护结构
CN113223175A (zh) * 2021-05-12 2021-08-06 武汉中仪物联技术股份有限公司 基于真实姿态角的管道三维非线性模型构建方法和系统
CN113962911A (zh) * 2021-08-08 2022-01-21 南京理工大学 一种特种车辆视野补盲视频快速融合方法
CN114147714A (zh) * 2021-12-02 2022-03-08 浙江机电职业技术学院 自主机器人机械臂控制参数计算方法和系统
CN114581265A (zh) * 2022-03-08 2022-06-03 北京女娲补天科技信息技术有限公司 一种就餐人员食用喜好分析系统及方法
CN114638894A (zh) * 2022-03-18 2022-06-17 纯米科技(上海)股份有限公司 机器人行走的定位方法、系统、电子装置及存储介质
WO2022141138A1 (zh) * 2020-12-30 2022-07-07 诺创智能医疗科技(杭州)有限公司 混联主从映射方法、机械臂系统和计算机设备
CN114800519A (zh) * 2022-05-20 2022-07-29 天津大学 一种考虑摩擦的六自由度工业机器人动力学参数辨识方法
WO2022179117A1 (zh) * 2021-02-25 2022-09-01 南京微纳科技研究院有限公司 基于荧光分子成像的导航方法、设备、存储介质
CN115778320A (zh) * 2022-11-10 2023-03-14 北京悬丝医疗科技有限公司 一种移动关节式诊脉仪
CN117207204A (zh) * 2023-11-09 2023-12-12 之江实验室 一种弹琴机器人的控制方法及控制装置
CN118633901A (zh) * 2024-08-15 2024-09-13 山东大学 一种oct自动寻找视网膜视神经头的方法、系统及产品

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7169130B2 (ja) * 2018-09-03 2022-11-10 川崎重工業株式会社 ロボットシステム
CN114929146A (zh) * 2019-12-16 2022-08-19 直观外科手术操作公司 促进手术空间中的非机器人装置的受指导远程操作的系统
WO2021124292A1 (en) * 2019-12-19 2021-06-24 Alcon Inc. Head tracking control for ophthalmic surgery
CN111083310B (zh) * 2019-12-26 2022-03-08 广东弓叶科技有限公司 2d线阵相机和3d线阵相机数据同步的处理方法及系统
US20220183778A1 (en) * 2020-06-18 2022-06-16 Brainlab Ag Compensation of gravity-related displacements of medical carrier structures
EP4165462A4 (en) * 2020-07-17 2023-08-30 Huawei Technologies Co., Ltd. PORTABLE ELECTRONIC DEVICE CAMERA WITH OPTICAL IMAGE STABILIZATION
CN111951248B (zh) * 2020-08-12 2023-11-28 上海仁度生物科技股份有限公司 一种用于自动化核酸提取设备的定位校准装置及方法
EP3989236A1 (en) * 2020-10-23 2022-04-27 Leica Instruments (Singapore) Pte. Ltd. System for a microscope system and corresponding method and computer program
CN116367973A (zh) * 2021-01-15 2023-06-30 三星电子株式会社 服务机器人设备
DE102021204033B3 (de) 2021-04-22 2022-06-15 Carl Zeiss Meditec Ag Verfahren zum Betreiben eines Operationsmikroskops und Operationsmikroskop
US12010466B2 (en) 2021-06-22 2024-06-11 Industrial Technology Research Institute Visual recognition based method and system for projecting patterned light, method and system applied to oral inspection, and machining system
CN115835011A (zh) * 2021-09-15 2023-03-21 Oppo广东移动通信有限公司 图像处理芯片、应用处理芯片、电子设备和图像处理方法
CN113905327B (zh) * 2021-09-23 2024-01-26 国网江苏省电力有限公司 一种基于多定位参量的输电线路防外破报警方法及系统
CN114131612B (zh) * 2021-12-20 2024-01-30 中国科学院长春光学精密机械与物理研究所 基于nurbs曲线插补算法的冗余机械臂实时前瞻轨迹规划方法
DE102022200821B9 (de) 2022-01-25 2023-05-25 Carl Zeiss Meditec Ag Verfahren zum Kalibrieren eines stereoskopischen medizinischen Mikroskops und medizinische Mikroskopanordnung
WO2024047397A2 (es) * 2022-09-01 2024-03-07 Impel Ip, Llc Sistema mecatrónico integrado para administrar cirugias oftalmológicas bajo el concepto manos y pies libres mediante la ejecución de comandos por voz
GB2627451A (en) * 2023-02-21 2024-08-28 Cmr Surgical Ltd Control system for a surgical robotic system
DE102023108646A1 (de) * 2023-04-04 2024-10-10 B. Braun New Ventures GmbH Medizinisches robotergestütztes Visualisierungssystem und Steuerverfahren für ein Visualisierungssystem

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202631839U (zh) * 2012-05-08 2012-12-26 吴立业 一种医疗用显微手术设备
WO2014139023A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
CN104339349A (zh) * 2013-08-06 2015-02-11 佳能株式会社 机器人装置及机器人控制方法
US20150335480A1 (en) * 2012-04-24 2015-11-26 Auris Surgical Robotics, Inc. Apparatus and method for a global coordinate system for use in robotic surgery
CN105555222A (zh) * 2013-09-24 2016-05-04 索尼奥林巴斯医疗解决方案公司 医用机械臂装置、医用机械臂控制系统、医用机械臂控制方法、及程序
CN106068175A (zh) * 2014-03-14 2016-11-02 索尼公司 机器人手臂设备、机器人手臂控制方法及程序
CN206170133U (zh) * 2016-10-19 2017-05-17 上海发那科机器人有限公司 一种机器人移动不间断供电装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359474A (en) 1992-09-18 1994-10-25 Riederer Thomas P System for the sub-micron positioning of a read/write transducer
WO2014036499A1 (en) 2012-08-30 2014-03-06 Truevision Systems, Inc. Imaging system and methods displaying a fused multidimensional reconstructed image
WO2016017532A1 (ja) 2014-08-01 2016-02-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150335480A1 (en) * 2012-04-24 2015-11-26 Auris Surgical Robotics, Inc. Apparatus and method for a global coordinate system for use in robotic surgery
CN202631839U (zh) * 2012-05-08 2012-12-26 吴立业 一种医疗用显微手术设备
WO2014139023A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Intelligent positioning system and methods therefore
CN105050527A (zh) * 2013-03-15 2015-11-11 圣纳普医疗(巴巴多斯)公司 智能定位系统和用于其的方法
CN104339349A (zh) * 2013-08-06 2015-02-11 佳能株式会社 机器人装置及机器人控制方法
CN105555222A (zh) * 2013-09-24 2016-05-04 索尼奥林巴斯医疗解决方案公司 医用机械臂装置、医用机械臂控制系统、医用机械臂控制方法、及程序
CN106068175A (zh) * 2014-03-14 2016-11-02 索尼公司 机器人手臂设备、机器人手臂控制方法及程序
CN206170133U (zh) * 2016-10-19 2017-05-17 上海发那科机器人有限公司 一种机器人移动不间断供电装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581424A (zh) * 2020-05-12 2020-08-25 叶建美 基于图像识别的地图坐标定位方法
CN111581424B (zh) * 2020-05-12 2024-03-12 叶建美 基于图像识别的地图坐标定位方法
CN112618155A (zh) * 2020-12-17 2021-04-09 上海市普陀区中心医院 一种用于眼科激光手术的滤光防护结构
WO2022141138A1 (zh) * 2020-12-30 2022-07-07 诺创智能医疗科技(杭州)有限公司 混联主从映射方法、机械臂系统和计算机设备
WO2022179117A1 (zh) * 2021-02-25 2022-09-01 南京微纳科技研究院有限公司 基于荧光分子成像的导航方法、设备、存储介质
CN113223175A (zh) * 2021-05-12 2021-08-06 武汉中仪物联技术股份有限公司 基于真实姿态角的管道三维非线性模型构建方法和系统
CN113223175B (zh) * 2021-05-12 2023-05-05 武汉中仪物联技术股份有限公司 基于真实姿态角的管道三维非线性模型构建方法和系统
CN113962911A (zh) * 2021-08-08 2022-01-21 南京理工大学 一种特种车辆视野补盲视频快速融合方法
CN114147714A (zh) * 2021-12-02 2022-03-08 浙江机电职业技术学院 自主机器人机械臂控制参数计算方法和系统
CN114581265B (zh) * 2022-03-08 2022-09-20 北京女娲补天科技信息技术有限公司 一种就餐人员食用喜好分析系统及方法
CN114581265A (zh) * 2022-03-08 2022-06-03 北京女娲补天科技信息技术有限公司 一种就餐人员食用喜好分析系统及方法
CN114638894A (zh) * 2022-03-18 2022-06-17 纯米科技(上海)股份有限公司 机器人行走的定位方法、系统、电子装置及存储介质
CN114800519A (zh) * 2022-05-20 2022-07-29 天津大学 一种考虑摩擦的六自由度工业机器人动力学参数辨识方法
CN114800519B (zh) * 2022-05-20 2023-09-26 天津大学 一种考虑摩擦的六自由度工业机器人动力学参数辨识方法
CN115778320A (zh) * 2022-11-10 2023-03-14 北京悬丝医疗科技有限公司 一种移动关节式诊脉仪
CN117207204A (zh) * 2023-11-09 2023-12-12 之江实验室 一种弹琴机器人的控制方法及控制装置
CN117207204B (zh) * 2023-11-09 2024-01-30 之江实验室 一种弹琴机器人的控制方法及控制装置
CN118633901A (zh) * 2024-08-15 2024-09-13 山东大学 一种oct自动寻找视网膜视神经头的方法、系统及产品
CN118633901B (zh) * 2024-08-15 2024-10-11 山东大学 一种oct自动寻找视网膜视神经头的方法、系统及产品

Also Published As

Publication number Publication date
JP2021521939A (ja) 2021-08-30
WO2019210322A1 (en) 2019-10-31
EP3745982A1 (en) 2020-12-09
TWI734106B (zh) 2021-07-21
AU2019261643A1 (en) 2020-09-24
AU2024219905A1 (en) 2024-10-10
AU2019261643B2 (en) 2024-06-27
CA3093009A1 (en) 2019-10-31
TW201945141A (zh) 2019-12-01
JP7379373B2 (ja) 2023-11-14

Similar Documents

Publication Publication Date Title
JP7379373B2 (ja) 立体視覚化カメラ及び統合ロボットプラットフォーム
US11336804B2 (en) Stereoscopic visualization camera and integrated robotics platform
CN110892305B (zh) 立体可视化相机和平台
US11571272B2 (en) Stereoscopic camera with fluorescence visualization
US20230122367A1 (en) Surgical visualization systems and displays
US20230255446A1 (en) Surgical visualization systems and displays
US11092929B2 (en) Visualization system and method for generating holographic presentations from optical signals
US20230120611A1 (en) Stereoscopic camera with fluorescence strobing based visualization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination