CN117981009A - 外科显微镜系统以及用于外科显微镜系统的相应系统、方法和计算机程序 - Google Patents

外科显微镜系统以及用于外科显微镜系统的相应系统、方法和计算机程序 Download PDF

Info

Publication number
CN117981009A
CN117981009A CN202280064477.9A CN202280064477A CN117981009A CN 117981009 A CN117981009 A CN 117981009A CN 202280064477 A CN202280064477 A CN 202280064477A CN 117981009 A CN117981009 A CN 117981009A
Authority
CN
China
Prior art keywords
functions
surgical
surgical microscope
progress
microscope system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280064477.9A
Other languages
English (en)
Inventor
黄洁
陆庆瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of CN117981009A publication Critical patent/CN117981009A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0334—Foot operated pointing devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Microscoopes, Condenser (AREA)
  • Robotics (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)

Abstract

示例涉及外科显微镜系统，以及涉及用于外科显微镜系统的相应系统、方法和计算机程序。系统包括一个或更多个处理器和一个或更多个存储装置。系统配置为跟踪外科手术的进展。系统配置为基于外科手术的进展来选择外科显微镜系统的多个功能中的两个或更多个。系统配置为将两个或更多个功能分配给外科显微镜系统的两个或更多个输入模态。系统配置为生成具有两个或更多个功能的视觉表示的视觉叠加。两个或更多个功能与两个或更多个输入模态的视觉表示相关地显示。系统配置为向外科显微镜系统的显示装置提供显示信号，显示信号包括视觉叠加。

Description

外科显微镜系统以及用于外科显微镜系统的相应系统、方法 和计算机程序
技术领域
示例涉及外科显微镜系统，以及涉及用于外科显微镜系统的相应系统、方法和计算机程序。
背景技术
一般来说，外科显微镜系统用于手术室。在大多数情况下，助手陪同外科医生在手术室中，协助主外科医生进行外科手术。协助范围从协助外科操作、传递医疗器械到调整医疗设备配置。典型的流程可以包括主外科医生告诉首席助手所需的立即行动，例如，增加光强度，或交出柳叶刀、剪刀等，然后由助手执行该行动。助手需要对外科手术和患者的医疗情况有足够的经验和知识，以便最大限度地减少外科医生和助手之间的沟通时间。
在外科医生必须自己调整设备的情况下，例如，当手术室不够宽敞，无法容纳除外科医生自己以外的额外医务人员时，会占用对患者进行治疗的时间。为了在这种情况下帮助外科医生，外科医生被允许具有多达10个预设的系统配置。在外科手术过程中，外科医生或助手可以触发预设配置，以便在必要时通过图形用户界面(GUI)或通过脚踏开关发出命令。
虽然这种预设配置对外科医生来说是有价值的帮助，但它们需要外科医生或助手通过GUI或脚踏开关触发。此时，外科医生或助手可能会从主要活动分心。此外，一般地，每个用户只能支持有限数量(例如，10个)的预设配置。这可能会限制可提供给外科医生的效用。为了让外科医生/助手触发适当的预设配置，他们必须非常熟悉每个设置的标识符，这可能需要对设备的实践和经验。如果触发了错误的配置，则可能需要额外的时间校正到适当的配置。此外，如果外科医生希望有修改的配置，即使只是最微小的数量，也可能需要额外的命令。
可能有对一种手术显微镜系统的改进概念的期望，其在外科手术中为外科医生提供额外的帮助。
发明内容
独立权利要求的主题解决了这一期望。
本公开的各种实施例都基于该发现，即外科医生在外科手术期间执行的许多任务导致在所使用的外科显微镜系统处触发的功能或设置的改变，并且许多外科手术遵循严格的步骤序列。通常地，这导致外科显微镜系统的设置和/或功能序列通常随着外科手术的进展而被选择/触发，在许多相同类型的外科手术中，使用(由特定的外科医生)相同的设置和/或功能序列。提出的概念基于跟踪外科手术的进展，选择与外科手术的当前进展特别相关的外科显微镜系统的功能，并且便于外科医生访问这些功能。
本公开的一个方面涉及一种用于外科显微镜系统的系统。系统包括一个或更多个处理器和一个或更多个存储装置。系统配置为跟踪外科手术的进展。系统配置为基于外科手术的进展选择外科显微镜系统的多个功能中的两个或更多个。系统配置为将两个或更多个功能分配给外科显微镜系统的两个或更多个输入模态。系统配置为生成具有两个或更多个功能的视觉表示的视觉叠加。两个或更多个功能与两个或更多个输入模态的视觉表示相关地显示。系统配置为向外科显微镜系统的显示装置提供显示信号，显示信号包括视觉叠加。通过跟踪外科手术的进展，可以确定在进展的相应步骤可能需要哪些功能。通过将两个或更多个功能分配至两个或更多个输入模态，并提供对应的视觉表示，使外科医生意识到功能被识别，并且这些功能对外科医生来说容易访问，这可以降低外科医生的认知负荷并且可以减少由于外科医生在外科手术期间操作外科显微镜系统而造成的中断。
通常地，两个或更多个输入模态可以是触觉输入装置的两个或更多个输入模态，触觉输入装置不同于外科显微镜系统的显示装置。由于保持无菌操作环境的要求，基于显示器的输入装置对于外科医生来说常常是不可访问的。例如，两个或更多个输入模态可以是外科显微镜系统的脚踏板或者一个或更多个手柄的两个或更多个输入模态。触觉输入装置可以布置在外科显微镜系统的光学载体或脚踏板处，提供对功能的容易访问，而不必查看输入模态。特别地，两个或更多个输入模态可以通过外科显微镜系统的脚踏板的四路开关实现。因此，四路开关可以有利于访问所识别的两个或更多个功能，使脚踏板的其余按钮/开关用于静态分配的功能。
在一些情况中，代替触觉输入装置(或除了触觉输入装置之外)，语音识别可以用于触发期望的功能。因此，两个或更多个输入模态可以是外科显微镜系统的基于语音识别的控制机构的两个或更多个关键词。基于语音识别的控制机构，在屏幕上显示的使用的各个关键词的辅助下，可以提供对功能的容易访问，而不必将视线从外科手术部位移开。
在提出的概念中，选择的两个或更多个功能是基于外科手术的进展。因此，系统可以配置为基于外科手术的进展更新对两个或更多个功能的选择。这可以确保选择的两个或更多个功能在外科手术的当前进展中是相关的。
在一些示例中，系统配置为确定功能关于其在外科手术的进展的当前步骤中的相关性的排序，并且基于该排序选择两个或更多个功能。在需要协调不同类型的标准(例如，外科手术的进展和外科医生的个人偏好)的场景中，该排序可能是有用的。
例如，两个或更多个功能可以基于外科手术的进展和多个功能的功能之间的确定性分配选择。换言之，对于外科手术的每个步骤，两个或更多个功能可以确定性地分配(即以预定方式分配)。这可以有利于特征的实现。
可替换地，两个或更多个功能可以使用机器学习模型选择，该机器学习模型训练为基于外科手术的进展对多个功能进行排序。这可以允许基于外科医生的个人偏好选择两个或更多个功能。因此，被训练为对多个功能进行排序的机器学习模型可以基于使用外科显微镜系统的外科医生的个人偏好进行训练，使得基于外科医生的个人偏好选择两个或更多个功能。这可能会增加两个或更多个功能的选择的接受度和实用性，基于外科医生的工作方式帮助外科医生。
有多种方法跟踪外科手术的进展。例如，系统可以配置为基于在外科显微镜系统处发出的命令序列跟踪外科手术的进展。这尤其适用于遵循严格的外科手术计划的外科手术，该外科手术计划强制在外科显微镜系统处使用预定的命令序列。例如，系统可以配置为基于在外科显微镜系统处发出的命令序列导航表示外科手术的进展的状态机器。因此，状态机器可以用于建模和跟随外科手术的进展。
可替换地或者附加地，系统可以配置为使用机器学习模型跟踪外科手术的进展，该机器学习模型训练为基于外科显微镜系统的光学成像传感器的图像数据跟踪外科手术的进展。换言之，物体识别或类似技术可用于确定外科手术的进展，例如，通过识别使用的工具和/或通过识别执行的动作。
例如，外科手术可以包括步骤序列，每个步骤包括在图像数据中示出的一个或更多个任务。机器学习模型可以训练为检测图像数据中示出的任务。机器学习模型可以训练为输出关于图像数据中示出的任务的信息。系统可以配置为基于关于由机器学习模型输出的任务的信息跟踪外科手术的进展。例如，各个任务可以通过使用的工具和/或执行的动作区分。
为了便于解释机器学习模型的输出，序列的每个步骤可以分配有标识符，并且机器学习模型可以训练为用于输出所述标识符。因此，机器学习模型可以训练为用于输出在图像数据中示出的步骤的标识符。系统可以配置为基于由机器学习模型提供的标识符跟踪外科手术的进展。
例如，外科手术可以是眼科外科手术。眼科外科手术，如白内障外科手术，通常严格遵守外科手术计划。
本公开的一个方面涉及包括上述系统的外科显微镜系统。
本公开的一个方面涉及用于外科显微镜系统的相应方法。方法包括跟踪外科手术的进展。方法包括基于外科手术的进展选择外科显微镜系统的多个功能中的两个或更多个。方法包括将两个或更多个功能分配给外科显微镜系统的两个或更多个输入模态。方法包括生成具有两个或更多个功能的视觉表示的视觉叠加。两个或更多个功能与两个或更多个输入模态的视觉表示相关地显示。方法包括向外科显微镜系统的显示装置提供显示信号，显示信号包括视觉叠加。
本公开的一个方面涉及一种相应的计算机程序，该计算机程序具有当在处理器上实施计算机程序时用于执行上述方法的程序代码。
附图说明
设备和/或方法的一些示例将仅通过示例的方式并参考附图在下面描述，其中：
图1a显示了用于外科显微镜系统的系统的示例的框图；
图1b显示了外科显微镜系统的示例的示意图；
图2显示了用于外科显微镜系统的方法的示例的流程图；
图3a显示了用于外科显微镜系统的脚踏板的示例的示意图；
图3b显示了用于外科显微镜系统的脚踏板的不同输入模态的示例的示意图；
图4显示了眼科外科手术的示例的进展的示意图；
图5、5b和5c显示了提出的概念的示例的示意图；和
图6显示了包括显微镜和计算机系统的系统示例的示意图。
具体实施方式
现在将参考附图对各种示例进行更全面地描述，在附图中显示了一些示例。在图中，为了清楚起见,线、层和/或区域的厚度可以夸大。
图1a显示了用于外科显微镜系统100(如图1b所示)的系统110的示例的框图。系统110包括一个或更多个处理器114和一个或更多个存储装置116。可选地，系统还包括接口112。一个或更多个处理器114联接到可选的接口112和一个或更多个存储装置116。通常地，系统110的功能由一个或更多个处理器114提供，例如与可选的接口112和/或一个或更多个存储装置116相结合。
系统配置为跟踪外科手术的进展。系统配置为基于外科手术的进展选择外科显微镜系统的多个功能中的两个或更多个。系统配置为将两个或更多个功能分配给外科显微镜系统的两个或更多个输入模态。系统配置为生成具有两个或更多个功能的视觉表示的视觉叠加。两个或更多个功能与两个或更多个输入模态的视觉表示相关地显示。系统配置为向外科显微镜系统的显示装置130a、130b、130b(如图1b所示)提供显示信号。显示信号包括视觉叠加。
本公开的各种实施例进一步提供了包括系统110的外科显微镜系统100。图1b显示了用于眼科的包括系统110的外科显微镜系统100的示意图。因此，外科手术可以是眼科外科手术。外科显微镜系统100还包括一个或更多个输入装置120、125，例如脚踏板120和/或手柄125,显示装置130和显微镜140。外科显微镜系统100可以包括一个或更多个附加的可选特征，例如基座单元105(其包括系统110)、麦克风150(用于基于语音识别的控制机构)和显微镜140附接到的臂160。外科显微镜系统还包括一个或更多个显示装置130a-130c。例如，显微镜140可以包括目镜接目镜130a。此外，外科显微镜系统可以包括一个或更多个辅助显示器130b、130c，其可以布置在基座单元105处和/或臂160与显微镜140之间的连接处。图1b所示的显微镜系统是外科显微镜系统，可以供外科医生在外科手术的部位使用。特别地，图1b所示的外科显微镜系统是用于眼科(眼外科)的外科显微镜系统，然而，相同的概念也可以用于其他类型的外科显微镜系统，例如用于神经外科的外科显微镜系统。例如，外科显微镜系统可以包括一个或更多个附加系统(例如光学相干断层成像(OCT)系统(未示出))，或者与一个或更多个附加系统结合使用。
本公开的实施例涉及适用于显微镜系统的系统、方法和计算机程序，例如结合图1b介绍的外科显微镜系统100。如上所述，在显微镜140和外科显微镜系统100之间进行了区分，外科显微镜系统包括显微镜140和与显微镜140结合使用的各种部件，例如照明系统、辅助显示器等。在显微镜系统中，实际显微镜常常也称为“光学载体”，因为它包括外科显微镜系统的光学部件。一般来说，显微镜是一种光学仪器，适用于检查太小而无法用人眼(单独)检查的物体。例如，显微镜可以提供物体的光学放大。显微镜因此可以包括一个或更多个光学放大部件，其用于放大样本上的视图。在现代显微镜中，光学放大往往提供于显微镜的成像传感器或相机。
有各种不同类型的显微镜。在结合图1a和/或1b描述的示例中，显微镜140是外科显微镜系统100的一部分，例如在外科手术期间使用的显微镜。尽管示例是结合外科显微镜系统描述的，但它们也可以以更通用的方式应用于任何光学装置。例如，显微镜系统可以是用于进行材料(例如金属或复合材料)的材料测试或完整性测试的系统。
提出的概念的起点是通过外科显微镜系统，特别是通过系统110，跟踪外科手术。实现这一点有不同的方法。在简单的示例中，外科手术的进展可以由外科医生手动跟踪，例如，通过触摸屏或语音控制检查外科手术计划上的进展，从外科手术计划的步骤/阶段前进到步骤/阶段。然而，在许多示例中，外科手术的进展可以在没有手动干预的情况下跟踪。换言之，外科手术的进展可以在不需要手动/人工输入的情况下跟踪。
这可以通过分析在系统110/外科显微镜系统100处可用的信号实现。通常地，可以分析两种类型的信号-与在外科显微镜系统处(或在与外科显微镜系统联接的装置处)发出的命令相关的信号，以及与外科显微镜系统的一个或更多个传感器相关的传感器信号。通常地，这两种类型的信号可以结合地分析，因为可以通过识别命令跟踪进展的某些方面，并且可以通过识别视觉传感器数据中的物体或运动跟踪进度的某些方面，通过考虑到图3将会变得明显的。
例如，系统可以配置为基于外科显微镜系统处发出的命令序列跟踪外科手术的进展。例如，如结合图3所详细概述的，外科手术的步骤序列的每个步骤(或一些步骤)可以与在外科显微镜系统处或在与外科显微镜系统联接的辅助装置处发出的一个或更多个命令相关联。例如，在外科手术的初始步骤中，外科医生可以向患者发出各种命令来调整外科显微镜系统，例如关于聚焦、放大、照明、视频记录等。在随后的步骤中，可以发出不同的命令。例如，如图3所示，在白内障外科手术的“粘弹剂应用”步骤中，两个泵命令可以在与外科显微镜系统联接的泵处发出。在“超声乳化”阶段，命令可以在与外科显微镜系统联接的超声工具处发出。因此，系统可以配置为从外科显微镜系统和/或从与外科显微镜系统联接的一个或更多个装置获得一个或更多个信号，基于一个或更多个信号检测发出的一个或者更多个命令，并基于一个或更多个命令的序列跟踪外科手术的进展。例如，命令序列可以包括两个或更多个命令，该两个或更多个命令均是用于控制外科显微镜系统的方面的命令(例如放大倍数、聚焦、照明、成像模式)，和用于控制与外科显微镜系统联接的装置的方面的命令(例如OCT装置、泵、超声工具)。
通常地，使用命令序列，因为一些命令可以在步骤序列的各个步骤发出。根据命令在命令序列中的位置，可以识别步骤序列的适当步骤。例如，系统可以配置为基于在外科显微镜系统处发出的命令序列导航表示外科手术的进展的状态机器。例如，状态机器可以包括多个状态和状态之间的多个转换。当指示外科手术已经从一个步骤转换到另一个后续步骤的命令发出时，状态之间的转换可以进行。
附加地或可替代地，机器学习可以用于跟踪外科手术的进展。换言之，系统可以配置为使用机器学习模型跟踪外科手术的进展，该机器学习模型被训练为基于外科显微镜系统的光学成像传感器140的图像数据跟踪外科手术的进展。因此，实施例可以基于使用机器学习模型或机器学习算法。机器学习可以指计算机系统可以在不使用明确指令的情况下执行特定任务所使用的算法和统计模型，而不是依赖于模型和推断。例如，在机器学习中，替代基于规则的数据转换，可以使用从历史和/或训练数据的分析推断的数据转换。例如，可以使用机器学习模型或使用机器学习算法分析图像的内容。为了使机器学习模型分析图像的内容，可以使用训练图像作为输入并且使用训练内容信息作为输出来训练机器学习模型。通过使用大量的训练图像和/或训练序列(例如单词或句子)以及相关联的训练内容信息(例如标签或注释)训练机器学习模型，机器学习模型“学习”识别图像的内容，因此未包含在训练数据中的图像的内容可以使用机器学习模型识别。同样的原理也可以用于其他类型的传感器数据：通过使用训练传感器数据和期望的输出训练机器学习模型，机器学习模型“学习”传感器数据和输出之间的转换，该转换可以用于基于提供给机器学习模型的非训练传感器数据提供输出。提供的数据(例如传感器数据、元数据和/或图像数据)可以预处理以获得特征向量，该特征向量用作机器学习模型的输入。
在提出的概念中，机器学习可以用于识别指示外科手术的步骤序列的步骤的任务。换言之，机器学习模型可以被训练以识别指示显微镜的光学成像传感器的图像数据中的步骤的任务。例如，外科手术的步骤序列的每个步骤可以包括在图像数据中示出(表示)的一个或更多个任务。因此，机器学习模型可以被训练以检测图像数据中所示的任务，并输出关于图像数据中示出的任务的信息。进而，系统可以配置为基于由机器学习模型输出的关于任务的信息跟踪外科手术的进展。
这样的训练可以使用不同的技术执行。机器学习模型可以使用训练输入数据训练。关于机器学习的一般介绍的指定示例使用了一种称为“监督学习”的训练方法。在监督学习中，使用多个训练样本训练机器学习模型，其中每个样本可以包括多个输入数据值和多个期望输出值，即每个训练样本与期望输出值相关联。通过指定训练样本和期望输出值，机器学习模型“学习”基于与训练期间提供的样本相似的输入样本来提供哪个输出值。
在提出的概念中，监督学习可以用于训练机器学习模型，该机器学习模型被训练以跟踪外科手术的进展。例如，外科手术的记录的静态图像和/或视频可以用作用于训练的输入数据值，并且期望输出值也可以应用，例如，执行的任务的指示符、指示执行的任务的对象的位置、指示执行的任务的运动(或动作)的位置等。例如，对于静态图像，可以提供指示执行的任务的每个对象的标识符和位置。对于视频，指示执行的任务的每个对象的标识符和位置可以与时间戳(标识时间点或时间间隔)一起提供，并且指示执行任务的每个运动(或动作)的标识符和位置可以与时间戳(标识时间点或时间间隔)一起提供作为期望输出值。例如，机器学习模型可以被训练以对分割的图像执行图像分割、特征提取和对象检测或分类。例如，多个机器学习模型可以一起使用，并且可能一起训练，例如用于特征提取的密集轨迹/ST-CNN(时空卷积神经网络)和用于分类的RNN(循环神经网络)。机器学习模型可以被训练以在提供有外科手术的记录的静态图像和/或视频时输出与期望输出相对应的输出。例如，机器学习模型可以被训练以输出指示执行的任务的对象或运动(或动作)的标识符，或者输出输出向量，该输出向量包括机器学习模型被训练以检测的每个对象或运动(或动作)的二进制值。
除了监督学习之外，还可以使用半监督学习。在半监督学习中，一些训练样本缺乏相应的期望输出值。监督学习可以基于监督学习算法(例如分类算法、回归算法或相似性学习算法)。当输出限制为有限的值集(分类变量)时，即输入分类为有限的值集中的一个时，可以使用分类算法。当输出可以具有任何数值(在一定范围内)时，可以使用回归算法。相似性学习算法可以类似于分类算法和回归算法，但基于使用相似性函数从示例中学习，该相似性函数测量两个对象的相似程度或相关程度。除了监督或半监督学习之外，无监督学习可以用于训练机器学习模型。在无监督学习中，可以提供(仅)输入数据，并且无监督学习算法可以用于查找输入数据中的结构(例如，通过对输入数据进行分组或聚类，查找数据中的共性)。聚类是将包括多个输入值的输入数据分配到子集(簇)中，使得同一簇内的输入值根据一个或更多个(预定义的)相似性标准而相似，而与其他簇中包括的输入值不相似。
强化学习是第三组机器学习算法。换句话说，强化学习可以用于训练机器学习模型。在强化学习中，一个或更多个软件动作者(称为“软件代理”)被训练以在环境中采取行动。根据采取的行动，计算回报。强化学习是基于训练一个或更多个软件代理来选择动作，使得累积回报增加，导致软件代理在他们被赋予的任务中变得更好(通过增加回报得到证明)。代替监督学习，或者除了监督学习之外，强化学习可以用于训练被训练的机器学习模型以跟踪外科手术的进展，通过使用外科手术的记录的静态图像/视频作为机器学习模型的输入，以及通过定义表示期望输出值与机器学习模型生成的输出之间的偏差的回报函数。
在前面的示例中，机器学习模型的输出已经关于执行的任务进行了描述，即，机器学习模型的输出可以表示执行的任务(例如，通过指示任务的对象和/或运动)。在一些示例中，机器学习模型的训练可以更进一步，机器学习模型的输出表示在图像数据中示出的步骤(步骤基于图像数据中检测到的对象/运动)。换言之，机器学习模型可以被训练以输出图像数据中所示的步骤的标识符，系统配置为基于由机器学习模型提供的标识符跟踪外科手术的进展。例如，一个或更多个附加层可以添加到机器学习模型中，并训练为将执行的任务上的输出转换为步骤序列的相应步骤。
外科手术的进展随后用于选择外科显微镜系统的两个或更多个功能。特别地，两个或更多个功能可以基于它们在外科手术的当前步骤中的适用性选择。例如，可以预测什么功能可能由外科显微镜系统的外科医生/用户触发，并且这些功能可以被选择。例如，两个或更多个功能可以是比其他功能更有可能在外科手术的当前步骤中由外科医生/用户触发的功能。然后使这些功能更容易被外科显微镜系统的外科医生/用户访问。
两个或更多个功能是从外科显微镜系统的多个功能中选择的。通常地，外科显微镜系统的多个功能可以涉及外科显微镜系统的功能和/或外科显微镜系统的可以由外科医生/用户触发的设置。换言之，可以由外科医生/用户触发的任何功能，或者可以由用户改变的任何设置，都可以是多个功能的一部分。在这方面，“功能”可以被视为任何可以通过外科显微镜系统控制/触发的东西。例如，多个功能可以包括与控制外科显微镜系统的某个方面相关的一个或更多个功能，例如与控制放大相关的功能、与控制聚焦相关的功能、与控制照明相关的功能、与控制工作距离相关的功能或与控制成像模式(例如，视觉图像或OCT图像)相关的功能。
在一些示例中，多个功能可以包括与外科显微镜系统联接的一个或更多个装置的功能，例如泵、OCT装置、超声装置等。这些装置可以经由外科显微镜系统来控制，和/或与外科显微镜系统结合使用，因此也被认为是外科显微镜系统的功能。因此，多个功能可以包括与控制辅助装置(例如OCT装置、泵或超声装置)相关的功能。
通常地，多个功能可以限制为被认为与(整个)外科手术相关的功能。这可以包括外科显微镜系统的基本功能，并且排除在特定外科手术期间不常用的辅助装置或部件的功能。
在一些示例中，可以使用外科手术的进展和所选择的功能之间的预定(即确定性的)分配。换言之，两个或更多个功能是基于外科手术的进展与多个功能的功能之间的确定性分配选择的。对于外科手术的步骤序列的每个步骤，可以定义要分配给的两个或更多个输入模态的两个或更多个功能。
可替换地，可以使用不同的、更细微的方法，例如，来确定功能的上下文排序，基于它们与外科手术的进展的当前步骤的相关性。因此，系统可以配置为确定功能关于其在外科手术的进展的当前步骤中的相关性的排序，并且基于排序选择两个或更多个功能。例如，两个或更多个最高排序的功能可以从排序中选择。排序可以表示在外科手术的进展的当前步骤中的各个功能的相关性。例如，一些基本功能，例如关于聚焦和照明，可能总是被认为是相关的，而一些功能，例如与联接到外科显微镜系统的辅助装置相关的功能，可能仅在步骤序列的某些步骤中被认为是相关的。这可能导致提出的排序。
例如，可以使用机器学习确定排序。换言之，可以使用机器学习模型选择两个或更多个功能，该机器学习模型被训练为基于外科手术的进展对多个功能进行排序。当使用机器学习时，可以进行非确定性选择，这可以部分基于外科医生的个人偏好，或者基于持有外科显微镜系统的医院的实践。例如，被训练为对多个功能进行排序的机器学习模型可以基于使用外科显微镜系统的外科医生的个人偏好进行训练，使得两个或更多个功能是基于外科医生的个人偏好选择的。附加地或可替换地，被训练为对多个功能进行排序的机器学习模型可以基于在持有外科显微镜系统的医院中使用的实践进行训练，使得两个或更多个功能是基于在医院使用的实践选择的。在第一种情况下，选择可以特别适合外科医生，这可能需要为每个外科医生单独训练机器学习模型(或为每个外科医生训练不同的机器学习模型)。在后一种情况中，可以引用医院内的全科实践，这可以由医院的外科医生跟随。同样，监督学习可以用于训练机器学习模型，使用关于外科手术的进展的信息作为输入数据值，并且使用功能的期望排序，或者表示在外科手术的进展的当前步骤中的功能的适用性的值作为期望输出值。期望输出值可以在外科显微镜系统的使用期间收集，并且机器学习模型的训练可以在收集新的期望输出值时适应调整。
两种或更多种功能的选择可以随着外科手术的进展保持最新。因此，系统可以配置为基于外科手术的进展更新对两个或更多个功能的选择。因此，系统还可以配置为基于更新的选择来更新分配和视觉叠加。
然后将选择的两个或更多个功能分配给外科显微镜系统的两个或者更多个输入模态。在本文中，在“输入装置”和“输入模态”之间进行了区分。通常地，“输入装置”可能与装置本身有关，例如脚踏板或手柄，而“输入模态”可能与输入装置提供的触发功能的手段有关。例如，输入装置可以包括多个输入模态，多个输入模态包括一个或更多个按钮、一个或更多个开关、一个或更多个旋转控制器和一个或更多个控制棒中的至少一个。例如，输入装置“脚踏板”120可以包括多个输入模态，例如可以被按压的按钮、可以在一个或另一个方向上倾斜的垫、或者可以在多个方向中的一个方向倾斜的控制棒。例如，在图3b中，显示了一个脚踏板(即输入装置)，具有六个按钮/开关301、302、307、308、309、310，两个双路开关303/304和305/306，以及一个四路开关311-314。例如，如果输入装置是眼睛跟踪系统，则用户的不同的凝视方向可以对应于输入模态。如果输入装置是嘴开关，则输入模态可以是“致动模态”(例如，通过下巴致动的开关)和通过嘴致动的四向操纵杆。如果输入装置是基于语音识别的控制机构150，则输入模态可以是用于触发功能的不同关键词。
在各种示例中，两个或多个输入模态可以是触觉输入装置120、125的两个或更多个输入模态，触觉输入装置例如脚踏板120、手柄125或嘴开关(未示出)。例如，两个或更多个输入模态可以是外科显微镜系统的脚踏板120、一个或更多个手柄125、或嘴开关的两个或更多个输入模态。如图3b、图5a和图5b所示，例如，两个或更多个输入模态可以通过外科显微镜系统的脚踏板的四路开关来实现。在本文中，术语“触觉输入装置”表示被触觉地致动的开关、按钮、踏板、杆等。例如，术语“触觉输入装置”可以排除类似的输入装置，例如触摸屏。例如，触觉输入装置可以不同于外科显微镜系统的用于显示显示信号的显示装置。
可替换地，可以使用非触觉输入装置。例如，语音识别可以用于触发两个或更多个功能。因此，两个或更多个输入模态可以是外科显微镜系统的基于语音识别的控制机构150的两个或更多个关键词。例如，基于语音识别的控制机制150可以由系统110实现。换言之，系统可以配置为检测通过外科显微镜系统的麦克风捕捉的音频信号中的两个或更多个关键词。
基于所选择的功能并基于它们所分配到的输入模态，生成视觉叠加。通常地，两个或更多个功能的任何种类的视觉表示都可以是视觉叠加的一部分。例如，视觉表示可以包括两个或更多个功能的象形图表示，或者视觉表示可以包括两个或更多个功能的文本表示。换言之，对于通过输入模态的输入模态可访问的两个或更多个功能中的每一个，视觉表示可以包括文本或象形图表示，例如，如图5b所示。此外，视觉叠加包括两个或更多个功能所分配到的输入模态的表示。例如，表示输入模态的象形图或渲染图和/或包括输入模态的输入装置可以包括在视觉叠加中(如图5b进一步所示)。可以如此包括两个或更多个功能的表示，使得相应功能的文本或象形图表示布置为与用于触发功能的相应输入模态相邻。例如，如图5b所示，当两个或更多个功能是分配至四路开关的四个方向的四个功能时，输入模态可以由表示四路开关的象形图534表示，并且分配的功能可以由文本表示532表示(由图5b中的“XXXXXX”指示)，该文本表示532布置为与四路开关的不同方向相邻。例如，如果两个或更多个输入模态包括基于语音识别的控制机构的关键词或关键短语，则基于语音识别的控制机构可以由象形图(例如，如图5a所示的象形图560)表示，而关键词或关键短语与象形图一起显示。
在一些示例中，代替具有视觉叠加的显示信号，或者除了具有视觉叠加面的显示信号之外，两个或更多个功能和两个或更多个相关联的输入模态(例如，关键字)可以经由基于语音的用户界面提供(例如，通知)。外科医生/用户可以通过在触觉输入装置处触发相应输入模态或者通过说出相应关键词/关键短语来触发功能。
在一些示例中，除了两个或更多个功能之外，提出的系统可以用于基于外科手术的进展提出一个或更多个外科步骤。类似于上面提到的对两个或更多个功能的选择，一个或更多个外科步骤可以使用确定性的分配或使用机器学习模型来选择，而一个或更多个外科步骤适合于外科手术的进展的当前步骤。例如，一个或更多个外科步骤可以包括外科医生要执行的一个或更多个外科任务和/或用于执行一个或更多个外科任务的位置的一个或者更多个建议(如图5c所示)。
系统配置为向外科显微镜系统的显示装置130提供显示信号(例如经由接口112)，显示信号包括视觉叠加。显示装置可以配置为基于显示信号示出视觉叠加，例如基于显示信号在样本上的视图上注入视觉叠加。例如，显示信号可以包括视频流或包括视觉叠加的控制指令，例如使得视觉叠加由相应的显示装置示出。例如，显示装置可以是外科显微镜系统的显微镜的目镜显示器130a和辅助显示器130b、130c中的一个。在现代外科显微镜系统中，样本上的视图常常通过显示器(例如目镜显示器、辅助显示器或头戴式显示器)提供，例如使用基于相应的显微镜的光学成像传感器的图像传感器数据生成的视频流。在这种情况下，视觉叠加可以仅仅叠加在视频流上。例如，系统可以配置为获得显微镜的光学成像传感器的图像传感器数据，基于图像传感器数据生成视频流，以及通过在视频流上叠加视觉叠加来生成显示信号。
可替换地，视觉叠加可以覆盖在样本的光学视图上。例如，显微镜的目镜接目镜可以配置为提供样本上的光学视图，并且显示装置可以配置为将叠加注入样本上的视图中，例如使用布置在显微镜的光学路径内的单向镜或半透明显示器。例如，显微镜可以是具有至少一个光学路径的光学显微镜。单向镜可以布置在光学路径内，并且视觉叠加可以投影到单向镜上，从而叠加在样本上的视图上。在这种情况下，显示装置可以是投影装置，该投影装置配置为朝向镜投影视觉叠加，例如使得视觉叠加朝向显微镜的接目镜反射。可替换地，一个或更多个显示器可以用于在显微镜的光学路径内提供叠加。例如，显示装置可以包括布置在光学路径内的至少一个显示器。例如，显示器可以是基于投影的显示器和基于屏幕的显示器之一，例如基于液晶显示器(LCD)或有机发光二极管(OLED)的显示器。例如，显示器可以布置在光学立体显微镜的目镜内，例如每个目镜中有一个显示器。例如，可以使用两个显示器将光学显微镜的目镜转变为增强现实目镜，即增强现实接目镜。可替换地，可以使用其他技术来实现增强现实接目镜/目镜。
例如，显微镜的光学成像传感器可以包括或是基于APS(有源像素传感器)或CCD(电荷联接装置)的成像传感器。例如，在基于APS的成像传感器中，使用像素的有源放大器和光电检测器将光线记录在每个像素处。基于APS的成像传感器常常基于CMOS(互补金属氧化物半导体)或S-CMOS(科学CMOS)技术。在基于CCD的成像传感器中，入射光子在半导体氧化物界面处被转换为电子电荷，随后通过传感器成像模块的控制电路在成像传感器模块中的电容仓之间移动，以执行成像。可以通过从光学成像传感器接收图像数据(例如经由接口112和/或系统110)、通过从成像传感器的存储器读出图像数据(如经由接口112)、或者通过从系统110的存储装置116读取图像数据，例如在图像数据已由光学成像传感器或另一系统或处理器写入存储装置116之后，获得图像数据。
接口112可以对应于用于接收和/或发送信息的一个或更多个输入和/或输出，该信息可以在根据指定代码的数字(比特)值中，在模块内，在模块之间或在不同实体的模块之间。例如，接口112可以包括接口电路，该接口电路配置为接收和/或发送信息。在实施例中，可以使用一个或更多个处理单元、一个或更多个处理装置、任何用于处理的手段，例如处理器、计算机或可与相应地适配的软件一起操作的可编程硬件组件，实现一个或更多个处理器114。换言之，一个或更多个处理器114的描述的功能也可以在软件中实现，然后该软件在一个或更多个可编程的硬件组件上实施。这样的硬件组件可以包括通用处理器、数字信号处理器(DSP)、微控制器等。在至少一些实施例中，一个或更多个存储装置116可以包括计算机可读存储介质组中的至少一个元件，例如磁或光存储介质，例如硬盘驱动器、闪存、软盘、随机存取存储器(RAM)、可编程只读存储器(PROM)、可擦除可编程只读存储(EPROM)、电子可擦除可变成只读存储器(EEPROM)或网络存储器。
此外，一些技术可以应用于一些机器学习算法。例如，可以使用特征学习。换言之，机器学习模型可以至少部分地使用特征学习训练，和/或机器学习算法可以包括特征学习组件。特征学习算法，可以称为表示学习算法，可以在它们的输入中保留信息，但也可以以使信息有用的方式转换信息，常常作为执行分类或预测之前的预处理步骤。例如，特征学习可以基于主要成分分析或聚类分析。
在一些示例中，可以使用异常检测(即异常值检测)，其目的在于提供输入值的识别，该输入值通过与大多数输入或训练数据显著不同而引起怀疑。换言之，机器学习模型可以至少部分地使用异常检测训练，和/或机器学习算法可以包括异常检测组件。
在一些示例中，机器学习算法可以使用决策树作为预测模型。换言之，机器学习模型可以基于决策树。在决策树中，关于项目(例如输入值集)的观察可以由决策树的分支表示，并且对应于项目的输出值可以由决策树的叶表示。决策树可以支持离散值和连续值作为输出值。如果使用离散值，则决策树可以意指分类树。如果使用连续值，则决策树可以意指回归树。
关联规则是可以在机器学习算法中使用的另一种技术。换言之，机器学习模型可以基于一个或更多个关联规则。关联规则是通过识别大量数据中的变量之间的关系来创建的。机器学习算法可以识别和/或利用一个或更多个关系规则，该一个或更多个关系规则表示从数据导出的知识。这些规则可以例如用于存储、操纵或应用知识。
机器学习算法通常基于机器学习模型。换言之，术语“机器学习算法”可以意指可以用于创建、训练或使用机器学习模型的指令集。术语“机器学习模型”可以意指表示所学习的知识的数据结构和/或规则集(例如，基于由机器学习算法执行的训练)。在实施例中，机器学习算法的使用可以意味着底层机器学习模型(或多个底层机器学习模型)的使用。机器学习模型的使用可以意味着机器学习模型和/或数据结构/规则集(即机器学习模型)是由机器学习算法训练的。
例如，机器学习模型可以是人工神经网络(ANN)。ANN是受生物神经网络启发的系统，例如可以在视网膜或大脑中找到。ANN包括多个互连节点和节点之间的多个连接，即所谓的边缘。通常有三种类型的节点，接收输入值的输入节点，(仅)连接到其他节点的隐藏节点，以及提供输出值的输出节点。每个节点可以表示一个人工神经元。每个边缘可以从一个节点向另一个节点发送信息。节点的输出可以定义为其输入的(非线性)函数(例如，其输入的总和的函数)。基于提供输入的节点或边缘的“权重”，节点的输入可以用在函数中。节点和/或边缘的权重可以在学习过程中调整。换言之，人工神经网络的训练可以包括调整人工神经网络节点和/或边缘的权重，即，对于给定的输入实现期望的输出。例如，被训练以跟踪外科手术的进展的机器学习模型可以是卷积神经网络(CNN)，例如密集轨迹CNN、时空CNN或循环神经网络(RNN)。CNN特别适合于图像数据的分析，时空CNN为图像数据序列的分析提供了改进的支持。RNN特别适合于序列分析，例如任务序列。
可替换地，机器学习模型可以是支持向量机、随机森林模型或梯度增强模型。支持向量机(即支持向量网络)是具有相关联的学习算法的监督学习模型，其可以用于分析数据(例如在分类或回归分析中)。可以通过向输入提供属于两个类别之一的多个训练输入值而训练支持向量机。支持向量机可以训练以将新的输入值分配给两个类别中的一个。可替换地，机器学习模型可以是贝叶斯网络，其是概率有向无循环图形模型。贝叶斯网络可以使用有向无循环图形表示随机变量集以及它们的条件依赖性。可替换地，机器学习模型可以基于遗传算法，遗传算法是模拟自然选择过程的搜索算法和启发式技术。
系统和外科显微镜系统的更多细节和方面是结合提出的概念或者上文或下文描述的一个或更多个示例(例如，图2至图6)提到的。系统和/或外科显微镜系统可以包括一个或更多个附加可选特征，该附加可选特征对应于上文或下文描述的一个或更多个示例或者提出的概念的一个或更多个方面。
图2显示了用于外科显微镜系统的相应方法的示例的流程图。方法包括跟踪210外科手术的进展。方法包括基于外科手术的进展选择220外科显微镜系统的多个功能中的两个或更多个。方法还包括将两个或更多个功能分配230至外科显微镜系统的两个或更多个输入模态。方法包括生成240具有两个或更多个功能的视觉表示的视觉叠加，两个或更多个功能是关于两个或更多个输入模态的视觉表示示出的。方法包括向外科显微镜系统的显示装置提供250显示信号，显示信号包括视觉叠加。
结合图1a和/或图1b的系统110和外科显微镜系统100描述的特征同样可以应用于图2的方法。例如，方法可以是计算机实现的方法。方法可以由外科显微镜系统执行，例如由外科显微镜系统的计算机系统(如图1a和/或图1b的系统110)，或者由结合图6介绍的计算机系统620。
方法的更多细节和方面是结合提出的概念或者上文或下文描述的一个或更多个示例(例如，图1a至图1b，图3a至图6)提到的。方法可以包括一个或更多个附加可选特征，该附加可选特征对应于上文或下文描述的一个或更多个示例或者提出的概念的一个或更多个方面。
本公开的各种示例涉及具有命令推荐和语音控制的AI(基于人工智能，也基于机器学习)外科助手，人工智能和语音控制的使用是可选的。
提出的外科助手是基于对相应的外科手术的进展的跟踪。外科助手可以提供实时的外科活动分割(以将外科手术分割成多个步骤)。从那里，外科助手可以向外科医生建议在当前时间步骤中外科手术过程最可能需要的命令，例如，按概率排序。推荐可以通过GUI或通过机器语音(即技术到语音系统)提示。
此外，提供的建议可以根据紧接地在该时刻之前发生的外科活动产生，其可以通过在各种医学外科视频上训练的神经网络获得。这个特征可以降低对首席助手的知识水平和经验的要求。
例如，医学视频剪辑和系统数据输出日志可以用于训练一个或更多个神经网络(例如，使用密集轨迹/ST-CNN(时空卷积神经网络)进行特征提取和RNN(递归神经网络)进行分类，或者使用时间卷积网络或强化学习)来分割外科活动(即确定外科手术的步骤)。另一个神经网络家族可以训练以将分割的外科活动(即外科手术的步骤)映射到可能在某些时间步骤发出的系统命令(即两个或更多个功能)。产生的推荐命令可以通过GUI(例如，通过视觉叠加)或通过音频排序并建议用户。
在一些示例中，命令的触发可以通过语音来完成。外科医生或助手可以说出命令，其无论是AI外科助手提供的建议之一还是其他命令，无需选择设置在GUI上的配置。因此，特征可以避免外科医生分心然后重新专注于手头任务的可能的不利结果。更重要的是，可以为实际手术节省更多的时间。语音识别可以使用基于云的语音识别，或者使用一个或更多个根据医学背景微调的预训练模型来完成，以将(口语)用户命令映射到相应的系统命令中(以触发功能)。
作为提出的概念中的典型工作流程，系统可以基于当前的医学活动提示外科医生对系统进行可能的重新配置。然后外科医生可以通过GUI或语音发出命令以触发特定的调整。
总之，提出的概念可以减少或消除必须转到GUI来更改系统设置的必要性，这可以降低对助手的知识和经验的要求，最重要的是节省实际手术的时间。
外科助手的更多细节和方面是结合提出的概念或者上文或下文描述的一个或更多个示例(例如，图1a至图2，图4至图6)提到的。外科助手可以包括一个或多个附加可选特征，该附加可选特征对应于上文或下文描述的一个或更多个示例或者提出的概念的一个或更多个方面。
图3a显示了用于外科显微镜系统的脚踏板的示例的示意图。脚踏板包括多个输入模态，例如开关(即按钮)、双路开关和四路开关。输入模态由外科医生的脚触发。
图3b显示了用于外科显微镜系统的脚踏板的不同输入模态的示例的示意图。在图3a中，脚踏板包括底部左开关301、底部右开关302、下双路开关(左侧303和右侧304)、上双路开关(左侧305和右侧306)、中间开关左307和右308、顶部开关左309和右310以及具有方向左311、顶部312、右313和底部314的四路开关。
在眼科外科显微镜系统的示例中，脚踏开关(脚踏板-术语脚踏开关和脚踏板在本公开中可互换使用)可以具有多种模式-前部模式、前部OCT模式、VR模式和VR OCT模式。
例如，在前部模式中，底部左开关301可以设置为所有灯打开/关闭，底部右开关302可以设置成OCT模式打开/关闭，下双路开关303、304可以设置为放大-和+(分别为左和右)，上双路开关305、306可以设置为聚焦-和+(分别为左和右)，中间左开关307和顶部左开关309可以设置为主光-和+，中间右开关308和顶部右开关310可以分别设置为红光反射+和-，并且四路开关311-314可以设置成移动X-和X+(左和右)以及移动Y-和Y+(底部和顶部)。在其他模式中，配置可以更改。例如，在两种OCT模式中，开关可以设置为控制OCT而不是显微镜。
分配给脚踏板的该大量功能可能被认为不是用户友好的，尤其是对于新用户而言。实际上，外科医生可能难以记住分配。因此，用户/外科医生可以打印出脚踏开关分配，并将打印的纸张粘贴到外科显微镜系统上。
图4显示了眼科外科手术的示例的进展的示意图。图4所示的示例显示了白内障手术，包括步骤410-490。不同的步骤可以基于用户/外科医生在外科显微镜系统或在辅助装置处发出的命令、在外科手术的图像数据中检测到的物体，和/或在图像数据中检测到的运动进行区分。
首先进行端口切口410。端口切口可以基于以下一个或更多个来检测：开灯(命令)、聚焦(一系列命令)、放大调整(一系列命令)、视频录制开始(命令)和穿刺刀片(检测的对象)。端口切口410之后的是第二切口420。第二切口420可以基于角膜刀刀片(检测的对象)的检测来检测。第二切口420之后的是粘弹剂应用430。粘弹剂应用430可以基于粘弹剂注射(在泵处发出的命令)和麻醉剂注射(在泵处发出的命令)中的一个或更多个来检测。粘弹剂应用430之后的是连续曲线撕囊440，其可以基于膀胱刀刀片(检测的对象)和麻醉剂注射(在泵处发出的命令)中的一个或更多个来检测。连续曲线撕囊440之后的是皮瓣创建450，其可以基于膀胱刀刀片(检测的对象)和剥离皮瓣(检测的运动)中的一个或更多个来检测。皮瓣创建450之后的是超声乳化460，其可以使用超声乳化器(检测的对象)和分解核(超声命令和检测的运动)中的一个或更多个来检测。超声乳化460之后的是抽吸470，其可以使用超声乳化器(检测的对象)和抽吸(抽吸命令和检测的运动)中的一个或更多个来检测。抽吸470之后的是冲洗/抽吸480，其可以基于冲洗手持件(检测的对象)、抽吸手持件(检测的对象)、清洁过程(检测的运动)和红光反射照明(照明命令)中的一个或更多个来检测。冲洗/抽吸480之后的是人工晶状体插入，其可以基于晶状体注射器(检测的对象)和调节(检测的运动)中的一个或更多个来检测。这些动作、对象和运动可以用于训练神经网络400。
图5、图5b和图5c显示了提出的概念的示例的示意图。在图5a中，显示了示例的总体流程。它从外科手术的当前阶段/步骤510开始(图5a中的端口切口阶段/步骤)。然后，机构，例如训练的神经网络520，可以用于预测可能的步骤(即外科显微镜系统的可能功能和/或可能的外科步骤)。提出的功能可以显示530叠加在外科手术部位的视觉图像上。在图5b中，更详细地显示了视图530，提出的功能532(其文本描述由“XXXXXX”指示)显示在输入模态的表示534(在这种情况下是四路脚踏开关)的旁边。提出的外科步骤540如视图540所示，其在图5c中更详细地展示。图5c显示了沿着提出的切口位置544的提出的外科步骤532(文字描述由“XXX”指示)。用户经由输入装置/模态550、560选择期望的功能，输入装置550是脚踏板/脚踏开关并且输入装置560是基于语音识别的输入模态。在图5a中，四路开关552-558用于提出的功能1-4，如视图530中指示的那样。在由用户/外科医生选择之后，期望的功能被触发570。
外科显微镜系统、用于外科显微镜系统的系统或方法以及相应的外科助手的更多细节和方面是结合提出的概念或者上文或下文描述的一个或更多个示例(例如，图1a至图2、图6)提到的。外科显微镜系统、用于外科显微镜系统的系统或方法以及相应的外科助手可以包括一个或更多个附加可选特征，该附加可选特征对应于上文或下文描述的一个或者更多个示例或者提出的概念的一个或更多个方面。
一些实施例涉及显微镜，该显微镜包括如结合图1至图5c中的一个或更多个描述的系统。可替换地，显微镜可以是结合图1至图5c中的一个或更多个描述的系统的一部分或连接到该系统。图6显示了配置为执行本文描述的方法的系统600的示意图。系统600包括显微镜610和计算机系统620。显微镜610配置为拍摄图像并且连接到计算机系统620。计算机系统620配置为实施本文描述的方法的至少一部分。计算机系统620可以配置为实施机器学习算法。计算机系统620和显微镜610可以是单独的实体，但也可以集成在一个共同的外壳中。计算机系统620可以是显微镜610的中央处理系统的一部分，和/或计算机系统620可以为显微镜610的子组件(例如显微镜610的传感器、动作器、相机或照明单元等)的一部分。
计算机系统620可以是具有一个或更多个处理器和一个或更多个存储装置的本地计算机装置(例如，个人计算机、笔记本电脑、平板电脑或移动电话)，或者可以是分布式计算机系统(例如，具有分布在不同位置(例如，在本地客户端和/或一个或更多个远程服务器场和/或数据中心)的一个或更多个处理器以及一个或更多个存储装置的云计算系统)。计算机系统620可以包括任何电路或电路的组合。在一个实施例中，计算机系统620可以包括可以是任何类型的一个或更多个处理器。如本文所使用的，处理器可以指任何类型的计算电路，例如但不限于微处理器、微控制器、复杂指令集计算(CISC)微处理器、精简指令集运算(RISC)微处理器、超长指令字(VLIW)微处理器、图形处理器、数字信号处理器(DSP)、多核处理器、现场可编程门阵列(FPGA)，例如属于显微镜或显微镜部件(例如相机)或任何其他类型的处理器或处理电路。计算机系统620中可以包括的其他类型的电路可以例如是定制电路、专用集成电路(ASlC)等，例如，用于像移动电话、平板电脑、笔记本电脑、双向无线电和类似电子系统的无线装置的一个或更多个电路(如通信电路)。计算机系统620可以包括一个或更多个存储装置，其可以包括适用于特定应用的一个或更多个存储元件，例如随机存取存储器(RAM)形式的主存储器、一个或更多个硬盘驱动器和/或处理可移除介质(例如光盘(CD)、闪存卡、数字视盘(DVD)等)的一个或者更多个驱动器。计算机系统620还可以包括显示装置、一个或更多个扬声器以及键盘和/或控制器，其可以包括鼠标、轨迹球、触摸屏、语音识别装置或允许系统用户向计算机系统620输入信息和从计算机系统620接收信息的任何其他装置。
一些或全部方法步骤可以通过(或使用)硬件设备来实施，例如处理器、微处理器、可编程计算机或电子电路。在一些实施例中，最重要的方法步骤中的某一个或更多个可以由这样的设备实施。
根据某些实现要求，本发明的实施例可以在硬件或软件中实现。实现可以使用非临时存储介质来执行，例如数字存储介质，例如软盘、DVD、蓝光、CD、ROM、PROM和其上存储有电子可读控制信号的EPROM、EEPROM或FLASH存储器，其与可编程计算机系统协作(或能够协作)，从而执行相应的方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，该控制信号能够与可编程计算机系统协作，从而执行本文描述的的方法之一。
通常地，本发明的实施例可以实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，程序代码可操作用于执行方法之一。例如，程序代码可以存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的用于执行本文描述的方法之一的计算机程序。
换言之，因此，本发明的实施例是一种计算机程序，其具有当计算机程序在计算机上运行时用于执行本文描述的方法之一的程序代码。
因此，本发明的另一个实施例是一种存储介质(或数据载体，或计算机可读介质)，其包括存储在其上的计算机程序，该计算机程序用于在由处理器执行时执行本文描述的方法之一。数据载体、数字存储介质或记录的介质通常是有形的和/或非过渡性的。本发明的另一个实施例是如本文描述的设备，包括处理器和存储介质。
因此，本发明的另一个实施例是表示用于执行本文描述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如配置为经由数据通信连接，例如经由互联网来传输。
另一个实施例包括处理手段，例如，计算机或可编程逻辑装置，其配置为或适于执行本文描述的方法之一。
另一个实施例包括计算机，该计算机上安装有用于执行本文描述的方法之一的计算机程序。
根据本发明的另一个实施例包括设备或系统，该设备或系统配置为将用于执行本文描述的方法之一的计算机程序传送(例如，电子地或光学地)到接收器。例如，接收器可以是计算机、移动装置、存储器装置等。例如，设备或系统可以包括用于将计算机程序传输到接收器的文件服务器。
在一些实施例中，可编程逻辑装置(例如，现场可编程门阵列)可以用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作，以便执行本文描述的方法之一。通常地，方法优选地由任何硬件设备来执行。
如本文所用，术语“和/或”包括一个或更多个相关列出的项目的任何和所有组合，并且可以缩写为“/”。
尽管已经在设备的上下文中描述了一些方面，但是清楚的是，这些方面也表示对应方法的描述，其中块或装置对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对应设备的对应块或项目或特征的描述。
附图标记列表
100 外科显微镜系统
110 系统
112 一个或更多个接口
114 一个或更多个处理器
116 一个或更多个存储装置
120 脚踏板
125 手柄
130a,b,c 显示装置
140 显微镜
150 显微镜、基于语音识别的控制机构
210 跟踪外科手术的进展
220 选择两个或更多个功能
230 分配两个或更多个功能至两个或更多个输入模态
240 生成视觉叠加
250 提供显示信号
301-314 脚踏板的开关
400 训练的神经网络
410-490 白内障外科手术的步骤
510 外科手术的当前进展
520 训练的神经网络
530 显示提出的功能的视觉叠加
532 提出的功能
534 输入模态的表示
540 显示提出的外科步骤的视觉叠加
542 提出的外科步骤
544 提出的切口位置
550 脚踏板
552-552 分配有提出的功能的脚踏板的输入模态
560 语音控制
570 触发期望的功能
600 系统
610 显微镜
620 计算机系统

Claims (15)

1.一种用于外科显微镜系统(100、600)的系统(110、620)，所述系统包括一个或更多个处理器(114)和一个或更多个存储装置(116)，其中，所述系统配置为：
跟踪外科手术的进展；
基于所述外科手术的进展选择所述外科显微镜系统的多个功能中的两个或更多个；
将所述两个或更多个功能分配至所述外科显微镜系统的两个或更多个输入模态；
生成具有所述两个或更多个功能的视觉表示的视觉叠加，所述两个或更多个功能与所述两个或更多个输入模态的视觉表示相关地显示；
向所述外科显微镜系统的显示装置(130a、130b、130c)提供显示信号，所述显示信号包括所述视觉叠加。
2.根据权利要求1所述的系统，其中，所述两个或更多个输入模态是触觉输入装置(120、125)的两个或更多个输入模态，所述触觉输入装置(120、125)不同于所述外科显微镜系统的所述显示装置。
3.根据权利要求1或2中一项所述的系统，其中，所述两个或更多个输入模态是所述外科显微镜系统的脚踏板(120)或者一个或更多个手柄(125)的两个或更多个输入模态。
4.根据权利要求3所述的系统，其中，所述两个或更多个输入模态是通过所述外科显微镜系统的所述脚踏板的四路开关实现的。
5.根据权利要求1至4中一项所述的系统，其中，所述两个或更多个输入模态是所述外科显微镜系统的基于语音识别的控制机构(150)的两个或更多个关键词。
6.根据权利要求1至5中一项所述的系统，其中，所述系统配置为基于所述外科手术的进展更新对所述两个或更多个功能的选择。
7.根据权利要求1至6中一项所述的系统，其中，所述系统配置为确定功能关于其在所述外科手术的进展的当前步骤中的相关性的排序，并且基于所述排序选择所述两个或更多个功能。
8.根据权利要求1至7中一项所述的系统，其中，所述两个或更多个功能是基于所述外科手术的进展和所述多个功能的功能之间的确定性分配选择的。
9.根据权利要求1至8中一项所述的系统，其中，所述两个或更多个功能是使用机器学习模型选择的，所述机器学习模型训练为基于所述外科手术的进展对所述多个功能进行排序。
10.根据权利要求9所述的系统，其中，被训练为对所述多个功能进行排序的所述机器学习模型是基于使用所述外科显微镜系统的外科医生的个人偏好训练的，使得所述两个或更多个功能是基于所述外科医生的个人偏好选择的。
11.根据权利要求1至10中一项所述的系统，其中，所述系统配置为基于在所述外科显微镜系统处发出的命令序列跟踪所述外科手术的进展。
12.根据权利要求1至11中一项所述的系统，其中，所述系统配置为使用机器学习模型跟踪所述外科手术的进展，所述机器学习模型训练为基于所述外科显微镜系统的光学成像传感器(140)的图像数据跟踪所述外科手术的进展。
13.根据权利要求12所述的系统，其中，所述外科手术包括步骤序列，所述步骤序列中的每个步骤包括在所述图像数据中示出的一个或更多个任务，其中所述机器学习模型训练为检测在所述图像数据中示出的所述任务，并且输出关于在所述图像数据中示出的任务的信息，其中所述系统配置为基于由所述机器学习模型输出的关于所述任务的信息跟踪所述外科手术的进展。
14.一种用于外科显微镜系统的方法，所述方法包括：
跟踪(210)外科手术的进展；
基于所述外科手术的进展，选择(220)所述外科显微镜系统的多个功能中的两个或更多个；
将所述两个或更多个功能分配(230)至所述外科显微镜系统的两个或更多个输入模态；
生成(240)具有所述两个或更多个功能的视觉表示的视觉叠加，所述两个或更多个功能与所述两个或更多个输入模态的视觉表示相关地显示；
向所述外科显微镜系统的显示装置提供(250)显示信号，所述显示信号包括所述视觉叠加。
15.一种计算机程序，所述计算机程序具有当所述计算机程序在处理器上实施时用于执行根据权利要求14所述的方法的程序代码。
CN202280064477.9A 2021-09-22 2022-09-19 外科显微镜系统以及用于外科显微镜系统的相应系统、方法和计算机程序 Pending CN117981009A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102021124579.6 2021-09-22
DE102021124579 2021-09-22
PCT/EP2022/075956 WO2023046630A1 (en) 2021-09-22 2022-09-19 Surgical microscope system and corresponding system, method and computer program for a surgical microscope system

Publications (1)

Publication Number Publication Date
CN117981009A true CN117981009A (zh) 2024-05-03

Family

ID=84388120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280064477.9A Pending CN117981009A (zh) 2021-09-22 2022-09-19 外科显微镜系统以及用于外科显微镜系统的相应系统、方法和计算机程序

Country Status (2)

Country Link
CN (1) CN117981009A (zh)
WO (1) WO2023046630A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117562678B (zh) * 2024-01-08 2024-04-12 华中科技大学同济医学院附属协和医院 一种用于神经外科手术显微镜的辅助系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10426339B2 (en) * 2016-01-13 2019-10-01 Novartis Ag Apparatuses and methods for parameter adjustment in surgical procedures
US11147636B2 (en) * 2017-10-04 2021-10-19 Alcon Inc. Surgical suite integration and optimization
US10758309B1 (en) * 2019-07-15 2020-09-01 Digital Surgery Limited Methods and systems for using computer-vision to enhance surgical tool control during surgeries

Also Published As

Publication number Publication date
WO2023046630A1 (en) 2023-03-30

Similar Documents

Publication Publication Date Title
JP2021524629A (ja) ウェアラブルシステムのためのトランスモード入力融合
JP2020505675A (ja) 医療アシスタント
US20200126661A1 (en) Augmented reality for predictive workflow in an operating room
US20210334474A1 (en) Natural Language System and Methods
CN117981009A (zh) 外科显微镜系统以及用于外科显微镜系统的相应系统、方法和计算机程序
KR20230113600A (ko) 수술 능력을 평가하기 위한 시스템들 및 방법들
US20230404699A1 (en) System for a Microscope System and Corresponding Method and Computer Program
US11416699B2 (en) Machine learning system for identifying a state of a surgery, and assistance function
US20220331093A1 (en) Ai-based video analysis of cataract surgery for dynamic anomaly recognition and correction
US20230169698A1 (en) Microscope system and corresponding system, method and computer program for a microscope system
EP4338699A1 (en) System, method, and computer program for a surgical imaging system
US20240041320A1 (en) Device for a Surgical Imaging System, Surgical Imaging System, Method and Computer Program
JP2022509666A (ja) タッチレス入力超音波制御法
EP4223250A1 (en) Surgical microscope system and system, method and computer program for a microscope of a surgical microscope system
US11588986B2 (en) Apparatuses, methods, and computer programs for a microscope system for obtaining image data with two fields of view
US20220163783A1 (en) Self-teaching microscope
EP4123658A1 (en) Medical video annotation using object detection and activity estimation
EP4062861A1 (en) Surgical microscope system and corresponding system, method and computer program for a surgical microscope system
EP4074244A1 (en) Feature recognition and depth guidance using intraoperative oct
US20230259003A1 (en) Apparatus and method for an imaging device
WO2022048859A1 (en) A concept for adapting a machine-learning model for determining potential regions of interest
Pontillo Object naming in visual search tasks
WO2023135052A1 (en) Ophthalmic microscope system and system, method and computer program for an ophthalmic microscope system
JP2024515280A (ja) 眼科用顕微鏡システム、対応するシステム、方法およびコンピュータプログラム
CN114041874A (zh) 界面显示控制方法和装置、计算机设备和系统、及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication