CN113039609B - 手术支持系统、数据处理设备和方法 - Google Patents

Abstract

一种手术支持系统，包括：手术数据生成设备，其能操作用于生成与手术过程相关联的手术数据；以及数据处理设备，其能操作用于：使用所生成的手术数据来确定人工智能(AI)辅助信息；并将所确定的AI辅助信息提供给用户。

Description

手术支持系统、数据处理设备和方法

技术领域

本公开涉及一种手术支持系统、一种数据处理设备和一种方法。

背景技术

本文提供的“背景”描述是为了总体上呈现本公开的上下文。在本背景技术部分中描述的程度上，当前命名的发明人的工作以及在提交时可能不被认为是现有技术的描述的方面既不明确地也不隐含地被认为是针对本公开的现有技术。

手术室环境中的人可能需要关于决策的建议，例如，外科医生的手术建议和支持人员(例如，相机操作者、护士、技术人员等)的技术或医学建议。该建议可以是第二意见的形式，即，受尊敬的同事对某个主题的主观建议，或者可能是关于已知最佳实践的客观信息。

虽然同事的主观建议在没有明确的最佳实践或最佳实践建议不可信的情况下非常有用，但同事的可用性和检索建议所需的时间会限制该选项的效用。

主观建议的效用还受到同事意见价值的限制，例如，他们对该主题的经验程度以及他们对建议寻求者的观点提出质疑或提供不同输入的可能性。获得各种各样的意见不仅会将建议寻求者带来其他可能没有考虑到的方法，还会引发更仔细的信息处理。然而，虽然与建议请求者仅仅远远相关联的个人更有可能提供不同的意见，但他们也可能不那么被请求者信任。

此外，在个人群体的决策过程中，在“群体思维”和团队合作/效率之间存在权衡，在“群体思维”中，意见的多样性较低，可能无法做出最佳决策，在团队合作/效率中，由于意见一致，可以快速有效地做出决策。

因此，需要一种更有效的方式，使手术室工作人员能够彼此共享相关信息，尤其是在进行手术时(当手术室工作人员能够获得来自同事的高质量的相关信息时，将对患者特别有益)。特别地，需要使手术室工作人员能够在时间非常有限的手术环境中获得关于不熟悉情况的主观建议。需要减少由于个体倾向于接触和寻求同意他们的人的意见而导致的确认偏差和次优手术决策的发生。有必要减少潜在有用建议的浪费，这种浪费可能是由于建议请求者对未知的或被负面感知的个人的感知而产生的。需要选择和优化有助于可以从大量有知识的个人那里快速获得的决策的建议的价值。还需要缓解外科医生和技术在外科决策中缺乏信任的问题。

发明内容

本公开由权利要求限定。

通过一般性介绍的方式提供前面的段落，并不旨在限制以下权利要求的范围。通过结合附图参考以下详细描述，将最好地理解所描述的实施例以及进一步的优点。

附图说明

当结合附图考虑时，通过参考下面的详细描述，将很容易获得对本公开及其许多附带优点的更完整的理解，其中：

[图1]图1示意性示出了根据一个实施例的手术支持系统；

[图2A]图2A示意性地示出了根据一个实施例的由手术支持系统在确定合适的人工智能(AI)辅助信息时使用的第一示例数据；

[图2B]图2B示意性地示出了根据一个实施例的由手术支持系统在确定合适的人工智能(AI)辅助信息时使用的第一示例数据；

[图2C]图2C示意性地示出了根据一个实施例的由手术支持系统在确定合适的人工智能(AI)辅助信息时使用的第一示例数据；

[图3]图3示意性地示出了根据一个实施例的基于归因于不同个人AI的得分来确定合适的AI辅助信息；

[图4A]图4A示意性地示出了根据一个实施例的由手术支持系统在确定合适的人工智能(AI)辅助信息时使用的第二示例数据；

[图4B]图4B示意性地示出了根据一个实施例的由手术支持系统在确定合适的人工智能(AI)辅助信息时使用的第二示例数据；

[图5]图5示出了根据一个实施例的方法的流程图；以及

[图6]图6示意性地示出了根据一个实施例的个人AI的功能。

具体实施方式

现在参考附图，其中，在几个视图中，相同的附图标记表示相同或相应的部分。

个人AI助手(也称为个人AI或AI助手)使用(i)一个或多个算法和(ii)指示一个人在已知的过去情况下的决策的数据，来预测该人在已知的未来情况下将做出什么决策。AI助手获得的过去数据越多，AI助手的预测就越准确。可以在“聊天机器人”中看到这种技术，例如，“聊天机器人”能够以个人的风格写文章或进行对话。其他示例包括音乐或购买推荐平台。随着这项技术的进步，它将越来越多地被用于更专业的目的，例如，为医疗咨询目的提供“虚拟专家”。个人AI助手可以包括智能代理，该智能代理收集关于其环境的信息(通过一个或多个传感器)，并基于所收集的信息对其环境起作用(通过一个或多个致动器)。基于一个或多个算法和指示个人AI所基于的人的过去决策的数据，来确定智能代理在其环境中采取的动作。

本技术允许第一用户(例如，外科医生)向第二用户的个人AI寻求建议(例如，另一外科医生)。特别地，本技术允许第一用户访问多个相应的第二用户的多个个人AI，并且基于多个因素，确定这些个人AI中最合适的一个或多个，用于提供AI生成的信息，以帮助第一用户进行手术。在实施例中，第一用户通过发出AI辅助请求向第二用户的个人AI请求协助。例如，这具有声音命令的形式。响应于该请求，选择合适的一个或多个个人AI来生成信息，以辅助第一用户(这被称为AI辅助信息)。然后，生成的AI辅助信息被返回给第一用户。AI辅助信息可以包括第一用户可用的任何信息，以帮助他们在手术过程中执行他们的角色。例如，AI辅助信息可以包括关于正在进行的手术、建议采取的行动或建议做出的决策的一个或多个信息。在AI助手包括智能代理的情况下，除了提供AI辅助信息之外，AI助手还可以对手术环境起作用(例如，通过致动手术机器人等)。

图1示出了根据一个实施例的手术支持系统100。手术支持系统100包括一个或多个手术数据生成设备(例如，设备109至116中的一个或多个)和数据处理设备104。

数据处理设备104包括处理器105、存储器106、通信接口107和存储介质108。通信接口107用于向和从数据处理设备104输入和输出电子信息。例如，通信接口107接收来自一个或多个手术数据生成设备的手术数据，作为输入信息。通信接口107还允许在连接到通信接口107的任何两个设备之间交换数据。处理器105使得数据处理设备104能够通过处理合适的电子指令来执行其操作。存储器106用于存储将由处理器105处理的电子指令，并用于存储与电子指令相关联的输入和输出数据。存储介质108(例如，以硬盘驱动器、固态驱动器、磁带驱动器等的形式)用于数据的长期存储。例如，使用适当的电路来实现处理器105、存储器106、通信接口107和存储介质108中的每一个。

存储介质108存储在手术过程中可以查阅的每个个人AI。应当理解，尽管存储介质108被示为数据处理设备104的一部分，但是存储介质108可以位于经由通信接口107与数据处理设备104通信的外部服务器(未示出)上。例如，外部服务器是云服务器。每个个人AI包括所有者数据和用于控制处理器105使用所有者数据执行一个或多个算法以生成AI辅助信息的指令。所有者数据是与个人AI的所有者(即，生成个人AI的用户)相关联的数据，该数据在一个或多个先前的手术过程中记录并且可以用于(利用一个或多个算法)预测所有者将在未来的手术过程中做出决策。使用个人AI做出的预测生成AI辅助信息。例如，AI辅助信息包括由个人AI生成的预测决策，并推荐该预测决策。更一般地，AI辅助信息可以包括可从由相关个人AI做出的预测中导出的任何信息，该信息可用于帮助用户在手术过程中执行他们的角色。在实施例中，使用特定的个人AI来生成AI辅助信息，响应对AI辅助请求的接收和对该个人AI的选择(如下所述)来提供AI辅助信息。

通信接口107能操作用于接收与外科医生正在执行的手术过程相关联的手术数据。在手术过程中，从一个或多个手术数据生成设备接收手术数据。在图1的示例中，存在多个手术数据生成设备，每个手术数据生成设备向通信接口107提供手术数据。

手术数据是可以基于其导出关于当前正在进行的手术过程的信息的数据(该信息包括手术的一个或多个手术特征，如将要解释的)。有多种类型的手术数据。例如，手术数据可以是由一个或多个相机捕捉的图像数据、由一个或多个传感器监控的手术机器人和/或外科医生(或手术团队的其他成员)的位置和/或运动数据、患者和/或外科医生的生理数据、由一个或多个麦克风捕捉的音频数据或由用户使用合适的用户界面手动输入的用户数据。这些手术数据的示例类型并不详尽。

一个示例手术数据生成设备是手术机器人109。手术机器人109是协助外科医生进行手术的机器人系统。各种手术机器人在本领域中是已知的，并且涉及手术机器人的手术被称为机器人辅助手术。由手术机器人109提供给通信接口107的手术数据包括例如与手术过程中由机器人执行的机器人的一个或多个功能相关联的一个或多个参数的值(例如，机器人使用的切割刀片的速度或机器人的机械臂在患者体内的深度)。例如，一个或多个参数由机器人的适当电路监控。

另一示例手术数据生成设备是外部相机系统110。这包括一个或多个相机(未示出)，其捕捉手术在其中进行的手术室的图像。捕捉的图像包括例如外科医生、患者、手术团队的其他成员和房间中的其他手术设备。由外部相机系统110提供给通信接口107的手术数据包括捕捉的图像。

手术数据生成设备的另一示例是内部相机系统111。这包括一个或多个相机(未示出，例如，一个或多个内窥镜相机，如本领域中已知的)，其捕捉患者体内的图像。捕捉的图像还可以包括例如外科医生的手和在手术过程中进入由内部相机系统捕捉的患者身体部分的任何手术设备(例如，由外科医生或手术机器人109的臂的末端握持的切割工具)。由内部相机系统111提供给通信接口107的手术数据包括捕捉的图像。

手术数据生成设备的另一示例是患者监控系统112。患者监控系统在手术期间监控患者的一个或多个生理参数，并生成指示这些生理参数中的每一个的值的数据。这允许在手术过程中监控患者的状态。患者监控系统的一个示例是产生ECG数据的心电图仪(ECG)。由患者监控系统112提供给通信接口107的手术数据包括指示患者的每个被监控生理参数的值的数据。

手术数据生成设备的另一示例是音频监控系统113。这包括一个或多个麦克风(未示出)，其在手术进行的手术室中捕捉声音。捕捉的声音包括例如外科医生或外科团队的其他成员发出的语音和其他手术设备发射的听觉信号(例如，警报)。由音频监控系统113提供给通信接口107的手术数据包括指示捕捉的声音的数据。数据处理设备104被配置为分析所捕捉的声音，以便确定所捕捉的声音是什么。例如，通过对捕捉的声音进行频率分析，并将得到的频谱与存储在存储介质108中的已知声音的频谱进行比较(用于此的合适技术在本领域中是已知的)，来实现这一点。这允许数据处理设备104例如识别外科医生的语音(允许外科医生用声音向系统提供手术数据)或者识别由其他手术设备发出的特定听觉信号的含义。在一个实施例中，提供对AI辅助的请求(包括指示需要AI辅助的专业知识领域的“专业知识数据”)，作为外科医生发出的口头命令，由数据处理设备104执行的语音识别来识别该命令。

手术数据生成设备的另一示例是外科医生监控系统112。外科医生监控系统在手术期间监控外科医生的一个或多个生理参数，并生成指示这些生理参数中的每一个的值的数据。外科医生监控系统包括例如用于监控外科医生心率的心率监控器和/或用于监控外科医生出汗量(出汗)的出汗监控器。这有助于监控外科医生的压力水平。例如，当外科医生压力更大时，他们的心率倾向于增加，他们倾向于出汗更多，而当外科医生压力较小时，他们的心率倾向于降低，他们倾向于出汗更少。由外科医生监控系统114提供给通信接口107的手术数据包括指示外科医生的每个被监控生理参数的值的数据。

手术数据生成设备的另一示例是用户界面115。用户界面允许用户(例如，外科医生或手术团队的另一成员)手动输入要提供给通信接口107的手术数据。它还允许通信接口107输出数据(例如，响应AI辅助请求而提供AI辅助信息)，以可理解的格式提供给用户。在一个示例中，用户界面115包括触摸屏或者头戴式显示器(HMD)和输入装置(例如，手持控制器或键盘)的组合。用户界面115还可以包括音频扬声器。在一个示例中，由用户输入的手术数据是指示将要进行的手术类型的数据。在手术开始之前，用户使用例如触摸屏或HMD上显示的适当的图形用户界面(GUI)菜单系统来选择手术类型。在另一示例中，由通信接口107输出的数据包括响应于对AI辅助的请求而提供的AI辅助信息。响应于接收到AI辅助信息，触摸屏或HMD以视觉形式输出AI辅助信息(例如，文本和/或图像形式)和/或扬声器(如果存在的话)以听觉形式输出AI辅助信息(例如，以从接收到的文本AI辅助信息的文本到语音处理生成的语音的形式，或者在接收到的AI辅助信息包括音频文件的情况下，通过回放音频文件)。用户因此能够以视觉和/或听觉形式解释接收到的AI辅助信息。在一个示例中，当使用HMD时，HMD可以是增强现实(AR)HMD，其允许佩戴者同时观看电子生成的图像和真实世界的视图(例如，这种HMD包括微软全息透镜(注册商标))。电子生成的图像覆盖(例如，以不透明或半透明的方式)用户的真实世界视图。这种AR HMD的使用允许以视觉格式向用户提供AI辅助信息，同时减少对用户现实世界视图的任何限制。

应当理解，用户界面115可以仅被配置为允许数据处理设备104向用户提供AI辅助信息(而不是还被配置为允许用户向数据处理设备104提供手术数据)。在这种情况下，用户界面115不是手术数据生成设备，并且从一个或多个其他手术数据生成设备接收由通信接口107接收的手术数据。在这种情况下，用户界面115包括一个或多个装置(例如，电子显示器和/或扬声器)，用于向用户提供AI辅助信息。

手术数据生成设备的另一示例是手术导航系统116。手术导航系统116帮助确定手术室中各种类型对象的空间位置。它还可能有助于确定不同对象之间的空间关系。对象包括例如手术的解剖目标和外科医生在手术期间使用的工具。一旦检测到解剖目标和工具的相应位置，手术导航系统116允许确定解剖目标和工具之间的空间关系。例如，这允许确定到解剖目标和工具的合适路线。手术导航系统116使用任何合适的技术，例如，立体成像、计算机断层摄影(CT)成像或磁共振成像(MRI)，以便确定手术室中感兴趣对象的空间位置，并且在适当的情况下，确定它们彼此之间的空间关系。例如，可以在NPL 1中找到关于手术导航技术的进一步讨论。由手术导航系统116提供给通信接口107的手术数据包括指示每个感兴趣对象的空间位置的数据(例如，以在手术室内定义的预定3D坐标系中的坐标形式)。它还可以包括指示两个或多个感兴趣对象之间的空间关系的数据(例如，以从一个对象指向预定3D坐标系中定义的另一对象的向量的形式)。

在此处给出的示例中，用声音做出AI辅助请求(例如，经由音频监控系统113和由数据处理设备104实现的语音识别)。然而，应当理解，可以以任何合适的方式做出AI辅助请求。例如，用户经由用户界面115输入AI辅助请求(例如，通过使用键盘键入AI辅助请求或从GUI菜单系统中选择AI辅助请求)。

向通信接口107提供手术数据的每个手术数据生成设备都是经由合适的有线和/或无线连接(如本领域已知的)来实现的。有线和/或无线连接可以是计算机网络(例如，互联网)的一部分。

在一个实施例中，手术数据指示正在进行的手术的类型和手术过程的当前阶段中的至少一个。手术的类型确定了由外科医生执行的手术过程。例如，手术类型可以是心脏移植、冠状动脉旁路移植或膝关节置换。可以确定用于手术的手术方法(例如，如果可以使用多种不同的方法进行一种类型的手术的话)以及手术类型。例如，如果可以使用键孔方法或常规方法进行X型手术，则将确定使用的具体方法(即，键孔或常规)。手术过程的当前阶段是手术过程的多个阶段中的一个。每个阶段都是手术过程的一个子过程。手术过程的各个阶段必须以适当的顺序成功完成，以使手术能够成功完成。对于不同的手术类型，必要的阶段(及其顺序)通常会有所不同。阶段的示例包括在患者的某个器官上制作切口、移动或移除患者器官的一部分以及在患者的某个器官上缝合切口。在许多情况下，在任何给定时间对外科医生最有用的AI辅助信息将取决于手术过程的类型和手术过程的当前阶段。

图2A-图2C示出了在第一实施例的情况下存储在存储介质108中的示例数据。在第一实施例中，基于当前手术过程的类型和阶段、包括在AI请求中的所需专业知识数据以及与每个可选择的个人AI相关联的多个得分来选择个人AI。

在这个示例中，手术是心脏移植，分为三个阶段。应当理解，在现实中，诸如心脏移植之类的过程很可能包含大量更复杂的阶段。然而，为了解释清楚，此处只示出了手术过程的三个阶段。

图2A示出了手术类型和阶段(在这种情况下，手术类型是“心脏移植”，手术阶段是“第一阶段”、“第二阶段”和“第三阶段”中的一个)、在该阶段期间可能寻求的专业知识数据和多个个人AI之间的关系，每个个人AI可以对指示专业知识数据的请求提供适当的响应。

注意，每个外科医生的个人AI数据存储在存储介质108中。由处理器105使用每个外科医生的个人AI数据来确定手术类型/阶段、专业知识数据和个人AI之间的关系，个人AI被选择为对指示给定类型的专业知识数据(如图2A所示)的请求提供适当响应的候选人。

因此，例如，在心脏移植的第一阶段(涉及外科医生在患者的心脏和肺之间的肉上手动切开)，外科医生可以寻求关于要使用的切开技术或要切开的长度的建议。在外科医生寻求关于切割装置的建议的情况下，他们可以提供包括“切口技术”字样的口头命令。

例如，外科医生可能会说“AI助手：告诉我要使用的切口技术的信息”。响应于该命令，数据处理设备104查找个人AI的唯一标识符(AI ID)，已知这些标识符能够提供关于在心脏移植的第一阶段期间使用的切口技术的信息。在这种情况下，AI ID为“AI 1”、“AI 2”和“AI 3”的个人AI与心脏移植的第一阶段的专业知识数据“切口技术”相关联。

在另一示例中，外科医生在心脏移植的第一阶段寻找关于要进行的切口长度的信息。在这种情况下，外科医生发出命令，询问关于切口长度的信息(例如，外科医生可能会说“AI助手：告诉我关于切口长度的信息”)。在这种情况下，数据处理设备104在图2A的表格中查找与“切口长度”专业知识数据相关联的AI ID。在本示例中，与“切口长度”相关联的AIID与和“切口技术”相关联的AI ID相同(即，AI 1、AI 2和AI 3)。

类似的情况也适用于在心脏移植的其他阶段的专业知识数据分类。

特别地，在心脏移植的第二阶段(包括将血管连接到移植的心脏上)，外科医生可能寻求的专业知识包括“连接设备”(涉及将血管连接到移植的心脏上所使用的最合适的设备)、“避免损伤”(涉及避免对移植的心脏造成损伤的最合适的动作)和“连接成功”(涉及在外科医生进入手术的下一阶段之前测试血管是否已经成功连接到心脏上的最佳方式)。这些类型的专业知识数据与不同的AI ID集相关联。特别地，“连接设备”与AI 3、AI 5、AI 6相关，“避免损伤”与AI 5、AI 6、AI 7相关，“连接成功”与AI 3、AI 5、AI 6相关。

心脏移植的第三阶段(涉及使用手术机器人进行切口)与一项称为“切口计划”的专业知识数据相关联。这涉及到如何最好地计划使用手术机器人进行切口。与“切口计划”相关的AI ID是AI 1、AI 7、AI 8。因此，根据手术类型和阶段以及来自外科医生的请求中指示的专业知识数据，数据处理设备104在图2A的表格中查找与该手术类型/阶段和专业知识数据相关联的AI ID。

每个AI ID都与先前配置的个人AI相关。个人AI是与一个人相关联的一组数据，并且在手术过程的前一实例中，表示对一个或多个预定专业知识领域做出的决策(例如，心脏移植的第一阶段期间的切口技术、心脏移植的第二阶段期间的连接成功等)。例如，每个个人AI可以是机器学习的数据集，其中，在先前的手术过程中收集与专业知识领域相关联的信息，并根据该手术阶段的成功与否进行分类。

因此，例如，AI 1可以是外科医生的个人AI，其在进行心脏移植的第一阶段所需的手动切口时具有特别高的成功率。因此，AI 1被认为是合适的AI，以咨询进行当前心脏移植的外科医生是否需要关于当前心脏移植的第一阶段所需的切口技术或切口长度的建议。

类似地，例如，AI 3可以是外科医生的个人AI，对于将血管连接到移植的心脏具有典型的高成功率。在图2A的示例中。众所周知，这位外科医生在使用哪种设备和评估血管连接的成功方面具有特殊的专业知识。因此，AI 3出现在图2A的表格中，用于心脏移植的第二阶段的专门技术数据“连接设备”和“连接成功”。然而，在这种特殊情况下，与AI 3相关联的外科医生不被认为是避免在血管连接过程中对移植心脏造成损害的专家(例如，与AI 3相关联的外科医生在避免血管连接过程中对移植心脏的损伤方面可能没有足够的成功率)。因此，AI 3确实作为AI ID出现，该AI ID与心脏移植的第二阶段的“避免损害”专业知识数据相关联。取而代之，AI7(另一外科医生的个人AI)作为AI ID包含在图2A的表中，用于专业知识数据“避免损害”(连同AI 5和AI 6，它们也用于“连接设备”和“连接成功”专业知识数据)。

注意，特定个人AI的每个专业知识领域与图2A中专业知识数据的相应实例相关联。术语“专业知识数据”应理解为外科医生请求中包含的信息。专业知识数据唯一地识别了外科医生请求信息的专业知识领域。例如，“切口技术”(在心脏移植的第一阶段)是与最适合使用的切口技术的专业知识领域相关的专业知识数据。类似地，“连接设备”(在心脏移植的第二阶段)是与用于将血管连接到心脏的最合适设备的专业知识领域相关的专业知识数据。因此，“专业知识数据”的特定实例的图2A中的表格中列出的每个AI ID也与该专业知识数据所指示的专业知识领域相关联。

存储介质108可以包含大量个人AI(每个AI都具有唯一的AI ID)。基于每个个人AI中的合适参数来确定在图2A的表格中哪些AI ID与特定专业知识数据相关联的选择，该参数指示与该个人AI相关联的外科医生在所涉及的手术类型/阶段期间对于该特定专业知识领域的能力。可以通过寻找外科医生对特定手术类型/阶段的成功率和外科医生在完成特定的手术类型/阶段的工作的一个或多个预定特征(例如，使用的技术或工具)之间的关系，来确定能力。

例如，与AI 1、AI 2和AI 3中的每一个相关联的外科医生对于心脏移植的第一阶段都具有足够高的成功率，用于“切口技术”和“切口长度”专业知识数据。这表明这些外科医生使用的切口技术与心脏移植第一阶段的成功结果之间的一致性以及每个外科医生使用的切口长度与心脏移植第一阶段的成功结果之间的一致性。这使得手术特定阶段的成功与所使用的切口技术和切口长度相关联。

另一方面，在手术的第二阶段，尽管与AI 3相关的外科医生有该手术成功的记录(因此AI 3包括在第二阶段的图2A的三个专业知识类别中的两个中)，AI 3不出现“避免损害”专业知识数据。这不一定是因为与AI 3相关的外科医生采用的损伤避免技术不成功。相反，这可能是因为与AI 3相关的外科医生使用一系列不同的损伤避免技术执行了不同的成功的第二阶段手术。因此，与AI 3相关的外科医生使用的损伤避免技术与他们完成第二阶段的高成功率之间没有特别的关系。因此，向与AI 3相关联的外科医生寻求建议以寻求适当的损伤避免技术的益处是有限的(因为该外科医生使用的特定损伤避免技术似乎与外科医生的成功率无关)。

可以根据可从与每个AI ID相关联的个人AI导出的任何其他合适的参数来确定与每个手术类型/阶段的每种类型的专业知识数据相关联的AI ID。上面的示例使用了有关手术的特定类型/阶段的成功率。例如，成功率大于预定成功率的外科医生的所有AI ID可以包括在图2A的表格中(根据可从相关个人AI中导出的参数，与每个AI ID相关联的特定类型的专业知识数据，如上所述)。然而，可以理解，可以使用从构成个人AI的数据中导出的另一成功度量。例如，在相关手术类型/阶段中反映某一经验水平的所有个人AI(例如，那些已经完成多于预定数量的相关手术实例的AI)可以包括在图2A的表格中(同样，根据可从相关个人AI中导出的参数，与每个AI ID相关联的特定类型的专业知识数据，如上所述)。然后，在后续步骤(将被解释)中执行过滤最合适的个人AI，以进行咨询。

注意，专业知识领域可能与特定类型的手术过程相关(例如，心脏移植)。或者，专业知识领域可能仅与该类型手术过程的特定阶段相关(例如，心脏移植的第一阶段)。因此，可以说每个专业知识领域(以及因此每种专业知识数据类型)都与特定的手术类型/阶段(即，整体的特定类型的手术过程或特定类型的手术过程的特定阶段)相关联。

如前所述，在一个示例中，外科医生可以选择手术过程的类型(例如，“心脏移植”)，其在手术过程开始之前使用合适的GUI菜单系统等进行。在手术过程中，数据处理设备104可以被配置为通过一种或多种不同的方式检测手术过程(使其能够查找该阶段的适当的潜在错误事件和相关的可接受的错误可能性和干预类型)的当前阶段(例如，“第一阶段”、“第二阶段”或“第三阶段”)。

在一个示例中，用户(例如，外科医生或手术团队的另一成员)可以在每次手术进行到新阶段时手动更新系统。这可以例如经由用户界面115(例如，通过从GUI菜单系统等上显示的当前手术的阶段列表中选择当前阶段)或经由音频监控系统114(例如，通过说出由音频监控系统113拾取并且能由数据处理设备104识别的预定命令，例如，唯一地识别过程的期望阶段的一个或多个单词)进行。

在另一示例中，数据处理设备104被配置为自动检测手术的当前阶段。在一个示例中，这是使用合适的机器视觉图像比较技术来完成的(这种方法在本领域中是已知的，因此在此不再详细讨论)。在手术过程中，以规则的间隔，由外部和/或内部相机系统110、111捕捉图像，并且将捕捉图像的一个或多个图像特征与手术过程的前一实例的每个图像的相应一个或多个特征进行比较。手术过程的前一实例的每个图像都是已知在手术过程的前一实例的特定阶段捕捉的图像。与捕捉的图像最匹配的手术过程的前一实例的图像的特定阶段被确定为手术的当前阶段。在一个示例中，使用机器学习分类技术来确定被比较的捕捉图像和手术的前一实例的每个图像的一个或多个特征。即，手术的前一实例的每个图像被手动分类为属于手术的特定阶段，并且机器学习算法自动确定将该图像与属于手术的其他阶段的图像区分开来的一个或多个特征。然后，在新捕捉的图像(其分类未知)中分析这些一个或多个特征，以便确定该新捕捉的图像的可能分类。

因此，例如，对于图2A的心脏移植手术过程，对于心脏移植过程的一个或多个前一实例，人类用户已经捕捉了第一阶段、第二阶段和第三阶段中的每一个的至少一个图像，并将其手动分类为“第一阶段”、“第二阶段”或“第三阶段”。机器学习算法将自动确定这些图像中的每一个的一个或多个特征，这些特征指示与该图像相关联的特定阶段。即，给定图像和手动应用的分类，机器学习算法将自动确定将“第一阶段”图像与“第二阶段”或“第三阶段”图像区分的一个或多个特征、将“第二阶段”图像与“第一阶段”或“第三阶段”图像区分的一个或多个特征以及将“第三阶段”图像与“第一阶段”或“第二阶段”图像区分的一个或多个特征。在图2A的手术中，分析由外部或内部相机系统110、111捕捉的每个图像，以便基于先前捕捉的“第一阶段”、“第二阶段”和“第三阶段”图像的一个或多个特征，确定该图像是否最有可能是“第一阶段”、“第二阶段”或“第三阶段”。然后，图像最有可能与之相关联的阶段被确定为手术的当前阶段。

各种机器学习算法在本领域中是已知的，因此本文不再详细讨论。应当理解，手术的前一实例的各个阶段的图像的数量越多，并且从中生成这些图像的手术的前一实例的数量越多，当前手术的当前阶段的确定就越可靠。也可以例如从不同的角度和/或在不同的照明条件下捕捉先前的图像，以便帮助提供对手术的当前阶段的更可靠的确定(因为对于手术的不同实例，当前手术的捕捉图像的视角和/或照明条件可能不同)。例如，在存储介质108中存储指示用于分析当前手术的新捕捉图像的手术的前一实例的图像的一个或多个特征的数据。

在一个实施例中，手术过程的当前阶段的自动确定可以由外科医生(或手术团队的另一成员)在手术过程中手动确认。这有助于减轻由于对手术的当前阶段的错误确定而发生手术错误的风险(例如，当实际执行“第二阶段”时，错误地确定“第三阶段”，这意味着可能向外科医生提供不适当的AI辅助信息)。在一个示例中，该手动确认包括经由用户界面115和/或音频监控系统112输入确认命令。例如，用户界面115显示消息“自动手术阶段检测＝X-按下OK或说CONFIRM以确认”(其中，X是阶段的名称，例如，“第一阶段”、“第二阶段”或“第三阶段”，用于图2A的示例手术)。如果用户按下“OK”(例如，“OK”是在用户界面115的触摸屏上显示的虚拟按钮)或口头表示“Confirm”(这由音频监控系统113拾取)，则数据处理设备104知道它已经正确地确定了当前的手术阶段。另一方面，如果用户没有在预定时限内执行该确认动作(例如，5或10秒)，则数据处理设备104不依赖于自动确定的手术的当前阶段，而是等待来自用户的进一步输入，以便手动选择手术的当前阶段。

基于当前手术的新捕捉图像的一个或多个特征与手术的前一实例的一个或多个图像的一个或多个相应特征之间的比较来自动确定手术的当前阶段的概念可以应用于在手术过程的当前和前一实例期间可以收集的其他类型的手术数据。例如，这可以应用于(i)由手术机器人生成的手术数据，(ii)由患者监控系统生成的手术数据，(iii)在手术过程的当前和前一实例期间由音频监控系统113收集的音频数据(包括手术团队成员之间的口头通信、可听机器警报等)和/或(iv)由外科医生监控系统114生成的手术数据。

不同类型的手术数据可用于独立地确认手术过程中特定事件的发生，这些特定事件指示了发生手术过程的特定阶段。在一个示例中，可以使用外部和/或内部相机系统110、110捕捉的图像中的图像识别和工具上的监控装置(例如，形成外科医生监控系统14的一部分的加速度计)来检测外科医生在手术过程中的任何给定时间使用的工具，当拾取相关工具，而不是固定在表面上时，这些装置向通信接口107输出作为手术数据的信号。工具的特定组合的使用可以被映射(例如，存储在存储介质108中的数据库中)到手术的特定阶段，从而允许检测该阶段的发生。

所述类型的个人AI的一个问题是每个外科医生对技术、工具等的偏好不同，因此，例如，即使可以被咨询的特定个人AI对于特定的手术类型/阶段具有高成功率，由该个人AI提供的建议可能不适合于执行当前手术的外科医生(例如，它可能建议使用外科医生不喜欢或不胜任的工具或技术)。

另一问题在于，与个人AI相关联的特定外科医生可能没有足够频繁地更新AI。因此，例如，如果特定的个人AI与高成功率相关联(并且因此包括在图2A的表格中)，但外科医生最近没有对其进行足够的更新，以考虑到最近的医学发展，则个人AI推荐的技术(例如)可能不是最新的可用技术。

如果个人AI没有包含足够的数据，就会出现另一问题。例如，如果外科医生仅成功地完成了少量的手术(例如，仅一次或两次)，则这并不是统计意义上的大量成功，从而能够得出外科医生的技术促成了他们的成功这一结论(例如，这可能只是运气)。

此外，特定的外科医生可能对特定的同事有钦佩或尊重，并且可能希望该同事的个人AI优先于陌生人的AI。

这些问题可能会减缓外科AI助手的使用。

为了缓解这个问题，每个AI可以与一个或多个得分相关联，这些得分指示该AI的某些AI特征。然后，这些得分可用于确定用于响应外科医生请求的个人AI(或多个个人AI)。

图2B示出了这样一个得分的示例。这是“请求者关系”得分。在这种情况下，相关AI是AI 3、AI 5和AI 6。根据图2A的表格，这些候选人在心脏移植的第二阶段向外科医生提供AI辅助，以寻求关于“连接设备”和“连接成功”专业知识领域的建议。然而，应当理解，该原则可以应用于与给定手术类型/阶段的任何专业知识领域相关联的个人AI组。例如，表示图2B的表格的数据存储在存储介质108中。

图2B示出了每个个人AI的请求者关系得分。这是一个表示执行当前手术的外科医生(例如，由经由用户界面115提供合适的身份凭证的外科医生所指示的请求者)和与个人AI 3、AI 5和AI 6中的每一个相关联的外科医生之间的关系(即，信任级别)的质量的得分。得分可以取1到10之间的任何值，较高的数字表示关系较强，较低的数字表示关系较弱。可以看出，外科医生与和个人AI 6相关联的外科医生的关系最好(请求者关系得分为9)。例如，与AI 6相关联的外科医生可以是执行该手术的外科医生的受尊敬的同事。第二强的关系是执行当前手术的外科医生和与AI 5相关联的外科医生之间的关系(请求者关系得分为8)。例如，这可能是外科医生的密友。最弱的关系是执行当前手术的外科医生和与AI 3相关联的外科医生之间的关系(请求者关系得分为2)。在这种情况下，AI 3的外科医生可能是目前进行手术的外科医生不认识的医生。

特定外科医生的请求者关系得分可以通过任何合适的方法来确定。例如，使用本技术的每个外科医生可以在专业社交媒体网络上具有与其个人AI标识符(AI ID)相链接的专业社交媒体简档。根据当前执行该手术的外科医生和与其连接(或不连接)的每个其他外科医生之间的互动量，可以确定外科医生关系得分。

在一个示例中，从当前外科医生和AI 6的外科医生的专业社交媒体简档中可以看出，他们在同一家医院一起工作了很长时间，参加了类似的训练课程，并且一起进行了许多手术。因此确定AI 6的外科医生是当前外科医生的尊敬的同事。因此，给AI 6的外科医生分配了9分的请求者关系得分。

在另一示例中，从专业社交媒体网络可以得出，当前外科医生和AI 5的外科医生经由专业社交媒体网络进行大量交互。例如，他们可以定期共享照片、消息和专业文章等。然而，目前的外科医生和AI 5的外科医生并不在一起工作(相反，他们在不同的医院工作，但可能一起上过医学院)。在这种情况下，系统确定当前外科医生和AI 5的外科医生是亲密朋友，因此提供请求者关系得分8。

在另一示例中，当前外科医生和AI 3的外科医生虽然都是专业社交媒体网络的一部分，但是在专业社交媒体网络上没有链接(例如，他们没有注册为“同事”或“朋友”)，也从未使用专业社交媒体网络交换过任何信息。系统因此得出结论，当前外科医生和AI 3的外科医生彼此不认识，因此分配低的请求者关系得分2。

在一个实施例中，每个外科医生的专业社交媒体数据存储在与数据处理设备104的通信接口107通信的网络服务器(未示出)上。这允许数据处理设备104从每个外科医生接收专业社交媒体数据，并由此生成当前外科医生和被识别为用于提供对来自当前外科医生的请求的响应的候选人的每个个人AI的外科医生之间的请求者关系得分。

不同外科医生之间的关系可以用任何其他合适的方式来分析。例如，具有个人AI的外科医生可能能够相互同意他们之间的请求者关系得分(例如，当前外科医生向AI 5的外科医生建议关系得分为8，并且如果AI 5的外科医生同意该建议得分为8，则确认该关系得分)。因此，由双方协商一致决定两个外科医生的关系得分。

图2C示出了与每个ID相关联的两种其他示例类型的得分。

第一得分是“建议值”得分，表示个人AI提供与相关专业知识数据相关的建议的能力。例如，基于个人AI数据本身生成建议值得分。在一个实施例中，使用建议值得分来确定哪些个人AI与给定手术类型/阶段的每种类型的专业知识数据相关联(如图2A中所例示的)。因此，每个建议值得分指示例如个人AI所属的外科医生对于手术类型/阶段和相关专业知识数据类型的能力(如前所述)。例如，如果建议值得分大于或等于预定阈值建议值得分(例如，如果建议值得分被确定为在1和10之间，则为5或更大)，则只输入特定的个人AI，作为特定手术类型/阶段的给定类型的专业知识数据的候选。

第二得分是“训练质量”得分。这是一个得分，它指示每个外科医生和他们的个人AI之间的交互量，以便保持个人AI是最新的和/或向个人AI提供足够的数据，从而使其能够提供可靠的建议。可以根据任何合适的技术来计算每个个人AI的训练质量得分。例如，可以基于包含在外科医生的个人AI中的数据量(更多的数据提供更高的训练质量得分，而更少的数据提供更低的训练质量得分)和/或外科医生参与他们的个人AI以保持其最新的频率(更新更频繁的个人AI具有更高的训练质量得分，更新不频繁的个人AI具有更低的训练质量得分)，来计算训练质量得分。

在图2C的示例中，AI 3的建议得分为7，参与得分为10。AI 5的建议得分为7，参与得分为5(这表明，尽管AI 3和AI 5具有相似的成功率，但AI 3的外科医生通过构建包含在其个人AI中的数据和/或比AI 5的外科医生更频繁地更新数据来与他们的个人AI进行参与)。AI 6的建议值得分较低，为5分。然而，他们的参与度得分很高，为9分，因此这意味着建议值得分基于更多和/或更新的数据，因此具有高可靠性。

每对外科医生之间的请求者关系得分、每个外科医生个人AI的建议值得分和每个外科医生的个人AI的训练质量得分存储在存储介质108中。

在一个实施例中，对于每种类型的专业知识数据和手术类型/阶段组合，每个个人AI将具有单独的建议值得分。例如，在图2C中，AI 3(以及AI 5和AI 6)的建议值得分是针对心脏移植第二阶段的“连接设备”专业知识数据。AI 3将对心脏移植第二阶段的“连接成功”专业知识数据、心脏移植第二阶段的“避免损伤”专业知识数据、心脏移植第一阶段的“切口技术”专业知识数据等具有单独的建议值得分。要注意的是，尽管AI 3没有出现在图2A中的心脏移植第二阶段的“避免损伤”专业知识数据中，AI 3将仍然有一个为这种类型的专业知识数据和手术类型/阶段组合定义的建议值得分。然而，该建议值得分太低(即，小于预定的阈值建议值得分)，用于将AI 3列为心脏移植第二阶段的“避免损害”专业知识数据的候选个人AI。

在一个实施例中，对于每种类型的专业知识数据和手术类型/阶段组合，每个个人AI的请求者关系得分和训练质量得分是相同的。然而，应当理解，在另一实施例中，每个个人AI的请求关系得分和训练质量得分可以根据专业知识数据的类型和手术类型/阶段组合而不同。

图3示出了根据一个实施例的与响应外科医生请求的每个候选AI相关联的得分的集合。如参考图2B和2C所讨论的，AI 3(属于未知医生)的请求者关系得分为2，建议值得分为7，训练质量得分为10。这提供了2+7+10＝19的总得分。AI 5(属于外科医生的密友)的请求者关系得分为8，建议值得分为7，训练质量得分为5。这提供了8+7+5＝20的总得分。AI 6(属于外科医生尊敬的同事)的请求者关系得分为9，建议值得分为5，训练质量得分为9。这提供了9+5+9＝23的总得分。因此，最适合回答外科医生请求的个人AI是AI 6(总分最高)，其次是AI 5(总分第二高)，再次是AI 3(总分最低)。

在这种情况下，数据处理设备104被配置为响应于外科医生的请求提供三个辅助信息实例。

这些信息的一个示例是一般AI建议。这是预先确定的建议，与外科医生请求中识别的手术类型/阶段和专业知识数据相关联。一般的AI建议与图2A所示的数据库中的手术类型/阶段和专业知识数据有关(不同之处在于，列“AI ID”被替换为具有行的列，这些行指示例如存储在存储介质108中的表示相关的一般AI建议的信息的位置)。一般AI建议与现实生活中外科医生的任何特定个人AI都没有关系。相反，它是预先配置的信息(来自外科教科书等)，与当前手术类型/阶段和寻求建议的专业知识数据相关。

一般AI建议可以包括例如与当前手术类型/阶段相关联的成功率信息和专业知识数据(例如，对于心脏移植的第一阶段和“切口技术”专业知识数据，与一种或多种相应类型的切口技术相关联的历史成功率)、与当前手术类型/阶段相关联的患者生活质量(QOL)信息和专业知识数据(例如，对于心脏移植的第一阶段和“切口技术”专业知识数据，基于历史数据并指示与一种或多种相应类型的切口技术相关联的术后患者舒适度或不适感水平的数字指标)或手术效率信息(例如，对于心脏移植的第一阶段和“切口技术”专业知识数据，与一种或多种相应类型的切口技术相关的估计完成时间)。应当理解，一般AI建议可以与个人AI建议同时提供。此外，可以根据用于生成个人AI建议的个人AI的推荐来选择一般AI建议。例如，如果AI 1被选为用于心脏移植第一阶段的个人AI和“切口技术”专业知识数据，则一般AI建议可以提供与AI 1推荐的切口技术具体相关的信息。

另外两个信息实例分别是个人AI 5和AI 6提供的意见。这些AI之所以被选中，是因为它们具有最高和第二高的总得分。

因此，利用本技术，使用多个不同的得分来选择从一个或多个其他外科医生的一个或多个个人AI提供给当前外科医生的AI辅助信息，每个得分指示该个人AI的相应AI特征(例如，建议价值、请求者关系和训练质量的特征)。因此，提供给外科医生的AI辅助信息更适合于外科医生的需要，从而允许更容易和有效地向外科医生提供相关的AI辅助信息。

图4A和图4B示出了本技术的另一实施例。

图4A示出了与各种手术类型/阶段、专业知识数据和AI ID相关的表格的另一示例。图4A中的表格和图2A的表格一样，除了具有一个名为“相关团队成员”的额外专栏。对于每种手术类型/阶段和专业知识数据类型组合，“相关团队成员”栏表示手术团队成员，在选择个人AI时将考虑他们的偏好，该个人AI将对已发出的AI辅助信息请求做出响应。在一个示例中，在手术过程开始之前，识别将参与手术的每个团队成员。也在手术过程开始之前识别与每个被识别的团队成员相关联的优选AI ID(如同该团队成员的任何其他进一步的偏好一样)。图4B中显示了已识别的团队成员对心脏移植第二阶段的“连接设备”专业知识数据的优选AI ID和其他优选的示例。指示每个手术类型/阶段的相关团队成员的数据和专业知识数据组合(如图4A所示)和指示优选AI ID和每个团队成员的任何进一步偏好的数据(如图4B所示)存储在存储介质108中。

在一个示例中，在手术过程开始之前，手术团队的成员将通过使用用户界面115输入信息来识别每个团队成员(例如，使用用户界面15的触摸屏的触摸屏键盘或图形用户界面(GUI)交互式菜单系统。每个团队成员都使用唯一识别该成员的唯一成员ID来识别。在这种情况下，手术团队有三名成员，他们的偏好可能会影响用于提供AI辅助的选定个人AI。他们是外科医生(具有唯一成员ID“成员1”)、相机操作者(具有唯一成员ID“成员2”)和护士(具有唯一成员ID“成员3”)。针对心脏移植的第二阶段的专门技术数据“连接设备”的图4A中识别的候选AI ID的优选AI ID是成员1的AI 3。对于成员2，优选AI ID是AI 5。对于成员3，优选AI ID是AI 3。此外，成员1具有指示监视器可视化样式的进一步偏好(即，选择监视器可视化样式“x”)。这涉及在手术过程中图像出现在用户界面115的显示器(监视器)上的方式(例如，指定要应用于图像的任何效果，这使得成员1更容易理解正在发生的事情)。类似地，成员2优选在手术过程中由手术设备发出的任何警报，仅仅作为听觉警报(例如，禁用其他类型的警报，例如，视觉和/或触觉警报)。成员3没有任何进一步的偏好。

在一个实施例中，针对该成员是相关团队成员之一的每个手术类型/阶段和专业知识数据组合，单独定义成员1、2和3中的每一个的优选AI ID和其他偏好。每个团队成员的优选AI ID可以由该团队成员手动选择(例如，经由用户界面115)。或者，可以对团队的每个相关成员执行图3的过程，以便为该团队成员确定具有最高总得分的候选AI ID。然后，具有最高总得分的AI ID被选为该团队成员的优选AI ID。例如，图4B中的每个团队成员的优选AI ID可能是由于成员1(外科医生)的AI 3的总得分为25，AI 5的总得分为18，AI 6的总得分为19(意味着具有最高总得分25的AI 3被确定为外科医生的优选AIID)，成员2(相机操作者)的AI 3的总得分为19，AI 5的总得分为20，AI 6的总得分为15(意味着具有最高总得分20的AI 5被确定为相机操作者的优选AI ID)，成员3(护士)的AI 3的总得分为22，AI 5的总得分为21，AI 6的总得分为17(意味着具有最高总得分22的AI 3被确定为护士的优选AIID)。

在一个示例中，在心脏移植的第二阶段，当前的外科医生请求与使用哪种连接设备相关的AI辅助(例如，外科医生发出口头请求“AI助手：告诉我使用哪种连接设备”)。响应于此，数据处理设备104在从手术数据中检测到手术类型/阶段时，并且在从外科医生的口头请求中检测到期望的专业知识数据时，确定(从图4A的表格中)个人AIAI 3、AI 5和AI 6是提供所需AI辅助的合适候选个人AI。

数据处理设备104然后查看图4A的表格的“相关团队成员”栏，以确定与心脏移植的第二阶段的专门技术数据“连接设备”相关联的相关小组成员。每个手术类型/阶段和专业知识数据组合的相关团队成员是手术团队的成员，允许他们的偏好影响被选择来提供AI辅助的候选个人AI。在这种情况下，手术小组的相关成员是外科医生、相机操作者和护士。因此，这些团队成员中的每一个人(外科医生、相机操作者和护士中的每一个人在开始手术之前已经分别被识别为成员1、成员2和成员3)的偏好考虑在内。

在一个示例中，基于多数票选择个人AI。因此，在这种情况下，外科医生和护士的优选AI ID是AI 3，而相机操作者的优选AI ID是AI 5。因此，投票结果是两票赞成AI 3，一票赞成AI 5。因此，选择AI 3。在平局的情况下(例如，如果外科医生、相机操作者和护士中的每一个都具有不同的相应的AI ID，作为他们的优选AI ID)，则团队的预定成员的优选AIID(例如，外科医生)被给予优先权并被选择。然而，在任何情况下，如果可能的话，应用每个团队成员的任何其他偏好(如果存在)。在偏好冲突的情况下(例如，如果外科医生希望在监视器上显示第一可视化样式，但是相机操作者偏好在同一监视器上显示第二种不同的可视化样式)，则再次优先考虑小组的预定成员的偏好(例如，外科医生)。

在一个实施例中，可以为一组人定义优选的AI ID。例如，可以为包括经常一起工作并有一个成功的团队化学的特定外科医生(例如，“成员1”)、相机操作者(例如，成员2”)和护士(例如，“成员3”)的团队定义优选的AI ID(对于给定的手术类型/阶段和专业知识数据组合)。与该团队相关联的AI ID存储在存储介质108中。在涉及这三个人的手术过程中，选择由该团队针对给定的手术类型/阶段和相关的专业知识数据组合而优选的AI ID。这有助于为一起工作的团队提供最合适的个人AI，从而提高团队绩效。

在一个实施例中，当存在与特定手术类型/阶段和专业知识数据组合相关联的多个可能的AI ID时，可以从这些多个个人AI中的每一个同时提供AI辅助信息。然而，AI辅助信息的每个实例的提供方式可能因团队成员或整个团队的偏好而异。例如，对于心脏移植第二阶段的“连接设备”专业知识数据，可以从AI 3、AI 5和AI 6中的每一个提供AI辅助信息。然而，由于总体偏好(基于“成员1”、“成员2”和“成员3”中的每一个的多数票)是针对AI3的，所以来自AI 3的辅助信息可以与来自AI 5或AI 6的辅助信息不同地呈现。例如，如果以视觉格式提供AI 3、AI 5和AI 6中的每一个的辅助信息，则AI 3辅助信息可以以比AI 5或AI 6视觉信息更大且更中心的视觉格式呈现。这允许提供所有可用的AI辅助信息(从而向手术团队提供可能帮助他们的所有信息)，但也允许手术团队容易地识别优选的AI辅助信息。在使用AR HMD提供AI辅助信息的实施例中，例如，优选AI的AI辅助信息(例如，在这种情况下，AI 3)可以以更大的视觉格式在用户的视野中集中提供，而其他AI辅助信息(例如，在这种情况下，AI 5和AI 6)可以以较小的视觉格式设置在用户视野的外围。应当理解，随着手术类型/阶段和/或所寻求的专业知识数据的改变，所显示的AI辅助信息将改变，以反映这一点(考虑每个团队成员和/或整个团队的个人AI偏好)。

因此，利用本技术，AI助手的选择考虑了手术团队的每个相关成员的偏好。因此，所提供的AI辅助信息更适合于手术团队的整体需求，从而允许更容易和更有效地向手术团队提供相关的AI辅助信息。

图5示出了显示根据一个实施例的由数据处理设备104实现的方法的流程图。该方法开始于步骤500。在步骤501，通信接口107接收由一个或多个手术数据生成设备109至116生成的手术数据。在步骤502，通信接口107从用户接收对人工智能(AI)辅助信息的请求。例如，该请求包括例如响应于用户发出口头AI辅助信息请求而从音频监控系统113发送的信号。步骤502是可选的，因为可以响应于接收手术数据而自动生成AI辅助信息(即，无需用户请求)(见下文)。在步骤503，处理器105使用手术数据(例如，如图2A、图3和/或图4A所示)确定AI辅助信息。在步骤504，通信接口107向用户提供所确定的AI辅助信息(例如，通过向用户界面115的显示器发送合适的信号，来显示所确定的AI辅助信息)。该过程在步骤505结束。

在一个实施例中，在本技术中使用的个人AI被实现为计算机软件和存储的数据集的组合。当在适当的装置(例如，数据处理设备104)上运行时，计算机软件提供虚拟接口(例如，经由用户界面115)，经由该接口可以向手术的参与者(即，执行手术过程的手术团队的一个或多个成员)提供信息和/或从其接收信息。

存储的数据集(例如，存储在存储介质108中)包括：特征数据，该特征数据表示由个人AI所基于的人(例如，外科医生)执行的先前手术过程的特征(不要与上述AI特征相混淆)；以及决策数据，该决策数据表示该人做出的与特征数据相关联的决策。运行个人AI的装置还能够接收指示当前手术特征的手术数据。手术数据由手术过程中使用的一个或多个装置(例如，装置109至116)生成，并由运行个人AI的装置接收。例如，存储的数据集的特征数据是在先前的手术过程中产生的手术数据。与特征数据相关联的决策数据表示在生成特征数据时个人AI所基于的人做出的决策。决策数据以任何合适的方式与其相关联的特征数据一起被记录(例如，由某人在先前的手术过程中经由合适的用户界面手动输入指示参与者做出的决策的信息，或者基于在先前的手术过程中捕捉的图像的图像识别自动输入)。

计算机软件包括一个或多个算法，这些算法被配置为将当前手术过程中获取的手术数据与存储的数据集的特征数据进行比较。基于该比较，指示个人AI所基于的人做出的决策的信息被输出给参与者。在一个示例中，输出信息指示与特征数据相关联的决策，该特征数据与所接收的手术数据最匹配。在一个实施例中，使用适当的机器学习算法(例如，神经网络等)来确定基于接收的手术数据和存储的数据集的适当决策的确定。各种机器学习算法在本领域中是已知的，因此此处不再详细讨论。

手术过程的特征是影响手术参与者所做出的决策的关于手术的任何信息。如图2A和图4A所示，手术过程的类型(例如，心脏移植)和手术过程的阶段(例如，心脏移植过程中切开或连接血管的阶段)是手术过程的特征的示例。其他特征包括例如手术过程的侵入性水平(例如，常规手术或键孔手术)、手术过程的风险水平(例如，取决于患者的生理特征)、迄今为止手术过程所花费的时间长度以及参与者的能力水平(例如，取决于指示疲劳或体验水平的参与者的测量生理参数)。更一般地，侵入性水平可以定义为用于执行特定手术类型的手术方法。

在图6中示出基于接收到的当前手术过程的手术数据和存储的个人AI的数据和算法生成AI辅助信息的示例。在该示例中，作为当前手术过程的特征，手术数据600指示手术类型是“心脏移植”，手术的当前阶段是“血管连接”，手术侵入性是“常规的”(例如，与侵入性较小的键孔手术相反)，风险水平是“正常的”(例如，患者的生理状况没有任何暗示风险水平增加的迹象)，经过的时间是“正常的”(例如，手术不会比通常花费更长或更短的时间)，并且外科医生的能力水平是“正常的”(例如，外科医生测量的生理参数并不表明缺乏经验或疲劳程度，这可能对手术产生负面影响)。

在一个实施例中，手术数据是由手术过程中使用的一个或多个装置(例如，装置109至116)生成的原始数据的形式(例如，指示测量参数值的数字)。然后将原始数据与一个或多个适当的阈值进行比较(例如，经由个人AI的算法)，以便确定由原始数据暗示的手术过程的一个或多个特征。在另一实施例中，手术数据可以是经处理的形式(例如，由生成手术数据的装置处理)，其直接指示手术过程的一个或多个特征(例如，手术数据可以包括特征“风险”的信息“正常”或特征“手术类型”的信息“心脏移植”。

存储的数据602包括先前手术过程的多组特征和由个人AI所属的外科医生响应于这些特征做出的相关决策。特别地，存在与第一决策(其中，外科医生选择使用第一血管连接方法)相关联的第一组特征(特征组1)和与第二决定(其中，外科医生选择使用第二血管连接方法)相关联的第二组特征(特征组2)。应当理解，虽然此处仅示出了两组特征(为了便于解释)，但是实际上，存储的数据可以包含基于从许多先前手术收集的数据的许多组特征和相关决策。

在该示例中，特征组1包括以下特征：手术类型是“心脏移植”，手术的当前阶段是“血管连接”，手术侵入性是“常规”(例如，与侵入性较小的键孔手术相反)，风险水平是“正常”(例如，患者的生理状况没有任何暗示风险水平增加的迹象)，经过的时间是“正常的”(例如，手术不会比通常花费更长或更短的时间)，并且外科医生的能力水平是“正常的”(例如，外科医生测量的生理参数并不表明缺乏经验或疲劳程度，这可能对手术产生负面影响)。特征组2还包括以下特征：手术类型是“心脏移植”，手术的当前阶段是“血管连接”，手术侵入性是“传统的”(例如，与侵入性较小的键孔手术相反)。然而，特征组2还包括以下特征：风险水平是“高的”(例如，由于患者的生理状况意味着风险水平的增加)，经过的时间“延迟”(例如，手术比通常花费更长的时间)并且外科医生的能力水平是“疲劳的”(例如，外科医生测量的生理参数表明疲劳程度，这可能对手术产生负面影响)。

因此，特征组1和2代表不同的手术情况，保证由外科医生采取不同的行动(即，要做出的不同决策)。在该示例中，第二血管连接方法更适合于特征组2，其指示更有可能发生手术错误的手术过程(由于更高风险的患者、延迟的手术持续时间和更高疲劳的外科医生)。例如，第二血管连接方法可以与较低的长期手术成功率相关联，但是可以更快和/或更容易完成。第一血管连接方法更适合于特征组1，其指示不太可能发生手术错误的手术过程(由于正常风险患者、正常手术持续时间和不疲劳的外科医生)。例如，第一血管连接方法可能花费更长时间和/或可能更难完成，但是可能与更高的长期手术成功率相关联。

在当前手术过程中获取的手术数据和存储的数据被提供给个人AI的算法601，用于比较。在这种情况下，应当理解，由当前手术过程的手术数据指示的特征与特征组1的特征最接近地匹配。这由算法106确定，算法106输出辅助信息604，该辅助信息604指示决策“血管连接方法1”(与特征组1相关联)。在这个示例中，输出指示决策“血管连接方法1”的信息，作为对执行当前手术过程的外科医生的建议。

应当理解，这是一个简化的示例，并且实际上，存储的数据可以包括从大量先前手术过程记录的不同手术特征的大量组合以及与那些记录的手术特征相关联的大量记录决策。在这种情况下，个人AI的算法601可以应用合适的机器学习技术(例如，神经网络)，以便基于存储的数据(其充当神经网络的训练数据)和手术数据(其充当待分类的神经网络的输入，所得到的分类是指示推荐给外科医生的决策的信息)来确定适当的决策。

尽管在上述实施例中，响应于用户(外科医生)的请求(例如，声音请求)，提供AI辅助信息，在另一实施例中，可以自动提AI辅助信息供。例如，响应于数据处理设备104从装置109至115中的一个或多个接收手术数据，可以基于接收的手术数据生成适当的AI辅助信息，并将其提供给用户，而不需要用户做出请求。在这种情况下，可以以非侵入的方式提供AI辅助信息(例如，视觉上没有声音)，从而向外科医生提供他们可以咨询(如果他们希望的话)但是不会过度分散外科医生的注意力的AI辅助信息(例如，通过观看用户界面15的显示)。因为外科医生没有做出请求，所以不知道外科医生寻求的具体“专业知识数据”。因此，自动提供的AI辅助信息可以包括基于由手术数据指示的手术的给定特征的每种类型的专业知识数据的AI辅助信息的概括版本。例如，如果手术类型/阶段(由手术数据确定)是“心脏移植第二阶段”，则可以提供每个专业知识数据“连接设备”、“避免损害”和“连接成功”的AI辅助信息的概括版本。响应于外科医生随后对AI辅助信息做出请求，以更详细的格式向外科医生提供在外科医生的请求中指示的特定于专业知识数据的AI辅助信息。响应于外科医生的请求，可以以更易访问的方式提供外科医生请求的AI辅助信息(例如，以视觉和音频格式，而不仅仅是视觉格式，这可能是自动生成的AI辅助信息的情况)。

在一个实施例中，除了AI辅助信息包括指示基于当前手术过程的确定特征的来自个人AI的推荐决策的信息之外，AI辅助信息还可以包括从其他来源收集的相关信息。这种额外信息可以包括例如在互联网上出版的医学杂志、百科全书等中发现的关于当前手术过程的事实信息。在互联网源的情况下，数据处理设备104经由通信接口107访问额外信息(其能够经由互联网与存储额外信息的服务器(未示出)交换信息)。可以响应于外科医生的请求来提供额外信息。例如，如果外科医生做出包含与当前手术类型/阶段的相关“专业知识数据”不明显相关的信息的请求，则数据处理设备104可以使用互联网上可用的额外信息来寻求对外科医生请求的回答。为了实现该功能，数据处理设备104被配置为运行基于互联网服务的虚拟助手，该虚拟助手能够与已经讨论的一个或多个个人AI并行地进行自然语言处理。

本技术的一些实施例由以下编号的条款定义：

(1)一种手术支持系统，包括：

手术数据生成设备，其能操作用于生成与手术过程相关联的手术数据；以及

数据处理设备，其能操作用于：

使用生成的手术数据确定人工智能(AI)辅助信息；并且

向用户提供所确定的AI辅助信息。

(2)根据条款(1)所述的手术支持系统，其中，所述AI辅助信息是响应于从用户接收到的对AI辅助信息的请求而确定并提供给用户的。

(3)根据条款(1)所述的手术支持系统，其中，所述AI辅助信息是响应于所述数据处理设备接收到所生成的手术数据而确定并提供给用户的。

(4)根据条款(3)所述的手术支持系统，其中：

对AI辅助信息的请求包括指示预定专业知识领域的专业知识数据；并且

所述数据处理设备能操作用于使用专业知识数据确定AI辅助信息。

(5)根据前述条款中任一项所述的手术支持系统，包括用户界面装置，其能操作用于向用户提供所确定的AI辅助信息。

(6)根据条款(4)所述的手术支持系统，其中，所述用户界面装置包括能由用户佩戴的头戴式显示器(HMD)，并且能操作用于向用户显示表示所确定的AI辅助信息的增强现实(AR)图像。

(7)根据条款(1)所述的手术支持系统，其中，所生成的手术数据指示手术过程的特征。

(8)根据前述条款中任一项所述的手术支持系统，其中：

所述数据处理设备能操作用于使用多个AI助手中的一个或多个来生成AI辅助信息，每个AI助手包括与相应的第二用户相关联并且在先前的手术过程中记录的数据以及用于使用与该第二用户相关联的数据来执行一个或多个算法以预测第二用户将做出决策的指令；并且

所述AI辅助信息的确定包括选择多个AI助手中的一个或多个。

(9)根据条款(8)所述的手术支持系统，其中，所述选择多个所述AI助手中的一个或多个包括为多个候选AI助手中的每一个确定一个或多个得分，每个得分指示所述候选AI助手的预定特征，并且使用所述一个或多个得分选择多个所述AI助手中的一个或多个。

(10)根据条款(9)所述的手术支持系统，其中，所述一个或多个得分包括指示做出对AI辅助信息的请求的用户和与每个相应候选AI助手相关联的第二用户之间的信任级别的得分。

(11)根据条款(9)或(10)所述的手术支持系统，其中，所述一个或多个得分包括指示与每个相应候选AI助手相关联的第二用户的能力水平的得分。

(12)根据条款(9)或(10)所述的手术支持系统，其中，所述一个或多个得分包括表示包含在每个相应候选AI助手内的数据的训练质量水平的得分。

(13)根据条款(8)至(12)中任一项所述的手术支持系统，其中，所述选择多个所述AI助手中的一个或多个包括为执行手术过程的手术团队的多个成员中的每一个确定多个所述AI助手中的优选一个或多个，并且在所述手术团队的多个成员中确定多个所述AI助手中的最优选一个或多个，作为多个所述AI助手中的一个或多个。

(14)根据前述条款中任一项所述的手术支持系统，其中，所述AI辅助信息包括从互联网服务获得的信息。

(15)一种用于手术支持系统的数据处理设备，所述手术支持系统包括手术数据生成设备，所述手术数据生成设备能操作用于生成与手术过程相关联的手术数据，其中，所述数据处理设备包括电路，所述电路被配置为：

接收生成的手术数据；

使用生成的手术数据确定人工智能(AI)辅助信息；并且

向用户提供所确定的AI辅助信息。

(16)一种操作手术支持系统的方法，所述手术支持系统包括手术数据生成设备，所述手术数据生成设备能操作用于生成与手术过程相关联的手术数据，其中，所述方法包括：

接收生成的手术数据；

使用所生成的手术数据确定人工智能(AI)辅助信息；并且

向用户提供所确定的AI辅助信息。

(17)一种用于控制计算机执行根据条款(16)所述的方法的程序。

(18)一种储存根据条款(17)所述的程序的存储介质。

根据上述教导，本公开的许多修改和变化是可能的。因此，应当理解，在所附权利要求的范围内，本公开可以以不同于本文具体描述的方式实施。

就本公开的实施例已经被描述为至少部分地由软件控制的数据处理设备来实现而言，应当理解，承载这种软件的非暂时性机器可读介质(例如，光盘、磁盘、半导体存储器等)也被认为表示本公开的实施例。

应当理解，为了清楚起见，上面的描述已经参考不同的功能单元、电路和/或处理器描述了实施例。然而，显而易见的是，在不偏离实施例的情况下，可以使用不同功能单元、电路和/或处理器之间的任何合适的功能分布。

所描述的实施例可以以任何合适的形式实现，包括硬件、软件、固件或其任意组合。所描述的实施例可以可选地至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。任何实施例的元件和组件可以以任何合适的方式在物理上、功能上和逻辑上实现。实际上，该功能可以在单个单元、多个单元中实现，或者作为其他功能单元的一部分来实现。这样，所公开的实施例可以在单个单元中实现，或者可以在物理上和功能上分布在不同的单元、电路和/或处理器之间。

尽管已经结合一些实施例描述了本公开，但是本公开不旨在局限于本文阐述的特定形式。此外，尽管一个特征可能看起来是结合特定实施例来描述的，但是本领域技术人员将认识到，所描述的实施例的各种特征可以以适合于实现该技术的任何方式来组合。

参考文献

NPL 1:Mezger U,Jendrewski C,Bartels M.Navigation insurgery.Langenbeck’s Archives of Surgery.2013；398(4):501-514.doi:10.1007/s00423-013-1059-4.

Claims (15)

1.一种手术支持系统，包括：

手术数据生成设备，能操作用于生成与手术过程相关联的手术数据；以及

数据处理设备，能操作用于：

使用生成的手术数据确定人工智能辅助信息；并且

向用户提供所确定的人工智能辅助信息，其中

所述数据处理设备能操作用于使用多个人工智能助手中的一个或多个来生成所述人工智能辅助信息，每个人工智能助手包括与相应的第二用户相关联并且在先前的手术过程中记录的数据以及用于使用与所述第二用户相关联的数据来执行一个或多个算法以预测第二用户将做出决策的指令；并且

所述人工智能辅助信息的确定包括选择多个所述人工智能助手中的一个或多个，

其中，选择多个所述人工智能助手中的一个或多个包括为多个候选人工智能助手中的每一个确定一个或多个得分，每个得分指示所述候选人工智能助手的预定特征，并且使用所述一个或多个得分选择多个所述人工智能助手中的一个或多个。

2.根据权利要求1所述的手术支持系统，其中，所述人工智能辅助信息是响应于从用户接收到的对人工智能辅助信息的请求而确定并提供给用户的。

3.根据权利要求1所述的手术支持系统，其中，所述人工智能辅助信息是响应于所述数据处理设备接收到所生成的手术数据而确定并提供给用户的。

4.根据权利要求3所述的手术支持系统，其中：

对人工智能辅助信息的请求包括指示预定专业知识领域的专业知识数据；并且

所述数据处理设备能操作用于使用专业知识数据确定人工智能辅助信息。

5.根据权利要求1所述的手术支持系统，包括用户界面装置，能操作用于向所述用户提供所确定的人工智能辅助信息。

6.根据权利要求5所述的手术支持系统，其中，所述用户界面装置包括能由所述用户佩戴的头戴式显示器，并且能操作用于向所述用户显示表示所确定的人工智能辅助信息的增强现实图像。

7.根据权利要求1所述的手术支持系统，其中，所生成的手术数据指示所述手术过程的特征。

8.根据权利要求1所述的手术支持系统，其中，所述一个或多个得分包括指示做出对人工智能辅助信息的请求的所述用户和与每个相应候选人工智能助手相关联的所述第二用户之间的信任级别的得分。

9.根据权利要求1所述的手术支持系统，其中，所述一个或多个得分包括指示与每个相应候选人工智能助手相关联的所述第二用户的能力水平的得分。

10.根据权利要求1所述的手术支持系统，其中，所述一个或多个得分包括表示包含在每个相应候选人工智能助手内的数据的训练质量水平的得分。

11.根据权利要求1所述的手术支持系统，其中，选择多个所述人工智能助手中的一个或多个包括为执行所述手术过程的手术团队的多个成员中的每一个确定多个所述人工智能助手中的具有最高总得分的一个或多个作为多个所述人工智能助手中的一个或多个。

12.根据权利要求1所述的手术支持系统，其中，所述人工智能辅助信息包括从互联网服务获得的信息。

13.一种用于手术支持系统的数据处理设备，所述手术支持系统包括手术数据生成设备，所述手术数据生成设备能操作用于生成与手术过程相关联的手术数据，其中，所述数据处理设备包括电路，所述电路被配置为：

接收生成的手术数据；

使用生成的手术数据确定人工智能辅助信息；并且

向用户提供所确定的人工智能辅助信息，其中

所述数据处理设备能操作用于使用多个人工智能助手中的一个或多个来生成所述人工智能辅助信息，每个人工智能助手包括与相应的第二用户相关联并且在先前的手术过程中记录的数据以及用于使用与所述第二用户相关联的数据来执行一个或多个算法以预测第二用户将做出决策的指令；并且

所述人工智能辅助信息的确定包括选择多个所述人工智能助手中的一个或多个，

其中，选择多个所述人工智能助手中的一个或多个包括为多个候选人工智能助手中的每一个确定一个或多个得分，每个得分指示所述候选人工智能助手的预定特征，并且使用所述一个或多个得分选择多个所述人工智能助手中的一个或多个。

14.一种操作手术支持系统的方法，所述手术支持系统包括手术数据生成设备，所述手术数据生成设备能操作用于生成与手术过程相关联的手术数据，其中，所述方法包括：

接收生成的手术数据；

使用所生成的手术数据确定人工智能辅助信息；并且

向用户提供所确定的人工智能辅助信息，其中

使用多个人工智能助手中的一个或多个来生成所述人工智能辅助信息，每个人工智能助手包括与相应的第二用户相关联并且在先前的手术过程中记录的数据以及用于使用与所述第二用户相关联的数据来执行一个或多个算法以预测第二用户将做出决策的指令；并且

所述人工智能辅助信息的确定包括选择多个所述人工智能助手中的一个或多个，

其中，选择多个所述人工智能助手中的一个或多个包括为多个候选人工智能助手中的每一个确定一个或多个得分，每个得分指示所述候选人工智能助手的预定特征，并且使用所述一个或多个得分选择多个所述人工智能助手中的一个或多个。

15.一种存储介质，所述存储介质包括程序，当所述程序被包括所述存储介质的计算机执行时，使所述计算机执行根据权利要求14所述的方法。