CN114828727A - 计算机辅助手术系统、手术控制装置和手术控制方法 - Google Patents

Abstract

一种计算机辅助手术系统，包括：图像捕获装置、显示器、用户界面以及电路，其中，该电路被配置为：接收指示手术场景和与该手术场景相关联的手术过程的信息；获得手术场景的人工图像；输出人工图像以在显示器上显示；如果确定发生手术场景，则经由用户界面接收许可信息，该许可信息指示是否存在对要执行的手术过程的许可。

Description

计算机辅助手术系统、手术控制装置和手术控制方法

技术领域

本公开涉及计算机辅助手术系统、手术控制装置和手术控制方法。

背景技术

本文提供的“背景技术”描述是为了总体上呈现本公开的上下文。当前命名的发明人的工作，就其在背景技术部分中描述的范围而言、以及在提交申请时可能不符合现有技术的描述方面，均未明示或暗示地承认为本公开的现有技术。

一些计算机辅助手术系统允许计算机化手术装置(例如，手术机器人)基于手术期间捕获的图像自动做出决策。该决策导致执行预定过程，诸如计算机化手术系统在确定存在出血时采取措施夹住或烧灼血管、或者在确定图像中存在障碍物时在手术期间移动人类使用的手术摄像机或医疗镜。计算机辅助手术系统包括例如计算机辅助医疗镜系统(其中，计算机化手术装置保持和定位医疗镜(也称为医疗视镜)，诸如医疗内窥镜、手术显微镜或手术外窥镜，而人类外科医生使用医疗镜图像进行手术)、主-从系统(包括外科医生用来控制机器人从装置的主装置)和开放式手术系统，其中，外科医生和计算机化手术装置两者在手术期间自主执行任务。

这种计算机辅助手术系统的一个问题是有时难以知道计算机化手术装置在做出决策时在寻找什么。在通过使用人工神经网络对手术期间捕获的图像进行分类来做出决策的情况下尤其如此。尽管可以使用大量训练图像来训练神经网络以便增加新图像(即，在真实手术过程期间捕获的图像)被正确分类的可能性，但无法保证每张新图像都会被正确分类。因此，不可能保证由计算机化手术装置做出的每一个自动决策都是正确的。

因此，由计算机化手术装置做出的决策通常需要在该决策最终确定并执行与该决策相关联的预定过程之前获得人类用户的许可。这对于人类外科医生和计算机化手术装置两者而言在手术期间既不方便又费时。在时间紧迫的场景下尤其不期望这样(例如，如果发生大出血，则计算机化手术装置夹住或烧灼血管以止血所花费的时间在寻求人类外科医生许可的时间期间被耽误了)。

然而，在所捕获图像的分类不合适并且因此自动决策是错误的情况下，同样不期望计算机化手术装置能够在未经人类外科医生许可的情况下做出自动决策。因此，需要这些问题的解决方案。

发明内容

根据本公开，提供了一种计算机辅助手术系统，包括：图像捕获装置、显示器、用户界面以及电路，其中，该电路被配置为：接收指示手术场景和与该手术场景相关联的手术过程的信息；获得手术场景的人工图像；输出人工图像以在显示器上显示；如果确定发生手术场景，则经由用户界面接收许可信息，该许可信息指示是否存在对要执行的手术过程的许可。

附图说明

通过参考以下结合附图的详细描述，将最好地理解本公开的非限制性实施例和优点。

图1示意性地示出了计算机辅助手术系统。

图2示意性地示出了手术控制装置。

图3A示意性地示出了预定手术场景的人工图像的生成以显示给人类。

图3B示意性地示出了预定手术场景的人工图像的生成以显示给人类。

图3C示意性地示出了预定手术场景的人工图像的生成以显示给人类。

图4A示意性地示出了调整图像捕获装置的视场以显示给人类的提议。

图4B示意性地示出了调整图像捕获装置的视场以显示给人类的提议。

图5示出了存储与相应预定手术场景相关联的许可的查找表。

图6示出了手术控制方法。

图7示意性地示出了本技术可适用的计算机辅助手术系统的第一示例。

图8示意性地示出了本技术可适用的计算机辅助手术系统的第二示例。

图9示意性地示出了本技术可适用的计算机辅助手术系统的第三示例。

图10示意性地示出了本技术可适用的计算机辅助手术系统的第四示例。

图11示意性地示出了臂单元的示例。

图12示意性地示出了主控制台的示例。

贯穿附图，相同的参考标号表示相同或对应的部分。

具体实施方式

图1示出了使用开放式手术系统对患者106进行的手术。患者106躺在手术台105上并且人类外科医生104和计算机化手术装置103一起执行手术。

人类外科医生和计算机化手术装置中的每一个监控手术的一个或多个参数，例如，从一个或多个患者数据收集装置收集的患者数据(例如，来自ECG监视器的心电图(ECG)数据、来自血压监视器的血压数据等-患者数据收集装置是本领域已知的并且未详细示出或讨论)和通过分析手术的图像(由外科医生的眼睛或计算机化手术装置的摄像机109捕获)或手术的声音(由外科医生的耳朵或计算机化手术装置的麦克风113捕获)。人类外科医生和计算机化手术装置中的每一个在手术期间执行相应的任务(例如，一些任务仅由外科医生执行，一些任务仅由计算机化手术装置执行，并且一些任务由外科医生和计算机化手术装置两者执行)并决定如何使用受监控的一个或多个手术参数来执行这些任务。

有时可能难以知道计算机化手术装置为何做出特定决策。例如，基于使用人工神经网络的图像分析，计算机化手术装置可以决定患者中发生意外的出血并且应该采取行动来停止出血。然而，不能保证图像分类和由此产生的停止出血的决策是正确的。因此，在由计算机化手术装置执行停止出血的动作之前，外科医生必须被呈现并确认该决策。这对于外科医生和计算机化手术装置来说既费时又不便。然而，然而不这样做并且计算机化手术装置做出的图像分类和由此产生的决策是错误的，则计算机化手术装置将采取动作以阻止不存在的出血，由此不必要地延迟手术或冒着伤害患者的风险。

本技术使用人工神经网络基于它们被配置为输出的图像分类来生成人工图像的能力来帮助满足这一需求。神经网络(例如，实施为计算机上的软件)由许多单独的神经元组成，当神经元识别出它正在寻找的输入时，这些神经元中的每个神经元在一组条件下激活。如果足够多的这些神经元被激活(例如，神经元寻找猫的不同特征，诸如胡须、毛皮纹理等)，则系统会识别出与这些神经元(例如，猫)相关联的对象。

这些识别系统的早期示例遭受缺乏可解释性，其中，输出(将多个预定分类中的一个预定分类附加到输入图像，例如，对象分类、识别事件或其他)难以追溯到引起它的输入。最近在AI可解释性领域中已经开始解决这个问题，其中，可以使用不同的技术来跟踪神经网络从输入到输出的决策路径。

一种这样的已知技术是特征可视化，其能够人工地生成视觉(或其他数据类型，如果另一种类型的数据被输入到合适训练的神经网络以用于分类)特征，这些特征最能够引起特定输出的激活。这可以向人类展示网络的某些部分正在寻找什么刺激。

通常，特征可视化中存在权衡，其中，神经元正在寻找的生成的特征可能是：

·优化的，其中，特征可视化过程的所生成的输出是使所选神经网络层/神经元的激活置信度最大化的图像。

·多样化，其中，激活所选神经网络层/神经元的特征范围可以通过所生成的图像来举例说明。

这些方法有不同的优点和缺点，但组合起来将让神经网络的检查员检查哪些输入特征将引起神经元激活，并且因此导致特定的分类输出。

特征可视化与本技术一起使用以允许人类外科医生(或参与手术的其他人类)查看代表计算机化手术装置的神经网络在做出某些决策时正在寻找什么的人工图像。观察人工图像，人类可以确定他们如何成功地代表与决策相关的现场的真实图像。如果人工图像在要做出的决策的上下文下显得足够真实(例如，如果决策是自动夹住或烧灼血管以阻止出血、并且人工图像看起来足够像应该被夹住或烧灼的血管出血)，则在计算机化手术装置基于手术期间捕获的真实图像做出该决策的情况下，人类允许做出决策。在手术期间，决策将因此自动执行而无需来自人类的进一步输入，由此避免不必要地干扰人类并延迟手术。另一方面，如果图像看起来不够真实(例如，如果人工图像包含不自然的伪影等，这会降低人类对神经网络正确确定是否发生血管出血的信心)，则人类不会给予这样的许可。在手术期间，决策将因此不会自动执行。替代地，将在手术期间向人类呈现是否做出决策以及何时做出决策，并且此时需要给予许可。因此，不会提前许可错误概率较高的决策(由于神经网络正确分类图像的能力降低导致决策)，由此防止因做出错误决策而导致的手术问题。因此，本技术在手术期间提供更自动化做出决策(由此减少人类外科医生被不必要地打扰的频率并减少手术的任何延迟)，同时对患者保持手术安全。

尽管图1示出了开放式手术系统，但本技术也可适用于其他计算机辅助手术系统，其中，计算机化手术装置(例如，在计算机辅助医疗镜系统中保持医疗镜或在主-从系统中作为从装置)能够做出决策。因此，计算机化手术装置是包括能够使用所捕获的手术图像做出关于手术的决策的计算机的手术装置。作为非限制性示例，图1的计算机化手术装置103是能够基于由摄像机109捕获的图像做出决策并进行自主动作的手术机器人。

机器人103包括控制器110(手术控制装置)和一个或多个手术工具107(例如，可移动手术刀、夹具或机器人手)。控制器110连接到用于捕获手术的图像的摄像机109、用于捕获手术的音频馈送的麦克风113、用于保持和调整摄像头109的位置的可移动摄像机臂112(可移动摄像机臂包括合适的机构，该机构包括可由控制器控制的一个或多个电动机(未示出)以移动可移动摄像机臂并因此移动摄像机109)以及保持在支架101上的电子显示器102(例如，液晶显示器)，使得外科医生104在手术期间可以看到电子显示器102。

图2示出了控制器110的一些部件。

控制装置110包括用于处理电子指令的处理器201、用于存储待处理的电子指令以及与该电子指令相关联的输入和输出数据的存储器202、用于长期存储电子信息的存储介质203(例如，硬盘驱动器、固态驱动器等)、用于向机器人103的该一个或多个手术工具107发送电子信息和/或从其接收电子信息以控制该一个或多个手术工具的工具接口204、用于接收代表由摄像机109捕获的手术现场的图像的电子信息并向摄像机109和可移动摄像机臂112发送电子信息和/或从摄像机109和可移动摄像机臂112接收电子信息以控制摄像机109的操作和可移动摄像机臂112的移动的摄像机接口205、用于向电子显示器102发送代表要显示的信息的电子信息的显示器接口202、用于接收代表由麦克风113捕获的手术现场的音频馈送的电信号的麦克风接口207、用户界面208(例如，包括触摸屏、物理按钮、语音控制系统等)和用于通过网络(例如，因特网)向一个或多个其他设备发送电子信息和/或从一个或多个其他设备接收电子信息的网络接口209。例如，处理器201、存储器202、存储介质203、工具接口204、摄像机接口205、显示器接口206、麦克风接口207、用户界面208和网络接口209中的每一个使用适当的电路来实施。处理器201控制存储器202、存储介质203、工具接口204、摄像机接口205、显示器接口206、麦克风接口207、用户界面208和网络接口209中的每一个的操作。

在实施例中，根据本技术的用于图像的特征可视化和分类的人工神经网络驻留在控制器110本身上(即，作为存储在存储器202和/或存储介质203中的计算机代码以供处理器201执行)。可选地，人工神经网络驻留在外部服务器(未示出)上。将要输入到神经网络的信息传输到外部服务器，并且经由网络接口209从外部服务器接收从神经网络输出的信息。

图3A示出了由摄像机109成像的手术现场。该现场包括患者的肝脏300和血管301。在进一步进行手术的下一阶段之前，外科医生104使用用户界面209向机器人103提供任务。在这种情况下，所选择的任务是(1)由外科医生在人类切口执行期间提供抽吸(在标记为“1”的部分)和(2)夹住血管(在标记为“2”的部分)。例如，如果用户界面包括触摸屏显示器，则外科医生从用户界面提供的视觉交互菜单中选择任务，并通过选择由摄像机109捕获的场景的显示图像的对应的位置来选择应该执行每个任务的手术现场中的位置。在该示例中，电子显示器102是触摸屏显示器并且因此用户界面被包括作为电子显示器102的一部分。

图3B示出了在手术过程的下一阶段期间可能发生的预定手术场景。在该场景中，血管破裂发生在位置302处并且需要机器人103的快速夹住或烧灼(例如，使用合适的工具107)。机器人103能够检测这样的场景并且当发生该场景时，通过对由摄像机109捕获的手术现场的图像进行分类来执行夹住或烧灼。这是可能的，因为这样的图像将包含指示场景已经发生的信息(即，在图像中可以视觉上检测到血管破裂或出血)并且机器人103用于分类的人工神经网络将基于该信息将图像分类为需要夹住的血管破裂或需要烧灼的血管破裂的图像。因而，在这种情况下，存在两种可能的预定手术场景，它们可能在手术的下一阶段期间发生并且可由机器人基于摄像机109捕获的图像检测到。一种是需要夹住的血管破裂(适用于血管正在破裂或刚刚破裂)，另一种是需要烧灼的血管(适用于血管已经破裂且正在出血)。

然而，问题在于，因为人工神经网络分类的性质，外科医生104不知道机器人103正在寻找什么类型的图像来检测这些预定场景的发生。因此，外科医生不知道机器人确定预定场景中的一个预定场景发生的准确度，因而，传统地，如果机器人检测到相关预定场景以及当机器人检测到相关预定场景时，必须允许机器人执行夹住或烧灼。

在进行手术的下一阶段之前，因此使用人工神经网络输出的图像分类来执行特征可视化，以指示预定场景的发生。使用特征可视化生成的图像在图3C中示出。图像显示在电子显示器102上。因而，外科医生能够查看图像以确定它们是否足够真实地描绘了如果发生每个预定场景(即，需要夹住的血管破裂和需要烧灼的血管破裂)手术现场会是什么样子。

为清楚起见，图3C的图像不是由摄像机109捕获的现场的图像。摄像机109仍在捕获图3A所示的现场，因为手术的下一阶段尚未开始。相反，图3C的图像是当已经发生每个预定场景时基于对真实图像的分类来使用人工神经网络的特征可视化生成的现场的人工图像，该真实图像示出手术现场(由于提前使用一组合适的训练图像来训练人工神经网络，分类是可能的)。

图3C的每个人工图像示出了视觉特征，如果在由摄像机109捕获的未来真实图像中检测到视觉特征，则该视觉特征很可能导致该未来真实图像被分类为指示已经发生与该人工图像相关联的预定场景(即，需要夹住的血管破裂或需要烧灼的血管破裂)并且机器人103因此应该执行与该分类相关联的预定过程(即，夹住或烧灼)。具体地，第一组人工图像304示出了在第一方向上发生的血管301的破裂301A和在第二方向上发生的血管301的破裂301B。这些人工图像对应于需要夹住的血管破裂的预定场景。因此，与这些图像相关联的预定过程是机器人103执行夹住。第二组人工图像305示出了具有第一形状的血管301的出血301C和具有第二形状的血管301的出血301D。这些人工图像对应于需要烧灼的血管破裂的预定场景。在两组图像中，显示指示受关注特征在图像中的位置的图形303，由此帮助外科医生容易地确定图像中很可能导致特定分类的视觉特征。例如，图形303的位置是基于在图像可视化过程期间与最高级别的神经网络层/神经元激活相关联的图像特征来确定的。

应当理解，可以为每组生成更多或更少的人工图像。例如，为更“多样化”的图像集生成更多图像(表明对更多样化的图像特征范围进行可能的分类，但对任何特定图像特征的置信度降低)，而为更“优化的”图像集生成更少的图像(表明对更少多样化的图像特征范围进行可能的分类，但对任何特定图像特征的置信度提高)。在示例中，基于表明特定预定场景的图像特征的预期视觉多样性来调整使用特征可视化生成的人工图像的数量。因而，更“多样化”的人工图像集可以用于在预定场景的不同实例中很可能在视觉上更多样化的视觉特征，并且更“优化的”人工图像集可以用于在预定场景的不同实例中很可能在视觉上更不多样化的视觉特征。

如果外科医生在查看图3C的一组人工图像之后确定它们足以准确地代表在与该组相关联的预定场景中手术现场的样子，他们可以授权许可机器人103在没有进一步许可的情况下执行相关联的预定过程(即，在图像集304的情况下夹住或在图像集305的情况下烧灼)。因此，如果在手术过程的下一阶段期间由摄像机109捕获的未来图像被分类为指示已经发生预定场景，这将自动发生。因此，外科医生不会受到机器人103在手术过程期间请求许可的干扰，并且机器人执行预定过程的任何时间延迟都减少。另一方面，如果外科医生在查看图3C的一组人工图像之后确定它们不足以准确地代表在与该组相关联的预定场景中手术现场的样子，他们可能不会授权机器人103这样的许可。在这种情况下，如果在手术过程的下一阶段期间由摄像机109捕获的未来图像被分类为指示已经发生与该组相关联的预定场景，则机器人在执行相关联的预定过程之前仍将寻求外科医生的许可(即，在图像集304的情况下夹住或在图像集305的情况下烧灼)。这通过减少机器人103做出错误决策并因而不必要地执行相关联的预定过程的机会来帮助确保患者安全并减少手术过程中的延迟。

外科医生经由用户界面209提供许可(或缺乏许可)。在图3C的示例中，指示与每组人工图像相关联的预定过程的文本信息308与其相应的图像集以及分别指示给予(“是”)或不给予(“否”)许可的虚拟按钮306A和306B一起显示。外科医生通过触摸相关的虚拟按钮来指示是否给予许可。外科医生最近触摸的按钮被高亮显示(在这种情况下，外科医生乐意对两组图像给予许可，因此对于两组图像都高亮显示“是”按钮306A)。一旦外科医生对他们的选择感到满意，他们就会触摸“继续”虚拟按钮307。这向机器人103指示手术的下一阶段现在将开始，并且应当对摄像机109捕获的图像进行分类并且根据外科医生选择的许可执行的那些分类图像执行预定过程。

在一个实施例中，对于未提前给予许可的预定过程(例如，如果为图3C中的该预定过程选择了“否”按钮306B)，在手术的下一阶段期间，仍然使用电子显示器102请求来自外科医生的许可。在这种情况下，电子显示器简单地显示指示提议的预定过程的文本信息308(可选地，具有由摄像机109捕获的其分类导致提议的图像)以及“是”按钮306A或“否”按钮306B。如果外科医生选择“是”按钮，则机器人103继续执行预定过程。如果外科医生选择“否”按钮，则机器人103不执行预定过程并且手术按规划继续。

在一个实施例中，指示将由机器人103执行的预定过程的文本信息308可以替换为其他视觉信息，诸如覆盖在与该预定过程相关的图像(人工的或真实的)上的合适的图形。例如，对于与图3C的人工图像集304相关联的预定过程“夹住血管以防止破裂”，可以将夹子的图形叠加在该组中每个图像的相关部分上。对于与图3C的人工图像集305相关联的预定过程“烧灼以防止出血”，可以将指示烧灼的图形叠加在该组中每个图像的相关部分上。在没有给予提前许可、因而当已经发生预定场景时在手术过程的下一阶段期间寻求外科医生104的许可的情况下，类似的重叠图形可以用于由摄像机109捕获的真实图像。

在一个实施例中，手术过程被划分为预定的手术阶段并且每个手术阶段与一个或多个预定手术场景相关联。与每个手术阶段相关联的一个或多个预定手术场景中的每一个手术场景都与人工神经网络的图像分类相关联，使得给定人工神经网络的图像分类下的手术现场的新捕获的图像被确定为发生该预定手术场景时手术现场的图像。当图像分类指示预定手术场景正在发生时，该一个或多个预定手术场景中的每一个手术场景还与机器人103要执行的一个或多个相应预定过程相关联。

指示与每个手术阶段相关联的该一个或多个预定手术场景以及与那些预定场景中的每一个预定场景相关联的该一个或多个预定过程的信息存储在存储介质203中。当机器人103被通知当前预定手术阶段时，因此其能够检索指示该一个或多个预定手术场景和与该阶段相关联的该一个或多个预定过程的信息并使用该信息来获得许可(例如，如在图3C中的)并且，在需要的情况下，执行该一个或多个预定过程。

机器人104能够使用任何合适的方法来了解当前预定的手术阶段。例如，外科医生104可以提前通知机器人103预定的手术阶段(例如，使用由用户界面208提供的视觉交互菜单系统)，并且每次将要进入新的手术阶段时，外科医生104手动地通知机器人103(例如，通过选择由用户界面208提供的预定虚拟按钮)。可选地，机器人103可以基于外科医生分配给它的任务来确定当前手术阶段。例如，基于图3A中提供给机器人的任务(1)和(2)，机器人可以确定当前手术阶段是涉及任务(1)和(2)的阶段。在这种情况下，指示每个手术阶段的信息可以包括指示与该阶段相关联的(一个或多个)任务的组合的信息，由此允许机器人通过将指派给它的(一个或多个)任务与每个手术阶段相关联的(一个或多个)任务进行比较、并选择具有最匹配的任务的手术阶段来确定当前手术阶段。可选地，机器人103可以基于以下来自动确定当前阶段：由摄像机109捕获的手术现场的图像、由麦克风113捕获的手术的音频馈送和/或关于一个或多个机器人工具107的信息(例如，位置、移动、操作或测量)，其中每一个将倾向于具有特定于给定手术阶段的特性。在一个示例中，这些特性可以使用合适的机器学习算法(例如，另一人工神经网络)来确定，该算法使用多个先前的手术过程实例的图像、音频和/或工具信息进行训练。

尽管在图3A至图3C的实施例中，预定过程用于机器人103自动执行直接手术动作(即，夹住或烧灼)，该预定过程可以采用机器人在给予合适的许可的情况下可以自动做出的任何其他决策的形式。例如，预定过程可以涉及规划的改变(例如，改变规划的切口路线)或改变摄像机109的位置(例如，如果预定手术场景涉及可遮挡摄像机的视野的血液)。下面解释一些其他实施例。

在一个实施例中，由机器人103执行的预定过程是移动摄像机109(经由可移动摄像机臂112的控制)以在血液飞溅(或另一体液飞溅)可能会挡住摄像机的视野的情况下维持手术现场内的主动工具107的视图。在这种情况下：

1.当前手术阶段的预定手术场景中的一个预定手术场景是血液可能喷洒到摄像机109上，由此影响摄像机对现场成像的能力。

2.生成并显示预定手术场景的人工图像以及指示机器人在发生场景时要执行的预定过程的信息。例如：

a.初始场景或就在其发生之前(例如，用手术刀切开血管且广角溅血)的人工图像与指示机器人103将降低摄像机109到手术现场的入射角以避免与溅血碰撞但维持现场的视图的重叠图形(例如，方向箭头)一起显示。

b.初始场景或就在其发生之前(例如，用手术刀切开血管且广角溅血)的人工图像与其中图像的视点与摄像机109的规划移动一致地移动的相同场景的额外图像一起显示。例如，这是通过将人工图像映射到手术现场的3D模型上并移动手术现场的3D模型内的视点以匹配真实手术现场中的真实摄像机的视点来实现的(在发生指示潜在的血液飞溅的预定场景的情况下)。可选地，摄像机109本身可以暂时移动到建议的新位置，并显示摄像机109在新位置时捕获的真实图像(由此允许外科医生104看到建议的不同视点并决定它是否可接受)。

在一个实施例中，由机器人103执行的预定过程是移动摄像机109(经由可移动摄像机臂112的控制)以获得当前手术阶段的最佳摄像机角度和视场。在这种情况下：

1.当前手术阶段的预定手术场景中的一个预定手术场景是在手术阶段期间存在手术现场的变化，对此，不同的摄像机观看策略更有利。示例变化包括：

a.外科医生104在工具之间切换

b.引入新工具

c.从现场收回或移除工具

d.手术阶段转变，诸如展示特定器官或结构，其指示手术正在进行下一阶段。在这种情况下，预定手术场景是手术进行到下一手术阶段。

2.生成并显示预定手术场景的人工图像以及指示机器人在发生场景时要执行的预定过程的信息。如前所述，这可能涉及在人工图像上叠加指示摄像机移动方向的合适图形或改变人工图像或真实图像的视点。在一个示例中，当展示特定器官或结构以指示手术阶段转变时(参见点(d))，预定过程可以引起摄像机109移动到相对于器官或结构更近的位置，以便允许对器官或结构执行更精确的动作。

在一个实施例中，如果外科医生104犯了错误(例如，通过掉落工具等)，则由机器人103执行的预定过程是移动摄像机109(经由可移动摄像机臂112的控制)使得手术现场的一个或多个特征始终保持在摄像机的视场内。在这种情况下：

1.当前手术阶段的预定手术场景中的一个预定手术场景是外科医生104犯了视觉上可识别的错误。示例错误包括：

a.掉落抓握的器官

b.掉落手持工具

2.生成并显示预定手术场景的人工图像以及指示机器人在发生场景时要执行的预定过程的信息。如前所述，这可能涉及在人工图像上叠加指示摄像机移动方向的合适图形或改变人工图像或真实图像的视点。在一个示例中，摄像机位置被调整为使得掉落的物品和掉落物品的外科医生的手始终保持在摄像机的视场内。

在一个实施例中，由机器人103执行的预定过程是在摄像机的视场内但从不在摄像机的视场内的源可以看到出血的情况下移动摄像机109(经由可移动摄像机臂112的控制)。在这种情况下：

1.当前手术阶段的预定手术场景中的一个预定手术场景是存在不明来源的出血。

2.生成并显示预定手术场景的人工图像以及指示机器人在发生场景时要执行的预定过程的信息。如前所述，这可能涉及在人工图像上叠加指示摄像机移动方向的合适图形或改变人工图像或真实图像的视点。在一个示例中，摄像机109被移动到更高的位置以加宽视场，因此它包含出血源和原始摄像机焦点。

在一个实施例中，由机器人103执行的预定过程是移动摄像机109(经由可移动摄像机臂112的控制)以提供改进的视场以执行切口。在这种情况下：

1.当前手术阶段的预定手术场景中的一个预定手术场景是即将执行切口。

2.生成并显示预定手术场景的人工图像以及指示机器人在发生场景时要执行的预定过程的信息。如前所述，这可能涉及在人工图像上叠加指示摄像机移动方向的合适图形或改变人工图像或真实图像的视点。在一个示例中，摄像机109直接在患者106上方移动，以便提供具有减少的工具遮挡的切口视图。

在一个实施例中，当检测到切口偏离规划的切口路线时，由机器人103执行的预定过程是移动摄像机109(经由可移动摄像机臂112的控制)以获得更佳的切口视野。在这种情况下：

1.当前手术阶段的预定手术场景中的一个预定手术场景是切口已经偏离规划的切口路径。

2.生成并显示预定手术场景的人工图像以及指示机器人在发生场景时要执行的预定过程的信息。如前所述，这可能涉及在人工图像上叠加指示摄像机移动方向的合适图形或改变人工图像或真实图像的视点。在一个示例中，可以移动摄像机以补偿引起偏离规划的切口路线的不足的深度分辨率(或另一成像特性)。例如，可以移动摄像机以具有强调偏离的空间尺寸的视场，由此允许外科医生更容易地评估偏离。

在一个实施例中，由机器人103执行的预定过程是移动摄像机109(经由可移动摄像机臂112的控制)以避免摄像机的视场中的遮挡(例如，被工具)。在这种情况下：

1.当前手术阶段的预定手术场景中的一个预定手术场景是工具遮挡了摄像机的视场。

2.生成并显示预定手术场景的人工图像以及指示机器人在发生场景时要执行的预定过程的信息。如前所述，这可能涉及在人工图像上叠加指示摄像机移动方向的合适图形或改变人工图像或真实图像的视点。在一个示例中，摄像机沿弧形移动，同时在其视场中维持预定的受关注对象(例如，切口)以避免被工具遮挡。

在一个实施例中，由机器人103执行的预定过程是当外科医生的工作区域(例如，由外科医生使用的工具的位置指示的)朝摄像机的视场的边界移动时移动摄像机109(经由可移动摄像机臂112的控制)以调整摄像机的视场。在这种情况下：

1.当前手术阶段的预定手术场景中的一个预定手术场景是外科医生的工作区域接近摄像机的当前视场的边界。

2.生成并显示预定手术场景的人工图像以及指示机器人在发生场景时要执行的预定过程的信息。如前所述，这可能涉及在人工图像上叠加指示摄像机移动方向的合适图形或改变人工图像或真实图像的视点。在一个示例中，移动摄像头以偏移其视场使得外科医生的工作区域成为视场的中心、或者扩大摄像机的视场(例如，通过将摄像机移得更远或激活摄像机的光学或数字缩小功能)以将外科医生的工作区域(以及最初在视场中的对象)两者都保持在视场内。

在一个实施例中，由机器人103执行的预定过程是移动摄像机109(经由可移动摄像机臂112的控制)以避免摄像机109与另一对象(例如，外科医生手持的工具)之间的碰撞。在这种情况下：

1.当前手术阶段的预定手术场景中的一个预定手术场景是摄像机可与另一对象碰撞。

2.生成并显示预定手术场景的人工图像以及指示机器人在发生场景时要执行的预定过程的信息。如前所述，这可能涉及在人工图像上叠加指示摄像机移动方向的合适图形或改变人工图像或真实图像的视点。在一个示例中，可以通过在摄像机的新视场的适当区域中实施数字变焦来补偿摄像机的移动，以便在移动之前接近摄像机的视场(在摄像机的先前视场和新视场具有适当的重叠区域的情况下，这是可能的)。

在一个实施例中，由机器人103执行的预定过程是使摄像机109(经由可移动摄像机臂112的控制)远离预定对象并朝向摄像机视场中发生的新事件(例如，出血)移动。在这种情况下：

1.当前手术阶段的预定手术场景中的一个预定手术场景是当摄像机聚焦在预定对象上时在摄像机的视场内发生新事件。

2.生成并显示预定手术场景的人工图像以及指示机器人在发生场景时要执行的预定过程的信息。如前所述，这可能涉及在人工图像上叠加指示摄像机移动方向的合适图形或改变人工图像或真实图像的视点。在一个示例中，作为指派给机器人的任务的一部分，摄像机在缝合期间跟踪针的位置。如果在摄像机的视场中存在可见的出血，摄像机将停止跟随针并移动以聚焦出血处。

在上述实施例中，应当理解，可能并不总是需要改变摄像机109的位置。相反，重要的是摄像机视场的适当改变。摄像机视场的改变可能需要也可能不需要摄像机位置的改变。例如，可以通过激活摄像机的光学或数字变焦功能来获得摄像机视场的改变。这会改变视场，但不需要物理地改变摄像机的位置。还应当理解，上述实施例也可以应用于任何其他合适的可移动和/或可缩放的图像捕获装置，诸如医疗镜。

图4A和图4B示出了当请求许可的预定过程涉及改变摄像机的视场时在显示器102上显示的图形叠加或改变的图像视点的示例。该示例涉及因为工具遮挡了摄像机109的视野而改变摄像机的视场的实施例。然而，可以为需要改变摄像机视场的其他预定手术场景提供类似的布置。例如，在与预定手术场景相关联的预定手术阶段开始之前示出图4A和图4B的显示屏幕。

图4A示出了与工具401遮挡摄像机的视场的预定手术场景相关联的人工图像402上的图形覆盖400的示例。图形覆盖400指示寻求许可的预定过程是将摄像机的视场旋转180度同时将患者的肝脏300保持在视场内。还通过文本信息308向外科医生通知这一点。外科医生检查人工图像402并确定它是否足以代表在预定手术场景中手术现场会是什么样子。在这种情况下，外科医生相信这是足够的表示。因此，他们选择“是”虚拟按钮306A，然后选择“继续”虚拟按钮307。因此，在下一个手术阶段期间由摄像机捕获的指示工具遮挡摄像机视场的预定手术场景的真实图像的未来分类将因此自动导致摄像机的位置旋转180度，同时保持患者的肝脏300在视场内。因此，外科医生在手术过程期间不会受到给予许可的干扰，并且工具对摄像机视场的遮挡很快得到缓解。

图4B示出了与工具401遮挡摄像机的视场的预定手术场景相关联的改变的图像视点的示例。寻求许可的预定过程与图4A相同，即将摄像机的视场旋转180度，同时将患者的肝脏300保持在视场内。然而，替代在人工图像402上的图形覆盖，显示另外的图像403。如果根据预定过程将摄像机旋转180度，则另外的图像403的视角是摄像机的视角。图像403可以是另外的人工图像(例如，通过将人工图像402映射到手术现场的3D模型上并根据预定过程将3D模型内的视场旋转180度而获得)。可选地，图像403可以是根据预定过程临时将摄像机旋转180度而捕获的真实图像，使得外科医生能够在摄像机处于该替代位置时看到摄像机的真实视场。例如，摄像机可以旋转到足够长以捕获图像403的建议位置并且然后旋转回其原始位置。再次地，还通过文本信息308通知外科医生建议的摄像机移动。外科医生然后能够查看人工图像402，并且在这种情况下，以与针对图4A描述的方式相同的方式再次选择“是”虚拟按钮306A和“继续”虚拟按钮307。

在一个实施例中，向寻求许可的每个预定过程分配指示预定过程对人类患者的侵入程度的信息。这被称为“侵入性分数”。给更具侵入性的预定过程(例如，由机器人103执行的烧灼、夹住或切口)提供比侵入性较小的过程(例如，改变摄像机的视场)更高的侵入性分数。特定的预定手术场景可能与需要许可的多个预定过程(例如，改变摄像机视场、切口和烧灼)相关联。为了减少外科医生对每个预定过程给予许可所需的时间，如果外科医生给予许可给具有更高的侵入性分数的预定过程，则也自动给予许可给具有相同或低侵入性分数的所有预定过程。因而，例如，如果切口具有最高的侵入性分数、然后是烧灼、然后改变摄像机视场，则给予切口许可将自动导致也给予烧灼和改变摄像机视场的许可。给予许可给烧灼将自动导致也给予许可给改变摄像机视场(但不是切口，因为它具有更高的侵入性分数)。给予许可给改变摄像机视场将不会自动导致给予许可给烧灼或切口(因为它的侵入性分数低于两者)。

在一个实施例中，在指示已经发生预定手术场景的由摄像机109捕获的真实图像的分类之后，首先将真实图像与在先前确定与预定手术场景相关联的一个或多个预定过程的许可时使用的(一个或多个)人工图像进行比较。使用任何合适的图像比较算法(例如，使用适当确定的参数和容差进行逐像素比较)来执行真实图像与(一个或多个)人工图像的比较，该算法输出指示两个图像的相似度的分数(相似度分数)。只有在相似度分数超过预定阈值时才自动执行先前已给予许可的一个或多个预定过程。这有助于降低人工神经网络对真实图像进行不当分类的风险，导致执行一个或多个许可预定过程。例如，在真实图像包括人工神经网络尚未训练的意外图像特征(例如，镜头伪影等)的情况下，可能发生这种不当的分类。尽管真实图像看起来不像用于训练人工神经网络输出相关分类的图像，但意外的图像特征仍可能引起人工神经网络输出该分类。因而，通过在实施与分类相关联的一个或多个许可预定过程之前还实施图像比较，缓解了一个或多个许可预定过程的不当实施(这可能有害于手术效率和/或患者安全)的风险。

一旦对于与特定预定手术阶段相关联的每个预定手术场景给予(或不给予)许可，指示每个预定手术场景、与该预定手术场景相关联的一个或多个预定过程、以及是否已经给予许可的信息存储在存储器202和/或存储介质203中以供在预定手术阶段期间引用。例如，可以将信息存储为图5中所示的查找表。图5的表格还存储了每个预定过程的侵入性分数(在本示例中为“高”、“中等”或“低”)。当由摄像机捕获的真实图像被人工神经网络(ANN)分类为代表预定手术场景时，处理器201查找与该预定手术场景相关联的一个或多个预定过程及其许可。处理器201然后控制机器人103自动执行已被给予许可的预定过程(即，许可字段为“是”的预定过程)。对于尚未给予许可的预定过程(即，许可字段为“否”的预定过程)，在手术期间将专门请求许可，除非给予该许可，否则机器人103将不会执行该预定过程。图5的查找表用于涉及外科医生沿着预定路线在患者的肝脏300上形成切口的预定手术阶段。不同的预定手术阶段可以具有不同的预定手术场景和与其相关联的不同预定过程。这将反映在它们相应的查找表中。

尽管以上描述考虑了外科医生，但是本技术可适用于手术室中的任何人类监管者(例如，麻醉师、护士等)，在机器人103在检测到的预定手术场景中自动执行预定过程之前必须寻求其许可。

因而，本技术允许计算机辅助手术系统的监管者在需要这些许可之前给予由计算机化手术装置(例如，机器人103)执行的动作的许可。这允许在手术期间对监管者方便的时间(例如，在手术之前或在时间压力较小时在手术的每个预定阶段之前)对许可请求进行分组。它还允许计算机化手术装置更快地采取动作(因为在需要采取动作时不会浪费时间寻求许可)并允许计算机化手术装置处理需要快速动作的更广泛的情形(其中，请求许可的过程通常会阻止计算机化手术装置处理该情形)。提供的许可请求也更有意义(因为人工图像更接近地代表了可以触发计算机化手术装置做出决策的真实刺激的可能选项)。对于很可能发生(并且因此传统上需要在手术期间多次给予许可)的预定手术场景以及难以在手术期间与人类沟通的预定手术场景，人类监管者的审查工作也减少了(例如，在需要快速做出决策或需要与外科医生进行长时间的沟通的情况下)。在请求的许可可以帮助向人类外科医生传达计算机化手术装置认为很可能的手术场景的情况下，启用与人类外科医生的更大协作。

图6示出了示出根据实施例的由控制器110执行的方法的流程图。

该方法开始于步骤600。

在步骤601处，使用人工神经网络的特征可视化在预定手术场景期间获得手术现场的人工图像，该人工神经网络被配置为当将摄像机109在预定手术场景中捕获的手术现场的真实图像输入到人工神经网络时输出指示预定手术场景的信息。

在步骤602处，显示器接口输出人工图像以在电子显示器102上显示。

在步骤603处，响应于在将由摄像机109捕获的真实图像输入到人工神经网络时人工神经网络输出指示预定手术场景的信息，用户界面208接收指示人类是否给予许可给要执行的预定过程的许可信息。

在步骤604处，摄像机接口205接收由摄像机109捕获的真实图像。

在步骤605处，将真实图像输入到人工神经网络。

在步骤606处，确定人工神经网络是否输出指示预定手术场景的信息。在没有输出的情况下，则该方法在步骤609处结束。在输出的情况下，则该方法进行到步骤607。

在步骤607处，确定人类是否给予许可给要执行的预定过程。在人类给予许可的情况下，则该方法在步骤609处结束。在人类给予许可的情况下，则该方法进行到步骤608。

在步骤608处，控制器使执行预定过程。

该过程在步骤609处结束。

图7示意性地示出了本技术可适用的计算机辅助手术系统1126的示例。计算机辅助手术系统是主-从(主从)系统，包括自主臂1100和一个或多个外科医生控制的臂1101。自主臂保持成像设备1102(例如，手术摄像机或医疗视镜，诸如医疗内窥镜、手术显微镜或手术外窥镜)。一个或多个外科医生控制的臂1101各自保持手术设备1103(例如，切割工具等)。自主臂的成像设备将手术现场的图像输出到外科医生可见的电子显示器1110。自主臂在外科医生使用该一个或多个外科医生控制的臂执行手术的同时自主调整成像设备的视图，以实时为外科医生提供手术现场的适当视图。

外科医生使用主控制台1104来控制一个或多个外科医生控制的臂1101。主控制台包括主控制器1105。主控制器1105包括一个或多个力传感器1106(例如，扭矩传感器)、一个或多个旋转传感器1107(例如，编码器)和一个或多个致动器1108。主控制台包括具有一个或多个关节和操作部的臂(未示出)。操作部可以由外科医生抓握并移动以引起臂围绕该一个或多个关节移动。一个或多个力传感器1106检测由外科医生围绕该一个或多个关节在臂的操作部上提供的力。一个或多个旋转传感器检测臂的该一个或多个关节的旋转角度。致动器1108围绕该一个或多个关节驱动臂以允许臂向外科医生提供触觉反馈。主控制台包括自然用户界面(NUI)输入/输出，用于从外科医生接收输入信息并向外科医生提供输出信息。NUI输入/输出包括臂(外科医生移动臂以提供输入信息，并且臂将触觉反馈作为输出信息提供给外科医生)。NUI输入/输出还可以包括例如语音输入、视线输入和/或手势输入。主控制台包括电子显示器1110，用于输出由成像设备1102捕获的图像。

主控制台1104经由机器人控制系统1111与自主臂1100和一个或多个外科医生控制的臂1101中的每一个通信。机器人控制系统通过有线或无线连接1123、1124和1125连接到主控制台1104、自主臂1100和一个或多个外科医生控制的臂1101。连接1123、1124和1125允许在主控制台、自主臂与一个或多个外科医生控制的臂之间交换有线或无线信号。

机器人控制系统包括控制处理器1112和数据库1113。控制处理器1112处理从一个或多个力传感器1106和一个或多个旋转传感器1107接收的信号，并响应于哪一个或多个致动器1116驱动一个或多个外科医生控制的臂1101而输出控制信号。以此方式，主控制台1104的操作部的移动引起该一个或多个外科医生控制的臂的对应移动。

控制处理器1112还响应于哪一个或多个致动器1116驱动自主臂1100而输出控制信号。输出到自主臂的控制信号由控制处理器1112响应于从主控制台1104、一个或多个外科医生控制的臂1101、自主臂1100和任何其他信号源(未示出)中的一个或多个接收的信号来确定。所接收的信号是指示要由成像设备1102捕获的具有适当视图的图像的自主臂的适当位置的信号。数据库1113存储所接收的信号的值和自主臂的对应位置。

例如，对于从主控制器的一个或多个力传感器1106和旋转传感器1107接收的信号值的给定组合(其进而指示一个或多个外科医生控制的臂1101的对应移动)，自主臂1100的对应位置被设置成使得由成像设备1102捕获的图像不被一个或多个外科医生控制的臂1101遮挡。

作为另一示例，在由自主臂的一个或多个力传感器1117(例如，扭矩传感器)输出的信号指示自主臂正在经历阻力(例如，由于自主臂路径中的障碍物)的情况下，自主臂的对应位置被设置成使得由成像设备1102从替代视图(例如，允许自主臂沿着不涉及障碍物的替代路径移动的视图)捕获图像。

应当理解，可能存在指示自主臂的适当位置的其他类型的接收信号。

控制处理器1112在数据库1112中查找所接收的信号的值并且检索指示自主臂1100的对应位置的信息。然后，处理该信息以生成进一步的信号，响应于该进一步的信号，自主臂的致动器1116使自主臂移动到指示位置。

自主臂1100和一个或多个外科医生控制的臂1101中的每一个都包括臂单元1114。臂单元包括臂(未示出)、控制单元1115、一个或多个致动器1116以及一个或多个力传感器1117(例如，扭矩传感器)。臂包括一个或多个连杆和关节以允许臂的移动。控制单元1115向机器人控制系统1111发送信号并从机器人控制系统接收信号。

响应于从机器人控制系统接收的信号，控制单元1115控制一个或多个致动器1116以围绕一个或多个关节驱动臂以将其移动到适当位置。对于一个或多个外科医生控制的臂1101，由机器人控制系统基于从主控制台1104接收的信号(例如，由控制主控制台的臂的外科医生)来生成所接收的信号。对于自主臂1100，所接收的信号通过机器人控制系统在数据库1113中查找合适的自主臂位置信息来生成。

响应于一个或多个力传感器1117围绕一个或多个关节输出的信号，控制单元1115向机器人控制系统输出信号。例如，这允许机器人控制系统将指示一个或多个外科医生控制的臂1101所经历的阻力的信号发送到主控制台1104以向外科医生提供对应的触觉反馈(例如，使得一个或多个外科医生控制的臂经历的阻力导致主控制台的致动器1108在主控制台的臂中引起对应的阻力)。作为另一示例，这允许机器人控制系统在数据库1113中查找合适的自主臂位置信息(例如，用于在一个或多个力传感器1117指示障碍物在自主臂的路径中的情况下找到自主臂的替代位置)。

自主臂1100的成像设备1102包括摄像机控制单元1118和成像单元1119。摄像机控制单元控制成像单元捕获图像，并控制所捕获的图像的各种参数，诸如缩放水平、曝光值、白平衡等。成像单元捕获手术现场的图像。成像单元包括捕获图像所需的所有部件，包括一个或多个镜头和图像传感器(未示出)。捕获图像的手术现场的视图取决于自主臂的位置。

一个或多个外科医生控制的臂的手术设备1103包括设备控制单元1120、操纵器1121(例如，包括一个或多个马达和/或致动器)以及一个或多个力传感器1122(例如，扭矩传感器)。

设备控制单元1120响应于从机器人控制系统1111接收的信号来控制操纵器执行物理动作(例如，当手术设备1103是切割工具时的切割动作)。该信号由机器人控制系统响应于从主控制台1104接收的信号而生成，该信号通过外科医生将信息输入到NUI输入/输出1109以控制手术设备来生成。例如，NUI输入/输出包括被包括作为主控制台的臂的操作部的一部分的一个或多个按钮或控制杆，外科医生可操作这些按钮或控制杆以使手术设备执行预定动作(例如，当手术设备是切割工具时接通或关断电动刀片)。

设备控制单元1120还从一个或多个力传感器1122接收信号。响应于所接收的信号，设备控制单元向机器人控制系统1111提供对应的信号，机器人控制系统进而又向主控制台1104提供对应的信号。主控制台经由NUI输入/输出1109向外科医生提供触觉反馈。因此，外科医生从手术设备1103以及从一个或多个外科医生控制的臂1101接收触觉反馈。例如，当手术设备是切割工具时，触觉反馈涉及操作切割工具以在来自一个或多个力传感器1122的信号指示切割工具上的更大力时给予更大的操作阻力(当切割例如骨头等较硬的材料时发生)并且在来自一个或多个力传感器1122的信号指示切割工具上的更小的力时给予更小的操作阻力(当切割例如肌肉等较软的材料时发生)的按钮或操纵杆。NUI输入/输出1109包括一个或多个合适的马达、致动器等以响应于从机器人控制系统1111接收的信号来提供触觉反馈。

图8示意性地示出了本技术可适用的计算机辅助手术系统1209的另一示例。计算机辅助手术系统1209是外科医生经由主-从系统1126执行任务并且计算机化手术装置1200自主执行任务的手术系统。

主-从系统1126与图7相同，因此不做描述。然而，在替代实施例中，主-从系统可以是与图7的系统不同的系统，或者可以完全省略(在这种情况下，系统1209在外科医生执行传统的手术的同时自主工作)。

计算机化手术装置1200包括机器人控制系统1201和工具支架臂装置1210。工具支架臂装置1210包括臂单元1204和手术设备1208。臂单元包括臂(未示出)、控制单元1205、一个或多个致动器1206以及一个或多个力传感器1207(例如，扭矩传感器)。臂包括一个或多个关节以允许臂的移动。工具支架臂装置1210经由有线或无线连接1211向机器人控制系统1201发送信号和从机器人控制系统1201接收信号。机器人控制系统1201包括控制处理器1202和数据库1203。尽管示出为单独的机器人控制系统，但机器人控制系统1201和机器人控制系统1111可以是相同的系统。手术设备1208具有与手术设备1103相同的部件。这些在图8中未示出。

响应于从机器人控制系统1201接收的控制信号，控制单元1205控制一个或多个致动器1206以围绕一个或多个关节驱动臂以将其移动到适当位置。手术设备1208的操作也由从机器人控制系统1201接收的控制信号来控制。控制信号由控制处理器1202响应于从臂单元1204、手术设备1208和任何其他信号源(未示出)中的一个或多个接收的信号来生成。其他信号源可以包括捕获手术现场的图像的成像设备(例如，主-从系统1126的成像设备1102)。将由控制处理器1202接收的信号的值与存储在数据库1203中的信号值以及对应的臂位置和/或手术设备操作状态信息进行比较。控制处理器1202从数据库1203中检索与所接收的信号的值相关联的臂位置和/或手术设备操作状态信息。控制处理器1202然后使用所检索的臂位置和/或手术设备操作状态信息来生成要传输到控制单元1205和手术设备1208的控制信号。

例如，在从捕获手术现场的图像的成像设备接收的信号指示预定手术场景(例如，经由神经网络图像分类过程等)的情况下，在数据库1203中查找预定手术场景，并且从数据库中检索与预定手术场景相关联的臂位置信息和/或手术设备操作状态信息。作为另一示例，在信号指示由一个或多个力传感器1207测量的关于臂单元1204的一个或多个关节的阻力值的情况下，在数据库1203中查找阻力值，并且从数据库中检索与阻力值相关联的臂位置信息和/或手术设备操作状态信息(例如，用于在增加的阻力对应于臂路径中的障碍物的情况下允许将臂的位置改变到替代位置)。在任一情况下，控制处理器1202然后向控制单元1205发送信号以控制一个或多个致动器1206将臂的位置改变为由所检索的臂位置信息指示的位置和/或向手术设备1208发送信号以控制手术设备1208进入由所检索的操作状态信息指示的操作状态(例如，在手术设备1208是切割工具的情况下，将电动刀片转到“接通”状态或“关断”状态)。

图9示意性地示出了本技术可适用的计算机辅助手术系统1300的另一示例。计算机辅助手术系统1300是计算机辅助医疗镜系统，其中，自主臂1100保持成像设备1102(例如，医疗镜诸如内窥镜、显微镜或外窥镜)。自主臂的成像设备将手术现场的图像输出到外科医生可见的电子显示器(未示出)。自主臂在外科医生执行手术的同时自主调整成像设备的视图，以实时向外科医生提供手术现场的适当视图。自主臂1100与图7的自主臂相同，因此不做描述。然而，在这种情况下，自主臂作为独立计算机辅助医疗镜系统1300的一部分而不是作为图7的主-从系统1126的一部分设置。自主臂1100因此可以用于许多不同的手术安排，包括例如腹腔镜手术(其中，医疗镜是内窥镜)和开放式手术。

计算机辅助医疗镜系统1300还包括用于控制自主臂1100的机器人控制系统1302。机器人控制系统1302包括控制处理器1303和数据库1304。有线或无线信号经由连接1301在机器人控制系统1302与自主臂1100之间交换。

响应于从机器人控制系统1302接收的控制信号，控制单元1115控制一个或多个致动器1116驱动自主臂1100以将其移动到适当位置，以便成像设备1102捕获具有适当视图的图像。控制信号由控制处理器1303响应于从臂单元1114、成像设备1102和任何其他信号源(未示出)中的一个或多个接收的信号来生成。将由控制处理器1303接收的信号的值与存储在数据库1304中的信号值以及对应的臂位置信息进行比较。控制处理器1303从数据库1304中检索与所接收的信号的值相关联的臂位置信息。控制处理器1303然后使用所检索的臂位置信息来生成要传输到控制单元1115的控制信号。

例如，在从成像设备1102接收的信号指示预定手术场景(例如，经由神经网络图像分类过程等)的情况下，在数据库1304中查找预定手术场景，并且从数据库中检索与预定手术场景相关联的臂位置信息。作为另一示例，在信号指示由臂单元1114的一个或多个力传感器1117测量的阻力值的情况下，在数据库1203中查找阻力值，并且从数据库中检索与阻力值相关联的臂位置信息(例如，用于在增加的阻力对应于臂路径中的障碍物的情况下允许将臂的位置改变到替代位置)。在任一情况下，控制处理器1303然后向控制单元1115发送信号以控制一个或多个致动器1116将臂的位置改变为由所检索的臂位置信息指示的位置。

图10示意性地示出了本技术可适用的计算机辅助手术系统1400的另一示例。该系统包括具有成像单元1102的一个或多个自主臂1100以及具有手术设备1210的一个或多个自主臂1210。该一个或多个自主臂1100和一个或多个自主臂1210与之前描述的相同。自主臂1100和1210中的每一个均由包括控制处理器1409和数据库1410的机器人控制系统1408控制。有线或无线信号经由连接1411和1412分别在机器人控制系统1408与自主臂1100和1210中的每一个之间交换。机器人控制系统1408执行用于控制每个自主臂1100的先前描述的机器人控制系统1111和/或1302的功能并且执行用于控制每个自主臂1210的先前描述的机器人控制系统1201的功能。

自主臂1100和1210完全自主地执行手术的至少一部分(例如，当系统1400是开放式手术系统时)。机器人控制系统1408基于指示手术的当前阶段和/或手术中发生的事件的输入信息来控制自主臂1100和1210以在手术期间执行预定动作。例如，输入信息包括由图像捕获设备1102捕获的图像。输入信息还可以包括由麦克风(未示出)捕获的声音、基于包括在手术器械(未示出)中的运动传感器的使用中的手术器械的检测和/或任何其他合适的输入信息。

使用由基于机器学习的手术规划装置1402实施的合适的机器学习(ML)算法(例如，合适的人工神经网络)来分析输入信息。规划装置1402包括机器学习处理器1403、机器学习数据库1404和训练器1405。

机器学习数据库1404包括指示手术阶段的分类(例如，形成切口、移除器官或缝合)和/或手术事件(例如，出血或落在预定范围之外的患者参数)的信息以及提前已知的输入信息以对应于那些分类(例如，在每个分类的手术阶段和/或手术事件期间由成像设备1102捕获的一个或多个图像)。在训练阶段期间通过向训练器1405提供指示每个分类的信息和对应的输入信息来填充机器学习数据库1404。训练器1405然后使用该信息来训练机器学习算法(例如，通过使用该信息来确定合适的人工神经网络参数)。机器学习算法由机器学习处理器1403实施。

一旦经过训练，先前看不见的输入信息(例如，新捕获的手术现场的图像)可以通过机器学习算法进行分类，以确定与该输入信息相关联的手术阶段和/或手术事件。机器学习数据库还包括指示响应于存储在机器学习数据库中的每个手术阶段和/或手术事件由自主臂1100和1210中的每一个采取的动作的动作信息(例如，控制自主臂1210以为手术阶段“形成切口”在相关位置处形成切口并控制自主臂1210为手术事件“出血”执行适当的烧灼)。因此，基于机器学习的手术规划器1402能够响应于通过机器学习算法输出的手术阶段和/或手术事件分类来确定自主臂1100和/或1210要采取的相关动作。指示相关动作的信息被提供给机器人控制系统1408，该机器人控制系统进而向自主臂1100和/或1210提供信号以使得执行相关动作。

规划装置1402和机器人控制系统1408可以被包括在控制单元1401内，由此允许规划装置1402与机器人控制系统1408之间的直接电子通信。可选地或另外地，机器人控制系统1408可以通过通信网络1405(例如，因特网)从其他设备1407接收信号。这允许基于由这些其他设备1407执行的处理来远程控制自主臂1100和1210。在一个示例中，设备1407是具有足够处理能力以快速实施复杂机器学习算法的云服务器，由此实现更可靠的手术阶段和/或手术事件分类。不同的机器学习算法可以由不同的相应设备1407使用存储在每个设备可访问的外部(例如，基于云的)机器学习数据库1406中的相同训练数据来实施。因此，每个设备1407不需要其自身的机器学习数据库(如规划装置1402的机器学习数据库1404)，并且可以集中更新训练数据并使其对所有设备1407可用。每个设备1407仍然包括训练器(如训练器1405)和机器学习处理器(如机器学习处理器1403)以实施其相应的机器学习算法。

图11示出了臂单元1114的示例。臂单元1204以相同方式配置。在该示例中，臂单元1114支持内窥镜作为成像设备1102。然而，在另一示例中，支持不同的成像设备1102或手术设备1103(在臂单元1114的情况下)或手术设备1208(在臂单元1204的情况下)。

臂单元1114包括基座710和从基座720延伸的臂720。臂720包括多个主动关节721a至721f并且在臂720的远端支撑内窥镜1102。连杆722a至722f是大致棒状的构件。多个连杆722a至722f的端部通过主动关节721a至721f、被动滑动机构724和被动关节726彼此连接。基座单元710用作支点，使得臂形状从基座710延伸。

内窥镜1102的位置和姿势通过驱动和控制设置在臂720的主动关节721a至721f中的致动器来控制。根据该示例，使内窥镜1102的远端进入作为治疗部位的患者体腔，并捕获治疗部位的图像。然而，内窥镜1102可以替代地是另一设备，诸如另一成像设备或手术设备。更一般地，保持在臂720末端的设备被称为远侧单元或远侧设备。

这里，通过定义如图11所示的坐标轴来如下地描述臂单元700。此外，根据坐标轴定义垂直方向、纵向方向和水平方向。换句话说，相对于安装在地板表面上的基座710的垂直方向被定义为z轴方向和垂直方向。此外，与z轴正交的方向、臂720从基座710延伸的方向(换句话说，内窥镜1102相对于基座710定位的方向)被定义为y轴方向和纵向方向。此外，与y轴和z轴正交的方向被定义为x轴方向和水平方向。

主动关节721a至721f将连杆彼此连接成可旋转的。主动关节721a至721f具有致动器，并且具有通过致动器的驱动而被驱动以绕预定旋转轴旋转的每个旋转机构。由于控制每个主动关节721a至721f的旋转驱动，因此可以控制臂720的驱动例如以伸展或收缩(折叠)臂单元720。

被动滑动机构724是被动形状改变机构的一个方面，并且将连杆722c和连杆722d彼此连接以能够沿着预定方向前后移动。被动滑动机构724例如由使用者操作以前后移动，并且连杆722c的一端侧的主动关节721c与被动关节726之间的距离是可变的。采用该配置，可以改变臂单元720的整体形状。

被动关节736是被动形状改变机构的一个方面，并且将连杆722d和连杆722e彼此连接以成为可旋转的。被动关节726例如由使用者操作以旋转，并且连杆722d与连杆722e之间形成的角度是可变的。采用该配置，可以改变臂单元720的整体形状。

在一个实施例中，臂单元1114具有六个主动关节721a至721f，并且实现了关于臂720的驱动的六个自由度。即，被动滑动机构726和被动关节726不是要受到驱动控制的对象，而臂单元1114的驱动控制是通过六个主动关节721a至721f的驱动控制来实现的。

具体地，如图11所示，主动关节721a、721d和721f被设置为具有各自的连接的连杆722a和722e的长轴方向和连接的内窥镜1102的捕获方向作为旋转轴方向。主动关节721b、721c和721e被设置为具有x轴方向作为旋转轴方向，该x轴方向是连接的连杆722a至722c、722e和722f中的每一个与内窥镜1102的连接角度在y-z平面(由y轴和z轴定义的平面)内改变的方向。以此方式，主动关节721a、721d和721f具有执行所谓的偏航的功能，而主动关节421b、421c和421e具有执行所谓的俯仰的功能。

因为在臂单元1114中相对于臂720的驱动实现了六个自由度，因此内窥镜1102可以在臂720的可移动范围内自由移动。图11示出了作为内窥镜723的可移动范围的示例的半球。假设半球的中心点远程运动中心(RCM)是内窥镜1102捕获的治疗部位的捕获中心，则可以在内窥镜1102的捕获中心固定在半球的中心点的状态下通过在半球的球面上移动内窥镜1102来从各个角度捕获治疗部位。

图12示出了主控制台1104的示例。提供了用于右手和左手的两个控制部900R和900L。外科医生将双臂或双肘放在支撑基座50上，并且使用右手和左手分别抓握操作部1000R和1000L。在该状态下，外科医生在观察示出手术部位的电子显示器1110的同时操作操作部1000R、1000L。外科医生可以移动相应操作部1000R和1000L的位置或方向以远程操作附接到一个或多个从装置的手术器械的位置或方向，或者使用每个手术器械来执行抓握操作。

本技术的一些实施例由以下编号的项定义：

(1)

一种计算机辅助手术系统，包括：图像捕获装置、显示器、用户界面以及电路，其中，电路被配置为：

接收指示手术场景和与该手术场景相关联的手术过程的信息；

获得手术场景的人工图像；

输出人工图像以在显示器上显示；

如果确定发生手术场景，则经由用户界面接收许可信息，该许可信息指示是否存在对要执行的手术过程的许可。

(2)

根据项1的计算机辅助手术系统，其中，电路被配置为：

接收由图像捕获装置捕获的真实图像；

确定真实图像是否指示手术场景的发生；

如果真实图像指示手术场景的发生，则确定是否存在对要执行的手术过程的许可；以及

如果存在对要执行的手术过程的许可，则控制要执行的预定过程。

(3)

根据项2的计算机辅助手术系统，其中：

使用人工神经网络的特征可视化获得人工图像，该人工神经网络被配置为当将由图像捕获装置捕获的手术场景的真实图像输入到人工神经网络时输出指示手术场景的信息；以及

当将真实图像输入到人工神经网络时，当人工神经网络输出指示手术场景的信息时，确定真实图像指示手术场景的发生。

(4)

根据任何前述项的计算机辅助手术系统，其中，手术过程包括控制手术装置执行手术动作。

(5)

根据任何前述项的计算机辅助手术系统，其中，手术过程包括调整图像捕获装置的视场。

(6)

根据项5的计算机辅助手术系统，其中：

手术场景为体液可与图像捕获装置碰撞的手术场景；并且

手术过程包括调整图像捕获装置的位置以降低碰撞的风险。

(7)

根据项5的计算机辅助手术系统，其中：

手术场景为存在图像捕获装置的不同的视场是有利的手术场景；并且

手术过程包括将图像捕获装置的视场调整到不同的视场。

(8)

根据项7的计算机辅助手术系统，其中：

手术场景为执行切口的手术场景；并且

不同的视场为切口的执行提供改进视图。

(9)

根据项8的计算机辅助手术系统，其中：

手术场景包括偏离规划切口的切口；并且

不同的视场提供偏离的改进视图。

(10)

根据项5的计算机辅助手术系统，其中：

手术场景为物品被掉落的手术场景；并且

手术过程包括调整图像捕获装置的视场以使被掉落的物品保持在视场内。

(11)

根据项5的计算机辅助手术系统，其中：

手术场景为在图像捕获装置的视场内存在证据表明事件不在视场内的手术场景；并且

手术过程包括调整图像捕获装置的视场，使得事件在视场内。

(12)

根据项11的计算机辅助手术系统，其中，该事件是出血。

(13)

根据项5的计算机辅助手术系统，其中：

手术场景为对象遮挡图像捕获装置的视场的手术场景；并且

手术过程包括调整图像捕获装置的视场以避开遮挡对象。

(14)

根据项5的计算机辅助手术系统，其中：

手术场景为工作区域接近图像捕获装置的视场的边界的手术场景；并且

手术过程包括调整图像捕获装置的视场，使得工作区域保持在视场内。

(15)

根据项5的计算机辅助手术系统，其中：

手术场景为图像捕获装置可以与另一对象碰撞的手术场景；并且

手术过程包括调整图像捕获装置的位置以降低碰撞的风险。

(16)

根据项2或3的计算机辅助手术系统，其中，电路被配置为：

将真实图像与人工图像进行比较；并且

如果真实图像与人工图像之间的相似度超过预定阈值，则执行手术过程。

(17)

根据任何前述项的计算机辅助手术系统，其中：

如果确定发生手术场景，则手术过程为可执行的多个手术过程中的一个手术过程；

该多个手术过程中的每个手术过程与相应的侵入性水平相关联；并且

如果其他手术过程的侵入性水平小于或等于该手术过程的侵入性水平，则在许可执行该手术过程的情况下，许可执行该手术过程以外的每个手术过程。

(18)

根据任何前述项的计算机辅助手术系统，其中，图像捕获装置为手术摄像机或医疗视镜。

(19)

根据任何前述项的计算机辅助手术系统，其中，计算机辅助手术系统为计算机辅助医疗视镜系统、主-从系统或开放式手术系统。

(20)

一种手术控制装置，包括：电路，该电路被配置为：

接收指示手术场景和与该手术场景相关联的手术过程的信息；

获得手术场景的人工图像；

输出人工图像以在显示器上显示；

如果确定发生手术场景，则经由用户界面接收许可信息，该许可信息指示是否存在对要执行的手术过程的许可。

(21)

一种手术控制方法，包括：

接收指示手术场景和与该手术场景相关联的手术过程的信息；

获取手术场景的人工图像；

输出人工图像以在显示器上显示；

如果确定发生手术场景，则经由用户界面接收许可信息，该许可信息指示是否存在对要执行的手术过程的许可。

(22)

一种程序，用于控制计算机执行根据项21的手术控制方法。

(23)

一种存储有根据项22的计算机程序的非暂时性存储介质。

根据上述教导，本公开的多种修改和变化是可能的。因此，应当理解，在所附权利要求的范围内，本公开可以以不同于本文具体描述的方式来实践。

就本公开的实施例已被描述为至少部分地由软件控制的数据处理装置来实施而言，应当理解，承载这种软件的非暂时性机器可读介质(诸如光盘、磁盘、半导体存储器等)也被认为代表本公开的实施例。

应当理解，为了清楚起见，以上描述已经参考不同的功能单元、电路和/或处理器描述了实施例。然而，显而易见的是，在不偏离实施例的情况下，可以使用不同功能单元、电路和/或处理器之间的任何合适的功能分布。

所描述的实施例可以以任何合适的形式实施，包括硬件、软件、固件或这些的任意组合。所描述的实施例可以可选地至少部分地实施为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。任意实施例的元件和部件可以以任何合适的方式物理地、功能地和逻辑地实施。实际上，功能可以在单个单元中、在多个单元中或作为其他功能单元的一部分来实施。因此，所公开的实施例可以在单个单元中实施或者可以在物理上和功能上分布在不同的单元、电路和/或处理器之间。

尽管已经结合一些实施例描述了本公开，但是本公开并不旨在限于本文阐述的特定形式。另外，尽管特征可能看起来是结合特定实施例来描述的，但是本领域技术人员将认识到，所描述的实施例的各种特征可以以适合于实施该技术的任何方式组合。

Claims (23)

1.一种计算机辅助手术系统，包括：图像捕获装置、显示器、用户界面以及电路，其中，所述电路被配置为：

接收指示手术场景和与所述手术场景相关联的手术过程的信息；

获得所述手术场景的人工图像；

输出所述人工图像以在所述显示器上显示；

如果确定发生所述手术场景，则经由所述用户界面接收许可信息，所述许可信息指示是否存在对要执行的所述手术过程的许可。

2.根据权利要求1所述的计算机辅助手术系统，其中，所述电路被配置为：

接收由所述图像捕获装置捕获的真实图像；

确定所述真实图像是否指示所述手术场景的发生；

如果所述真实图像指示所述手术场景的发生，则确定是否存在对要执行的所述手术过程的许可；以及

如果存在对要执行的所述手术过程的许可，则控制要执行的预定过程。

3.根据权利要求2所述的计算机辅助手术系统，其中：

使用人工神经网络的特征可视化获得所述人工图像，所述人工神经网络被配置为当将由所述图像捕获装置捕获的所述手术场景的真实图像输入到所述人工神经网络时输出指示所述手术场景的信息；以及

当将所述真实图像输入到所述人工神经网络时，当所述人工神经网络输出指示所述手术场景的信息时，确定所述真实图像指示所述手术场景的发生。

4.根据权利要求1所述的计算机辅助手术系统，其中，所述手术过程包括控制手术装置执行手术动作。

5.根据权利要求1所述的计算机辅助手术系统，其中，所述手术过程包括调整所述图像捕获装置的视场。

6.根据权利要求5所述的计算机辅助手术系统，其中：

所述手术场景为体液能与所述图像捕获装置碰撞的手术场景；并且

所述手术过程包括调整所述图像捕获装置的位置以降低所述碰撞的风险。

7.根据权利要求5所述的计算机辅助手术系统，其中：

所述手术场景为存在所述图像捕获装置的不同的视场是有利的手术场景；并且

所述手术过程包括将所述图像捕获装置的所述视场调整到所述不同的视场。

8.根据权利要求7所述的计算机辅助手术系统，其中：

所述手术场景为执行切口的手术场景；并且

所述不同的视场为所述切口的所述执行提供改进视图。

9.根据权利要求8所述的计算机辅助手术系统，其中：

所述手术场景包括偏离规划切口的切口；并且

所述不同的视场提供所述偏离的改进视图。

10.根据权利要求5所述的计算机辅助手术系统，其中：

所述手术场景为物品被掉落的手术场景；并且

所述手术过程包括调整所述图像捕获装置的所述视场以使被掉落的所述物品保持在所述视场内。

11.根据权利要求5所述的计算机辅助手术系统，其中：

所述手术场景为在所述图像捕获装置的所述视场内存在证据表明事件不在所述视场内的手术场景；并且

所述手术过程包括调整所述图像捕获装置的所述视场，使得所述事件在所述视场内。

12.根据权利要求11所述的计算机辅助手术系统，其中，所述事件是出血。

13.根据权利要求5所述的计算机辅助手术系统，其中：

所述手术场景为对象遮挡所述图像捕获装置的所述视场的手术场景；并且

所述手术过程包括调整所述图像捕获装置的所述视场以避开遮挡对象。

14.根据权利要求5所述的计算机辅助手术系统，其中：

所述手术场景为工作区域接近所述图像捕获装置的所述视场的边界的手术场景；并且

所述手术过程包括调整所述图像捕获装置的所述视场，使得所述工作区域保持在所述视场内。

15.根据权利要求5所述的计算机辅助手术系统，其中：

所述手术场景为所述图像捕获装置能与另一对象碰撞的手术场景；并且

所述手术过程包括调整所述图像捕获装置的位置以降低所述碰撞的风险。

16.根据权利要求2所述的计算机辅助手术系统，其中，所述电路被配置为：

将所述真实图像与所述人工图像进行比较；并且

如果所述真实图像与所述人工图像之间的相似度超过预定阈值，则执行所述手术过程。

17.根据权利要求1所述的计算机辅助手术系统，其中：

如果确定发生所述手术场景，则所述手术过程为能执行的多个手术过程中的一个手术过程；

所述多个手术过程中的每个手术过程与相应的侵入性水平相关联；并且

如果其他手术过程的侵入性水平小于或等于所述手术过程的侵入性水平，则在许可执行所述手术过程的情况下，许可执行所述手术过程以外的每个手术过程。

18.根据权利要求1所述的计算机辅助手术系统，其中，所述图像捕获装置为手术摄像机或医疗视镜。

19.根据权利要求1所述的计算机辅助手术系统，其中，所述计算机辅助手术系统为计算机辅助医疗视镜系统、主-从系统或开放式手术系统。

20.一种手术控制装置，包括：电路，所述电路被配置为：

接收指示手术场景和与所述手术场景相关联的手术过程的信息；

获得所述手术场景的人工图像；

输出所述人工图像以在显示器上显示；

如果确定发生所述手术场景，则经由用户界面接收许可信息，所述许可信息指示是否存在对要执行的所述手术过程的许可。

21.一种手术控制方法，包括：

接收指示手术场景和与所述手术场景相关联的手术过程的信息；

获取所述手术场景的人工图像；

输出所述人工图像以在显示器上显示；

如果确定发生所述手术场景，则经由用户界面接收许可信息，所述许可信息指示是否存在对要执行的所述手术过程的许可。

22.一种程序，用于控制计算机执行根据权利要求21所述的手术控制方法。

23.一种存储有根据权利要求22所述的计算机程序的非暂时性存储介质。

Images