CN111728572B - 自动化内窥镜设备控制系统 - Google Patents

Abstract

公开了用于自动化内窥镜设备控制系统的系统、方法以及计算机可读介质。在一个实施例中，一种示例内窥镜设备控制系统可以包括存储器，该存储器存储计算机可执行指令；和至少一个处理器，被配置为访问存储器并执行计算机可执行指令以：从包含相机和观察镜的内窥镜成像系统确定第一图像，使用第一图像确定存在第一状况，确定使用第一内窥镜设备实施的第一响应动作，以及自动地使第一内窥镜设备实施第一响应动作。

Description

自动化内窥镜设备控制系统

背景技术

某些医疗程序（诸如内窥镜检查等）可以使用诸如内窥镜的医疗器械来执行。操作者（诸如医师、助手和其他人）可以使用手动控制装置（诸如电子或机械手动控制装置）来控制医疗器械。然而，在一些医疗程序期间，操作者可能会对医疗器械进行某些更改或手动执行某些操作。例如，可能调整显示设置，可能启用某些工具，等等。此类动作可能很耗时和/或涉及不止一个操作者。因此可能需要自动化控制系统。

发明内容

在一个实施例中，一种内窥镜设备控制系统可以包括存储器，所述存储器存储计算机可执行指令；和至少一个处理器，被配置为访问所述存储器并执行所述计算机可执行指令以执行操作，所述操作可以包括：从包含相机和观察镜的内窥镜成像系统确定第一图像，使用所述第一图像确定存在第一状况，确定使用所述第一内窥镜设备实施的第一响应动作，以及自动地使所述第一内窥镜设备实施所述第一响应动作。

在另一实施例中，一种示例方法可以包括：通过内窥镜设备控制系统从包含相机和观察镜的内窥镜成像系统确定第一图像；使用所述第一图像确定存在第一状况；确定使用第一内窥镜设备实施的第一响应动作；以及自动地使所述第一内窥镜设备实施所述第一响应动作。

在另一实施例中，一种示例内窥镜设备控制系统可以与内窥镜成像系统、数据采集系统以及第一内窥镜设备通信。所述内窥镜设备控制系统可以包括存储器，所述存储器存储计算机可执行指令；和至少一个处理器，被配置为访问所述存储器并执行所述计算机可执行指令以：从所述内窥镜成像系统确定第一图像，使用所述第一图像确定存在第一状况，确定使用所述第一内窥镜设备实施的第一响应动作，以及自动地使所述第一内窥镜设备实施所述第一响应动作。

附图说明

图1是示出根据本公开的一个或多个实施例的自动化内窥镜设备控制系统的系统图。

图2是根据本公开的一个或多个实施例的用于使内窥镜设备动作自动化的示例过程流程图。

图3描绘了根据本公开的一个或多个实施例的示例混合过程和数据流。

图4是根据本公开的一个或多个实施例的用于确定自动化动作的示例过程流程图。

图5描绘了根据本公开的一个或多个实施例的示例混合过程和数据流。

图6是根据本公开的一个或多个实施例的用于自动化内窥镜设备控制系统的示例用例。

图7示意性地示出了根据本公开的一个或多个实施例的神经网络服务器的示例架构。

详细描述参考附图进行阐述。提供附图仅出于说明的目的，并且仅描绘了本公开的示例实施例。提供附图是为了便于对本公开的理解，并且不应被视为限制本公开的广度、范围或适用性。使用相同的附图标记指示相似但不一定相同或一样的组件；不同的附图标记也可以用于标识相似的组件。各个实施例可以利用除了附图中示出的元件或组件之外的元件或组件，并且在各个实施例中可能不存在一些元件和/或组件。取决于上下文，使用单数术语来描述组件或元件可以涵盖多个此类组件或元件，反之亦然。

具体实施方式

概述

在医疗程序期间，某些医疗设备和器械可以手动操作。例如，医师、助手和/或其他人可以在医疗程序期间操作医疗器械。手动控制会增加医疗程序的持续时间。例如，手动系统配置和/或修改（诸如设备设置修改）可能会花费操作者大量的时间。另外，如果操作者失误，手动控制可能会导致系统配置错误。

本公开的实施例包括自动化内窥镜设备控制系统，该自动化内窥镜设备控制系统被配置为至少部分地基于一个或多个检测到的输入来自动地执行某些动作。某些实施例可以被配置为控制相机系统（例如，相机镜头、集成的刚性和柔性观察镜等）、相机控制单元、光源、泵、吹入器、监视器、激光器、机械臂、数据捕获设备和/或其他手动控制的设备。一些实施例可以使用有线或无线电子通信来控制设备。

参考图1，描绘了根据本公开的一个或多个实施例的示例自动化内窥镜设备控制系统100。自动化内窥镜设备控制系统100可以包括内窥镜设备系统130、自动化设备控制系统140和/或一个或多个远程服务器150。自动化设备控制系统140可以存储在本地计算机系统处（诸如手术室中的计算机系统），或存储在一个或多个远程服务器或计算机系统处。远程服务器150可以包括或者以其他方式被配置为执行一个或多个神经网络152。神经网络152可以用于处理图像和/或视频数据和手动动作数据，以确定图像数据和手动动作之间的相关性。神经网络152可以包括被配置为生成自动化动作或推荐的预测模型。在一些实施例中，神经网络152可以存储在一个或多个服务器处并且可以跨多个服务器或计算机处理器执行。神经网络152可以实现机器学习，并且可以是任何合适的神经网络框架，并且可以包括一个或多个概率模型和/或预测模型（例如，TensorFlow、PyTorch、Caffe等）。

内窥镜设备系统130可以包括内窥镜成像系统110。内窥镜成像系统110可以包括一个或多个相机112、一个或多个相机控制单元114、一个或多个监视器116、一个或多个光源118和/或一个或多个相机数据捕获设备120。内窥镜成像系统110可以用于捕获图像和/或携载用来在内窥镜程序期间执行操作的工具。相机控制单元114可以被配置为控制相机112和/或耦合到相机112的观察镜的操作。监视器116可以显示由相机112捕获的图像或视频。光源118可以提供照明以照亮相机112的视场。相机数据捕获设备120可以是被配置为记录或以其他方式捕获与相机112和/或内窥镜成像系统110的其他组件相关联的数据的计算机系统。

相机控制单元114可以与相机112电通信。例如，相机控制单元114可以从相机112、监视器116、光源118和/或相机捕获设备120接收或以其他方式确定学习数据。学习数据可以包括与在各个设备处执行的手动动作相对应的信号。例如，来自光源118的学习数据可以包括光源118被启用的时间或亮度设置被修改的量等。来自监视器116的学习数据可以包括监视器设置的时间和改变量，等等。相机控制单元114可以向相机112、监视器116、光源118和/或相机捕获设备120中的一个或多个发送学习到的控制信号。学习到的控制信号可以包括使各个设备执行某些动作的信号。相机控制单元114可以因此使其他组件或设备执行某些动作。

内窥镜设备系统130可以包括一个或多个外围设备，诸如可以是吹入器的第一外围设备132和可以是激光器的第二外围设备134。可以包括任何数量的外围设备。

内窥镜设备系统130可以与自动化设备控制系统140有线或无线通信。在一些实施例中，自动化设备控制系统140可以与内窥镜成像系统110直接通信，而在其他实施例中，自动化设备控制系统140可以经由与内窥镜设备系统130的有线或无线连接与内窥镜成像系统110间接通信。自动化设备控制系统140可以与第一外围设备132和/或第二外围设备134直接或间接地有线或无线通信。自动化设备控制系统140可以从第一外围设备132和/或第二外围设备134接收学习数据，并且可以向第一外围设备132和/或第二外围设备134发送学习到的控制信号。

自动化设备控制系统140可以与远程服务器150有线或无线通信。远程服务器可以是基于云的数据服务器，并且可以处理学习到的数据和/或控制信号中的一些或全部。在一些实施例中，自动化设备控制系统140可以被配置为采用递归神经网络。

在一些情况下，内窥镜成像系统110和/或内窥镜设备系统130可以与远程服务器150直接通信。作为结果，在一些实施例中，自动化设备控制系统140可以经由相机控制单元114从内窥镜成像系统110中的一个或多个设备接收学习数据并对该学习数据进行控制。自动化设备控制系统140还可以直接从内窥镜设备系统130内的一个或多个外围设备接收学习数据并对该学习数据进行控制。自动化设备控制系统140可以在本地处理学习数据以生成受过训练的模型。任选地，自动化设备控制系统140可以向远程服务器150发送学习数据，该学习数据随后可以例如使用递归神经网络进行处理，并且可以通过自动化设备控制系统140下载受过训练的模型。

在另一实施例中，相机控制单元114可以从内窥镜成像系统110中的一个或多个设备接收学习数据，并且可以直接向远程服务器150发送学习数据（连同其自身的学习数据一起）。内窥镜设备系统130中的外围设备还可以直接向远程服务器150发送学习数据。自动化设备控制系统140可以周期性地或者每当学习数据被处理并且更新的受过训练的模型可用时从远程服务器下载受过训练的模型。内窥镜设备系统130中的设备可以通过自动化设备控制系统140生成的信号进行控制。对于内窥镜成像系统110的设备，可以经由相机控制单元114发送控制信号。在一些实施例中，自动化设备控制系统140可以直接从内窥镜设备系统130中的所有其他设备接收学习数据。

一些实施例可以实现神经网络和/或机器学习来生成自动化动作或推荐。例如，相机控制单元114可以用于在手动操作期间采集学习数据，可以对该学习数据进行处理以教导自动化设备控制系统140如何自动地控制各种设备。训练自动化设备控制系统140可以在线（诸如，在手动使用设备时等）和/或离线进行。通过使用机器学习方法，诸如利用多层神经网络进行深度学习，所采集的学习数据可以被处理并用于生成可以在自动化设备控制系统140处执行的受过训练的模型。自动化设备控制系统140可以因此控制内窥镜设备系统130中的设备。可以执行对自动化设备控制系统140和/或受过训练的模型的离线和在线认证，以确定何时可以启用自动化控制以及可以启用自动化控制的哪些部分。相应地，某些实施例可以包括人工智能系统，该人工智能系统使用机器学习来自动地控制和/或配置用于各种任务（诸如仪器控制、光源控制、相机亮度控制、导航、数据捕获等）的设备系统。相对于手动用户控制，此类任务可以自动地且更快地执行。

自动化设备控制系统140可以在正在现场手动操作内窥镜设备系统130以执行外科程序时以及随着时间的推移和通过多次外科程序采集学习数据并创建或更新训练模型。可以使用内置的认证机制在线对自动化设备控制系统140进行认证，该认证机制可以允许自动化设备控制系统140对内窥镜设备系统130中的一个或多个进行控制。任选地，可以通过建立本地或远程连接来使用本地或远程认证机制。

在另一实施例中，当执行外科程序时，可以使用从内窥镜设备系统130的先前手动操作采集的学习数据来离线训练自动化设备控制系统140。自动化设备控制系统140也可以使用认证机制离线认证。自动化设备控制系统140的自动化设备配置和控制操作可以通过认证机制完全或部分地认证和启用。可以使用指示器来警告用户自动化设备控制系统140的控制功能将被启用。可以向用户提供超控或禁用自动化设备控制系统140的控制功能以采取手动控制的选项。自动化设备控制系统140可以允许用户通过选择用于产生其训练模型的一组学习/训练数据进行干预。用户可以迫使自动化设备控制系统140忽略从不成功或低效的外科程序或此类程序的阶段采集的学习/训练数据。

在一些情况下，自动化设备控制系统140可以直接与内窥镜设备系统130中的每个设备通信，以接收学习数据并向相应设备发送学习到的控制信号。在其他情况下，自动化设备控制系统140可以通过相机控制单元114建立对内窥镜成像系统110的设备的间接通信和控制，而该相机控制单元继而可以建立对内窥镜成像系统110中其余设备的通信和控制。自动化设备控制系统140还可以同时与内窥镜成像系统110外部和内窥镜设备系统130内部的外围设备通信并对该外围设备进行控制。此类外围设备包括但不限于吹入器、激光器以及机械臂。自动化设备控制系统140可以是已建立对其他本地设备的数据通信和控制的本地（例如，在手术室内、在医院内等）设备，或者可以是已建立对本地设备和远程设备两者的数据通信和控制的本地设备。在一些情况下，自动化设备控制系统140可以是已远程地建立对本地设备的数据通信和控制的远程设备。自动化设备控制系统140可以同时使用到设备的有线和无线连接。在一些情况下，内窥镜设备控制系统140被配置为与内窥镜成像系统110无线通信。

神经网络152可以接收可用于训练和/或操作神经网络152的一个或多个输入。例如，第一输入可以是来自内窥镜成像系统110的学习数据。神经网络152可以被配置为输出可以由自动化设备控制系统140执行的一个或多个受过训练的模型，以生成实时的自动化动作和/或对内窥镜程序期间的动作的推荐。例如，通过使用受过训练的模型，自动化设备控制系统140可以确定在相机112的视场内存在烟雾，并且可以生成启用抽吸或烟雾减少工具以自动地去除烟雾的自动化动作。为了实施动作，自动化设备控制系统140可以向内窥镜设备系统130和/或特定外围设备发送一个或多个控制信号。在一些实施例中，受过训练的模型可以是预测模型，该预测模型至少部分地基于从相机112和/或相机控制单元114接收的相机数据来生成自动化动作。

自动化设备控制系统140可以因此学习并自动地配置和/或控制内窥镜成像系统110和任选地内窥镜设备系统130中的一个或多个设备。自动化设备控制系统140可以通过在操作员对内窥镜系统设备进行手动操作期间，通过处理随着时间的推移和通过多种外科程序从一个或多个设备采集的学习数据来学习控制设备。认证机制可用于确认自动化动作是安全有效的。当新的学习数据变得可用时，自动化设备控制系统140可以随着时间的推移和通过多种外科程序持续学习，以便提高自动化动作和推荐的质量。在一些情况下，自动化设备控制系统140可以被部分启用或完全禁用，直到满足某些资格指标为止。自动化设备控制系统140可以生成警报以通知用户哪些设备以及特征和任务在自动化控制之下或将要受到自动化控制。一些或全部自动化任务可能会被手动控制超控。在一些实施例中，可以手动选择学习数据。一些实施例可以使用深度学习算法和/或深度（多层）神经网络来随着时间的推移训练和更新模型。

在一些实施例中，自动化设备控制系统140可以被实现为与内窥镜设备系统130内的一个或多个本地设备以及一个或多个远程（例如，在手术室和/或医院等外部）设备（诸如远程服务器150）通信的本地设备。自动化设备控制系统140可以被实现为与内窥镜设备系统140内的一个或多个本地设备以及一个或多个远程设备（诸如远程服务器150）通信的远程设备。在一些情况下，自动化设备控制系统140可以通过相机控制单元114来控制内窥镜成像系统110内的一个或多个设备，以及任选地控制内窥镜设备系统130内的其他外围设备。自动化设备控制系统140可以通过相机控制单元114从内窥镜成像系统110内的一个或多个设备和任选地内窥镜设备系统130内的其他外围设备接收学习数据。

在一些实施例中，自动化设备控制系统140可以被集成在相机控制单元114内。自动化设备控制系统140可以通过建立直接的有线和/或无线通信来直接控制内窥镜成像系统110内的设备和内窥镜设备系统130内的其他外围设备。自动化设备控制系统140可以通过建立直接的有线和/或无线通信直接从内窥镜成像系统110内的一个或多个设备以及从内窥镜设备系统130内的一个或多个外围设备接收学习数据。可以通过将采集的学习数据发送到远程服务器150来对自动化设备控制系统140进行训练，该远程服务器可以采用各种机器学习方法来生成受过训练的模型。可以将受过训练的模型从远程服务器150下载到自动化设备控制系统140。任选地，通过建立直接的无线通信，学习数据可以从内窥镜成像系统110内的一个或多个设备和内窥镜设备系统130内的一个或多个外围设备直接发送到远程服务器150。自动化设备控制系统140可以自动地配置内窥镜成像系统110内的设备和内窥镜设备系统130内的外围设备的参数。参数包括启用和/或禁用用于自动化控制的信号。自动化设备控制系统140可以自动地启动数据捕获过程，该过程可以用于文档编制目的和离线诊断。自动化设备控制系统140可以用于学习并且然后控制内窥镜仪器在人体内部和外部的导航。自动化设备控制系统140可用于学习以诊断特定疾病，并且然后基于诊断来控制内窥镜设备系统130采取行动或执行程序（例如进行活组织检查等）。另外，自动化设备控制系统140可以在诊断薄弱时或在需要用户采取手动控制的任何时候警告用户。自动化设备控制系统140可以在定义的用例中执行自动化任务，包括治疗任务和诊断任务。自动化设备控制系统140可以控制机械设备以根据医疗程序的具体类型和医疗程序的具体阶段的需要来采集和布置器械和设备。

以上已经描述了本公开的一个或多个说明性实施例。上述实施例仅是对本公开的范围的说明，而并非旨在以任何方式进行限制。相应地，本文所公开的实施例的变型、修改以及等同物也在本公开的范围内。在下文中将参考附图详细描述上述实施例和本公开的附加和/或另选的实施例。

说明性过程和用例

参考图2，描绘了根据本公开的一个或多个实施例的用于自动化内窥镜设备控制系统的示例过程流程200。尽管某些操作在图2中被示出为单独地进行，但是操作中的一些或全部可以在一个或多个计算机系统上同时或部分同时地进行。在图2中，一个或多个操作可以是任选的。过程流程200可以用于例如生成和/或训练一个或多个神经网络并自动地执行某些动作。

在过程流程200的框210处，内窥镜设备控制系统（诸如图1的自动化设备控制系统140）可以从内窥镜成像系统（诸如图1的内窥镜成像系统110）确定第一图像。例如，内窥镜设备控制系统可以从内窥镜成像系统接收第一图像。内窥镜成像系统可以包括相机和/或观察镜。图像可以是使用相机捕获的。在一些情况下，图像可以从相机输出的视频源确定。

在过程流程200的框220处，可以使用第一图像确定存在第一状况。例如，内窥镜设备控制系统可以处理第一图像和/或将第一图像发送到远程服务器进行处理以确定是否存在任何状况。在一些情况下，视频源的部分可以用于确定状况的存在。可以使用一个或多个模式识别算法和/或受过训练的模型来处理第一图像，该受过训练的模型被配置为使用计算机视觉来确定存在状况的可能性。例如，至少部分地基于来自一个或多个神经网络的输出，可以检测到烟雾存在的状况，或者可以检测到与活组织检查推荐相对应的状况。可以对任何合适的状况进行检测。各种受过训练的模型可以被配置为检测不同状况和/或不同数量的状况，这可以至少部分地基于用于训练模型的数据。除了检测到的状况之外，模型还可以输出指示状况存在的可能性的置信度评分。例如，置信度评分越高，状况存在的可能性越大。在一些情况下，置信度评分可用于确定是否要实施自动化动作，诸如启用烟雾减少工具或其他抽吸设备。

在过程流程200的框230处，可以确定使用第一内窥镜设备实施的第一响应动作。例如，内窥镜设备控制系统可以使用受过训练的模型来确定与检测到的状况相对应的响应动作，和/或远程服务器可以通过执行一个或多个神经网络来确定与检测到的状况相对应的响应动作。至少部分地基于用于训练受过训练的模型的学习数据，内窥镜设备控制系统可以确定第一响应动作是调整相机设置、调整显示器亮度、启用某一内窥镜设备（诸如外围设备（例如，激光器、吹入器、观察镜等）），等等。例如，内窥镜设备控制系统可以确定要实施的第一响应动作是响应于检测到的烟雾检测状况来启用抽吸设备。

在过程流程200的框240处，可以自动地使第一内窥镜设备实施第一响应动作。例如，内窥镜设备控制系统和/或远程服务器可以生成一个或多个命令信号，或者以其他方式命令第一内窥镜设备实施第一响应动作。在一些实施例中，第一响应动作可以由第一内窥镜设备直接实施，而在其他实施例中，可以将实施第一响应动作的指令发送到本地设备（诸如相机控制单元），这可以使第一内窥镜设备自动地实施第一响应动作。

在过程流程200的任选框250处，可以生成指示正在自动地实施第一响应动作的警报。例如，内窥镜设备控制系统和/或第一内窥镜设备可以生成正在实施第一响应动作的听觉和/或视觉警报，以便警告操作者。作为结果，操作者可以允许实施第一响应动作，或者可以取消或以其他方式超控自动化动作。

相应地，某些实施例可以至少部分地基于用于训练一个或多个预测模型或神经网络的学习数据来检测状况并自动地实施响应动作。作为结果，可以减少在程序期间花费的时间，可以提高动作的准确性，并且可以增加稳定性。

自动化动作的示例包括但不限于检测烟雾状况。例如，内窥镜设备控制系统可以使用第一图像确定烟雾量大于或等于烟雾减少阈值。内窥镜设备控制系统可以因此确定将自动地启用第一内窥镜设备，诸如烟雾减少设备。在启用烟雾减少设备之后，内窥镜设备控制系统可以从内窥镜成像系统确定第二图像，并且可以使用第二图像确定烟雾量小于烟雾减少阈值。内窥镜设备控制系统可以因此自动地取消第一响应动作，或者可以停用烟雾减少设备。相应地，内窥镜设备控制系统可以使用实时或近实时的确定来启用和/或停用内窥镜设备。

在另一示例中，内窥镜设备控制系统可以至少使用第一图像来确定相机控制器的第一内窥镜设备将要将相机的亮度设置从第一值调整到第二值，其中相机的亮度设置由相机控制器进行控制。内窥镜设备控制系统可以因此至少部分地基于图像或视频数据来自动地调整相机亮度。

在另一示例中，内窥镜设备控制系统可以至少使用第一图像来确定活组织检查设备的第一内窥镜设备将提取组织样本。例如，内窥镜设备控制系统可以至少使用第一图像来确定要提取的组织样本的坐标，并且可以使活组织检查设备使用坐标来提取组织样本。内窥镜设备控制系统可以使用第二图像确定提取已完成。

图3描绘了根据本公开的一个或多个实施例的示例混合过程和数据流300。在一些实施例中，可以使用一个或多个神经网络来生成一个或多个自动化动作或动作推荐。

在图3中，自动化控制系统310可以被配置为在一个或多个内窥镜设备处自动地实施一个或多个动作。自动化控制系统310可以在手术室本地，或者可以是远程设备，诸如在远程服务器处。在一些实施例中，自动化控制系统310可以集成到内窥镜设备系统的控制单元中。

自动化控制系统310可以包括：一个或多个手动动作检测模块320，被配置为检测用于学习数据的手动动作；一个或多个控制模块330，被配置为在内窥镜设备处实施自动化动作；以及一个或多个图像/动作相关模块340，被配置为生成自动化动作和任选的置信度评分。

自动化控制系统310可以使用一个或多个输入来生成自动化动作和/或置信度评分的输出。例如，第一输入图像/视频数据350可以包括在程序期间来自例如相机的即时视频或图像源。图像/视频数据输入350可以由自动化控制系统310处理以确定是否存在任何状况。

第二输入捕获的内窥镜设备数据360可以包括使用特定设备和对应图像执行的先前手动动作的数据记录362。自动化控制系统310可以处理捕获的内窥镜设备数据360，以学习在哪些时间使用哪些内窥镜设备执行了哪些动作以及对应的图像或视频。例如，捕获的内窥镜设备数据可以指示在捕获图像23时调整了相机亮度，这可以用于关联在调整亮度时存在的状况。例如，自动化控制系统310可以处理图像23以确定在手动调整亮度时存在的状况。另一数据记录可以指示在捕获图像36时启用了抽吸设备3.3秒，等等。

自动化控制系统310可以使用第三输入历史准确性数据370来确定置信度评分。历史准确性数据370可以指示有多少个自动化动作被手动控制超控、多少个自动化动作被批准或以其他方式没有被超控，等等。自动化控制系统310可以使用历史准确性数据370来改善用于随后的自动化动作的置信度评分。

除了自动化动作或动作推荐（由操作者执行）之外，自动化控制系统310还可以输出指示自动化动作正确的可能性的任选的置信度评分380。自动化动作或动作推荐以及置信度评分可以至少部分地基于图像/视频数据350、捕获的内窥镜设备数据360（其可以用于训练由自动化控制系统310使用的模型）和/或历史准确性数据370来生成。

自动化控制系统310可以在确定框390处确定置信度评分是否大于或等于阈值。如果自动化控制系统310在确定框390处确定置信度评分不大于或等于阈值，则自动化控制系统310可以在框392处生成对手动批准的请求。如果自动化控制系统310在确定框390处确定置信度评分大于或等于阈值，则自动化控制系统310可以在框394处自动地实施动作。

图4是根据本公开的一个或多个实施例的用于确定自动化动作的示例过程流程图400。图4的过程流程400可以用于例如确定自动化动作，和/或确定是否要实施自动化动作。

在过程流程400的框410处，可以在内窥镜设备的手动操作期间捕获学习数据。例如，自动化控制系统可以确定在程序期间使用第一内窥镜设备执行的手动动作。自动化控制系统可以确定在执行手动动作时或接近执行手动动作时存在的一个或多个参数。自动化控制系统可以任选地将手动动作的指示和一个或多个参数发送到神经网络作为训练模型的输入。例如，远程服务器可以使用由自动化控制系统捕获的数据作为输入来训练训练模型以用于生成自动化动作。

在框420处，可以使用学习数据来生成训练模型。例如，自动化控制系统和/或远程服务器可以使用学习数据来生成训练模型。在一些实施例中，神经网络可以用于生成训练模型和/或实施受过训练的模型。

在框430处，可以对受过训练的模型的性能进行认证。认证可以由自动化控制系统和/或远程服务器执行或由第三方设备执行。认证可包括对自动化控制系统性能的手动检查和/或认证。在一些实施例中，可将置信度评分阈值用于关于与特定自动化动作相关联的置信度评分的认证。

在框440处，可以在现场程序期间生成推荐动作。例如，至少部分地基于图像和/或视频数据，可以在现场程序期间中生成推荐动作。例如，可以在图像或视频数据中检测到烟雾的情况下，生成启用抽吸工具作为推荐动作。

在确定框450处，可以确定与推荐动作相关联的置信度评分是否大于或等于阈值。例如，自动化控制系统可以将置信度评分与阈值进行比较。如果确定指示第一响应动作是正确动作的可能性的置信度评分大于或等于阈值（诸如自动化动作阈值），则过程流程400可以转到框460，在该框处可以自动地实施推荐动作。如果确定指示第一响应动作是正确动作的可能性的置信度评分小于阈值（诸如自动化动作阈值），则过程流程400可以转到框470，在该框处可以请求手动批准推荐动作。例如，自动化控制系统可以针对第一响应动作生成推荐通知，该推荐通知包括对第一响应动作的手动批准的请求。推荐通知可以呈现在显示器或其他内窥镜设备处。如果接收到手动批准的指示，则可以实施动作，并且可以至少部分地基于手动批准的指示来更新用于生成置信度评分的置信度评分模型。

图5描绘了根据本公开的一个或多个实施例的示例混合系统和过程流程图500。在图5中，神经网络510可以包括用来生成用于内窥镜程序的自动化动作的计算机可执行指令。神经网络510可以接收流视频数据520、手动设备控制数据530以及训练数据存储数据540。神经网络510可以使用流视频数据520、手动设备控制数据530以及训练数据存储数据540来输出自动化动作550。例如，神经网络510可以针对一个或多个图像输出推荐动作、置信度评分以及手动批准的指示（根据需要）。例如，针对图像9694，神经网络510可以输出具有74的置信度评分活组织检查程序的推荐和未接收到手动批准的指示。另一图像9986可以包括启动烟雾减少工具2.6秒的动作，该动作满足置信度评分阈值，并且因此被自动地实施。另一图像10036可以与活组织检查程序推荐和92的置信度评分相关联，并且可以被手动批准，并且因此可以输出用于活组织检查程序的坐标。

自动化动作结果560可以包括在执行自动化动作或推荐动作之后采集的数据，诸如手动批准或拒绝的指示，并且可以被馈送到训练数据存储540以改善神经网络510的随后性能。

图6描绘了根据本公开的一个或多个实施例的用于自动化内窥镜设备控制系统的示例用例600。在图6中，内窥镜设备系统610可以包括相机系统620。一个或多个神经网络可以与自动化设备控制系统630结合使用以生成自动化动作。例如，自动化设备控制系统630可以在程序的过程期间生成将相机620的相机亮度增加三点的第一动作640、在监视器处生成活组织检查推荐警报的第二动作650，等等。

上面可能已经将图1至图6的方法、过程流程或用例的一个或多个操作描述为由用户设备执行，或者更具体地，由在设备上执行的一个或多个程序模块、应用程序等来执行。然而，应当理解，图1至图6的方法、过程流程或用例的操作中的任何一个可以至少部分地以分布式方式由一个或多个其他设备执行，或者更具体地，由在此类设备上执行的一个或多个程序模块、应用程序等来执行。另外，应当理解，响应于作为应用程序、程序模块等的一部分而提供的计算机可执行指令的执行而执行的处理在本文中可以互换地描述为由应用程序或程序模块本身执行或者由在其上应用程序、程序模块等正在执行的设备来执行。尽管可以在说明性设备的背景下描述图1至图6的方法、过程流程或用例的操作，但是应当理解，此类操作可以结合许多其他设备配置来实现。

如在本公开的各种示例实施例中所期望的，可以以任何合适的顺序（诸如所描绘的顺序）来进行或执行在图1至图6的说明性方法、过程流程以及用例中所描述和描绘的操作。此外，在某些示例实施例中，可以并行地进行操作中的至少一部分。而且，在某些示例实施例中，可以执行比图1至图6中所描绘的那些操作更少、更多或与之不同的操作。

尽管已经描述了本公开的特定实施例，但是本领域的普通技术人员将认识到，许多其他修改和另选实施例也在本公开的范围内。例如，关于特定设备或组件所描述的功能和/或处理能力中的任何一种可以由任何其他设备或组件执行。进一步地，尽管已经根据本公开的实施例描述了各种说明性的实施方式和架构，但是本领域的普通技术人员将理解，对本文所述的说明性的实施方式和架构的许多其他修改也在本公开的范围内。

以上参考根据示例实施例的系统、方法、装置和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图的一个或多个框以及框图和流程图中的框的组合相应地可以通过执行计算机可执行程序指令来实现。同样，根据一些实施例，框图和流程图中的一些框可能不一定需要以所呈现的顺序执行，或者可能不一定需要完全执行。进一步地，在某些实施例中，可以存在超出框图和/或流程图的框中所描绘的那些组件和/或操作之外的附加组件和/或操作。

相应地，框图和流程图的框支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图的每个框以及框图和流程图中框的组合可以由执行指定功能、元件或步骤、或者专用的硬件和计算机指令的组合的专用的、基于硬件的计算机系统来实现。

说明性计算机架构

图7是根据本公开的一个或多个示例实施例的一个或多个说明性自动化动作服务器700的示意框图。自动化动作服务器700可以包括任何合适的计算设备，包括但不限于，服务器系统、内窥镜设备或系统、诸如智能电话、平板电脑、电子阅读器、可穿戴设备之类的移动设备等；台式计算机；膝上型计算机；内容流设备；机顶盒；等等。自动化动作服务器700可以与图1至图6的神经网络服务器或内容选择服务器的说明性设备配置相对应。

自动化动作服务器700可以被配置为经由一个或多个网络与一个或多个服务器、用户设备等通信。自动化动作服务器700可以被配置为处理图像和/或视频数据、生成自动化动作、生成警报、生成通知以及其他操作。自动化动作服务器700可以被配置为训练一个或多个神经网络。在一些实施例中，单个远程服务器或单个远程服务器组可以被配置为执行不止一种类型的神经网络相关功能。

在说明性配置中，自动化动作服务器700可以包括一个或多个处理器702、一个或多个存储器设备704（在本文中通常称为存储器704）、一个或多个输入/输出（I/O）接口706、一个或多个网络接口708、一个或多个传感器或传感器接口710、一个或多个收发器712以及数据存储装置720。自动化动作服务器700可以进一步包括一个或多个总线718，该一个或多个总线在功能上耦合自动化动作服务器700的各个组件。自动化动作服务器700可以进一步包括一个或多个天线734，该一个或多个天线可以包括但不限于，用于向蜂窝网络基础设施发送信号或从该蜂窝网络基础设施接收信号的蜂窝天线、用于向接入点（AP）发送Wi-Fi信号或从该接入点接收Wi-Fi信号的天线、用于从GNSS卫星接收GNSS信号的全球导航卫星系统（GNSS）天线、用于发送或接收蓝牙信号的蓝牙天线、用于发送或接受NFC信号的近场通信（NFC）天线，等等。这些各种组件将在下文中更详细地进行描述。

自动化动作服务器700的存储器704可以包括易失性存储器（当被供电时保持其状态的存储器）（诸如随机存取存储器（RAM））和/或非易失性存储器（即使在未供电时也保持其状态的存储器），诸如只读存储器（ROM）、闪速存储器、铁电RAM（FRAM），等等。如该术语在本文中所使用的那样，持久数据存储装置可以包括非易失性存储器。在某些示例实施例中，易失性存储器可以实现比非易失性存储器更快的读/写访问。然而，在某些其他示例实施例中，某些类型的非易失性存储器（例如，FRAM）可以实现比某些类型的易失性存储器更快的读/写访问。

数据存储装置720可以存储一个或多个操作系统（O/S）722；一个或多个数据库管理系统（DBMS）724；以及一个或多个程序模块、应用程序、引擎、计算机可执行代码、脚本等，诸如一个或多个训练模块726和一个或多个通信模块728。这些模块中的一些或全部可以是子模块。被描绘为存储在数据存储装置720中的组件中的任何一个可以包括软件、固件和/或硬件的任何组合。软件和/或固件可以包括可以被加载到存储器704中以由一个或多个处理器702执行的计算机可执行代码、指令等。被描绘为存储在数据存储装置720中的组件中的任何一个可以支持本公开中先前参考对应命名的组件所描述的功能。

处理器702可以被配置为访问存储器704并执行加载在其中的计算机可执行指令。例如，处理器702可以被配置为执行自动化动作服务器700的各种程序模块、应用程序、引擎等的计算机可执行指令，以引起或促进将要根据本公开的一个或多个实施例来执行的各个操作。处理器702可以包括任何合适的处理单元，该处理单元能够接受作为输入的数据、根据存储的计算机可执行指令处理输入数据，以及生成输出数据。处理器702可以包括任何类型的合适的处理单元，包括但不限于，中央处理单元、微处理器、精简指令集计算机（RISC）微处理器、复杂指令集计算机（CISC）微处理器、微控制器、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、片上系统（SoC）、数字信号处理器（DSP），等等。进一步地，处理器702可以具有任何合适的微架构设计，该微架构设计包括任何数量的组成组件，诸如例如寄存器、多路复用器、算术逻辑单元、用于控制对高速缓存存储器的读/写操作的高速缓存控制器、分支预测器等。处理器702的微架构设计可能能够支持多种指令集中的任何一种。

现在参考由图7中描绘的各种程序模块支持的功能，训练模块726可以包括响应于由一个或多个处理器702执行可以执行功能的计算机可执行指令、代码等，该功能包括但不限于：生成或确定预测模型和/或概率模型，使用或确定数据集（诸如训练数据集），确定一个或多个神经网络的输入或输出，确定一个或多个神经网络的准确性等。

通信模块728可以包括响应于由一个或多个处理器702执行可以执行功能的计算机可执行指令、代码等，该功能包括但不限于：与远程服务器通信，与远程数据存储通信，发送或接收通知，与高数缓存存储器数据通信，与内窥镜设备通信等。

现在参考被描绘为存储在数据存储装置720中的其他说明性组件，O/S 722可以从数据存储装置720加载到存储器704中，并且可以在自动化动作服务器700上执行的其他应用软件与自动化动作服务器700的硬件资源之间提供接口。更具体地，O/S 722可以包括计算机可执行指令的集合，以用于管理自动化动作服务器700的硬件资源以及向其他应用程序提供公共服务（例如，管理各种应用程序之间的存储器分配）。在某些示例实施例中，O/S722可以控制其他程序模块的执行以动态增强用于内容渲染的字符。O/S 722可以包括现在已知或将来可以开发的任何操作系统，包括但不限于任何服务器操作系统、任何大型机操作系统或任何其他专有或非专有操作系统。

DBMS 724可以被加载到存储器704中，并且可以支持用于访问、检索、存储和/或操纵存储在存储器704中的数据和/或存储在数据存储装置720中的数据的功能。DBMS 724可以使用多种数据库模型中的任何一种（例如，关系模型、对象模型等），并且可以支持多种查询语言中的任何一种。DBMS 724可以访问以一种或多种数据模式表示并存储在任何合适的数据存储库中的数据，包括但不限于数据库（例如，关系型、面向对象型等）、文件系统、平面文件、其中数据存储在计算机网络的不止一个节点上的分布式数据存储、对等网络数据存储等。在其中自动化动作服务器700是移动设备的那些示例实施例中，DBMS 724可以是针对移动设备上的性能而优化的任何合适的轻量级DBMS。

现在参考自动化动作服务器700的其他说明性组件，输入/输出（I/O）接口706可以促进自动化动作服务器700从一个或多个I/O设备接收输入信息以及自动化动作服务器700向一个或多个I/O设备输出信息。I/O设备可以包括多种组件中的任何一种，诸如具有触摸表面或触摸屏的显示器或显示屏；用于产生声音的音频输出设备，诸如扬声器；音频捕获设备，诸如麦克风；图像和/或视频捕获设备，诸如相机；触觉单元；等等。这些组件中的任何一种都可以集成到自动化动作服务器700中，或者可以是单独的。I/O设备可以进一步包括例如任何数量的外围设备，诸如数据存储设备、打印设备，等等。

自动化动作服务器700可以进一步包括一个或多个网络接口708，自动化动作服务器700可以经由该一个或多个网络接口与多种其他系统、平台、网络、设备等的任何一种通信。网络接口708可以使得能够经由一个或多个网络与例如一个或多个无线路由器、一个或多个主机服务器、一个或多个网络服务器等通信。

天线734可以包括任何合适类型的天线，例如，取决于用于经由天线734发送或接收信号的通信协议。合适的天线的非限制性示例可以包括定向天线、非定向天线、偶极天线、折叠偶极天线、贴片天线、多输入多输出（MIMO）天线等。天线734可以通信地耦合到可以向其发送信号或从其接收信号的一个或多个收发器712或无线电组件。

天线734可以附加地或另选地包括Wi-Fi天线，该Wi-Fi天线被配置为根据确立的标准和协议（诸如，IEEE 802.11系列标准）来发送和接收信号，包括经由2.4 GHz信道（例如，802.11b、802.11g、802.11n）、5 GHz信道（例如802.11n、802.11ac）或60 GHz信道（例如802.11ad）。在另选的示例实施例中，天线734可以被配置为在形成无线电频谱的未许可部分的一部分的任何合适的频率范围内发送或接收射频信号。

收发器712可以包括任何合适的无线电组件，以用于与天线734协作地在与由自动化动作服务器700用来与其他设备通信的通信协议相对应的带宽和/或信道中发送或接收射频（RF）信号。收发器712可以包括用于根据上述通信协议中的任何一种来调制、发送或接收（可能与天线734中的任何一个协作）通信信号的硬件、软件和/或固件，该通信协议包括但不限于由IEEE 802.11标准标准化的一种或多种Wi-Fi和/或Wi-Fi直接协议、一种或多种非Wi-Fi协议或一种或多种蜂窝通信协议或标准。收发器712可以进一步包括用于接收GNSS信号的硬件、固件或软件。收发器712可以包括适合于经由自动化动作服务器700所利用的通信协议通信的任何已知的接收器和基带。收发器712可以进一步包括低噪声放大器（LNA）、附加信号放大器、模数（A/D）转换器、一个或多个缓冲器、数字基带等。

传感器/传感器接口710可包括或可能能够与任何合适类型的感测设备接合，诸如例如惯性传感器、力传感器、热传感器，等等。惯性传感器的示例类型可以包括加速度计（例如，基于MEMS的加速度计）、陀螺仪，等等。

应当理解，在不脱离本公开的范围的情况下，自动化动作服务器700可以包括超出所描述或描绘的那些硬件、软件或固件组件之外的另选的和/或附加的硬件、软件或固件组件。更特别地，应当理解，被描绘为形成自动化动作服务器700的一部分的软件、固件或硬件组件仅是说明性的，在各种实施例中可能不存在一些组件或可以提供附加组件。尽管已经将各种说明性程序模块描绘和描述为存储在数据存储装置720中的软件模块，但是应当理解，被描述为由程序模块所支持的功能可以由硬件、软件和/或固件的任何组合来启用。应当进一步理解，在各种实施例中，上述模块中的每个可以表示所支持功能的逻辑划分。这种逻辑划分为了易于解释功能而描绘，并且可能并不代表用于实现功能的软件、硬件和/或固件的结构。相应地，应当理解，在各种实施例中，被描述为由特定模块提供的功能可以至少部分地由一个或多个其他模块提供。进一步地，在某些实施例中可能不存在一个或多个所描绘的模块，而在其他实施例中，可能会存在未经描绘的附加模块并且可以支持所述功能和/或附加功能的至少一部分。此外，尽管某些模块可以被描绘和描述为另一个模块的子模块，但是在某些实施例中，此类模块可以作为独立模块或其他模块的子模块提供。

尽管已经以特定于结构特征和/或方法动作的语言描述了实施例，但是应当理解，本公开不一定限于所描述的特定特征或动作。更确切地，特定特征和动作被公开为实现实施例的说明性形式。除非以其他方式明确指出，或者以其他方式在所使用的背景内使用，条件性语言（诸如除了其他之外，“可以（can）”、“可以（could）”、“可能（might）”或“可能（may）”）通常旨在传达某些实施例可以包括某些特征、元件和/或步骤而其他实施例并不包括该特征、元件和/或步骤。因此，此类条件性语言通常并不旨在暗示特征、元件和/或步骤无论如何都是一个或多个实施例所必需的，或者一个或多个实施例在有或没有使用者输入或提示的情况下都必然包括用于决定任何特定实施例中是否包括或将执行这些特征、元件和/或步骤的逻辑。

Claims (19)

1.一种内窥镜设备控制系统，包括：

存储器，所述存储器存储计算机可执行指令；和

至少一个处理器，被配置为访问所述存储器并执行所述计算机可执行指令以：

确定使用第一内窥镜设备执行的手动动作；

确定在执行所述手动动作时或接近执行所述手动动作时存在的一个或多个参数；

将所述手动动作的指示和所述一个或多个参数发送到神经网络作为训练模型的输入；

从包括相机和观察镜的内窥镜成像系统确定第一图像；

使用所述第一图像确定存在第一状况；

确定使用所述第一内窥镜设备实施的第一响应动作；

确定指示所述第一响应动作是正确动作的可能性的置信度评分小于自动化动作阈值；

响应于确定所述置信度评分，针对所述第一响应动作生成推荐通知，所述推荐通知包括对所述第一响应动作的手动批准的请求；以及

使所述第一内窥镜设备实施所述第一响应动作。

2.根据权利要求1所述的内窥镜设备控制系统，其中所述至少一个处理器被进一步配置为访问所述至少一个存储器并执行所述计算机可执行指令以：

自动地取消所述第一响应动作。

3.根据权利要求1所述的内窥镜设备控制系统，其中所述至少一个处理器被进一步配置为访问所述至少一个存储器并执行所述计算机可执行指令以：

使用第二内窥镜设备自动地实施第二响应动作。

4.根据权利要求1所述的内窥镜设备控制系统，其中所述至少一个处理器被进一步配置为访问所述至少一个存储器并执行所述计算机可执行指令以：

确定所述第一响应动作已完成；以及

使所述内窥镜设备控制系统恢复手动模式。

5.根据权利要求1所述的内窥镜设备控制系统，其中所述至少一个处理器被进一步配置为访问所述至少一个存储器并执行所述计算机可执行指令以：

生成指示正在自动地实施所述第一响应动作的警报。

6.根据权利要求1所述的内窥镜设备控制系统，其中所述至少一个处理器被进一步配置为访问所述至少一个存储器并执行所述计算机可执行指令以：

启动训练操作以使用所述手动动作的指示更新所述训练模型。

7.根据权利要求1所述的内窥镜设备控制系统，其中所述至少一个处理器被进一步配置为访问所述至少一个存储器并执行所述计算机可执行指令以：

确定指示所述第一响应动作是正确动作的可能性的置信度评分大于或等于自动化动作阈值。

8.根据权利要求1所述的内窥镜设备控制系统，其中所述至少一个处理器被进一步配置为访问所述至少一个存储器并执行所述计算机可执行指令以：

接收手动批准的指示；以及

至少部分地基于手动批准的指示，更新置信度评分模型。

9.根据权利要求1所述的内窥镜设备控制系统，其中所述内窥镜设备控制系统被配置为与所述内窥镜成像系统无线通信。

10.一种用于确定自动化动作的装置，所述装置包括：

用于通过内窥镜设备控制系统确定使用第一内窥镜设备执行的手动动作的部件；

用于确定在执行所述手动动作时或接近执行所述手动动作时存在的一个或多个参数的部件；

用于将所述手动动作的指示和所述一个或多个参数发送到神经网络作为训练模型的输入的部件，其中，通过学习经由相机控制单元从内窥镜成像系统中的一个或多个设备接收到的数据，以及通过学习从内窥镜设备系统内的一个或多个外围设备接收到的数据来生成经训练模型；

用于从包括相机和观察镜的内窥镜成像系统确定第一图像的部件；

用于使用所述第一图像确定存在第一状况的部件；

用于确定使用所述第一内窥镜设备实施的第一响应动作的部件；以及

用于自动地使所述第一内窥镜设备实施所述第一响应动作的部件，其中，所述内窥镜设备控制系统能够与内窥镜设备系统中的每个设备直接通信以接收学习数据，以便将经学习的控制信号发送给各个设备。

11.根据权利要求10所述的装置，进一步包括：

用于自动地取消所述第一响应动作的部件。

12.根据权利要求10所述的装置，进一步包括：

用于使用第二内窥镜设备自动地实施第二响应动作的部件。

13.根据权利要求10所述的装置，进一步包括：

用于确定所述第一响应动作已完成的部件；以及

用于使所述内窥镜设备控制系统恢复手动模式的部件。

14.根据权利要求10所述的装置，进一步包括：

用于生成指示正在自动地实施所述第一响应动作的警报的部件。

15.根据权利要求10所述的装置，进一步包括：

用于启动训练操作以使用所述手动动作的指示更新所述训练模型的部件。

16.根据权利要求10所述的装置，进一步包括：

用于确定指示所述第一响应动作是正确动作的可能性的置信度评分大于或等于自动化动作阈值的部件。

17.根据权利要求10所述的装置，进一步包括：

用于确定指示所述第一响应动作是正确动作的可能性的置信度评分小于自动化动作阈值的部件；以及

生成对所述第一响应动作的手动批准的请求的部件。

18.根据权利要求17所述的装置，进一步包括：

用于接收手动批准的指示的部件；以及

用于至少部分地基于手动批准的指示，更新置信度评分模型的部件。

19.一种内窥镜设备控制系统，与内窥镜成像系统、数据采集系统以及第一内窥镜设备通信，所述内窥镜设备控制系统包括：

存储器，所述存储器存储计算机可执行指令；和

至少一个处理器，被配置为访问所述存储器并执行所述计算机可执行指令以：

从所述内窥镜成像系统确定第一图像；

使用所述第一图像确定存在第一状况；

确定使用所述第一内窥镜设备实施的第一响应动作；

确定指示所述第一响应动作是正确动作的可能性的置信度评分小于自动化动作阈值；

响应于确定所述置信度评分，针对所述第一响应动作生成推荐通知，所述推荐通知包括对所述第一响应动作的手动批准的请求；以及

使所述第一内窥镜设备实施所述第一响应动作。