CN110913787A - 手术支持系统、信息处理方法和信息处理装置 - Google Patents

Abstract

提供一种手术支持系统，包括：安装在手术室中的相机；以及信息处理装置，包括处理电路，该处理电路被配置为将参考数据与第一特征数据进行比较，该参考数据与手术室中的至少一个参考人或参考设备相关并且从手术室的观察中生成，该第一特征数据从由安装在手术室中的相机捕获的第一图像中提取、与第一人或第一设备相关。

Description

手术支持系统、信息处理方法和信息处理装置

相关申请的交叉引用

本申请要求2017年7月24日提交的日本在先专利申请JP2017-142420的权益，其全部内容通过引用并入本文。

技术领域

本公开涉及手术支持系统、信息处理方法和信息处理装置。

背景技术

近年来，作为用于提高在医疗现场进行的手术的安全性的技术，已经公开了各种技术。例如，公开了一种将计步器和倾斜角传感器附接到护士并基于由计步器测量的步数和由倾斜角传感器测量的倾斜角来确定是否存在发生事故的可能性的技术(例如，参见PTL1)。

在这种技术中，基于步数和倾斜角生成与护士行为相关的特征数据，并且当发生特定事故时，基于特征数据生成特定事故的词典数据。然后，在词典数据创建之后，基于在特定时间点的特征数据和词典数据之间的比较来确定是否存在发生事故的可能性。

[引用列表]

[专利文献]

PTL 1：JP 2004-157614A

发明内容

技术问题

然而，在医疗专业人员佩戴传感器的情况下，传感器可能干扰医疗专业人员的动作。特别地，在发生紧急情况或不同于计划情况的情况下等，医疗专业人员可能需要比平常时间更快速地行动。

就这一点而言，期望提供一种能够提高在医疗现场进行的手术的安全性，同时抑制干扰医疗专业人员的行为的可能性的技术。

问题的解决方案

根据本公开的实施例，提供了一种手术支持系统，包括：安装在手术室中的相机；以及信息处理装置，该信息处理装置包括处理电路，该处理电路被配置为将参考数据与第一特征数据进行比较，该参考数据与手术室中的至少一个参考人或参考设备相关并且从手术室的观察中生成，该第一特征数据从由安装在手术室中的相机捕获的第一图像中提取、与第一人或第一设备相关。

根据本公开的实施例，提供了一种信息处理方法，包括由处理器将参考数据与特征数据进行比较，该参考数据与手术室中的参考人或参考设备相关并且从手术室的观察中生成，该特征数据从由安装在手术室中的相机捕获的图像中提取、与第一人或第一设备相关，并且基于比较的结果触发手术室中潜在问题的报警警告。

根据本公开的实施例，提供了一种信息处理装置，该信息处理装置包括处理电路，该处理电路被配置为：将参考数据与特征数据进行比较，该参考数据与手术室中的参考人或参考设备相关并且从手术室的观察中生成，该特征数据从由安装在手术室中的相机捕获的图像中提取、与第一人或第一设备相关，并且基于比较的结果触发手术室中潜在问题的报警警告。

根据本公开的实施例，提供了一种手术支持系统，该手术支持系统包括安装在手术室中的相机和信息处理装置，该信息处理装置包括处理电路，该处理电路被配置为将参考数据与第一特征数据进行比较，该参考数据随时间与手术室中的至少一个人或设备相关并且从手术室的观察中生成，该第一特征数据从由安装在手术室中的相机捕获的第一图像中提取、第一人或第一设备相关。

发明的有益效果

如上所述，根据本公开的实施例，提供了一种能够提高在医疗现场进行的手术的安全性，同时抑制干扰医疗专业人员的行为的可能性的技术。注意，上述效果不一定是限制性的。与上述效果一起或代替上述效果，可以实现本说明书中描述的任何一种效果或可以从本说明书中掌握的其他效果。

附图说明

[图1]图1是示意性地示出手术室系统的整体配置的示图。

[图2]图2是示出中央操作面板中的操作画面的显示示例的示图。

[图3]图3是示出应用手术室系统的手术状态的示例的示图。

[图4]图4是示出图3所示的摄像头和CCU的功能配置的示例的框图。

[图5]图5是示出根据本公开的实施例的信息处理装置的功能配置示例的框图。

[图6]图6是示出根据本公开的实施例的信息处理装置的整体操作的流程图。

[图7]图7是示出麻醉导入阶段中人员位置和设备位置的示例的示图。

[图8]图8是示出导航阶段中的人员位置和设备位置的示例的示图。

[图9]图9是示出在开颅阶段中人员位置和设备位置的示例的示图。

[图10]图10是示出治疗阶段中人员位置和设备位置的示例的示图。

[图11]图11是示出术中诊断阶段中人员位置和设备位置的示例的示图。

[图12]图12是示出闭颅阶段中人员位置和设备位置的示例的示图。

[图13]图13是示出在本公开的实施例中使用的各种信息的对应关系的示图。

[图14]图14是示出基于运行阶段中的人员位置的警告显示的操作示例的流程图。

[图15]图15是示出基于运行阶段中的设备位置的警告显示的操作示例的流程图。

具体实施方式

在下文中，将参照附图详细描述本公开的一个或多个优选实施例。在本说明书和附图中，具有基本相同功能和结构的构成元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。

此外，在本说明书和附图中，存在这样的情况，其中具有基本上相同或相似的功能配置的多个构成元件通过添加相同的附图标记，然后附有不同的数字来区分。然而，在不必特别区分具有基本相同或相似功能配置的多个构成元件中的每一个的情况下，仅附加相同的附图标记。此外，存在这样的情况，其中不同实施例的类似构成元件通过添加相同的附图标记，随后添加不同的字母来区分。然而，在不需要特别区分每个相似构成元件的情况下，仅附加相同的附图标记。

此外，本说明书将按以下顺序进行。

1.系统配置示例

2.概述

3.实施例的细节

3-1.工作目标设置

3-2.学习阶段

3-3.运行阶段(运用阶段)

3-4.问题探索(problem search)

3-5.工作目标校正

4.结论

<<1.系统配置示例>>

首先，将参照附图描述根据本公开的实施例的信息处理系统的示例的配置示例。假定各种系统作为根据本公开的实施例的信息处理系统的示例。这里，将主要将手术室系统的配置示例描述为根据本公开的实施例的信息处理系统的示例。

图1是示意性地示出可以应用根据本公开的技术的手术室系统5100的整体配置的示图。参照图1，手术室系统5100被配置使得安装在手术室中的一组设备经由视听控制器(AV控制器)5107和手术室控制设备5109协作地连接至彼此。

可以在手术室中安装各种设备。作为示例，图1示出了：用于内窥镜手术的各种设备组5101、安装在手术室的天花板上并对外科医生的手成像的天花板相机5187、安装在手术室天花板上并对麻醉医师成像的麻醉医师成像相机5188、安装在手术室天花板上并对整个手术室的状态成像的手术室相机5189、多个显示设备5103A至5103D、记录器5105、病床5183和照明5191。

这里，这些设备中的设备组5101属于后述的内窥镜手术系统5113，并包括内窥镜、显示由内窥镜捕获的图像的显示设备等。属于内窥镜手术系统5113的各个设备也称之为医疗设备。另一方面，显示设备5103A到5103D、记录器5105、病床5183和照明5191是与例如手术室中的内窥镜手术系统5113分开安装的设备。不属于内窥镜手术系统5113的每个设备也称之为非医疗设备。视听控制器5107和/或手术室控制设备5109彼此协作地控制医疗设备和非医疗设备的操作。

视听控制器5107一般控制与医疗设备和非医疗设备中的图像显示相关的处理。具体地，包括在手术室系统5100的设备中的设备组5101、天花板相机5187和手术室相机5189可以是具有发送在手术期间要显示的信息(以下也称为显示信息)的功能的设备(以下也称为发送源设备)。此外，显示设备5103A到5103D可以是从其输出显示信息的设备(以下也称为输出目的地设备)。此外，记录器5105可以是与发送源设备和输出目的地设备两者对应的设备。视听控制器5107具有控制发送源设备和输出目的地设备的操作，从发送源设备获取显示信息，以及将显示信息发送到输出目的地设备以便显示或记录显示信息的功能。此外，显示信息包括在手术期间捕获的各种图像、与手术相关的各种信息(例如，患者的身体信息、先前检查结果、与手术形式相关的信息等)等。

具体地，由内窥镜成像的患者体腔内的手术部位的图像的信息可以从设备组5101发送到视听控制器5107作为显示信息。此外，由天花板相机5187捕获的外科医生的手的图像的信息可以从天花板相机5187发送作为显示信息。此外，由手术室相机5189捕获的示出整个手术室的状态的图像的信息可以从手术室相机5189发送作为显示信息。此外，在手术室系统5100中存在具有成像功能的其他设备的情况下，视听控制器5107可以从其他设备获取由该其他设备捕获的图像的信息作为显示信息。

可替代地，例如，由视听控制器5107将先前捕获的图像的信息记录在记录器5105中。视听控制器5107可以从记录器5105获取先前捕获的图像的信息作为显示信息。此外，与手术相关的各种信息也可以预先记录在记录器5105中。

视听控制器5107使所获取的显示信息(即，在手术期间捕获的图像或与手术相关的各种信息)被显示在作为输出目的地设备的显示设备5103A到5103D中的至少一个上。在所示示例中，显示设备5103A是通过将其悬挂在手术室的天花板上来安装的显示设备，显示设备5103B是安装在手术室墙面上的显示设备，显示设备5103C是安装在手术室的桌子上的显示设备，显示设备5103D是具有显示功能的移动设备(例如，平板个人计算机(PC))。

此外，尽管在图1中未示出，但是手术室系统5100可以包括手术室外部的设备。手术室外部的外部设备可以是例如连接到医院内部或外部构建的网络的服务器、医务人员使用的PC、安装在医院会议室中的投影仪等。在外部设备安装在医院外部的情况下，视听控制器5107可以使显示信息经由远程医疗用的电话会议系统等显示在其他医院的显示设备上。

手术室控制设备5109一般控制非医疗设备的与图像显示相关的处理以外的处理。例如，手术室控制设备5109控制病床5183、天花板相机5187、手术室相机5189和照明5191的驱动。

中央操作面板5111安装在手术室系统5100中，并且用户可以经由中央操作面板5111向视听控制器5107给出用于图像显示的指令，并且向手术室控制设备5109给出用于非医疗设备的操作的指令。中央操作面板5111被配置使得触摸面板安装在显示设备的显示面上。

图2是示出中央操作面板5111中的操作画面的显示示例的示图。作为示例，在图2中示出了与在手术室系统5100中安装两个显示设备作为输出目的地设备的情况相对应的操作画面。参照图2，操作画面5193包括发送源选择区域5195、预览区域5197和控制区域5201。

在发送源选择区域5195中，安装在手术室系统5100中的发送源设备和指示存储在发送源设备中的显示信息的缩略图画面彼此相关联地显示。用户可以从发送源选择区域5195中显示的任何一个发送源设备中选择她或他希望在显示设备上显示的显示信息。

在预览区域5197中，显示在作为输出目的地设备的两个显示设备(监视器1和监视器2)上显示的画面的预览。在所示示例中，四个图像以PinP形式显示在一个显示设备上。这四个图像对应于从在发送源选择区域5195中选择的发送源设备发送的显示信息。四个图像中的一个以相对大的尺寸显示为主图像，其余三个图像以相对小的尺寸显示为子图像。用户可以通过适当地选择显示四个图像的区域来执行主图像和子图像之间的切换。此外，状态显示区域5199嵌入在显示四个图像的区域下方，并且与手术相关的状态(例如，手术经过的时间、患者的身体信息等)可以适当地显示在该区域中。

在控制区域5201中设置发送源操作区域5203和输出目的地操作区域5205，在发送源操作区域5203中显示用于对发送源设备执行操作的图形用户界面(GUI)部分，在输出目的地操作区域5205中显示用于对输出目的地设备执行操作的GUI部分。在所示示例中，用于对发送源设备中具有成像功能的相机执行各种操作(摇摄、倾斜和变焦)的GUI部分设置在发送源操作区域5203。用户可以通过适当地选择GUI部分来操作发送源设备中的相机的操作。此外，尽管未示出，但是在发送源选择区域5195中选择的发送源设备是记录器的情况下(即，在预览区域5197中显示先前记录在记录器中的图像的情况下)，用于执行诸如图像再现、再现停止、倒带、快进等操作的GUI部分可设置在发送源操作区域5203中。

此外，在输出目的地操作区域5205中设置用于对作为输出目的地设备的显示设备中的显示执行各种操作(交换、翻转、颜色调整、对比度调整以及2D显示和3D显示之间的切换)的GUI部分。用户可以通过适当地选择这些GUI部分来操作显示设备中的显示。

此外，显示在中央操作面板5111上的操作画面不限于所示示例，并且用户能够通过中央操作面板5111在安装在手术室系统5100中并且能够由视听控制器5107和手术室控制设备5109控制的每个设备上输入操作。

图3是示出应用了上述手术室系统的手术状态的示例的示图。天花板相机5187和手术室相机5189安装在手术室的天花板上，并且能够对外科医生(医师)5181的对病床5183上的患者5185的患处执行治疗的手和整个手术室的状态进行成像。天花板相机5187和手术室相机5189中可以设置倍率调节功能、焦距调节功能、拍摄方向调节功能等。照明5191安装在手术室的天花板上，并且至少照明外科医生5181的手。照明5191能够适当地调节照射光量、照射光的波长(颜色)、光的照射方向等。

如图1所示，内窥镜手术系统5113、病床5183、天花板相机5187、手术室相机5189和照明5191经由视听控制器5107和手术室控制设备5109(图3中未示出)彼此协作地连接。中央操作面板5111安装在手术室中，并且如上所述，用户可以通过中央操作面板5111适当地操作安装在手术室中的这些设备。

在下文中，将详细描述内窥镜手术系统5113的构造。如图所示，内窥镜手术系统5113由内窥镜5115、其他手术器械5131、支撑内窥镜5115的支撑臂装置5141以及设置有内窥镜手术用的各种设备的推车5151构成。

在内窥镜手术中，不是通过切割腹壁打开腹部，而是使用称为套管针5139a至5139d的管状开孔工具在多个位置穿刺腹壁。随后，内窥镜5115的镜筒5117和其他手术器械5131从套管针5139a至5139d插入患者5185的体腔中。在所示示例中，将气腹管5133、能量处置工具5135和钳子(镊子)5137作为其他手术器械5131插入患者5185的体腔中。能量处置工具5135是利用高频电流或超声波振动切开和剥离组织或封止血管等的处置工具。然而，在图中示出的手术器械5131仅仅是示例，并且通常用于内窥镜手术的各种类型的手术器械中的任何一种，例如钳子和牵开器，也可以用作手术器械5131。

由内窥镜5115拍摄的患者5185的体腔内的手术部位的图像显示在显示设备5155上。外科医生5181在实时观察显示在显示设备5155上的手术部位的图像的同时，使用能量处置工具5135和钳子5137进行治疗，例如切除患部。注意，尽管图中省略，气腹管5133、能量处置工具5135和钳子5137在手术期间由诸如外科医生5181或助手的人支撑。

(支撑臂装置)

支撑臂装置5141设置有从基座单元5143延伸的臂单元5145。在所示示例中，臂单元5145由关节单元5147a、5147b和5147c以及连杆5149a和5149b构成，并由来自臂控制设备5159的控制指令驱动。内窥镜5115由臂单元5145支撑，由此控制位置和姿态。通过这种布置，可以实现将内窥镜5115锁定在稳定位置。

(内窥镜)

内窥镜5115由镜筒5117和摄像头5119构成，镜筒5117具有从前端起一定长度的插入到患者5185的体腔中的区域；摄像头5119连接到镜筒5117的根部端。在图中所示的示例中，示出了被配置为具有刚性的镜筒5117的所谓刚性镜的内窥镜5115，但是内窥镜5115也可以被配置为具有柔性的镜筒5117的所谓柔性镜。

在镜筒5117的前端设置有开口，物镜装配到该开口中。光源设备5157与内窥镜5115连接。由光源设备5157产生的光通过在镜筒5117内延伸的光导而被引导到镜筒5117的前端，并且通过物镜朝向患者5185的体腔内的观察对象照射。注意，内窥镜5115可以是前视镜、斜视镜或侧视镜。

光学系统和图像传感器设置在摄像头5119内部，并且来自观察对象的反射光(观察光)通过光学系统会聚到图像传感器上。观察光由图像传感器光电转换，并且产生对应于观察光的电信号，或者换言之，对应于观察图像的图像信号。图像信号作为RAW(原始)数据被发送到相机控制单元(CCU)5153。注意，摄像头5119设有通过适当地驱动光学系统来调节(放大)倍率和焦距的功能。

注意，为了支持立体视觉(3D显示)等，例如，摄像头5119也可以设置有多个图像传感器。在这种情况下，在镜筒5117内设置多个中继光学子系统，以将观察光引导到多个图像传感器中的每一个。

(推车上提供的各种设备)

CCU 5153由诸如中央处理单元(CPU)和图形处理单元(GPU)的部件构成，并且集中控制内窥镜5115和显示设备5155的操作。具体地，CCU 5153使从摄像头5119接收的图像信号经受各种类型的图像处理以基于图像信号显示图像，例如显影处理(去马赛克处理)。CCU5153将经过这种图像处理的图像信号提供给显示设备5155。此外，图1所示的视听控制器5107连接到CCU 5153。CCU 5153还将经过图像处理的图像信号提供给视听控制器5107。此外，CCU 5153向摄像头5119发送控制信号以控制其驱动。控制信号可以包括与成像参数有关的信息，例如放大倍率和焦距。与成像参数相关的信息可以经由输入设备5161输入，或者可以经由中央操作面板5111输入。

显示设备5155在CCU 5153的控制下，基于经受CCU 5153的图像处理的图像信号来显示图像。在内窥镜5115支持诸如4K(3840个水平像素×2160个垂直像素)或8K(7680个水平像素×4320个垂直像素)的高分辨率成像和/或支持3D显示的情况下，例如，可以使用与每一种兼容并且能够高分辨率显示和/或能够3D显示的设备作为显示设备5155。在支持诸如4K或8K的高分辨率成像的情况下，尺寸为55英寸或更大的设备可以用作显示设备5155，从而获得甚至更深的沉浸感。此外，根据应用，还可以提供具有不同分辨率和尺寸的多个显示设备5155。

光源设备5157例如由诸如发光二极管(LED)等光源构成，在对手术部位成像时向内窥镜5115供给照射光。

臂控制设备5159例如由诸如CPU等的处理器构成，并且通过根据特定程序操作，根据特定控制方法控制支撑臂装置5141的臂单元5145的驱动。

输入设备5161是关于内窥镜手术系统5113的输入接口。通过输入设备5161，用户能够将各种信息和指令输入到内窥镜手术系统5113中。例如，用户通过输入设备5161输入与手术相关的各种信息，例如关于患者的身体信息和关于手术过程的信息。作为另一示例，用户通过输入设备5161输入驱动臂单元5145的指令、改变内窥镜5115成像的成像参数(例如照射光的类型、放大倍率和焦距)的指令、驱动能量处置工具5135的指令等。

输入设备5161的类型不受限制，并且输入设备5161可以是各种已知输入设备类型中的任何一种。例如，诸如鼠标、键盘、触摸面板、开关、脚踏开关5171和/或操纵杆之类的设备可以用作输入设备5161。在使用触摸面板作为输入设备5161的情况下，可以在显示设备5155的显示屏幕上设置触摸面板。

可替代地，输入设备5161是由用户佩戴的设备，例如眼镜式可佩戴设备或头戴式显示器(HMD)，并且根据由这些设备检测到的用户姿势或视线来执行各种输入。此外，输入设备5161包括能够检测用户移动的相机，并且根据从由相机成像的图片检测到的用户姿势或视线来执行各种输入。此外，输入设备5161包括能够拾取用户语音的麦克风，并且通过经由麦克风拾取的语音来执行各种输入。这样，通过将输入设备5161配置为能够以非接触方式接收各种类型信息的输入，特别是属于清洁区域的用户(例如，外科医生5181)能够以非接触方式操作属于非清洁区域的设备。而且，由于用户能够在不将手从用户握持的工具上离开的情况下操作设备，因此提高了用户的便利性。

处置工具(治疗工具)控制设备5163控制能量处置工具5135的驱动以烧灼或切开组织、密封(封止)血管等。气腹设备5165通过气腹管5133将气体输送到体腔内，以使患者5185的体腔膨胀，从而确保内窥镜5115的视场并确保外科医生的工作空间。记录器5167是能够记录与手术相关的各种类型的信息的设备。打印机5169是能够打印出各种格式(例如文本、图像或图形)的与手术相关的各种类型的信息的设备。

下面将更详细地描述内窥镜手术系统5113中的特定特征配置。

(支撑臂装置)

支撑臂装置5141配备有用作基座的基座单元5143和从基座单元5143延伸的臂单元5145。在所示示例中，臂单元5145由多个关节单元5147a、5147b和5147c以及由关节单元5147b接合的多个连杆5149a和5149b构成，但是在图3中，为了简单起见，臂单元5145的配置以简化的方式示出。实际上，可以适当地设定诸如关节单元5147a至5147c以及连杆5149a和5149b的形状、数量和布置，以及关节单元5147a至5147c的旋转轴的方向等因素，使得臂单元5145具有期望的自由度。例如，臂单元5145优选地可以被配置为具有六个或更多个自由度。通过这种布置，可以在臂单元5145的可移动范围内自由地移动内窥镜5115，并且因此可以将内窥镜5115的镜筒5117从期望的方向插入到患者5185的体腔中。

关节单元5147a至5147c设置有致动器，并且关节单元5147a至5147c被配置为根据致动器的驱动而围绕某一旋转轴线可旋转。通过利用臂控制设备5159控制致动器的驱动，控制关节单元5147a至5147c中的每一个的旋转角度，并且控制臂单元5145的驱动。通过这种布置，可以实现内窥镜5115的位置和姿态的控制。此时，臂控制设备5159能够利用各种已知类型的控制方法中的任一种来控制臂单元5145的驱动，例如力控制或位置控制。

例如，通过使外科医生5181经由输入设备5161(包括脚踏开关5171)执行适当的操作输入，臂控制设备5159可以根据操作输入适当地控制臂单元5145的驱动，并且可以控制内窥镜5115的位置和姿态。通过这种控制，在将臂单元5145的前端上的内窥镜5115从任意位置移动到任意位置之后，能够将内窥镜5115牢固地支撑在新位置。注意，臂单元5145也可以通过所谓的主从方法来操作。在这种情况下，用户可以通过安装在远离手术室的位置的输入设备5161远程操作臂单元5145。

此外，在施加力控制的情况下，臂控制设备5159可以接收来自用户的外力，并且驱动每个关节单元5147a至5147c的致动器，使得臂单元5145响应于外力而顺畅地移动，也称为动力辅助控制。通过这种布置，当用户在直接接触臂单元5145的同时移动臂单元5145时，臂单元5145可以以相对较小的力移动。因此，能够以更简易的操作更直观地移动内窥镜5115，并且能够提高用户的便利性。

这里，在内窥镜手术中，通常内窥镜5115由称为内窥镜医生的医生支撑。相反，通过使用支撑臂装置5141，能够更可靠地保持内窥镜5115的位置固定，而无需手动作业，因此能够一致地获得手术部位的图像，从而能够顺利地进行手术。

注意，臂控制设备5159不必设置在推车5151上。另外，臂控制设备5159不必是单个设备。例如，也可以在支撑臂装置5141的臂单元5145的关节单元5147a至5147c中的每一个中分别设置臂控制设备5159，并且多个臂控制设备5159可以彼此协作以实现臂单元5145的驱动控制。

(光源设备)

光源设备5157向内窥镜5115供给对手术部位成像时的照射光。光源设备5157由例如由LED、激光光源或两者的组合构成的白光源构成。此时，在通过RGB激光光源的组合来配置白光源的情况下，可以高精度地控制每种颜色(每种波长)的输出强度和输出定时，从而可以利用光源设备5157来调节所捕获图像的白平衡。此外，在这种情况下，通过用来自RGB激光光源中的每一个的激光以时分方式照射观察对象，并且与照射定时同步地控制摄像头5119的图像传感器的驱动，还可以以时分方式捕获分别对应于R、G和B的图像。根据这种方法，可以在不为图像传感器提供滤色器的情况下获得彩色图像。

此外，还可以控制光源设备5157的驱动，以便每当经过一定量的时间时改变要输出的光的强度。通过与改变光强度的定时同步地控制摄像头5119的图像传感器的驱动，从而以时分方式获取图像并将图像合成在一起，可以生成高动态范围图像，而不需要所谓的碎黑(crushed black)和喷白(blown-out white)。

另外，光源设备5157还可以被配置为能够提供对应于特殊成像的特定波长的光。对于特殊成像，例如，利用身体组织的光吸收的波长依赖性，并且与正常观察期间的照射光(即白光)相比，光以窄带照射，从而以高对比度对某些组织(例如黏膜表层部分中的血管)成像，也称为窄带成像(NBI)。或者，利用特殊成像，也可以进行通过照射激发光用荧光获得图像的荧光观察。通过荧光观察，可以用激发光照射身体组织并观察来自身体组织的荧光(自发荧光观察)，或将试剂如吲哚菁绿(ICG)局部注射到身体组织中，同时也用对应于试剂的荧光波长的激发光照射该身体组织以获得荧光图像等。光源设备5157可以被配置为能够提供对应于这种特殊成像的窄带光和/或激发光。

(摄像头和CCU)

将参照图4更详细地描述内窥镜5115的摄像头5119和CCU 5153的功能。图4是示出图3所示的摄像头5119和CCU 5153的功能配置的示例的框图。

参照图4，在功能上，摄像头5119包括透镜单元5121、成像单元5123、驱动单元5125、通信单元5127和摄像头控制单元5129。此外，在功能上，CCU 5153包括通信单元5173、图像处理单元5175和控制单元5177。摄像头5119和CCU 5153通过传输电缆5179双向可通信地连接。

首先，将描述摄像头5119的功能配置。透镜单元5121是设置在连接到镜筒5117的部分中的光学系统。从镜筒5117的前端获取的观察光被引导到摄像头5119，并且入射到透镜单元5121上。透镜单元5121由多个透镜的组合构成，包括变焦透镜和聚焦透镜。调节透镜单元5121的光学特性以将观察光会聚到成像单元5123中的图像传感器的光敏面上。此外，变焦透镜和聚焦透镜被配置为能够移动光轴上的位置以调节捕获图像的放大倍率和焦点。

成像单元5123由图像传感器构成，并且设置在透镜单元5121的下游。通过透镜单元5121的观察光被会聚到图像传感器的光敏面上，并且通过光电转换，产生与观察图像相对应的图像信号。由成像单元5123产生的图像信号提供给通信单元5127。

对于构成成像单元5123的图像传感器，例如，使用能够进行彩色成像的具有拜耳(Bayer)阵列的互补金属氧化物半导体(CMOS)型图像传感器。注意，例如，能够捕获4K或更高的高分辨率图像的传感器可以用作图像传感器。通过获得手术部位的高分辨率图像，外科医生5181能够更详细地掌握手术部位的状态，并且更平稳地进行手术。

此外，构成成像单元5123的图像传感器包括一对图像传感器，用于分别获取与3D显示对应的右眼和左眼的图像信号。通过呈现3D显示，外科医生5181能够更精确地掌握手术部位处的生物组织的深度。注意，如果成像单元5123具有多芯片配置，则透镜单元5121同样设置有对应于多个图像传感器中的每一个图像传感器的多个子系统。

此外，成像单元5123不必设置在摄像头5119中。例如，成像单元5123也可以设置在镜筒5117内，直接在物镜后面。

驱动单元5125由致动器构成，并且在来自摄像头控制单元5129的控制下，使透镜单元5121的变焦透镜和聚焦透镜沿着光轴移动一定距离。通过这种布置，可以适当地调整由成像单元5123捕获的图像的放大倍率和焦点。

通信单元5127由用于向CCU 5153发送各种信息和从CCU 5153接收各种信息的通信设备构成。通信单元5127通过传输电缆5179将从成像单元5123获得的图像信号作为RAW数据发送到CCU 5153。此时，为了以低时延地显示所捕获的手术部位的图像，优选地通过光通信发送图像信号。这是因为在手术期间，外科医生5181在通过捕获的图像观察患处的状态的同时进行手术，因此为了更安全和更可靠的手术，需要尽可能接近实时地显示手术部位的动态图像。在进行光通信的情况下，通信单元5127设置有将电信号转换成光信号的光电转换模块。图像信号由光电转换模块转换成光信号，然后通过传输电缆5179发送到CCU5153。

此外，通信单元5127从CCU 5153接收用于控制摄像头5119的驱动的控制信号。控制信号包括与成像参数相关的信息，例如指定捕获图像的帧速率的信息、指定成像期间的曝光值的信息和/或指定捕获图像的放大倍率和焦点的信息。通信单元5127将接收到的控制信号提供给摄像头控制单元5129。注意，来自CCU 5153的控制信号也可以通过光通信发送。在这种情况下，通信单元5127设有光电转换模块，该光电转换模块将光信号转换成电信号，由此控制信号通过光电转换模块转换成电信号，然后提供给摄像头控制单元5129。

注意，由CCU 5153的控制单元5177基于所获取的图像信号自动设置诸如帧速率、曝光值、放大倍率和焦点之类的上述成像参数。换句话说，在内窥镜5115中设置所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。

摄像头控制单元5129基于经由通信单元5127接收的来自CCU 5153的控制信号来控制摄像头5119的驱动。例如，摄像头控制单元5129基于指定捕获图像的帧速率的信息和/或指定成像期间的曝光的信息来控制成像单元5123的图像传感器的驱动。作为另一示例，摄像头控制单元5129基于指定所捕获图像的放大倍率和焦点的信息，经由驱动单元5125适当地移动透镜单元5121的变焦透镜和聚焦透镜。另外，摄像头控制单元5129还可以设有存储用于识别镜筒5117和摄像头5119的信息的功能。

注意，通过将诸如透镜单元5121和成像单元5123等配置的部分设置在高气密和防水的密封结构内，可以使摄像头5119经受高压灭菌消毒处理。

接下来，将描述CCU 5153的功能配置。通信单元5173由用于向摄像头5119发送各种信息和从摄像头5119接收各种信息的通信设备构成。通信单元5173通过传输电缆5179接收从摄像头5119发送的图像信号。此时，如前所述，图像信号优选地可以通过光通信发送。在这种情况下，为了支持光通信，通信单元5173配备有将光信号转换成电信号的光电转换模块。通信单元5173将转换为电信号的图像信号提供给图像处理单元5175。

此外，通信单元5173向摄像头5119发送用于控制摄像头5119的驱动的控制信号。控制信号也可以通过光通信发送。

图像处理单元5175对由从摄像头5119发送的RAW数据构成的图像信号执行各种类型的图像处理。图像处理包括各种类型的已建立的信号处理，例如显影处理、图像质量改善处理(例如频带增强处理、超分辨率处理、降噪(NR)处理和/或抖动校正处理)和/或放大处理(数字变焦处理)。此外，图像处理单元5175对图像信号进行检波处理，以实施AE、AF和AWB。

图像处理单元5175由诸如CPU或GPU的处理器构成，并且通过使处理器根据特定程序操作，可以执行上述图像处理和检波处理。注意，在图像处理单元5175由多个GPU构成的情况下，图像处理单元5175适当地分割与图像信号相关的信息，并且利用多个GPU并行地进行图像处理。

控制单元5177执行与内窥镜5115对手术部位的成像和由此捕获的图像的显示相关的各种控制。例如，控制单元5177产生用于控制摄像头5119的驱动的控制信号。此时，在用户输入成像参数的情况下，控制单元5177基于用户的输入产生控制信号。可替代地，在内窥镜5115设有AE功能、AF功能和AWB功能的情况下，控制单元5177根据图像处理单元5175的检波处理的结果适当地计算最佳曝光值、焦距和白平衡，并产生控制信号。

另外，控制单元5177使显示设备5155基于由图像处理单元5175进行图像处理的图像信号来显示手术部位的图像。此时，控制单元5177使用各种类型的图像识别技术中的任一种来识别手术部位图像中的各种物体。例如，通过检测包括在手术部位图像中的物体的边缘形状和颜色等特征，控制单元5177能够识别诸如钳子等手术器械、身体的特定部位、出血、能量处置工具5135使用时的雾化等。当使得显示设备5155显示手术部位的图像时，控制单元5177使用识别结果将各种手术辅助信息叠加到手术部位的图像上。通过将手术辅助信息叠加并提供给外科医生5181，可以更安全和可靠地进行手术。

连接摄像头5119和CCU 5153的传输电缆5179是支持电信号通信的电信号电缆、支持光通信的光纤或上述的复合电缆。

此时，在所示示例中，使用传输电缆5179以有线方式进行通信，但是摄像头5119和CCU 5153之间的通信也可以无线地进行。在两者之间的通信是无线进行的情况下，不再需要将传输电缆5179铺设在手术室内，因此可以解决传输电缆5179阻碍医务人员在手术室内的移动的情况。

上面已经描述了可以应用根据本公开的技术的手术室系统5100的示例。此外，在此作为示例描述的是其中应用了手术室系统5100的医疗系统是内窥镜手术系统5113的情况，但是手术室系统5100的配置不限于该示例。例如，手术室系统5100可以应用于用于检查的柔性内窥镜系统或显微手术系统，而不是内窥镜手术系统5113。

<<2.概述>>

接下来，将描述根据本公开的技术的概述。近年来，已经公开了各种技术作为用于改善在医疗场所进行的手术的安全性的技术。例如，公开了一种将计步器和倾斜角传感器附接到护士并基于由计步器测量的步数和由倾斜角传感器测量的倾斜角来确定是否存在发生事故的可能性的技术。

在这种技术中，基于步数和倾斜角生成与护士行为相关的特征数据，并且当发生特定事故时，基于特征数据生成特定事故的词典数据(参考数据)。然后，在词典数据创建之后，基于在特定时间点特征数据和词典数据之间的比较来确定是否存在发生事故的可能性。

然而，在医疗专业人员佩戴传感器的情况下，传感器可能干扰医疗专业人员的动作。特别地，在紧急情况或与计划中的情况不同的情况发生的情形下，医疗专业人员可能需要比通常时更快地行动。

就这一点而言，在本说明书中，主要提出了一种能够提高在医疗场所进行的手术的安全性，同时抑制干扰医疗专业人员的行为的可能性的技术。

上面已经描述了根据本公开的技术的概述。

<<3.实施例的细节>>

随后，将描述根据本公开的实施例的信息处理装置的功能配置示例。图5是示出根据本公开的实施例的信息处理装置的功能配置示例的框图。如图5所示，根据本公开的实施例的信息处理装置10包括特征数据提取单元112、识别单元114、学习单元116、处理单元118、分析单元120和输出控制单元122。稍后将详细描述功能块的功能。

在本公开的实施例中，假定信息处理装置10被结合到如图1所示的视听控制器5107中的情况。然而，安装信息处理装置10的位置没有特别限制。例如，信息处理装置10可以安装在视听控制器5107的外部。

图6是示出根据本公开的实施例的信息处理装置的整体操作的流程图。如图6所示，执行工作目标设置(S11)；进行学习(S12)；执行日常运行(运用)(S13)；基于日常运行结果执行问题探索(S14)；并且在不需要校正工作目标的情况下操作转移到S13(S15中为“否”)，而在需要校正工作目标的情况下操作转移到S11(S15中为“是”)。这些步骤将在以下章节“3-1.工作目标设置”到“3-5.工作目标校正”中描述。

此外，将主要假定进行神经外科手术的案例为手术的示例。然而，根据本公开的实施例的技术也可以应用于神经外科手术之外的手术。此外，与手术相关的医疗专业人员的示例包括外科医生、麻醉医师、助手、巡回护士(以下也称为“巡回”)、手术助理护士(以下也称为“手术助理”)和护士。然而，医疗专业人员不限于这些示例。此外，人或医疗专业人员在下文中也称之为“人员”。此外，外科医生在下文中也称之为“外科医生”。

<3-1.工作目标设置>

首先，设置工作目标。具体地，工作目标可以包括如下所述的第一阈值、第二阈值、第三阈值和第四阈值。工作目标的设置可以基于任何医疗专业人员的输入(例如，通过中央操作面板5111)来执行。例如，可以基于外科医生的输入(例如，通过中央操作面板5111)来执行工作目标的设置。

<3-2.学习阶段>

学习阶段设置在运行阶段之前。在学习阶段，从手术室的观察产生将在运行阶段中使用的词典数据。

通常，一次手术可以分为几个阶段(下文也称为“手术阶段”)。例如，神经外科手术可以分为麻醉导入阶段、导航阶段、开颅阶段、治疗阶段、术中诊断阶段和闭颅阶段。此时，与人员相关的信息(例如，人员位置等)和与设备相关的信息(例如，设备位置等)可以根据当前手术阶段而改变。作为示例，将描述神经外科手术中的每个手术阶段中的人员(参照人)位置和设备(参照设备)位置的示例。

图7是示出麻醉导入阶段中人员位置和设备位置的示例的示图。参照图7，示出了麻醉导入阶段中的手术室20-1。在麻醉导入阶段，如图7的示例所示，外科医生31、助手32、麻醉医师33、巡回护士34、手术助理护士35、显微镜41、导航系统42、运动诱发电位(MEP)测量设备43和器械储存器44位于手术室20-1中。

图8是示出导航阶段中的人员位置和设备位置的示例的示图。参照图8所示的手术室20-2，在导航阶段，与麻醉导入阶段相比，导航系统42的位置改变。

图9是示出在开颅阶段中人员位置和设备位置的示例的示图。参照图9所示的手术室20-3，在开颅阶段，由于开颅术主要由助手进行，所以与导航阶段相比外科医生和助手的位置改变。

图10是示出在治疗阶段中的人员位置和设备位置的示例的示图。参照图10所示的手术室20-4，在治疗阶段，由于治疗主要由外科医生执行，所以与开颅阶段相比，外科医生和助手的位置改变。此外，在治疗阶段，由于使用显微镜41，与开颅阶段相比，显微镜41的位置改变。

图11是示出在术中诊断阶段中的人员位置和设备位置的示例的示图。参照图11所示的手术室20-5，在术中诊断阶段，由于执行使用MEP测量设备43的MEP监测，所以存在操作MEP测量设备43的工程师36。

图12是示出在闭颅阶段中的人员位置和设备位置的示例的示图。参照图12所示的手术室20-6，在闭颅阶段，由于闭颅主要由助手执行，所以与术中诊断阶段相比，外科医生和助手的位置改变。此外，在闭颅阶段，由于不使用显微镜41，所以与术中诊断阶段相比，显微镜41的位置改变。

已经描述了神经外科手术中每个手术阶段的人员位置和设备位置的示例。在学习阶段，首先，识别单元114识别手术阶段。例如，识别单元114检测事件并识别对应于该事件的手术阶段。可以预先制备事件和手术阶段之间的对应关系。

图13是示出在本公开的实施例中使用的各种信息的对应关系的示图。如图13所示，手术阶段和事件预先相关。例如，识别单元114可以从手术室相机5189捕获的图像(以下也称为“事件检测图像”)中检测事件。如上所述，通过检测事件来识别对应于该事件的手术阶段。

然后，特征数据提取单元112从由手术室相机5189捕获的图像(以下也称为“学习图像”)中提取与手术相关的人员和用于手术的设备相关的特征数据。更具体地，特征数据提取单元112从学习图像中提取与手术相关的人员相关的信息和与用于手术的设备相关的信息，作为特征数据的示例。

事件检测图像可以用作学习图像。可替代地，学习图像可以是在与捕获事件检测图像的定时具有预定关系(例如，在基于捕获事件检测图像的定时的预定时间范围内)的定时由手术室相机5189捕获的图像。

此外，在本公开的实施例中主要假定使用与人员相关的信息和与设备相关的信息两者的情况。然而，可以仅使用与人员相关的信息和与设备相关的信息之一。

此外，在本公开的实施例中主要假定这样的情况，其中指示人员的位置(以下也称为“人员位置”)的信息被用作与人员相关的信息的示例，并且指示设备的位置(以下也称为“设备位置”)的信息被用作与设备相关的信息的示例。然而，与人员相关的信息可以是人员的状态(例如，人员的视线等)，并且与设备相关的信息可以是设备的状态(例如，设备是否被操作、设备是否被起动等)。

特征数据提取单元112提取人员位置的方法没有特别限制。例如，在将唯一标记附着到人员的情况下，特征数据提取单元112可以基于由手术室相机5189捕获的图像来识别附着到人员的标记，并且使用标记识别结果来提取人员位置。

此外，在普通医疗机构中，穿衣的颜色可根据人员的种类(医疗专业人员的角色)的不同而不同。例如，外科医生和助手穿着相同颜色的衣服，但是存在外科医生和助手、麻醉医师、手术助理护士、巡回护士和工程师穿着不同颜色衣服的情况。因此，特征数据提取单元112可以基于由手术室相机5189捕获的图像来识别衣服的颜色，并且使用衣服颜色的提取结果而不是标记识别结果或者除了标记识别结果之外还使用衣服颜色的提取结果来提取人员位置。

此外，可能存在其中每种类型的人员(各种角色的医疗专业人员)停留的区域预先已知的情况。因此，特征数据提取单元112可以识别每种类型的人员(各种角色的医疗专业人员)的区域中的人员的存在，并且识别停留在该区域中的人员的类型(医疗专业人员的角色)。

特征数据提取单元112提取设备位置的方法没有特别限制。例如，特征数据提取单元112可以基于由手术室相机5189捕获的图像来识别设备，并且使用设备的识别结果来提取设备位置。此外，在唯一标记附着到设备的情况下，特征数据提取单元112可以基于由手术室相机5189捕获的图像来识别附着到设备的标记，并且使用标记识别结果而不是设备的识别结果或者除了设备的识别结果之外还使用标记识别结果来提取设备位置。

此外，人员位置可以包括人员已经通过的多个位置，或者可以是多个位置的重心。例如，假定人员(医疗专业人员)的运动根据人员的类型(医疗专业人员的角色)而不同。例如，外科医生等通常在手术室中变化不大的位置进行精细运动。就这一点而言，停留在变化不大的位置的诸如外科医生的人员(医疗专业人员)的位置可以包括人员通过的多个位置。

另一方面，巡回护士等经常在手术室中到处移动。就这一点而言，经常到处移动的人员例如巡回护士(医疗专业人员)的位置可以是该人已经通过的多个位置的重心。类似地，设备位置可以包括设备已经通过的多个位置，或者可以是多个位置的重心。

学习单元116基于由特征数据提取单元112提取的与人员相关的信息和与设备相关的信息，通过学习生成与手术室中的人员和设备相关的词典数据。更具体地，学习单元116通过基于由特征数据提取单元112提取的人员位置和设备位置进行学习来生成与手术室中的人员位置和设备位置相关的词典数据。用于学习的人员位置和设备位置的数量不受限制。例如，用于学习的人员位置的数量和设备位置的数量中的每一个可以是一个，但是用于学习的人员位置的数量和设备位置的数量中的每一个优选地是两个或更多，以便提高要生成的词典数据的准确性。

例如，学习单元116可以直接使用由特征数据提取单元112提取的人员位置和设备位置进行学习。可替代地，还假定(例如，通过中央操作面板5111)显示从学习图像提取的人员位置和设备位置，并且(例如，经由中央操作面板5111)校正人员位置和设备位置的情况。在这种情况下，学习单元116可以基于校正后的人员位置和设备位置来生成词典数据。

此外，外科医生可以校正人员位置和设备位置，但也可以由其他人员校正。

在如上所述由识别单元114识别手术阶段的情况下，学习单元116生成由识别单元114识别的手术阶段的词典数据。可替代地，还假定(例如，通过中央操作面板5111)显示由识别单元114识别的手术阶段，并且(例如，通过中央操作面板5111)校正由识别单元114识别的手术阶段的情况。在这种情况下，学习单元116产生校正后的手术阶段的词典数据。

参照图13，对于每个手术阶段，与手术主要相关的医生图示为“主医生”，而与手术相关的其他人员图示为“其他相关人员”。此外，参照图13，对每个手术阶段示出了用作词典数据的示例的“人员位置”。此外，在图13所示的“人员位置”中，“1.麻醉导入”到“6.闭颅”对应于图7至图12所示的各个手术阶段的人员位置。此外，参考图13，由人员操作的设备示为“操作设备”。

此外，识别单元114可以根据由手术室相机5189捕获的图像(以下也称为“协作(合作)识别图像”)来识别人员之间的协作。在通过识别单元114从协作识别图像中识别出人员之间的协作的情况下，学习单元116生成包括与人员之间的协作相关的信息的词典数据。

参照图13，对于每个手术阶段，作为词典数据的示例的与协作相关的信息被示为“协作动作”。此外，图13所示的“协作动作”中的“A/B”表示A和B之间存在协作。例如，“外科医生/助手”表示外科医生和助手之间存在协作。

事件检测图像或学习图像可以用作协作识别图像。可替代地，协作识别图像可以是在与捕获事件检测图像的定时具有预定关系(在基于事件检测图像被成像的定时的预定时间范围内)的定时由手术室相机5189捕获的图像。

<3-3.运行阶段>

接着，在学习阶段之后设置运行阶段。在运行阶段，参照在学习阶段随时间生成的词典数据来确定手术的进展是否妥当。

在运行阶段，识别单元114也识别手术阶段。运行阶段中进行手术阶段的识别，类似于学习阶段中手术阶段的识别。换句话说，在运行阶段识别的手术阶段可以是可校正的，类似于在学习阶段识别的手术阶段。

然后，与从学习图像中提取特征数据类似，特征数据提取单元112从由手术室相机5189捕获的图像(以下也称为“比较图像”)中提取与手术相关的人员和用于手术的设备相关的特征数据。更具体地，特征数据提取单元112从比较图像中提取人员位置和设备位置作为特征数据的示例。此外，与从学习图像提取的特征数据类似，从比较图像提取的特征数据可以是可校正的。

处理单元118将由学习单元116生成的词典数据与从比较图像中提取的特征数据进行比较。在如上所述由识别单元114识别手术阶段的情况下，处理单元118将由识别单元114识别的手术阶段的词典数据(与人员位置和设备位置相关的词典数据)与由特征数据提取单元112提取的特征数据(人员位置和设备位置)进行比较。

在由识别单元114识别的手术阶段的词典数据(与人员位置和设备位置相关的词典数据)和由特征数据提取单元112提取的特征数据(人员位置和设备位置)之间的差超过第一阈值的情况下，存在手术没有正常执行的可能性。就这一点而言，在这种情况下，输出控制单元122控制第一警告信息的输出。

这里，第一警告信息的输出目的地不受限制。例如，在第一警告信息包括显示信息的情况下，第一警告信息的输出目的地可以是显示设备5103A到5103D中的任何一个。可替代地，在第一警告信息包括声音信息的情况下，第一警告信息的输出目的地可以是扬声器。

此外，例如，在麻醉导入阶段、导航阶段、开颅阶段和闭颅阶段，可以仅基于人员位置和设备位置充分确定手术是否正常执行。

此外，在手术阶段的转变顺序在词典数据和由特征数据提取单元112提取的特征数据之间不同的情况下，存在手术没有正常执行的可能性。可替代地，在词典数据和由特征数据提取单元112提取的特征数据之间的对应手术阶段的持续时间或直到对应阶段的经过时间的差值超过阈值的情况下，存在手术没有正常执行的可能性。

就这一点而言，在这种情况下，输出控制单元122优选地控制第三警告信息的输出。第三警告信息的输出目的地不受限制。例如，在第三警告信息包括显示信息的情况下，第三警告信息的输出目的地可以是显示设备5103A到5103D中的任何一个。或者，在第三警告信息包括声音信息的情况下，第三警告信息的输出目的地可以是扬声器。

此外，在协作的多个人中的至少一个人在词典数据和由特征数据提取单元112提取的特征数据之间不同的情况下，或者在协作的多个人中的一个人被替换的情况下，存在手术没有正常执行的可能性。此外，在词典数据和由特征数据提取单元112提取的特征数据之间，对应人员之间的协作持续时间或直到对应阶段的人员之间的协作经过时间的差超过第四阈值的情况下，存在手术没有正常执行的可能性。

人员之间协作的一个示例是外科医生和麻醉医师之间的协作。麻醉医师需要预测与外科医生的治疗行为相关的患者的重要变化，并准备必要的处置。例如，在外科医生和麻醉医师之间缺乏协作的情况下(例如，在协作持续时间太长的情况下，在直到某个阶段的协作经过时间太长的情况下等)，患者的稳定性和体内平衡(重要值)改变，因此麻醉医师必须暂停治疗行为并进行各种处置以稳定重要值。

人员之间协作的另一个示例是外科医生、手术助理护士和巡回护士之间的协作。医疗设备由巡回护士根据外科医生的指令从手术室中的架子或手术室外部取出，从巡回护士传递到手术助理护士，并从手术助理护士传递到外科医生。例如，在外科医生和巡回护士或手术助理护士之间缺乏协作的情况下(例如，在协作持续时间过长的情况下，在直到某个阶段的协作经过时间过长等情况下)，可能延迟必要医疗设备的到达，可能发生待机时间，并且患者的体内平衡(重要值)可能改变。

就这一点而言，在这种情况下，输出控制单元122控制第四警告信息的输出。第四警告信息的输出目的地不受限制。例如，在第四警告信息包括显示信息的情况下，第四警告信息的输出目的地可以是显示设备5103A至5103D中的任何一个。或者，在第四警告信息包括声音信息的情况下，第四警告信息的输出目的地可以是扬声器。

此外，例如，在治疗阶段，除了人员位置和设备位置之外，还考虑在治疗期间外科医生和助手之间的协作；手术工具更换时外科医生和手术助理护士之间的协作；以及外科医生、手术助理护士以及巡回护士之间的协作，例如手术工具的递送或摘除组织的活检提交，来确定手术是否正常进行。此外，例如，优选地，在术中诊断阶段，除了人员位置和设备位置之外，考虑外科医生和麻醉医师之间的协作，确定手术是否正常进行。

此外，可以通过各种技术来执行麻醉医师运动的评估。例如，如上所述，可以基于由手术室相机5189捕获的图像来确定用作人员示例的麻醉医师的位置是否正常。另一方面，存在对麻醉医师成像的麻醉医师成像相机5188。麻醉医师的状态(例如麻醉医师的视线)可以基于由麻醉医师成像相机5188捕获的图像来获取，并且可以基于麻醉医师的状态来确定手术是否正常进行。

例如，麻醉医师的状态可以是诸如麻醉医师是否正在看患者；麻醉医师是否正在看外科医生；麻醉医师是否正在看患者的重要画面(vital screen)的状态。例如，在麻醉医师的状态指示麻醉医师正在看外科医生的情况下，可以确定在外科医生和麻醉医师之间执行协作。如上所述，可以基于麻醉医师的状态确定外科医生和麻醉医师之间是否执行协作。

如上所述，在运行阶段，输出控制单元122控制警告信息(例如，第一警告信息、第二警告信息、第三警告信息以及第四警告信息)的输出。因此，感知警告信息的医疗专业人员可以采取措施来防止患者进入危险状态。

图14是示出基于运行阶段中的人员位置的警告显示的操作的示例的流程图。如图14所示，开始由手术室相机5189捕获的图像的记录。此外，在手术没有开始的情况下(S21中为“否”)，识别单元114使操作转换到S21。另一方面，在手术开始的情况下(S21中为“是”)，识别单元114识别手术阶段(S22)。

此外，不特别限制通过识别单元114确定手术是否开始的方法。例如，识别单元114可以在识别出初始手术阶段的情况下确定手术开始。

然后，特征数据提取单元112从由手术室相机5189捕获的图像中提取人员位置(S23)。然后，处理单元118确定人员位置是否与相应手术阶段(由识别单元114识别的手术阶段)中的数据(词典数据)一致(S24)。在确定人员位置与相应手术阶段中的数据(词典数据)不一致的情况下(S24中为“否”)，输出控制单元122控制警告显示(S31)。此外，可以控制指示警告的声音输出，而不是警告显示。

此外，在未发生意外因素的情况下(S32中为“否”)，输出控制单元122控制警告显示解除对话的显示(S33)。在警告显示解除对话中输入表示解除警告显示的操作的情况下，输出控制单元122使操作转移至S41。此外，可以由外科医生、护士等(经由中央操作面板5111或其他输入设备)输入指示解除警告显示的操作。

另一方面，在发生意外因素的情况下(S32中为“是”)，输出控制单元122控制先前异常数据列表的显示(S34)并控制异常数据输入对话的显示(S35)。此外，是否发生意外因素可以由外科医生、护士等(经由中央操作面板5111或其他输入设备)输入。

在指示当前正在进行的手术是新的异常处置(treatment，处理，治疗)的操作被输入的情况下(S36中为“是”)，输出控制单元122将与当前正在进行的手术相关的数据作为当前异常数据登记在先前异常数据中(S37)，并使操作转移到S42。另一方面，在指示当前正在进行的手术不是新的异常处置的操作被输入的情况下(S36中为“否”)，将与当前正在进行的手术相关的数据作为当前异常数据追加到先前异常数据(S38)，并使操作转移到S42。

此外，新的异常处置可以是任何处置。例如，假定异常地执行旧式手术等，但是在这种情况下，可以将旧式手术作为新的异常处置来对待。假定原则上执行新式手术等，但是在这种情况下，新式手术可以作为新的异常处置之外的处置。此外，当前手术是否是新的异常处置可以由外科医生、护士等(经由中央操作面板5111或其他输入设备)输入。

在输出控制单元122确定人员位置与相应手术阶段中的数据(词典数据)一致的情况下(S24中为“是”)，输出控制单元122将当前数据(与当前正在进行的手术相关的数据)追加到先前数据(S41)。此外，在手术没有结束的情况下(S42中为“否”)，操作转移到S22。另一方面，在手术结束的情况下(S42中为“是”)，手术室相机5189捕获的图像的记录结束。

图15是示出基于运行阶段中的设备位置的警告显示的操作示例的流程图。例如，可以与图14所示的基于运行阶段中的人员位置的警告显示的操作并行地执行基于运行阶段中的设备位置的警告显示的操作。这里，省略对图15所示的操作示例中与图14所示的操作示例相同的操作示例的说明，主要说明与图14所示的操作示例不同的操作示例。

如图15所示，在由识别单元114识别手术阶段的情况下(S22)，特征数据提取单元112执行从由手术室相机5189捕获的图像中提取设备位置的处理(S53)。然后，处理单元118确定设备位置是否与相应手术阶段中的数据(词典数据)一致(S54)。在确定设备位置与相应手术阶段中的数据(词典数据)不一致的情况下(S54中为“否”)，输出控制单元122控制警告显示(S31)。

另一方面，在确定设备位置与相应手术阶段中的数据(词典数据)一致的情况下(S54中为“是”)，输出控制单元122将当前数据(与当前正在进行的手术相关的数据)追加到先前数据(S41)。

<3-4.问题探索>

此外，根据手术后预后信息远离标准数据的程度，可以确定手术中是否没有问题。这里，预后信息可以包括任何信息。例如，预后信息可以包括患者住院期间、手术后患者症状的稳定性和指示手术后患者状态的信息中的至少一个。例如，外科医生(经由中央操作面板5111)与比较图像相关联地输入预后信息。

处理单元118确定手术后预后信息远离标准数据的程度。换句话说，处理单元118将与比较图像相关联的预后信息与预设标准数据进行比较。在预后信息和标准数据之间的差超过第二阈值的情况下，输出控制单元122控制第二警告信息的输出。第二警告信息的输出目的地不受限制。例如，在第二警告信息包括显示信息的情况下，第二警告信息的输出目的地可以是显示设备5103A至5103D中的任何一个。或者，在第二警告信息包括声音信息的情况下，第二警告信息的输出目的地可以是扬声器。

此外，由于假定手术后的预后信息根据手术类型(例如神经外科手术、心脏手术等)而不同，因此优选根据手术类型设置标准数据。因此，优选的是，输出控制单元122在预后信息和根据手术室中进行的手术的类型获得的标准数据之间的差超过第二阈值的情况下控制第二警告信息的输出。手术的类型可以预先记录(例如，在记录器5105中)。

在与标准数据的差超过第二阈值并且提取了多条相同或相似的预后信息的情况下，分析单元120可以获取与多条预后信息中的每一条相关联的与人员之间的协作相关的信息、与每个人员的位置或动作相关的信息、手术阶段的持续时间或手术阶段中直到预定阶段经过的时间。

然后，分析单元120可以分析如上所述获取的与人员之间的协作相关的信息、与每个人员的位置或动作相关的信息、手术阶段的持续时间，或手术阶段中直到预定阶段经过的时间。通过这种分析，可以理解具有问题的手术的趋势(可以检测待提高的医疗专业人员的风险行为)。

<3-5.工作目标校正>

然后，在需要校正工作目标的情况下，校正工作目标。特别地，能够校正的工作目标可以包括如上所述的第一阈值、第二阈值、第三阈值和第四阈值。工作目标的校正可以基于任一个医疗专业人员(或例如，经由中央操作面板5111)的输入来执行。例如，可以基于外科医生(例如，经由中央操作面板5111)的输入来执行工作目标的校正。

上面已经描述了根据本公开的实施例的信息处理装置10的功能配置示例。

<<4.结论>>

如上所述，根据本公开的实施例，提供了包括处理单元118的信息处理装置10，该处理单元118将通过学习获得的与手术室中的人或设备相关的词典数据与从由安装在手术室中的相机捕获的第一图像中提取的与人或设备相关的第一特征数据进行比较。根据这样的配置，可以提高在医疗场所进行的手术的安全性，同时抑制干扰医疗专业人员的行为的可能性。

本领域技术人员应当理解，根据设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内即可。

例如，上面已经描述了从手术室相机5189捕获的图像中提取人员位置，并且基于提取的人员位置确定手术是否正常进行的示例。上面已经描述了从麻醉医师成像相机5188捕获的图像中提取麻醉医师的状态，并且基于提取的麻醉医师的状态确定手术是否正常进行的示例。然而，可以基于感测数据(例如，由麦克风检测到的声音信息、由各种医疗设备检测到的测量数据等)而不是图像来确定手术是否正常进行。

此外，例如，还可以生成使安装在计算机中的诸如CPU、ROM和RAM的硬件执行与信息处理装置10所提供的功能相当的功能的程序。此外，可以提供记录有程序的计算机可读记录介质。

此外，本说明书中描述的效果仅仅是说明性或示例性的效果，而不是限制性的。即，与上述效果一起或代替上述效果，根据本公开的实施例的技术可以实现本领域技术人员根据本说明书的描述清楚的其他效果。

另外，本技术也可以如下配置。

(1)一种手术系统，包括：

相机，安装在手术室中；以及

信息处理装置，包括处理单元，该处理单元被配置将与手术室中的人或设备相关并且通过学习获得的词典数据与从由安装在手术室中的相机捕获的第一图像提取的与人或设备相关的第一特征数据进行比较。

(2)根据(1)所述的手术系统，其中，信息处理装置包括输出控制单元，其被配置在词典数据和第一特征数据之间的差值超过第一阈值的情况下控制第一警告信息的输出。

(3)根据(1)所述的手术系统，其中处理单元将标准数据与关联于第一图像的预后信息进行比较。

(4)根据(3)所述的手术系统，其中，信息处理装置包括输出控制单元，其被配置在预后信息和标准数据之间的差值超过第二阈值的情况下控制第二警告信息的输出。

(5)根据(4)所述的手术系统，其中，在预后信息与根据在手术室中执行的手术的类型获取的标准数据之间的差值超过第二阈值的情况下，输出控制单元控制第二警告信息的输出。

(6)根据(3)所述的手术系统，其中，信息处理装置包括分析单元，其被配置为在与标准数据的差值超过第二阈值并且提取多条相同或相似的预后信息的情况下，获取与人之间的协作相关的信息、与每个人的位置或动作相关的信息、手术阶段的持续时间或手术阶段中直到预定阶段经过的时间，该信息、持续时间和经过的时间与多条预后信息中的每一条相关联。

(7)根据(3)至(6)中任一项所述的手术系统，其中，预后信息包括患者住院期间、患者术后症状的稳定性以及指示患者术后状态的信息中的至少一个。

(8)根据(1)至(7)中任一项所述的手术系统，其中，处理单元将与手术室中的人或设备的位置相关并且通过学习获得的词典数据与从第一图像提取的指示人或设备的位置的第一特征数据进行比较。

(9)根据(8)所述的手术系统，其中，第一特征数据包括人或设备已经通过的多个位置或多个位置的重心。

(10)根据(1)至(9)中任一项所述的手术系统，其中，在根据第一图像或在与捕获第一图像的定时具有预定关系的定时捕获的图像来识别手术阶段的情况下，处理单元将手术阶段的词典数据与第一特征数据进行比较。

(11)根据(10)所述的手术系统，其中通过检测对应于手术阶段的事件来识别手术阶段。

(12)根据(1)至(11)中任一项所述的手术系统，其中，在校正与从第二图像提取的人或设备相关的第二特征数据的情况下，基于校正生成词典数据。

(13)根据(12)所述的手术系统，其中，在从第二图像或在与捕获第二图像的定时具有预定关系的定时捕获的图像中识别手术阶段的情况下，生成作为手术阶段的词典数据的词典数据。

(14)根据(13)所述的手术系统，其中，信息处理装置包括输出控制单元，其被配置在词典数据和第一特征数据之间的手术阶段的转变顺序不同的情况下，或者在对应的手术阶段的持续时间或直到对应阶段经过的时间的差值超过第三阈值的情况下，控制第三警告信息的输出。

(15)根据(1)所述的手术系统，其中，在从第三图像识别人之间的协作的情况下，生成词典数据，使得词典数据包括与人之间的协作相关的信息。

(16)根据(15)所述的手术系统，其中，信息处理装置包括输出控制单元，其被配置在互相协作的多个人中的至少一个人在词典数据和第一特征之间不同的情况下、在彼此协作的多个人之一被替换的情况下、或者在相应的人之间的协作的持续时间或人之间的协作直到相应阶段经过的时间之间的差值超过第四阈值的情况下，控制第四警告信息的输出。

(17)根据(1)至(16)中任一项所述的手术系统，其中，信息处理装置包括学习单元，其被配置通过学习生成与手术室中的人或设备相关的词典数据。

(18)根据(1)至(17)中任一项所述的手术系统，其中，信息处理装置包括被配置为从第一图像中提取第一特征数据的特征数据提取单元。

(19)一种信息处理方法，包括：

通过处理器，将与手术室中的人或设备相关并且通过学习获得的词典数据与从由安装在手术室中的相机捕获的图像中提取的与人或设备相关的特征数据进行比较。

(20)一种信息处理装置，包括：

处理单元，其被配置将与手术室中的人或设备相关并且通过学习获得的词典数据与从由相机捕获的图像中提取的与人或设备相关的特征数据进行比较。

(21)一种手术支持系统，包括：

相机，安装在手术室中；以及

信息处理装置，包括处理电路，其被配置将参考数据与第一特征数据进行比较，该参考数据与手术室中的至少一个参考人或参考设备相关并且从手术室的观察中生成；该第一特征数据从由安装在手术室中的相机捕获的第一图像中提取、与第一人或第一设备相关。

(22)根据(21)所述的手术支持系统，其中，处理电路还被配置当参考数据和第一特征数据之间的差值超过第一阈值时，控制第一警告信息的输出。

(23)根据(21)所述的手术支持系统，其中，处理电路还被配置将标准数据与关联于第一图像的预后信息进行比较。

(24)根据(23)所述的手术支持系统，其中，处理电路还被配置当预后信息和标准数据之间的差值超过第二阈值时，控制第二警告信息的输出。

(25)根据(24)所述的手术支持系统，其中，当预后信息与对应于在手术室中执行的手术类型的标准数据之间的差值超过第二阈值时，处理电路还被配置控制第二警告信息的输出。

(26)根据(23)所述的手术支持系统，其中，处理电路还被配置为获取与人之间的协作相关的信息、与每个人的位置或动作相关的信息、手术阶段的持续时间或手术阶段中直到预定阶段经过的时间，

其中，当多条预后信息与标准数据之间的差值超过第二阈值并且提取多条预测信息时，信息、持续时间和经过时间与多条预后信息中的每一条相关联。

(27)根据(23)至(26)中任一项所述的手术支持系统，其中，预后信息包括以下信息中的至少一个：患者的住院期间、患者在术后的症状的稳定性以及指示患者术后的状态的信息。

(28)根据(21)至(27)中任一项所述的手术支持系统，其中，处理电路还被配置将与参考人或参考设备在手术室中的位置相关的参考数据与从第一图像提取的指示第一人或第一设备的位置的第一特征数据进行比较。

(29)根据(28)所述的手术支持系统，其中，第一特征数据包括第一人或第一设备已经经过的多个位置或多个位置的重心。

(30)根据(21)至(29)中任一项所述的手术支持系统，其中，当从第一图像或从在与捕获第一图像的定时具有预定关系的定时捕获的图像中识别手术阶段时，处理电路还被配置将对应于手术阶段的参考数据与第一特征数据进行比较。

(31)根据(30)所述的手术支持系统，其中通过检测对应于手术阶段的事件来识别手术阶段。

(32)根据(21)至(31)中任一项所述的手术支持系统，其中，当校正从第二图像提取的与第二人或第二设备相关的第二特征数据时，基于该校正更新参考数据。

(33)根据(32)所述的手术支持系统，其中，当从第二图像或从在与捕获第二图像的定时具有预定关系的定时捕获的图像中识别手术阶段时，更新参考数据以包括手术阶段的参考数据。

(34)根据(33)所述的手术支持系统，其中，处理电路还被配置当参考数据和第一特征数据之间的手术阶段的转变顺序不同时，或者当相应手术阶段的持续时间或直到相应阶段经过的时间的差值超过第三阈值时，控制第三警告信息的输出。

(35)根据(31)所述的手术支持系统，其中，当从第三图像中识别人之间的协作时，参考数据被更新为包括与人之间的协作相关的信息。

(36)根据(35)所述的手术支持系统，其中，处理电路被配置为当彼此协作的多个人的组中的至少一个人在参考数据和第一特征数据之间，由于彼此协作的多个人中的一个人被替换或由于多个人之间的协作持续时间或多个人之间的协作直到相应阶段经过的时间的差值超过第四阈值，而不同时，控制第四警告信息的输出。

(37)根据(21)至(36)中任一项所述的手术支持系统，其中，处理电路还被配置通过观察手术室来生成与手术室中的参考人或参考设备相关的参考数据。

(38)根据(21)至(37)中任一项所述的手术支持系统，其中，处理电路还被配置从第一图像中提取第一特征数据。

(39)一种信息处理方法，包括：

通过处理器，将与手术室中的参考人或参考设备相关并且从手术室的观察中生成的参考数据与从由安装在手术室中的相机捕获的图像中提取的与第一人或第一设备相关的特征数据进行比较；以及

基于比较的结果触发手术室中潜在问题的报警警告。

(40)一种信息处理装置，包括：

处理电路，被配置：

将与手术室中的参考人或参考设备相关并且从手术室的观察中生成的参考数据与从由安装在手术室中的相机捕获的图像中提取的与第一人或第一设备相关的特征数据进行比较，以及

基于比较结果触发手术室中潜在问题的报警警告。

(41)一种手术支持系统，包括：

相机，安装在手术室中；以及

信息处理装置，包括处理电路，其被配置将参考数据与第一特征数据进行比较，参考数据随时间与手术室中的至少一个人或设备相关并且从手术室的观察中生成，第一特征数据从由安装在手术室中的相机捕获的第一图像中提取、与第一人或第一设备相关。

附图标记列表

10 信息处理装置

112 特征数据提取单元

114 识别单元

116 学习单元

118 处理单元

120 分析单元

122 输出控制单元

20 手术室

31 外科医生

32 助手

33 麻醉医师

34 护士

35 护士

36 工程师

41 显微镜

42 导航系统

43 MEP测量设备

44 器械存储器

Claims (21)

1.一种手术支持系统，包括：

相机，安装在手术室内；以及

信息处理装置，包括处理电路，所述处理电路被配置为将随着时间的与所述手术室内的至少一个参考人或参考设备有关并且从所述手术室的观察中生成的参考数据和从由安装在所述手术室内的所述相机捕获的第一图像中提取的与第一人或第一设备有关的第一特征数据进行比较。

2.根据权利要求1所述的手术支持系统，其中，所述处理电路还被配置为当所述参考数据与所述第一特征数据之间的差值超过第一阈值时控制输出第一警告信息。

3.根据权利要求1所述的手术支持系统，其中，所述处理电路还被配置为将标准数据和与所述第一图像关联的预后信息进行比较。

4.根据权利要求3所述的手术支持系统，其中，所述处理电路还被配置为当所述预后信息与所述标准数据之间的差值超过第二阈值时控制输出第二警告信息。

5.根据权利要求4所述的手术支持系统，其中，当所述预后信息和与所述手术室中执行的手术类型对应的所述标准数据之间的差值超过所述第二阈值时，所述处理电路还被配置为控制输出所述第二警告信息。

6.根据权利要求3所述的手术支持系统，其中，所述处理电路还被配置为获取与人之间的协作有关的信息、与每个人的位置或动作有关的信息、手术阶段的持续时间或者手术阶段中直到预定阶段经过的时间，

其中，当多条预后信息与所述标准数据之间的差值超过第二阈值并且所述多条预后信息被提取时，所述信息、所述持续时间和所述经过的时间与所述多条预后信息中的每一预后信息关联。

7.根据权利要求3所述的手术支持系统，其中，所述预后信息包括以下各项中的至少一项：患者的住院期间、所述患者手术后的症状的稳定性以及指示所述患者手术后的状态的信息。

8.根据权利要求1所述的手术支持系统，其中，所述处理电路还被配置为将与所述手术室内的所述参考人或所述参考设备的位置有关的所述参考数据和从所述第一图像提取的指示所述第一人或所述第一设备的位置的所述第一特征数据进行比较。

9.根据权利要求8所述的手术支持系统，其中，所述第一特征数据包括所述第一人或所述第一设备已通过的多个位置或所述多个位置的重心。

10.根据权利要求1所述的手术支持系统，其中，当从所述第一图像或从在与捕获所述第一图像的定时具有预定关系的定时捕获的图像中识别手术阶段时，所述处理电路还被配置为将与所述手术阶段对应的所述参考数据与所述第一特征数据进行比较。

11.根据权利要求10所述的手术支持系统，其中，通过检测与所述手术阶段对应的事件来识别所述手术阶段。

12.根据权利要求1所述的手术支持系统，其中，当校正从第二图像中提取的与第二人或第二设备有关的第二特征数据时，基于所述校正来更新所述参考数据。

13.根据权利要求12所述的手术支持系统，其中，当从所述第二图像或从在与捕获所述第二图像的定时具有预定关系的定时捕获的图像中识别手术阶段时，所述参考数据被更新为包括所述手术阶段的参考数据。

14.根据权利要求13所述的手术支持系统，其中，所述处理电路还被配置为当所述手术阶段的转变顺序在所述参考数据与所述第一特征数据之间不同时或者当相应手术阶段的持续时间或直到相应阶段经过的时间的差值超过第三阈值时，控制输出第三警告信息。

15.根据权利要求1所述的手术支持系统，其中，当从第三图像中识别人之间的协作时，所述参考数据被更新为包括与人之间的协作有关的信息。

16.根据权利要求15所述的手术支持系统，其中，所述处理电路被配置为当由于彼此协作的多个人中的一个人被更换，或者由于所述多个人之间的协作的持续时间或所述多个人之间的协作直到相应阶段经过的时间的差值超过第四阈值，而使彼此协作的所述多个人的组中的至少一个人在所述参考数据和所述第一特征数据之间不同时，控制输出第四警告信息。

17.根据权利要求1所述的手术支持系统，其中，所述处理电路还被配置为通过观察所述手术室来生成与所述手术室内的所述参考人或所述参考设备有关的所述参考数据。

18.根据权利要求1所述的手术支持系统，其中，所述处理电路还被配置为从所述第一图像中提取所述第一特征数据。

19.一种信息处理方法，包括：

由处理器将与手术室内的参考人或参考设备有关并且从所述手术室的观察中生成的参考数据和从由安装在所述手术室内的相机捕获的图像中提取的与第一人或第一设备有关的特征数据进行比较；以及

基于所述比较的结果触发所述手术室内潜在问题的报警警告。

20.一种信息处理装置，包括：

处理电路，被配置为：

将与手术室内的参考人或参考设备有关并且从所述手术室的观察中生成的参考数据和从由安装在所述手术室内的相机捕获的图像中提取的与第一人或第一设备有关的特征数据进行比较，以及

基于所述比较的结果触发所述手术室内潜在问题的报警警告。

21.一种手术支持系统，包括：

相机，安装在手术室内；以及

信息处理装置，包括处理电路，所述处理电路被配置为将随着时间的与所述手术室内的至少一个人或设备有关并且从所述手术室的观察中生成的参考数据和从由安装在所述手术室内的所述相机捕获的第一图像中提取的与第一人或第一设备有关的第一特征数据进行比较。

Images