CN115916482A - 信息处理装置、程序、学习模型以及学习模型生成方法 - Google Patents

Abstract

提供了信息处理装置(300)，该信息处理装置设置有控制单元(324)，该控制单元使用第一学习模型来执行控制，使得医疗用手臂自主操作，其中第一学习模型是通过对关于医疗用手臂(102)的操作的多个状态信息项执行机器学习而获得的，该多个状态信息项被标记被要避开的操作。

Description

信息处理装置、程序、学习模型以及学习模型生成方法

技术领域

本公开内容涉及信息处理装置、程序、学习模型和学习模型生成方法。

背景技术

近年来，在内窥镜手术中，在使用内窥镜对患者的腹腔进行成像并且将由内窥镜捕获的捕获图像显示在显示器上的同时执行手术。例如，下面的专利文献1公开了将对支承内窥镜的手臂的控制与对内窥镜的电子变焦的控制相关联的技术。

引用列表

专利文献

专利文献1：WO 2018/159328 A

发明内容

技术问题

顺便提及，近年来，在医疗用观察系统中，用于自主操作支承内窥镜的机器人手臂装置的开发已经取得进展。例如，使学习装置对手术内容等以及关于与手术内容等对应的外科医生或内窥镜医师的运动的信息执行机器学习，并且生成学习模型。参考以这种方式获得的学习模型、控制规则等，生成用于自主控制机器人手臂装置的控制信息。

然而，由于运动所特有的特性，难对运动进行适当的标记。因此，由于难以收集关于运动的大量信息，因此难以高效地构建关于运动的学习模型。

因此，本公开内容提出了可以为机器学习收集大量的适当标记的数据并且高效地构建学习模型的信息处理装置、程序、学习模型和学习模型生成方法。

问题的解决方案

根据本公开内容，提供了一种信息处理装置。该信息处理装置包括控制单元，该控制单元使用第一学习模型来执行控制以使医疗用手臂自主操作，所述第一学习模型是通过对关于医疗用手臂的操作的多个状态信息进行机器学习而生成的。多个状态信息被标记为应该避开的操作。

此外，根据本公开内容，提供了一种程序，该程序用于使计算机使用第一学习模型执行对医疗用手臂的自主操作的控制，该第一学习模型是通过对关于医疗用手臂的操作的多个状态信息进行机器学习而生成的。多个状态信息被标记为应该避开的操作。

此外，根据本公开内容，提供了一种学习模型，该学习模型用于使计算机用来控制医疗用手臂自主操作，以避开基于学习模型输出的状态。该学习模型包括：与通过对关于医疗用手臂的操作的多个状态信息进行机器学习而提取的特征值有关的信息。多个状态信息被标记为应该避开的操作。

此外，根据本公开内容，提供了一种生成学习模型的方法，该学习模型用于使计算机用来控制医疗用手臂自主操作，以避开基于学习模型输出的状态。该方法包括：通过对关于医疗用手臂的操作的多个状态信息进行机器学习来生成学习模型。多种状态信息被标记为医疗用手臂应该避开的操作。

附图说明

图1是示出根据本公开内容的技术可以应用于的内窥镜手术系统的示意性配置的示例的图。

图2是示出图1中示出的摄像头和CCU(摄像装置控制单元)的功能配置的示例的框图。

图3是示出根据本公开内容的实施方式的斜视内窥镜的配置的示意图。

图4是示出根据本公开内容的实施方式的医疗用观察系统10的配置的示例的图。

图5是用于说明本公开内容的实施方式的概述的说明图。

图6是示出根据本公开内容的第一实施方式的学习装置200的配置的示例的框图。

图7是示出根据本公开内容的第一实施方式的生成用于教导负面案例的学习模型的方法的示例的流程图。

图8是用于说明根据本公开内容的第一实施方式的生成用于教导负面案例的学习模型的方法的示例的说明图。

图9是示出根据本公开内容的第一实施方式的控制装置300的配置的示例的框图。

图10是示出根据本公开内容的第一实施方式的控制方法的示例的流程图。

图11是用于说明根据本公开内容的第一实施方式的控制方法的说明图。

图12是用于说明根据本公开内容的第二实施方式的生成教师模型的方法的说明图。

图13是示出根据本公开内容的第二实施方式的控制方法的示例的流程图。

图14是用于说明根据本公开内容的第二实施方式的控制方法的说明图。

图15是用于说明根据本公开内容的第三实施方式的控制方法的说明图(第1部分)。

图16是用于说明根据本公开内容的第三实施方式的控制方法的说明图(第2部分)。

图17是示出根据本公开内容的第四实施方式的评估装置400的配置的示例的框图。

图18是示出根据本公开内容的第四实施方式的评估方法的示例的流程图。

图19是用于说明根据本公开内容的第四实施方式的评估方法的说明图。

图20是用于说明根据本公开内容的第四实施方式的显示屏的示例的说明图(第1部分)。

图21是用于说明根据本公开内容的第四实施方式的显示屏的示例的说明图(第2部分)。

图22是示出根据本公开内容的实施方式的计算机的示例的硬件配置图，该计算机实现生成用于教导负面案例的学习模型的功能。

具体实施方式

下面将参照附图详细说明本公开内容的优选实施方式。注意，在本说明书和附图中，具有基本相同的功能配置的部件由相同的附图标记和符号表示，因此省略了对部件的冗余说明。此外，在本说明书和附图中，具有基本相同或相似的功能配置的多个部件有时通过在相同的参考数字后附加不同的字母来区分。然而，当不是特别需要区分具有基本相同或相似的功能配置的多个部件中的每一个时，仅附加相同的参考数字和符号。

注意，按以下顺序进行说明。

1.内窥镜手术系统5000的配置示例

1.1内窥镜手术系统5000的示意性配置

1.2支承手臂装置5027的详细配置示例

1.3光源装置5043的详细配置示例

1.4摄像头5005和CCU 5039的详细配置示例

1.5内窥镜5001的配置示例

2.医疗用观察系统10的配置示例

3.致使创造本公开内容的实施方式的背景

4.第一实施方式

4.1生成用于教导负面案例的学习模型

4.2通过用于教导负面案例的学习模型进行自主控制

5.第二实施方式

5.1生成用于教导负面案例的学习模型

5.2通过用于教导负面案例的学习模型进行自主控制

6.第三实施方式

7.第四实施方式

7.1评估装置400的详细配置示例

7.2评估方法

8.结论

9.硬件配置

10.补充

<<1.内窥镜手术系统5000的配置示例>>

<1.1内窥镜手术系统5000的示意性配置>>

首先，在说明本公开内容的实施方式的细节之前，参照图1说明根据本公开内容的技术可以应用于的内窥镜手术系统5000的示意性配置。图1是示出根据本公开内容的技术可以应用于的内窥镜手术系统5000的示意性配置的示例的图。图1示出了其中外科医生5067正在使用内窥镜手术系统5000对病床5069上的患者5071执行手术的状态。如图1所示，内窥镜手术系统5000包括内窥镜5001、其他手术工具(医疗用器械)5017、支承内窥镜(医疗用观察装置)5001的支承手臂装置(医疗用手臂)5027以及其上安装有用于内窥镜手术的各种装置的推车5037。下面将依次说明内窥镜手术系统5000的细节。

(手术工具5017)

例如，在内窥镜手术中，不是切割腹壁和打开腹部，而是将称为套管针5025a至5025d的多个圆柱形穿刺器械穿刺到腹壁中。然后，将内窥镜5001的透镜镜筒5003和其他手术工具5017从套管针5025a至5025d插入患者5071的体腔。在图1所示的示例中，将作为其他手术工具5017的气腹管5019、能量治疗工具5021和镊子5023插入患者5071的体腔。能量治疗工具5021是用高频电流或超声波振动执行组织的切开和分离、血管的密封等的治疗工具。然而，图1中示出的手术工具5017只是示例。手术工具5017的示例包括一般用于内窥镜手术的各种手术工具，如钳子和牵开器。

(支承手臂装置5027)

支承手臂装置5027包括从基部5029延伸的手臂单元5031。在图1所示的示例中，手臂单元5031包括关节部分5033a、5033b和5033c以及连杆5035a和5035b，并且通过来自手臂控制装置5045的控制被驱动。然后，内窥镜5001由手臂单元5031支承，并且内窥镜5001的位置和姿态被控制。结果，可以实现内窥镜5001的位置的稳定固定。

(内窥镜5001)

内窥镜5001包括透镜镜筒5003和连接至透镜镜筒5003的近端的摄像头5005，透镜镜筒5003的从远端开始的预定长度的区域被插入患者5071的体腔。在图1所示的示例中，示出了配置成包括刚性透镜镜筒5003的所谓刚性内窥镜的内窥镜5001。然而，内窥镜5001可以被配置成包括柔性透镜镜筒5003的所谓柔性内窥镜。在本公开内容的实施方式中，内窥镜5001不受特别限制。

在透镜镜筒5003的远端处设置了其中装配有物镜的开口部分。光源装置5043连接至内窥镜5001。由光源装置5043生成的光由延伸到透镜镜筒5003内部的光导引导到透镜镜筒的远端，并且经由物镜朝患者5071的体腔内的观察目标照射。注意，在本公开内容的实施方式中，内窥镜5001可以是正面直视内窥镜或斜视内窥镜，并不特别限制。

在摄像头5005内设置有光学系统和成像元件。来自观察目标的反射光(观察光)被光学系统凝聚在成像元件上。观察光由成像元件进行光电转换。与观察光对应的电信号(即与观察图像对应的图像信号)被生成。该图像信号作为RAW数据被发送到摄像装置控制单元(CCU)5039。注意，摄像头5005实现了通过适当地驱动光学系统来调整放大率和焦距的功能。

注意，例如，为了应对立体视图(3D显示)等，可以在摄像头5005中设置多个成像元件。在这种情况下，在透镜镜筒5003内设置多个中继光学系统，以将观察光引导到多个成像元件中的每一个。

(安装在推车上的各种装置)

首先，显示装置5041根据CCU 5039的控制，基于经过CCU 5039的图像处理的图像信号显示图像。例如，当内窥镜5001适于诸如4K(水平像素数3840×竖直像素数2160)或8K(水平像素数7680×竖直像素数4320)的高分辨率成像时，以及/或者当内窥镜5001适于3D显示时，将与内窥镜5001对应的能够执行高分辨率显示的显示装置和/或能够执行3D显示的显示装置用作显示装置5041。可以根据用途设置具有不同分辨率和尺寸的多个显示装置5041。

由内窥镜5001捕获的患者5071体腔中的手术部位的图像显示在显示装置5041上。在实时查看显示装置5041上显示的手术部位的图像时，外科医生5067可以执行治疗，例如，使用能量治疗工具5021和镊子5023切除受影响的部分。注意，虽然没有示出，但是气腹管5019、能量治疗工具5021和镊子5023在手术期间可以由外科医生5067、助手等支承。

CCU 5039包括CPU(中央处理单元)、图形处理单元(GPU)等，并且可以共同控制内窥镜5001和显示装置5041的操作。具体地，CCU 5039对从摄像头5005接收到的图像信号执行各种图像处理以基于图像信号显示图像，例如显影处理(去马赛克处理)。此外，CCU 5039将经过图像处理的图像信号提供给显示装置5041。CCU 5039向摄像头5005发送控制信号并且控制对摄像头5005的驱动。该控制信号可以包括关于成像条件的信息，例如放大率和焦距。

光源装置5043包括诸如LED(发光二极管)的光源，并且在拍摄手术部位时向内窥镜5001提供照射光。

手臂控制装置5045包括诸如CPU的处理器，并且根据预定程序操作，从而根据预定控制方案控制支承手臂装置5027的手臂单元5031的驱动。

输入装置5047是内窥镜手术系统5000的输入接口。外科医生5067可以经由输入装置5047向内窥镜手术系统5000输入各种信息和指令。例如，外科医生5067经由输入装置5047输入关于手术的各种信息，例如患者的身体信息以及关于手术的手术程序的信息。例如，外科医生5067可以经由输入装置5047输入驱动手臂单元5031的指令、改变内窥镜5001的成像条件(照射光的类型、放大率、焦距等)的指令、驱动能量治疗工具5021的指令等。注意，输入装置5047的类型不受限制。输入装置5047可以是各种公知的输入装置。作为输入装置5047，可以应用例如鼠标、键盘、触摸面板、开关、脚踏开关5057、控制杆等。例如，当触摸面板被用作输入装置5047时，触摸面板可以设置在显示装置5041的显示表面上。

替选地，输入装置5047可以是佩戴在外科医生5067的身体的一部分上的装置，例如眼镜型可穿戴式装置或HMD(头部安装显示器)。在这种情况下，根据由这些装置检测到的外科医生5067的姿态或视线来执行各种输入。输入装置5047可以包括能够检测外科医生5067的运动的摄像装置。可以根据从由摄像装置捕获的图像中检测到的外科医生5067的姿态或视线来执行各种输入。此外，输入装置5047可以包括能够收集外科医生5067的语音的麦克风。可以经由麦克风通过语音来执行各种输入。如以上说明的，输入装置5047被配置成能够以非接触的方式输入各种信息。因此，特别是属于洁净区域的用户(例如外科医生5067)可以以非接触的方式操作属于非洁净区域的器械。由于外科医生5067可以在不从持握的手术工具释放他的/她的手的情况下操作器械，所以提高了外科医生5067的便利性。

治疗工具控制装置5049控制对能量治疗工具5021的驱动，用于烧灼和切开组织、密封血管等。气腹装置5051经由气腹管5019将气体送入患者的体腔5071来使体腔充气，以达到确保内窥镜5001的视野并且确保外科医生5067的工作空间的目的。记录器5053是能够记录关于手术的各种信息的装置。打印机5055是能够以诸如文本、图像或图表的各种格式打印关于手术的各种信息的装置。

<1.2支承手臂装置5027的详细配置示例>

此外，说明支承手臂装置5027的详细配置的示例。支承手臂装置5027包括作为底座的基部5029以及从基部5029延伸的手臂单元5031。在图1所示的示例中，手臂单元5031包括多个关节部分5033a、5033b和5033c以及由关节部分5033b联接的多个连杆5035a和5035b。然而，在图1中，为了简单起见，手臂单元5031的配置是以简化的方式示出的。具体地，可以适当地设置关节部分5033a至5033c和连杆5035a和5035b的形状、数目和布置、关节部分5033a至5033c的旋转轴的方向等，使得手臂单元5031具有期望的自由度。例如，手臂单元5031可以被适当地配置成具有6个自由度或更多。因此，由于内窥镜5001可以在手臂单元5031的可移动范围内自由移动，因此内窥镜5001的透镜镜筒5003可以从期望的方向插入患者5071的体腔中。

在关节部分5033a至5033c中设置有致动器。关节部分5033a至5033c被配置成可以根据致动器的驱动而围绕预定旋转轴旋转。致动器的驱动由手臂控制装置5045控制，由此控制关节部分5033a至5033c的旋转角度，并且控制对手臂单元5031的驱动。因此，可以实现对内窥镜5001的位置和姿态的控制。此时，手臂控制装置5045可以用诸如力控制或位置控制之类的各种公开已知的控制方法来控制对手臂单元5031的驱动。

例如，外科医生5067经由输入装置5047(包括脚踏开关5057)适当地执行操作输入，由此，对手臂单元5031的驱动可以由手臂控制装置5045根据操作输入适当地控制，并且可以控制内窥镜5001的位置和姿态。注意，手臂单元5031可以按所谓的主从方案操作。在这种情况下，手臂单元5031(从动装置)可以由外科医生5067经由设置在离开手术室的地方或设置在手术室内的输入装置5047(主控台)远程控制。

这里，一般来说，在内窥镜手术中，内窥镜5001由被称为内窥镜医师的医生支承。相比之下，在本公开内容的实施方式中，由于通过使用支承手臂装置5027可以更可靠地固定内窥镜5001的位置而无需手动操作，因此可以稳定地获得手术部位的图像并且顺利地执行手术。

注意，手臂控制装置5045可以不一定设置在推车5037中。手臂控制装置5045可以不一定是一个装置。例如，手臂控制装置5045可以设置在支承手臂装置5027的手臂单元5031的每个关节部分5033a至5033c中。对手臂单元5031的驱动控制可以通过多个手臂控制装置5045彼此合作来实现。

<1.3光源装置5043的详细配置示例>

随后，说明光源装置5043的详细配置的示例。光源装置5043向内窥镜5001供应拍摄手术部位时的照射光。光源装置5043包括例如LED、激光光源或者包括LED和激光光源的组合的白光源。此时，当白光源由RGB激光光源的组合配置时，可以高精确度地控制颜色(波长)的输出定时和输出强度。因此，可以在光源装置5043中调整捕获图像的白平衡。在这种情况下，通过用来自RGB激光光源中的每一个的激光以时分方式照射观察目标，并且与照射定时同步地控制对摄像头5005的成像元件的驱动，还可以以时分方式捕获与RGB中每一个对应的图像。根据该方法，即使在成像元件中没有设置滤色器，也可以获得彩色图像。

可以控制对光源装置5043的驱动，以在每个预定时间处改变输出光的强度。通过与光强度变化的定时同步地控制对摄像头5005的成像元件的驱动来以时分方式获取图像并且将图像进行组合，可以生成高动态范围的图像，并且没有所谓的纯黑和白虚。

此外，光源装置5043可以被配置成能够供应适于特殊光观察的预定波长带中的光。在特殊光观察中，例如，执行所谓窄带成像：所谓窄带成像用于利用身体组织中的光吸收的波长依赖性、通过照射与正常观察时的照射光(即白光)相比较窄的频带中的光，对诸如粘膜表层的血管之类的预定组织进行成像。替选地，在特殊光观察中，可以执行荧光观察，以利用由激发光照射生成的荧光来获得图像。在荧光观察中，例如，可以执行用于利用激发光照射身体组织并且观察来自身体组织的荧光的荧光观察(自发荧光观察)，或者执行用于在身体组织中局部注入诸如吲哚青绿(ICG)的试剂并且用与试剂的荧光波长对应的激发光照射身体组织以获得荧光图像的荧光观察。光源装置5043可以被配置成能够供应窄带光和/或与这种特殊光观察对应的激发光。

<1.4摄像头5005和CCU 5039的详细配置示例>

随后，参照图2说明摄像头5005和CCU 5039的详细配置的示例。图2是示出图1中示出的摄像头5005和CCU 5039的功能配置的示例的框图。

具体地，如图2所示，摄像头5005包括作为其功能的透镜单元5007、成像单元5009、驱动单元5011、通信单元5013和摄像头控制单元5015。CCU 5039包括作为其功能的通信单元5059、图像处理单元5061和控制单元5063。摄像头5005和CCU 5039经由传输线缆5065被连接成可双向通信。

首先，说明摄像头5005的功能配置。透镜单元5007是在与透镜镜筒5003的连接部分中设置的光学系统。从透镜镜筒5003的远端摄入的观察光被引导到摄像头5005，并且入射在透镜单元5007上。透镜单元5007是通过组合包括变焦透镜和聚焦透镜的多个透镜而配置的。透镜单元5007的光学特性被调整为在成像单元5009的成像元件的受光面上凝聚观察光。变焦透镜和聚焦透镜被配置成使得在其光轴上的位置是可移动的，以调整捕获图像的放大率和焦点。

成像单元5009包括成像元件，并且设置在透镜单元5007的后级处。穿过透镜单元5007的观察光凝聚在成像元件的受光面上，并且通过光电转换生成与观察图像对应的图像信号。由成像单元5009生成的图像信号被提供给通信单元5013。

作为配置成像单元5009的成像元件，例如，使用具有拜尔阵列并且能够执行彩色摄影的CMOS(互补金属氧化物半导体)类型的图像传感器。注意，作为成像元件，例如，可以使用适于拍摄具有4K或更高分辨率的图像的成像元件。由于以高分辨率获得手术部位的图像，因此外科医生5067可以更详细地掌握手术部位的状态，并且可以更顺利地进行手术。

配置成像单元5009的成像元件可以被配置成包括成对成像元件，该成对成像元件用于分别获取与3D显示对应的右眼图像信号和左眼图像信号(立体方案)。由于执行了3D显示，外科医生5067能够更准确地把握手术部位的生物组织(器官)深度以及把握与生物组织的距离。注意，当成像单元5009被配置成多板型时，可以设置透镜单元5007的多个系统以对应于成像元件。

成像单元5009不一定设置在摄像头5005中。例如，成像单元5009可以设置为紧接在透镜镜筒5003内的物镜后面。

驱动单元5011包括致动器，并且根据摄像头控制单元5015的控制使透镜单元5007的变焦透镜和聚焦透镜沿光轴移动预定距离。因此，可以适当地调整由成像单元5009捕获的捕获图像的放大率和焦点。

通信单元5013包括用于向CCU 5039发送以及从CCU 5039接收各种信息的通信装置。通信单元5013将从成像单元5009获得的图像信号作为RAW数据经由传输线缆5065发送到CCU 5039。此时，为了以低时延显示手术部位的捕获图像，图像信号优选地通过光通信传输。这是因为，在手术时，由于外科医生5067在利用捕获图像观察受影响部位的状态的同时进行手术，因此为了更安全和更可靠的手术，需要尽可能实时地显示手术部位的移动图像。当执行光学通信时，在通信单元5013中设置有将电信号转换为光信号的光电转换模块。图像信号由光电转换模块转换为光信号，然后经由传输线缆5065传输到CCU 5039。

通信单元5013从CCU 5039接收用于控制摄像头5005的驱动的控制信号。该控制信号包括关于成像条件的信息，例如指示指定了捕获图像的帧速率的信息、指示指定了成像时的曝光值的信息和/或指示指定了捕获图像的放大率和焦点的信息。通信单元5013将接收到的控制信号提供给摄像头控制单元5015。注意，来自CCU 5039的控制信号也可以通过光通信传输。在这种情况下，在通信单元5013中设置有将光信号转换为电信号的光电转换模块。控制信号由光电转换模块转换为电信号，然后提供给摄像头控制单元5015。

注意，诸如帧速率、曝光值、放大率和焦点之类的成像条件由CCU 5039的控制单元5063基于获取的图像信号自动设置。即，在内窥镜5001中实现了所谓的AE(自动曝光)功能、所谓的AF(自动聚焦)功能和所谓的AWB(自动白平衡)功能。

摄像头控制单元5015基于经由通信单元5013接收的来自CCU 5039的控制信号控制摄像头5005的驱动。例如，摄像头控制单元5015基于指示指定了捕获图像的帧速率的信息和/或指示指定了成像时的曝光值的信息控制成像单元5009的成像元件的驱动。例如，摄像头控制单元5015基于指示指定了捕获图像的放大率和焦点的信息，经由驱动单元5011适当地移动透镜单元5007的变焦透镜和聚焦透镜。摄像头控制单元5015可以还包括存储用于识别透镜镜筒5003和摄像头5005的信息的功能。

注意，通过将诸如透镜单元5007和成像单元5009之类的部件设置在具有高气密性和防水性的密封结构中，摄像头5005可以具有对高压灭菌处理的抵抗力。

随后，说明CCU 5039的功能配置。通信单元5059包括用于向摄像头5005发送以及从摄像头5005接收各种信息的通信装置。通信单元5059接收经由传输线缆5065从摄像头5005传输的图像信号。此时，如以上说明的，图像信号可以通过光学通信适当地发送。在这种情况下，在通信单元5059中设置有将光信号转换成电信号的光电转换模块，以适于光学通信。通信单元5059将转换为电信号的图像信号提供给图像处理单元5061。

此外，通信单元5059将用于控制摄像头5005的驱动的控制信号发送到摄像头5005。该控制信号也可以通过光通信发送。

图像处理单元5061将各种图像处理应用于从摄像头5005发送的作为RAW数据的图像信号。图像处理的示例包括各种公知的信号处理，例如显影处理、高图像质量处理(频带强调处理、超分辨率处理、NR(降噪)处理、摄像装置抖动校正处理等)和/或放大处理(电子变焦处理)。图像处理单元5061对图像信号执行检测处理以执行AE、AF和AWB。

图像处理单元5061包括诸如CPU或GPU之类的处理器。该处理器根据预定程序进行操作，由此可以执行以上说明的检测处理和图像处理。注意，当图像处理单元5061包括多个GPU时，图像处理单元5061适当地划分与图像信号相关的信息，并且与多个GPU并行地执行图像处理。

控制单元5063执行与内窥镜5001对手术部位的成像以及手术部位的捕获图像的显示有关的各种控制。例如，控制单元5063生成用于控制摄像头5005的驱动的控制信号。此时，当成像条件由外科医生5067输入时，控制单元5063基于外科医生5067的输入生成控制信号。替选地，当在内窥镜5001中实现了AE功能、AF功能和AWB功能时，控制单元5063根据图像处理单元5061的检测处理的结果计算最佳曝光值、最佳焦距和最佳白平衡并且生成控制信号。

控制单元5063基于经过了图像处理单元5061进行的图像处理的图像信号，使显示装置5041显示手术部位的图像。此时，控制单元5063使用各种图像识别技术识别手术部位图像中的各种对象。例如，控制单元5063可以通过检测包括在手术部位图像中的对象的边缘的形状、颜色等来识别手术工具，例如镊子、特定生物部位、出血、使用能量治疗工具5021时的雾气等。当在显示装置5041上显示手术部位的图像时，控制单元5063利用识别的结果在手术部位的图像上叠加并显示各种手术支持信息。手术支持信息被叠加和显示并且呈现给外科医生5067，由此可以更安全和可靠地进行手术。

连接摄像头5005和CCU 5039的传输线缆5065是适于电信号通信的电信号线缆、适于光通信的光纤、或者这些线缆的复合线缆。

这里，在示出的示例中，使用传输线缆5065执行有线通信。然而，摄像头5005与CCU5039之间的通信可以通过无线电执行。当通过无线电执行摄像头5005与CCU 5039之间的通信时，没有必要在手术室内铺设传输线缆5065。因此，可以消除医务人员(例如外科医生5067)在手术室中的移动被传输线缆5065阻碍的情况。

<1.5内窥镜5001的配置示例>

随后，作为内窥镜5001的示例，参照图3说明斜视内窥镜的基本配置。图3是示出根据本公开内容的实施方式的斜视内窥镜4100的配置的示意图。

具体地，如图3所示，斜视内窥镜4100附接至摄像头4200的远端。斜视内窥镜4100对应于参照图1和图2说明的透镜镜筒5003。摄像头4200对应于参照图1和图2说明的摄像头5005。斜视内窥镜4100和摄像头4200可相互独立旋转。在斜视内窥镜4100与摄像头4200之间以与关节部分5033a、5033b和5033c之间相同的方式提供致动器。根据致动器的驱动，斜视内窥镜4100相对于摄像头4200旋转。

斜视内窥镜4100由支承手臂装置5027支承。支承手臂装置5027具有代替内窥镜医师保持斜视内窥镜4100并且根据外科医生5067或助手的操作移动斜视内窥镜4100使得可以观察期望的部位的功能。

注意，在本公开内容的实施方式中，内窥镜5001不限于斜视内窥镜4100。例如，内窥镜5001可以是对内窥镜的远端部分的正面进行成像的正面直视内窥镜(未示出)，并且还可以具有从由内窥镜捕获的广角图像中切出图像的功能(广角/切出功能)。例如，内窥镜5001可以是具有远端弯曲功能(未示出)的内窥镜，其能够根据外科医生5067的操作通过自由弯曲内窥镜的远端部分来改变视场。例如，内窥镜5001可以是具有在另一方向上同时拍摄功能的内窥镜(未示出)，在该内窥镜中，在内窥镜的远端部分处构建具有不同视场的多个摄像装置单元，并且可以由相应的摄像装置获得不同的图像。

上面说明了可以应用根据本公开内容的技术的内窥镜手术系统5000的示例。注意，在此，作为示例，说明了内窥镜手术系统5000。然而，可以应用根据本公开内容的技术的系统不限于这样的示例。例如，根据本公开内容的技术可以应用于显微手术系统。

<<2.医疗用观察系统10的配置示例>>

此外，参照图4说明根据本公开内容的实施方式的医疗用观察系统10的配置的示例，该医疗用观察系统10可以与以上说明的内窥镜手术系统5000相结合。图4是示出根据本公开内容的实施方式的医疗用观察系统10的配置的示例的图。如图4所示，医疗用观察系统10主要包括内窥镜机器人手臂系统100、学习装置200、控制装置300、评估装置400、呈现装置500和外科医生侧装置600。医疗用观察系统10中包括的装置说明如下。

首先，在说明医疗用观察系统10的配置的细节之前，说明医疗用观察系统10的操作的概述。在医疗用观察系统10中，通过使用内窥镜机器人手臂系统100控制手臂单元102(对应于以上说明的支承手臂装置5027)，由手臂单元102支承的成像单元104(对应于以上说明的内窥镜5001)的位置可以被固定在合适的位置处而无需手动操作。因此，根据医疗用观察系统10，由于可以稳定地获得手术部位的图像，因此外科医生5067可以顺利地执行手术。注意，在以下说明中，移动或固定内窥镜的位置的人被称为内窥镜医师，而内窥镜5001的操作(包括移动、停止、改变姿态、放大、缩小等。)，无论是手动控制还是机械控制，均被称为镜工作。

(内窥镜机器人手臂系统100)

内窥镜机器人手臂系统100是支承成像单元104(内窥镜5001)的手臂单元102(支承手臂装置5027)，具体地，如图4所示，内窥镜机器人手臂系统100主要包括手臂单元(医疗用手臂)102、成像单元(医疗用观察装置)104和光源单元106。内窥镜机器人手臂系统100中包括的功能单元说明如下。

手臂单元102包括铰接手臂(对应于图1中示出的手臂单元5031)，铰接手臂是包括多个关节部分和多个连杆的多连杆结构。通过在可移动范围内驱动手臂单元102，可以控制设置在手臂单元102远端的成像单元104(内窥镜5001)的位置和姿态。此外，手臂单元102可以包括运动传感器(未示出)以获得手臂单元102的位置和姿态的数据，运动传感器包括加速度传感器、陀螺仪传感器和地磁传感器。

成像单元104被设置在手臂单元102的远端处，并且捕获各种成像目标对象的图像。换言之，手臂单元102支承成像单元104。注意，如以上说明的，成像单元104可以是例如斜视内窥镜4100、具有广角/切出功能的正面直视内窥镜(未示出)、具有远端弯曲功能的内窥镜(未示出)或者具有另一方向的同时成像功能的内窥镜(未示出)，或者可以是显微镜，并不特别限制。

此外，成像单元104可以捕获例如包括患者的腹腔中的各种医疗用器械(手术工具)、器官等的手术场图像。具体地，成像单元104是可以以移动图像和静止图像的形式对拍摄目标进行拍摄的摄像装置，并且优选地为包括广角光学系统的广角摄像装置。例如，虽然普通内窥镜的视角大约为80°，但是根据本实施方式的成像单元104的视角可以是140°。注意，成像单元104的视角可以小于140°，或者如果视角超过80°，则可以等于或大于140°。成像单元104可以向控制装置300等发送与捕获图像对应的电信号(图像信号)。注意，在图4中，成像单元104不需要被包括在内窥镜机器人手臂系统100中。如果成像单元104由手臂单元102支承，则成像单元104的形式不受限制。此外，手臂单元102可以支承诸如镊子5023的医疗用器械。

在本公开内容的实施方式中，成像单元104可以是能够进行距离测量的立体内窥镜。替选地，深度传感器(距离测量装置)(未示出)可以设置在成像单元104中或者与成像单元104分开设置。例如，深度传感器可以是使用TOF(飞行时间)方案执行距离测量的传感器，TOF方案使用来自对象的脉冲光的反射的返回时间执行距离测量，或者深度传感器可以是使用结构光方案执行距离测量的传感器，结构光方案用于照射格子状图案光并且根据图案的失真执行距离测量。

此外，在光源单元106中，成像单元104用光照射成像目标对象。光源单元106可以通过例如用于广角透镜的宽发光二极管(LED)来实现。例如，光源单元106可以通过组合普通的LED和透镜以散射光来配置。此外，光源单元106可以有如下配置：通过光纤(光导)传输的光被透镜扩散(变宽)。光源单元106可以通过将光纤本身引导到多个方向并且用光照射光纤来扩大照射范围。注意，在图4中，光源单元106并不总是需要被包括在内窥镜机器人手臂系统100中。如果照射光可以被引导到由手臂单元102支承的成像单元104，则光源单元106的形式不受限制。

(学习装置200)

学习装置200是例如使用CPU(中央处理单元)、MPU(微处理单元)等生成学习模型的装置，当生成用于使内窥镜机器人手臂系统100自主操作的自主操作控制信息时使用该学习模型。在本公开内容的实施方式中，基于包括在各种输入信息中的特征，生成学习模型，该学习模型用于执行与输入信息的分类对应的处理以及与分类结果对应的处理。该学习模型可以通过例如DNN(深度神经网络)来实现，DNN是具有多个节点的多层神经网络，包括输入层、多个中间层(隐藏层)和输出层。例如，在生成学习模型时，首先经由输入层输入各种输入信息，并且在串联连接的多个中间层中对输入信息中包括的特征执行提取处理等。随后，通过基于由中间层输出的信息经由输出层输出诸如分类结果的各种处理结果作为与输入信息对应的输出信息，可以生成学习模型。然而，本公开内容的实施方式不限于此。

注意，下面说明学习装置200的详细配置。学习装置200可以是与以上说明的图4中示出的内窥镜机器人手臂系统100、控制装置300、评估装置400、呈现装置500和外科医生侧装置600中的至少一个集成的装置，或者可以是单独的装置。替选地，学习装置200可以是设置在云上并且可通信地连接至内窥镜机器人手臂系统100、控制装置300、评估装置400、呈现装置500和外科医生侧装置600的装置。

(控制装置300)

控制装置300基于由以上说明的学习装置200生成的学习模型控制内窥镜机器人手臂系统100的驱动。控制装置300由例如执行程序(例如，根据本公开内容的实施方式的程序)的CPU、MPU等装置实现，所述程序存储在下文使用RAM(随机存取存储器)等说明的作为工作区的存储单元中。例如，控制装置300是控制器，并且可以由诸如ASIC(专用集成电路)或FPGA(现场可编程门阵列)的集成电路实现。

注意，下面将说明控制装置300的详细配置。控制装置300可以是与以上说明的图4中示出的内窥镜机器人手臂系统100、学习装置200、评估装置400、呈现装置500和外科医生侧装置600中的至少任何一个集成的装置，或者可以是单独的装置。替选地，控制装置300可以是设置在云上并且与内窥镜机器人手臂系统100、学习装置200、评估装置400、呈现装置500和外科医生侧装置600可通信地连接的装置。

(评估装置400)

评估装置400基于由以上说明的学习装置200生成的学习模型评估内窥镜机器人手臂系统100的操作。评估装置400由例如执行程序(例如，根据本公开内容的实施方式的程序)的CPU、MPU等实现，所述程序存储在下文使用RAM等说明的作为工作区的存储单元。注意，下文将说明评估装置400的详细配置。评估装置400可以是与以上描述的图4中示出的内窥镜机器人手臂系统100、学习装置200、控制装置300、呈现装置500和外科医生侧装置600中的至少任何一个集成的装置，或者可以是单独的装置。替选地，评估装置400可以是设置在云上并且可通信地连接至内窥镜机器人手臂系统100、学习装置200、控制装置300、呈现装置500和外科医生侧装置600的装置。

(呈现装置500)

呈现装置500显示各种图像。呈现装置500显示例如由成像单元104捕获的图像。呈现装置500可以是例如包括液晶显示器(LCD)或有机EL(电致发光)显示器的显示器。注意，呈现装置500可以是与以上说明的图4中示出的内窥镜机器人手臂系统100、学习装置200、控制装置300、评估装置400和外科医生侧装置600中的至少任何一个集成的装置。替选地，呈现装置500可以是单独的装置，呈现装置500通过金属线或无线电可通信地连接至内窥镜机器人手臂系统100、学习装置200、控制装置300、评估装置400和外科医生侧装置600中的至少任何一个。

(外科医生侧装置600)

外科医生侧装置600是设置在外科医生5067附近或佩戴在外科医生5067身上的装置(可穿戴式装置)，具体地，可以是例如传感器602或用户接口(UI)604。

例如，传感器602可以是检测外科医生5067发出的语音的声音传感器(未示出)、检测外科医生5067的视线的视线传感器(未示出)、检测外科医生5067的运动的运动传感器(未示出)等。这里，具体地，声音传感器可以是声音收集装置，例如可以收集外科医生5067发出的语音的麦克风。视线传感器可以是包括透镜和成像元件的成像装置。更具体地，成像传感器可以获得包括诸如眼睛的运动、瞳孔直径的大小以及外科医生5067的凝视时间的视线信息的感测数据。

运动传感器是检测外科医生5067的运动的传感器，具体地，可以是加速度传感器(未示出)、陀螺仪传感器(未示出)等。具体地，运动传感器检测根据外科医生5067的运动而发生的加速度、角速度等的变化，并且获取指示检测到的变化的感测数据。更具体地，运动传感器可以获取包括诸如外科医生5067的头部运动、姿态和身体晃动的信息的感测数据。

生物信息传感器是检测外科医生5067的生物信息的传感器，并且可以是例如直接附接至外科医生5067的身体的一部分并且测量外科医生5067的心跳、脉搏、血压、脑电波、呼吸、汗液、肌电位、皮肤温度、皮肤电阻等的各种传感器。生物信息传感器可以包括以上说明的成像装置(未示出)，并且在这种情况下，成像装置可以获取包括诸如外科医生5067的脉搏和面部肌肉的运动(面部表情)的信息的感测数据。

此外，UI 604可以是接收外科医生的输入的输入装置。具体地，UI 604可以是接收来自外科医生5067的文本输入的操作杆(未示出)、按钮(未示出)、键盘(未示出)、脚踏开关(未示出)、触摸面板(未示出)或主控台(未示出)，或者接收来自外科医生5067的语音输入的声音收集装置(未示出)。

<<3.促使创造本公开内容的实施方式的背景>>>

顺便提及，近年来，在以上说明的医疗用观察系统10中，使内窥镜机器人手臂系统100自动操作的开发已经得到推进。具体地，医疗用观察系统10中内窥镜机器人手臂系统100的自主操作可以分为各种级别。级别的示例包括由系统引导外科医生(操作者)5067的级别以及由系统自主执行手术中的部分操作(任务)例如移动成像单元104的位置和缝合手术部位的级别。级别的示例还包括手术中的操作内容由系统自动生成并且内窥镜机器人手臂系统100执行由医生从自动生成的操作中选择的操作的级别。在未来，内窥镜机器人手臂系统100在医生的监控下或者不在医生的监控下执行手术中的所有任务的级别。

注意，在下面说明的本公开内容的实施方式中，假设内窥镜机器人手臂系统100代替内窥镜医师自主地执行移动成像单元104的位置的任务(镜工作)并且外科医生5067直接执行手术或者参考由移动的成像单元104捕获的图像通过远程控制执行手术。例如，在内窥镜手术中，不适当的镜工作导致外科医生5067的负担增加，例如外科医生5067的疲劳和屏幕病，而且，进一步地存在镜工作的技能本身困难和专家短缺的问题。因此，对内窥镜机器人手臂系统100的自主镜工作有强烈的需求。

对于内窥镜机器人手臂系统100的自主操作，要求预先生成用于自主操作的控制信息(例如，目标值)。因此，使学习装置对手术内容等以及关于外科医生5067的手术操作和与手术内容等对应的内窥镜医师的镜工作等的操作的数据执行机器学习，并且生成学习模型。参考以这种方式获得的学习模型和控制规则等生成控制信息。更具体地，例如，当用于生产线等中使用的机器人等的常规的现有自主控制方法要应用于镜工作的自主控制时，将镜工作的大量良好操作数据(正确数据)输入到学习装置，以使学习装置执行机器学习。

然而，由于镜工作的偏好和程度因外科医生5067等不同而不同，所以难以理解正确答案。换言之，由于镜工作的质量与人(外科医生5067、内窥镜医师等)的敏感度相关，因此没有可以定量地评估镜工作的好坏的合适的方法。因此，难以收集大量的被认为是良好的镜工作的操作数据。即使可以基于镜工作的良好操作数据构建学习模型，但是因为机器学习数据的量少，学习模型是通过有偏差的操作数据构建的，所以获得的学习模型难以适当地涵盖所有状态(外科医生5067的偏好、手术过程、受影响部位的状况等等)。换言之，由于镜工作所特有的性质，难以对镜工作进行适当的标记。由于难以收集大量的良好镜工作的操作数据，所以难以有效地构建关于镜工作的学习模型。即，难以将现有的常规自主控制方法应用于镜工作的自主控制。此外，在医疗领域中，对可以使用的装置和时间有限制，而且，有必要保护患者的隐私。因此，在手术时难以获得大量的镜工作的操作数据。

因此，在以上说明的情况下，本发明人独特地构思了将(应该避开的)不良镜工作的大量操作数据而不是良好镜工作的大量操作数据(正确答案数据)输入到学习装置，并且使学习装置执行机器学习。如以上说明的，镜工作的质量与人的敏感度相关。因此，当人不同时，被认为是良好的镜工作也是不同的。另一方面，即使人不同，对(应该避开的)不良镜工作的看法是共同的，并且倾向于一致。因此，即使考虑到人的敏感度，与良好镜工作相比，更容易收集大量的不良镜工作的数据。因此，在由本发明人创造的本公开内容的实施方式中，通过使学习装置使用大量的不良镜工作的操作数据执行机器学习，可以有效地构建考虑人的敏感度的学习模型(用于教导负面案例的学习模型)。此外，在本实施方式中，决定目标值以避开由以这种方式获得的学习模型输出的状态(应该避开的状态)，并且执行内窥镜机器人手臂系统100的自主控制。

根据以上说明的由本发明人创造的本公开内容的实施方式，由于可以收集大量用于机器学习的适当标记的数据，因此可以有效地构建学习模型。

在下面的说明中，“应该避开的镜工作”是指当外科医生5067在内窥镜手术中执行手术时未获得适当视野的镜工作。更具体地，“应该避开的镜工作”可以包括例如未获得由科医生5067携带的医疗工具或手术部位的图像等的镜工作。在本实施方式中，“应该避开的镜工作”优选地是被确定为不仅对医生和内窥镜医师而且对普通人都明显不合适的镜工作。在下面的描述中，“可以不避开的镜工作”是指通过从各种镜工作中除去以上说明的“应该避开的镜工作”而得到的镜工作。在本说明书中，“良好镜工作”是指由外科医生等确定为合适的镜工作。然而，如以上说明的，由于镜工作的质量与人的敏感度相关，因此假设镜工作不是明确和唯一确定的镜工作。此外，在下面的说明中，通过对“应该避开的镜工作”的数据进行机器学习而成的学习模型被称为用于教导负面案例的学习模型(第一学习模型)。

在说明本公开内容的实施方式的细节之前，参照图5说明由发明人创造的本公开内容的实施方式的概述。图5是用于说明本实施方式的概述的说明图。在下面说明的本公开内容的实施方式中，首先，作为第一实施方式，通过对“应该避开的镜工作”执行机器学习来生成用于教导负面案例的学习模型，并且使用生成的用于教导负面案例的学习模型来执行内窥镜机器人手臂系统100的自主控制(图5左侧示出的流程)。作为第二实施方式，使用用于教导负面案例的学习模型收集“可以不避开的镜工作”的数据，通过对所收集的数据执行机器学习来生成教师模型(第二学习模型)，并且使用生成的教师模型来执行内窥镜机器人手臂系统100的自主控制(图5的右侧示出的流程)。作为第三实施方式，使用根据第一实施方式的用于教导负面案例的学习模型和根据第二实施方式的教师模型来执行内窥镜机器人手臂系统100的自主控制(在图5的下部示出)。此外，在本公开内容中，虽然在图5中未示出，但是作为第四实施方式，使用用于教导负面案例的学习模型来评估内窥镜医师的镜工作。下面将依次说明本公开内容的这样实施方式的细节。

<<4.第一实施方式>>

<4.1生成用于教导负面案例的学习模型>

学习装置200的详细配置

首先，参照图6说明根据本公开内容的实施方式的学习装置200的详细配置示例。图6是示出根据本实施方式的学习装置200的配置的示例的框图。学习装置200可以生成在生成自主操作控制信息时使用的用于教导负面案例的学习模型。具体地，如图6所示，学习装置200主要包括信息获取单元(状态信息获取单元)212、提取单元(第二提取单元)214、机器学习单元(第一机器学习单元)216、输出单元226和存储单元230。学习装置200的功能单元的细节将依次说明如下。

(信息获取单元212)

信息获取单元212可以从以上说明的内窥镜机器人手臂系统100以及包括的传感器602和UI 604的外科医生侧装置600获取关于内窥镜机器人手臂系统100的状态、外科医生的状态5067等的各种数据(状态信息)。此外，信息获取单元212将获取的数据输出到后面说明的提取单元214。

在本实施方式中，数据(状态信息)的示例包括像素数据，像素数据包括由成像单元104获取的图像数据以及由TOF系统传感器的光接收单元(未示出)获取的像素数据。在本实施方式中，由信息获取单元212获取的数据优选地包括至少像素数据，例如图像(图像数据)。在本实施方式中，像素数据不限于实际执行手术时获得的数据，并且可以是例如在使用医疗用体模(模型)进行模拟手术时获得的数据或者由三维图形等表示的手术模拟器获得的数据。此外，在本实施方式中，像素数据不一定限于包括医疗用器械(未示出)或器官的数据，而是可以例如只包括医疗用器械的数据或者只包括器官的数据。在本实施方式中，图像数据不限于由成像单元104获取的原始数据，并且可以是例如通过对由成像单元104获取的原始数据应用处理(亮度和饱和度的调整处理，用于从图像中提取关于医疗用器械或器官的位置、姿态和类型的信息的处理，语义分割等)而获得的数据。此外，在本实施方式中，可以将诸如识别出的或估计的手术顺序或上下文的信息(例如，元数据)与像素数据相链接。

在本实施方式中，数据(状态信息)可以是例如手臂单元102的远端部分或关节部分(未示出)以及成像单元104的位置、姿态、速度、加速度等。这样的数据可以在内窥镜医师手动操作或自主操作时从内窥镜机器人手臂系统100获得，或者可以从内窥镜机器人手臂系统100中设置的运动传感器获得。注意，内窥镜机器人手臂系统100的手动操作可以是内窥镜医师对用户接口604执行操作的方法，或者是内窥镜医师直接物理地抓取手臂单元102的一部分并且对手臂单元102施加力并且因此手臂单元102根据该力被动地操作的方法。此外，在本实施方式中，数据可以是与由成像单元104获取的图像对应的成像条件(例如，焦点)。数据可以是由手臂单元102支承的医疗用器械(未示出)的类型、位置、姿态、速度、加速度等。

此外，数据(状态信息)可以是例如操作信息(例如UI操作)或者手动操作内窥镜机器人手臂系统100的内窥镜医师或外科医生5067的生物信息。更具体地，生物信息的示例包括内窥镜医师或外科医生5067的视线、眨眼、心跳、脉搏、血压、脑电图、呼吸、出汗、肌电位、皮肤温度、皮肤电阻、发出的语音、姿态和运动(例如，摇头或摇晃身体)。例如，当确定外科医生5067等陷入在使内窥镜机器人手臂系统100自主操作和执行手术时应该避开的镜工作时，外科医生5067等有时执行切换操作以及用于例如直接向手臂单元102施力的操作，停止内窥镜机器人手臂系统100的自主操作，或者将自主操作模式变为手动操作模式。操作信息可以包括关于外科医生5067的这种操作的信息。例如，当被存储在下面说明的存储单元230中时，操作信息优选地以数据可以与其他数据明确区分的形式存储。注意，例如，以这种方式存储的数据可以不仅包括外科医生5067停止内窥镜机器人手臂系统100的自主操作时的时刻的数据，而且包括向该状态过渡时的数据(例如，从自主操作被停止前一秒到停止时的数据)。例如，发出的语音可以是包括外科医生5067在手术期间对内窥镜图像说出的负面表达的发出的语音，例如“这个外观不好”或者“我希望你靠更近一点”，即，假设与应该避开的镜工作深度相关联的发出的语音。

即，在本实施方式中，优选的是，如果数据是用作提取应该避开的镜工作的操作的数据的线索的数据，则信息获取单元212不受任何特定限制地获取该数据。那么，在本实施方式中，利用这种数据提取应该避开的镜工作的操作的数据。因此，根据本实施方式，可以利用在使用内窥镜机器人手臂系统100执行手术时无需做任何特别的事情就可以自然获得的数据来提取应该避开的镜工作的操作的数据。因此，可以有效地收集数据。

(提取单元214)

提取单元214可以从信息获取单元212输出的多个数据中提取标记为预定操作的数据，并且将提取的数据输出到下面说明的机器学习单元216。更具体地，例如，提取单元214可以使用图像分析等，从内窥镜机器人手臂系统100由内窥镜医师手动操作时获得的数据中提取被确定为应该避开的操作的镜工作(例如，手术部位未被成像单元104成像的镜工作)的操作的数据。此时，提取单元214可以参考通过分析生物信息而获得的外科医生5067、内窥镜医师等的压力水平、疾病的重要值等，参考通过分析话语而获得的假设与应该避开的镜工作深度联系的词汇如“这个外观不好”，或者参考UI操作等(例如，紧急停止操作)，来更准确地提取应该避开的镜工作的操作的数据。此外，当已知与应该避开的镜工作相关的信息(例如，时间段)时，提取单元214可以参考这样的相关信息来提取应该避开的镜工作的操作的数据。

(机器学习单元216)

机器学习单元216可以对从提取单元214输出的应该避开的镜工作的操作数据(关于医疗用手臂的操作的被标记为应该避开的操作的多个状态信息)执行机器学习，并且生成用于教导负面案例的学习模型。当下面说明的控制装置300控制内窥镜机器人手臂系统100自主操作以避开从用于教导负面案例的学习模型输出的状态时，使用用于教导负面案例的学习模型。然后，机器学习单元216将生成的用于教导负面案例的学习模型输出到下面说明的输出单元226和存储单元230。注意，在本实施方式中，机器学习单元216还可以使用被标记为应该避开的操作的不同类型的多个数据(例如，位置、姿态和速度)执行机器学习，并且还可以使用被标记为应该避开的操作的相同类型和不同状态的多个数据执行机器学习。

更具体地，假设机器学习单元216为例如支持矢量回归或深度神经网络(DNN)的监督学习装置。例如，机器学习单元216可以通过对应该避开的镜工作的操作的数据执行多变量分析，获得表征应该避开的镜工作的操作的特征值(例如，关于手臂单元102和成像单元104的位置、姿态、速度、加速度等的特征值，关于由成像单元104获得的图像的特征值以及关于与图像对应的成像条件的特征值)，并且根据关于获得的特征值的当前状态，生成指示与在应该避开的镜工作的情况下假设的接下来状态的相关性的用于教导负面案例的学习模型。因此，通过使用这样的用于教导负面案例的学习模型，例如，在应该避开的镜工作的情况下，可以根据当前状态，估计诸如由成像单元104获取的图像的像素数据、诸如手臂单元102的远端部分或关节部分(未示出)以及成像单元104的位置、姿态、速度和加速度等的状态以及接下来可能发生的图像的状态(特征值)。

作为具体示例，机器学习单元216可以使用时间t+Δt处的数据作为教师数据并且使用时间t处的数据作为输入数据执行机器学习。在本实施方式中，机器学习单元216可以使用基于公式的算法，例如可以更多分析地处理的高斯过程回归模型，或者可以是半监督学习装置或弱监督学习装置，并且没有特别限制。

(输出单元226)

输出单元226可以将从机器学习单元216输出的用于教导负面案例的学习模型输出到下面说明的控制装置300和评估装置400。

(存储单元230)

存储单元230可以存储各种信息。存储单元230例如由诸如RAM(随机存取存储器)或闪存的半导体存储元件或者诸如硬盘或光盘的存储装置实现。

注意，在本实施方式中，学习装置200的详细配置不限于图6中示出的配置。在本实施方式中，学习装置200可以包括例如识别单元(未示出)，该识别单元通过使用例如图像分析，从信息获取单元212输出的多个数据中识别由外科医生5067使用的医疗用器械(未示出)的类型、位置、姿态等。此外，学习装置200可以包括例如识别单元(未示出)，该识别单元通过使用例如图像分析，从信息获取单元212输出的多个数据中识别外科医生5067要处理的手术部位的器官的类型、位置、姿态等。

用于生成用于教导负面案例的学习模型的方法

随后，参照图7和图8说明根据本实施方式的用于生成教导负面案例的学习模型的方法。图7是示出根据本实施方式的生成用于教导负面案例的学习模型的方法的示例的流程图。图8是示出根据本实施方式的生成用于教导负面案例的学习模型的方法的示例的说明图。具体地，如图7所示，根据本实施方式的生成用于教导负面案例的学习模型的方法包括从步骤S101至步骤S103的多个步骤。下面说明根据本实施方式的这些步骤的细节。

首先，如图8所示，学习装置200从内窥镜机器人手臂系统100以及包括传感器602和UI 604的外科医生侧装置600获取关于内窥镜机器人手臂系统100的状态、外科医生5067的状态等的各种数据作为数据集x(步骤S101)。

随后，当内窥镜机器人手臂系统100由内窥镜医师手动操作时，学习装置200从获取的数据x中提取应该避开的镜工作(例如，手术部位未被成像装置104成像的镜工作)的操作的数据x′(步骤S102)。例如，当外科医生5067等确认由成像单元104捕获的图像并且确定镜工作是应该避开的镜工作时，可以通过用手动操作指定镜工作来提取与该镜工作相关的数据x′。学习装置200可以基于被认为与应该避开的镜工作具有相关性的信息(例如，外科医生5067的头部运动和心率)，提取与相关层之间的某些信息同时获取的数据，作为应该避开的镜工作的操作数据x′。注意，在本实施方式中，学习装置200不仅提取应该避开的镜工作的操作数据x′，而且还可以提取在达到镜工作之前的过渡时间段中的数据。通过这样做，在本实施方式中，即使在镜工作并非不良情况下，也可以通过学习模型预测外科医生5067等在未来可能从该状况落入的不良状况(应该避开的镜工作)。

然后，学习装置200使用应该避开的镜工作的操作的数据x′执行监督机器学习，并且生成用于教导负面案例的学习模型(步骤S103)。具体地，在本实施方式中，下面说明的控制装置300控制内窥镜机器人手臂系统100，以避开基于用于教导负面案例的学习模型输出的状态。在本实施方式中，根据在控制内窥镜机器人手臂系统100时关注的特征值来设置用于教导负面案例的学习模型。将表示作为特征值的应该避开的镜工作的操作的状态的矢量说明为s″。

例如，作为示例，说明了如下情况：内窥镜机器人手臂系统100通过算法自主控制，用于将由外科医生的右手5067携带的医疗用器械(未示出)的远端位置设置为屏幕的中心，并且将成像单元104与医疗用器械之间的距离移动到预定距离。在这种情况下，从应该避开的镜工作的操作的数据x′中获取的教师数据s″可以是由右手携带的医疗用器械的远端的位置坐标以及成像单元104与医疗用器械之间的距离信息，该位置坐标和距离信息被布置为矢量。更具体地，如图8所示，作为仅仅从应该避开的镜工作的操作数据x′中提取的用于学习的数据的输入数据x″与教师数据s″的组合可以是例如以下数据。

教师数据：在时间t+Δt(＝s″(t+Δt))处，由外科医生5067的右手携带的医疗用器械的远端在屏幕上的坐标、成像单元104与医疗用器械之间的距离信息以及指示医疗用器械的类型的信息的组合

输入数据：在时间t(＝x″(t))处，由外科医生5067的右手携带的医疗用器械的远端在屏幕上的坐标、成像单元104与医疗用器械之间的距离信息以及指示医疗用器械的类型的信息的组合

这里，Δt是时间宽度。Δt可以是获取的数据的采样时间宽度，或者可以是比采样时间宽度更长的时间。此外，在本实施方式中，教师数据和输入数据不一定限于是具有时间上的前后关系的数据。在本实施方式中，根据对内窥镜机器人手臂系统100进行控制时关注的特征值来选择教师数据s″。然而，关于输入数据x″，不仅是应该避开的镜工作的操作数据，而且可以灵活地添加其他相关数据，例如外科医生5067的生物信息。

随后，说明学习装置200根据教师数据s″和输入数据x″生成学习模型的具体方法的示例。这里，假设到目前为止获得的数据点的数目为N，并且当n为1≤n≤N时，将第n数据点表示为s″_n和x″_n。当将s″_n的第i分量表示为s″_ni时，矢量t_i可以由以下表达式(1)表示。

t_i＝[s″_1i，s″_2i，…，s″_Ni]^T     (1)

当基于高斯过程回归模型给出新的输入数据x″_N+1时，应该避开的镜工作的操作的状态的估计值s′的第i元素的期望值s′_i以及与估计值s′对应的方差σ′²可以用以下表达式(2)表示。

这里，C_N是协方差矩阵，第n行x第m列元素C_Nmn由以下表达式(3)表示。

C_Nnm(x_n，x_m)＝k(x_n，x_m)+β^-1δ_nm     (3)

此外，表达式(3)中的k是核函数，并且只需被选择为使得由表达式(3)给出的协方差矩阵CN是正常数。更具体地，k可以由例如以下表达式(4)给出。

注意，在表达式(4)中，θ₀、θ₁、θ₂和θ₃是可调参数。

在表达式(3)中，β是在观察s″_ni时叠加的噪声遵循高斯分布的情况下，表示精确度(方差的倒数)的参数。表达式(3)中的δ_nm是克罗内克δ。

此外，表达式(2)中的c可以由以下表达式(5)表示。

c＝k(x_n，x_n+1)+β^-1    (5)

可以认为，表达式(2)中的k是以k(x_n，x_N+1)为第n元素的矢量。

根据上面说明的算法，在本实施方式中，学习装置200可以获得用于教导负面案例的学习模型，该模型可以输出应该避开的镜工作的操作的状态的估计值s′和方差σ′²。这里，方差σ′²可以是指示应该避开的镜工作的操作的状态的估计值s′的精确度的方差。

如上所述，在本实施方式中，可以基于应该避开的镜工作的操作的数据，生成可以输出应该避开的镜工作的操作的状态的用于教导负面案例的学习模型。如上所述，对应该避开的镜工作的看法是共同的，并且即使人不同，也往往是一致的。因此，在本实施方式中，可以高效地收集大量的应该避开的镜工作的操作的数据，并且高效地构建考虑了人的敏感度的用于教导负面案例的学习模型。

<4.2通过用于教导负面案例的学习模型进行自主控制>

控制装置300的详细配置

首先，参照图9说明根据本公开内容的实施方式的控制装置300的详细配置示例。图9是示出根据本实施方式的控制装置300的配置示例的框图。控制装置300可以使用用于教导负面案例的学习模型自主控制内窥镜机器人手臂系统100。具体地，如图9所示，控制装置300主要包括处理单元310和存储单元330。依次说明控制装置300的功能单元的细节。

(处理单元310)

如图9所示，处理单元310主要包括信息获取单元312、图像处理单元314、目标状态计算单元(操作目标确定单元)316、特征值计算单元318、用于教导负面案例的学习模型获取单元320、教师模型获取单元322、综合处理单元(控制单元)324和输出单元326。

信息获取单元312可以在内窥镜机器人手臂系统100的操作期间实时地从内窥镜机器人手臂系统100以及以上说明的包括传感器602和UI 604的外科医生侧装置600获取关于内窥镜机器人手臂系统100的状态、外科医生5067的状态等的各种数据。在本实施方式中，数据的示例包括像素数据(例如由成像单元104获取的图像)，手臂单元102的远端部分和关节部分(未示出)以及成像单元104的位置、姿态、速度、加速度等，与由成像单元104获取的图像对应的成像条件，由手臂单元102支承的医疗用器械(未示出)的类型、位置、姿态、速度、加速度等，内窥镜医师或外科医生5067的操作信息(例如，UI操作)和生物信息等。例如，由信息获取单元312获取的数据不限于如上说明的获取的所有数据，并且可以是由成像单元104当前获取的图像、通过处理图像获得的数据，或者仅是手臂单元102的远端部分或关节部分的位置、姿态、速度、加速度等。此外，信息获取单元312将获取的数据输出到下文中说明的图像处理单元314、目标状态计算单元316和特征值计算单元318。

图像处理单元314可以对由成像单元104捕获的图像执行各种处理。具体地，例如，图像处理单元314可以通过在由成像单元104捕获的图像中切出并且放大显示目标区域来生成新图像。生成的图像经由下文说明的输出单元326输出到呈现装置500。

此外，处理单元310包括确定内窥镜机器人手臂系统(医疗用手臂)100的操作目标的目标状态计算单元316和特征值计算单元318。目标状态计算单元316可以计算期望进行控制的下一时刻应该存在的特征值的目标值s*，并且将目标值s*输出到下面说明的综合处理单元324。例如，目标状态计算单元316根据例如存在于成像单元104的视场中的医疗用器械(未示出)的组合，基于预定规则计算预定医疗用器械的远端位于视场中心的状态作为目标值s*。替选地，目标状态计算单元316可以分析外科医生5067的运动等，并且将由外科医生5067的左手或右手携带的医疗用器械可以被成像单元104适当成像的位置设置为目标值s*。注意，在本实施方式中，目标状态计算单元316的算法没有特别的限制，并且可以是基于迄今获得的知识的规则库、学习库或者规则库和学习库的组合。在本实施方式中，假设目标值s*可能包括应该避开的镜工作的操作的状态。

特征值计算单元318可以从信息获取单元312输出的数据中提取应该被控制的特征值的当前状态s，并且将当前状态s输出到下面说明的综合处理单元324。例如，当试图控制由外科医生5067的右手携带的医疗用器械(未示出)的远端的位置以及医疗用器械在图像上的距离时，特征值计算单元318从信息获取单元312输出的数据中提取关于位置和距离的数据，执行计算，并且将该数据设置为特征值s。注意，在本实施方式中，要求将特征值s的类型设置为与由以上说明的目标状态计算单元316计算的目标值s*相同。

用于教导负面案例的学习模型获取单元320可以从学习装置200获取用于教导负面案例的学习模型，并且将用于教导负面案例的学习模型输出到下文说明的综合处理单元324。教师模型获取单元322也可以从学习装置200获取教师模型，并且将教师模型输出到下面说明的综合处理单元324。教师模型获取单元322的详细操作将在下文说明的本公开内容的第二实施方式中说明。

综合处理单元324可以控制包括关节部分和环形部分的手臂单元102的驱动(例如，综合处理单元324通过控制供应给关节部分的致动器中的马达的电流量来控制马达的旋转速度，并且控制关节部分中的旋转角度和生成的扭矩)，控制成像单元104的成像条件(例如，聚焦、放大率等)，并且控制光源单元106的照射光的强度等。此外，综合处理单元324可以自主地控制内窥镜机器人手臂系统100，以避开关于从用于教导负面案例的学习模型获取单元320输出的用于教导负面案例的学习模型所估计的状态。综合处理单元324控制内窥镜机器人手臂系统100以使希望被控制的特征值s接近由目标状态计算单元316确定的操作目标(目标值s*)，同时执行控制以确保对应该避开的镜工作的操作的状态的预定间距。更具体地，综合处理单元324基于目标值s*和应该避开的镜工作的操作状态的估计值s′，最终确定给予内窥镜机器人手臂系统100的控制命令u。所确定的控制命令u经由下面说明的输出单元326输出到内窥镜机器人手臂系统100。此时，综合处理单元324使用例如评估函数执行控制。然而，如果应该避开的镜工作的操作状态的估计值s′的精确度(例如上面说明的方差σ′²)可以用作教导负面案例的学习模型，则可以根据精确度修改评估函数并且使用。

输出单元326可以将由图像处理单元314处理的图像输出到呈现装置500，并且将从综合处理单元324输出的控制命令u输出到内窥镜机器人手臂系统100。

(存储单元330)

存储单元330可以存储各种信息。存储单元330例如由诸如RAM或闪存的半导体存储元件或者诸如硬盘或光盘的存储装置来实现。

注意，在本实施方式中，控制装置300的详细配置不限于图9中示出的配置。在本实施方式中，控制装置300可以包括例如识别单元(未示出)，该识别单元从信息获取单元312输出的多个数据中，通过使用例如图像分析，识别由外科医生5067使用的医疗用器械(未示出)的类型、位置、姿态等。此外，控制装置300可以包括例如识别单元(未示出)，该识别单元从信息获取单元312输出的多个数据中，通过使用例如图像分析等，识别由外科医生5067治疗的手术部位的器官的类型、位置、姿态等。

控制方法

随后，参照图10和图11说明根据本实施方式的控制方法。图10是示出根据本实施方式的控制方法的示例的流程图。图11是用于说明根据本实施方式的控制方法的说明图。如图10所示，根据本实施方式的控制方法可以包括从步骤S201至步骤S203的多个步骤。下面将说明根据本实施方式的这些步骤的细节。

控制装置300从内窥镜机器人手臂系统100以及包括传感器602和UI 604的外科医生侧装置600实时地获取关于内窥镜机器人手臂系统100的状态、外科医生5067的状态等的各种数据(步骤S201)。

控制装置300计算控制命令u(步骤S202)。下面说明此时的具体计算方法的示例。

例如，将成像单元104的图像输出表示为m，将关于对象的参数例如成像条件和对象的已知尺寸和形状被表示为a，并且将诸如内窥镜机器人手臂系统100的手臂单元102的位置和姿态的参数被表示为q。注意，作为q，可以根据需要将手臂单元102的位置、姿态等的时间微分也包括在元素中。作为q，还可以包括光学或电子状态量的元素，例如成像单元104的变焦量调整或者图像的特定区域的切出。在这样的前提下，在内窥镜机器人手臂系统100的控制系统被控制为收敛到0时的控制偏差e可以由以下表达式(6)表示。

e＝s(q，m，n)-s^*     (6)

在用于确定期望进行控制的状态s的变量中，上面说明的q是由手臂单元102的动力学特性和安装在手臂单元102上的致动器的控制输入确定的。一般来说，q可以由以下表达式(7)的微分方程表示。

根据控制系统设计的思想，表达式(7)中的函数f只需设置为表示适当的机器人模型。例如，将根据机器人手臂的动力学理论导出的非线性运动方程应用为函数f。该函数f可以被认为是当控制命令u发送到手臂单元102时在设置在关节部分(未示出)中的致动器中生成的扭矩。根据需要，也可以将通过使非线性运动方程线性化而获得的方程应用于函数f。

不一定总是需要将机器人本身的运动方程应用于函数f。可以将由机器人的运动控制系统控制的动力学特性应用于函数f。作为具体示例，由于成像单元104是通过在患者腹部设置的套管针插入体内的，因此，恰当的是，将支承成像单元104的手臂单元102控制成使得成像单元104接受套管针的假想约束(腹壁上的一个点处的平面二自由度约束)是合适的。因此，作为函数f，反映位于手臂单元102远端处的成像单元104被约束在套管针上并且成像单元104的诸如插入和取出以及姿态改变的响应速度由控制系统人为设置这一事实的动力学特性可以经数学建模并使用。此时，控制指令u不一定是由手臂单元102的致动器生成的扭矩，并且可以是由运动控制系统人为设置的新的控制输入。例如，当运动控制系统被配置成接收成像单元104的视场的移动量作为命令并且然后确定实现该命令所需的手臂单元102的关节部分(未示出)的扭矩时，控制命令u可以被视为视场的移动量。

随后，控制装置300控制内窥镜机器人手臂系统100(步骤S203)。这里，作为内窥镜机器人手臂系统100的控制，说明了用于使当前时间点处的状态s接近目标值s*的控制算法的示例。随后，说明通过用于教导负面案例的学习模型来避开应该避开的镜工作的操作的状态的估计值s′的控制算法的示例。

用于使状态s接近目标值s*的控制算法的示例

该控制可以被理解为一种优化问题，用于在寻找使以下表达式(8)的评估函数V最小化的机械手臂单元102的状态q的同时，计算用于使手臂单元102的状态收敛于q的控制命令u。

注意，在表达式(8)中，Q_v是权重矩阵。然而，q和u不能自由确定。至少应用上面说明的表达式(7)作为约束条件。

作为用于解决这种优化问题的方法，存在模型预测控制作为控制理论领域中实际使用的解决方案。模型预测控制是通过实时地对有限时间间隔内的最优控制问题进行数值求解来执行反馈控制的方法，也被称为滚动时域控制。

因此，当以可以应用模型预测控制的形式改写评估函数时，以上说明的表达式(8)可以由以下表达式(9)表示。

约束条件由以下表达式(10)表示。

在表达式(9)和表达式(10)中，Q、R和Q_fin是权重矩阵，函数φ表示终端成本。在表达式中，q_m(τ)和u_m(τ)只是用于执行模型预测控制的操作的状态和控制输入，而不一定与实际系统的状态和控制输入一致。然而，表达式(10)中的下表达式只在初始时间处建立。

作为用于计算控制输入u^* _m(τ)并且(t≤τ≤t+T)以实时地使J最小化的优化算法，例如可以使用被认为适用于模型预测控制的GMRES(广义最小残差)方法。这样，在时间t处实际给予手臂单元102的实际控制命令u(t)可以例如仅使用时间t处的值通过以下表达式(11)来确定。

用于避开由用于教导负面案例的学习模型输出的应该避开的镜工作的操作的状态的估计值s′的控制算法的示例

随后，说明用于避开由基于用于教导负面案例的学习模型输出的应该避开的镜工作的操作的状态的估计值s′的控制算法的示例。为了实现这样的控制，例如，使状态s接近所说明的目标值s*的控制算法只需在上面展开，使得评估函数的值在状态s接近估计值s′的时候增加。具体地，表达式(9)的中间部分所示的评估函数L可以通过将表达式(9)改写为以下表达式(12)来实现。

表达式(12)中的函数P是优化理论中的所谓惩罚函数，K是用于调整惩罚效果的增益。这样，在本实施方式中，如图11所示，在用于使状态s收敛到目标值s*的控制过程中，可以控制状态s尽可能不接近应该避开的镜工作的操作状态的状态的估计值s′。

注意，在使用基于用于教导负面案例的学习模型输出的应该避开的镜工作的操作的状态的估计值s′的控制中，当内窥镜机器人手臂系统100的当前状态信息x与当学习用于教导负面案例的学习模型时使用的输入数据x″彼此之间存在很大差异时，有可能内窥镜机器人手臂系统100被沿意外的方向进行控制而不能被适当地控制。因此，在本实施方式中，考虑到这种情况，优选的是执行控制，使得也使用估计值s′的精确度σ′²。例如，在上面说明的高斯过程回归模型中，学习装置200也可以在期望值(估计值)s′之外还输出方差σ′²。此外，如上所述，当方差σ′²很大时，这意味着期望值(估计值)s′的精确度很低。因此，在本实施方式中，例如，当方差σ′²大于预定值时，可以执行控制以忽略评估函数L′的惩罚项(表达式12)。替选地，在本实施方式中，可以将评估函数L′的惩罚项的增益K定义为依赖于方差σ′²。更具体地，通过在方差σ′²较大、精确度较低时减少增益K，可以执行控制，以不自动考虑通过用于教导负面案例的学习模型输出的应该避开的镜工作的操作的状态的估计值s′。注意，在本实施方式中，除了这样的方法外，还可以应用解决具有约束条件的优化问题的各种方法，例如障碍法和乘数法。

如上所述，在本实施方式中，可以控制内窥镜机器人手臂系统100以避开应该避开的镜工作的操作的状态中的估计值s′，该估计值s′是基于基于应该避开的镜工作的操作的数据的用于教导负面案例的学习模型而输出的。因此，根据本实施方式，由于考虑到难以用数学方法处理的人的敏感度和感官方面，可以使用用于教导负面案例的学习模型，因此，可以在考虑到人的敏感度等的情况下自主地控制内窥镜机器人手臂系统100。

<<5.第二实施方式>>

在接下来说明的本公开内容的第二实施方式中，使用以上说明的用于教导负面案例的学习模型收集“可以不避开的镜工作”的数据，并且通过对收集的数据执行机器学习来生成教师模型。在本实施方式中，使用生成的教师模型执行内窥镜机器人手臂系统100的自主控制。

<5.1生成教师模型>

学习装置200a的详细配置

首先，参照图12说明根据本实施方式的学习装置200a的详细配置示例。图12是用于说明根据本实施方式的生成教师模型的方法的说明图。学习装置200a可以生成用于生成自主操作控制信息的教师模型。具体地，如图12所示，学习装置200a主要包括信息获取单元(状态信息获取单元)212、提取单元(第一提取单元)214a、机器学习单元(第二机器学习单元)216a、输出单元226(图12中未示出)和存储单元230(图12中未示出)。下面将依次说明学习装置200a的功能单元的细节。注意，在本实施方式中，由于信息获取单元212、输出单元226和存储单元230与第一实施方式是共同的，所以这里省略对这些单元的说明。

(提取单元214a)

提取单元214a可以基于以上说明的用于教导负面案例的学习模型，从内窥镜机器人手臂系统100被内窥镜医师手动操作时获得的数据(状态信息)x中提取可以不避开的镜工作(例如，其中手术部位由成像单元104成像的镜工作)的操作的数据(标记为可以不避开的操作的状态信息)y′。此外，提取单元214a可以将提取的数据y′输出到下面说明的机器学习单元216a。在相关技术中，只能通过从至少大量的数据x中手动去除应该避开的镜工作的操作的数据x′来获得可以不避开的镜工作的操作的数据y′。然而，在本实施方式中，通过使用用于教导负面案例的学习模型，可以自动提取可以不避开的镜工作的操作的数据y′。此外，根据本实施方式，可以通过使用以这种方式获得的数据y′来生成教师模型。通过使用教师模型可以提高内窥镜机器人手臂系统100的自主控制的精确度。

这里，说明自动提取可以不避开的镜工作的操作的数据y′的具体示例。如图12所示，提取单元214a获得用于教导负面案例的学习模型(估计值s′、方差σ′²)，并且计算大量数据的状态s与估计值s′之间的差值范数，如以下表达式(13)所示。随后，在差值范数等于或小于阈值sd的情况下，提取单元214a可以通过从大量数据中排除差值范数的数据，来自动提取可以不避开的镜工作的操作的数据y′。

||s-s′||≤s_d    (13)

注意，在本实施方式中，作为另一种方法，可以利用用于教导负面案例的学习模型的方差σ′²等自动提取可以不避开的镜工作的操作的数据y′。

(机器学习单元216a)

如在第一实施方式中，机器学习单元216a是监督学习装置，并且可以通过对从提取单元214a输出的可以不避开的镜工作的操作的数据(被标记为可以不避开的操作的状态信息)y″执行机器学习来生成教师模型。当内窥镜机器人手臂系统100被控制自主操作时在下面说明的控制装置300a的综合处理单元324(见图14)中使用该教师模型。机器学习单元216a将教师模型输出到输出单元226和存储单元230。

注意，在本实施方式中，学习装置200a的详细配置不限于图12中示出的配置。

注意，在本实施方式中，由于生成教师模型的方法与第一实施方式是共同的，因此这里省略对生成教师模型的方法的说明。

<5.2通过教师模型进行自主控制>

随后，说明使用教师模型对内窥镜机器人手臂系统100的自主控制。然而，由于根据本实施方式的控制装置300与第一实施方式是共同的，所以这里省略关于控制装置300的详细配置示例的说明。

参照图13和图14说明根据本实施方式的由教师模型进行的控制方法。图13是示出根据本实施方式的控制方法的示例的流程图。图14是用于说明根据本实施方式的控制方法的说明图。如图13所示，根据本实施方式的控制方法可以包括从步骤S301至步骤S306的多个步骤。下面将说明根据本实施方式的这些步骤的细节。

在本实施方式中，考虑到基于可以不避开的镜工作的操作的数据从教师模型获得的估计值r′，确定目标值s*，并且确定给手臂单元102的控制命令u。具体地，在第一实施方式中，目标值s*是基于诸如数学公式的规则库来确定的。然而，在本实施方式中，通过使用基于可以不避开的镜工作的操作的数据从教师模型获得的估计值r′作为目标值s*，可以使内窥镜机器人手臂系统100的自主操作更接近于进一步反映外科医生5067的敏感度的镜工作。

然而，在本实施方式中，基于可以不避开的镜工作的操作的数据从教师模型获得的估计值r′不一定是基于良好镜工作的操作的数据的估计值。因此，当使用从教师模型获得的估计值r′执行控制时，内窥镜机器人手臂系统100不一定能被适当地自主控制。因此，在本实施方式中，如图14所示，基于预先确定的规则，确定将基于可以不避开的镜工作的操作的数据从教师模型获得的估计值r′与通过与第一实施方式中相同的方法确定的目标值s*中的哪一个用作控制的目标值。

首先，如第一实施方式中那样，控制装置300实时地从内窥镜机器人手臂系统100等获取关于例如内窥镜机器人手臂系统100的状态的各种数据(步骤S301)。随后，控制装置300如第一实施方式中那样计算目标值s*(步骤S302)。控制装置300从学习装置200a获取教师模型(步骤S303)。

随后，控制装置300确定是否使用从步骤S303中获取的教师模型获得的估计值r′作为目标值来执行控制(步骤S304)。例如，当在步骤S302中计算的目标值s*与从教师模型获得的估计值r′接近时，估计为从教师模型获得的估计值r′在经验上未偏离在诸如数学公式的规则库中假设的良好镜工作的操作的状态。因此，由于从教师模型中获得的估计值r′是高度可靠的，并且极有可能也处于反映外科医生5067的感觉的镜工作的状态，因此估计值r′可以作为目标值进行控制。更具体地，在步骤S302中计算的目标值s*与从教师模型获得的估计值r′的接近程度可以使用上面说明的差值范数来确定。在本实施方式中，当从教师模型获得的方差σ²等的精确度等于或小于预定值时，可以将从教师模型获得的估计值r′用作目标值进行控制。

当确定使用在步骤S303中从教师模型获得的估计值r′作为目标值执行控制时(步骤S304：是)，控制装置300进行到步骤S305。当确定不使用从教师模型获得的估计值r′作为目标值执行控制时(步骤S304：否)，控制装置300进行到步骤S306。

控制装置300使用步骤S303中从教师模型获得的估计值r′作为目标值来控制内窥镜机器人手臂系统100(步骤S305)。控制装置300使用在步骤S302中计算的目标值s*控制内窥镜机器人手臂系统100(步骤S306)。控制方法的细节与第一实施方式中的细节相同。因此，这里省略对控制方法的详细说明。

如上所述，在本实施方式中，通过使用用于教导负面案例的学习模型，可以自动提取可以不避开的镜工作的操作的数据y′。此外，根据本实施方式，可以通过使用以这种方式获得的数据y′来生成教师模型。通过使用教师模型可以提高内窥镜机器人手臂系统100的自主控制的精确度。

<<6.第三实施方式>>

随后，参照图15和图16说明使用根据第一实施方式的用于教导负面案例的学习模型以及根据第二实施方式的教师模型的内窥镜机器人手臂系统100的自主控制。图15和图16是用于说明根据本实施方式的控制方法的说明图。在本实施方式中，通过同时使用利用用于教导负面案例的学习模型的自主控制和利用教师模型的自主控制，可以拥有两种自主控制的优点。因此，可以实现反映外科医生5067对难以用数学公式表示的镜工作的感觉的自主控制。

更具体地，在本实施方式中，如图15所示，如第一实施方式那样，综合处理单元324控制内窥镜机器人手臂系统100以避开应该避开的镜工作的操作的状态的估计值s′。此时，综合处理单元324可以使用基于可以不避开的镜工作的操作的数据从教师模型获得的估计值r′作为目标值来控制内窥镜机器人手臂系统100。注意，在本实施方式中，同样，如在上面说明的第二实施方式中那样，优选的是基于预定规则来确定将基于可以不避开的镜工作的操作的数据从教师模型中获得的估计值r′与通过与第一实施方式中的方法相同的方法确定的目标值s*中的哪一个用作控制的目标值。在本实施方式中，综合处理单元324可以对用于教导负面案例的学习模型的估计值s′和教师模型的估计值r′执行加权并且控制内窥镜机器人手臂系统100。

在本实施方式中，首先，可以控制内窥镜机器人手臂系统100以避开用于教导负面案例的学习模型的估计值s′的状态，然后，可以控制内窥镜机器人手臂系统100以使估计值s′的状态接近教师模型的估计值r′的状态。此外，在本实施方式中，使用用于教导负面案例的学习模型的估计值s′的控制与使用教师模型的估计值r′的控制可以以循环形状重复使用来控制内窥镜机器人手臂系统100。

具体地，如图16所示，首先，根据本实施方式的医疗用观察系统10通过执行和验证使用用于教导负面案例的学习模型的自主控制(可以并行地进行使用教师模型的自主控制)来获取新的数据x。验证的方法可以由外科医生5067他自己或她自己通过使用内窥镜机器人手臂系统100对患者进行手术来执行，或者可以在内窥镜机器人手臂系统100中使用医疗用体模(模型)来执行。此外，可以使用模拟器来执行验证。例如，通过使用模拟器，可以在虚拟空间上虚拟再现患者、手术部位、成像单元104、手臂单元102、医疗用器械等，并且可以由医生在手术部位上虚拟执行手术。这里获取的数据x是执行自主控制以避开从至少用于教导负面案例的学习模型中获得的应该避开的镜工作的操作的状态的结果。然而，可以想象的是，最初获得的数据x包括不能被用于教导负面案例的学习模型涵盖并且应该被避开的镜工作的操作的状态。

因此，在本实施方式中，使用用于教导负面案例的学习模型的估计值s′的控制与使用教师模型的估计值r′的控制以循环形状重复使用。在重复循环的初始时间段中，由于获取的数据x包括很多应该避开的镜工作的操作的数据，因此需要时间来提取和收集应该避开的镜工作的操作的数据。然而，通过多次重复循环，用于教导负面案例的学习模型和教师模型已经成熟，并且这些模型的自主控制质量得到提高。因此，同时，数据x中包括的应该避开的镜工作的操作的数据减少。因此，提取和收集应该避开的镜工作的操作的数据的负担循序地减少，并且促进了用于教导负面案例的学习模型的质量的提高。此外，由于可以不避开的镜工作的操作的数据的质量也得到了提高，因此基于可以不避开的镜工作的操作的数据的教师模型的质量也得到了提高。最后，当用于教导负面案例的学习模型和教师模型更加成熟时，可以只提取和收集高质量镜工作的操作的数据。因此，可以仅使用基于这些数据的教师数据来自主控制内窥镜机器人手臂系统100。

注意，本实施方式不限于用以上说明的验证方法获取新数据x，并且可以是例如通过使用另一学习模型或控制算法获得的结果，或者可以是实际上由外科医生5067和内窥镜医师手动执行的手术的测量数据。

如上所述，根据本发明的实施方式，另一方面，通过同时使用利用用于教导负面案例的学习模型的自主控制和利用教师模型的自主控制，可以拥有两种自主控制的优点。因此，可以实现反映外科医生5067对难以用数学公式表示的镜工作的感觉的自主控制。

<<7.第四实施方式>>

在本实施方式中，使用以上说明的用于教导负面案例的学习模型对内窥镜医师的实际镜工作进行评估，并且将评估结果呈现给内窥镜医师。在本实施方式中，例如，当实际镜工作是应该避开的镜工作时，可以经由通知装置500等将该镜工作通知给内窥镜医师。在本实施方式中，评估结果可以在训练内窥镜医师时(在实际镜工作中；例如，还包括使用由其他内窥镜医师进行的镜工作的视频的教学材料)反馈。因此，根据本发明的实施方式，可以促进内窥镜医师的技能的提高。

<7.1评估装置400的详细配置示例>>

首先，参照图17说明根据本公开内容的实施方式的评估装置400的详细配置示例。图17是示出根据本实施方式的评估装置400的配置示例的框图。具体地，如图17所示，评估装置400主要包括信息获取单元412、评估计算单元(评估单元)414、模型获取单元420、输出单元426和存储单元430。评估装置400的功能单元的细节将在下面依次说明。

(信息获取单元412)

信息获取单元412可以实时地从内窥镜机器人手臂系统100等获取关于内窥镜机器人手臂系统100的状态的各种数据。

(评估计算单元414)

评估计算单元414可以根据从下面说明的模型获取单元420输出的用于教导负面案例的学习模型(估计值s′等)来评估镜工作，并且将评估结果输出到后面要描述的输出单元426。例如，评估计算单元414计算在实例中的特征值的状态s与从用于教导负面案例的学习模型获得的应该避开的镜工作的操作的状态的估计值s′之间的差值的范数作为评估值。在这种情况下，可以解释为，随着评估值的变小，镜工作更接近于应该避开的镜工作。

(模型获取单元420)

模型获取单元420可以从学习装置200获取用于教导负面案例的学习模型(估计值s′、方差σ′²等)，并且将用于教导负面案例的学习模型输出到评估计算单元414。

(输出单元426)

输出单元426可以将来自以上说明的评估计算单元414的评估结果输出到呈现装置500。注意，在本实施方式中，评估结果不限于例如由呈现装置500显示。例如，作为向内窥镜医师实时呈现评估结果的方法，当评估结果处于比某一指标更差的状态时，例如佩戴在内窥镜医师身上的可穿戴式装置(未示出)可以振动或输出声音，或者安装在呈现装置500上的灯可以闪烁。

在本实施方式中，代替实时呈现评估结果，而是可以在一系列手术操作完成后呈现综合评估结果。例如，可以计算在实例中的特征值的状态s与应该避开的镜工作的操作的估计值s′之间的范数差值，并且可以将范数差值的时间平均值作为评估结果进行呈现。这样，在时间平均值较高的情况下，可以向内窥镜医师呈现关于镜工作的质量较低的通知。

(存储单元430)

存储单元430存储各种信息。存储单元430例如由诸如RAM或闪存的半导体存储元件或者诸如硬盘或光盘的存储装置来实现。

注意，在本实施方式中，评估装置400的详细配置不限于图17中示出的配置。

<7.2评估方法>

随后，参照图18至图21说明根据本实施方式的评估方法。图18是示出根据本实施方式的评估方法的示例的流程图。图19是用于说明根据本实施方式的评估方法的说明图。图20和图21是用于说明根据本实施方式的显示屏的示例的说明图。如图18所示，根据本实施方式的评估方法可以包括从步骤S401至步骤S403的多个步骤。下面将说明根据本实施方式的这些步骤的细节。

首先，评估装置400从内窥镜机器人手臂系统100等实时地获取关于内窥镜机器人手臂系统100的状态的各种数据(步骤S401)。此外，如图19所示，评估装置400从学习装置200获取用于教导负面案例的学习模型(估计值s′、方差σ′²等)。

随后，如图19所示，评估装置400根据用于教导负面案例的学习模型(估计值s′等)，基于步骤S401中获取的数据评估镜工作，并且输出评估结果(步骤S402)。

评估装置400将评估结果呈现给内窥镜医师(步骤S403)。在本实施方式中，例如，当评估结果被实时显示时，如图20所示，包括医疗用器械800等的图像的手术视频700显示在呈现装置500的显示单元上。此外，在本实施方式中，评估结果实时地显示在位于显示单元的一角的评估显示702上，以不干扰内窥镜医师的镜工作。

在本实施方式中，例如，当在手术完成后显示评估结果时，可以显示指示评估结果的时间序列变化的评估显示704，如图21中示出。在这种情况下，为了使手术视频700与评估结果在时间上同步，例如，优选的是用户(例如，内窥镜医师)在评估显示704上移动光标900的位置，由此再现与光标900的位置对应的时间处的手术视频700中的视频。此外，在本实施方式中，当可以基于手术视频700、评估结果等确定与手术视频700相关的镜工作是应该避开的镜工作时，优选的是在呈现装置500的显示单元上显示用于执行将手术视频700登记为应该避开的镜工作的数据的操作的按钮902。注意，在本实施方式中，这种登记工作可以在手术期间实时执行，或者可以在手术后离线执行。

如上所述，在本实施方式中，可以使用用于教导负面案例的学习模型来评估内窥镜医师的镜工作，并且可以将评估结果呈现给内窥镜医师。因此，根据本实施方式，由于在内窥镜医师的镜工作趋于落入例如不良状态时可以作为定量数据进行反馈，因此可以利用该数据进行培训，以提高内窥镜医师的技能。

<<8.结论>>

如上所述，根据本公开内容的实施方式，可以收集大量用于机器学习的适当标记的数据(应该避开的镜工作的操作的数据和可以不避开的镜工作的操作的数据)并且高效地构建学习模型(用于教导负面案例的学习模型或教师模型)。

<<9.硬件配置>>

根据上面说明的实施方式的信息处理装置如学习装置200是由例如具有图22所示配置的计算机1000实现的。下面作为示例说明根据本公开内容的实施方式的学习装置200。图22是示出计算机的示例的硬件配置图，该计算机实现了生成根据本公开内容的实施方式的用于教导负面案例的学习模型的功能。计算机1000包括CPU 1100、RAM 1200、ROM(只读存储器)1300、HDD(硬盘驱动器)1400、通信接口1500和输入/输出接口1600。计算机1000的单元通过总线1050连接。

CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，并且控制这些单元。例如，CPU 1100在RAM 1200中开发存储在ROM 1300或HDD 1400中的程序并且执行与各种程序对应的处理。

ROM 1300存储有例如将由CPU 1100在计算机1000的启动时间处执行的BIOS(基本输入输出系统)的启动程序、取决于计算机1000的硬件的程序等。

HDD 1400是非暂态地记录要由CPU 1100执行的程序、由这样的程序使用的数据等的计算机可读记录介质。具体地，HDD 1400是记录根据本公开内容的医疗手臂控制方法的程序的记录介质，该程序是程序数据1450的示例。

通信接口1500是用于计算机1000连接至外部网络1550(例如，因特网)的接口。例如，CPU 1100接收来自其他装置的数据并且经由通信接口1500将由CPU 1100生成的数据发送给其他装置。

输入/输出接口1600是用于连接输入/输出装置1650和计算机1000的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘或鼠标的输入装置接收数据。CPU 1100经由输入/输出接口1600将数据发送至诸如显示器、扬声器或打印机的输出装置。输入/输出接口1600可以用作读取记录在预定计算机可读记录介质(介质)中的程序等的介质接口。例如，该介质是光学记录介质，如DVD(数字多功能光盘)或PD(相变可重写磁盘)，磁光记录介质，如MO(磁光盘)、磁带介质、磁记录介质或者半导体存储器。

例如，当计算机1000充当根据本公开内容的实施方式的学习装置200时，计算机1000的CPU 1100执行加载在RAM 1200上的用于生成用于教导负面案例的学习模型的程序，从而实现生成用于教导负面案例的学习模型的功能。HDD 1400可以存储用于生成根据本公开内容的实施方式的教师模型的程序。注意，CPU 1100从HDD 1400读取程序数据1450并且执行程序数据1450。然而，作为另一个示例，CPU 1100可以经由外部网络1550从另一个装置获得信息处理程序。

根据本实施方式的学习装置200可以应用于包括以连接至网络(或装置之间的通信)为前提的多个装置的系统，例如云计算。

上面说明了学习装置200的硬件配置的示例。上面说明的部件可以使用通用构件进行配置，或者可以通过专门用于部件的功能的硬件进行配置。这样的配置可以根据每次实施时的技术水平进行适当的改变。

<<10.补充>>

注意，以上说明的本公开内容的实施方式可以包括例如由以上说明的信息处理装置或信息处理系统执行的信息处理方法、用于使信息处理装置发挥作用的程序以及其中记录该程序的非暂态有形介质。该程序可以经由通信线路(包括无线通信)如互联网进行分发。

以上说明的本公开内容的实施方式中的信息处理方法中的步骤可以不总是按照描述的顺序处理。例如，在处理这些步骤时可以适当改变顺序。这些步骤可以部分地并行或单独处理，而不是按时间序列处理。此外，步骤的处理可能不总是按照所描述的方法来处理，并且可以通过例如另一功能单元按照另一种方法来处理。

在以上实施方式中说明的各种处理中，说明为自动执行的处理的全部或部分可以手动执行，或者说明为手动执行的处理的全部或部分可以通过公知的方法自动执行。此外，除非另外特别指出，否则处理程序、具体名称以及包括文献中说明的和附图中示出的各种数据和参数的信息都可以可选地改变。例如，图中示出的各种信息不限于示出的信息。

示出的装置的部件在功能上是概念性的，并不总是要求在物理上按照图中示出的那样进行进行配置。即，装置的分布和集成的具体形式不限于示出的形式，并且其全部或部分可以根据各种负荷、使用情况等，通过在功能上或物理上以任何单元分布和集成来进行配置。

在上文参照附图详细说明了本公开内容的优选实施方式。然而，本公开内容的技术范围不限于这样示例。显然，具有本公开内容的技术领域中的普通知识的技术人员可以在权利要求书中描述的技术思想的范畴内得出各种替换或修正。可以理解的是，这些替换或修正本质上属于本公开内容的技术范围。

本说明书中描述的效果只是说明性或示例性的，而不是限制性的。即，根据本公开内容的技术可以与以上说明的效果一起或者代替以上说明的效果，实现本领域技术人员从本说明书的描述中明显得出的其他效果。

注意，本技术也可以采取以下配置。

(1)一种信息处理装置，包括控制单元，所述控制单元使用第一学习模型执行控制以使医疗用手臂自主操作，所述第一学习模型是通过对关于所述医疗用手臂的操作的多个状态信息进行机器学习而生成的，所述多个状态信息被标记为应该避开的操作。

(2)根据(1)所述的信息处理装置，还包括生成所述第一学习模型的第一机器学习单元。

(3)根据(1)或(2)所述的信息处理装置，其中，所述医疗用手臂支承医疗用观察装置。

(4)根据(3)所述的信息处理装置，其中，所述医疗用观察装置是内窥镜。

(5)根据(1)所述的信息处理装置，其中，所述医疗用手臂支承医疗用器械。

(6)根据(1)至(5)中任何一项的信息处理装置，其中，所述多个状态信息包括所述医疗用手臂的位置、姿态、速度、加速度以及图像中的至少任一信息。

(7)根据(6)所述的信息处理装置，其中，所述多个状态信息包括与同一种类的不同状态有关的信息。

(8)根据(1)至(7)中任何一项的信息处理装置，其中，所述多个状态信息包括手术者的生物信息。

(9)根据(8)所述的信息处理装置，其中，所述生物信息包括所述手术者的发出的语音、运动、视线、心跳、脉搏、血压、脑电波、呼吸、出汗、肌电位、皮肤温度和皮肤电阻中的至少任意一个。

(10)根据(2)所述的信息处理装置，其中，所述第一学习模型估计关于所述医疗用手臂的位置、姿态、速度、加速度、图像的特征值以及成像条件中的至少任意一个的信息。

(11)根据(2)所述的信息处理装置，其中，所述控制单元使所述医疗用手臂自主操作以避开由所述第一学习模型估计的状态。

(12)根据(11)所述的信息处理装置，还包括操作目标确定单元，所述操作目标确定单元确定所述医疗用手臂的操作目标，其中，

所述控制单元基于所述操作目标使所述医疗用手臂自主操作。

(13)根据(11)所述的信息处理装置，还包括：

状态信息获取单元，其获取多个所述状态信息；以及

第一提取单元，其基于所述第一学习模型，从所述多个状态信息中提取被标记为可以不避开的操作的多个状态信息。

(14)根据(13)所述的信息处理装置，还包括第二机器学习单元，所述第二机器学习单元对被标记为可以不避开的操作的多个状态信息执行机器学习，并且生成第二学习模型。

(15)根据(14)所述的信息处理装置，其中，所述控制单元使用所述第二学习模型使所述医疗用手臂自主操作。

(16)根据(15)所述的信息处理装置其中，所述控制单元对所述第一学习模型和所述第二学习模型的估计执行加权。

(17)根据(15)所述的信息处理装置，其中，所述控制单元根据所述第一学习模型使所述医疗用手臂自主操作，并且随后根据所述第二学习模型使所述医疗用手臂自主操作。

(18)根据(2)所述的信息处理装置，还包括：

状态信息获取单元，其获取多个所述状态信息；以及

第二提取单元，其从所述多个状态信息中提取被标记为应该避开的操作的多个状态信息。

(19)根据(18)所述的信息处理装置，其中，所述第二提取单元基于所述多个状态信息中包括的停止操作信息、图像和发出的语音中的任意一个，从所述多个状态信息中提取被标记为应该避开的操作的所述多个状态信息。

(20)根据(2)所述的信息处理装置，还包括评估单元，所述评估单元根据所述第一学习模型评估所述医疗用手臂的操作。

(21)一种程序，用于使计算机进行以下操作：

使用第一学习模型来执行对医疗用手臂的自主操作的控制，所述第一学习模型是通过对关于所述医疗用手臂的操作的多个状态信息进行机器学习而生成的，所述多个状态信息被标记为应该避开的操作。

(22)一种学习模型，用于使计算机用来执行控制以使医疗用手臂自主操作来避开基于所述学习模型输出的状态，所述学习模型包括：

与通过对关于所述医疗用手臂的操作的多个状态信息进行机器学习而提取的特征值有关的信息，所述多个状态信息被标记为应该避开的操作。

(23)一种生成学习模型的方法，所述学习模型用于使计算机用来控制医疗用手臂自主操作以避开基于所述学习模型输出的状态，所述方法包括：

通过对关于所述医疗用手臂的操作的多个状态信息进行机器学习来生成所述学习模型，所述多个状态信息被标记为所述医疗用手臂应该避开的操作。

附图标记列表

10 医疗用观察系统

100 内窥镜机器人手臂系统

102 手臂单元

104 成像单元

106 光源单元

200、200a 学习装置

212、312、412 信息获取单元

214、214a 提取单元

216、216a 机器学习单元

226、326、426 输出单元

230、330、430 存储单元

300 控制装置

310 处理单元

314 图像处理单元

316 目标状态计算单元

318 特征值计算单元

320 用于教导负面案例的学习模型获取单元

322 教师模型获取单元

324 综合处理单元

400 评估装置

414 评估计算单元

420 模型获取单元

500 呈现装置

600 外科医生侧装置

602 传感器

604 UI

700 手术视频

702、704 评估显示

800 医疗用器械

900 光标

902 按钮

Claims (23)

1.一种信息处理装置，包括控制单元，所述控制单元使用第一学习模型执行控制以使医疗用手臂自主操作，所述第一学习模型是通过对关于所述医疗用手臂的操作的多个状态信息进行机器学习而生成的，所述多个状态信息被标记为应该避开的操作。

2.根据权利要求1所述的信息处理装置，还包括生成所述第一学习模型的第一机器学习单元。

3.根据权利要求1所述的信息处理装置，其中，所述医疗用手臂支承医疗用观察装置。

4.根据权利要求3所述的信息处理装置，其中，所述医疗用观察装置是内窥镜。

5.根据权利要求1所述的信息处理装置，其中，所述医疗用手臂支承医疗用器械。

6.根据权利要求1所述的信息处理装置，其中，所述多个状态信息包括所述医疗用手臂的位置、姿态、速度、加速度以及图像中的至少任一信息。

7.根据权利要求6所述的信息处理装置，其中，所述多个状态信息包括与同一种类的不同状态有关的信息。

8.根据权利要求1所述的信息处理装置，其中，所述多个状态信息包括手术者的生物信息。

9.根据权利要求8所述的信息处理装置，其中，所述生物信息包括所述手术者的发出的语音、运动、视线、心跳、脉搏、血压、脑电波、呼吸、出汗、肌电位、皮肤温度和皮肤电阻中的至少任意一个。

10.根据权利要求2所述的信息处理装置，其中，所述第一学习模型估计关于所述医疗用手臂的位置、姿态、速度、加速度、图像的特征值以及成像条件中的至少任意一个的信息。

11.根据权利要求2所述的信息处理装置，其中，所述控制单元使所述医疗用手臂自主操作以避开由所述第一学习模型估计的状态。

12.根据权利要求11所述的信息处理装置，还包括操作目标确定单元，所述操作目标确定单元确定所述医疗用手臂的操作目标，其中，

所述控制单元基于所述操作目标使所述医疗用手臂自主操作。

13.根据权利要求11所述的信息处理装置，还包括：

状态信息获取单元，其获取多个所述状态信息；以及

第一提取单元，其基于所述第一学习模型，从所述多个状态信息中提取被标记为可以不避开的操作的多个状态信息。

14.根据权利要求13所述的信息处理装置，还包括第二机器学习单元，所述第二机器学习单元对被标记为可以不避开的操作的多个状态信息执行机器学习，并且生成第二学习模型。

15.根据权利要求14所述的信息处理装置，其中，所述控制单元使用所述第二学习模型使所述医疗用手臂自主操作。

16.根据权利要求15所述的信息处理装置，其中，所述控制单元对所述第一学习模型和所述第二学习模型的估计执行加权。

17.根据权利要求15所述的信息处理装置，其中，所述控制单元根据所述第一学习模型使所述医疗用手臂自主操作，并且随后根据所述第二学习模型使所述医疗用手臂自主操作。

18.根据权利要求2所述的信息处理装置，还包括：

状态信息获取单元，其获取多个所述状态信息；以及

第二提取单元，其从所述多个状态信息中提取被标记为应该避开的操作的多个状态信息。

19.根据权利要求18所述的信息处理装置，其中，所述第二提取单元基于所述多个状态信息中包括的停止操作信息、图像和发出的语音中的任意一个，从所述多个状态信息中提取被标记为应该避开的操作的所述多个状态信息。

20.根据权利要求2所述的信息处理装置，还包括评估单元，所述评估单元根据所述第一学习模型评估所述医疗用手臂的操作。

21.一种程序，用于使计算机进行以下操作：

使用第一学习模型来执行对医疗用手臂的自主操作的控制，所述第一学习模型是通过对关于所述医疗用手臂的操作的多个状态信息进行机器学习而生成的，所述多个状态信息被标记为应该避开的操作。

22.一种学习模型，用于使计算机用来执行控制以使医疗用手臂自主操作来避开基于所述学习模型输出的状态，所述学习模型包括：

与通过对关于所述医疗用手臂的操作的多个状态信息进行机器学习而提取的特征值有关的信息，所述多个状态信息被标记为应该避开的操作。

23.一种生成学习模型的方法，所述学习模型用于使计算机用来控制医疗用手臂自主操作以避开基于所述学习模型输出的状态，所述方法包括：

通过对关于所述医疗用手臂的操作的多个状态信息进行机器学习来生成所述学习模型，所述多个状态信息被标记为所述医疗用手臂应该避开的操作。

Images