CN116097287A - 计算机程序、学习模型的生成方法、手术辅助装置以及信息处理方法 - Google Patents

Abstract

提供一种计算机程序、学习模型的生成方法、手术辅助装置以及信息处理方法。使计算机执行如下处理：获取对镜视下手术的术野进行拍摄而得到的术野图像，将获取到的术野图像输入学习模型，从而识别该术野图像中包含的疏松结缔组织部分，所述学习模型学习为，在输入了术野图像的情况下输出与疏松结缔组织相关的信息。

Description

计算机程序、学习模型的生成方法、手术辅助装置以及信息处理方法

技术领域

本发明涉及计算机程序、学习模型的生成方法、手术辅助装置以及信息处理方法。

背景技术

在腹腔镜手术中，例如进行去除患者体内形成的恶性肿瘤等病变部的手术。此时，利用腹腔镜对患者的体内进行拍摄，并将得到的观察图像显示在监视器上(例如，参照专利文献1)。手术者一边查看监视器上显示的观察图像，一边使用各种手术工具进行腹腔镜手术。例如，手术者使用钳子使包含病变部的组织向适当的方向展开，使存在于包含病变部的组织与应该保留的组织之间的疏松结缔组织露出。手术者使用电手术刀等能量处置工具切除露出的疏松结缔组织，使包含病变部的组织从应该保留的组织剥离。

现有技术文献

专利文献

专利文献1：日本特开2005-287839号公报

发明内容

发明要解决的问题

然而，由于在构成疏松结缔组织的纤维周围存在血管、神经、或者液体基质、多种细胞，因此对于手术者而言，从术野图像中找出疏松结缔组织不一定容易。

本发明的目的在于，提供一种能够从术野图像输出疏松结缔组织部分的识别结果的计算机程序、学习模型的生成方法、手术辅助装置以及信息处理方法。

用于解决问题的方案

本发明的一个方面的计算机程序用于使计算机执行如下处理：获取对镜视下手术的术野进行拍摄而得到的术野图像，将获取到的术野图像输入学习模型，从而输出该术野图像中包含的疏松结缔组织部分的识别结果，所述学习模型学习为，在输入了术野图像的情况下输出疏松结缔组织的识别结果。

在本发明的一方面的学习模型的生成方法中，使用计算机，获取训练数据，所述训练数据包括对镜视下手术的术野进行拍摄而得到的术野图像和表示该术野图像内的疏松结缔组织部分的正解数据，根据获取到的训练数据的集合，生成在输入了术野图像的情况下输出疏松结缔组织的识别结果的学习模型。

本发明的一方面的手术辅助装置具备：获取部，其获取对镜视下手术的术野进行拍摄而得到的术野图像；识别部，其使用学习模型识别由所述获取部获取到的术野图像中包含的疏松结缔组织部分，所述学习模型学习为，在输入了术野图像情况下输出疏松结缔组织的识别结果；以及输出部，其根据该识别部的识别结果，输出与所述镜视下手术相关的辅助信息。

在本发明的一方面的信息处理方法中，使用计算机，获取对镜视下手术的术野进行拍摄而得到的术野图像，使用学习模型识别获取到的术野图像中包含的疏松结缔组织部分，所述学习模型学习为，在输入了术野图像情况下输出疏松结缔组织的识别结果，根据识别结果，输出与所述镜视下手术相关的辅助信息。

发明效果

根据本申请，能够从术野图像输出疏松结缔组织部分的识别结果。

附图说明

图1是说明实施方式1的腹腔镜手术辅助系统的概略构成的示意图。

图2是说明手术辅助装置的内部构成的框图。

图3是示出术野图像的一个例子的示意图。

图4是示出学习模型的构成例的示意图。

图5是示出学习模型的识别结果的示意图。

图6是说明学习模型的生成步骤的流程图。

图7是说明手术辅助的执行步骤的流程图。

图8是示出显示装置中的显示例的示意图。

图9是示出实施方式2中的识别图像的显示例的示意图。

图10是说明实施方式3中的学习模型的softmax层的构成的说明图。

图11是示出实施方式3中的显示例的示意图。

图12是示出实施方式4中的显示例的示意图。

图13是示出实施方式4中的显示切换步骤的流程图。

图14是示出实施方式5中的显示切换步骤的流程图。

图15是说明实施方式6的手术辅助装置的内部构成的框图。

图16是说明由实施方式6的手术辅助装置执行的处理的步骤的流程图。

图17是说明运算结果的解析方法的说明图。

图18是示出评价系数表的一个例子的图。

图19是示出得分的计算结果的一个例子的图。

图20是示出由实施方式7的手术辅助装置执行的处理的步骤的流程图。

图21是说明实施方式8的手术辅助装置的内部构成的框图。

图22是示出实施方式8中的显示例的示意图。

图23是示出与确信度对应的识别结果的显示例的示意图。

图24是示出手术辅助装置所具备的用户界面的构成例的示意图。

具体实施方式

以下，使用附图具体说明将本发明应用于腹腔镜手术的辅助系统的方式。此外，本发明不限于腹腔镜手术，能够适用于所有使用了胸腔镜、消化道内窥镜、膀胱镜、关节镜、机器人辅助下手术、脊椎内窥镜、手术显微镜、神经内窥镜、外窥镜等拍摄装置的镜视下手术。

(实施方式1)

图1是说明实施方式1的腹腔镜手术辅助系统的概略构成的示意图。在腹腔镜手术中，代替实施开腹手术，在患者的腹壁上安装多个称为穿刺器(troca)10的开孔器具，从设于穿刺器10的开孔将腹腔镜11、能量处置器具12、钳子13等器具插入患者体内。手术者进行一边实时观察由腹腔镜11拍摄的患者体内的图像(术野图像)，一边使用能量处置器具12切除患部等的处置。腹腔镜11、能量处置器具12、钳子13等手术器具由手术者或机器人等保持。手术者是与腹腔镜手术相关的医疗工作者，包括执刀医生、助手、护士、监视手术的医生等。

腹腔镜11具备插入患者体内的插入部11A、内置于插入部11A的前端部分的拍摄装置11B、设置于插入部11A的后端部分的操作部11C、以及用于连接到相机控制单元(CCU)110或光源装置120的通用软线11D。

腹腔镜11的插入部11A由硬性管形成。在硬性管的前端部分设置有弯曲部。弯曲部中的弯曲机构是组装于通常的腹腔镜的公知的机构，构成为通过与操作部11C的操作联动的操作线的牵引而向例如上下左右四个方向弯曲。此外，腹腔镜11不限于上述具有弯曲部的软性镜，也可以是不具有弯曲部的硬性镜，还可以是不具有弯曲部、硬性管的拍摄装置。

拍摄装置11B具备驱动电路，驱动电路具备CMOS(Complementary Metal OxideSemiconductor)等固体拍摄元件、定时发生器(TG)、模拟信号处理电路(AFE)等。拍摄装置11B的驱动电路与从TG输出的时钟信号同步地取入从固体拍摄元件输出的RGB各个颜色的信号，在AFE中实施噪声去除、放大、A/D转换等必要的处理，生成数字形式的图像数据。拍摄装置11B的驱动电路通过通用软线11D将生成的图像数据传输到CCU110。

操作部11C具备由手术者操作的角杆或远程开关等。角杆是接受用于使弯曲部弯曲的操作的操作器具。也可以代替角杆而设置弯曲操作旋钮、操纵杆等。远程开关例如包括将观察图像切换为动态图像显示或静态图像显示的切换开关、放大或缩小观察图像的变焦开关等。远程开关可以被分配预定的特定功能，也可以被分配由手术者设定的功能。

另外，还可以在操作部11C中内置由线性谐振致动器或压电致动器等构成的振子。在发生了应该告知给操作腹腔镜11的手术者的事件的情况下，CCU110也可以通过使内置于操作部11C的振子工作而使操作部11C振动，从而将上述事件的发生通知给手术者。

在腹腔镜11的插入部11A、操作部11C及通用软线11D的内部配置有传输电缆和光导等，传输电缆用于传输从CCU110向拍摄装置11B输出的控制信号或从拍摄装置11B输出的图像数据，光导将从光源装置120射出的照明光引导至插入部11A的前端部分。从光源装置120射出的照明光通过光导被引导至插入部11A的前端部分，并经由设置于插入部11A的前端部分的照明透镜照射到术野。此外，在本实施方式中，将光源装置120记载为独立的装置，但光源装置120也可以是内置于CCU110的构成。

CCU110具备控制电路和图像处理电路等，控制电路控制腹腔镜11所具备的拍摄装置11B的动作，图像处理电路处理通过通用软线11D输入的来自拍摄装置11B的图像数据。控制电路具备CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(RandomAccess Memory)等，根据CCU110所具备的各种开关的操作或腹腔镜11所具备的操作部11C的操作，向拍摄装置11B输出控制信号，进行拍摄开始、拍摄停止、变焦等的控制。控制电路不限于CPU、ROM、RAM，还可以具备GPU(Graphics Processing Unit)、FPGA(FieldProgrammable Gate Array)等。图像处理电路具备DSP(Digital Signal Processor)、图像存储器等，对通过通用软线11D输入的图像数据实施颜色分离、颜色插补、增益校正、白平衡调整、伽马校正等适当的处理。CCU110根据处理后的图像数据生成运动图像用的帧图像，并将生成的各帧图像依次输出到后述的手术辅助装置200。帧图像的帧速率例如为30FPS(Frames Per Second)。

CCU110可以生成符合诸如NTSC(National Television System Committee)、PAL(Phase Alternating Line)、DICOM(Digital Imaging and COMmunication in Medicine)等预定标准的影像数据。CCU110通过将生成的影像数据输出到显示装置130，能够在显示装置130的显示画面上实时显示术野图像(影像)。显示装置130是具备液晶面板或有机EL(Electro-Luminescence)面板等的监视器。另外，CCU110还可以将生成的影像数据输出到录像装置140，并将影像数据存储到录像装置140中。录像装置140具备HDD(Hard DiskDrive)等存储装置，该HDD将从CCU110输出的影像数据与标识各手术的标识符、手术的日期和时间、手术地点、患者名、手术者名等一起存储。

手术辅助装置200根据从CCU110输入的图像数据(即，拍摄术野而得到的术野图像的图像数据)，生成与腹腔镜手术相关的辅助信息。具体而言，手术辅助装置200进行如下处理：识别术野图像中包含的疏松结缔组织部分，并将识别出的疏松结缔组织部分以能够判别的方式显示于显示装置130。在此，术野图像中包含的疏松结缔组织部分表示相当于术野图像内的疏松结缔组织的像素的集合。

在本实施方式中，说明了在手术辅助装置200中执行疏松结缔组织的识别处理的构成，但也可以构成为在CCU110中设置与手术辅助装置200同等的功能，并在CCU110中执行疏松结缔组织的识别处理。

以下，对手术辅助装置200的内部构成、由手术辅助装置200执行的识别处理以及显示处理进行说明。

图2是说明手术辅助装置200的内部构成的框图。手术辅助装置200是具备控制部201、存储部202、操作部203、输入部204、输出部205、以及通信部206等的专用或通用的计算机。手术辅助装置200可以是设置在手术室内的计算机，也可以是设置在手术室的外部的计算机。另外，手术辅助装置200可以是设置在进行腹腔镜手术的医院内的服务器，也可以是设置在医院外的服务器。手术辅助装置200还可以用于辅助远程手术。

控制部201例如具备CPU、ROM以及RAM等。在控制部201所具备的ROM中存储控制手术辅助装置200所具备的硬件各部的动作的控制程序等。控制部201内的CPU执行ROM中存储的控制程序、后述的存储部202中存储的各种计算机程序，通过控制硬件各部的动作，使装置整体作为本申请的手术辅助装置发挥功能。在控制部201所具备的RAM中，临时存储执行运算的过程中使用的数据等。

在本实施方式中，构成为控制部201具备CPU、ROM以及RAM，但控制部201的构成可以是任意的，例如是具备一个或多个GPU、FPGA、量子处理器、易失性或非易失性存储器等的运算电路或控制电路。另外，控制部201也可以具有输出日期和时间信息的时钟、测量从提供测量开始指示到提供测量结束指示为止的经过时间的计时器、计数数量的计数器等的功能。

存储部202具备使用了硬盘、闪存等的存储装置。在存储部202中存储由控制部201执行的计算机程序、从外部获取到的各种数据、在装置内部生成的各种数据等。

存储部202中存储的计算机程序包括：识别处理程序PG1，其使控制部201执行用于识别术野图像中包含的疏松结缔组织部分的处理；显示处理程序PG2，其使控制部201执行用于在显示装置130上显示基于识别结果的辅助信息的处理；以及学习处理程序PG3，其用于生成学习模型300。此外，识别处理程序PG1和显示处理程序PG2不需要是分别独立的计算机程序，也可以实现为一个计算机程序。这些程序例如由可读取地存储计算机程序的非临时存储介质M提供。存储介质M是CD-ROM、USB存储器、SD(Secure Digital)卡等便携式存储器。控制部201使用图中未示出的读取装置，从存储介质M读取所希望的计算机程序，并将读取到的计算机程序存储到存储部202中。可代替地，上述计算机程序也可以通过使用通信部206的通信来提供。

另外，在存储部202中存储在上述识别处理程序PG1中使用的学习模型300。学习模型300是学习为针对术野图像的输入，输出与术野图像中包含的疏松结缔组织部分相关的信息的学习模型。学习模型300由其定义信息描述。学习模型300的定义信息包括学习模型300所具备的层的信息、构成各层的节点的信息、节点间的加权以及偏差等参数。存储在存储部202中的学习模型300是将拍摄术野而得到的术野图像和表示术野图像内的疏松结缔组织部分的正解数据作为训练数据，使用预定的学习算法进行学习而得到的学习完成的学习模型。学习模型300的构成以及学习模型300的生成步骤将在后面详细说明。

操作部203具备键盘、鼠标、触摸面板、非接触面板、触控笔、基于麦克风的语音输入装置等操作设备。操作部203接受手术者等进行的操作，并将与接受到的操作相关的信息输出到控制部201。控制部201根据从操作部203输入的操作信息执行适当的处理。此外，在本实施方式中，构成为手术辅助装置200具备操作部203，但也可以是通过与外部连接的CCU110等各种设备接受操作的构成。

输入部204具备连接输入设备的连接接口。在本实施方式中，与输入部204连接的输入设备是CCU110。将由腹腔镜11拍摄并由CCU110实施了处理的术野图像的图像数据输入到输入部204。输入部204将输入的图像数据输出到控制部201。另外，控制部201还可以将从输入部204获取到的图像数据存储到存储部202中。

输出部205具备连接输出设备的连接接口。在本实施方式中，与输出部205连接的输出设备是显示装置130。控制部201在生成了学习模型300的识别结果等应该告知手术者等的信息的情况下，通过将生成的信息从输出部205输出到显示装置130，在显示装置130上显示信息。

通信单元206具备收发各种数据的通信接口。通信部206所具备的通信接口是符合在以太网(注册商标)或WiFi(注册商标)中使用的有线或无线的通信标准的通信接口。当从控制部201输入应该发送的数据时，通信单元206将应该发送的数据发送到指定目的地。另外，通信部206在接收到从外部装置发送的数据的情况下，将接收到的数据输出到控制部201。

接下来，对输入到手术辅助装置200的术野图像进行说明。

图3是示出术野图像的一个例子的示意图。本实施方式中的术野图像是利用腹腔镜11对患者的腹腔内进行拍摄而得到的图像。术野图像不需要是由腹腔镜11的拍摄装置11B输出的原始图像，也可以是由CCU110等实施了处理的图像(帧图像)。另外，术野图像可以是从CCU110输出到显示装置130的图像，也可以是由可装卸地安装于腹腔镜11的图像处理装置(未图示)实施了处理的图像。而且，术野图像还可以是已经存储在录像装置140中的录像影像。

图3示出了对腹腔镜手术的情况进行拍摄而得到的术野图像的一个例子。在图3所示的术野中，包括包含恶性肿瘤等病变部的组织NG、构成脏器的组织ORG、以及填满这些组织之间的疏松结缔组织LCT。在本实施方式中，组织NG是应该从体内去除的部位，组织ORG是应该保留在体内的部位。在图3的例子中，疏松结缔组织LCT通过由钳子13把持组织NG并向图的上方展开而露出。其中，结缔组织是指包含弹性纤维、胶原纤维、脂肪组织、细网组织等并填满组织之间的组织。疏松结缔组织(loose connective tissue)LCT具有保留器官和上皮的功能，存在于许多器官或组织之间，是具有蛋白质性纤维的结缔组织的一种。弹性纤维量较多的称为致密结缔组织(韧带、肌腱等)，区别于疏松结缔组织。疏松结缔组织LCT在手术中大多被视觉识别为纤维状。纤维的方向不确定，作为整体有时也会形成网眼。纤维之间存在液体基质和多种细胞。在手术中发现较多疏松结缔组织，尤其是进行脏器间的剥离或分离时，通过适当地处理疏松结缔组织来安全地进行手术。在图3的例子中，用虚线表示疏松结缔组织LCT。

在腹腔镜手术中，例如进行去除患者体内形成的恶性肿瘤等病变部的手术。此时，手术者利用钳子13把持包含病变部的组织NG，并使其向适当的方向展开，从而使存在于包含病变部的组织NG和应该保留的组织ORG之间的疏松结缔组织LCT露出。手术者通过使用能量处置器具12切除露出的疏松结缔组织LCT，使包含病变部的组织NG从应该保留的组织ORG剥离。

此外，从疏松结缔组织LCT的切除的容易性的观点出发，优选切除对象的疏松结缔组织LCT具有伸缩性。另外，优选在切除对象的疏松结缔组织LCT的里侧存在使能量处置器具12或钳子13移动的空间。而且，优选切除对象的疏松结缔组织LCT保持为紧张的状态。图3的例子示出了在疏松结缔组织LCT的里侧存在空间SP，并且至少一部分保持为紧张的状态的情况。

在构成疏松结缔组织LCT的纤维的周围，存在血管、神经、或者液体基质、多种细胞，对于手术者而言，从术野图像中找出疏松结缔组织LCT不一定容易。因此，本实施方式的手术辅助装置200使用学习模型300从术野图像识别疏松结缔组织部分，并根据识别结果，输出与腹腔镜手术相关的辅助信息。

接下来，对在手术辅助装置200中使用的学习模型300的构成例进行说明。

图4是示出学习模型300的构成例的示意图。学习模型300是用于进行图像分割的学习模型，由例如SegNet等具备卷积层的神经网络构建。在图4中示出了SegNet的构成例，但不限于SegNet，使用FCN(Fully Convolutional Network)、U-Net(U-Shaped Network)、PSPNet(Pyramid Scene Parsing Network)等能够进行图像分割的任意神经网络来构建学习模型300即可。另外，代替图像分割用的神经网络，还可以使用YOLO(You Only LookOnce)、SSD(Single Shot Multi-Boox Detector)等物体检测用的神经网络来构建学习模型300。

在本实施方式中，输入到学习模型300的输入图像是从腹腔镜11得到的术野图像。学习模型300学习为，针对术野图像的输入，输出与疏松结缔组织相关的信息(例如，表示各像素是否属于疏松结缔组织的概率)。

本实施方式中的学习模型300例如具备编码器310、解码器320以及softmax层330。编码器310交替配置卷积层和池化层而构成。卷积层被多层化为2～3层。在图4的例子中，对卷积层表示为不标注阴影，对池化层表示为标注阴影。

在卷积层中，进行输入的数据与分别确定的尺寸(例如，3×3、5×5等)的滤波器的卷积运算。即，按各要素将输入到与滤波器的各要素对应的位置的输入值与预先设定在滤波器中的权重系数相乘，并计算出这些要素中的每一个的乘法值的线性和。通过将计算出的线性和与设定的偏差相加，得到卷积层中的输出。此外，卷积运算的结果也可以通过激活函数进行转换。作为激活函数，例如能够使用ReLU(Rectified Linear Unit)。卷积层的输出表示提取输入数据的特征得到的特征图。

在池化层中，计算从作为连接到输入侧的上位层的卷积层输出的特征图的局部的统计量。具体而言，设定与上位层的位置对应的预定尺寸(例如，2×2、3×3)的窗口，并根据窗口内的输入值计算局部的统计量。作为统计量，例如能够采用最大值。从池化层输出的特征图的尺寸根据窗口的尺寸而缩小(下采样)。图4的例子示出了通过在编码器310中依次重复卷积层中的运算和池化层中的运算，从而将224像素×224像素的输入图像依次下采样为112×112、56×56、28×28、…、1×1的特征图。

将编码器310的输出(在图4的例子中为1×1的特征图)输入到解码器320。解码器320通过交替配置反卷积层和反池化层而构成。反卷积层被多层化为2～3层。在图4的例子中，对反卷积层表示为不标注阴影线，对反池化层表示为标注阴影线。

在反卷积层中，对输入的特征图进行反卷积运算。反卷积运算是指在输入的特征图是使用特定的滤波器进行卷积运算而得到的结果的推测下，复原卷积运算前的特征图的运算。在该运算中，在用矩阵表示特定的滤波器时，通过计算该矩阵的转置矩阵与输入的特征图的积，生成输出用的特征图。此外，反卷积层的运算结果也可以通过上述的ReLU等激活函数进行转换。

解码器320所具备的反池化层与编码器310所具备的池化层一一对应，并且对应的对具有基本相同的尺寸。反池化层重新增大(上采样)在编码器310的池化层中下采样的特征图的尺寸。图4的例子示出了通过在解码器320中依次重复卷积层中的运算和池化层中的运算，从而依次上采样为1×1、7×7、14×14、…、224×224的特征图。

将解码器320的输出(在图4的示例中为224×224的特征图)输入到softmax层330。softmax层330通过对来自与输入侧连接的反卷积层的输入值应用softmax函数，输出标识各位置(像素)中的部位的标签的概率。在本实施方式中，设定标识疏松结缔组织的标签，并以像素为单位标识是否属于疏松结缔组织即可。通过提取从softmax层330输出的标签的概率为阈值以上(例如50％以上)的像素，得到表示疏松结缔组织组织部分的图像(以下称为识别图像)。此外，阈值也可以预先存储在存储部202中。另外，也可以通过操作部203接受阈值的变更，并将变更后的阈值存储在存储部202中。在该情况下，控制部201使用变更后的阈值判断各像素是否属于疏松结缔组织即可。

此外，在图4的例子中，将224像素×224像素的图像作为输入到学习模型300的输入图像，但输入图像的尺寸并不限定于上述尺寸，可以根据手术辅助装置200的处理能力、从腹腔镜11得到的术野图像的尺寸等适当设定。另外，输入到学习模型300的输入图像不需要是从腹腔镜11得到的整个术野图像，也可以是切出术野图像的关注区域而生成的部分图像。由于包含处理对象的关注区域大多位于术野图像的中央附近，因此例如也可以使用将术野图像的中央附近以成为原来的一半左右的尺寸的方式切出为矩形而得到的部分图像。通过减小输入到学习模型300的图像的尺寸，能够在提高处理速度的同时提高识别精度。

学习模型300还可以构成为将纤维状的疏松结缔组织的一部分或者全部识别为一个集合体。即，学习模型300可以构成为将疏松结缔组织的每一个识别为一个集合体，也可以构成为将预定数量(例如10个)以上的疏松结缔组织识别为一个集合体。

图5是表示学习模型300的识别结果的示意图。在图5的例子中，用粗实线表示使用学习模型300识别出的疏松结缔组织部分，用虚线表示以除此之外的脏器或组织的部分作为参考。手术辅助装置200的控制部201生成疏松结缔组织的识别图像，以能够判别的方式显示识别出的疏松结缔组织部分。识别图像是与术野图像尺寸相同的图像，是对被识别为疏松结缔组织的像素分配了特定颜色的图像。优选分配给疏松结缔组织的像素的颜色为人体内部不存在的颜色，以便与脏器、血管等区别开来。人体内部不存在的颜色例如是蓝色或浅蓝色等冷色系(蓝色系)的颜色。另外，对构成识别图像的各像素附加表示透明度的信息，对被识别为疏松结缔组织的像素设定不透明的值，对除此以外的像素设定透明的值。通过将这样生成的识别图像重叠显示在术野图像上，能够将疏松结缔组织部分作为具有特定颜色的结构显示在术野图像上。为了容易看到地显示疏松结缔组织的识别图像，控制部201还可以调整色相、亮度、彩度、透明度等参数。

以下，对手术辅助装置200的动作进行说明。

手术辅助装置200例如在运用开始前的学习阶段中生成学习模型300。作为生成学习模型300的准备阶段，在本实施方式中，通过对从腹腔镜11得到的术野图像手动分割疏松结缔组织部分来实施注释。此外，在注释中，使用录像装置140中录制的术野图像即可。

在实施注释时，作业者(医生等专家)在显示装置130上按时间序列显示术野图像的同时，找出存在于包含病变部的组织(应该去除的部位)与脏器(应该保留的部位)之间的处于容易切除的情况下的疏松结缔组织。具体而言，展开包含病变部的组织，找出露出状态的疏松结缔组织。优选实施注释的疏性结缔组织例如为具有伸缩性的部分。或者，优选实施注释的疏松结缔组织保持为紧张的状态。或者，优选在实施注释的疏松结缔组织的里侧存在空间，存在使能量处置器具12或钳子13移动的空间。作业者在找到处于容易切除的情况下的疏松结缔组织时，在该术野图像中，通过使用操作部203所具备的鼠标或触控笔等以像素为单位选择符合疏松结缔组织的部分来进行注释。另外，也可以选择适合学习的疏松结缔组织的图案，通过透视转换或镜像等处理来增加数据数。而且，如果学习进展，则也可以挪用学习模型300的识别结果来增加数据数。通过执行如上所述的注释来生成学习模型300，学习模型300构成为在具有伸缩性的疏松结缔组织从紧张前的状态转移到紧张的状态的阶段识别纤维状的部分。

在本实施方式中，对约4000张术野图像进行注释，通过增加数据数，最终准备了由术野图像和表示疏松结缔组织部分的正解数据的组构成的约20000组训练数据。训练数据存储在存储装置(例如手术辅助装置200的存储部202)中。

图6是说明学习模型300的生成步骤的流程图。手术辅助装置200的控制部201从存储部202读出学习处理程序PG3，通过执行以下步骤，生成学习模型300。此外，在开始学习之前的阶段，假设对记述学习模型300的定义信息赋予初始值。

控制部201首先访问存储部202，选择用于学习的一组训练数据(步骤S101)。控制部201将所选择的训练数据中包含的术野图像输入到学习模型300(步骤S102)，执行由学习模型300进行的运算(步骤S103)。即，控制部201根据输入的术野图像生成特征图，并执行依次对生成的特征图进行下采样的由编码器310进行的运算、依次对从编码器310输入的特征图进行上采样的由解码器320进行的运算、以及标识最终从解码器320得到的特征图的各像素的由softmax层330进行的运算。

控制部201从学习模型300获取运算结果，并评价所获取的运算结果(步骤S104)。例如，控制部201通过计算作为运算结果而得到的疏松结缔组织部分的图像数据与训练数据中包含的正解数据的相似度来评价运算结果即可。相似度例如通过Jaccard系数计算。在将由学习模型300提取出的疏松结缔组织部分设为A，将正解数据中包含的疏松结缔组织部分设为B时，Jaccard系数通过A∩B/A∪B×100(％)提供。代替Jaccard系数，也可以计算Dice系数或Simpson系数，也可以使用其他现有的方法计算相似度。

控制部201根据运算结果的评价，判断学习是否结束(步骤S105)。当获得预设阈值以上的相似度时，控制部201能够判断学习结束。

在判断学习未结束的情况下(S105：否)，控制部201使用反向误差传播法，从学习模型300的输出侧向输入侧依次更新学习模型300的各层中的权重系数及偏差(步骤S106)。控制部201在更新各层的权重系数和偏差之后，将处理返回到步骤S101，再次执行从步骤S101到步骤S105的处理。

在步骤S105中判断学习结束的情况下(S105：是)，由于得到学习完成的学习模型300，因此控制部201结束本流程图进行的处理。

在本实施方式中，构成为在手术辅助装置200中生成学习模型300，但也可以在外部的计算机中生成学习模型300。手术辅助装置200使用通信等手段获取由外部的计算机生成的学习模型300，并将获取到的学习模型300存储到存储部202中即可。

手术辅助装置200在生成学习模型300后的运用阶段中进行手术辅助。图7是说明手术辅助的执行步骤的流程图。手术辅助装置200的控制部201通过从存储部202读出并执行识别处理程序PG1及显示处理程序PG2，来执行以下步骤。当腹腔镜手术开始时，利用腹腔镜11的拍摄装置11B对术野进行拍摄而得到的术野图像经由通用软线11D随时输出到CCU110。手术辅助装置200的控制部201通过输入部204获取从CCU110输出的术野图像(步骤S121)。每当获取术野图像时，控制部201执行以下处理。

控制部201将获取到的术野图像输入学习模型300，执行使用学习模型300的运算(步骤S122)，识别手术区域图像中包含的疏松结缔组织部分(步骤S123)。即，控制部201根据输入的术野图像生成特征图，并执行依次对生成的特征图进行下采样的由编码器310进行的运算、依次对从编码器310输入的特征图进行上采样的由解码器320进行的运算、以及标识最终从解码器320获得的特征图的各像素的由softmax层330进行的运算。另外，控制部201将从softmax层330输出的标签的概率为阈值以上(例如50％以上)的像素识别为疏松结缔组织部分。

控制部201生成疏松结缔组织的识别图像，以能够判别的方式显示使用学习模型300识别出的疏松结缔组织部分(步骤S124)。如上所述，控制部201对被识别为疏松结缔组织的像素分配人体内部不存在的颜色(例如蓝色或浅蓝色等冷色系(蓝色系)的颜色)，对疏松结缔组织以外的像素设定背景透明的透明度即可。

控制部201将在步骤S124中生成的疏松结缔组织的识别图像与在步骤S121中获取到的术野图像一起从输出部205输出到显示装置130，在术野图像上重叠识别图像而显示在显示装置上(步骤S125)。由此，使用学习模型300识别出的疏松结缔组织部分作为具有特定颜色的结构显示在术野图像上。另外，控制部201还可以在显示装置130上显示表示用特定的颜色表示的疏松结缔组织是应该切除的部位的消息。

图8是表示显示装置130中的显示例的示意图。为了便于附图制作，在图8的显示例中，用粗实线表示使用学习模型300识别出的疏松结缔组织部分。实际上，由于符合疏松结缔组织部分的部分以像素为单位用蓝色或浅蓝色等人体内部不存在的颜色进行涂敷，因此手术者通过查看显示装置130的显示画面，能够清楚地判别疏松结缔组织，并且能够掌握应该切除的部位。

此外，在本实施方式中，构成为在显示装置130显示学习模型300的疏松结缔组织的识别结果，但也可以设置与显示装置130不同的显示装置，并在显示装置130上显示术野图像，使其他显示装置显示学习模型300的识别结果。另外，也可以在显示装置130的画面内的区域显示术野图像，在同一画面内的其他区域显示学习模型300的识别结果。

另外，在本实施方式中，构成为在显示装置130显示由学习模型300识别出的疏松结缔组织部分，但也可以将与识别出的疏松结缔组织部分交叉的线作为应该切除的推荐线显示在显示装置130上。

而且，在本实施方式中，通过利用学习模型300识别疏松结缔组织部分，能够推测应该切除的线，因此还可以在手术用机器人与手术辅助装置200连接的情况下，将指示切除疏松结缔组织的控制信号输出到手术用机器人。

而且，手术辅助装置200还可以设定识别出的疏松结缔组织部分中应该切除的推荐范围，变更所设定的推荐范围的显示方式(颜色、色相、亮度、彩度、透明度等)并显示在显示装置130上。即，还可以变更透明度，以显示推荐范围的疏松结缔组织部分，并且不显示推荐范围以外的疏松结缔组织部分。另外，还可以在推荐范围的疏松结缔组织部分和推荐范围以外的疏松结缔组织部分中变更显示颜色。

适当设定推荐范围。例如，手术辅助装置200还可以在识别出病变组织(应该通过镜视下手术去除部位)与正常组织(应该通过镜视下手术保留的部位)之间的疏松结缔组织的情况下，将包含疏松结缔组织的范围分割为靠近病变组织的范围、靠近正常组织的范围、以及二者之间的范围这三个范围，并将分割后的三个范围中的任一个设定为推荐范围。手术辅助装置200例如在术野图像中沿疏松结缔组织的长度方向(纤维延伸的方向)计算长度，以将计算出的长度分割成三部分的方式分割范围即可。此外，分割范围不必为三个，两个以上即可。

另外，手术辅助装置200还可以根据病变的进展度设定推荐范围。例如，在病变的进展度高的情况下，为了取得较大的裕度，手术辅助装置200还可以将靠近正常组织的范围设定为推荐范围。相反，在病变的进展度低的情况下，为了减小切除范围，手术辅助装置200还可以将靠近病变组织的范围设定为推荐范围。此外，病变的进展度的信息可以通过操作部203或通信部206预先输入。

而且，手术辅助装置200还可以根据手术者设定推荐范围。例如，在手术者喜欢切除靠近病变组织的范围的情况下，手术辅助装置200将靠近病变组织的范围设定为推荐范围即可。相反，在手术者喜欢切除靠近正常组织的范围的情况下，手术辅助装置200将靠近正常组织的范围设定为推荐范围即可。手术者喜欢的切除范围可以通过操作部203或通信部206预先设定。

如上所述，在本实施方式中，由于能够使用学习模型300识别疏松结缔组织的结构，并以像素为单位以能够判别的方式显示疏松结缔组织，因此能够进行腹腔镜手术中的视觉辅助。此外，从手术辅助装置200生成的图像不仅用于手术辅助，还可以用于进修医生等的教育辅助，还可以用于腹腔镜手术的评价。例如，通过比较手术中录像装置140中录制的图像和手术辅助装置200生成的图像，判断通过腹腔镜手术切除的部位是否适当，能够评价腹腔镜手术。

(实施方式2)

在实施方式2中，对根据识别出疏松结缔组织时的确信度来变更显示方式的构成进行说明。

此外，关于腹腔镜手术辅助系统的整体构成、手术辅助装置200的内部构成等与实施方式1相同，因此省略其说明。

前述的实施方式1的手术辅助装置200通过参照从学习模型300的softmax层330输出的概率，对概率为阈值以上(例如50％以上)的像素分配特定的颜色(例如冷色系的颜色)和透明度1(不透明)，并对概率小于阈值的像素分配透明度0(完全透明)，生成表示疏松结缔组织部分的识别图像。手术辅助装置200通过输出这样的识别图像并将其重叠显示在术野图像上，能够均匀地显示(重叠显示)疏松结缔组织部分。

与此相对，实施方式2的手术辅助装置200对识别图像的各像素设定特定的颜色(例如冷色系的颜色)，并且根据从学习模型300的softmax层330输出的概率(确信度)对各像素设定透明度，生成疏松结缔组织部分的识别图像。具体而言，手术辅助装置200设定各像素的透明度，以使得确信度越高，则透明度越低，确信度越低，则透明度越高。例如，能够将确信度为X％时的透明度设定为X/100。手术辅助装置200输出所生成的识别图像，并将其重叠显示在术野图像上，由此能够实现与确信度对应的显示(软图显示)。

图9是表示实施方式2中的识别图像的显示例的示意图。为了便于附图制作，在图9的例子中，通过浓度的高低来表示透明度的高低。即，在图9的例子中，通过提高确信度高的疏松结缔组织部分的浓度、降低确信度低的疏松结缔组织部分的浓度来表示识别图像。

在实施方式2中，能够清楚地显示确信度相对高的疏松结缔组织部分，因此能够在进行牵引操作或剥离操作等时将有用的信息准确地提示给手术者。

在实施方式2中，构成为根据确信度来变更透明度，但也可以构成为根据确信度变更颜色、色相、彩度、亮度等。

(实施方式3)

在实施方式3中，对与术野图像中包含的疏松结缔组织部分一起，识别并显示应该通过腹腔镜手术去除的部位和应该通过腹腔镜手术保留的部位的构成进行说明。

此外，关于腹腔镜手术辅助系统的整体构成、手术辅助装置200的内部构成等与实施方式1相同，因此省略其说明。

图10是说明实施方式3中的学习模型300的softmax层330的构成的说明图。在图10中，为了简化，将softmax层330表示为一维状。学习模型300的softmax层330如在实施方式1中说明的那样，输出标识特征图的各像素中的部位的标签的概率。在实施方式3中，设定标识疏松结缔组织的标签、标识应该去除的部位(在图3的例子中为组织NG)的标签、以及标识应该保留的部位(在图3的例子中为组织ORG)的标签。若标识疏松结缔组织的标签的概率为阈值以上，则手术辅助装置200的控制部201将该像素识别为疏松结缔组织。同理，若标识应该去除的部位的标签的概率为阈值以上，则控制部201将该像素识别为应该去除的部位，若标识应该保留的部位的标签的概率为阈值以上，则控制部201将该像素识别为应该保留的部位。

用于获得这样的识别结果的学习模型300通过使用预先准备的许多训练数据进行学习而生成。在实施方式3中，能够将术野图像与通过分割包含恶性肿瘤等病变部的组织部分、构成脏器的组织部分、以及将这些组织间结合的疏松结缔组织部分而得到的正解数据的组用作训练数据。学习模型300的生成方法与实施方式1相同，因此省略其说明。

图11是表示实施方式3中的显示例的示意图。实施方式3中的手术辅助装置200由于使用学习模型300识别术野图像中包含的疏松结缔组织部分、应该通过腹腔镜手术去除的区域(包含恶性肿瘤等病变部的组织部分)、以及应该通过腹腔镜手术保留的区域(构成脏器的组织部分)，因此将这些以能够判别方式显示在显示装置130上。在图11的显示例中，用粗实线表示使用学习模型300识别出的疏松结缔组织部分，用不同的阴影分别表示应该通过腹腔镜手术去除的区域(疏松结缔组织部分的上侧的区域)和应该保留的区域(疏松结缔组织部分的下侧)。实际上，对于符合疏松结缔组织的部分，以像素为单位用蓝色或浅蓝色等人体内部不存在的颜色进行着色，并用不同的颜色分别对应该通过腹腔镜手术去除的区域和应该保留的区域进行着色并显示即可。手术者通过查看显示装置130的显示画面，能够清楚地判别将应该通过腹腔镜手术去除的部位和应该保留的部位结合的疏松结缔组织。

此外，代替对应该通过腹腔镜手术去除的区域以及应该保留的区域的整体进行着色的构成，也可以仅对这些区域的轮廓进行着色并显示。另外，代替对应该通过腹腔镜手术去除的区域和应该保留的区域双方进行着色的构成，也可以仅对其中一方进行着色显示。

如上所述，在实施方式3中，与由学习模型300识别出的疏松结缔组织部分一起，以能够判别的方式显示应该通过腹腔镜手术去除的区域和应该保留的区域中的至少一方，因此能够将应该切除的疏松结缔组织部分的信息清楚地提示给手术者。

(实施方式4)

在实施方式4中，对在手术者指示的定时显示疏松结缔组织部分的构成进行说明。

实施方式4中的手术辅助装置200根据手术者的开关操作，切换疏松结缔组织部分的显示和不显示。即，手术辅助装置200仅在操作了特定的开关(以下称为切换开关)的情况下，在显示装置130上显示疏松结缔组织部分。在此，切换疏松结缔组织部分的显示和不显示的切换开关可以是设置于腹腔镜11的操作部11C的开关，也可以是图中未示出的脚踏开关。表示切换开关被操作的操作信息例如通过通用软线11D通知给CCU110，并通过CCU110通知给手术辅助装置200。

图12是表示实施方式4中的显示例的示意图。图12A表示切换开关被操作的情况下的显示例，图12B表示切换开关未被操作的情况下的显示例。在实施方式4中，仅在切换开关被操作的情况下，如图12A所示，在显示装置130上显示疏松结缔组织部分。疏松结缔组织部分的显示方法与实施方式1相同，以像素为单位用蓝色或浅蓝色等人体内部不存在的颜色对符合疏松结缔组织的部分进行着色并显示即可。

图13是表示实施方式4中的显示切换步骤的流程图。手术辅助装置200的控制部201根据从CCU110通知的操作信息，判断切换开关是否被操作(步骤S401)。

在判断切换开关被操作的情况下(S401：是)，控制部201显示疏松结缔组织部分(步骤S402)。为了以能够判别的方式显示使用学习模型300识别出的疏松结缔组织部分，控制部201对符合部分的像素分配特定的颜色，生成对疏松结缔组织以外的像素设定了背景透明的透明度的识别图像。控制部201将生成的识别图像与术野图像一起输出到显示装置130，通过在术野图像上重叠显示识别图像，能够显示疏松结缔组织部分。

在判断切换开关未被操作的情况下(S401：否)，控制部201将疏松结缔组织部分设为不显示(步骤S403)。控制部201为了将疏松结缔组织部分设为不显示，对识别出的疏松结缔组织部分的像素也设定背景透明的透明度即可。控制部201将生成的识别图像与术野图像一起输出到显示装置130，通过在术野图像上重叠显示识别图像，能够不显示疏松结缔组织部分。代替变更透明度而将疏松结缔组织部分设为不显示的构成，也可以构成为停止输出识别图像。

如上所述，在实施方式4中，能够在手术者所希望的定时显示疏松结缔组织部分，并在除此以外的定时设为不显示。

此外，在本实施方式中，构成为在切换开关被操作时显示、在未被操作时设为不显示，但也可以构成为在切换开关被操作时不显示、在未被操作时显示。切换疏松结缔组织部分显示和不显示的切换开关还可以设置于CCU110。另外，还可以构成为，通过显示装置130所具备的触摸面板或手术辅助装置200所具备的操作部203的操作，切换疏松结缔组织部分的显示和不显示。在本实施方式中，构成为使用物理开关切换显示，但是也可以构成为根据来自手术者的语音指示来切换显示。因此，还可以在腹腔镜11的操作部11C或CCU110中设置麦克风等语音输入部。

(实施方式5)

在实施方式5中，对根据腹腔镜手术的情况切换疏松结缔组织部分的显示和不显示的构成进行说明。

根据手术辅助装置200的运算速度，在疏松结缔组织的识别处理中可能会发生时滞。因此，在使用钳子13使包含病变部的部位等展开的期间或在使能量处置器具12移动的期间显示使用学习模型300识别出的疏松结缔组织部分的情况下，显示出的疏松结缔组织部分的位置与实际的疏松结缔组织的位置之间有可能产生偏差。因此，实施方式5的手术辅助装置200在腹腔镜手术的对象部位停止时显示疏松结缔组织部分，在能量处置器具12开始移动时不显示疏松结缔组织部分。

图14是表示实施方式5中的显示切换步骤的流程图。在本流程图中，对在使用钳子13使包含病变部的部位等展开使疏松结缔组织露出后，利用能量处置器具12切除疏松结缔组织时的显示切换步骤进行说明。

手术辅助装置200的控制部201根据从输入部204依次输入的术野图像，判断对象部位的展开是否停止(步骤S501)。控制部201例如根据从输入部204依次输入的术野图像生成光流，由此判断对象部位的展开是否停止即可。在对象部位的展开未停止的情况下(S501：NO)，由于随着对象部位的展开，疏松结缔组织有可能移动，因此待机直至对象部位的展开停止。此外，在本实施方式中，构成为判断对象部位的展开是否停止，但也可以构成为判断用于使对象部位展开的手术工具(例如钳子13)是否停止。另外，也可以无需整个术野图像停止，而是构成为判断预定的区域(例如术野图像的中央附近的区域)是否停止。

在判断对象部位的展开停止的情况下(S501：是)，控制部201显示疏松结缔组织部分(步骤S502)。在对象部位的展开停止的情况下，认为疏松结缔组织静止，即使显示识别出的疏松结缔组织，显示位置偏移的可能性也低。为了以能够判别的方式显示使用学习模型300识别出的疏松结缔组织部分，控制部201对符合部分的像素分配特定的颜色，生成对疏松结缔组织部分以外的像素设定了背景透明的透明度的识别图像。控制部201将生成的识别图像与术野图像一起输出到显示装置130，通过在术野图像上重叠显示识别图像来显示疏松结缔组织部分。

接着，控制部201判断处置是否开始(步骤S503)。与步骤S501相同，控制部201生成光流，通过判断作为手术工具的能量处置器具12是否开始移动，能够判断处置是否开始。在处置未开始的情况下(S503：否)，控制部201在继续显示疏松结缔组织部分的同时，待机直到处置开始，即直到能量处置器具12开始移动。

在判断处置开始了的情况下(S503：是)，控制部201将疏松结缔组织部分设为不显示(步骤S504)。为了将疏松结缔组织部分设为不显示，控制部201对识别出的疏松结缔组织部分的像素也设定背景透明的透明度即可。控制部201将生成的识别图像与术野图像一起输出到显示装置130，通过在术野图像上重叠显示识别图像，能够不显示疏松结缔组织部分。代替变更透明度来将疏松结缔组织部分设为不显示的构成，也可以构成为停止输出识别图像。

如上所述，在实施方式5中，在对象部位的展开停止到处置开始为止的期间，显示疏松结缔组织部分，因此能够向手术者提供不会产生因时滞而产生不适感的图像。

(实施方式6)

在实施方式6中，对手术辅助装置200具备多种学习模型的构成进行说明。

图15是说明实施方式6的手术辅助装置200的内部构成的框图。实施方式6的手术辅助装置200具备第一学习模型410和第二学习模型420。手术辅助装置200的其他构成以及包含手术辅助装置200的系统的整体构成与实施方式1～5相同，因此省略其说明。此外，在本实施方式中，对手术辅助装置200具备两种学习模型的构成进行说明，但也可以是具备三种以上的学习模型的构成。

在实施方式6中，第一学习模型410是用于识别存在于通过镜视下手术去除的部位(病变组织)附近的范围内的疏松结缔组织的学习模型，第二学习模型420是用于识别存在于通过镜视下手术应该保留的部位(正常组织)附近的范围内的疏松结缔组织的学习模型。以下，将存在于通过镜视下手术去除的部位(病变组织)附近的范围内的疏松结缔组织也称为外侧的疏松结缔组织，将存在于通过镜视下手术应该保留的部位(正常组织)附近的范围内的疏松结缔组织也称为内侧的疏松结缔组织。

第一学习模型410和第二学习模型420与实施方式1中说明的学习模型300相同，使用SegNet等用于进行图像分割的学习模型或YOLO等物体检测用的学习模型等。第一学习模型410通过在训练数据中使用包含术野图像和通过以像素为单位选择符合该术野图像中靠近病变组织的疏松结缔组织的部分而得到的正解数据的多组数据集，按照预定的算法进行机械学习而生成。同理，第二学习模型420通过在训练数据中使用包含术野图像和通过以像素为单位选择符合该术野图像中靠近正常组织的疏松结缔组织的部分而得到的正解数据的多组数据集，根据预定的算法进行机器学习而生成。关于学习步骤，由于与实施方式1相同，因此省略其说明。

图16是说明由实施方式6的手术辅助装置200执行的处理的步骤的流程图。手术辅助装置200的控制部201获取与病变的进展度相关的信息(步骤S601)。在通过术前图像诊断或病理诊断等诊断方法预先确定了病变的进展度的情况下，控制部201能够在腹腔镜手术开始前通过操作部203或通信部206接受与病变的进展度相关的信息。另外，也可以由确认了显示在显示装置130上的术野图像的手术者判断病变的进展度。在该情况下，在腹腔镜手术开始后，控制部201能够通过操作部203或通信部206接受与病变的进展度相关的信息。而且，还可以另外准备用于判断病变的进展度的学习模型，通过控制部201执行基于该学习模型的运算，来判断病变的进展度。

控制部201根据在步骤S601中取得的信息，判断进展度是否高(步骤S602)。例如，控制部201将表示进展度的数值与阈值进行比较，在阈值以上的情况下，判断进展度高，在小于阈值的情况下，判断进展度低。控制部201在判断进展度高的情况下(S602：是)，选择第二学习模型420以取得较大裕度(步骤S603)，在判断进展度低的情况下(S602：否)，选择第一学习模型410以减小切除范围(步骤S604)。

控制部201通过执行与实施方式1同样的步骤S605～S609的步骤，使用所选择的学习模型(第一学习模型410或第二学习模型420)来识别疏松结缔组织，将疏松结缔组织的识别图像重叠在术野图像上，并显示在显示装置130上。

在病变的进展度高的情况下，由于识别内侧(靠近正常组织)的疏松结缔组织并显示在显示装置130上，因此手术者能够通过切除显示在显示装置130上的内侧的疏松结缔组织来取得较大的病变组织的裕度。另外，在病变的进展度低的情况下，由于识别外侧(靠近病变组织)的疏松结缔组织并显示在显示装置130上，因此手术者能够通过切除显示在显示装置130上的外侧的疏松结缔组织来减小切除范围。

在实施方式6中，构成为控制部201根据病变的进展度选择第一学习模型410或第二学习模型420，但也可以构成为接受手术者自身对学习模型的选择。即，控制部201可以在手术者希望切除外侧的疏松结缔组织的情况下，接受对第一学习模型410的选择，在希望切除内侧的疏松结缔组织的情况下，接受对第二学习模型420的选择。

另外，第一学习模型410可以是使用通过第一医生进行注释而得到的训练数据进行学习而得到的学习模型，第二学习模型420可以是使用通过第二医生进行注释而得到的训练数据进行学习而得到的学习模型。手术辅助装置200可以通过操作部203或通信部206任意地接受手术者对学习模型的选择。

第一学习模型410和第二学习模型420可以是根据患者属性选择的学习模型。例如，第一学习模型410可以是针对接受了化疗的患者选择的学习模型，第二学习模型420可以是针对肥胖患者选择的学习模型。还可以包括根据患者的年龄、性别、身高、体重等属性选择的其他学习模型。手术辅助装置200参照诸如电子病历等从外部输入的患者信息，选择与患者的属性对应的学习模型(例如第一学习模型410、第二学习模型420等)即可。

第一学习模型410和第二学习模型420可以是根据有无出血而选择的学习模型。例如，第一学习模型410可以是在没有出血的情况下选择的学习模型，第二学习模型420可以是在出血时选择的学习模型。在该情况下，手术辅助装置200在未检测到出血的情况下选择第一学习模型410，在检测到出血的情况下选择第二学习模型420即可。此外，出血检测使用公知的方法。例如，能够通过图像解析检测术野图像中红色区域的扩展来判断有无出血。

第一学习模型410和第二学习模型420可以是根据疏松结缔组织的状态选择的学习模型。例如，第一学习模型410可以是识别被粘连组织覆盖的状态下的疏松结缔组织的学习模型，第二学习模型420可以是识别未被粘连组织覆盖的状态下的疏松结缔组织的学习模型。治愈组织的有无例如由手术者来判断。在手术者判断有粘连组织，并输入了该情况的信息的情况下，手术辅助装置200选择第一学习模型410。另外，在手术者判断没有粘连组织，并输入了该情况的信息的情况下，手术辅助装置200选择第二学习模型420。

第一学习模型410和第二学习模型420可以是根据手术区域选择的学习模型。例如，第一学习模型410可以是在手术区域为胃的情况下选择的学习模型，第二学习模型420可以是在手术区域为大肠的情况下选择的学习模型。另外，还可以包括将腹股沟疝、前列腺、肺等作为手术区域时选择的其他学习模型。手术辅助装置200参照诸如电子病历等从外部输入的患者信息，选择与手术区域对应的学习模型(例如第一学习模型410、第二学习模型420等)即可。

第一学习模型410和第二学习模型420可以是根据腹腔镜11、拍摄装置11B的种类选择的学习模型。例如，第一学习模型410可以是在使用由A公司制造的腹腔镜11时选择的学习模型，第二学习模型420可以是在使用由与A公司不同的B公司制造的腹腔镜11时选择的学习模型。手术辅助装置200根据作为事前信息而输入的装置信息选择第一学习模型410或第二学习模型420即可。

第一学习模型410可以是例如由SegNet构建的学习模型，第二学习模型420可以是例如由U-Net构建的学习模型这样的用不同算法进行学习而得到的学习模型。在该情况下，手术辅助装置200也可以通过操作部203或通信部206接受手术者对学习模型的选择。

(实施方式7)

在实施方式7中，对根据输入的术野图像选择最佳的学习模型的构成进行说明。

与实施方式6同样，实施方式7的手术辅助装置200具备第一学习模型410和第二学习模型420。第一学习模型410例如是由SegNet构建的学习模型，第二学习模型420例如是由U-Net构建的学习模型。构建第一学习模型410和第二学习模型420的神经网络的组合不限于上述内容，使用任意的神经网络即可。

可代替地，第一学习模型410和第二学习模型420可以是内部构成不同的学习模型。例如，第一学习模型410和第二学习模型420可以是使用相同的神经网络构建的学习模型，但层的种类和层数、节点的数量和节点的连接关系等不同。

另外，第一学习模型410和第二学习模型420可以是使用不同的训练数据进行学习而得到的学习模型。例如，第一学习模型410可以是使用包含第一专家注释的正解数据的训练数据进行学习而得到的学习模型，第二学习模型420可以是使用包含与第一专家不同的第二专家注释的正解数据的训练数据进行学习而得到的学习模型。另外，第一学习模型410可以是使用包含在某医疗机构拍摄到的术野图像和针对该术野图像的注释数据(正解数据)的训练数据进行学习而得到的学习模型，第二学习模型420可以是使用包含在另一医疗机构拍摄到的术野图像和针对该术野图像的注释数据(正解数据)的训练数据进行学习而得到的学习模型。

在输入了术野图像的情况下，手术辅助装置200在控制部201中执行基于第一学习模型410的运算和基于第二学习模型420的运算。为了并行执行这些运算，控制部201还可以具备多个运算部(例如，多个GPU)。控制部201解析基于第一学习模型410的运算结果和基于第二学习模型420的运算结果，并根据解析结果选择最适于识别疏松结缔组织的学习模型(第一学习模型410或第二学习模型420)。

图17是说明运算结果的解析方法的说明图。从识别疏松结缔组织的各学习模型中，输出表示各像素是否符合疏松结缔组织的概率(确信度)作为运算结果。若按每个确信度对像素数进行合计，则能够得到例如图17A～图17C所示的分布。图17A～17C所示的各坐标图的横轴表示确信度，纵轴表示像素数(占整个图像的比例)。理想情况下，各像素被分类为确信度为1(是疏松结缔组织的概率为100％的情况)或确信度为0(是疏松结缔组织的概率为0的情况)，因此在根据从理想的学习模型获得的运算结果来研究确信度的分布时，得到如图17A所示的两极化分布。

在从第一学习模型410和第二学习模型420获取到运算结果的情况下，手术辅助装置200的控制部201按每个确信度合计像素数，并选择具有接近理想分布的分布的学习模型。例如，在根据第一学习模型410的运算结果获得的分布是图17B所示的分布，并且根据第二学习模型420的运算结果获得的分布是图18C所示的分布的情况下，由于后者更接近理想分布，因此控制部201选择第二学习模型420。

控制部201例如通过使用随着确信度接近1或0而评价值变高的评价系数来评价各分布，从而判断是否接近理想分布。图18是表示评价系数表的一个例子的图。这种评价系数表预先准备在存储部202中。在图18的例子中，评价系数设定为随着确信度接近1或0而取较高的值。

在得到每个确信度的像素数的合计结果的情况下，控制部201通过乘以评价系数，计算表示分布的好坏的得分。图19是表示得分的计算结果的一个例子的图。图19A～图19C表示针对图17A～图17C所示的各个分布计算得分的结果。根据理想分布计算出的得分最高。在对根据第一学习模型410的运算结果求出的分布计算得分时，总得分为84，在对根据第二学习模型420的运算结果求出的分布计算得分时，总得分为188。在该情况下，由于第二学习模型420的得分高于第一学习模型410，因此控制部201选择第二学习模型420作为适当的学习模型。

图20是表示由实施方式7的手术辅助装置200执行的处理的步骤的流程图。控制部201在获取了术野图像的情况下(步骤S701)，执行基于第一学习模型410的运算(步骤S702)，并获取第一学习模型410的运算结果(步骤S703)。控制部201对第一学习模型410合计每个确信度的像素数(步骤S704)，并分别乘以评价系数，计算分布的得分(第一得分)(步骤S705)。

同理，控制部201对在步骤S701中获取到的术野图像执行基于第二学习模型420的运算(步骤S706)，并获取第二学习模型420的运算结果(步骤S707)。控制部201对第二学习模型420合计每个确信度的像素数(步骤S708)，并分别乘以评价系数，计算分布的得分(第二得分)(步骤S709)。

在本流程图中，为了方便，步骤为在执行了关于第一学习模型410的运算(S702～S705)之后，执行关于第二学习模型420的运算(S706～S709)，但这些步骤可以先后执行，也可以同时并行地执行。

控制部201比较第一得分和第二得分，判断第一得分是否为第二得分以上(步骤S710)。

在判断第一得分为第二得分以上的情况下(S710：是)，控制部201选择第一学习模型410作为适当的学习模型(步骤S711)。此后，控制部201使用所选择的第一学习模型410执行疏松结缔组织的识别处理。

在判断第一得分小于第二得分的情况下(S710：否)，控制部201选择第二学习模型420作为适当的学习模型(步骤S712)。此后，控制部201使用所选择的第二学习模型420执行疏松结缔组织的识别处理。

如上所述，在实施方式7中，能够选择更适当的学习模型来执行疏松结缔组织的识别处理。

手术辅助装置200还可以在前台执行使用第一学习模型410的运算结果的疏松结缔组织的识别处理，在后台执行基于第二学习模型420的运算。控制部201还可以在定期的定时进行第一学习模型410和第二学习模型420的评价，并根据评价结果切换用于识别疏松结缔组织的学习模型。另外，控制部201还可以在由手术者等给予指示的定时，进行第一学习模型410和第二学习模型420的评价，并根据评价结果切换用于识别疏松结缔组织的学习模型。

在实施方式7中，作为第一学习模型410及第二学习模型420的评价方法，对使用了评价系数的方法进行了说明，但不限于使用了评价系数的方法，可以使用各种统计学的指标进行评价。例如，控制部201还可以求出关于分布的方差或标准差，在方差或标准差高的情况下，判断分布两极化。另外，控制部201还可以取100-像素的比例(％)的值作为坐标图的纵轴的值，通过求出坐标图的峰度或偏度来评价各模型的运算结果。而且，控制部201还可以使用众数或百分比等来评价各模型的运算结果。

(实施方式8)

在实施方式8中，对识别疏松结缔组织和神经的构成进行说明。

图21是说明实施方式8的手术辅助装置200的内部构成的框图。实施方式8的手术辅助装置200除了具备用于识别疏松结缔组织的学习模型300之外，还具备用于识别神经的学习模型500。手术辅助装置200的其他构成以及包含手术辅助装置200的系统的整体构成与实施方式1～7相同，因此省略其说明。

在学习模型500中，与实施方式1中说明的学习模型300同样，使用SegNet等用于进行图像分割的学习模型、YOLO等物体检测用的学习模型等，学习为针对术野图像的输入，输出与神经相关的信息(例如，表示各像素是否属于神经的概率)。

学习模型500通过在训练数据中使用包含术野图像和通过在该术野图像中以像素单位选择符合神经的部分而得到的正解数据的多组数据集，按照预定的算法进行机械学习而生成。关于学习步骤，由于与实施方式1相同，因此省略其说明。

在从输入部204获取到术野图像的情况下，手术辅助装置200的控制部201将获取到的术野图像输入学习模型500，并执行基于学习模型500的运算。控制部201将从学习模型500的softmax层输出的标签的概率为阈值以上(例如50％以上)的像素识别为神经部分。

控制部201还可以与识别神经部分同时并行地执行基于学习模型300的运算，识别疏松结缔组织部分。另外，手术辅助装置200还可以是为了独立地执行基于学习模型300的运算和基于学习模型500的运算而具备多个运算部(例如GPU)的构成。

图22是表示实施方式8中的显示例的示意图。图22示出了将学习模型300的疏松结缔组织部分的识别结果和学习模型500的神经部分的识别结果重叠显示在术野图像上的例子。手术辅助装置200的控制部201分别生成表示疏松结缔组织部分的识别图像和表示神经部分的识别图像，并将生成的两个识别图像重叠显示在术野图像上，由此能够显示疏松结缔组织部分和神经部分。此时，优选对疏松结缔组织部分分配特定的颜色(例如蓝色系的颜色)，对神经部分分配其他的颜色(例如绿色系的颜色)来进行显示。另外，还可以构成为通过用操作部203接受选择操作来任意地切换并显示疏松结缔组织部分和神经部分。

控制部201还可以在学习模型300的疏松结缔组织的识别结果与学习模型500的神经的识别结果重复的情况下，选择确信度高的一方的识别结果，并输出基于所选择的识别结果的信息。根据从softmax层330输出的概率计算学习模型300的识别结果的确信度。例如，控制部201通过对识别为疏松结缔组织的各像素求出概率值的平均值来计算确信度即可。学习模型500的识别结果的确信度同理。例如，在利用学习模型300识别术野图像中包含的结构体的结果是以95％的确信度识别为疏松结缔组织，利用学习模型500识别相同的结构体的结果是以60％的确信度识别为神经的情况下，控制部201向手术者提示该结构体是疏松结缔组织的认识结果即可。

而且，手术辅助装置200的控制部201还可以在学习模型300的疏松结缔组织的识别结果与学习模型500的神经的识别结果重复的情况下(即，将相同的像素既识别为疏松结缔组织又识别为神经的情况下)，以与各个确信度对应的显示方式显示识别结果。图23是表示与确信度对应的识别结果的显示例的示意图。在图23的例子中，将疏松结缔部分和神经部分放大表示。例如，在将术野图像中包含的特定结构体以90％的确信度识别为疏松结缔组织，并且没有将相同的结构体识别为神经组织的情况下(确信度小于50％的情况下)，控制部201用例如蓝色系的颜色(在附图上为黑色)对相当于该结构体的像素进行着色，并提示给手术者。同理，在将术野图像中包含的结构体以90％的确信度识别为神经组织，并且没有利用学习模型300将相同的结构体识别为疏松结缔组织的情况下(确信度小于50％的情况下)，控制部201用例如绿色系的颜色(在附图上为白色)对该结构体进行着色并提示给手术者。另一方面，在将术野图像中包含的结构体以60％的确信度识别为疏松结缔组织，并将相同的结构体以60％的确信度识别为神经组织的情况下，控制部201用例如蓝色系的颜色与绿色系的颜色的中间色(在附图上为灰色)对该结构体进行着色，并提示给手术者。控制部201根据疏松结缔组织的确信度和神经的确信度，确定对相当于结构体的像素进行着色的颜色即可。例如，在将疏松结缔组织部分的显示色设为(0、0、B)，并将神经组织部分的显示色设为(0、G、0)的情况下，控制部201将疏松结缔组织的确信度为X、神经组织的确信度为Y的像素的显示色确定为例如(0、G×Y/(X+Y)、B×X/(X+Y)那样即可。在本实施方式中，对根据确信度变更显示色的结构进行了说明，但也可以代替显示色，采用变更彩度、透明度等的构成。

如上所述，在实施方式7中，能够利用手术辅助装置200识别对于手术者而言难以区分的疏松结缔组织和神经，并将识别结果提示给手术者。

在本实施方式中，对识别疏松结缔组织和神经的构成进行了说明，但也可以构成为代替神经而识别其他结构体。在此，可以在与疏松结缔组织一起识别的其他结构体中，选择淋巴管等与疏松结缔组织相似的结构体。

此外，在实施方式中，构成为在识别结果重复的情况下，用与确信度对应的显示色进行显示，但也可以构成为优先显示确信度高的一方。例如，在以95％的确信度将术野图像中包含的结构体识别为疏松结缔组织，并以60％的确信度将相同的结构体识别为神经组织的情况下，控制部201也可以将该结构体识别为疏松结缔组织，并用蓝色系的颜色进行着色并提示给手术者。

(实施方式9)

在实施方式9中对手术辅助装置200所具备的用户界面进行说明。

图24是表示手术辅助装置200所具备的用户界面的构成例的示意图。图24示出了并列设置显示疏松结缔组织的识别图像的显示区域131和用于控制识别图像的显示方式的用户界面的例子。图24所示的用户界面具备模型选择部132、显示方法选择部133、阈值设定部134、透明度设定部135、平均化指示部136以及显示色选择部137。这些用户界面所具备的各种按钮或滑动件由手术辅助装置200所具备的操作部203操作。

模型选择部132具备用于选择用于构建学习模型300的神经网络的选择按钮。图24的例子表示选择了“U-Net”的状态。另外，模型选择部132还可以具备用于接受对在实施方式6中说明的第一学习模型410和第二学习模型420中的任一方的选择的选择按钮。而且，模型选择部132还可以根据病变的进展度、负责腹腔镜手术的手术者、疏松结缔组织的状态、手术区域等，高亮显示推荐的模型。

显示方法选择部133具备用于接受对重叠显示及软图显示中的任一方的选择的选择按钮。如在实施方式2中说明的那样，重叠显示是以相同的颜色均匀地显示疏松结缔组织部分的显示方法，软图显示是根据确信度变更透明度的显示方法。图24的例子表示选择了“重叠”显示的状态。

阈值设定部134具备滑动件，该滑动件设定用于判定关注像素是否为疏松结缔组织的阈值。滑动件构成为，当向左侧滑动时阈值变小(容易识别疏松结缔组织)，当向右侧滑动时阈值变大(难以识别疏松结缔组织)。

透明度设定部135具备用于变更疏松结缔组织的透明度的滑动件。滑动件构成为，当向左侧滑动时透明度变低，当向右侧滑动时透明度变高。

平均化指示部136具备用于开启或关闭显示色的平均化的指示按钮。在显示色的平均化开启的情况下，控制部201对针对疏松结缔组织设定的显示色和背景的术野图像的显示色进行平均化，并将平均化后的颜色作为疏松结缔组织部分的显示色进行显示。例如，在将针对疏松结缔组织部分设定的显示色设为(0、0、B1)、将背景的术野图像中的疏松结缔组织部分的显示色设为(R2、G2、B2)的情况下，控制部201用(R2/2、G2/2、(B1+B2)/2)的颜色对该疏松结缔组织部分进行着色并显示即可。可代替地，还可以引入权重系数W1和W2，用(W2×R2、W2×G2、W1×B1+W2×B2)的颜色对识别出的疏松结缔组织部分进行着色并显示。

显示色选择部137具备用于变更疏松结缔组织部分的显示色的滑动件和调色板。显示色选择部137可以将由滑动件指定的颜色设定为疏松结缔组织部分的显示色，也可以将由调色板选择的颜色设定为疏松结缔组织部分的显示色。另外，显示色选择部137还可以具备将由用户变更的显示色恢复为默认的显示色(例如，冷色系的颜色)的默认按钮。

手术辅助装置200的控制部201在接受了显示方式的变更指示的情况下，通过模型选择部132、显示方法选择部133、阈值设定部134、透明度设定部135、平均化指示部136以及显示色选择部137，根据变更指示变更在显示区域131上显示的疏松结缔组织部分的识别图像的显示方式即可。

在图24的例子中，构成为具备模型选择部132、显示方法选择部133、阈值设定部134、透明度设定部135、平均化指示部136以及显示色选择部137，但是用于控制识别图像的显示方式的用户界面不限于这些。例如，作为用户界面，可以具备接受可否由学习模型300(或学习模型410、420、500)进行推断的选择部。而且，作为用户界面，还可以具备设定推断的开始时间的设定部。

另外，控制部201还可以通过图24所示的用户界面接受显示方式的变更，在从默认的设定发生变更的情况下，在适当的定时向手术者通知显示方式被变更。例如，控制部201在手术支援装置200起动时或手术开始时，将显示方式的默认的设定值与显示方式的当前的设定值进行比较，在二者存在差异的情况下，将该情况显示在显示装置130上，或者通知到手术者携带的便携终端即可。

应当理解，本次公开的实施方式在所有方面都是示例性的，而不是限制性的。本发明的范围由权利要求书示出，而不是由上述含义示出，并且旨在包括与权利要求书等同的含义以及范围内的所有变更。

附图标记说明：

10：穿刺器

11：腹腔镜

12：能量处置器具

13：钳子

110：相机控制单元(CCU)

120：光源装置

130：显示装置

140：录像装置

200：手术辅助装置

201：控制部

202：存储部

203：操作部

204：输入部

205：输出部

206：通信部

300：学习模型

PG1：识别处理程序

PG2：显示处理程序

PG3：学习处理程序

Claims (21)

1.一种计算机程序，其特征在于，用于使计算机执行如下处理：

获取对镜视下手术的术野进行拍摄而得到的术野图像；

将获取到的术野图像输入学习模型，从而识别该术野图像中包含的疏松结缔组织部分，所述学习模型学习为，在输入了术野图像的情况下输出与疏松结缔组织相关的信息。

2.根据权利要求1所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

在所述术野图像上以能够判别的方式显示使用所述学习模型识别出的疏松结缔组织部分。

3.根据权利要求2所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

利用冷色系的颜色对所述疏松结缔组织部分进行着色并显示。

4.根据权利要求2所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

对针对所述疏松结缔组织部分设定的显示色和所述术野图像中的疏松结缔组织部分的显示色进行平均化；

用平均化后的颜色对识别出的疏松结缔组织部分进行着色并显示。

5.根据权利要求2至4中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

根据所述疏松结缔组织部分的识别结果的确信度，变更所述疏松结缔组织部分的显示方式。

6.根据权利要求1至5中任一项所述的计算机程序，其特征在于，

所述疏松结缔组织是将应该通过所述镜视下手术去除的部位和应该通过所述镜视下手术保留的部位之间结合的纤维状的组织。

7.根据权利要求1至6中任一项所述的计算机程序，其特征在于，

所述疏松结缔组织由多个纤维状的组织构成，

所述计算机程序用于使所述计算机执行如下处理：根据从所述学习模型输出的信息，将所述多个纤维状的组织的一部分或全部识别为一个集合体。

8.根据权利要求1至7中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

将识别出的疏松结缔组织部分分割为多个范围；

选择性地显示分割后的多个范围中的任意一个范围内的疏松结缔组织部分。

9.根据权利要求1至8中任一项所述的计算机程序，其特征在于，

所述学习模型包括第一学习模型和第二学习模型，所述第一学习模型用于识别存在于应该通过所述镜视下手术去除的部位附近的范围内的疏松结缔组织部分，所述第二学习模型用于识别存在于应该通过所述镜视下手术保留的部位附近的范围内的疏松结缔组织部分，

所述计算机程序用于使所述计算机执行如下处理：

根据病变部的进展度，选择所述第一学习模型和第二学习模型中的任一个。

10.根据权利要求1至9中任一项所述的计算机程序，其特征在于，

所述学习模型包括第一学习模型和第二学习模型，所述第一学习模型用于识别存在于应该通过所述镜视下手术去除的部位附近的范围内的疏松结缔组织部分，所述第二学习模型用于识别存在于应该通过所述镜视下手术保留的部位附近的范围内的疏松结缔组织部分，

所述计算机程序用于使所述计算机执行如下处理：

根据手术者，选择第一学习模型和第二学习模型中的任一个。

11.根据权利要求1至10中任一项所述的计算机程序，其特征在于，

所述学习模型包括用于识别疏松结缔组织部分的多种学习模型，

所述计算机程序用于使所述计算机执行如下处理：

根据患者的属性、有无覆盖所述疏松结缔组织的粘连组织、包含所述疏松结缔组织的手术区域、或者拍摄所述疏松结缔组织的拍摄装置的种类，从所述多种学习模型中选择一个学习模型。

12.根据权利要求1至11中任一项所述的计算机程序，其特征在于，

所述学习模型包括用于识别疏松结缔组织部分的多种学习模型，

所述计算机程序用于使所述计算机执行如下处理：

根据在输入了所述术野图像的情况下从各学习模型输出的信息，评价各学习模型，

使用根据评价结果选择的学习模型，识别术野图像中包含的疏松结缔组织部分。

13.根据权利要求1至12中任一项所述的计算机程序，其特征在于，

所述学习模型以在具有伸缩性的疏松结缔组织从紧张前的状态转移到紧张的状态的阶段，识别所述疏松结缔组织部分的方式进行学习。

14.根据权利要求1至13中任一项所述的计算机程序，其特征在于，

所述学习模型以在输入了术野图像的情况下，将与由所述疏松结缔组织结合的两个部位中的至少一个相关的信息和与疏松结缔组织相关的信息一起输出的方式进行学习，

所述计算机程序用于使所述计算机执行如下处理：

用与疏松结缔组织部分不同的方式显示识别出的部位。

15.根据权利要求1至14中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

判断所述术野内的特定的部位是否为静止状态；

根据判断结果，切换所述疏松结缔组织部分的显示和不显示。

16.根据权利要求1至15中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

判断所述术野中包含的手术工具是否为静止状态；

根据判断结果，切换所述疏松结缔组织部分的显示和不显示。

17.根据权利要求1至16中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

将获取到的术野图像输入学习模型，从而识别该术野图像中包含的结构体部分，所述学习模型学习为，在输入了术野图像的情况下输出与疏松结缔组织不同的结构体相关的信息，

用与所述疏松结缔组织部分的识别的确信度和所述结构体部分的识别的确信度对应的显示方式，显示识别结果。

18.一种学习模型的生成方法，其特征在于，

使用计算机，

获取训练数据，所述训练数据包括对镜视下手术的术野进行拍摄而得到的术野图像和表示该术野图像内的疏松结缔组织部分的正解数据，

根据获取到的训练数据的集合，生成在输入了术野图像的情况下输出与疏松结缔组织相关的信息的学习模型。

19.根据权利要求18所述的学习模型的生成方法，其特征在于，

所述正解数据是对在所述术野图像中出现的疏松结缔组织中具有伸缩性的部分、在里侧存在空间的部分、或者保持为紧张状态的纤维状的部分标注了正解标签的数据。

20.一种手术辅助装置，其特征在于，具备：

获取部，其获取对镜视下手术的术野进行拍摄而得到的术野图像；

识别部，其使用学习模型，识别由所述获取部获取到的术野图像中包含的疏松结缔组织部分，所述学习模型学习为，在输入了术野图像的情况下输出与疏松结缔组织相关的信息；以及

输出部，其根据该识别部的识别结果，输出与所述镜视下手术相关的辅助信息。

21.一种信息处理方法，其特征在于，

使用计算机，

获取对镜视下手术的术野进行拍摄而得到的术野图像，

使用学习模型，识别获取到的术野图像中包含的疏松结缔组织部分，所述学习模型学习为，在输入了术野图像的情况下输出与疏松结缔组织相关的信息，

根据识别结果，输出与所述镜视下手术相关的辅助信息。

Images