CN116723787A - 计算机程序、学习模型的生成方法、以及辅助装置 - Google Patents

Abstract

提供一种计算机程序、学习模型的生成方法、以及辅助装置。使计算机执行如下处理：获取对镜视下手术的术野进行拍摄而得到的术野图像；使用学习模型识别所获取的术野图像中包含的对象组织部分以与出现在该对象组织部分的表面的血管组织部分进行区分，所述学习模型学习为，在输入了术野图像的情况下，输出与对象组织有关的信息。

Description

计算机程序、学习模型的生成方法、以及辅助装置

技术领域

本发明涉及计算机程序、学习模型的生成方法、以及辅助装置。

背景技术

在腹腔镜手术中，例如进行去除患者体内形成的恶性肿瘤等病变部的手术。此时，利用腹腔镜对患者体内进行拍摄，并将得到的术野图像显示在监视器上(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2005-287839号公报

发明内容

以往，难以从术野图像中识别手术者需要注意的神经、输尿管等组织并告知给手术者。

本发明的目的在于，提供一种能够从术野图像中输出神经、输尿管等组织的识别结果的计算机程序、学习模型的生成方法、以及辅助装置。

用于解决问题的方案

本发明的一个方面中的计算机程序是用于使计算机执行如下处理的计算机程序：获取对镜视下手术的术野进行拍摄而得到的术野图像；使用学习模型识别所获取的术野图像中包含的对象组织部分以与出现在该对象组织部分表面的血管组织部分进行区分，所述学习模型被学习为，在输入了术野图像的情况下输出与对象组织有关的信息。

本发明的一个方面中的学习模型生成方法中，计算机获取训练数据，所述训练数据包括对镜视下手术的术野进行拍摄而得到的术野图像、以及正解数据，所述正解数据通过对该术野图像中包含的对象组织部分添加标签以与出现在该对象组织部分表面的血管组织部分进行区分而得到，根据获取到的训练数据的集合，生成在输入了术野图像的情况下输出与对象组织有关的信息的学习模型。

本发明的一个方面中的辅助装置具备：获取部，其获取对镜视下手术的术野进行拍摄而得到的术野图像；识别部，其使用学习模型识别所获取的术野图像中包含的对象组织部分以与出现在该对象组织部分的表面的血管组织部分进行区分，所述学习模型被学习为，在输入了术野图像的情况下输出与对象组织有关的信息；以及输出部，其根据该识别部的识别结果，输出与所述镜视下手术有关的辅助信息。

发明效果

根据本申请，能够从术野图像输出对神经、输尿管等组织进行识别的识别结果。

附图说明

图1是说明实施方式1的腹腔镜手术辅助系统的概略构成的示意图。

图2是说明辅助装置的内部构成的框图。

图3是示出术野图像的一个例子的示意图。

图4是示出学习模型的构成例的示意图。

图5是示出学习模型的识别结果的示意图。

图6是示出实施方式1的识别结果的局部放大图。

图7是示出比较例的识别结果的局部放大图。

图8是说明学习模型的生成步骤的流程图。

图9是说明手术辅助的执行步骤的流程图。

图10是示出显示装置中的显示例的示意图。

图11是示出实施方式2中的术野图像的例子的示意图。

图12是说明实施方式2中的学习模型的构成的说明图。

图13是示出实施方式2中的识别结果的显示例的示意图。

图14是示出实施方式3中的术野图像的例子的示意图。

图15是说明实施方式3中的学习模型的构成的说明图。

图16是示出实施方式3中的识别结果的显示例的示意图。

图17是示出实施方式4中的显示例的示意图。

图18是说明实施方式5中的显示方法的说明图。

图19是说明由实施方式6的辅助装置执行的处理的步骤的流程图。

图20是示出实施方式6中的显示例的示意图。

图21是说明实施方式7中的学习模型的构成的说明图。

图22是示出实施方式7中的识别结果的显示例的示意图。

图23是说明实施方式8中的学习模型的构成的说明图。

图24是说明脏器边界的确定方法的说明图。

图25是说明由实施方式8的辅助装置执行的处理的步骤的流程图。

具体实施方式

以下，使用附图具体说明将本发明应用于腹腔镜手术的辅助系统的方式。此外，本发明不限于腹腔镜手术，能够适用于所有使用了胸腔镜、消化道内窥镜、膀胱镜、关节镜、机器人辅助下内窥镜、脊椎内窥镜、手术显微镜、神经内窥镜、外窥镜等拍摄装置的镜视下手术。

(实施方式1)

图1是说明实施方式1的腹腔镜手术辅助系统的概略构成的示意图。在腹腔镜手术中，代替实施开腹手术，在患者的腹壁上安装多个称为穿刺器(troca)10的开孔器具，从设于穿刺器10的开孔将腹腔镜11、能量处置器具12、钳子13等器具插入患者体内。手术者进行一边实时观察由腹腔镜11拍摄的患者体内的图像(术野图像)，一边使用能量处置器具12切除患部等的处置。腹腔镜11、能量处置器具12、钳子13等手术器具由手术者或机器人等保持。手术者是与腹腔镜手术相关的医疗工作者，包括执刀医生、助手、护士、监视手术的医生等。

腹腔镜11具备插入患者体内的插入部11A、内置于插入部11A的前端部分的拍摄装置11B、设置于插入部11A的后端部分的操作部11C、以及用于连接到摄像机控制单元(CCU)110或光源装置120的通用软线11D。

腹腔镜11的插入部11A由硬性管形成。在硬性管的前端部分设置有弯曲部。弯曲部中的弯曲机构是组装于通常的腹腔镜的公知的机构，构成为通过与操作部11C的操作联动的操作线的牵引而向例如上下左右四个方向弯曲。此外，腹腔镜11不限于上述具有弯曲部的软性镜，也可以是不具有弯曲部的硬性镜。

拍摄装置11B具备驱动电路，驱动电路具备CMOS(Complementary Metal OxideSemiconductor)等固体拍摄元件、定时发生器(TG)、模拟信号处理电路(AFE)等。拍摄装置11B的驱动电路与从TG输出的时钟信号同步地取入从固体拍摄元件输出的RGB各个颜色的信号，在AFE中实施噪声去除、放大、AD变换等必要的处理，生成数字形式的图像数据。拍摄装置11B的驱动电路通过通用软线11D将生成的图像数据传输到CCU110。

操作部11C具备由手术者操作的角杆或远程开关等。角杆是接受用于使弯曲部弯曲的操作的操作器具。也可以代替角杆而设置弯曲操作旋钮、操纵杆等。远程开关例如包括将观察图像切换为动态图像显示或静态图像显示的切换开关、放大或缩小观察图像的变焦开关等。远程开关可以被分配预定的特定功能，也可以被分配由手术者设定的功能。

另外，还可以在操作部11C中内置由线性谐振致动器或压电致动器等构成的振子。在发生了应该告知给操作腹腔镜11的手术者的事件的情况下，CCU110也可以通过使内置于操作部11C的振子工作而使操作部11C振动，从而将上述事件的发生通知给手术者。

在腹腔镜11的插入部11A、操作部11C、以及通用软线11D的内部配置有传输电缆和光导等，传输电缆用于传输从CCU110向拍摄装置11B输出的控制信号或从拍摄装置11B输出的图像数据，光导将从光源装置120射出的照明光引导至插入部11A前端部分。从光源装置120射出的照明光通过光导被引导至插入部11A的前端部分，并经由设置于插入部11A的前端部分的照明透镜照射到术野。此外，在本实施方式中，将光源装置120记载为独立的装置，但光源装置120也可以是内置于CCU110的构成。

CCU110具备控制电路和图像处理电路等，控制电路控制腹腔镜11所具备的拍摄装置11B的动作，图像处理电路处理通过通用软线11D输入的来自拍摄装置11B的图像数据。控制电路具备CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(RandomAccess Memory)等，根据CCU110所具备的各种开关的操作或腹腔镜11所具备的操作部11C的操作，向拍摄装置11B输出控制信号，进行拍摄开始、拍摄停止、变焦等的控制。图像处理电路具备DSP(Digital Signal Processor)、图像存储器等，对通过通用软线11D输入的图像数据实施颜色分离、颜色插补、增益校正、白平衡调整、伽马校正等适当的处理。CCU110根据处理后的图像数据生成运动图像用的帧图像，并将生成的各帧图像依次输出到后述的辅助装置200。帧图像的帧速率例如为30FPS(Frames Per Second)。

CCU110可以生成符合诸如NTSC(National Television System Committee)、PAL(Phase Alternating Line)、DICOM(Digital Imaging and COmmunication in Medicine)等预定标准的影像数据。CCU110通过将生成的影像数据输出到显示装置130，能够在显示装置130的显示画面上实时显示术野图像(影像)。显示装置130是具备液晶面板或有机EL(Electro-Luminescence)面板等的监视器。另外，CCU110还可以将生成的影像数据输出到录像装置140，并将影像数据存储到录像装置140中。录像装置140具备HDD(Hard DiskDrive)等存储装置，该HDD将从CCU110输出的影像数据与标识各手术的标识符、手术的日期和时间、手术地点、患者名、手术者名等一起存储。

辅助装置200根据从CCU110输入的图像数据(即，拍摄术野而得到的术野图像的图像数据)，生成与腹腔镜手术有关的辅助信息。具体而言，辅助装置200进行如下处理：识别待识别的对象组织与出现在对象组织的表面的血管组织(表面血管)以区分二者，将与识别到的对象组织有关的信息显示于显示装置130。在实施方式1～6中，对作为对象组织识别神经组织的构成进行说明，在后述的实施方式7中，对作为对象组织识别输尿管组织的构成进行说明。对象组织不限于神经组织和输尿管组织，也可以是动脉、输精管、胆管、骨、肌肉等存在表面血管的任意脏器。

在本实施方式中，对在辅助装置200中进行神经组织的识别处理的构成进行说明，但也可以是将与辅助装置200同等的功能设置于CCU110，在CCU110中进行神经组织的识别处理的构成。

以下，对辅助装置200的内部构成、由辅助装置200执行的识别处理以及显示处理进行说明。

图2是说明辅助装置200的内部构成的框图。辅助装置200是具备控制部201、存储部202、操作部203、输入部204、输出部205、以及通信部206等的专用或通用的计算机。辅助装置200可以是设置在手术室内的计算机，也可以是设置在手术室的外部的计算机。另外，辅助装置200可以是设置在进行腹腔镜手术的医院内的服务器，也可以是设置在医院外部的服务器。

控制部201例如具备CPU、ROM、以及RAM等。在控制部201所具备的ROM中存储控制辅助装置200所具备的硬件各部的动作的控制程序等。控制部201内的CPU执行ROM中存储的控制程序、后述的存储部202中存储的各种计算机程序，通过控制硬件各部的动作，使装置整体作为本申请的辅助装置发挥功能。在控制部201所具备的RAM中，临时存储执行运算的过程中使用的数据等。

在本实施方式中，构成为控制部201具备CPU、ROM、以及RAM，但控制部201的构成可以是任意的，例如是具备一个或多个GPU(Graphics Processing Unit)、量子处理器、易失性或非易失性存储器等的运算电路或控制电路。另外，控制部201也可以具有输出日期和时间信息的时钟、测量从提供测量开始指示到提供测量结束指示为止的经过时间的计时器、计数数量的计数器等的功能。

存储部202具备使用了硬盘、闪存等的存储装置。在存储部202中存储由控制部201执行的计算机程序、从外部获取到的各种数据、在装置内部生成的各种数据等。

存储部202中存储的计算机程序包括：识别处理程序PG1，其使控制部201执行用于识别术野图像中包含的对象组织部分以与血管组织部分进行区分的处理；显示处理程序PG2，其使控制部201执行用于在显示装置130上显示基于识别结果的辅助信息的处理；以及学习处理程序PG3，其用于生成学习模型310。此外，识别处理程序PG1和显示处理程序PG2不需要是分别独立的计算机程序，也可以实现为一个计算机程序。这些程序例如由可读取地存储计算机程序的非临时存储介质M提供。存储介质M是CD-ROM、USB存储器、SD(SecureDigital)卡等便携式存储器。控制部201使用图中未示出的读取装置，从存储介质M读取所希望的计算机程序，并将读取到的计算机程序存储到存储部202中。可代替地，上述计算机程序也可以通过使用通信部206的通信来提供。

另外，在存储部202中存储上述识别处理程序PG1中使用的学习模型310。学习模型310是被学习为针对术野图像的输入，输出与对象组织有关的识别结果的学习模型。学习模型310通过其定义信息来描述。学习模型310的定义信息包括学习模型310所具备的层的信息、构成各层的节点的信息、节点间的加权和偏差等参数。将对术野进行拍摄而得到的术野图像和表示术野图像内的对象组织部分的正解数据作为训练数据，使用预定的学习算法学习这些参数。关于学习模型310的构成以及生成步骤将在后面详细说明。

操作部203具备键盘、鼠标、触控面板、非接触面板、触控笔、由麦克风进行的语音输入等操作设备。操作部203接受手术者等进行的操作，并将与接受到的操作相关的信息输出到控制部201。控制部201根据从操作部203输入的操作信息执行适当的处理。此外，在本实施方式中，构成为辅助装置200具备操作部203，但也可以是通过与外部连接的CCU110等各种设备接受操作的构成。

输入部204具备连接输入设备的连接接口。在本实施方式中，与输入部204连接的输入设备是CCU110。将由腹腔镜11拍摄并由CCU110实施了处理的术野图像的图像数据输入到输入部204。输入部204将输入的图像数据输出到控制部201。另外，控制部201还可以将从输入部204获取到的图像数据存储到存储部202中。

输出部205具备连接输出设备的连接接口。在本实施方式中，与输出部205连接的输出设备是显示装置130。控制部201在生成了学习模型310的识别结果等应该告知手术者等的信息的情况下，通过将生成的信息从输出部205输出到显示装置130，在显示装置130上显示信息。在本实施方式中，构成为将显示装置130作为输出设备连接到输出部205，但也可以将输出声音的扬声器等输出设备连接到输出部205。

通信部206具备收发各种数据的通信接口。通信部206所具备的通信接口是符合在以太网(注册商标)或WiFi(注册商标)中使用的有线或无线的通信标准的通信接口。当从控制部201输入应该发送的数据时，通信部206将应该发送的数据发送到指定目的地。另外，通信部206在接收到从外部装置发送的数据的情况下，将接收到的数据输出到控制部201。

辅助装置200无需是单一的计算机，也可以是由多台计算机或周边设备组成的计算机系统。而且，辅助装置200也可以是利用软件虚拟构建的虚拟机。

接着，对输入到辅助装置200的术野图像进行说明。

图3是示出术野图像的一个例子的示意图。本实施方式中的术野图像是利用腹腔镜11对患者的腹腔内进行拍摄而得到的图像。术野图像无需是由腹腔镜11的拍摄装置11B输出的原始图像，也可以是由CCU110等实施了处理的图像(帧图像)。

由腹腔镜11拍摄的术野中包括构成脏器、血管、神经等的组织、存在于组织间的结缔组织、包含肿瘤等病变部位的组织、以及复盖组织的膜或层等组织。手术者一边掌握这些组织的解剖学结构的关系，一边使用钳子、能量处置器具等器具，进行包含病变部的组织的剥离。图3中作为例子示出的术野图像，示出了使用钳子13牵引复盖脏器31的膜32，并使用能量处置器具12将包含病变部33的组织剥离的场景。另外，图3的例子示出了在病变部33的附近，神经34在图中上下方向上行走的情况。在镜视下手术中，在进行牵引、剥离的过程中神经损伤时，术后可能发生功能障碍。例如，大肠手术中的下腹神经损伤可能会成为排尿障碍的原因。另外，食道切除和肺切除中的喉返神经损伤可能会成为吞咽障碍的原因。

为了避免手术中的神经损伤，掌握神经的行走方向变得重要。然而，神经完全露出的情况比较少见，大多情况下与血管等其他组织重叠，因此，对于手术者来说，掌握神经的行走方向并不容易。因此，本实施方式的辅助装置200使用学习模型310识别术野图像中包含的神经组织部分以与血管组织部分进行区分，并根据识别结果输出与腹腔镜手术相关的辅助信息。

以下，对学习模型310的构成例进行说明。

图4是示出学习模型310构成例的示意图。学习模型310是用于进行图像分割的学习模型，由例如SegNet等具备卷积层的神经网络构建。学习模型310不限于SegNet，还可以使用FCN(Fully Convolutional Network)、U-Net(U-Shaped Network)、PSPNet(PyramidScene Parsing Network)等能够进行图像分割的任意神经网络来构建学习模型310。另外，代替图像分割用的神经网络，学习模型310还可以使用YOLO(You Only Look Once)、SSD(Single Shot Multi-Boox Detector)等物体检测用的神经网络构建。

在本实施方式中，输入到学习模型310的图像是从腹腔镜11得到的术野图像。学习模型310被学习为，针对术野图像的输入，输出表示术野图像中包含的神经组织的识别结果的图像。

学习模型310例如具备编码器311、解码器312、以及softmax层313。编码器311交替配置卷积层和池化层而构成。卷积层被多层化为2～3层。在图4的例子中，对卷积层表示为不标注阴影线，对池化层表示为标注阴影线。

在卷积层中，进行输入的数据与分别确定的尺寸(例如3×3、5×5等)的滤波器的卷积运算。即，按各要素将输入到与滤波器的各要素对应的位置的输入值与滤波器中预设的权重系数相乘，并计算出这些要素中的每一个的乘法值的线性和。通过将计算出的线性和与设定的偏差相加，得到卷积层中的输出。此外，卷积运算的结果也可以通过激活函数进行转换。作为激活函数，例如能够使用ReLU(Rectified Linear Unit)。卷积层的输出表示提取输入数据的特征得到的特征图。

在池化层中，计算从作为连接到输入侧的上位层的卷积层输出的特征图的局部的统计量。具体而言，设定与上位层的位置对应的预定尺寸(例如，2×2、3×3)的窗口，并根据窗口内的输入值计算局部的统计量。作为统计量，例如能够采用最大值。从池化层输出的特征图的尺寸根据窗口的尺寸而缩小(下采样)。图4的例子示出了通过在编码器311中依次重复卷积层中的运算和池化层中的运算，从而将224像素×224像素的输入图像依次下采样为112×112、56×56、28×28、…、1×1的特征图。

将编码器311的输出(在图4的例子中为1×1的特征图)输入到解码器312。解码器312通过交替配置反卷积层和反池化层而构成。反卷积层被多层化为2～3层。在图4的例子中，对反卷积层表示为不标注阴影线，对反池化层表示为标注阴影线。

在反卷积层中，对输入的特征图进行反卷积运算。反卷积运算是指在输入的特征图是使用特定的滤波器进行卷积运算而得到的结果的推测下，复原卷积运算前的特征图的运算。在该运算中，在用矩阵表示特定的滤波器时，通过计算该矩阵的转置矩阵与输入的特征图的积，生成输出用的特征图。此外，反卷积层的运算结果也可以通过上述的ReLU等激活函数进行转换。

解码器312所具备的反池化层与编码器311所具备的池化层一一单独对应，并且对应的对具有实质相同的尺寸。反池化层重新增大(上采样)在编码器311的池化层中下采样的特征图的尺寸。图4的例子示出了通过在解码器312中依次重复卷积层中的运算和池化层中的运算，从而依次上采样为1×1、7×7、14×14、…、224×224的特征图。

将解码器312的输出(在图4的例子中为224×224的特征图)输入到softmax层313。softmax层313通过对来自与输入侧连接的反卷积层的输入值应用softmax函数，输出标识各位置(像素)中的部位的标签的概率。在本实施方式中，设定标识神经组织的标签，并以像素为单位标识是否属于神经组织即可。通过提取从softmax层313输出的标签的概率为阈值以上(例如70％以上)的像素，得到表示神经组织部分的识别结果的图像(以下称为识别图像)。

此外，在图4的例子中，将224像素×224像素的图像作为输入到学习模型310的输入图像，但输入图像的尺寸并不限定于上述尺寸，可以根据辅助装置200的处理能力、从腹腔镜11得到的术野图像的尺寸等适当设定。另外，输入到学习模型310的输入图像不需要是从腹腔镜11得到的整个术野图像，也可以是切出术野图像的关注区域而生成的部分图像。由于包含处理对象的关注领域大多位于术野图像的中央附近，因此例如也可以使用将术野图像的中央附近以成为原来的一半左右的尺寸的方式切出为矩形而得到的部分图像。通过减小输入到学习模型310的图像的尺寸，能够在提高处理速度的同时提高识别精度。

图5是示出学习模型310的识别结果的示意图。在图5的例子中，添加阴影线来表示使用学习模型310识别出的神经组织部分51，并且除此以外的脏器、膜、手术器具的部分由虚线示出作为参考。辅助装置200的控制部201生成神经组织的识别图像，以能够判别的方式显示识别出的神经组织部分。识别图像是与术野图像具有相同的尺寸、对被识别为神经组织的像素分配了特定颜色的图像。分配给神经组织的颜色可以任意设定。例如，分配给神经组织的颜色可以是与神经同样的白色系的颜色，也可以是人体内部不存在的蓝色系的颜色。另外，对构成识别图像的各像素附加表示透明度的信息，对被识别为神经组织的像素设定不透明的值，对除此以外的像素设定透明的值。辅助装置200通过将这样生成的识别图像重叠显示在术野图像上，能够将神经组织部分作为具有特定颜色的结构显示在术野图像上。

图6是示出实施方式1的识别结果的局部放大图。图6示出了识别术野图像中包含的神经组织部分61与出现在神经组织部分61的表面的血管组织部分62以区分二者的结果。在图6的例子中，仅对除血管组织部分62以外识别出的神经组织部分61添加阴影线表示。根据该识别结果，能够确认存在图示的两个箭头的方向上并行的两根神经。

图7是示出比较例的识别结果的局部放大图。图7的比较例示出了在与图6相同的区域识别神经组织部分71而不与表面出现的血管组织部分进行区分而得到的结果。根据该识别结果，由于无法明确掌握并行的两根神经的存在，因此有可能被解释为比较粗的一根神经沿箭头的方向行走。

在本实施方式中，为了识别术野图像中包含的神经组织部分与出现在神经组织部分表面的血管组织部分以区分二者，生成以像素为单位识别是否符合神经组织的学习模型310。作为生成学习模型310的准备阶段，对拍摄完成的术野图像实施注释。

在生成学习模型310的准备阶段中，作业人员(医师等专家)将录像装置140中存储的术野图像显示于显示装置130，并使用作为操作部203而具备的鼠标、触控笔等，以像素为单位指定符合神经组织的部分来进行注释。此时，作业人员优选以像素为单位指定除去出现在神经组织的表面的血管组织以外符合神经组织的部分。将用于注释的大量术野图像和表示与在各术野图像中指定的符合神经组织的像素的位置的数据(正解数据)的集合，作为用于生成学习模型310的训练数据存储在辅助装置200的存储部202中。为了增加训练数据的数量，也可以在训练数据中包含应用透视转换、镜像处理等生成的术野图像与针对该术野图像的正解数据的集合。而且，随着学习的进行，还可以在训练数据中包含术野图像与通过输入术野图像得到的学习模型310的识别结果(正解数据)的集合。

而且，在进行注释时，作业人员也可以将符合应排除的血管组织的像素作为非正解数据并添加标签。还可以将用于注释的术野图像、表示各术野图像中符合指定的神经组织的像素的位置的数据(正解数据)、与表示符合指定的血管组织的像素的位置的数据(非正解数据)的集合，作为生成学习模型310的训练数据存储到辅助装置200的存储部202中。

辅助装置200使用上述的训练数据生成学习模型310。图8是说明学习模型310的生成步骤的流程图。辅助装置200的控制部201从存储部202读出学习处理程序PG3，通过执行以下步骤，生成学习模型310。此外，在开始学习之前的阶段，假设对记述学习模型310的定义信息提供了初始值。

控制部201首先访问存储部202，从为了生成学习模型310而事先准备的训练数据中选择一组训练数据(步骤S101)。控制部201将所选择的训练数据中包含的术野图像输入到学习模型310(步骤S102)，执行由学习模型310进行的运算(步骤S103)。即，控制部201根据输入的术野图像生成特征图，并执行依次对生成的特征图进行下采样的由编码器311进行的运算、依次对从编码器311输入的特征图进行上采样的由解码器312进行的运算、以及标识最终从解码器312得到的特征图的各像素的由softmax层313进行的运算。

控制部201从学习模型310获取运算结果，并评价所获取的运算结果(步骤S104)。例如，控制部201通过计算作为运算结果而得到的神经组织的图像数据与训练数据中包含的正解数据的相似度来评价运算结果即可。相似度例如通过Jaccard系数计算。在将由学习模型310提取出的神经组织部分设为A，将正解数据中包含的神经组织部分设为B时，Jaccard系数通过A∩B/A∪B×100(％)提供。代替Jaccard系数，也可以计算Dice系数或Simpson系数，也可以使用其他现有的方法计算相似度。在训练数据中包含有非正解数据时，控制部201还可以参照非正解数据进行学习。例如，在由学习模型310提取出的神经组织部分符合非正解数据中包含的血管组织部分时，控制部201可以进行相似度的减法计算处理。

控制部201根据运算结果的评价，判断学习是否完成(步骤S105)。在得到预设阈值以上的相似度时，控制部201能够判断学习完成。

在判断学习未完成时(S105：NO)，控制部201使用反向误差传播法，从学习模型310的输出侧向输入侧依次更新学习模型310的各层中的权重系数以及偏差(步骤S106)。控制部201在更新各层的权重系数以及偏差之后，将处理返回至步骤S101，再次执行从步骤S101到步骤S105的处理。

在步骤S105中判断学习完成时(S105：YES)，由于得到学习完成的学习模型310，因此控制部201结束本流程图进行的处理。

在本实施方式中，构成为在辅助装置200中生成学习模型310，但也可以使用服务器装置等外部计算机来生成学习模型310。此时，辅助装置200可以使用通信等手段来获取在外部计算机中生成的学习模型310，并使获取到的学习模型310存储在存储部202中。

辅助装置200在学习模型310生成后的运用阶段中进行手术辅助。图9是说明手术辅助的执行步骤的流程图。辅助装置200的控制部201通过从存储部202读出并执行识别处理程序PG1以及显示处理程序PG2，来执行以下步骤。当腹腔镜手术开始时，利用腹腔镜11的拍摄装置11B对术野进行拍摄而得到的术野图像经由通用软线11D随时输出到CCU110。辅助装置200的控制部201通过输入部204获取从CCU110输出的术野图像(步骤S121)。每当获取术野图像时，控制部201执行以下处理。

控制部201将获取到的术野图像输入到学习模型310中，执行由学习模型310进行的运算(步骤S122)，并识别术野图像中包含的神经组织部分(步骤S123)。即，控制部201根据输入的术野图像生成特征图，并执行依次对生成的特征图进行下采样的由编码器311进行的运算、依次对从编码器311输入的特征图进行上采样的由解码器312进行的运算、以及标识最终从解码器312得到的特征图的各像素的由softmax层313进行的运算。另外，控制部201将从softmax层313输出的标签的概率为阈值以上(例如70％以上)的像素识别为神经组织部分。

在生成学习模型310时，如果进行了注释以识别存在于手术者的中心视野的神经组织，则在步骤S123中，仅识别存在于手术者的中心视野的神经组织。另外，如果进行了注释以识别不存在于手术者的中心视野的神经组织，则在步骤S123中，仅识别不存在于手术者的中心视野的神经组织。而且，如果进行了注释以识别施加了张力的状态的神经组织，则在步骤S123中，在神经组织从紧张之前的状态过度到紧张状态的阶段识别为神经组织。而且，如果进行了注释以识别在术野中开始露出的神经组织，则在牵引或切除复盖脏器等组织的膜、层从而神经组织开始露出的阶段识别为神经组织。

为了以能够判别的方式显示使用学习模型310识别出的神经组织部分，控制部201生成神经组织的识别图像(步骤S124)。控制部201可以对被识别为神经组织像素分配与神经相同的白色系的颜色或人体中不存在的蓝色系的颜色等特定颜色，并对神经组织以外的像素设定背景透明的透明度。

控制部201利用输出部205将步骤S124中生成的神经组织的识别图像与步骤S121中获取到的术野图像一起输出到显示装置130，将识别图像重叠在术野图像上，并显示在显示装置130上(步骤S125)。由此，使用学习模型310识别出的神经组织部分作为具有特定颜色的结果显示在术野图像上。

图10是示出显示装置130中的显示例的示意图。为了便于制作附图，在图10的显示例中，使用学习模型310识别出的神经组织部分101表示为添加有阴影线的区域。实际上，由于神经组织部分101以像素为单位被涂覆有白色系或蓝色系等特定颜色，因此手术者能够通过阅览显示装置130的显示画面，明确识别神经组织部分101以与血管组织部分102进行区分。

在本实施方式中，构成为用白色系或蓝色系的颜色对符合神经组织的像素进行着色并显示，但也可以将预设的显示色(白色系或蓝色系的颜色)与背景的术野图像的显示色进行平均化，用平均化后的颜色进行着色并显示。例如，假设对神经组织部分设定的显示色为(R1，G1，B1)，背景的术野图像中神经组织部分的显示色为(R2，G2，B2)时，控制部201可以用((R1+R2)/2，(G1+G2)/2，(B1+B2)/2)的颜色对识别出的神经组织部分进行着色并显示。可代替地，还可以引入权重系数W1、W2，用(W1×R1+W2×R2，W1×G1+W2×G2，W1×B1+W2×B2)的颜色对识别出的血管部分进行着色并显示。

另外，还可以对识别出的对象组织部分(本实施方式中为神经组织部分)进行闪烁显示。即，控制部201可以通过交替重复地进行仅在第一设定时间(例如2秒钟)对识别出的对象组织部分进行显示的处理，以及仅在第二设定时间(例如2秒钟)对识别出的对象组织部分进行非显示的处理，从而周期性地切换对象组织部分的显示以及非显示。对象组织部分的显示时间以及非显示时间可以适当设定。另外，还可以构成为与患者的心跳、脉搏等生物体信息同步地切换对象组织部分的显示以及非显示。而且，代替对对象组织部分进行闪烁显示的构成，还可以构成为对血管组织部分进行闪烁显示。通过仅对除血管组织部分以外的对象组织部分进行闪烁显示，或仅对血管组织部分进行闪烁显示，能够突出显示对象组织部分以与血管组织部分进行区分。

在图9所示的流程图中，构成为在识别出术野图像中包含的神经组织时，将该神经组织部分的识别图像重叠显示在术野图像上，但也可以构成为仅在提供显示指示的情况下才进行重叠显示。显示指示可以由辅助装置200的操作部203提供，也可以由腹腔镜11的操作部11C提供。另外，显示指示还可以由图中未示出的脚踏开关等提供。

另外，在本实施方式中，构成为将神经组织的识别图像重叠显示在术野图像上，但也可以通过声音或语音将神经组织的检测告知给手术者。

而且，辅助装置200的控制部201还可以构成为根据神经组织的识别结果，生成用于控制能量处置器具12、手术用机器人(未图示)等医疗设备的控制信号，并将生成的控制信号输出到医疗设备。

如上所述，在本实施方式中，能够使用学习模型310识别神经组织，并以像素为单位以能够判别的方式显示识别出的神经组织，因此能够进行腹腔镜手术中的视觉辅助。

作为神经的识别方法，假设采用作为整体区域进行识别而不区分神经组织与出现在神经组织的表面的血管组织的方法的情况下，术野图像内包含神经的区域会被实心图像覆盖，因此神经本身变得难以看清，反而可能丢失对进行手术的手术者来说必要的信息。

与此相对，在本实施方式中，能够以像素为单位以能够判别的方式显示识别出的神经组织，因此能够更清晰地显示识别出的神经组织。另外，通过显示神经组织与出现在神经组织的表面的血管组织以区分二者，从而更加突出神经的行走方向。手术者通过掌握神经的行走方向，从而能够预测尚未看见的神经的存在。

在本实施方式中，为了识别神经组织与出现在神经组织的表面的血管组织以区分二者，对符合神经组织的像素与符合出现在神经组织的表面的血管组织的像素进行注释以区分二者，通过使用由该注释得到的训练数据进行学习，生成学习模型310。出现在神经表面的表面血管在神经上具有固有的纹路，与出现在其他脏器的表面血管的纹路不同。在学习时，通过使用如上所述的训练数据，不仅是神经的位置信息，还考虑到出现在神经表面的表面血管的纹路的信息来进行学习，因此提高了神经的识别精度。

此外，由辅助装置200生成的图像不仅用于手术辅助，还可以用于实习医生等的培训辅助，还可以用于腹腔镜手术的评价。例如，另外，通过比较在手术中录像装置140中录制的图像与辅助装置200生成的图像，判断腹腔镜手术中的牵引操作、剥离操作是否适当，从而能够评价腹腔镜手术。

(实施方式2)

在实施方式2中，对识别沿着第一方向行走的神经组织与沿着与第一方向不同的第二方向行走的神经组织以区分二者的构成进行说明。

图11是示出实施方式2中的术野图像的例子的示意图。图11示出了包含出现在术野图像的下部区域(添加有圆点的区域)的脏器111、向沿着脏器111的方向(图中的黑色箭头方向)行走的神经组织112、以及从该神经组织112分支出来并向朝向脏器111的方向(图中的白色箭头方向)行走的神经组织113的术野图像。

以下，将向沿着脏器的方向行走的神经组织记载为第一神经组织，将向朝向脏器的方向行走的神经组织记载为第二神经组织。在本实施方式中，第一神经组织表示在腹腔镜手术中应该保留的神经。例如，迷走神经、喉返神经等属于第一神经组织。与此相对，第二神经组织表示在腹腔镜手术中可以剥离的神经，在展开脏器或切除病变部时，根据需要进行剥离。第一神经组织以及第二神经组织无需是单一的神经组织，也可以是神经丛或神经纤维束等组织。

若能够识别沿着一个方向(设为第一方向)行走的第一神经组织与沿着另一方向(设为第二方向)行走的第二神经组织以区分二者，并将识别结果提供给手术者，则对手术者而言是有用的。因此，实施方式中2的辅助装置200使用学习模型320(参照图12)识别沿着第一方向行走的第一神经组织以与沿着第二方向行走的第二神经组织进行区分。

图12是说明实施方式2中的学习模型320的构成的说明图。在图12中，为了简化，仅示出了学习模型320的softmax层323。softmax层323以外的构成与实施方式1中所示的学习模型310相同。实施方式2中的学习模型320所具备的softmax层323针对与各像素对应地设定的标签输出概率。在实施方式2中，设定了识别第一神经组织的标签、识别第二神经组织的标签、以及表示除此以外部分的标签。若识别第一神经组织的标签的概率为阈值以上，则辅助装置200的控制部201将该像素识别为第一神经组织，若识别第二神经组织的标签的概率为阈值以上，则辅助装置200的控制部201将该像素识别为第二神经组织。另外，若显示除此以外部分的标签的概率为阈值以上，则控制部201识别为该像素既不是第一神经组织也不是第二神经组织。

通过将包含术野图像、以及表示术野图像中包含的第一神经组织以及第二神经组织的各自的位置(像素)的正解数据的集合用作训练数据进行学习来生成用于获取这种识别结果的学习模型320。关于学习模型320的生成方法，与实施方式1相同，因此省略其说明。

图13是示出实施方式2中的识别结果的显示例的示意图。辅助装置200的控制部201通过将术野图像输入到学习完成的学习模型320中，获取由学习模型320得到的识别结果。控制部201参照由学习模型320得到的识别结果，生成能够判别第一神经组织和第二神经组织的识别图像。例如，控制部201能够通过对被识别为第一神经组织的像素分配白色系或蓝色系的特定颜色，对被认定为第二神经组织的像素分配其他颜色来生成识别图像。

在图13的显示例中，为了便于制作附图，仅对第一神经组织部分131(沿着脏器行走的神经组织部分)添加阴影线显示。实际上，以像素为单位添加白色系或蓝色系等特定颜色显示符合第一神经组织的部分即可。

另外，在图13中仅显示了第一神经组织部分131，但也可以仅显示第二神经组织部分132(向朝向脏器的方向行走的神经组织部分)，还可以以分别不同的显示方式显示第一神经组织部分131和第二神经组织部分132。

如上所述，在实施方式2中，能够识别沿着第一方向行走的神经组织和沿着第二方向行走的神经组织以区分二者，因此，能够将例如应保留的神经组织的存在、以及可以剥离的神经组织的存在通知给手术者。

另外，在本实施方式中，构成为识别沿着第一方向行走的神经组织和沿着第二方向行走的神经组织这二者，但也可以构成为仅识别沿着第一方向(或第二方向)行走的神经组织。在该情况下，使用包含以符合沿着第一方向(或第二方向)行走的神经组织的像素为正解数据、以符合沿着第二方向(或第一方向)行走的神经组织的像素为非正解数据的训练数据生成学习模型320即可。通过使用这样的学习模型320识别神经组织，能够仅识别沿着第一方向(或第二方向)行走的神经组织。

(实施方式3)

在实施方式3中，对识别神经组织与疏松结缔组织以区分二者的构成进行说明。

图14是示出实施方式3中的术野图像的例子的示意图。图14示出了包含出现在术野图像的中央区域(添加有圆点的区域)的脏器141、在脏器141的表面沿左右方向(图中的黑色箭头的方向)行走的神经组织141、以及沿与神经组织141交叉的方向(图中的白色箭头的方向)行走的疏松结缔组织143的术野图像。

疏松结缔组织是充满组织、器官之间的纤维性的结缔组织，是指构成组织的纤维(胶原纤维、弹性纤维)的量较少的组织。疏松结缔组织在展开脏器或切除病变部等情况下根据需要被剥离。

出现在术野图像中的神经组织以及疏松结缔组织是一同具有白色系的颜色、且线状延伸的组织，因此在大多数情况下很难在外观上进行区分。因此，若能够识别神经组织与疏松结缔组织以区分二者，并将识别结果提供给手术者，则对于手术者来说是有用的。因此，实施方式中3的辅助装置200使用学习模型330(参照图15)识别神经组织以与疏松结缔组织进行区分。

图15是说明实施方式3中的学习模型330的构成的说明图。在图15中，为了简化，仅示出了学习模型330的softmax层333。softmax层333以外的构成与实施方式1中所示的学习模型310相同。实施方式3中的学习模型330所具备的softmax层333针对与各像素对应地设定的标签输出概率。在实施方式3中，设定了识别神经组织的标签、识别疏松结缔组织的标签、以及表示除此以外部分的标签。若识别神经组织的标签的概率为阈值以上，则辅助装置200的控制部201将该像素识别为神经组织，若识别疏松结缔组织的标签的概率为阈值以上，则辅助装置200的控制部201将该像素识别为疏松结缔组织。另外，若表示除此以外部分的标签的概率为阈值以上，则控制部201识别为该像素既不是神经组织也不是疏松结缔组织。

通过将包含术野图像、以及表示术野图像中包含的神经组织以及疏松结缔组织的各自的位置(像素)的正解数据的集合用作训练数据进行学习来生成用于获取这种识别结果的学习模型330。关于学习模型330的生成方法，与实施方式1相同，因此省略其说明。

图16是示出实施方式3中的识别结果的显示例的示意图。辅助装置200的控制部201通过将术野图像输入到学习完成的学习模型330中，获取由学习模型330得到的识别结果。控制部201参照由学习模型330得到的识别结果，生成能够判别神经组织和疏松结缔组织的识别图像。例如，控制部201能够通过对被识别为神经组织的像素分配白色系或蓝色系的特定颜色、对被认定为疏松结缔组织的像素分配別的颜色来生成识别图像。

在图16的显示例中，为了便于制作附图，仅对神经组织部分161添加阴影线显示。实际上，以像素为单位添加白色系或蓝色系的特定颜色显示符合神经组织的部分即可。

另外，在图16中仅显示了神经组织部分161，但也可以仅显示疏松结缔组织部分162，还可以以分别不同的显示方式显示神经组织部分161以及疏松结缔组织部分162。

如上所述，在实施方式3中，能够识别神经组织与疏松结缔组织以区分二者，因此，能够将例如应保留的神经组织的存在、以及可以剥离的疏松结缔组织的存在通知给手术者。

另外，在本实施方式中，构成为识别神经组织和疏松结缔组织这二者，但也可以构成为仅识别神经组织(或疏松结缔组织)。在该情况下，使用包含以符合神经组织(或疏松结缔组织)的像素为正解数据、以符合疏松结缔组织(或神经组织)的像素为非正解数据的训练数据生成学习模型330即可。通过使用这种学习模型330，控制部201可以仅识别神经组织(或疏松结缔组织)以便将其与疏松结缔组织(或神经组织)区分开。

(实施方式4)

在实施方式4中，对根据针对神经组织的识别结果的确信度，变更显示方式的构成进行说明。

如在实施方式4中说明的那样，学习模型310的softmax层313针对与各像素对应地设定的标签输出概率。该概率表示识别结果的确信度。辅助装置200的控制部201根据识别结果的确信度，改变神经组织部分的显示方式。

图17是示出实施方式4中的显示例的示意图。图17放大示出了包含神经组织的区域。在该例子中，关于神经组织的识别结果，在确信度为70％～80％的情况、80％～90％的情况、90％～95％的情况、95％～100％的情况下，分别改变浓度来显示神经组织部分。在该例子中，以确信度越高则浓度越高的方式变更显示方式。

另外，在图17的例子中，构成为根据确信度改变浓度，但也可以根据确信度改变颜色或透明度。在改变颜色的情况下，例如可以确信度越低，则用白色系的颜色进行显示，确信度越高，则用蓝色系的颜色进行显示。另外，在改变透明度的情况下，可以确信度越高，则透明度越低的方式变更显示方式。

另外，在图17的例子中，根据确信度分四个阶段变更浓度，但也可以更细致地设定浓度，并进行与确信度相应的灰度显示。

(实施方式5)

在实施方式5中，对显示隐藏在手术器具等物体的阴影下而不可视的神经组织部分的估计位置的构成进行说明。

图18是说明实施方式5中的显示方法的说明图。如上所述，辅助装置200使用学习模型310识别术野图像中包含的神经组织部分。然而，在拍摄对象的术野中存在手术器具、纱布等物体的情况下，辅助装置200即使使用了学习模型310，也无法从术野图像中识别隐藏在物体的阴影下的神经组织。因此，在将神经组织的识别图像重叠显示在术野图像上时，无法以能够判别的方式显示隐藏在物体的阴影下的神经组织部分。

因此，实施方式5的辅助装置200将在未隐藏在物体的阴影下的状态识别出的神经组织的识别图像预先保存在存储部202中，当该神经组织部分隐藏在物体的阴影下时，读出存储部202中保存的识别图像，并重叠显示在术野图像上。

在图18的例子中，时刻T1表示神经组织未隐藏在手术器具的阴影下的状态的术野图像，时刻T2表示神经组织的一部分隐藏在手术器具的阴影下的状态的术野图像。其中，假设在时刻T1和时刻T2之间，没有移动腹腔镜11，拍摄的区域没有变化。

可以从时刻T1的术野图像中识别出现在术野中的神经组织，并根据学习模型310的识别结果生成神经组织的识别图像。生成的神经组织的识别图像存储在存储部202中。

另一方面，可以从时刻T2的术野图像识别出现在术野的神经组织中未隐藏在手术器具下的神经组织，但无法识别隐藏在手术器具下的神经组织。因此，辅助装置200将从时刻T1的术野图像生成的神经组织的识别图像重叠显示在时刻T2的术野图像上。在图18的例子中，虚线表示的部分为隐藏在手术器具下无法视觉辨认的神经组织部分，但辅助装置200可以通过调用在时刻T1识别出的识别图像，包含该部分在内以能够判别的方式进行显示。

如上所述，在实施方式5中，能够将隐藏在手术器具、纱布等物体的阴影下而不可视的神经组织的存在告知手术者，因此，能够提高手术时的安全性。

本实施方式中，构成为通过调用在未隐藏在物体的阴影下的状态下识别出的神经组织的识别图像，从而以能够判别的方式显示隐藏在物体的阴影下的神经组织部分，但辅助装置200也可以通过使用内插或外插等数学方法估计隐藏在物体的阴影下的神经组织部分，从而以能够判别的方式显示该神经组织部分。另外，辅助装置200还可以改变显示方式(颜色、浓度、透明度等)来显示未隐藏在物体的阴影下的神经组织部分和隐藏在物体的阴影下的神经组织部分。而且，辅助装置200还可以使用GAN(Generative AdversarialNetwork)或VAE(Variational AutoEncoder)等图像生成系统的学习模型，生成包含未隐藏在物体的阴影下的神经组织部分和隐藏在物体的阴影下的神经组织部分这二者的识别图像，并将生成的识别图像重叠显示在术野图像上。

(实施方式6)

在实施方式6中，对预测神经组织的行走图案，并以能够判别的方式显示根据预测的神经组织的行走图案估计的神经部分的构成进行说明。

图19是说明由实施方式6的辅助装置200执行的处理的步骤的流程图。辅助装置200的控制部201与实施方式1相同，获取术野图像(步骤S601)，将获取到的术野图像输入到学习模型310，执行由学习模型310进行的运算(步骤S602)。控制部201根据学习模型310的运算结果预测神经组织的行走图案(步骤S603)。在实施方式1中，通过提取从学习模型310的softmax层313输出的标签的概率为阈值以上(例如70％以上)的像素，生成了神经组织部分的识别图像，而在实施方式6中，通过降低该阈值来预测神经组织的行走图案。具体而言，控制部201通过提取从学习模型310的softmax层313输出的标签的概率为第一阈值以上(例如40％以上)、且低于第二阈值(例如70％)的像素，来预测神经组织的行走图案。

控制部201以能够判别的方式显示根据预测的行走图案估计的神经组织部分(步骤S604)。图20是示出实施方式6中的显示例的示意图。在图20中，利用阴影线表示识别出的神经组织部分201A，利用粗虚线表示根据预测的行走图案估计的神经组织部分201B。为了便于制作附图，在图20的例子中，利用阴影线表示识别出的神经组织部分201A，利用粗虚线表示根据行走图案估计的神经组织部分201B，但改变颜色、浓度、透明度等显示方式进行显示即可。

如上所述，在实施方式6中，能够组合显示根据行走图案估计的神经组织部分，因此，能够进行腹腔镜手术中的视觉辅助。

在本实施方式中，构成为通过降低识别神经组织时的阈值来预测神经组织的行走图案，但辅助装置200也可以使用GAN、VAE等图像生成系统的学习模型，生成包含无法从术野图像中明确视觉辨认的神经组织的行走图案的识别图像，并将生成的识别图像重叠显示在术野图像上。

(实施方式7)

在实施方式1～6中，对作为对象组织识别神经组织的构成进行了说明，但对象组织不限于神经组织，也可以是输尿管。在实施方式7中，对代替神经组织识别输尿管的构成进行说明。

图21是说明实施方式7中的学习模型340的构成的说明图。在图21中，为了简化，仅示出了学习模型340的softmax层343。softmax层343以外的构成与实施方式1所示的学习模型310相同。实施方式7中的学习模型340所具备的softmax层343针对与各像素对应地设定的标签输出概率。在实施方式7中设定了识别输尿管组织的标签、以及显示除此以外部分的标签。若识别输尿管组织的标签的概率为阈值以上，则辅助装置200的控制部201将该像素识别为输尿管组织。另外，若显示除此以外部分的标签的概率为阈值以上，则控制部201识别为该像素不是输尿管组织。

通过将包含术野图像、以及表示术野图像中包含的输尿管组织的位置(像素)的正解数据的集合用作训练数据进行学习来生成用于获取该识别结果的学习模型340。即，实施方式7中的学习模型340被学习为识别输尿管组织以与血管组织进行区分。关于学习模型340的生成方法，与实施方式1相同，因此省略其说明。

图22是示出实施方式7中的识别结果的显示例的示意图。辅助装置200的控制部201通过将术野图像输入到学习完成的学习模型340中，获取由学习模型340得到的识别结果。控制部201参照由学习模型340得到的识别结果，生成能够判别输尿管组织和包含血管组织等的其他组织的识别图像。例如，控制部201能够通过对被识别为输尿管组织的像素分配白色系或蓝色系的特定颜色来生成识别图像。

在图22的显示例中，为了便于制作附图，仅对输尿管组织部分221添加阴影线显示。实际上，以像素为单位添加白色系或蓝色系等特定颜色显示符合输尿管组织的部分即可。

如上所述，在实施方式7中，能够使用学习模型340识别输尿管组织，并以像素为单位以能够判别的方式显示识别出的输尿管组织，因此，能够进行腹腔镜手术中的视觉辅助。

作为输尿管的识别方法，假设采用作为整体区域进行识别而不区分输尿管组织与出现在输尿管组织的表面的血管组织的方法的情况下，术野图像内包含输尿管的区域会被实心图像覆盖，因此输尿管本身变得难以看清，反而可能丢失对于进行手术的手术者来说必要的信息。例如，输尿管为了将尿液从肾盂运送到膀胱而进行蠕动运动，但在包含输尿管的区域被实心图像覆盖的情况下，可能难以识别蠕动运动。

对此，在本实施方式中，能够以像素为单位以能够判别的方式显示识别出的输尿管组织，因此能够更易见地显示识别出的输尿管组织。尤其是在本实施方式中，显示输尿管组织和出现在输尿管组织的表面的血管组织(表面血管)以区分二者，因此突出了随着输尿管的蠕动运动而运动的表面血管的存在。其结果是，手术者能够容易地识别输尿管的蠕动运动。而且，通过排除出现在输尿管组织的表面的血管组织并进行显示，更加突出了输尿管的行走方向。手术者能够通过掌握输尿管的行走方向来预测没看见的输尿管的存在。

在本实施方式中，为了识别输尿管组织与出现在输尿管组织的表面的血管组织以区分二者，对符合输尿管组织的像素与符合出现在输尿管组织的表面的血管组织的像素进行注释以区分二者，通过使用由该注释得到的训练数据进行学习，生成学习模型340。出现在输尿管的表面的表面血管在输尿管上具有固有的纹路，与出现在其他脏器的表面的表面血管的纹路不同。在学习时，通过使用如上所述的训练数据，不仅是输尿管的位置信息，还考虑到出现在输尿管的表面的表面血管的纹路的信息来进行学习，因此提高了输尿管的识别精度。

(实施方式8)

在实施方式8中，对通过识别出现在脏器表面的表面血管，并确定识别出的表面血管部分的末端的位置来确定脏器的边界的构成进行说明。

图23是说明实施方式8中的学习模型350的构成的说明图。在图23中，为了简化，仅示出了学习模型350的softmax层353。softmax层353以外的构成与实施方式1所示的学习模型310相同。实施方式8中的学习模型350所具备的softmax层353对根据各像素设定的标签输出概率。在实施方式8中设定了识别表面血管的标签、以及表示除此以外部分的标签。若识别表面血管的标签的概率为阈值以上，则辅助装置200的控制部201将该像素识别为符合表面血管的像素。另外，若表示除此以外部分的标签的概率为阈值以上，则控制部201识别为该像素识别不是表面血管。

通过将包含术野图像、以及表示术野图像中包含的表面血管的位置(像素)的正解数据的集合用作训练数据进行学习来生成用于获取该识别结果的学习模型350。即，实施方式8中的学习模型350被学习为识别表面血管以与其他组织进行区分。关于学习模型350的生成方法，与实施方式1相同，因此省略其说明。

图24是说明脏器边界的确定方法的说明图。辅助装置200的控制部201通过将术野图像输入到学习完成的学习模型350中，获取由学习模型350得到的识别结果。控制部201参照由学习模型350得到的识别结果，生成出现在脏器表面的表面血管的识别图像。在图24中，实线表示由学习模型350识别出的表面血管。

控制部201在生成的识别图像中确定表面血管的末端的位置座标。例如，控制部201能够针对构成表面血管段的各个像素，求出属于同一段的像素的邻接数，通过确定该邻接数为1的像素来确定末端的位置座标。图24示出了确定点P1～P4四个点的座标作为表面血管的末端的位置座标的例子。控制部201通过导出通过确定的点P1～P4(或点P1～P4的附近)的近似曲线，确定出现有表面血管的脏器的边界。近似曲线的导出可以使用最小二乘法等公知的方法。另外，控制部201也可以通过导出将所确定的末端的点全部包含在内的闭合曲线来确定出现有表面血管的脏器的边界。

另外，控制部201无需确定所有脏器边界，也可以构成为确定脏器边界的一部分。

图25是说明由实施方式8的辅助装置200执行的处理的步骤的流程图。辅助装置200的控制部201与实施方式1相同，获取术野图像(步骤S801)，将获取到的术野图像输入学习模型350，执行由学习模型350进行的运算(步骤S802)。控制部201根据学习模型350的运算结果，识别出现在脏器表面的表面血管(步骤S803)。

接着，控制部201确定表面血管的末端的位置座标(步骤S804)。此时，控制部201可以确定所有表面血管的末端的位置座标，也可以仅提取长度为阈值以上的表面血管，并确定末端的位置座标。

接着，控制部201根据所确定的表面血管的末端的位置座标，确定脏器的边界(步骤S805)。如上所述，控制部201能够通过导出通过所确定的表面血管的末端的位置座标(或位置座标的附近)的近似曲线来确定出现有表面血管的脏器的边界。

如上所述，在实施方式8中，能够以出现在脏器表面的表面血管为线索确定脏器的边界。辅助装置200能够通过将所确定的边界的信息提示给手术者，从而进行手术辅助。

在实施方式8中，构成为确定脏器的边界，但确定边界的对象组织不限于脏器，还可以是复盖脏器的膜、层等。

应当理解，本次公开的实施方式在所有方面都是示例性的，而不是限制性的。本发明的范围由权利要求书示出，而不是由上述含义示出，并且旨在包括与权利要求书等同的含义以及范围内所有的变更。

附图标记说明：

10：穿刺器

11：腹腔镜

12：能量处置器具

13：钳子

110：摄像机控制单元(CCU)

120：光源装置

130：显示装置

140：录像装置

200：辅助装置

201：控制部

202：存储部

203：操作部

204：输入部

205：输出部

206：通信部

310、320、330、340、350：学习模型

PG1：识别处理程序

PG2：显示处理程序

PG3：学习处理程序

Claims (16)

1.一种计算机程序，其特征在于，用于使计算机执行以下处理：

获取对镜视下手术的术野进行拍摄而得到的术野图像；

使用学习模型识别所获取的术野图像中包含的对象组织部分以与出现在该对象组织部分的表面的血管组织部分进行区分，所述学习模型被学习为，在输入了术野图像的情况下，输出与对象组织有关的信息。

2.根据权利要求1所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

在所述术野图像上以能够判别的方式显示所述对象组织部分和所述血管组织部分。

3.根据权利要求1或2所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

周期性地切换所述对象组织部分的显示以及非显示。

4.根据权利要求1或2所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

周期性地切换所述血管组织部分的显示以及非显示。

5.根据权利要求1至4中任一项所述的计算机程序，其特征在于，

所述对象组织为神经组织，

所述计算机程序用于使所述计算机执行如下处理：

使用所述学习模型，识别所述神经组织以与所述神经组织伴行的血管组织进行区分。

6.根据权利要求1至4中任一项所述的计算机程序，其特征在于，

所述对象组织为沿着第一方向行走的神经组织，

所述计算机程序用于使所述计算机执行如下处理：

使用所述学习模型，识别沿着所述第一方向行走的神经组织以和沿着与所述第一方向不同的第二方向行走的神经组织进行区分。

7.根据权利要求1至4中任一项所述的计算机程序，其特征在于，

所述对象组织为神经组织，

所述计算机程序用于使所述计算机执行如下处理：

使用所述学习模型，识别所述神经组织以和沿着与所述神经组织交差的方向行走的疏松结缔组织进行区分。

8.根据权利要求1至4中任一项所述的计算机程序，其特征在于，

所述对象组织为输尿管组织，

所述计算机程序用于使所述计算机执行如下处理：

使用所述学习模型，识别所述输尿管组织以和与所述输尿管组织伴行的血管组织进行区分。

9.根据权利要求1至8中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

使用所述学习模型，识别所述术野图像中包含的处于紧张状态的对象组织。

10.根据权利要求1至9中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

计算所述学习模型的识别结果的确信度；

用与计算出的确信度相应的显示方式显示所述对象组织部分。

11.根据权利要求1至10中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

参照所述学习模型的识别结果，显示隐藏在其他物体的阴影下的对象组织部分的估计位置。

12.根据权利要求1至11中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

使用所述学习模型估计对象组织的行走图案；

根据估计出的对象的行走图案，显示未出现在所述术野图像中的对象组织部分的估计位置。

13.一种计算机程序，其特征在于，用于使计算机执行如下处理：

获取对镜视下手术的术野进行拍摄而得到的术野图像；

使用学习模型识别所获取的术野图像中包含的对象组织的表面血管部分以与其他组织部分进行区分，所述学习模型被学习为，在输入了术野图像的情况下，输出与对象组织的表面血管有关的信息；

通过确定识别出的表面血管部分的末端的位置，从而确定所述对象组织的边界。

14.一种学习模型的生成方法，其特征在于，

计算机执行如下操作：

获取训练数据，所述训练数据包括对镜视下手术的术野进行拍摄而得到的术野图像、以及正解数据，所述正解数据通过对该术野图像中包含的对象组织部分添加标签以与出现在该对象组织部分的表面的血管组织部分进行区分而得到；

根据获取到的训练数据的集合，生成在输入术野图像的情况下输出与对象组织有关的信息的学习模型。

15.一种辅助装置，其特征在于，具备：

获取部，其获取对镜视下手术的术野进行拍摄而得到的术野图像；

识别部，其使用学习模型识别所获取的术野图像中包含的对象组织部分以与出现在该对象组织部分的表面的血管组织部分进行区分，所述学习模型被学习为，在输入了术野图像的情况下，输出与对象组织有关的信息；

输出部，其根据该识别部的识别结果，输出与所述镜视下手术有关的辅助信息。

16.根据权利要求15所述的辅助装置，其特征在于，

所述输出部将表示识别出的对象组织部分的识别图像重叠显示在所述术野图像上。