CN116724334A - 计算机程序、学习模型的生成方法、以及手术辅助装置 - Google Patents

Abstract

提供一种计算机程序、学习模型的生成方法、以及手术辅助装置。使计算机执行如下处理：获取对镜视下手术的术野进行拍摄而得到的术野图像，使用学习模型区分并识别所获取的术野图像中包含的血管和该血管中应该提醒引起注意的血管，并输出与识别到的血管有关的信息，所述学习模型被学习为，在输入了术野图像的情况下输出与血管有关的信息。

Description

计算机程序、学习模型的生成方法、以及手术辅助装置

技术领域

本发明涉及计算机程序、学习模型的生成方法、以及手术辅助装置。

背景技术

在腹腔镜手术中，例如进行去除患者体内形成的恶性肿瘤等病变部的手术。此时，利用腹腔镜对患者的体内进行拍摄，并将得到的术野图像显示在监视器上(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2005-287839号公报

发明内容

发明要解决的问题

以往，难以从术野图像中识别手术者需要注意的血管并告知手术者。

本发明的目的在于，提供一种能够从术野图像中输出血管的识别结果的计算机程序、学习模型的生成方法、以及手术辅助装置。

用于解决问题的方案

本发明的一个方面的计算机程序用于使计算机执行如下处理：获取对镜视下手术的术野进行拍摄而得到的术野图像，使用学习模型区分并识别所获取的术野图像中包含的血管和该血管中应该提醒引起注意的血管，所述学习模型被学习为，在输入了术野图像的情况下输出与血管有关的信息。

在本发明的一个方面的学习模型的生成方法中，计算机获取训练数据，所述训练数据包括对镜视下手术的术野进行拍摄而得到的术野图像、表示该术野图像中包含的血管部分的第一正解数据、以及表示所述血管部分中应该提醒引起注意的血管部分的第二正解数据，根据获取到的训练数据的集合，生成在输入了术野图像的情况下输出与血管有关的信息的学习模型。

本发明的一个方面的手术辅助装置具备：获取部，其获取对镜视下手术的术野进行拍摄而得到的术野图像；识别部，其使用学习模型区分并识别所获取的术野图像中包含的血管和该血管中应该提醒引起注意的血管，所述学习模型被学习为，在输入了术野图像的情况下输出与血管有关的信息；以及输出部，其根据该识别部的识别结果，输出与所述镜视下手术有关的辅助信息。

发明效果

根据本申请，能够从术野图像输出血管的识别结果。

附图说明

图1是说明实施方式1的腹腔镜手术辅助系统的概略构成的示意图。

图2是说明手术辅助装置的内部构成的框图。

图3是示出术野图像的一个例子的示意图。

图4是示出第一学习模型的构成例的示意图。

图5是示出第一学习模型的识别结果的示意图。

图6是示出第二学习模型的构成例的示意图。

图7是示出第二学习模型的识别结果的示意图。

图8是说明第一学习模型的生成步骤的流程图。

图9是说明手术辅助的执行步骤的流程图。

图10是示出微血管的显示例的示意图。

图11是示出注意血管的显示例的示意图。

图12是说明第二学习模型用的训练数据的生成方法的说明图。

图13是说明实施方式3中的学习模型的softmax层的构成的说明图。

图14是示出实施方式3中的显示例的示意图。

图15是示出实施方式4中的显示例的示意图。

图16是说明实施方式5中的显示方法的说明图。

图17是说明实施方式6的手术辅助装置所执行的处理的步骤的流程图。

图18是示出实施方式6中的显示例的示意图。

图19是说明实施方式7中的学习模型的softmax层的构成的说明图。

图20是示出实施方式7中的显示例的示意图。

图21是示出特殊光图像用的学习模型的构成例的示意图。

图22是说明实施方式8的手术辅助装置所执行的处理的步骤的流程图。

图23是说明实施方式9的手术辅助装置所执行的处理的概要的说明图。

图24是说明实施方式10中的手术辅助的执行步骤的流程图。

图25是示出放大显示的例子的示意图。

图26是示出警告显示的例子的示意图。

具体实施方式

以下，使用附图具体说明将本发明应用于腹腔镜手术的辅助系统的方式。此外，本发明不限于腹腔镜手术，能够适用于所有使用了胸腔镜、消化道内窥镜、膀胱镜、关节镜、机器人辅助下内窥镜、手术显微镜、外窥镜等拍摄装置的镜视下手术。

(实施方式1)

图1是说明实施方式1的腹腔镜手术辅助系统的概略构成的示意图。在腹腔镜手术中，代替实施开腹手术，在患者的腹壁上安装多个称为穿刺器(troca)10的开孔器具，从设于穿刺器10的开孔将腹腔镜11、能量处置器具12、钳子13等器具插入患者体内。手术者进行一边实时观察由腹腔镜11拍摄的患者体内的图像(术野图像)，一边使用能量处置器具12切除患部等的处置。腹腔镜11、能量处置器具12、钳子13等手术器具由手术者或机器人等保持。手术者是与腹腔镜手术相关的医疗工作者，包括执刀医生、助手、护士、监视手术的医生等。

腹腔镜11具备插入患者体内的插入部11A、内置于插入部11A的前端部分的拍摄装置11B、设置于插入部11A的后端部分的操作部11C、以及用于连接到相机控制单元(CCU)110或光源装置120的通用软线11D。

腹腔镜11的插入部11A由硬性管形成。在硬性管的前端部分设置有弯曲部。弯曲部中的弯曲机构是组装于通常的腹腔镜的公知的机构，构成为通过与操作部11C的操作联动的操作线的牵引而向例如上下左右四个方向弯曲。此外，腹腔镜11不限于上述具有弯曲部的软性镜，也可以是不具有弯曲部的硬性镜，还可以是不具有弯曲部、硬性管的拍摄装置。而且，腹腔镜11也可以是拍摄360度的范围的全方位相机。

拍摄装置11B具备驱动电路，驱动电路具备CMOS(Complementary Metal OxideSemiconductor)等固体拍摄元件、定时发生器(TG)、模拟信号处理电路(AFE)等。拍摄装置11B的驱动电路与从TG输出的时钟信号同步地取入从固体拍摄元件输出的RGB各个颜色的信号，在AFE中实施噪声去除、放大、AD转换等必要的处理，生成数字形式的图像数据。拍摄装置11B的驱动电路通过通用软线11D将生成的图像数据传输到CCU110。

操作部11C具备由手术者操作的角杆或远程开关等。角杆是接受用于使弯曲部弯曲的操作的操作器具。也可以代替角杆而设置弯曲操作旋钮、操纵杆等。远程开关例如包括将观察图像切换为动态图像显示或静态图像显示的切换开关、放大或缩小观察图像的变焦开关等。远程开关可以被分配预定的特定功能，也可以被分配由手术者设定的功能。

另外，还可以在操作部11C中内置由线性谐振致动器或压电致动器等构成的振子。在发生了应该告知给操作腹腔镜11的手术者的事件的情况下，CCU110也可以通过使内置于操作部11C的振子工作而使操作部11C振动，从而将上述事件的发生通知给手术者。

在腹腔镜11的插入部11A、操作部11C及通用软线11D的内部配置有传输电缆和光导等，传输电缆用于传输从CCU110向拍摄装置11B输出的控制信号或从拍摄装置11B输出的图像数据，光导将从光源装置120射出的照明光引导至插入部11A的前端部分。从光源装置120射出的照明光通过光导被引导至插入部11A的前端部分，并经由设置于插入部11A的前端部分的照明透镜照射到术野。此外，在本实施方式中，将光源装置120记载为独立的装置，但光源装置120也可以是内置于CCU110的构成。

CCU110具备控制电路和图像处理电路等，控制电路控制腹腔镜11所具备的拍摄装置11B的动作，图像处理电路处理通过通用软线11D输入的来自拍摄装置11B的图像数据。控制电路具备CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(RandomAccess Memory)等，根据CCU110所具备的各种开关的操作或腹腔镜11所具备的操作部11C的操作，向拍摄装置11B输出控制信号，进行拍摄开始、拍摄停止、变焦等的控制。图像处理电路具备DSP(Digital Signal Processor)、图像存储器等，对通过通用软线11D输入的图像数据实施颜色分离、颜色插补、增益校正、白平衡调整、伽马校正等适当的处理。CCU110根据处理后的图像数据生成运动图像用的帧图像，并将生成的各帧图像依次输出到后述的手术辅助装置200。帧图像的帧速率例如为30FPS(Frames Per Second)。

CCU110可以生成符合诸如NTSC(National Television System Committee)、PAL(Phase Alternating Line)、DICOM(Digital Imaging and COMmunication in Medicine)等预定标准的影像数据。CCU110通过将生成的影像数据输出到显示装置130，能够在显示装置130的显示画面上实时显示术野图像(影像)。显示装置130是具备液晶面板或有机EL(Electro-Luminescence)面板等的监视器。另外，CCU110还可以将生成的影像数据输出到录像装置140，并将影像数据存储到录像装置140中。录像装置140具备HDD(Hard DiskDrive)等存储装置，该HDD将从CCU110输出的影像数据与标识各手术的标识符、手术的日期和时间、手术地点、患者名、手术者名等一起存储。

手术辅助装置200根据从CCU110输入的图像数据(即，拍摄术野而得到的术野图像的图像数据)，生成与腹腔镜手术有关的辅助信息。具体而言，手术辅助装置200进行如下处理：区分并识别术野图像中包含的所有微血管和这些微血管中应该提醒引起注意的微血管，并将与识别出的微血管有关的信息显示于显示装置130。

在本实施方式中，微血管表示未被命名为固有名称、在体内不规则地行走的小血管。对于命名了固有名称、且手术者能够容易地识别的血管，也可以从识别对象中排除。即，左胃动脉、右胃动脉、左肝动脉、右肝动脉、脾动脉、肠系膜上动脉、肠系膜下动脉、肝静脉、左肾静脉、右肾静脉等被命名了固有名称的血管可以从识别对象中排除。微血管是直径大约为3mm以下的血管。即使是直径超过3mm的血管，如果没有被命名为固有名称，则也可以成为识别对象。相反，被命名了固有名称、且手术者能够容易地识别的血管，即使是直径为3mm以下的血管，也可以从识别对象中排除。

另一方面，应该提醒引起注意的微血管表示上述微血管中，对于手术者来说需要注意的血管(以下，也称为注意血管)。注意血管是术中有可能损伤的血管、术中手术者有可能注意不到的血管。手术辅助装置200可以将存在于手术者的中心视野中的微血管识别为注意血管，也可以将不存在于手术者的中心视野中的微血管识别为注意血管。另外，无论是否存在于中心视野中，手术辅助装置200都可以将伸长等施加了张力的状态的微血管识别为注意血管。

在本实施方式中，说明了在手术辅助装置200中执行微血管的识别处理的构成，但也可以构成为在CCU110中设置与手术辅助装置200同等的功能，并在CCU110中执行微血管的识别处理。

以下，对手术辅助装置200的内部构成、由手术辅助装置200执行的识别处理以及显示处理进行说明。

图2是说明手术辅助装置200的内部构成的框图。手术辅助装置200是具备控制部201、存储部202、操作部203、输入部204、输出部205、以及通信部206等的专用或通用的计算机。手术辅助装置200可以是设置在手术室内的计算机，也可以是设置在手术室的外部的计算机。另外，手术辅助装置200可以是设置在进行腹腔镜手术的医院内的服务器，也可以是设置在医院外的服务器。

控制部201例如具备CPU、ROM以及RAM等。在控制部201所具备的ROM中存储控制手术辅助装置200所具备的硬件各部的动作的控制程序等。控制部201内的CPU执行ROM中存储的控制程序、后述的存储部202中存储的各种计算机程序，通过控制硬件各部的动作，使装置整体作为本申请的手术辅助装置发挥功能。在控制部201所具备的RAM中，临时存储执行运算的过程中使用的数据等。

在本实施方式中，构成为控制部201具备CPU、ROM以及RAM，但控制部201的构成可以是任意的，例如是具备一个或多个GPU(Graphics Processing Unit；图形处理单元)、DSP(Digital Signal Processor；数字信号处理器)、FPGA(Field Programmable Gate Array；现场可编程门阵列)、量子处理器、易失性或非易失性存储器等的运算电路或控制电路。另外，控制部201也可以具有输出日期和时间信息的时钟、测量从提供测量开始指示到提供测量结束指示为止的经过时间的计时器、计数数量的计数器等的功能。

存储部202具备使用了硬盘、闪存等的存储装置。在存储部202中存储由控制部201执行的计算机程序、从外部获取到的各种数据、在装置内部生成的各种数据等。

存储部202中存储的计算机程序包括：识别处理程序PG1，其使控制部201执行用于识别术野图像中包含的微血管部分的处理；显示处理程序PG2，其使控制部201执行用于在显示装置130上显示基于识别结果的辅助信息的处理；以及学习处理程序PG3，其用于生成学习模型310、320。此外，识别处理程序PG1和显示处理程序PG2不需要是分别独立的计算机程序，也可以实现为一个计算机程序。这些程序例如由可读取地存储计算机程序的非临时存储介质M提供。存储介质M是CD-ROM、USB存储器、SD(Secure Digital)卡等便携式存储器。控制部201使用图中未示出的读取装置，从存储介质M读取所希望的计算机程序，并将读取到的计算机程序存储到存储部202中。可代替地，上述计算机程序也可以通过使用通信部206的通信来提供。

另外，在存储部202中存储在上述识别处理程序PG1中使用的学习模型310、320。学习模型310是被学习为针对术野图像的输入，输出与术野图像中包含的微血管部分的识别结果的学习模型。另一方面，学习模型320是被学习为输出手术者图像中包含的微血管中应该提醒引起注意的微血管部分的识别结果的学习模型。以下，在区分说明学习模型310、320的情况下，也将前者记为第一学习模型310，将后者记为第二学习模型320。

学习模型310、320分别通过定义信息来描述。学习模型310、320的定义信息包括学习模型310、320所具备的层的信息、构成各层的节点的信息、节点间的加权和偏差等参数。存储部202中存储的学习模型310是将通过拍摄术野而得到的术野图像和表示术野图像内的微血管部分的正解数据作为训练数据，使用预定的学习算法进行学习而得到的学习完成的学习模型。关于学习模型310、320的构成以及学习模型310、320的生成步骤将在后面详细说明。

操作部203具备键盘、鼠标、触摸面板、触控笔等操作设备。操作部203接受手术者等进行的操作，并将与接受到的操作相关的信息输出到控制部201。控制部201根据从操作部203输入的操作信息执行适当的处理。此外，在本实施方式中，构成为手术辅助装置200具备操作部203，但也可以是通过与外部连接的CCU110等各种设备接受操作的构成。

输入部204具备连接输入设备的连接接口。在本实施方式中，与输入部204连接的输入设备是CCU110。将由腹腔镜11拍摄并由CCU110实施了处理的术野图像的图像数据输入到输入部204。输入部204将输入的图像数据输出到控制部201。另外，控制部201还可以将从输入部204获取到的图像数据存储到存储部202中。

在本实施方式中，说明了通过输入部204从CCU110获取术野图像的图像数据的构成，但也可以从腹腔镜11直接获取术野图像的图像数据，还可以利用可装卸地安装于腹腔镜11的图像处理装置(未图示)获取术野图像的图像数据。另外，手术辅助装置200还可以获取录像装置140中存储的术野图像的图像数据。

输出部205具备连接输出设备的连接接口。在本实施方式中，与输出部205连接的输出设备是显示装置130。控制部201在生成了学习模型310、320的识别结果等应该告知手术者等的信息的情况下，通过将生成的信息从输出部205输出到显示装置130，在显示装置130上显示信息。在本实施方式中，构成为将显示装置130作为输出设备连接到输出部205，但也可以将输出声音的扬声器等输出设备连接到输出部205。

通信部206具备收发各种数据的通信接口。通信部206所具备的通信接口是符合在以太网(注册商标)或WiFi(注册商标)中使用的有线或无线的通信标准的通信接口。当从控制部201输入应该发送的数据时，通信部206将应该发送的数据发送到指定目的地。另外，通信部206在接收到从外部装置发送的数据的情况下，将接收到的数据输出到控制部201。

手术辅助装置200无需是单个计算机，也可以是由多个计算机或周边设备组成的计算机系统。而且，手术辅助装置200也可以是利用软件虚拟构建的虚拟机。

接着，对输入到手术辅助装置200的术野图像进行说明。

图3是示出术野图像的一个例子的示意图。本实施方式中的术野图像是利用腹腔镜11对患者的腹腔内进行拍摄而得到的图像。术野图像无需是由腹腔镜11的拍摄装置11B输出的原始图像，也可以是由CCU110等实施了处理的图像(帧图像)。

由腹腔镜11拍摄的术野中包括构成器官的组织、包含肿瘤等病变部的组织、复盖组织的膜或层、存在于组织周围的血管等。手术者一边掌握这些解剖学结构的关系，一边使用钳子、能量处置器具等器具，进行对象组织的剥离、切除。图3中作为例子示出的术野图像，示出了使用钳子13牵引复盖器官的膜，使用能量处置器具12将包含膜的对象组织周围剥离的场景。在进行这种牵引、剥离的过程中血管损伤时，会发生出血。出血导致组织的边界不清晰，难以识别正确的剥离层。尤其是在止血困难的情况下会使视野明显恶化，而不合理的止血操作会产生二次损伤的危险性。

为了避免血管的损伤，掌握血管结构很重要，但由于上述微血管小且大多不规则行走，因此对手术者来说，掌握微血管的血管结构并不容易。因此，本实施方式的手术辅助装置200使用学习模型310、320识别术野图像中包含的微血管部分，并根据识别结果输出与腹腔镜手术相关的辅助信息。

接着，对在手术辅助装置200中使用的第一学习模型310以及第二学习模型320的构成例进行说明。

图4是示出第一学习模型310的构成例的示意图。第一学习模型310是用于进行图像分割的学习模型，由例如SegNet等具备卷积层的神经网络构建。第一学习模型310不限于SegNet，还可以使用FCN(Fully Convolutional Network)、U-Net(U-Shaped Network)、PSPNet(Pyramid Scene Parsing Network)等能够进行图像分割的任意神经网络来构建第一学习模型310。另外，代替图像分割用的神经网络，第一学习模型310还可以使用YOLO(YouOnly Look Once)、SSD(Single Shot Multi-Boox Detector)等物体检测用的神经网络构建。

在本实施方式中，输入到第一学习模型310的输入图像是从腹腔镜11得到的术野图像。第一学习模型310被学习为，针对术野图像的输入，输出示出术野图像中包含的微血管部分的识别结果的图像。

本实施方式中的第一学习模型310例如具备编码器311、解码器312以及softmax层313。编码器311交替配置卷积层和池化层而构成。卷积层被多层化为2～3层。在图4的例子中，对卷积层表示为不标注阴影线，对池化层表示为标注阴影线。

在卷积层中，进行输入的数据与分别确定的尺寸(例如，3×3、5×5等)的滤波器的卷积运算。即，按各要素将输入到与滤波器的各要素对应的位置的输入值与预设在滤波器中的权重系数相乘，并计算出这些要素中的每一个的乘法值的线性和。通过将计算出的线性和与设定的偏差相加，得到卷积层中的输出。此外，卷积运算的结果也可以通过激活函数进行转换。作为激活函数，例如能够使用ReLU(Rectified Linear Unit)。卷积层的输出表示提取输入数据的特征得到的特征图。

在池化层中，计算从作为连接到输入侧的上位层的卷积层输出的特征图的局部的统计量。具体而言，设定与上位层的位置对应的预定尺寸(例如，2×2、3×3)的窗口，并根据窗口内的输入值计算局部的统计量。作为统计量，例如能够采用最大值。从池化层输出的特征图的尺寸根据窗口的尺寸而缩小(下采样)。图4的例子示出了通过在编码器311中依次重复卷积层中的运算和池化层中的运算，从而将224像素×224像素的输入图像依次下采样为112×112、56×56、28×28、…、1×1的特征图。

将编码器311的输出(在图4的例子中为1×1的特征图)输入到解码器312。解码器312通过交替配置反卷积层和反池化层而构成。反卷积层被多层化为2～3层。在图4的例子中，对反卷积层表示为不标注阴影线，对反池化层表示为标注阴影线。

在反卷积层中，对输入的特征图进行反卷积运算。反卷积运算是指在输入的特征图是使用特定的滤波器进行卷积运算而得到的结果的推测下，复原卷积运算前的特征图的运算。在该运算中，在用矩阵表示特定的滤波器时，通过计算该矩阵的转置矩阵与输入的特征图的积，生成输出用的特征图。此外，反卷积层的运算结果也可以通过上述的ReLU等激活函数进行转换。

解码器312所具备的反池化层与编码器311所具备的池化层一一对应，并且对应的对具有基本相同的尺寸。反池化层重新增大(上采样)在编码器311的池化层中下采样的特征图的尺寸。图4的例子示出了通过在解码器312中依次重复卷积层中的运算和池化层中的运算，从而依次上采样为1×1、7×7、14×14、…、224×224的特征图。

将解码器312的输出(在图4的例子中为224×224的特征图)输入到softmax层313。softmax层313通过对来自与输入侧连接的反卷积层的输入值应用softmax函数，输出标识各位置(像素)中的部位的标签的概率。在本实施方式中，设定标识微血管的标签，并以像素为单位标识是否属于微血管即可。通过提取从softmax层313输出的标签的概率为阈值以上(例如70％以上)的像素，得到表示微血管部分的识别结果的图像(以下称为识别图像)。

此外，在图4的例子中，将224像素×224像素的图像作为输入到第一学习模型310的输入图像，但输入图像的尺寸并不限定于上述尺寸，可以根据手术辅助装置200的处理能力、从腹腔镜11得到的术野图像的尺寸等适当设定。另外，输入到第一学习模型310的输入图像不需要是从腹腔镜11得到的整个术野图像，也可以是切出术野图像的关注区域而生成的部分图像。由于包含处理对象的关注区域大多位于术野图像的中央附近，因此例如也可以使用将术野图像的中央附近以成为原来的一半左右的尺寸的方式切出为矩形而得到的部分图像。通过减小输入到第一学习模型310的图像的尺寸，能够在提高处理速度的同时提高识别精度。

图5是示出第一学习模型310的识别结果的示意图。在图5的例子中，使用第一学习模型310识别出的微血管部分由粗实线(或涂有黑色的区域)示出，并且除此以外的器官、膜、手术工具的部分由虚线示出作为参考。手术辅助装置200的控制部201生成微血管的识别图像，以能够判别的方式显示识别出的微血管部分。识别图像是与术野图像具有相同的尺寸、对被识别为微血管的像素分配了特定颜色的图像。分配给微血管的颜色可以任意设定。另外，对构成识别图像的各像素附加表示透明度的信息，对被识别为微血管的像素设定不透明的值，对除此以外的像素设定透明的值。手术辅助装置200通过将这样生成的识别图像重叠显示在术野图像上，能够将微血管部分作为具有特定颜色的结构显示在术野图像上。

图6是示出第二学习模型320的构成例的示意图。第二学习模型320具备编码器321、解码器322、以及softmax层323，构成为针对术野图像的输入，输出示出术野图像中包含的注意血管部分的识别结果的图像。第二学习模型320所具备的编码器321、解码器322以及softmax层323的构成与第一学习模型310相同，因此省略其详细的说明。

图7是示出第二学习模型320的识别结果的示意图。在图7的例子中，使用第二学习模型320识别出的注意血管部分由粗实线(或涂有黑色的区域)示出，并且除此以外的器官、膜、手术工具的部分由虚线示出作为参考。手术辅助装置200的控制部201生成注意血管部分的识别图像，以能够判别的方式显示识别出的注意血管部分。识别图像是与术野图像具有相同的尺寸、对被识别为注意血管的像素分配了特定颜色的图像。分配给注意血管的颜色与分配给微血管的颜色不同，优选能够与周围组织相区分的颜色。例如，分配给注意血管的颜色可以是蓝色、淡青色等冷色系(蓝色系)的颜色，也可以是绿色、黄绿色等绿色系的颜色。另外，对构成识别图像的各像素附加表示透明度的信息，对被识别为注意血管的像素设定不透明的值，对除此以外的像素设定透明的值。手术辅助装置200通过将这样生成的识别图像重叠显示在术野图像上，能够将注意血管部分作为具有特定颜色的结构显示在术野图像上。

以下，说明第一学习模型310以及第二学习模型320的生成步骤。作为生成第一学习模型310以及第二学习模型320的准备阶段，对拍摄完成的术野图像实施注释。

在生成第一学习模型310的准备阶段中，作业者(医生等专家)使录像装置140中存储的术野图像显示于显示装置130，并使用作为操作部203而具备的鼠标、触控笔等以像素为单位指定与微血管相应的部分来进行注释。将用于注释的大量术野图像和表示与在各术野图像中指定的微血管相应的像素的位置的数据(第一正解数据)的集合，作为用于生成第一学习模型310的训练数据存储在手术辅助装置200的存储部202中。为了增加训练数据的数量，也可以在训练数据中包含应用透视转换、镜映处理等生成的术野图像与针对该术野图像的正解数据的集合。并且，随着学习的进行，还可以在训练数据中包含术野图像与通过输入术野图像得到的第一学习模型310的识别结果(正解数据)的集合。

同样地，在生成第二学习模型320的准备阶段中，作业者通过以像素为单位指定与存在于手术者的中心视野的微血管(或者不存在于手术者的中心视野的微血管)或处于施加了张力状态的微血管相应的部分来进行注释。中心视野例如是设定于术野图像的中心的矩形或圆形的区域，设定为具有术野图像的1/4～1/3左右的尺寸。将用于注释的大量术野图像和表示与在各术野图像中指定的注意血管相应的像素的位置的数据(第二正解数据)的集合作为用于生成第二学习模型320的训练数据存储在手术辅助装置200的存储部202中。为了增加训练数据的数量，也可以在训练数据中包含应用透视转换、镜映处理等生成的术野图像与针对该术野图像的正解数据的集合。并且，随着学习的进行，还可以在训练数据中包含术野图像与通过输入术野图像得到的第二学习模型320的识别结果(正解数据)的集合。

手术辅助装置200使用上述的训练数据来生成第一学习模型310以及第二学习模型320。

图8是说明第一学习模型310的生成步骤的流程图。手术辅助装置200的控制部201从存储部202读出学习处理程序PG3，通过执行以下步骤，生成第一学习模型310。此外，在开始学习之前的阶段，假设对记述第一学习模型310的定义信息提供了初始值。

控制部201首先访问存储部202，从为了生成第一学习模型310而事先准备的训练数据中选择一组训练数据(步骤S101)。控制部201将所选择的训练数据中包含的术野图像输入到第一学习模型310(步骤S102)，执行由第一学习模型310进行的运算(步骤S103)。即，控制部201根据输入的术野图像生成特征图，并执行依次对生成的特征图进行下采样的由编码器311进行的运算、依次对从编码器311输入的特征图进行上采样的由解码器312进行的运算、以及标识最终从解码器312得到的特征图的各像素的由softmax层313进行的运算。

控制部201从第一学习模型310获取运算结果，并评价所获取的运算结果(步骤S104)。例如，控制部201通过计算作为运算结果而得到的微血管的图像数据与训练数据中包含的正解数据的相似度来评价运算结果即可。相似度例如通过Jaccard系数计算。在将由第一学习模型310提取出的微血管部分设为A，将正解数据中包含的微血管部分设为B时，Jaccard系数通过A∩B/A∪B×100(％)提供。代替Jaccard系数，也可以计算Dice系数或Simpson系数，也可以使用其他现有的方法计算相似度。

控制部201根据运算结果的评价，判断学习是否结束(步骤S105)。当获得预设阈值以上的相似度时，控制部201能够判断学习结束。

在判断学习未结束的情况下(S105：否)，控制部201使用反向误差传播法，从第一学习模型310的输出侧向输入侧依次更新第一学习模型310的各层中的权重系数及偏差(步骤S106)。控制部201在更新各层的权重系数和偏差之后，将处理返回到步骤S101，再次执行从步骤S101到步骤S105的处理。

在步骤S105中判断学习结束的情况下(S105：是)，由于得到学习完成的第一学习模型310，因此控制部201结束本流程图进行的处理。

虽然在图8的流程图中说明了第一学习模型310的生成步骤，但第二学习模型320的生成步骤也是相同的。即，手术辅助装置200通过使用为了生成第二学习模型320而准备的训练数据重复执行由第二学习模型320进行的运算和运算结果的评价来生成第二学习模型320即可。

在本实施方式中，构成为在手术辅助装置200中生成学习模型310、320，但也可以使用服务器装置等外部计算机来生成学习模型310、320。手术辅助装置200也可以使用通信等手段来获取在外部计算机中生成的学习模型310、320，并使获取到的学习模型310、320存储至存储部202。

手术辅助装置200在生成学习模型310、320后的运用阶段中进行手术辅助。图9是说明手术辅助的执行步骤的流程图。手术辅助装置200的控制部201通过从存储部202读出并执行识别处理程序PG1及显示处理程序PG2，来执行以下步骤。当腹腔镜手术开始时，利用腹腔镜11的拍摄装置11B对术野进行拍摄而得到的术野图像经由通用软线11D随时输出到CCU110。手术辅助装置200的控制部201通过输入部204获取从CCU110输出的术野图像(步骤S121)。每当获取术野图像时，控制部201执行步骤S122～S127的处理。

控制部201将获取到的术野图像输入到第一学习模型310，执行由第一学习模型310进行的运算(步骤S122)，并识别术野图像中包含的微血管部分(步骤S123)。即，控制部201根据输入的术野图像生成特征图，并执行依次对生成的特征图进行下采样的由编码器311进行的运算、依次对从编码器311输入的特征图进行上采样的由解码器312进行的运算、以及标识最终从解码器312得到的特征图的各像素的由softmax层313进行的运算。另外，控制部201将从softmax层313输出的标签的概率为阈值以上(例如70％以上)的像素识别为微血管部分。

控制部201生成微血管的识别图像，以能够判别的方式显示使用第一学习模型310识别出的微血管部分(步骤S124)。如上所述，控制部201对被识别为微血管的像素分配特定颜色，并对微血管以外的像素设定背景透明的透明度即可。

同样地，控制部201将获取到的术野图像输入到第二学习模型320，执行由第二学习模型320进行的运算(步骤S125)，识别术野图像中包含的注意血管部分(步骤S126)。在生成第二学习模型320时，如果进行了注释以识别处于手术者的中心视野的微血管，则在步骤S126中，将存在于手术者的中心视野的微血管识别为注意血管。另外，如果进行了注释以识别不存在于手术者的中心视野的微血管，则在步骤S126中，将不存在于手术者的中心视野的微血管识别为注意血管。而且，如果进行了注释以识别施加了张力的状态的微血管，则在步骤S126中，将在微血管从紧张之前的状态过度到紧张状态的阶段识别为注意血管。

接下来，控制部201生成注意血管的识别图像，以能够判别的方式显示使用第二学习模型320识别出的注意血管部分(步骤S127)。如上所述，控制部201对被识别为注意血管的像素分配蓝色系、绿色系等与其他微血管部分不同的颜色，并对注意血管以外的像素设定背景透明的透明度即可。

接下来，控制部201判断是否被提供了微血管的显示指示(步骤S128)。控制部201通过判断是否通过操作部203接受到了手术者的指示，从而判断是否被提供了显示指示即可。在被提供了微血管的显示指示的情况下(S128：是)，控制部201利用输出部205将在该时点生成的微血管的识别图像输出到显示装置130，在术野图像上重叠微血管的识别图像，并显示在显示装置130(步骤S129)。此外，在之前的帧中重叠显示了注意血管的识别图像的情况下，代替注意血管的识别图像，重叠显示微血管的识别图像即可。由此，使用学习模型310识别出的微血管部分作为用特定颜色表示的结构显示在术野图像上。

图10是示出微血管的显示例的示意图。为了便于制作附图，在图10的显示例中，用粗实线或涂有黑色的区域表示微血管部分。实际上，与微血管相应的部分以像素为单位用预定的颜色进行涂敷，因此，手术者通过确认显示装置130的显示画面，能够识别微血管部分。

在判断为没有被提供微血管的显示指示的情况下(S128：否)，控制部201判断是否被提供了注意血管的显示指示(步骤S130)。控制部201通过判断是否通过操作部203接受到了手术者的指示，从而判断是否被提供了显示指示即可。在被提供了注意血管的显示指示的情况下(S130：是)，控制部201利用输出部205将在该时点生成的注意血管的识别图像输出到显示装置130，在术野图像上重叠注意血管的识别图像，并显示在显示装置130上(步骤S131)。此外，在之前的帧中重叠显示了微血管的识别图像的情况下，代替微血管的识别图像，重叠显示注意血管的识别图像即可。由此，使用学习模型320识别出的注意血管部分作为用蓝色系、绿色系的特定颜色表示的结构显示在术野图像上。

图11是示出注意血管的显示例的示意图。为了便于制作附图，在图11的显示例中，利用粗实线或涂有黑色的区域表示注意血管部分。实际上，与注意血管相应的部分以像素为单位用蓝色系、绿色系等人体内部不存在的颜色进行涂覆，因此，手术者通过观察显示装置130的显示画面，能够明确地判別注意血管。手术者在需要切除包含注意血管的部位的情况下，例如通过使用能量处置器具12进行凝固切除，能够抑制出血的发生。

当在步骤S130中未被提供注意血管的显示指示的情况下(S130：否)，控制部201判断是否结束术野图像的显示(步骤S132)。在腹腔镜手术结束，通过腹腔镜11的拍摄装置11B进行的拍摄停止的情况下，控制部201判断结束术野图像的显示。在判断不结束术野图像的显示的情况下(S132：否)，控制部201将处理返回到步骤S128。在判断结束术野图像的显示的情况下(S132：是)，控制部201结束本流程图的处理。

在图9所示的流程图中，设定了在执行了识别微血管的处理之后，执行识别注意血管的处理的步骤，但这些处理的执行顺序可以前后执行，也可以同时并行执行。

另外，在图9所示的流程图中，构成为在被提供了微血管的显示指示的情况下，重叠显示微血管的识别图像，在被提供了注意血管的显示指示的情况下，重叠显示注意血管的识别图像，但也可以构成为无需接受显示指示，默认显示微血管的识别图像或注意血管的识别图像中的一个。在该情况下，控制部201通过被提供显示切换指示从而切换到另一个的识别图像进行显示即可。

另外，在本实施方式中，构成为用蓝色系、绿色系的人体内部不存在的颜色对与微血管、注意血管相应的像素进行着色并显示，但也可以构成为对存在于这些像素的周围的像素也用相同颜色或不同颜色进行着色并显示。通过施加这种效果，能够强调显示(加粗显示)微血管部分、注意血管部分，能够提高视觉辨识性。此外，可以仅强调显示微血管部分及注意血管部分中的任一个，也可以强调显示两部分。

而且，在对微血管部分或注意血管部分进行着色时，也可以将对微血管部分或注意血管部分设定的显示色(蓝色系、绿色系的颜色)和背景的术野图像的显示色进行平均化，并利用平均化后的颜色进行着色并显示。例如，在将对血管部分设定的显示色设为(0，0，B1)，将背景的术野图像中的血管部分的显示色设为(R2，G2，B2)的情况下，控制部201用(R2/2，G2/2，(B1+B2)/2)的颜色对该血管部分进行着色并显示即可。可代替地，也可以导入权重系数W1、W2，用(W2×R2，W2×G2，W1×B1+W2×B2)的颜色对识别出的血管部分进行着色并显示。

而且，也可以使微血管部分以及注意血管部分中的至少一个闪烁显示。即，控制部201也可以通过交替重复执行使识别出的血管部分显示第一设定时间(例如2秒钟)的处理、使识别出的血管部分不显示第二设定时间(例如2秒钟)的处理，从而周期性地切换血管部分的显示及不显示。可以适当设定血管部分的显示时间及不显示时间。另外，也可以构成为与患者的心跳、脉搏等生物信息同步地切换血管部分的显示及不显示。

而且，在本实施方式中，构成为利用手术辅助装置200的操作部203提供显示指示或切换指示，但也可以构成为利用腹腔镜11的操作部11C提供显示指示或切换指示，还可以构成为利用未图示的脚踏开关或语音输入装置等提供显示指示或切换指示。

而且，手术辅助装置200也可以在利用第二学习模型320识别出注意血管的情况下，将包含注意血管的预定区域放大显示。放大显示可以在术野图像上进行，可以在其他画面上进行。

而且，在本实施方式中，构成为在显示装置130中将微血管以及注意血管重叠显示到术野图像，但也可以通过声音或语音将微血管以及注意血管的检测告知手术者。

而且，在本实施方式中，也可以构成为在利用第二学习模型320识别出注意血管的情况下，控制部201生成用于控制能量处置器具12、手术用机器人(未图示)等医疗设备的控制信号，并将生成的控制信号输出到医疗设备。例如，控制部201也可以向能量处置器具12供应电流，输出指示凝固切断的控制信号，以使其能够在凝固注意血管的同时进行切断。

如上所述，在本实施方式中，能够使用学习模型310、320来识别微血管以及注意血管的结构，并以像素为单位以能够判别的方式显示识别出的微血管部分以及注意血管部分，因此，能够进行腹腔镜手术中的视觉辅助。此外，从手术辅助装置200生成的图像不仅用于手术辅助，也可以用于实习医生等的教育辅助，还可以用于腹腔镜手术的评价。例如，另外，通过将在手术中由录像装置140录像的图像与手术辅助装置200所生成的图像进行比较，判断腹腔镜手术中的牵引操作、剥离操作是否适当，能够对腹腔镜手术进行评价。

(实施方式2)

在实施方式2中，对在生成第二学习模型320用的训练数据时，沿用第一学习模型310的识别结果的构成进行说明。

此外，腹腔镜手术辅助系统的整体构成、手术辅助装置200的内部构成等与实施方式1相同，因此省略其说明。

图12是说明第二学习模型320用的训练数据的生成方法的说明图。在实施方式1中，在生成第二学习模型320的准备阶段中，作业者通过以像素为单位指定与注意血管相应的部分来进行注释。相对于此，在实施方式2中，通过显示基于第一学习模型310的微血管的识别结果，作业者选择被识别出的微血管中不属于注意血管的血管，并将它们排除，进行仅保留注意血管的作业来进行注释。

手术辅助装置200的控制部201通过参照第一学习模型310的识别结果，标记相邻的像素是微血管的像素，将与微血管相应的一系列的像素识别为区域。控制部201通过接受针对识别出的微血管区域中不属于注意血管的血管的选择操作(通过操作部203进行的点击操作、轻敲操作)，将注意血管以外的血管排除。控制部201将没有被选择的微血管区域的像素指定为与注意血管相应的像素。将表示这样指定的与注意血管相应的像素的位置的数据(第二正解数据)与原始术野图像的集合存储在手术辅助装置200的存储部202中，作为用于生成第二学习模型320的训练数据。

控制部201使用存储部202中存储的训练数据，生成第二学习模型320。第二学习模型320的生成方法与实施方式1相同，因此省略其说明。

如上所述，在实施方式2中，能够沿用第一学习模型310的识别结果来生成第二学习模型320用的训练数据，因此，能够减轻作业者的作业负担。

此外，在本实施方式中，构成为通过选择要排除的微血管来指定注意血管，但也可以构成为通过接受对由第一学习模型310识别出的微血管中与注意血管相应的血管的选择操作来指定注意血管。

(实施方式3)

在实施方式3中，对使用一个学习模型来识别微血管以及注意血管这两者的构成进行说明。

此外，腹腔镜手术辅助系统的整体构成、手术辅助装置200的内部构成与实施方式1相同，因此省略其说明。

图13是说明实施方式3中的学习模型330的softmax层333的构成的说明图。为了简化，在图13中仅示出了学习模型330的softmax层333。softmax层333输出与各像素对应地设定的标签的概率。在实施方式3中，设定标识微血管的标签、标识注意血管的标签、标识除此之外的标签。如果标识微血管的标签的概率为阈值以上，则手术辅助装置200的控制部201识别该像素为微血管，如果标识注意血管的标签的概率为阈值以上，则手术辅助装置200的控制部201识别该像素为注意血管。另外，如果标识除此之外的标签的概率为阈值以上，则控制部201识别该像素既不是微血管也不是注意血管。

通过将包含术野图像、以及表示术野图像中包含的微血管部分以及注意血管部分的位置(像素)的正解数据的集合用于训练数据进行学习，从而生成用于获得这种识别结果的学习模型330。学习模型330的生成方法与实施方式1相同，因此省略其说明。

图14是示出实施方式3中的显示例的示意图。实施方式3中的手术辅助装置200使用学习模型330来识别术野图像中包含的微血管部分以及注意血管部分，并以能够判别的方式将这些显示在显示装置130上。为了便于制作附图，在图14的显示例中，利用粗实线或涂黑的区域表示使用学习模型330识别出的微血管部分，对注意血管部分标注阴影线表示。实际上，以像素为单位用蓝色系的颜色、绿色系的颜色等人体内部不存在的颜色对与注意血管相应的部分进行着色，并用其他颜色对与注意血管以外的微血管相应的部分进行着色并显示即可。另外，也可以通过改变注意血管和注意血管以外的微血管的透明度来显示。在该情况下，将注意血管设定为透明度相对较低，将注意血管以外的微血管设定为透明度相对较高即可。

如上所述，在实施方式3中，以能够判别的方式显示由学习模型330识别出的微血管部分以及注意血管部分，因此，能够在进行牵引操作、剥离操作等时向手术者准确地提示有用的信息。

(实施方式4)

在实施方式4中，对根据针对微血管以及注意血管的识别结果的确信度来改变显示形态的构成进行说明。

如实施方式4中说明的那样，学习模型330的softmax层333输出与各像素对应地设定的标签的概率。该概率表示识别结果的确信度。手术辅助装置200的控制部201根据识别结果的确信度，使微血管部分以及注意血管部分的显示形态不同。

图15是示出实施方式4中的显示例的示意图。图15将包含注意血管的区域放大表示。在该例子中，关于注意血管的识别结果，在确信度为70％～80％的情况，80％～90％的情况，90％～95％的情况，95％～100％的情况下分别使浓度不同来显示注意血管部分。在该例中，以确信度越高、则浓度越高的方式改变显示形态即可。

在图15的例子中，构成为根据确信度使注意血管的显示形态不同，但微血管也同样可以根据确信度来使显示形态不同。

另外，在图15的例子中，构成为根据确信度使浓度不同，但也可以根据确信度使颜色、透明度不同。在使颜色不同的情况下，确信度越高，用蓝色系、绿色系的人体中不存在的颜色表示即可，确信度越高，以红色系的人体中存在的颜色表示即可。另外，在使透明度不同的情况下，以确信度越高，透明度越低的方式改变显示形态即可。

另外，在图15的例子中，根据确信度分四个阶段改变透明度，但也可以更细致地设定透明度，进行与确信度相应的灰度显示。另外，也可以采用改变颜色的构成来代替改变透明度的构成。

(实施方式5)

在实施方式5中，对显示隐藏在手术工具等物体的阴影中无法视觉辨识的微血管部分的估计位置的构成进行说明。

图16是说明实施方式5中的显示方法的说明图。如上所述，手术辅助装置200使用学习模型310、320(或者学习模型330)来识别术野图像中包含的微血管部分。然而，在拍摄对象的术野中存在包含能量处置器具12以及钳子13的手术工具、纱布等物体的情况下，手术辅助装置200即使使用学习模型310、320(或者学习模型330)，也无法从术野图像识别隐藏在物体的阴影中的微血管部分。因此，在使微血管部分的识别图像重叠到术野图像进行显示的情况下，无法以能够判别的方式显示隐藏在物体的阴影中的微血管部分。

因此，实施方式5的手术辅助装置200将在未隐藏在物体的阴影中的状态下识别出的微血管部分的识别图像预先存储于存储部202，在该微血管部分隐藏在物体的阴影中的情况下，读出存储部202中存储的识别图像，重叠到术野图像进行显示。

在图16的例子中，时刻T1表示微血管未隐藏在手术工具的阴影中的状态的术野图像，时刻T2表示微血管的一部分隐藏在手术工具的阴影中的状态的术野图像。其中，假设在时刻T1与时刻T2之间，腹腔镜11不移动，拍摄的区域没有变化。

从时刻T1的术野图像中，能够识别出术野中出现的所有微血管，根据学习模型310、320(或者学习模型330)的识别结果，生成微血管的识别图像。生成的微血管的识别图像存储于存储部202。

另一方面，从时刻T2的术野图像，能够识别出术野中出现的微血管中未隐藏在手术工具中的微血管，但识别不到隐藏在手术工具中的微血管。因此，手术辅助装置200从存储部202读出根据时刻T1的术野图像生成的微血管的识别图像，重叠到时刻T2的术野图像并进行显示。在图16的例子中，用虚线表示的部分为隐藏在手术工具中而无法视觉辨识的微血管部分，但手术辅助装置200通过沿用在时刻T1识别出的识别图像，能够包括该部分在内以能够判别的方式进行显示。

如上所述，在实施方式5中，能够告知手术者存在隐藏在手术工具等物体的阴影中而无法视觉辨识的微血管，因此能够提高手术时的安全性。

(实施方式6)

在实施方式6中，对预测血管的行走图案，以能够判别的方式显示根据预测的血管的行走图案估计的血管部分的构成进行说明。

图17是说明实施方式6的手术辅助装置200所执行的处理的步骤的流程图。手术辅助装置200的控制部201与实施方式1同样地，获取术野图像(步骤S601)，将获取的术野图像输入到第一学习模型310，并执行由第一学习模型310进行的运算(步骤S602)。控制部201根据第一学习模型310的运算结果，预测血管的行走图案(步骤S603)。在实施方式1中，通过提取从第一学习模型310的softmax层313输出的标签的概率为第一阈值以上(例如70％以上)的像素来生成微血管部分的识别图像，但在实施方式6中，通过降低该阈值来预测血管的行走图案。例如，控制部201通过提取从第一学习模型310的softmax层313输出的标签的概率小于第一阈值(例如小于70％)且为第二阈值以上(例如50％以上)的像素来预测血管的行走图案。

控制部201以能够判别的方式显示根据预测的行走图案估计的血管部分(步骤S604)。图18是示出实施方式6中的显示例的示意图。在图18中，利用粗实线(或者涂有黑色的区域)表示识别出的微血管部分，利用阴影线表示根据预测的行走图案估计的血管部分。为了便于制作附图，在图18的例子中，利用粗实线(或者涂有黑色的区域)表示微血管部分，利用阴影线表示根据行走图案估计的血管部分，但以使颜色、浓度、透明度等显示形态不同的方式进行显示即可。

如上所述，在实施方式6中，能够一并显示根据血管的行走图案估计的血管部分，因此，能够进行腹腔镜手术中的视觉辅助。

在本实施方式中，构成为通过提取从softmax层313输出的标签的概率小于第一阈值(例如小于70％)且为第二阈值以上(例如50％以上)的像素来预测血管的行走图案，但也可以准备用于预测血管的行走图案的学习模型。即，准备将通过拍摄术野得到的术野图像和表示术野图像内的血管的行走图案的正解数据作为训练数据来进行学习而得到的学习模型即可。正解数据可以通过医生等专家一边确认术野图像一边判断血管的行走图案，并对该术野图像实施注释而生成。

(实施方式7)

在实施方式7中，对根据术野图像识别血流，并以与血流的多少相应的显示形态显示血管的构成进行说明。

图19是说明实施方式7中的学习模型340的softmax层343的构成的说明图。在图19中，为了简化，仅示出了学习模型340的softmax层343。softmax层343输出与各像素对应地设定的标签的概率。在实施方式7中，设定标识有血流的血管的标签、标识没有血流的血管的标签、标识除此之外的标签。如果标识有血流的血管的标签的概率为阈值以上，则手术辅助装置200的控制部201识别该像素为有血流的血管，如果标识没有血流的血管的标签的概率为阈值以上，则手术辅助装置200的控制部201识别该像素为没有血流的血管。另外，如果标识除此之外的标签的概率为阈值以上，则控制部201识别该像素不是血管。

通过将包含术野图像、以及表示术野图像中包含的有血流的血管部分以及没有血流的血管部分的位置(像素)的正解数据的集合用于训练数据进行学习，从而生成用于获得这种识别结果的学习模型340。作为包含有血流的血管部分的术野图像，例如，可以使用ICG(Indocyanine Green)荧光图像。即，也可以将在近红外区域具有吸收波长的ICG等示踪剂注入动脉或静脉，通过观测照射近红外光时发出的荧光来生成荧光图像，将其作为表示有血流的血管部分的位置的正解数据来使用。另外，在有血流的血管和没有血流的血管中，血管的色调、形状、温度、血液的浓度、氧饱和度等是不同的，因此，也可以通过对它们进行测量，指定有血流的血管部分的位置、以及没有血流的血管部分的位置，从而准备正解数据。学习模型340的生成方法与实施方式1相同，因此省略其说明。

此外，在图19所示的学习模型340中，构成为从softmax层343输出有血流的概率、没有血流的概率、以及除此以外的概率，但也可以构成为根据血流量或血流速来输出概率。

图20是示出实施方式7中的显示例的示意图。实施方式7中的手术辅助装置200使用学习模型340来识别有血流的血管部分和没有血流的血管部分，并以能够判别的方式将它们显示在显示装置130上。为了便于制作附图，在图20的显示例中，利用粗实线或涂黑的区域表示有血流的血管部分，对没有血流的血管部分标注阴影线表示，但也可以用特定颜色对有血流的血管进行着色，用其他颜色对没有血流的血管进行着色并显示。另外，也可以通过改变有血流的血管和没有血流的血管的透明度来进行显示。并且，也可以能够判别的方式显示有血流的血管及没有血流的血管中的任一个。

如上所述，在实施方式7中，以能够判别的方式显示有血流的血管和没有血流的血管，因此，能够进行腹腔镜手术中的视觉辅助。

(实施方式8)

在实施方式8中，对使用通过照射特殊光而拍摄的特殊光图像来识别血管部分，并根据需要显示使用特殊光图像识别出的血管部分的图像的构成进行说明。

实施方式8中的腹腔镜11具有照射普通光而拍摄术野的功能和照射特殊光而拍摄术野的功能。因此，实施方式8的腹腔镜手术辅助系统也可以另外具备用于射出特殊光的光源装置(未图示)，也可以构成为针对从光源装置120射出的光，切换并应用普通光用的光学滤波器和特殊光用的光学滤波器，从而切换并照射普通光和特殊光。

普通光是例如具有白色光的波段(380nm～650nm)的光。在实施方式1等中说明的照明光属于普通光。而特殊光是与普通光不同的其他照明光，属于窄带光、红外光、激发光等。此外，在本说明书中，普通光/特殊光的区别只不过是为了方便，并不强调特殊光与普通光相比特殊。

在窄带光观察(NBI：Narrow Band Imaging)中，将容易被血液中的血红蛋白吸收的窄带化的两个波段(例如390～445nm/530～550nm)的光照射到观察对象。由此，可以强调显示粘膜表层的毛细血管等。

在红外光观察(IRI：Infra Red Imaging)中，在静脉注射红外光容易被吸收的红外指标药剂后，对观察对象照射两个红外光(790～820nm/905～970nm)。由此，能够强调显示在普通光观察中难以视觉辨识的器官深部的血管等。红外指标药剂例如使用ICG。

在荧光观察(AFI：Auto Fluorescence Imaging)中，向观察对象照射用于观察来自生物组织自身的荧光的激发光(390～470nm)和被血液中的血红蛋白吸收的波长(540～560nm)的光。由此，能够用不同的颜色强调显示两种组织(例如病变组织和正常组织)。

使用特殊光的观察方法不限于上述方法，还可以是HSI(HyperSpectralImaging)，LSCI(Laser Speckle Contrast Imaging)、FICE(Flexible spectral Imaging ColorEnhancement)等。

以下，将通过照射普通光拍摄术野而得到的术野图像记为普通光图像，将通过照射特殊光拍摄术野而得到的术野图像记为特殊光图像。

实施方式8的手术辅助装置200除了具备在实施方式1中说明的第一学习模型310以及第二学习模型320以外，还具备特殊光图像用的学习模型350。图21是示出特殊光图像用的学习模型350的构成例的示意图。学习模型350具备编码器351、解码器352、以及softmax层353，构成为针对特殊光图像的输入，输出表示特殊光图像中出现的血管部分的识别结果的图像。通过将包含通过照射特殊光拍摄术野而得到的拍摄图像(特殊光图像)、和医生等针对该特殊光图像指定的血管的位置的数据(正解数据)的数据集合用作训练数据，并按照预定的学习算法执行学习来生成这种学习模型350。

手术辅助装置200在生成特殊光图像用的学习模型350后的运用阶段中进行手术辅助。图22是说明实施方式8的手术辅助装置200所执行的处理的步骤的流程图。手术辅助装置200的控制部201获取普通光图像(步骤S801)，并将获取到的普通光图像输入到第一学习模型310，执行由第一学习模型310进行的运算(步骤S802)。控制部201根据第一学习模型310的运算结果，识别普通光图像中包含的微血管部分(步骤S803)，并预测在普通光图像中难以视觉辨识的血管的行走图案(步骤S804)。

微血管的识别方法与实施方式1相同。控制部201将从第一学习模型310的softmax层313输出的标签的概率为阈值以上(例如70％以上)的像素识别为微血管部分。行走图案的预测方法与实施方式6相同。控制部201通过提取从第一学习模型310的softmax层313输出的标签的概率为小于第一阈值(例如小于70％)且为第二阈值以上(例如50％以上)的像素，预测在普通光图像中难以视觉辨识的血管的行走图案。

控制部201与步骤S801～S804的处理并行执行以下的处理。控制部201获取特殊光图像(步骤S805)，将获取到的特殊光图像输入到特殊光图像用的学习模型350，并执行由学习模型350进行的运算(步骤S806)。控制部201根据学习模型350的运算结果，识别特殊光图像中出现的血管部分(步骤S807)。控制部201能够将从学习模型350的softmax层353输出的标签的概率为阈值以上(例如70％以上)的像素识别为血管部分。

接下来，控制部201通过步骤S803的预测，判断是否检测到存在普通光图像中难以视觉辨识的血管(步骤S808)。

在判断未检测到存在难以视觉辨识的血管的情况下(S807：否)，控制部201利用输出部205将普通光图像输出到显示装置130进行显示，并且在步骤S803中识别出微血管的情况下，将微血管部分的识别图像重叠到普通光图像上进行显示(步骤S809)。

在判断检测到存在难以视觉辨识的血管的情况下(S807：是)，控制部201利用输出部205将普通光图像输出到显示装置130进行显示，并且将根据特殊光图像识别的血管部分的识别图像重叠到普通光图像进行显示(步骤S810)。

如上所述，在实施方式8中，在检测到存在普通光图像中难以视觉辨识的血管的情况下，显示根据特殊光图像识别的血管部分的识别图像，因此，能够告知手术者例如存在于器官深部的血管的位置，能够提高腹腔镜手术中的安全性。

此外，在本实施方式中，构成为在检测到存在普通光图像中难以视觉辨识的血管的情况下，自动地显示根据特殊光图像识别到血管部分的识别图像，但也可以构成为在通过操作部203等接受到手术者的指示的情况下，代替显示根据普通光图像识别到的微血管部分，而显示根据特殊光图像识别到的血管部分。

另外，在本实施方式中，构成为通过普通光图像识别微血管部分，并通过特殊光图像识别血管部分，但也可以构成为使用第二学习模型320，通过普通光图像识别注意血管部分，并通过特殊光图像识别血管部分。

在本实施方式中，构成为在一个显示装置130中切换显示基于普通光图像的识别结果和基于特殊光图像的识别结果，但也可以构成为在显示装置130显示基于普通光图像的识别结果，在另一个显示装置(未图示)显示基于特殊光图像的识别结果。

在本实施方式中，构成为在控制部201中执行基于普通光图像的微血管部分的识别和基于特殊光图像的血管部分的识别，但也可以设置与控制部201不同的硬件(GPU等)，在该硬件中在后台执行特殊光图像中的血管部分的识别。

(实施方式9)

在实施方式9中，对使用普通光图像和特殊光图像的结合图像来识别血管部分的构成进行说明。

图23是说明实施方式9的手术辅助装置200所执行的处理的概要的说明图。手术辅助装置200的控制部201获取通过照射普通光拍摄术野而得到的普通光图像和通过照射特殊光拍摄术野而得到的特殊光图像。在本实施方式中，普通光图像例如是全HD(High-Definition)的RGB图像，特殊光图像例如是全HD的灰度图像。

控制部201通过将获取到的普通光图像和特殊光图像结合来生成结合图像。例如，在将普通光图像设为具有三个颜色信息(RGB3通道)图像、将特殊光图像设为具有一个颜色信息(灰度1通道)的图像的情况下，控制部201作为将四个颜色信息(RGB3通道+灰度1通道)汇总为一个的图像，生成结合图像。

控制部201将生成的结合图像输入到结合图像用的学习模型360中，执行由学习模型360进行的运算。学习模型360具备图中未示出的编码器、解码器、以及softmax层，构成为针对结合图像的输入，输出表示在结合图像中出现的血管部分的识别结果的图像。通过将包括结合图像和由医生等针对结合图像指定的血管的位置的数据(正解数据)的数据集合用作训练数据，按照预定的学习算法执行学习来生成学习模型360。

控制部201将使用学习模型360得到的血管部分的识别图像重叠在原始术野图像(普通图像)上并进行显示。

如上所述，在实施方式9中，使用结合图像来识别血管部分，因此，能够告知手术者存在普通光图像中难以视觉辨识的血管，能够提高腹腔镜手术中的安全性。

此外，与普通光图像结合的特殊光图像不限于一个，也可以相对于普通光图像结合波段不同的多个特殊光图像。

(实施方式10)

在实施方式10中，对在手术工具接近或接触到注意血管的情况下告知手术者的构成进行说明。

图24是说明实施方式10中的手术辅助的执行步骤的流程图。手术辅助装置200的控制部201判断手术工具是否接近了注意血管(步骤S1001)。控制部201例如在术野图像上按时间序列计算注意血管与手术工具的前端之间的间隔距离，在判断该间隔距离比预定值短的情况下，判断手术工具接近了注意血管即可。在判断手术工具没有接近注意血管的情况下(S100：否)，控制部201执行后述的步骤S1003以后的处理。

在判断手术工具接近了注意血管的情况下(S1001：是)，控制部201放大显示注意血管部分(步骤S1002)。图25是示出放大显示的例子的示意图。在图25的例子中，示出了放大显示包含注意血管的区域，并显示了手术工具接近了注意血管的意思的文字信息的例子。

接下来，控制部201判断手术工具是否接触了注意血管(步骤S1003)。控制部201例如通过在术野图像上按时间序列计算注意血管与手术工具的前端之间的间隔距离，来判断手术工具是否与注意血管接触。当判断计算出的间隔距离为零时，控制部201判断手术工具接触到注意血管即可。另外，在手术工具的前端部设置有接触传感器的情况下，控制部201也可以通过获取来自该接触传感器的输出信号来判断手术工具是否接触到注意血管。在判断未接触的情况下(S1003：否)，控制部201结束本流程图的处理。

在判断接触了的情况下(S1003：是)，控制部201进行表示手术工具接触了注意血管的意思的警告显示(步骤S1004)。图26是示出警告显示的例子的示意图。在图26的例子中，示出了使接触的手术工具发光，并显示手术工具接触到注意血管的意思的文字信息的例子。也可以在警告显示的同时，或代替警告显示，进行声音或振动的警告。

此外，在本实施方式中，构成为在手术工具接触到注意血管的情况下进行警告显示，但也可以构成为判断有无伴随注意血管的损伤的出血，在判断有出血的情况下进行警告。控制部201例如按时间序列对包含注意血管的预定区域内的红色像素进行计数，在红色像素的数量增加了一定量以上的情况下，能够判断有出血。

应当理解，本次公开的实施方式在所有方面都是示例性的，而不是限制性的。本发明的范围由权利要求书示出，而不是由上述含义示出，并且旨在包括与权利要求书等同的含义以及范围内的所有变更。

附图标记说明：

10：穿刺器

11：腹腔镜

12：能量处置器具

13：钳子

110：相机控制单元(CCU)

120：光源装置

130：显示装置

140：录像装置

200：手术辅助装置

201：控制部

202：存储部

203：操作部

204：输入部

205：输出部

206：通信部

310、320、330：学习模型

PG1：识别处理程序

PG2：显示处理程序

PG3：学习处理程序

Claims (25)

1.一种计算机程序，其特征在于，用于使计算机执行如下处理：

获取对镜视下手术的术野进行拍摄而得到的术野图像，

使用学习模型区分并识别所获取的术野图像中包含的血管和该血管中应该提醒引起注意的血管，所述学习模型被学习为，在输入了术野图像的情况下输出与血管有关的信息。

2.根据权利要求1所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

在所述术野图像上以能够判别的方式显示从所述术野图像识别出的血管部分和应该提醒引起注意的血管部分。

3.根据权利要求2所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

以能够切换的方式显示两个血管部分。

4.根据权利要求2所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

以不同的显示形态显示两个血管部分。

5.根据权利要求2-4中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

周期性地切换识别出的至少一个血管部分的显示以及不显示。

6.根据权利要求2-5中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

对识别出的至少一个血管部分的显示施加预定的效果。

7.根据权利要求2-6中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

计算所述学习模型的识别结果的确信度，

以与计算出的确信度相应的显示形态显示至少一个血管部分。

8.根据权利要求1所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

参照所述学习模型的识别结果，显示隐藏在其他物体的阴影中的血管部分的估计位置。

9.根据权利要求1所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

使用所述学习模型估计血管的行走图案，

根据估计出的血管的行走图案，显示未出现在所述术野图像中的血管部分的估计位置。

10.根据权利要求1-9中任一项所述的计算机程序，其特征在于，

所述学习模型被学习为，输出与不存在于手术者的中心视野的血管有关的信息，作为应该提醒引起注意的血管的识别结果。

11.根据权利要求1-10中任一项所述的计算机程序，其特征在于，

所述学习模型被学习为，输出与存在于手术者的中心视野的血管有关的信息，作为应该提醒引起注意的血管的识别结果。

12.根据权利要求1-11中任一项所述的计算机程序，其特征在于，

所述学习模型被学习为，输出与处于紧张状态的血管有关的信息，

所述计算机程序用于使所述计算机执行如下处理：

根据从所述学习模型输出的信息，将处于紧张状态的血管部分识别为应该提醒引起注意的血管。

13.根据权利要求1-12中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

使用血流识别用的学习模型，识别在所述术野图像中包含的血管中流动的血流，所述血流识别用的学习模型被学习为，根据所述术野图像的输入而输出与血流有关的信息，

参照所述学习模型的血流的识别结果，以与血流的多少相应的显示形态显示使用血管识别用的学习模型识别出的血管。

14.根据权利要求1-13中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

获取通过照射与用于所述术野图像的照明光不同的其他照明光来拍摄所述术野而得到的特殊光图像，

使用特殊光图像用的学习模型识别所述特殊光图像中出现的血管部分，所述特殊光图像用的学习模型被学习为，在输入了特殊光图像的情况下输出与所述特殊光图像中出现的血管有关的信息，

将识别出的所述血管部分重叠显示在所述术野图像上。

15.根据权利要求14所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

以能够切换的方式显示从所述术野图像识别出的血管部分和从所述特殊光图像识别出的血管部分。

16.根据权利要求1-13中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

获取通过照射与用于所述术野图像的照明光不同的其他照明光来拍摄所述术野而得到的特殊光图像，

生成所述术野图像与所述特殊光图像的结合图像，

使用结合图像用的学习模型识别所述结合图像中出现的血管部分，所述结合图像用的学习模型被学习为，在输入了结合图像的情况下输出与所述结合图像中出现的血管有关的信息，

将识别出的所述血管部分重叠显示在所述术野图像上。

17.根据权利要求1-16中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

根据所述术野图像检测出血，

在检测到出血的情况下，输出警告信息。

18.根据权利要求1-17中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

根据所述术野图像检测手术工具的接近，

在检测到所述手术工具的接近的情况下，以能够判别的方式显示应该提醒引起注意的血管。

19.根据权利要求1-18中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

放大显示被识别为应该提醒引起注意的血管的血管部分。

20.根据权利要求1-19中任一项所述的计算机程序，其特征在于，用于使所述计算机执行如下处理：

根据识别出的血管，输出针对医疗设备的控制信息。

21.一种学习模型的生成方法，其特征在于，

计算机执行如下操作：

获取训练数据，所述训练数据包括对镜视下手术的术野进行拍摄而得到的术野图像、表示该术野图像中包含的血管部分的第一正解数据、以及表示所述血管部分中应该提醒引起注意的血管部分的第二正解数据，

根据获取到的训练数据的集合，生成在输入了术野图像的情况下输出与血管有关的信息的学习模型。

22.根据权利要求21所述的学习模型的生成方法，其特征在于，

所述计算机分别生成：

第一学习模型，其在输入了术野图像的情况下输出与所述术野图像中包含的血管有关的信息；以及

第二学习模型，其在输入了术野图像的情况下输出与所述术野图像中包含的血管中应该提醒引起注意的血管有关的信息。

23.一种学习模型的生成方法，其特征在于，

计算机执行如下操作：

获取训练数据，所述训练数据包括对镜视下手术的术野进行拍摄而得到的术野图像、以及表示该术野图像中包含的血管部分的第一正解数据，

根据获取到的训练数据的集合，生成在输入了术野图像的情况下输出与血管有关的信息的第一学习模型，

通过接受对使用所述第一学习模型识别出的术野图像的血管部分中应该提醒引起注意的血管部分的指定，生成第二正解数据，

根据包括所述术野图像和所述第二正解数据的训练数据的集合，生成在输入了术野图像的情况下输出与应该提醒引起注意的血管有关的信息的第二学习模型。

24.根据权利要求21-23中任一项所述的学习模型的生成方法，其特征在于，

术野图像中包含的血管部分中应该提醒引起注意的血管部分是处于紧张状态的血管部分。

25.一种手术辅助装置，其特征在于，具备：

获取部，其获取对镜视下手术的术野进行拍摄而得到的术野图像；

识别部，其使用学习模型区分并识别所获取的术野图像中包含的血管和该血管中应该提醒引起注意的血管，所述学习模型被学习为，在输入了术野图像的情况下输出与血管有关的信息；以及

输出部，其根据该识别部的识别结果，输出与所述镜视下手术有关的辅助信息。