CN117915853A - 推断装置、信息处理方法和计算机程序 - Google Patents

Abstract

本发明提供一种推断装置、信息处理方法和计算机程序。推断装置连接在手术机器人和控制该手术机器人的控制台之间，包括：图像获取部，其获取由所述手术机器人的拍摄部拍摄的术野图像；推断部，其对所获取的术野图像进行推断处理；发送部，其根据所述控制台的发送设定，将由所述图像获取部获取的术野图像和基于所述推断部做出的推断结果的信息中的至少一者向所述控制台发送。

Description

推断装置、信息处理方法和计算机程序

技术领域

本发明涉及推断装置、信息处理方法和计算机程序。

背景技术

现在，已经在使用手术机器人对患者进行手术。这种手术机器人，两个机械臂上被分别安装用于手术的两个钳子。另外，通过内窥镜对患处进行摄像，患处的三维图像(利用左右眼的视差得到立体视觉的图像)显示在监视器上。医生等手术者一边参照监视器，一边用双手对操作单元进行操作，从而操纵安装在各臂上的钳子。

先行技术文献

专利文献

专利文献1：日本特开2014-38075号公报

发明内容

发明要解决的课题

专利文献1中，没有记载将对术野图像的推断结果提示给手术者的技术。

本发明的目的在于，提供能够对由手术机器人得到的术野图像进行推断并将基于推断结果的信息向控制台发送的推断装置、信息处理方法和计算机程序。

用于解决课题的手段

本发明的一方面的推断装置，连接在手术机器人和控制该手术机器人的控制台之间，包括：图像获取部，其获取由所述手术机器人的拍摄部拍摄的术野图像；推断部，其对所获取的术野图像进行推断处理；和发送部，其根据所述控制台的发送设定，将由所述图像获取部获取的术野图像和基于所述推断部做出的推断结果的信息中的至少一者向所述控制台发送。

本发明的一方面的信息处理方法，通过连接在手术机器人和控制该手术机器人的控制台之间的计算机执行下述处理：获取由所述手术机器人的拍摄部拍摄的术野图像，对所获取的术野图像进行推断，根据通过所述控制台接受的发送设定，将所述术野图像和基于推断结果的信息中的至少一者向所述控制台发送。

本发明的一方面的计算机程序，用于使连接在手术机器人和控制该手术机器人的控制台之间的计算机执行下述处理：获取由所述手术机器人的拍摄部拍摄的术野图像，对所获取的术野图像进行推断，根据通过所述控制台接受的发送设定，将所述术野图像和基于推断结果的信息中的至少一者向所述控制台发送。

发明的效果

按照本申请，能够对由手术机器人得到的术野图像进行推断并将基于推断结果的信息向控制台发送。

附图说明

图1是说明实施方式1的手术机器人系统的结构例的框图。

图2是表示术野图像的一例的示意图。

图3是表示学习模型的结构例的示意图。

图4是表示推断图像的一例的示意图。

图5是表示控制台上的显示例的示意图。

图6是说明实施方式1的手术机器人系统中执行的处理的顺序的流程图。

图7是说明实施方式2的手术机器人系统中执行的处理的顺序的流程图。

图8是说明控制手法的第一具体例的说明图。

图9是说明控制手法的第二具体例的说明图。

图10是说明控制手法的第三具体例的说明图。

图11是说明控制手法的第四具体例的说明图。

图12是说明控制手法的第五具体例的说明图。

图13是说明控制手法的第六具体例的说明图。

图14是说明实施方式3中的推断单元执行的处理的顺序的流程图。

图15是说明实施方式4中的推断单元执行的处理的顺序的流程图。

图16是说明实施方式5中的推断单元执行的处理的顺序的流程图。

具体实施方式

以下，基于表示本发明实施方式的附图对本发明进行具体说明。

(实施方式1)

图1是表示实施方式1的手术机器人系统1的结构例的框图。实施方式1的手术机器人系统1包括手术机器人10、推断单元20、服务器装置30和控制台40。手术机器人系统1，通过手术机器人10上安装的腹腔镜15对术野进行拍摄，并使由腹腔镜15得到的术野图像显示在控制台40的监视器44A、44B上。手术者(医生)通过一边查看监视器44A、44B上显示的术野图像、一边操作臂操作设备43，来操作安装在手术机器人10上的手术器械，进行腹腔镜手术。

此外，本发明不限于腹腔镜手术，能够应用于使用了胸腔镜、消化道内窥镜、膀胱镜、关节镜、脊椎内窥镜、神经内窥镜、手术显微镜等的所有机器人辅助内窥镜手术。

以下，说明手术机器人10、推断单元20、服务器装置30和控制台40各自的结构。

手术机器人10包括：控制部11、驱动部12A～12D、臂部13A～13D、光源装置14、腹腔镜15、信号处理部16等。

控制部11例如由CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等构成。控制部11根据从控制台40输入的控制信息等控制手术机器人10具有的硬件各部的动作。

手术机器人10具有的臂部13A～13D中的一个(设为臂部13A)被用于使腹腔镜15三维移动。为此，腹腔镜15被安装在臂部13A的前端部。驱动部12A包括驱动臂部13A的致动器、电机等，通过由来自控制部11的控制驱动臂部13A，使安装在前端部的腹腔镜15三维移动。此外，腹腔镜15的移动控制可以是自动控制，也可以是经由控制台40的手动控制。

其余三个(设为臂部13B～13D)被用于使手术器械三维移动。为此，手术器械被安装在臂部13B～13D的前端部。手术器械包含钳子、能量处置器具、血管夹、自动吻合器等。驱动部12B包括驱动臂部13B的致动器、电机等，通过由来自控制部11的控制驱动臂部13B，使安装在前端部的手术器械三维移动。驱动部12C、12D也同样。此外，手术器械的移动控制主要是经由控制台40的手动控制，但也可以使用自动控制作为辅助。另外，不必同时控制三个臂部13B～13D，可以适当选择三个臂部13B～13D中的两个进行手动控制。

光源装置14包括光源、光导、照明透镜等。光源装置14将从光源出射的照明光导向光导的前端部，经由光导的前端部设置的照明透镜对术野照射照明光。光源装置14照射的光可以是普通光，也可以是特殊光。普通光例如是具有白色光波段(380nm～650nm)的光。而特殊光是与普通光不同的其它照明光，如窄带光、红外光、激发光等。

腹腔镜15包括：CMOS(Complementary Metal Oxide Semiconductor)等拍摄元件、安装了定时发生器(TG)和模拟信号处理回路(AFE)等的驱动电路。腹腔镜15的驱动电路与从TG输出的时钟信号同步取入从拍摄元件输出的RGB各色的信号，在AFE中实施噪声去除、放大、AD转换等必要的处理，生成数字形式的图像数据(术野图像)。

信号处理部16包括DSP(Digital Signal Processor)和图像存储器等，对从腹腔镜15输入的图像数据实施颜色分离、颜色插补、增益校正、白平衡调整、伽马校正等适当的处理。信号处理部16根据处理后的图像数据生成运动图像用的帧图像，并将生成的各帧图像向推断单元20依次输出。帧图像的帧速率例如为30FPS(Frames Per Second)。在一个例子中，信号处理部16也可以输出符合NTSC(National Television System Committee)、PAL(Phase Alternating Line)、DICOM(Digital Imaging and COmmunication in Medicine)等规定标准的影像数据。

推断单元20包括运算部21、存储部22、第一连接部23、第二连接部24、第三连接部25等。

运算部21由CPU、ROM、RAM等构成。运算部21内的ROM中存储控制推断单元20具有的硬件各部的动作的控制程序等。运算部21内的CPU，通过运行存储在ROM中的控制程序和存储在后述的存储部22中的计算机程序，控制硬件各部的动作，使整个装置起到本申请的推断装置的作用。运算部21内的RAM中，临时存储运算执行过程中使用的数据等。

本实施方式中，采用了运算部21包括CPU、ROM和RAM的结构，但运算部21的结构是任意的，只要是包括GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)、量子处理器、易失性或非易失性存储器等的运算电路和控制电路即可。另外，运算部21也可以具有输出日期时间信息的时钟、测量从给出测量开始指示到给出测量结束指示为止的经过时间的计时器、统计数量的计数器等的功能。

存储部22包括闪存等存储装置。存储部22中存储由运算部21执行的计算机程序、从外部获取的各种数据、在装置内部生成的各种数据等。

存储部22中存储的计算机程序，包含用于使运算部21执行对术野图像的推断处理的推断处理程序PG等。这些计算机程序可以是单一的计算机程序，也可以是由多个计算机程序构建的程序组。另外，包含推断处理程序PG的计算机程序也可以分散配置在多个计算机上，由多个计算机协同运行。

包含推断处理程序PG的计算机程序由以可读取的方式记录了计算机程序的非临时的记录介质RM提供。记录介质RM是CD-ROM、USB存储器、SD(Secure Digital)卡等便携式存储器。运算部21使用未图示的读取装置从记录介质RM读取所希望的计算机程序，并使所读取的计算机程序存储于存储部22。可代替地，包含推断处理程序PG的计算机程序也可以通过通信提供。在这种情况下，运算部21通过通信下载所希望的计算机程序，并使所下载的计算机程序存储在存储部22中。

另外，存储部22中存储用于推断处理的学习模型MD。学习模型MD的一个例子是用于推断术野图像内要识别的对象物的位置的学习模型。在这种情况下，学习模型MD被构成为：在输入了术野图像的情况下，输出表示对象物的位置的信息。这里，术野图像内要识别的对象物可以是食道、胃、大肠、胰脏、脾脏、输尿管、肺、前列腺、子宫、胆囊、肝脏、输精管等脏器，也可以是血液、结缔组织、脂肪、神经、血管、肌肉、膜状结构物等组织。另外，对象物也可以是钳子、能量处置器具、血管夹、自动吻合器等手术器械。作为表示对象物的位置的信息，学习模型MD可以输出以像素为单位或以特定的区域为单位表示是否属于对象物的概率的信息。存储部22中存储包含已学习的参数的学习模型MD的定义信息。

学习模型MD的另一个例子是用于推断场景的学习模型。在这种情况下，学习模型MD被构成为：在输入了术野图像的情况下，输出涉及手术图像表示的场景的信息。学习模型MD输出的涉及场景的信息例如是下述信息：是包含特定脏器的场景的概率、是手术中进行有特征的手术操作的场景的概率、是使用特定手术器械(血管夹、自动吻合器等)进行有特征的操作(血管结扎、肠道的切断、吻合等)的场景的概率，等等。

简略起见，图1中仅示出了一个学习模型MD，但存储部22中也可以存储多个学习模型。例如，存储部22中，为了识别多种脏器，可以存储与各脏器对应的多个学习模型，为了识别脏器及其它结构物，可以存储与之分别对应的多个学习模型。另外，存储部22中，也可以存储用于识别脏器等结构物的学习模型和用于识别场景的学习模型。

第一连接部23包括连接手术机器人10的连接接口。推断单元20，通过第一连接部23被输入由腹腔镜15拍摄并由信号处理部16实施了处理的术野图像的图像数据。从第一连接部23输入的图像数据向运算部21和存储部22输出。

第二连接部24包括连接服务器装置30的连接接口。推断单元20通过第二连接部24向服务器装置30输出由手术机器人10获取的术野图像的图像数据和/或运算部21做出的推断结果。

第三连接部25包括连接控制台40的连接接口。推断单元20通过第三连接部25向控制台40输出由手术机器人10获取的术野图像的图像数据和/或运算部21做出的推断结果。另外，推断单元20也可以通过第三连接部被输入涉及手术机器人10的控制信息。涉及手术机器人10的控制信息例如包含臂部13A～13D的位置、角度、速度、加速度等信息。

推断单元20可以包括供手术者等操作的、由各种开关和/或杆构成的操作部。操作部具有的开关和/或杆可以被分配预先设定的特定功能，也可以被分配由手术者设定的功能。推断单元20可以包括用文字和/或图像显示要告知手术者等的信息的显示部，也可以包括通过语音和/或声音输出要告知手术者等的信息的输出部。

服务器装置30包括编解码部31、数据库32等。编解码部31具有对从推断单元20输入的术野的图像数据进行编码并将其存储于数据库32的功能、读出数据库32中存储的图像数据并进行解码的功能等。数据库32存储由编解码部31进行了编码的图像数据。

控制台40包括主控制器41、输入设备42、臂操作设备43、监视器44A、44B等。

主控制器41由CPU、ROM、RAM等构成，对控制台40具有的硬件各部的动作进行控制。输入设备42是键盘、触摸面板、开关、杆等输入设备，接受手术者等做出的指示和/或信息的输入。输入设备42主要是用于操作推断单元20的设备，但为了接受控制台40上的显示功能的切换，也可以构成为对操作对象进行选择。

臂操作设备43包括用于远程操作手术机器人10的臂部13A～13B的操作工具。操作工具包含由手术者的左手操作的左手用操作杆和由手术者的右手操作的右手用操作杆。臂操作设备43通过旋转编码器等测量仪器测量操作工具的运动，并将测量值向主控制器41输出。主控制器41根据从臂操作设备43输入的测量值生成用于控制手术机器人10的臂部13A～13D的控制指令，并将所生成的控制指令向手术机器人10发送。手术机器人10根据从控制台40输入的控制指令控制臂部13A～13D的动作。由此，手术机器人10的臂部13A～13D跟随控制台40上的操作工具(左手用操作杆和右手用操作杆)的运动而动作。

监视器44A、44B是用于对手术者显示必要的信息的液晶显示器等显示装置。监视器44A、44B，例如，一个作为用于显示术野图像等的主监视器使用，另一个作为用于显示患者信息等补充信息的副监视器使用。另外，如果腹腔镜15是输出左眼用的术野图像和右眼用的术野图像的结构，那么也可以通过将左眼用的术野图像显示于监视器44A、将右眼用的术野图像显示于监视器44B来进行术野图像的三维显示。

在图1所示的结构例中，采用了推断单元20和服务器装置30分开设置的结构，但推断单元20和服务器装置30也可以作为一体装置构成。另外，推断单元20和服务器装置30也可以并入控制台40。

接下来，说明被输入推断单元20的术野图像。

图2是表示术野图像的一例的示意图。本实施方式中的术野图像是通过腹腔镜15对患者的腹腔内进行拍摄而得到的图像。术野图像不必是腹腔镜15输出的原始图像，是由信号处理部16等实施了处理的图像(帧图像)即可。

由腹腔镜15拍摄的术野中包含脏器、血管、神经、结缔组织、病变部位、膜和层等各种各样的组织。手术者在把握这些解剖学结构的关系的同时，使用能量处置器具、钳子等手术器械对包含病变部位的组织进行剥离。在图2所示的术野中，含有包含恶性肿瘤等病变部位的组织NG、构成脏器的组织ORG和将这些组织结合的结缔组织CT。本实施方式中，组织NG是要从体内除去的部位，组织ORG是要留存在体内的部位。图2的例子中，组织NG被钳子130B握持并在图的上方被展开，由此结缔组织CT露出。

腹腔镜手术中，例如进行将患者的体内形成的恶性肿瘤等病变部位去除的手术。此时，手术者通过钳子130B握持包含病变部位的组织NG并在适当的方向将其展开，由此使得存在于包含病变部位的组织NG和要留下的组织ORG之间的结缔组织CT露出。手术者通过用能量处置器具130C切除露出的结缔组织CT，将包含病变部位的组织NG从要留下的组织ORG上剥离。

推断单元20获取如图2所示的术野图像，并对所获取的术野图像进行推断处理。具体来说，推断单元20推断在术野图像内要识别的对象物的位置。推断处理使用学习模型MD。

图3是表示学习模型MD的结构例的示意图。学习模型MD是用于进行图像分割的学习模型，例如由SegNet等具有卷积层的神经网络构建。学习模型MD不限于SegNet，也可以用FCN(Fully Convolutional Network)、U-Net(U-Shaped Network)、PSPNet(Pyramid SceneParsing Network)等能进行图像分割的任意神经网络来构建。另外，代替图像分割用的神经网络，学习模型MD还可以用YOLO(You Only Look Once)、SSD(Single Shot Multi-BoxDetector)等物体检测用的神经网络构建。

学习模型MD例如包括编码器EN、解码器DE和softmax层SM。编码器EN交替配置卷积层和池化层而构成。卷积层被多层化为2～3层。图3的例子中，卷积层不标注阴影表示，池化层标注阴影表示。

在卷积层中，进行被输入的数据与分别确定的尺寸(例如，3×3、5×5等)的滤波器的卷积运算。即，将输入到与滤波器的各要素对应的位置的输入值与预先对滤波器设定的权重系数按各要素相乘，并计算出这些要素中的每一个的乘法运算值的线性和。通过将计算出的线性和与设定的偏差相加，得到卷积层中的输出。此外，卷积运算的结果可以通过激活函数进行转换。作为激活函数，例如能够使用ReLU(Rectified Linear Unit)。卷积层的输出表示提取输入数据的特征得到的特征图。

在池化层中，计算从作为连接到输入侧的上位层的卷积层输出的特征图的局部的统计量。具体而言，设定与上位层的位置对应的预定尺寸(例如，2×2、3×3)的窗口，并根据窗口内的输入值算出局部的统计量。作为统计量，例如能够采用最大值。从池化层输出的特征图的尺寸根据窗口的尺寸而缩小(下采样)。图3的例子示出了通过在编码器EN中依次重复卷积层中的运算和池化层中的运算而将224像素×224像素的输入图像依次下采样为112×112、56×56、28×28、…、1×1的特征图。

编码器EN的输出(图3的例子中为1×1的特征图)被输入解码器DE。解码器DE通过交替配置反卷积层和反池化层而构成。反卷积层被多层化为2～3层。图3的例子中，反卷积层不标注阴影显示，反池化层标注阴影显示。

在反卷积层中，对被输入的特征图进行反卷积运算。反卷积运算指下述运算：在被输入的特征图是使用特定的滤波器进行卷积运算得到的结果这一推定下，将进行卷积运算前的特征图复原。在该运算中，在用矩阵表示特定的滤波器时，算出该矩阵的转置矩阵与所输入的特征图的积，由此生成输出用的特征图。此外，反卷积层的运算结果也可以通过上述的ReLU等激活函数进行转换。

解码器DE具有的反池化层与编码器EN具有的池化层一一对应，对应的对具有基本相同的尺寸。反池化层重新增大(上采样)在编码器EN的池化层中下采样的特征图的尺寸。图3的例子示出了通过在解码器DE中依次重复卷积层中的运算和池化层中的运算来依次上采样为1×1、7×7、14×14、…、224×224的特征图。

解码器DE的输出(图3的例子中224×224的特征图)被输入到softmax层SM。softmax层SM，通过对来自与输入侧连接的反卷积层的输入值应用softmax函数，输出标识各位置(像素)上的部位的标签的概率。本实施方式的学习模型MD，对于术野图像的输入，从softmax层SM输出表示各像素是否属于要识别的对象物的概率即可。

推断单元20的运算部21参照学习模型MD的运算结果，提取从softmax层SM输出的标签的概率在阈值以上(例如90％以上)的像素，由此能够生成表示要识别的对象物的位置的图像(推断图像)。

图4是表示推断图像的一例的示意图。图4的例子是表示结缔组织的位置的推断图像。图4中，使用学习模型MD推断出的结缔组织部分用粗实线示出，除此之外的脏器和组织的部分作为参考用虚线示出。为了将推断出的结缔组织部分以能判别的方式显示，推断单元20的运算部21生成结缔组织的推断图像。推断图像是与术野图像相同尺寸的图像，是给被推断为结缔组织的像素分配了特定颜色的图像。分配给结缔组织的像素的颜色，优选人体内部不存在的颜色，以与脏器、血管等区别开来。人体内部不存在的颜色例如是蓝色或浅蓝色等冷色系(蓝色系)的颜色。另外，对构成推断图像的各像素设定透明度，被识别为结缔组织的像素被设定为不透明，除此之外的像素被设定为透明。通过将这样生成的推断图像重叠显示在术野图像上，能够将结缔组织部分作为有特定颜色的结构显示在术野图像上。

图4的例子中示出了结缔组织的推断图像，但要识别的对象物不限于结缔组织，也可以是脏器、血液(出血)、手术器械等任意的结构物。本实施方式中，要识别的对象物被事先设定，该对象物用的学习模型MD事先进行了学习并存储在存储部22中。

推断单元20将由手术机器人10获取的术野图像(也称为原图像)和根据术野图像生成的推断图像中的至少一者向控制台40发送。作为发送对象的图像通过控制台40的输入设备42被设定。即，如果是发送原图像和推断图像这两者的发送设定，那么推断单元20将原图像和推断图像这两者向控制台40发送，如果是仅发送原图像(或仅发送推断图像)的发送设定，那么推断单元20仅将原图像(或仅将推断图像)向控制台40发送。

本实施方式中，采用了生成表示术野图像内的对象物的位置的推断图像并将所生成的推断图像向控制台40发送的结构，但也可以代替发送推断图像的结构，采用生成表示术野图像内的对象物的位置的位置信息并将所生成的位置信息向控制台40发送的结构。这里，表示对象物的位置的位置信息，可以是指定属于对象物的像素的信息，也可以是指定区域的轮廓和/或重心等的信息。此外，也可以是：在发送推断图像的情况下，使用从推断单元20向控制台40的单向通信，在发送位置信息的情况下，使用推断单元20与控制台40间的双向通信。另外，原图像和推断图像(或位置信息)也可以被发送到服务器装置30并录入数据库32中。

控制台40接收从推断单元20发送的术野图像和推断图像并将其显示在监视器44A、44B上。图5是表示控制台40上的显示例的示意图。控制台40能够将推断图像重叠在术野图像上显示在监视器44A(或监视器44B)上。图5的显示例示出了将结缔组织的推断图像重叠在原图像上显示的例子。为了便于制图，结缔组织部分用粗实线示出，但实际上，属于结缔组织的部分以像素为单位涂有蓝色或浅蓝色等人体内部不存在的颜色，因此，手术者通过查看显示画面能够清楚地判别结缔组织，能够掌握要切除的部位。

本实施方式中，采用了将推断图像重叠在术野图像上显示在监视器44A(或监视器44B)上的结构，但也可以在显示画面内的一个区域显示术野图像、在另一个区域显示推断图像。另外，也可以将术野图像显示在一个监视器44A上、将推断图像显示在另一个监视器44B上。

控制台40，在从推断单元20接收了表示术野图像内的对象物的位置的位置信息的情况下，根据位置信息生成对象物的推断图像，并将所生成的推断图像重叠在术野图像上(或独立于术野图像)显示在监视器44A、44B上即可。

以下，说明手术机器人系统1的动作。

图6是说明实施方式1的手术机器人系统1中执行的处理的顺序的流程图。控制台40通过输入设备42接受术野图像和推断图像的发送设定(步骤S101)。作为发送设定，接受关于仅发送术野图像、仅发送推断图像、或是发送术野图像和推断图像这两者的设定。控制台40将所接受的发送设定通知推断单元20(步骤S102)。

当手术机器人10中腹腔镜15开始术野拍摄时，推断单元20通过第一连接部23获取术野图像(步骤S103)。推断单元20的运算部21对所获取的术野图像通过学习模型MD执行运算(步骤S104)，进行对术野图像的推断处理(步骤S105)。运算部21从学习模型MD获取推断结果，作为基于推断结果的信息生成推断图像(步骤S106)。代替生成推断图像的结构，也可以生成表示对象物的位置的位置信息。运算部21每当步骤S103中获取以帧为单位的术野图像时执行步骤S104至S106的处理即可。但是，在发送设定为仅发送术野图像的情况下，运算部21也可以省略步骤S104至步骤S106的处理。

推断单元20根据步骤S102中接受的发送设定将术野图像和推断图像中的至少一者向控制台40发送(步骤S107)。另外，推断单元20也可以进行将术野图像和推断图像中的至少一者向服务器装置30发送并录入数据库32的处理。

控制台40在接收了从推断单元20发送的术野图像和推断图像中的至少一者的情况下，将所接收的图像显示在监视器44A、44B上(步骤S108)。控制台40在接收了术野图像和推断图像这两者的情况下，在术野图像上重叠推断图像显示在监视器44A(或监视器44B)上。可代替地，控制台40也可以将术野图像和推断图像分别显示在监视器44A、44B上。在接收了术野图像和推断图像中的一者的情况下，控制台40将所接收的图像显示在监视器44A(或监视器44B)上。

如上所述，实施方式1中，能够通过操作控制台40的手术者的判断进行从推断单元20向控制台40的发送设定，能够根据发送设定将术野图像和推断图像中的至少一者从推断单元20向控制台40发送。因此，在不需要推断图像的场景下，能够停止推断图像的发送，能够减轻推断单元20和控制台40间的通信负荷。

(实施方式2)

实施方式2中，说明在推断单元20中生成手术机器人10的控制信息并通过控制台40控制手术机器人的结构。

图7是说明实施方式2的手术机器人系统1中执行的处理的顺序的流程图。手术机器人系统1按照与实施方式1同样的顺序进行对术野图像的推断处理、从推断单元20向控制台40发送图像的处理、向监视器44A、44B显示的处理等。

推断单元20的运算部21在进行了推断处理之后，根据推断结果，生成用于控制手术机器人10的动作的控制信息(步骤S121)，并将所生成的控制信息向控制台40发送(步骤S122)。

例如，运算部21可以根据学习模型MD的推断结果按时间序列识别能量处置器具130C的前端部分，计算保持腹腔镜15的臂部13A的控制量(移动量、旋转角度、速度和角速度的变化量等)，以使腹腔镜15跟随能量处置器具130C的前端部分移动。另外，运算部21也可以通过学习模型MD识别由手术者事先设定的种类的手术器械，生成控制信息以自动跟随识别出的手术器械，并向控制台40发送。

另外，运算部21也可以根据学习模型MD的推断结果按时间序列算出对象物的面积，计算保持腹腔镜15的臂部13A的控制量，以使腹腔镜15跟随算出的面积有所增减的部分移动。这里，对象物可以是作为切除对象的病变部位和/或结缔组织，也可以是血液(出血)等。

另外，运算部21还可以根据学习模型MD的推断结果识别对象物或对象物的形状，计算保持腹腔镜15的臂部13A的控制量，以使腹腔镜15向识别出的对象物上的指定位置移动。对象物例如是特定的脏器。另外，对象物上的指定位置可以是对象物的重心，也可以是对象物的边缘上的任意一个点。

另外，运算部21还可以根据学习模型MD的推断结果算出腹腔镜15和对象物之间的距离(主要是进深方向的距离)，并根据算出的距离计算保持腹腔镜15的臂部13A的控制量。具体来说，运算部21计算臂部13A的距离使得算出的距离为预先设定的距离即可。

另外，控制部21还可以计算保持腹腔镜15的臂部13A的控制量以跟随推断结果的置信度相对高的区域。

此外，臂部13A的控制量被计算为相对于当前的臂部13A的位置、角度、速度、角速度的变化量。运算部21能够从控制台40获取当前的臂部13A的位置、角度、速度、角速度的信息。运算部21可以根据学习模型MD的推断结果识别对象物，并根据识别出的对象物的位置和/或相对于上次识别位置的位移计算臂部13A的位置、角度、速度、角速度等变化量。

控制台40的主控制器41，在从推断单元20接收了对手术机器人10的控制信息的情况下，根据所接收的控制信息生成对手术机器人10的控制指令(步骤S123)。控制指令由在手术机器人10和控制台40之间预先确定的一个或多个指令等构成。控制台40将由主控制器41生成的控制指令向手术机器人10发送(步骤S124)。

手术机器人10的控制部11在接收了从控制台40发送的控制指令的情况下，按照所接收的控制指令驱动驱动部12A～12D，由此控制臂部13A～13D的动作(步骤S125)。

如上所述，实施方式2中，能够根据推断单元20的推断结果控制手术机器人10的动作。

以下，公开关于实施方式2中的手术机器人10的控制手法的具体例。

(1)图8是说明控制手法的第一具体例的说明图。术野图像中手术者想观察的区域多为用优势手(例如右手)操作的手术器械的延长线和用非优势手(例如左手)操作的手术器械的延长线的交点附近。运算部21根据学习模型MD的推断结果识别用优势手操作的手术器械和用非优势手操作的手术器械，推导出各手术器械的延长线，求出其交点。图8的例子中，各手术器械的延长线用虚线示出，交点用P1示出。运算部21计算保持腹腔镜15的臂部13A的控制量，以使腹腔镜15的拍摄中心与交点P1一致，并将基于计算结果的控制信息向控制台40发送。控制台40能够根据来自推断单元20的控制信息自动控制臂部13A的动作。

代替自动控制臂部13A的结构，控制台40也可以采用在接受了手术者进行的触发操作时开始控制的结构。作为触发操作，能够采用基于手术器械的手势动作。例如，在接受了将手术器械的前端向交点P1靠近的动作和/或用手术器械指示交点P1的动作等预先确定的手势动作的情况下，控制台40判断为接受了触发操作，开始臂部13A的动作控制即可。代替基于手术器械的手势动作，也可以采用在接受了基于输入设备42的规定的输入操作(对触摸面板的触摸操作、基于键盘的指令输入等)的情况下开始控制的结构。另外，在推断单元20或控制台40包括语音输入部的情况下，也可以以规定的语音输入为触发开始臂部13A的动作控制。

(2)图9是说明控制手法的第二具体例的说明图。术野图像中，在手术者想确认的一个部位有血管的末梢部分。运算部21根据学习模型MD的推断结果识别术野图像中出现的血管的形状，确定呈前端逐渐变细形状的部位，由此确定血管的末梢部分。图9的例子中，血管的末梢部分用P2示出。运算部21计算保持腹腔镜15的臂部13A的控制量，以使腹腔镜15的拍摄中心为血管的末梢部分P2，并将基于计算结果的控制信息向控制台40发送。

此外，由于腹腔镜15的拍摄中心不必始终与血管的末梢部分一致，所以控制台40在接受了手术者进行的触发操作的情况下开始臂部13A的动作的控制即可。触发操作与第一具体例同样。即，能够将基于手术器械的规定的手势动作、基于输入设备42的规定的输入操作、规定的语音输入等作为触发操作使用。

(3)图10是说明控制手法的第三具体例的说明图。在手术器械的处置对象为血管的情况下，根据血管的面积(粗细)、血管的形状等选择适当的手术器械。运算部21根据学习模型MD的推断结果识别术野图像中出现的血管，根据识别结果求出血管的面积。此时，运算部21也可以将术野图像中拍到的手术器械(钳子130B、能量处置器具130C)的大小(面积)作为基准，将血管的面积归一化。另外，运算部21也可以根据学习模型MD的推断结果识别手术者图像中出现的血管的形状。运算部21根据计算出的血管的面积和/或识别出的血管的形状选择适当的手术器械(例如，5mm用的夹子、10mm用的夹子、超声波凝固切开装置等)，并将所选择的手术器械的信息通知控制台40。控制台40使推断单元20通知的手术器械的信息例如显示在监视器44A上。图10示出了识别术野图像中出现的血管的形状P31并将“请准备超声波凝固切开装置”这一文字信息P32显示在监视器44A上的例子。代替显示文字信息的结构，可以显示图标，也可以通过语音告知手术者。另外，也可以在存在没有用手术者的优势手和非优势手操作的臂部(例如臂部13D)、且该臂部安装有作为目标的手术器械(超声波凝固切开装置等)的情况下，催促手术者切换臂部。

(4)图11是说明控制手法的第四具体例的说明图。在用手术者的优势手和非优势手操作的手术器械均为紧握钳、且正要展开某个组织的场景下，优选将画面拉远到紧握钳充分被拍到的范围。运算部21根据学习模型MD的推断结果识别用手术者的优势手和非优势手操作的手术器械，判断是否两个手术器械均为紧握钳。运算部21在判断为两个手术器械均为紧握钳的情况下，计算保持腹腔镜15的臂部13A的控制量，以将画面拉远到紧握钳充分被拍到的范围，并将基于计算结果的控制信息向控制台40发送。可代替地，运算部21也可以算出进深信息，基于算出的进深信息计算保持腹腔镜15的臂部13A的控制量。图11的例子示出了使用两个紧握钳130B、130D握持脂肪组织的场景，并示出了响应于对这两个紧握钳130B、130D的识别将画面拉远的状态。

第四具体例中，采用了通过学习模型MD识别了两个手术器械均为紧握钳的情况下将画面拉远的结构，但也可以采用在手术者要移动安装有紧握钳的第三臂(例如臂部13D)的情况下将画面拉远的结构。另外，第四具体例中，采用了通过移动保持腹腔镜15的臂部13A将画面拉远的结构，但在腹腔镜15具有变焦功能的情况下，也可以采用通过控制腹腔镜15的变焦功能将画面拉远的结构。

(5)图12是说明控制手法的第五具体例的说明图。在手术者要操作切断器械切断对象组织的场景下，优选将画面推近到切断器械的前端充分被拍到的范围。运算部21根据学习模型MD的推断结果识别用手术者的优势手操作的手术器械，判断识别出的手术器械是否为切断器械。运算部21在判断为用手术者的优势手操作的手术器械为切断器械的情况下，计算保持腹腔镜15的臂部13A的控制量，以将画面推近到切断器械的前端充分被拍到的范围，并将基于计算结果的控制信息向控制台40发送。例如，运算部21可以计算切断器械的前端部分的面积，计算臂部13A的控制量，以将画面推近，使得计算出的面积在设定值以上。图12的例子示出了识别出用手术者的优势手操作的手术器械是能量处置器具130C(切断器械)从而将画面推近到能量处置器具130C的前端部分的状态。

此外，控制台40也可以在将画面推近后自动控制臂部13A的动作以跟随切断器械的前端。可代替地，控制台40还可以控制臂部13A的动作以跟随切断器械的前端，并在切断器械的前端静止的情况下将画面推近。另外，第五具体例中，采用了通过使保持腹腔镜15的臂部13A移动将画面推近的结构，但在腹腔镜15具有变焦功能的情况下，也可以采用通过控制腹腔镜15的变焦机构将画面推近的结构。

(6)图13是说明控制手法的第六具体例的说明图。在检测到出血的情况下，可以进行使腹腔镜15移动的控制和/或放置纱布的控制。运算部21根据学习模型MD的推断结果识别出血区域，并计算识别出的出血区域的面积。图13的例子中，出血区域用P6示出。出血区域P6的面积相当于出血量。运算部21判断计算出的出血区域P6的面积是否在预先设定的阈值以上，在判断为阈值以上的情况下，计算保持腹腔镜15的臂部13A的控制量，以使腹腔镜15的拍摄中心为出血区域P6的内部的点(例如出血区域P6的重心)，并将基于计算结果的控制信息向控制台40发送。

运算部21也可以代替使腹腔镜15移动的控制(或与使腹腔镜15移动的控制一起)将执行在出血区域P6放置纱布的控制用的控制信息向控制台40发送。具体来说，在臂部13D上安装有握持着纱布的紧握钳的情况下，运算部21生成用于控制臂部13D的动作的控制信息并向控制台40发送即可。另外，控制台40也可以将应在出血区域P6放置纱布这一主旨的文字信息显示在监视器44A上。

运算部21也可以是：在出血量比较少的情况下，进行使腹腔镜15移动的控制，在出血量比较多的情况下，进行放置纱布的控制。例如，可以是：对出血区域的面积设定第一阈值和第二阈值(其中，第一阈值＜第二阈值)，在出血区域P6的面积为第一阈值以上的情况下，进行使腹腔镜15移动的控制，在出血区域P6的面积为第二阈值以上的情况下，进行放置纱布的控制。

另外，控制台40也可以采用在接受了手术者进行的触发操作的情况下开始上述控制的结构。触发操作与第一具体例同样。即，作为触发操作，能够使用基于手术器械的规定的手势动作、基于输入设备42的规定的输入操作、规定的语音输入等。

(实施方式3)

实施方式3中，说明根据推断结果的置信度变更术野图像的分辨率的结构。

图14是说明实施方式3中的推断单元20执行的处理的顺序的流程图。手术机器人系统1以与实施方式1同样的顺序进行对术野图像的推断处理。

推断单元20的运算部21在进行了推断处理之后，算出推断结果的置信度(步骤S301)。推断结果的置信度根据从学习模型MD的softmax层SM输出的概率被计算。例如，运算部21能够通过对被推定为对象物的各像素求概率值的平均来计算置信度。

运算部21根据算出的置信度变更术野图像的分辨率(步骤S302)。对置信度X(X＝0～100％)，运算部21将术野图像的分辨率Y(dpi:dot per inch)设定为Y＝(X-100)/k(k为常数)，按照所设定的分辨率Y变更术野图像的分辨率即可。可代替地，运算部21还可以在置信度比阈值低的情况下变更为预先设定的分辨率。

运算部21将变更了分辨率的术野图像和/或推断图像向服务器装置30发送，并录入数据库32(步骤S303)。

如上所述，实施方式3中，对于置信度低、难以判别是否为对象物的术野图像，能够变更分辨率，能够节约存储容量。

(实施方式4)

实施方式4中，说明根据推断结果的置信度和手术机器人10的信息算出基于手术机器人的手术的得分的结构。

图15是说明实施方式4中的推断单元20执行的处理的顺序的流程图。手术机器人系统1以与实施方式1同样的顺序进行对术野图像的推断处理。

推断单元20的运算部21在进行推断处理之后算出推断结果的置信度(步骤S401)。推断结果的置信度根据从学习模型MD的softmax层SM输出的概率被计算。例如，运算部21能够通过对被推定为对象物的各像素求概率值的平均来计算置信度。

运算部21从控制台40获取手术机器人10的信息(步骤S402)。例如，运算部21获取臂部13A～13D的位置、角度、速度、角速度等信息即可。

运算部21根据在步骤S401中算出的置信度和在步骤S402中获取的手术机器人10的信息算出手术的得分(步骤S403)。能够事先准备响应置信度和手术机器人10的信息的输入而输出手术的得分的函数或学习模型，向该函数或学习模型输入置信度和手术机器人10的信息从而算出得分。另外，运算部21也可以采用下述结构：根据解剖结构(对象物)的置信度、面积、面积的增减、手术器械的操作信息、手术器械的识别结果(轨迹等)等信息，使用事先准备的函数或学习模型算出得分。另外，运算部21也可以根据算出的得分决定手术机器人10接下来的操作、或向手术者提示接下来的操作。

(实施方式5)

实施方式5中的手术机器人系统1是下述系统：生成腹腔镜15中左眼用和右眼用的术野图像，将所生成的左眼用和右眼用的术野图像经由推断单元20输出到监视器44A、44B，由此进行三维显示。

实施方式5中的手术机器人系统1，在推断单元20的运算部21中，对左眼用的术野图像和右眼用的术野图像分别进行推断处理。推断的顺序与实施方式1同样。

另外，运算部21能够对左眼用的术野图像和右眼用的术野图像分别算出推断结果的置信度。置信度的算出方法与实施方式3同样。在左眼用和右眼用的推断结果的置信度不同的情况下，运算部21能够输出警报。

图16是说明实施方式5中的推断单元20执行的处理的顺序的流程图。推断单元20的运算部21对左眼用的术野图像和右眼用的术野图像分别进行推断处理(步骤S501)。推断的顺序与实施方式1同样。

运算部21对各个推断结果算出置信度(步骤S502)。置信度的算出手法与实施方式3同样。

运算部21将由左眼用的术野图像得到的置信度和由右眼用的术野图像得到的置信度进行比较，判断置信度是否不同(步骤S503)。运算部21在置信度有规定比例(例如10％)以上的区别的情况下，判断为置信度不同。

在判断为置信度不同的情况下(步骤S503：YES)，有可能腹腔镜15相对于对象物是倾斜的，所以，运算部21输出警报(步骤S504)。具体来说，运算部21将腹腔镜15倾斜这一主旨的文字信息向控制台40发送，并显示在监视器44A、44B上。

实施方式5中，采用了在左右的置信度不同的情况下输出警报的结构，但运算部21也可以生成用于使腹腔镜15与对象物正对的控制信息，并将所生成的控制信息向控制台40发送。

另外，运算部21也可以根据术野图像的左右视差算出进深信息，并将算出的进深信息向控制台40发送。这里，算出被指定的位置的进深信息即可。例如，算出对象物上的被指定的位置(重心、四角、轮廓上的任意点、设定的位置组等)的进深信息即可。

另外，运算部21还可以根据算出的进深信息生成用于控制腹腔镜15的动作的控制信息，并将所生成的控制信息向控制台40发送。例如，在距对象物的进深在设定值以上的情况下，运算部21生成用于使腹腔镜15自动变焦的控制信息，并将所生成的控制信息向控制台40发送。另外，运算部21也可以进行如下控制：根据进深信息决定手术器械的到达点和/或到达路径，使臂部13A～13D自动移动到切除对象物的附近，在手术器械接近了切除对象物的情况下将“请切除”这一信息显示在监视器44A、44B上。另外，还可以在即将切除不应切除部分的情况下、或检测到出血等危险迹象的情况下输出警报。

应当理解，本次公开的实施方式在所有方面都是示例性的，而不是限制性的。本发明的范围由权利要求书示出，而不是由上述含义示出，并且旨在包括与权利要求书等同的含义以及范围内的所有变更。

各实施方式中记载的项目可以相互组合。另外，权利要求书中记载的独立权利要求和从属权利要求可以以所有可能的组合方式相互组合，而不管引用的形式如何。另外，权利要求书中，采用了权利要求引用两个以上其它权利要求的记载方式(多项引用权利要求方式)，但不限于此。也可以使用多项引用权利要求引用至少一个多项引用权利要求(多项引多项权利要求)的记载方式进行记载。

附图标记说明

10 手术机器人

11 控制部

12A～12D驱动部

13A～13D臂部

14 光源装置

15 腹腔镜

16 信号处理部

20 推断单元

21 运算部

22 存储部

23 第一连接部

24 第二连接部

25 第三连接部

30 服务器装置

31 编解码部

32 数据库

40 控制台

41 主控制器

42 输入设备

43 臂操作设备

44A、44B 监视器

Claims (20)

1.一种推断装置，连接在手术机器人和控制该手术机器人的控制台之间，其特征在于，所述推断装置包括：

图像获取部，其获取由所述手术机器人的拍摄部拍摄的术野图像；

推断部，其对所获取的术野图像进行推断处理；和

发送部，其根据所述控制台的发送设定，将由所述图像获取部获取的术野图像和基于所述推断部做出的推断结果的信息中的至少一者向所述控制台发送。

2.根据权利要求1所述的推断装置，其特征在于，

所述推断部对所述术野图像内要识别的对象物的位置和所述术野图像内发生的事件中的至少一者进行推断。

3.根据权利要求2所述的推断装置，其特征在于，

所述推断部生成表示所述对象物的位置的图像数据，

所述发送部通过向所述控制台的单向通信发送所述图像数据。

4.根据权利要求3所述的推断装置，其特征在于，

所述推断部生成表示所述对象物的位置的位置信息，

所述发送部通过与所述控制台的双向通信发送所述位置信息。

5.根据权利要求2至权利要求4中的任意一项所述的推断装置，其特征在于，

还包括控制部，其根据所述推断部做出的推断结果，生成用于控制所述手术机器人的动作的控制信息，

所述发送部将由所述控制部生成的控制信息向所述控制台发送。

6.根据权利要求5所述的推断装置，其特征在于，

所述对象物是手术器械，

所述控制部生成所述控制信息，以使所述拍摄部跟随识别出的手术器械的前端部分移动。

7.根据权利要求5所述的推断装置，其特征在于，

所述控制部算出识别出的对象物的面积，并生成所述控制信息，以使所述拍摄部跟随算出的面积有所增减的部分移动。

8.根据权利要求5所述的推断装置，其特征在于，

所述控制部生成所述控制信息，以使所述拍摄部向所述对象物上的指定的位置移动。

9.根据权利要求5所述的推断装置，其特征在于，

所述控制部生成所述控制信息，以使所述拍摄部根据所述拍摄部和所述对象物之间的距离移动。

10.根据权利要求5所述的推断装置，其特征在于，

所述推断部对操作所述控制台的手术者的动作或手势进行推断，

所述控制部根据所述推断部做出的推断结果生成控制信息，以控制所述拍摄部或手术器械的动作。

11.根据权利要求5所述的推断装置，其特征在于，

所述控制部求出识别出的对象物的面积或形状，根据所述对象物的面积或形状生成用于选择或控制要使用的手术器械的控制信息。

12.根据权利要求1至权利要求4中的任意一项所述的推断装置，其特征在于，

还包括：

算出部，其算出所述推断部做出的推断结果的置信度；和

分辨率变更部，其根据由所述算出部算出的置信度变更所述术野图像的分辨率。

13.根据权利要求1至权利要求4中的任意一项所述的推断装置，其特征在于，

还包括：

算出部，其算出所述推断部做出的推断结果的置信度；和

信息获取部，其从所述控制台获取所述手术机器人的信息，

所述算出部根据算出的置信度和所述信息获取部获取的信息算出所述基于手术机器人的手术的得分。

14.根据权利要求1至权利要求4中的任意一项所述的推断装置，其特征在于，

所述手术机器人的拍摄部构成为输出左眼用的术野图像和右眼用的术野图像，

所述图像获取部获取从所述拍摄部输出的左眼用的术野图像和右眼用的术野图像，

所述推断部对所获取的左眼用的术野图像和右眼用的术野图像分别进行推断。

15.根据权利要求14所述的推断装置，其特征在于，

还包括：

算出部，其算出所述推断部做出的推断结果的置信度；和

输出部，其根据对所述左眼用的术野图像算出的推断结果的置信度和对所述右眼用的术野图像算出的推断结果的置信度之间的差输出警报。

16.根据权利要求14所述的推断装置，其特征在于，

还包括：

算出部，其算出所述推断部做出的推断结果的置信度；和

控制部，其根据对所述左眼用的术野图像算出的推断结果的置信度和对所述右眼用的术野图像算出的推断结果的置信度之间的差，生成用于使所述拍摄部移动的控制信息，

所述发送部将由所述控制部生成的控制信息向所述控制台发送。

17.根据权利要求14所述的推断装置，其特征在于，

还包括算出部，其根据所述左眼用的术野图像和所述右眼用的术野图像算出进深信息，

所述发送部将算出的进深信息向所述控制台发送。

18.根据权利要求14所述的推断装置，其特征在于，

还包括：

算出部，其根据所述左眼用的术野图像和所述右眼用的术野图像算出进深信息；和

控制部，其根据算出的进深信息生成用于控制所述手术机器人的动作的控制信息，

所述发送部将所述控制部生成的控制信息向所述控制台发送。

19.一种信息处理方法，其特征在于，通过连接在手术机器人和控制该手术机器人的控制台之间的计算机执行下述处理：

获取由所述手术机器人的拍摄部拍摄的术野图像；

对所获取的术野图像进行推断；

根据通过所述控制台接受的发送设定，将所述术野图像和基于推断结果的信息中的至少一者向所述控制台发送。

20.一种计算机程序，其特征在于，用于使连接在手术机器人和控制该手术机器人的控制台之间的计算机执行下述处理：

获取由所述手术机器人的拍摄部拍摄的术野图像；

对所获取的术野图像进行推断；

根据通过所述控制台接受的发送设定，将所述术野图像和基于推断结果的信息中的至少一者向所述控制台发送。