CN116887771A - 系统、程序以及能量输出调整方法 - Google Patents

Abstract

系统(10)包括存储已学习模型(121)的存储部(120)和控制部(110)。控制部取得拍摄至少一个能量设备(310)以及至少一个生物体组织的图像即拍摄图像。控制部通过基于存储于存储部的已学习模型的处理，根据拍摄图像估计图像识别信息。控制部对生成器(300)输出基于估计出的图像识别信息的能量输出调整指示。生成器基于能量输出调整指示控制向能量设备的能量供给量。

Description

系统、程序以及能量输出调整方法

技术领域

本发明涉及系统、程序以及能量输出调整方法等。

背景技术

在专利文献1中公开了如下的手术系统：根据能量设备的能量输出数据、组织位置、患者状态或光学组织传感信息，决定能量设备所把持的组织的类型。例如，将是血管还是非血管、或者神经的有无等识别为组织的类型。该手术系统在针对识别出的类型的处置内容不恰当的情况下，停止能量输出并且警告用户。

现有技术文献

专利文献

专利文献1：美国专利申请公开第2017/0252095号说明书

发明内容

发明所要解决的问题

在专利文献1中，由于没有考虑向被处置的组织或其周边的热扩散的程度或热扩散的防止，所以存在不能根据由能量设备进行处置时的组织或设备状态等适当地调整能量输出的问题。例如，由于被处置的组织的厚度、或者体液等的浸渍引起的润湿等的影响，热扩散的程度发生变化。或者，热扩散的程度根据能量设备对组织的把持量或牵引的强度等各种操作量而变化。在专利文献1中，无法与这些变化对应地适当调整能量输出。另外，从灭菌性的观点出发，不优选设置光学组织传感器等各种传感器。

用于解决问题的手段

本发明的一个方式是一种系统，其包括：存储部，其存储已学习模型，所述已学习模型按照如下方式进行了学习：根据学习用设备组织图像或学习用组织图像，输出图像识别信息，所述学习用设备组织图像是拍摄至少一个能量设备和至少一个生物体组织的图像，所述能量设备接受能量供给而进行能量输出，所述学习用组织图像是拍摄所述至少一个生物体组织的图像，所述图像识别信息是与所述至少一个生物体组织有关的组织信息、和与针对所述至少一个生物体组织的处置有关的处置信息中的至少一方；以及控制部，所述控制部取得拍摄图像，所述拍摄图像是拍摄所述至少一个能量设备以及所述至少一个生物体组织的图像，所述控制部通过基于存储于所述存储部的所述已学习模型的处理，根据所述拍摄图像估计所述图像识别信息，所述控制部将基于估计出的所述图像识别信息的能量输出调整指示输出给基于所述能量输出调整指示而控制向能量设备的能量供给量的生成器。

另外，本发明的另一技术方案是一种程序，所述程序使计算机执行如下处理：取得拍摄图像，所述拍摄图像是拍摄至少一个能量设备以及至少一个生物体组织的图像，所述能量设备接受能量供给而进行能量输出；通过基于已学习模型的处理，根据所述拍摄图像估计所述图像识别信息，所述已学习模型是按照如下方式进行了学习的模型：根据学习用设备组织图像或学习用组织图像输出图像识别信息，所述学习用设备组织图像是拍摄所述至少一个能量设备以及所述至少一个生物体组织的图像，所述学习用组织图像是拍摄所述至少一个生物体组织的图像，所述图像识别信息是与所述至少一个生物体组织有关的组织信息和与针对所述至少一个生物体组织的处置有关的处置信息中的至少一个；以及将基于估计出的所述图像识别信息的能量输出调整指示输出给基于所述能量输出调整指示而控制向能量设备的能量供给量的生成器。

另外，本发明的又一方案是一种能量输出调整方法，包括如下步骤：取得拍摄图像，所述拍摄图像是拍摄至少一个能量设备以及至少一个生物体组织的图像，所述能量设备接受能量供给而进行能量输出；通过基于已学习模型的处理，根据所述拍摄图像估计所述图像识别信息，所述已学习模型是按照如下方式进行了学习的模型：根据学习用设备组织图像或学习用组织图像输出图像识别信息，所述学习用设备组织图像是拍摄所述至少一个能量设备以及所述至少一个生物体组织的图像，所述学习用组织图像是拍摄所述至少一个生物体组织的图像，所述图像识别信息是与所述至少一个生物体组织有关的组织信息和与针对所述至少一个生物体组织的处置有关的处置信息中的至少一方；以及将基于估计出的所述图像识别信息的能量输出调整指示输出给基于所述能量输出调整指示而控制向能量设备的能量供给量的生成器。

附图说明

图1是系统的结构例。

图2是控制器的结构例。

图3是说明控制器和系统进行的处理的流程图。

图4是单极设备的结构例。

图5是双极设备的结构例。

图6是超声波设备的结构例。

图7是控制部识别组织种类的情况下的处理例。

图8是学习装置的结构例。

图9是控制部识别组织种类的情况下的第一识别处理例。

图10是控制部识别组织种类的情况下的第二识别处理例。

图11是控制部识别组织种类的情况下的输出调整例。

图12是控制部识别组织状态的情况下的处理例。

图13是控制部识别组织状态的情况下的第一识别处理例。

图14是控制部识别组织状态的情况下的第一识别处理例。

图15是控制部识别组织状态的情况下的第一识别处理例。

图16是控制部识别组织状态的情况下的第二识别处理例。

图17是控制部识别组织状态的情况下的输出调整例。

图18是控制部识别组织把持量的情况下的处理例。

图19是控制部识别组织把持量的情况下的第一识别处理例。

图20是控制部识别组织把持量的情况下的第二识别处理例。

图21是控制部识别组织把持量的情况下的输出调整例。

图22是控制部识别组织张力的情况下的处理例。

图23是控制部识别组织张力的情况下的第一识别处理例。

图24是控制部识别组织张力的情况下的第二识别处理例。

图25是控制部识别组织张力的情况下的输出调整例。

图26是控制部识别处置器械前端部与注意对象的距离的情况下的处理例。

图27是控制部识别处置器械前端部与注意对象的距离的情况下的第一识别处理例。

图28是控制部识别处置器械前端部与注意对象的距离的情况下的输出调整例。

图29是与能量输出调整有关的信息的显示例。

图30是并用图像识别结果和设备信息的情况下的处理的流程图。

图31是使用并用设备的情况下的输出调整例。

图32是使用并用设备的情况下的输出调整例。

图33是使用并用设备的情况下的输出调整例。

图34是使用并用设备的情况下的输出调整例。

图35是使用并用设备的情况下的输出调整例。

具体实施方式

以下，对本实施方式进行说明。此外，以下说明的本实施方式并不是用于不当地限定权利要求书所记载的内容。另外，在本实施方式中说明的结构未必全部是本发明的必要技术特征。

1.系统

图1是本实施方式中的系统10的结构例。图1示出了在内窥镜拍摄手术视野的情况下的系统结构例。图1所示的系统10包括控制器100、内窥镜系统200、生成器300和能量设备310。系统10是用于在内窥镜下使用至少一个能量设备进行手术的手术系统。在此，示出系统10包括一个能量设备310的例子，但系统10也可以包括多个能量设备。

内窥镜系统200是进行使用内窥镜的拍摄、内窥镜图像的图像处理以及内窥镜图像的监视器显示的系统。内窥镜系统200包括内窥镜210、主体装置220和显示器230。在此，以外科手术用的硬性镜为例进行说明。

内窥镜210包括插入体腔的插入部、与插入部的基端连接的操作部、与操作部的基端连接的通用缆线、与通用缆线的基端连接的连接器部。插入部包括硬性管、物镜光学系统、摄像元件、照明光学系统、传输线缆以及光导。用于拍摄体腔内的物镜光学系统和摄像元件、以及用于对体腔内进行照明的照明光学系统设置在细长的圆筒形状的硬性管的前端部。硬性管的前端部也可以构成为能够弯曲。传输由摄像元件取得的图像信号的传输线缆和将照明光向照明光学系统引导的光导设置在硬性管的内部。操作部由用户把持，接受来自用户的操作。在操作部设置有被分配了各种功能的按钮。在插入部前端能够弯曲的情况下，在操作部设置角度操作杆。连接器部包括将传输线缆可装卸地连接于主体装置220的视频连接器和将光导可装卸地连接于主体装置220的光导连接器。

主体装置220包含进行内窥镜的控制、内窥镜图像的图像处理和内窥镜图像的显示处理的处理装置、以及进行照明光的生成和照明光的控制的光源装置。主体装置220也被称为视频系统中心。处理装置由CPU等处理器构成，对从内窥镜210发送的图像信号进行图像处理而生成内窥镜图像，并将该内窥镜图像输出到显示器230和控制器100。光源装置射出的照明光通过光导向照明光学系统导光，从照明光学系统向体腔内射出。

能量设备310是通过高频电力或超声波等从其前端部输出能量，从而对其前端部所接触的组织进行凝固、封闭、止血、切开、切离或剥离等处置的设备。能量设备310也被称为能量处置器械。能量设备310是使高频电力在设备前端的电极与体外的电极之间通电的单极设备、使高频电力在两个钳夹之间通电的双极设备、设置有探头和钳夹并且从探头射出超声波的超声波设备、或者使高频电力在探头与钳夹之间通电并且从探头射出超声波的并用设备等。

生成器300进行向能量设备310的能量供给、能量供给的控制、以及从能量设备310的电气信息的取得。在能量设备310输出高频能量的情况下，生成器300供给高频电力，能量设备310将该高频电力从电极或钳夹输出。在能量设备310输出超声波能量的情况下，生成器300供给电力，能量设备310的探头将该电力转换为超声波并输出。

电气信息是能量设备310的电极或钳夹所接触的组织的电气信息，具体而言，是作为能量设备310向组织输出高频电力的响应而得到的信息。电气信息例如是由能量设备310处置的组织的阻抗信息。但是，如后所述，电气信息不限于阻抗信息。

生成器300按照输出序列，进行使来自能量设备310的能量输出随时间变化的控制。生成器300可以根据阻抗信息的时间变化来改变能量输出。在该情况下，输出序列也可以规定相对于阻抗信息的变化如何使能量输出变化。另外，生成器300也可以根据阻抗信息的时间变化而自动断开能量输出。例如，生成器300也可以在阻抗上升到一定阻抗以上时，判断为处置结束而断开能量输出。

控制器100通过使用了机器学习等的图像识别处理从内窥镜图像中识别组织信息、处置信息或它们双方，根据该识别出的信息向生成器输出能量输出调整指示。也将从内窥镜图像识别的组织信息、处置信息或它们双方称为图像识别信息。具体而言，这些信息是与在能量设备310进行的处置中对热扩散的程度造成影响的事项相关的信息。

更具体而言，组织信息是与由能量设备310处置的组织相关的信息，例如包括组织种类或组织状态。处置信息是与针对组织的处置有关的信息，具体而言，是处置中使用的设备对组织带来的作用、该作用的结果、或者设备与组织的位置关系等信息。这里的设备可以是能量设备310或其他设备。处置信息例如包含组织把持量、牵引量、组织张力或能量设备310的前端部与周边组织的距离等。

生成器300按照能量输出调整指示，调整能量设备310的能量输出。即，本实施方式的系统10是根据内窥镜图像自动调整来自能量设备310的能量输出的系统。生成器300按照由能量输出调整指示指示的能量供给量向能量设备310供给能量，能量设备310接受该能量供给而进行能量输出，由此根据能量输出调整指示而调整能量输出。

能量输出调整指示是对作为输出序列的波形整体的输出进行增减的指示、或者对可选择的多个输出序列中的任意的输出序列进行设定的指示等。例如，在能够通过等级性的倍率对来自能量设备310的能量输出进行调整时，能量输出调整指示是表示该能量输出的等级性的倍率的指示。生成器300根据该指示的倍率使高频输出或超声波输出增减。在输出序列开始前进行能量输出调整指示的情况下，对输出序列的波形整体乘以倍率，作为输出序列整体，输出增加或减少。另外，也可以连续地调整倍率。或者，在设置有多个输出序列时，能量输出调整指示是表示该多个输出序列中的任意输出序列的指示。生成器300按照该指示的输出序列进行来自能量设备310的能量输出。另外，能量输出调整指示也可以包含能量输出的增减和输出序列的变更双方的指示。

在此，作为通常在外科手术中进行能量处置时的要点，可列举出抑制来自能量设备的热扩散而避免周围脏器的热损伤。但是，由于所处置的组织不一样，所以，根据组织种类的不同、组织状态的不同或患者的个人差异等，在切离等处置所需的时间上产生偏差，热扩散的程度也各种各样。应对这些情况，为了抑制热扩散，医生进行组织把持量、组织张力的调整，但这是需要经验的操作，特别是对于非专家而言有时难以进行合适的调整。

这样，在使用能量设备的处置中，经常存在向周围的热扩散的问题，因此医生一边估计扩散的程度一边进行处置。在上述专利文献1中，基于能量设备的能量输出数据等来识别是血管还是非血管等组织类型。但是，热扩散的程度并非仅根据是血管还是非血管而被分成二个等级，例如，也受组织的厚度、浸渍于血液等的组织状态、或者设备的把持量或牵引的强度等医生的操作所影响。具体而言，通过能量设备施加能量而产生的组织的热在周围组织的内部或表面扩散，从而产生热扩散。或者，能量设备输出的能量也向把持组织的周围扩散，该能量扩散后的周围组织发热，从而产生热扩散。该热扩散的程度根据组织种类、组织状态、组织把持量或组织张力等而不同。

关于这一点，根据本实施方式，系统10基于组织种类、组织状态、组织把持量或组织张力等图像识别信息，施加适于组织的能量。由此，能够减少从能量设备的处置对象向周围组织的热扩散。另外，代替以往医生进行的把持量、张力的调整，系统10进行能量的输出调整，从而能够减轻医生的负担。另外，通过系统10自主地进行输出调整，即使是经验少的医生也能够进行稳定的处置。由此，实现手术的稳定性提高，或者实现不依赖于医生的经验值的手术的均衡化。

2.控制器

图2是控制器100的结构例。控制器100包括控制部110、存储部120、I/O设备180和I/O设备190。图1和图2表示控制器100由与生成器300分体的装置构成的例子。在该情况下，控制器100由PC或服务器装置等信息处理装置构成。或者，控制器100也可以由通过经由网络连接的一个或多个信息处理装置执行处理的云系统实现。

I/O设备180从内窥镜系统200的主体装置220接收内窥镜图像的图像数据。I/O设备180是与图像传输用的线缆连接的连接器、或者与该连接器连接并进行与主体装置220的通信的接口电路。

控制部110通过使用了已学习模型121的图像识别处理从内窥镜图像中识别组织信息和处置信息中的至少一方，根据该图像识别信息输出能量输出调整指示。控制部110包括一个或多个处理器作为硬件。处理器是CPU(Central Processing Unit：中央处理单元)、GPU(Graphical Processing Unit：图形处理单元)或DSP(Digital Signal Processor：数字信号处理器)等通用处理器。或者，处理器也可以是ASIC(Application SpecificIntegrated Circuit：专用集成电路)或FPGA(Field Programmable Gate Array：场可编程门电路)等专用处理器。

存储部120存储用于图像识别处理的已学习模型121。在由通用处理器进行图像识别处理的情况下，存储部120将记述有推论算法的程序和在该推论算法中使用的参数存储为已学习模型121。在通过将推论算法硬件化的专用处理器进行图像识别处理的情况下，存储部120将推论算法所使用的参数存储为已学习模型121。存储部120是半导体存储器、硬盘驱动器或光盘驱动器等存储装置。半导体存储器是RAM、ROM或非易失性存储器等。

作为图像识别处理的推论算法，例如能够采用神经网络。神经网络中的节点间连接的权重系数和偏置是参数。神经网络包括：输入层，其被输入图像数据；中间层，其对通过输入层输入的数据进行运算处理；以及输出层，其基于从中间层输出的运算结果来输出识别结果。作为用于图像识别处理的神经网络，例如能够采用CNN(Convolutional NeuralNetwork：卷积神经网络)。

另外，控制部110包括图像取得部111、组织信息识别部112以及输出设定部113。存储部120存储记述有图像取得部111、组织信息识别部112以及输出设定部113的各部的功能的程序。控制部的一个或多个处理器通过从存储部120读取程序并执行该程序，从而实现图像取得部111、组织信息识别部112以及输出设定部113的各部的功能。记述有该各部的功能的程序能够储存于作为能够由计算机读取的介质的非暂时性的信息存储介质中。信息存储介质例如能够通过光盘、存储卡、HDD或半导体存储器等来实现。半导体存储器例如是ROM或非易失性存储器。

I/O设备190向生成器300发送能量输出调整指示的信号。I/O设备190是与信号传输用的线缆连接的连接器、或者与该连接器连接并与生成器300进行通信的接口电路。

图3是说明控制器100以及系统10进行的处理的流程图。

在步骤S1中，图像取得部111从内窥镜系统200的主体装置220经由I/O设备180取得内窥镜图像。在步骤S2中，组织信息识别部112通过对内窥镜图像进行使用了已学习模型121的图像识别处理，取得组织信息和处置信息中的至少一方作为图像识别信息。在步骤S3中，输出设定部113将与图像识别信息相应的能量输出调整指示经由I/O设备190向生成器300输出。

在步骤S4中，生成器300接受能量输出调整指示而设定能量输出序列，根据医生进行的输出操作进行能量输出。例如，医生操作设置在能量设备310的操作部的输出开始按钮，生成器300接受该操作输入而开始向能量设备310供应能量。在步骤S5中，能量设备310接受来自生成器300的能量供给，向把持的组织施加能量。

此外，在上述中，控制器100和生成器300由分体的装置构成，在构成控制器100的装置中包含控制部110全体，但控制器100和生成器300的硬件结构并不限定于此。例如，控制器100和生成器300也可以由一体的装置构成。或者，也可以是，系统10包括第一装置和第二装置，第一装置包括控制部110中的图像取得部111和组织信息识别部112，第二装置包括控制部110中的输出设定部113和生成器300。在该情况下，第一装置将作为组织信息和处置信息中的至少一方的图像识别信息输出到第二装置，第二装置根据图像识别信息而控制生成器的能量输出。

3.能量设备

以下，作为能量设备310的一例，对单极设备320、双极设备330、超声波设备340以及并用设备进行说明。

图4是单极设备320的结构例。单极设备320包括细长的圆筒形状的插入部322、设置于插入部322的前端的电极321、与插入部322的基端连接的操作部323、以及将操作部323与未图示的连接器连接的线缆325。连接器可拆卸地连接到生成器300。

生成器300输出的高频电力通过线缆325传输，从电极321输出。在患者的体外设置有对极板，在电极321与对极板之间通电。由此，对电极321所接触的组织施加高频能量，在该组织产生焦耳热。电极321根据处置的内容而采用各种形状的电极。单极设备320能够通过通电模式的变更来调整凝固和切开的程度。单极设备320的处置对象是电极321所接触的组织，但有可能由于扩散到该电极321所接触的组织的周围的热而对周围组织造成影响。

图5是双极设备330的结构例。双极设备330包括：细长的圆筒形状的插入部332；设置于插入部332的前端部331的两个钳夹337、338；与插入部332的基端连接的操作部333；以及将操作部333与未图示的连接器连接的线缆335。连接器可拆卸地连接到生成器300。钳夹337、338是用于把持组织并且对被把持的组织施加能量的可动部，构成为能够以设置于基端336的轴为中心进行开闭。操作部333设置有用于操作钳夹337、338的开闭的把持部。医生握住把持部，从而钳夹337、338闭合而把持组织。

生成器300输出的高频电力通过线缆335传输，在钳夹337、338把持组织时在两个钳夹337、338之间通电。由此，对被两个钳夹337、338夹着的组织施加高频能量，在该组织产生焦耳热，该组织凝固。生成器300也可以计测被钳夹337、338把持的组织的阻抗信息，基于该阻抗信息检测出处置完成，自动停止能量输出。另外，生成器300也可以基于阻抗信息自动调整对组织的施加能量。关于双极设备的热扩散，例如，双极设备330的设备温度仅上升至摄氏100度左右，但有可能在由钳夹337、338把持的部分的周边产生潜行电流，因该潜行电流而产生热扩散。

另外，作为双极设备的衍生设备，有血管闭合设备。血管闭合设备是在双极设备的钳夹上设置有刀具的设备，通过通电使组织凝固后使刀具行进，由此将组织切离。

图6是超声波设备340的构成例。超声波设备340包括细长的圆筒形状的插入部342、设置于插入部342的前端部341的钳夹347以及探头348、与插入部342的基端连接的操作部343、以及连接操作部343和未图示的连接器的线缆345。连接器可拆卸地连接到生成器300。钳夹347以设置于基端346的轴为中心可动，构成为能够相对于非可动的探头348开闭。操作部343设置有用于操作钳夹347的开闭的把持部。医生握住把持部，从而钳夹347闭合，钳夹347和探头348把持组织。在操作部343设置有被分配了第一输出模式的操作按钮344a和被分配了第二输出模式的操作按钮344b。根据处置内容而选择输出模式，当按下各输出模式的操作按钮时，以该模式的输出序列输出超声波能量。

生成器300输出的电力通过线缆335传输，在操作按钮344a或344b被按下时，探头348将电力转换为超声波并输出。由此，在被钳夹347和探头348夹着的组织中产生摩擦热，该组织凝固或者组织被切开。关于高频设备的热扩散，例如，与高频设备的热扩散相比，超声波设备340的热扩散少，但超声波设备340的设备温度上升至接近摄氏200度。超声波设备340的热扩散具有容易在探头348的前端方向产生的特性。

并用高频电力和超声波的并用设备例如是与图6的超声波设备同样的结构。但是，并用设备通过在钳夹和探头之间通高频电力，能够使钳夹和探头所把持的组织产生焦耳热，使该组织凝固。另外，并用装置与超声波装置同样，通过从探头输出超声波，能够切开被钳夹和探头把持的组织。对设置于操作部的两个操作按钮的一方分配高频模式，对另一方分配密封&切割模式。高频模式是仅通过高频能量输出进行凝固等处置的模式。密封&切割模式是并用高频能量和超声波能量的模式，是通过高频能量输出使组织凝固并且使组织分离的模式。关于并用设备的热扩散，例如有可能产生与双极设备同样的热扩散、与超声波设备同样的热扩散、或者这两者。

此外，在以下的实施方式中，主要以将双极设备330用作能量设备310的情况为例进行说明。但是，本实施方式能够应用于使用有可能产生热扩散的上述各种能量设备的情况。

4.识别组织种类的情况下的处理例

图7是控制部110识别组织种类的情况下的处理例。如S1A所示，向控制部110输入内窥镜图像。具体而言，由内窥镜拍摄到的动态图像的各帧图像依次输入到控制部110。在输入到控制部110的内窥镜图像中拍摄有1个或多个组织和1个或多个能量设备。

如S2Aa所示，控制部110通过执行由机器学习调整后的组织识别程序，从内窥镜图像识别组织种类。具体而言，控制部110识别由双极设备的钳夹所把持的组织的种类、或者该把持的组织的周边组织的种类。组织种类是指存在于脏器内外的组织的种类、或者脏器本身的种类。存在于脏器内外的组织例如是动脉、静脉、包含血管的膜、肝胃间膜、肠系膜、薄膜、神经或脂肪等。脏器例如是食道、胃、胰脏、肝脏或小肠等。如S2Ab所示，控制部110输出从内窥镜图像识别出的组织种类。图7示出识别出包含血管的膜的例子。

如S3A所示，控制部110根据从内窥镜图像识别出的组织种类进行输出变更指示。具体而言，存储部120存储将能量输出调整指示与各组织种类对应起来的表数据，控制部110通过参照该表数据，输出与组织种类对应的能量输出调整指示。生成器300按照控制部110输出的能量输出调整指示来调整双极设备的输出序列。另外，输出与组织种类对应的能量输出调整指示的算法不限于上面所述。

能量输出调整指示是以基准能量输出为基准，使能量输出增加、减少或维持的指示。生成器300具有接受能量输出的设定操作的操作部，能够利用该操作部将能量输出设定为例如强度1～5这5个等级中的任意等级。强度1表示最低的能量输出，强度5表示最高的能量输出。此时，基准能量输出例如是预先决定的“强度3”等的能量输出。在该情况下，与基准能量输出相比增加的指示是设定为“强度4”或“强度5”的指示，与基准能量输出相比减少的指示是设定为“强度2”或“强度1”的指示。或者，基准能量输出也可以是由生成器300的操作部设定的当前的能量输出。在该情况下，与基准能量输出相比增加的指示是设定为比当前设定的能量输出高的能量输出的指示，与基准能量输出相比减少的指示是设定为比当前设定的能量输出低的能量输出的指示。或者，基准能量输出也可以是能够对生成器300设定的强度1～5的输出范围。在该情况下，与基准能量输出相比增加的指示是设定为比“强度5”高的能量输出的指示，与基准能量输出相比减少的指示是设定为比“强度1”低的能量输出的指示。

图8是进行组织识别处理的机器学习的学习装置500的结构例。学习装置500包括处理部510和存储部520。学习装置500例如通过PC或服务器装置等信息处理装置来实现。或者，学习装置500也可以由通过经由网络连接的一个或多个信息处理装置执行处理的云系统实现。

处理部510是CPU等处理器，存储部520是半导体存储器或硬盘驱动器等存储装置。存储部520存储学习模型522和训练数据521，处理部510使用训练数据521使学习模型522学习，由此生成已学习模型121。具体而言，训练数据包括多个学习用图像的图像数据和附加于各学习用图像的正解数据。多个学习用图像包括拍到一个或多个组织和一个或多个能量设备的内窥镜图像。也将该内窥镜图像称为学习用设备组织图像。另外，多个学习用图像也可以包括拍到一个或多个组织且未拍到能量设备的内窥镜图像。也将该内窥镜图像称为学习用组织图像。正解数据是分区(Segmentation)(区域检测)中的注释、检测(Detection)(位置检测)中的注释、分类(Classification)(分类别)中的正解标签、或者回归(回归分析)中的正解标签。处理部510向基于学习模型522的推论处理输入学习用图像，基于该推论处理的结果与正解数据的误差向学习模型522进行反馈，并以多个训练数据反复进行该反馈，由此生成已学习模型121。将所生成的已学习模型121传送至控制器100的存储部120。

在控制部110识别组织种类的情况下，训练数据521包括包含血管的膜的图像、肝胃间膜的图像、血管(动脉)的图像、实质脏器(胰脏)的图像、肠系膜的图像、薄膜的图像、实质脏器(肝脏)的图像或实质脏器(食道)的图像等作为学习用图像。另外，训练数据521包含对各学习用图像中拍到的组织的区域附加的注释、或者表示各学习用图像中拍到的组织的种类的标签作为正解数据。

此外，在图7和图8中，将使用了机器学习的识别处理的推论阶段和学习阶段分开记载，但以下有时将推论阶段和学习阶段混合记载。在该情况下，控制部110执行推论阶段的处理、学习装置500执行学习阶段的处理与上述同样。

图9是控制部110识别组织种类的情况下的第一识别处理例。控制部110进行基于分区的组织区域识别和基于分区的处置器械前端区域检测，对这些结果进行合成，由此识别被钳夹把持的组织的种类。图9表示识别为“组织种类是膜组织”的例子。此外，控制部110也可以对分区的结果、组织种类的识别结果、或者这两方进行监视器显示。

具体而言，已学习模型121包含用于进行组织区域识别的第一已学习模型和用于进行处置器械前端区域检测的第二已学习模型。控制部110通过使用了第一已学习模型的图像识别处理，从内窥镜图像中检测每个组织种类的区域。由此，组织种类被映射到内窥镜图像。图9中示出从内窥镜图像中检测出胃的区域、肝脏的区域及膜的区域的例子。在学习阶段，学习装置500将对每个组织种类的区域附加了注释的内窥镜图像作为训练数据，生成第一已学习模型。控制部110通过使用了第二已学习模型的图像识别处理，从内窥镜图像中检测能量设备前端的钳夹的区域。由此，在内窥镜图像中确定钳夹所把持的位置。在学习阶段，学习装置500将对能量设备前端的钳夹的区域附加了注释的内窥镜图像作为训练数据，生成第二已学习模型。另外，系统也可以构成为不按照每个处理分离已学习模型，通过1个已学习模型实现组织区域识别和处置器械前端区域检测。

控制部110判定通过处置器械前端区域检测而检测出的钳夹的区域与通过组织区域识别而检测出的1个或多个组织区域中的哪个组织区域重叠，由此识别被钳夹所把持的组织的种类。

图10是控制部110识别组织种类的情况下的第二识别处理例。控制部110通过进行基于检测的处置器械前端的检测和基于分类的把持组织种类的分类，识别被钳夹把持的组织的种类。

具体而言，已学习模型121包含用于进行处置器械前端的检测的第一已学习模型和用于进行把持组织种类的分类的第二已学习模型。控制部110通过使用了第一已学习模型的图像识别处理，从内窥镜图像中检测钳夹的位置，生成内包该钳夹的边界框。由此，确定把持位置及其周边的关注区域。在学习阶段中，学习装置500将附加有内包钳夹的边界框的内窥镜图像作为训练数据，生成第一已学习模型。控制部110从内窥镜图像切出边界框内的图像，将该图像输入到使用了第二已学习模型的图像识别处理，由此对边界框内的图像中拍到的组织的种类进行分类。由此，确定边界框内的图像是哪种组织被把持的图像。在学习阶段，学习装置500将附加有表示被钳夹把持的组织的种类的标签的内窥镜图像作为训练数据，生成第二已学习模型。

控制部110将把持组织种类的分类结果作为被钳夹把持的组织种类的识别结果输出。

图11是控制部110识别组织种类的情况下的输出调整例。控制部110在组织种类的识别结果是容易被能量设备切断的薄膜等组织时，与通常条件相比减弱能量输出。通常条件是上述的基准能量输出。控制部110在组织种类的识别结果是难以被能量设备切断的食道等组织时，与通常条件相比增强能量输出。控制部110在组织种类的识别结果为上述以外的其他组织时，与通常条件相比不变更能量输出。

另外，图31表示使用并用设备时的输出调整例。在输出栏中记载有多个输出调整的情况下，控制部110进行其中的任意的输出调整。例如，在从图像中识别出“薄膜”时，控制部110进行(1)“降低HF输出电平”、(2)“缩短HF输出时间、降低S&C模式的电平”、或者(3)“设为US单独输出”中的任意的输出调整。另外，“HF”表示高频，“S&C”表示密封&切割，“US”表示超声波。此外，控制部110基于图像识别处理的结果来调整能量输出，但如后述那样，也可以进一步并用设备信息来调整能量输出。

5.识别组织状态的情况下的处理例

图12是控制部110识别组织状态的情况下的处理例。另外，主要说明与图7的处理例不同的部分，适当省略与图7的处理例相同的部分的说明。

如S1B所示，向控制部110输入内窥镜图像。如S2Ba所示，控制部110通过执行由机器学习调整后的组织识别程序，从内窥镜图像识别组织状态。具体而言，控制部110识别由双极设备的钳夹所把持的组织的状态。组织状态是指可能对能量设备的处置中的热扩散造成影响的状态、即热扩散的程度根据该状态而变化的状态。组织状态例如是被钳夹把持的组织的周围组织量、被钳夹把持的组织或其周边组织的浸渍量、或者被钳夹把持的组织的脂肪量等。浸渍量是覆盖组织的液体的量，例如是血液或淋巴液等体液的浸渍量。如S2Bb所示，控制部110输出从内窥镜图像识别出的组织状态。图12中示出血液浸渍量多、即组织表面被识别为湿润的例子。

如S3B所示，控制部110根据从内窥镜图像识别出的组织状态进行输出变更指示。输出变更指示的方法与图7的S3A相同。

学习阶段中的训练数据521包括周围组织量多或少的图像、液体浸渍量多或少的图像、或者脂肪量多或少的图像等作为学习用图像。另外，训练数据521包含表示各学习用图像中拍到的组织的状态的标签作为正解数据。

图13～图15是控制部110识别组织状态的情况下的第一识别处理例。图13示出了识别周边组织量作为组织状态的示例。控制部110进行基于分区的组织状态区域识别和基于分区的处置器械前端区域检测，将这些结果合成，由此识别被钳夹把持的组织的状态。图13表示识别为“周边组织量少”的例子。此外，控制部110也可以对分区的结果、组织状态的识别结果、或者这两方进行监视器显示。

具体而言，已学习模型121包含用于进行组织状态区域识别的第一已学习模型和用于进行处置器械前端区域检测的第二已学习模型。控制部110通过使用了第一已学习模型的图像识别处理，从内窥镜图像中检测每个组织状态的区域。由此，组织状态被映射到内窥镜图像。图13示出检测到血管周围组织少的部分的区域和血管周围组织多的部分的区域的例子。在学习阶段，学习装置500将对每个组织状态的区域附加了注释的内窥镜图像作为训练数据，生成第一已学习模型。在图13中，训练数据包括对血管周边组织的量多的区域、少的区域或者这两方的区域进行了注释的图像。控制部110通过使用了第二已学习模型的图像识别处理，从内窥镜图像中检测能量设备前端的钳夹的区域。该处理与图9的处置器械前端区域检测相同。

控制部110判定通过处置器械前端区域检测而检测出的钳夹的区域与通过组织状态区域识别而检测出的1个或多个组织状态区域中的哪个组织状态区域重叠，由此识别由钳夹所把持的组织的状态。

图14示出了脂肪量被识别为组织状态的示例。图14示出控制部110在组织状态区域识别中检测脂肪多的区域，在组织状态的识别中识别为“脂肪量多”的例子。学习阶段的训练数据包括对脂肪量多的区域、脂肪量少的区域或这两方区域进行了注释的图像。图15表示识别浸渍量作为组织状态的例子。图15表示在组织状态区域识别中检测出浸渍量多的区域即潮湿的区域，在组织状态的识别中识别为“浸渍量多”的例子。学习阶段的训练数据包括对浸渍量多的区域、浸渍量少的区域或这两方区域进行了注释的图像。

图16是控制部110识别组织状态的情况下的第二识别处理例。控制部110通过进行基于检测的处置器械前端的检测和基于分类的把持组织状态的分类，识别被钳夹把持的组织的状态。

具体而言，已学习模型121包含用于进行处置器械前端的检测的第一已学习模型和用于进行把持组织状态的分类的第二已学习模型。控制部110通过使用了第一已学习模型的图像识别处理，从内窥镜图像中检测钳夹的位置，生成内包该钳夹的边界框。该处理与图10的处置器械前端的检测相同。控制部110从内窥镜图像切出边界框内的图像，将该图像输入到使用了第二已学习模型的图像识别处理，由此对边界框内的图像中拍到的组织的状态进行分类。由此，确定边界框内的图像是哪个状态的组织被把持的图像。在学习阶段，学习装置500将附加有表示被钳夹把持的组织的状态的标签的内窥镜图像作为训练数据，生成第二已学习模型。

控制部110将把持组织状态的分类的结果作为被钳夹把持的组织的状态的识别结果而输出。

图17是控制部110识别组织状态的情况下的输出调整例。控制部110在组织状态的识别结果是应由能量设备花费时间牢固地密封的状态时，与通常条件相比减弱能量输出。该状态例如是周边组织量少的状态。控制部110在组织种类的识别结果为难以被能量设备切断的状态时，与通常条件相比增强能量输出。该状态例如是脂肪量多的状态或血液浸渍量多的状态。控制部110在组织种类的识别结果为上述以外的其他组织时，与通常条件相比不变更能量输出。

另外，图32表示使用并用设备时的输出调整例。在输出栏中记载有多个输出调整的情况下，控制部110进行其中的任意的输出调整。此外，控制部110基于图像识别处理的结果来调整能量输出，但如后述那样，也可以进一步并用设备信息来调整能量输出。

6.识别组织把持量的情况下的处理例

图18是控制部110识别组织把持量的情况下的处理例。另外，主要说明与图7的处理例不同的部分，适当省略与图7的处理例相同的部分的说明。

如S1C所示，向控制部110输入内窥镜图像。如S2Ca所示，控制部110通过执行由机器学习调整后的组织识别程序，从内窥镜图像识别组织把持量。具体而言，控制部110识别双极设备的钳夹把持组织时的把持量。把持量是钳夹把持组织的部分的长度、或钳夹的全长中把持组织的部分的比例。用钳夹较浅地把持组织的状态被称为短间距，用钳夹较深地把持组织的状态被称为长间距。在此，将把持量为阈值以下的情况称为短间距，将把持量为阈值以上的情况称为长间距。如S2Cb所示，控制部110通过将从内窥镜图像识别出的把持量与阈值进行比较来识别是短间距还是长间距。图18表示组织把持量被识别为短间距的例子。

如S3C所示，控制部110根据从内窥镜图像识别出的组织把持量进行输出变更指示。输出变更指示的方法与图7的S3A相同。

学习阶段中的训练数据521包括各种握持量的图像作为学习用图像。例如，训练数据521包含把持量为阈值以下的短间距的图像和把持量为阈值以上的长间距的图像。另外，训练数据521包含表示各学习用图像中拍到的组织把持量的标签作为正解数据。标签是表示钳夹把持组织的部分的长度、钳夹的全长中的把持组织的部分的比例、或者是表示是短间距还是长间距的信息等。

图19是控制部110识别组织把持量的情况下的第一识别处理例。控制部110通过进行基于检测的处置器械前端的检测和基于分类的组织把持量的分类，识别钳夹的组织把持量。组织把持量的分类是指，对内窥镜图像中拍到的钳夹的把持量属于多个级别中的哪个级别进行分类。多个级别表示等级性地划分的把持量范围。例如，级别以1mm刻度等规定长度的刻度来划分，或者在将位置的全长设为100％时以10％刻度等规定比例的刻度来划分。

具体而言，已学习模型121包含用于进行处置器械前端的检测的第一已学习模型和用于进行组织把持量的分类的第二已学习模型。控制部110通过使用了第一已学习模型的图像识别处理，从内窥镜图像中检测钳夹的位置，生成内包该钳夹的边界框。该处理与图10的处置器械前端的检测相同。控制部110从内窥镜图像中切出边界框内的图像，将该图像输入到使用了第二已学习模型的图像识别处理中，由此对在边界框内的图像中拍到的钳夹的组织把持量进行分类。由此，确定边界框内的图像是怎样的组织把持量的图像。在学习阶段，学习装置500将附加有表示钳夹的组织把持量的标签的内窥镜图像作为训练数据，生成第二已学习模型。

控制部110通过将组织把持量的分类的结果与阈值进行比较，判定是短间距还是长间距，将该判定结果作为组织把持量的识别结果输出。图19表示判定为短间距的例子。

图20是控制部110识别组织把持量的情况下的第二识别处理例。控制部110通过分类或回归，估计处置器械前端部的特征点与被钳夹把持的组织之间的定量的位置关系，根据该估计结果计算组织把持量。

具体而言，控制部110通过使用了已学习模型121的图像识别处理，估计从钳夹的基端到把持组织近位端的距离x[mm]。把持组织近位端是指在被钳夹把持的组织中最靠近钳夹的基端的端。在使用分类的情况下，控制部110对距离x属于多个级别中的哪个级别进行分类。多个级别表示等级性地划分的距离范围。在使用回归的情况下，控制部110根据内窥镜图像估计从钳夹的基端到把持组织近位端的距离x本身。在学习阶段，学习装置500将附加有表示从钳夹的基端到把持组织近位端的距离x的距离信息作为标签的内窥镜图像作为训练数据，生成已学习模型121。距离信息在使用分类的情况下是距离x所属的级别，在使用回归的情况下是距离x。

控制部110使用识别出的距离x来计算把持量＝长度－x。控制部110通过将该把持量与阈值进行比较，判定是短间距还是长间距，将该判定结果作为组织把持量的识别结果输出。图20表示判定为短间距的例子。

图21是控制部110识别组织把持量的情况下的输出调整例。控制部110在组织把持量的识别结果为容易利用能量设备切断的把持量时，与通常条件相比减弱能量输出。例如，控制部110在识别为组织把持量为阈值以下的短间距时，与通常条件相比减弱能量输出。控制部110在组织把持量的识别结果为上述以外的组织把持量时，与通常条件相比不变更能量输出。

另外，图33表示使用并用设备时的输出调整例。在输出栏中记载有多个输出调整的情况下，控制部110进行其中的任意的输出调整。此外，控制部110基于图像识别处理的结果来调整能量输出，但如后述那样，也可以进一步并用设备信息来调整能量输出。

7.识别组织张力的情况下的处理例

图22是控制部110识别组织张力的情况下的处理例。另外，主要说明与图7的处理例不同的部分，适当省略与图7的处理例相同的部分的说明。

如S1D所示，向控制部110输入内窥镜图像。如S2Da所示，控制部110通过执行由机器学习调整后的组织识别程序，从内窥镜图像识别组织张力。具体而言，组织张力是施加于被双极设备的钳夹所把持的组织的张力。该张力是通过双极设备牵引组织或者通过钳子等处置器械牵引组织而产生的。通过对组织施加合适的张力，能够利用能量设备进行合适的处置。但是，在张力弱等不合适的组织张力的情况下，由能量设备进行的处置花费时间，容易产生热扩散。控制部110从内窥镜图像识别施加于被钳夹所把持的组织的张力的评价值，即得分。如S2Db所示，控制部110将从内窥镜图像识别出的组织张力的得分与阈值进行比较，并输出其结果。在图22中示出组织张力的得分为阈值以下、即识别为组织张力不适合的例子。

如S3D所示，控制部110根据从内窥镜图像识别出的组织张力进行输出变更指示。输出变更指示的方法与图7的S3A相同。

学习阶段中的训练数据521包括各种组织张力的图像作为学习用图像。另外，训练数据521包括作为得分的计算对象的评价区域和根据该评价区域的图像计算出的得分作为正解数据。

图23是控制部110识别组织张力的情况下的第一识别处理例。控制部110通过进行基于回归的组织张力的估计来输出组织张力的得分。

具体而言，控制部110通过使用了已学习模型的图像识别处理，从内窥镜图像中检测成为张力评价的对象的评价区域，并且根据该评价区域内的图像估计组织张力。在内窥镜图像中拍到的处置中对组织施加了合适的张力的情况下，控制部110输出高的得分。在学习阶段，学习装置500将附加有指定评价区域的信息和组织张力的得分的内窥镜图像作为训练数据，生成已学习模型。或者，训练数据也可以是动态图像即时序图像。例如，在动态图像中，拍摄通过能量设备或钳子牵引组织的操作，将评价区域和一个得分与该动态图像相关联。得分根据内窥镜图像或动态图像中拍到的组织的色相、彩度、明度、亮度或基于牵引的组织的移动信息等而被定量化。对学习用的各内窥镜图像或各动态图像附加通过该定量化得到的得分。

图24是控制部110识别组织张力的情况下的第二识别处理例。控制部110进行基于检测的处置器械前端的检测，根据其检测结果设定评价区域，对该评价区域内的图像进行基于回归的组织张力的估计。

具体而言，控制部110包含用于进行处置器械前端的检测的第一已学习模型和用于进行组织张力的估计的第二已学习模型。控制部110通过使用了第一已学习模型的图像识别处理，从内窥镜图像中检测钳夹的位置。控制部110基于检测出的钳夹的位置，按照规定规则在钳夹的周围设定评价区域。规定规则例如是将以钳夹的位置为中心的规定距离内的范围设定为评价区域等的规则。在学习阶段，学习装置500将附加有表示设备前端的位置、即双极设备的位置的注释的内窥镜图像作为训练数据，生成第一已学习模型。控制部110通过使用了第二已学习模型的图像识别处理，根据评价区域内的图像来估计组织张力，由此输出组织张力的得分。在学习阶段，学习装置500将附加了组织张力的得分的内窥镜图像或动态图像作为训练数据，生成已学习模型。

图25是控制部110识别组织张力时的输出调整例。控制部110在组织张力的识别结果表示张力弱或者难以通过能量设备切断组织的条件时，与通常条件相比增强能量输出。例如，控制部110在组织张力的得分为阈值以下时，与通常条件相比增强能量输出。控制部110在组织张力的识别结果为上述以外的组织张力时，与通常条件相比不变更能量输出。

另外，图34表示使用并用设备的情况下的输出调整例。在输出栏中记载有多个输出调整的情况下，控制部110进行其中的任意的输出调整。此外，控制部110基于图像识别处理的结果来调整能量输出，但如后述那样，也可以进一步并用设备信息来调整能量输出。

8.识别处置器械前端部与注意对象的距离的情况下的处理例

图26是控制部110识别处置器械前端部与注意对象的距离的情况下的处理例。另外，主要说明与图7的处理例不同的部分，适当省略与图7的处理例相同的部分的说明。

如S1E所示，向控制部110输入内窥镜图像。如S2Ea所示，控制部110通过执行由机器学习调整后的组织识别程序，从内窥镜图像识别处置器械前端部与注意对象的距离。具体而言，处置器械前端部与注意对象的距离是内窥镜图像中钳夹的区域内的任意的点与注意对象内的任意的点之间的距离中的最短距离。注意对象是应注意热扩散的影响的脏器、组织或器具。例如，注意对象是胰脏、主要血管或夹子等。在注意对象是脏器或组织的情况下，热扩散的影响有可能波及到该脏器或组织。在注意对象为器具的情况下，由于热扩散而成为高温的器具有可能对与该器具接触的组织造成影响。如S2Eb所示，控制部110将从内窥镜图像识别出的距离与阈值进行比较，并输出其结果。图26示出距离为阈值以下、即识别为处置器械前端部与注意对象近的例子。

如S3E所示，控制部110根据从内窥镜图像中识别出的距离进行输出变更指示。输出变更指示的方法与图7的S3A相同。

学习阶段中的训练数据521包含拍到了钳夹和各种注意对象的图像作为学习用图像。另外，训练数据521包含表示在图像中拍到的钳夹与注意对象的距离的距离信息作为正解数据。

图27是控制部110识别处置器械前端部与注意对象的距离的情况下的第一识别处理例。控制部110进行基于分区的处置器械前端和组织的区域识别、以及基于回归的两点间的距离的估计。控制部110将估计出的两点间的距离与阈值进行比较，判定两点间的距离是阈值以上还是小于阈值。

具体而言，已学习模型121包含用于进行处置器械前端和组织的区域识别的第一已学习模型、以及用于进行两点间的距离的估计的第二已学习模型。控制部110通过使用了第一已学习模型的图像识别处理，从内窥镜图像中检测钳夹的区域、每个组织种类的区域和夹子的区域。图27中示出从内窥镜图像中检测钳夹的区域、膜的区域、胰脏的区域及肝脏的区域的例子。在学习阶段中，学习装置500将对钳夹的区域、每个组织种类的区域以及夹子的区域附加了注释的内窥镜图像作为训练数据，生成第一已学习模型。控制部110通过使用了第二已学习模型的图像识别处理，估计钳夹的前端位置与在注意对象的区域内最接近钳夹的前端位置的位置之间的距离。控制部110将估计出的距离与阈值进行比较。注意对象是通过分区而检测出的组织、脏器或器具中的、比预先决定为注意对象的组织、脏器或器具。图27表示胰脏被设定为注意对象的例子。在学习阶段，学习装置500将拍到了钳夹和注意对象并且附加有表示钳夹与注意对象的距离的距离信息作为标签的内窥镜图像作为训练数据，生成第二已学习模型。

图28是控制部110识别处置器械前端部与注意对象的距离的情况下的输出调整例。控制部110在距离的识别结果表示设备与注意对象的距离近时，与通常条件相比减弱能量输出。例如，控制部110在识别出的距离为阈值以下时，与通常条件相比减弱能量输出。控制部110在距离的识别结果为上述以外的距离时，与通常条件相比不变更能量输出。

另外，图35表示使用并用设备时的输出调整例。在输出栏中记载有多个输出调整的情况下，控制部110进行其中的任意的输出调整。

9.显示例

图29示出与能量输出调整有关的信息的显示例。控制部110进行如下处理：将与能量输出调整有关的信息重叠于内窥镜图像而生成显示图像150，对该显示图像150进行监视器显示。显示图像150可以显示于内窥镜系统200的显示器230，或者也可以显示于为了导航显示而另外设置的显示器。

在内窥镜图像中，作为与能量输出调整相关的信息，重叠有图像识别处理的识别结果、基于该识别结果选择出的输出信息、或者这两者。图像识别处理的识别结果例如是检测出的组织的区域151、钳夹的区域152、或者表示被钳夹所把持的组织或组织把持量等的文字信息153等。也可以显示表示钳夹的位置的边界框来代替钳夹的区域152。输出信息例如是表示所选择的输出序列的图像154。或者，输出信息也可以是表示所选择的能量输出设定的图标显示155。图标显示155例如包括表示多个能量输出设定的多个图标和强调所决定的能量输出设定的图标的强调显示156。

10.并用图像识别结果和设备信息的能量输出调整

以上，说明了控制部110基于图像识别结果进行能量输出调整的实施方式，但控制部110也可以并用图像识别结果和设备信息来进行能量输出调整。图30是并用图像识别结果和设备信息的情况下的处理的流程图。

在步骤S21中，从内窥镜系统200的主体装置220向控制部110输入内窥镜图像，从控制能量设备310的生成器300向控制部110输入设备信息。具体而言，在图2中，构成为I/O设备190从生成器300接收设备信息，并将该接收到的设备信息输入到控制部110即可。

在步骤S22中，控制部110根据内窥镜图像判断能量设备310的视觉辨认性。控制部110例如在能量设备310朝向图像的进深方向的情况、能量设备310的钳夹被其他处置器械遮挡的情况、或者内窥镜视野内的烟雾量为一定量以上的情况等下，判断为能量设备310的视觉辨认性差，在除此以外的情况下判断为能量设备310的视觉辨认性良好。

在步骤S22中判断为能量设备310的视觉辨认性差的情况下，在步骤S23中，控制部110决定为不使用图像识别结果而使用设备信息。即，在视觉辨认性差的情况下，判断为图像识别结果不可信，决定使用设备信息。例如，控制部110不向生成器300输出基于图像识别结果的能量输出调整指示，生成器300进行基于阻抗信息的输出自动断开等输出控制。或者，控制部110也可以基于设备信息向生成器300输出能量输出调整指示。但是，与根据设备信息判断组织信息或处置信息的情况相比，根据图像识别结果判断组织信息或处置信息能够进行更多种或更高精度的信息判断。关于这一点，与匹配性的说明一起使用图31～图34在后面叙述。在步骤S22中判断为能量设备310的视觉辨认性良好的情况下，在步骤S24中，控制部110判断使用了机器学习的图像识别的估计准确度是否为第一阈值以上。在此，将第一阈值设为60％。

在步骤S23中判断为估计准确度小于60％的情况下，在步骤S23中，控制部110决定为不使用图像识别结果而使用设备信息。即，在估计准确度低的情况下，判断为图像识别结果不可信，决定使用设备信息。在步骤S23中判断为估计准确度为60％以上的情况下，在步骤S25中，控制部110判断估计准确度是否为第二阈值以上。第二阈值是比第一阈值高的准确度。在此，将第二阈值设为90％。

在步骤S25中判断为估计准确度为90％以上的情况下，在步骤S26中，控制部110基于图像识别结果将能量输出调整指示向生成器300输出。即，在估计准确度足够高的情况下，信任图像识别结果，使用图像识别结果。生成器300以根据能量输出调整指示设定的输出值或输出序列向能量设备310供给能量。此时，生成器300也可以基于由能量输出调整指示设定的输出值或输出序列，进行基于阻抗信息的输出自动断开等输出控制。在步骤S25中判断为估计准确度小于90％的情况下，在步骤S27中，控制部110判断图像识别结果与设备信息的匹配性。

在步骤S27中，在判断为图像识别结果与设备信息具有匹配性的情况下，在步骤S26中，控制部110基于图像识别结果向生成器300输出能量输出调整指示。即，即使在图像识别的估计准确度不够高的情况下，在图像识别结果与设备信息匹配的情况下，也信任图像识别结果，使用图像识别结果。在步骤S27中判断为图像识别结果与设备信息不具有匹配性的情况下，在步骤S23中，控制部110决定为不使用图像识别结果而使用设备信息。即，在图像识别结果与设备信息不匹配的情况下，判断为图像识别结果不可信，决定使用设备信息。

设备信息是能量设备的前端部所接触的组织的电气信息，例如是能量设备的前端部所接触的组织的阻抗信息。例如，在能量设备是双极设备的情况下，电气信息是被两个钳夹把持的组织的阻抗信息。生成器300向双极设备的2个钳夹输出处置用的高频电力，测定该高频电力的电压和电流，根据该测定出的电压和电流取得阻抗信息。但是，电气信息并不限定于阻抗信息，只要是根据组织的种类、处置的进行而变化的信息即可。电气信息例如可以是电流、电压、或者电流与电压之间的相位。或者，电气信息也可以是功率、功率量、阻抗、电阻值(电阻)、电抗、导纳(阻抗的倒数)、电导(导纳的实数部)或电纳(导纳的虚数部)。或者，电气信息也可以是上述的经时变化、各参数间的变化、各参数间的微分积分(在将P设为参数时，经时微分为dP/dt，基于电阻的微分为dP/dR)、每个块的和差等通过初等运算导出的值、或者是否跨越了各个阈值这样的触发信息。

图像识别的估计准确度是表示估计结果的准确度怎样的程度。以进行分类的神经网络为例，在输出层设置有与各级别对应的节点，将输入层的输入数据与各级别相符的准确度输出到输出层的各节点。其中，将输出了最高准确度的节点的级别作为分类结果而输出，但输出到该节点的准确度被用作分类结果的估计准确度。或者，在使用了机器学习的图像识别处理中进行精度评价的例子中，按照处置的每个场景预先取得精度，使学习模型将该场景和精度与组织信息或处置信息一起进行学习，由此生成已学习模型。通过使用该已学习模型的图像识别处理，与组织信息或处置信息的识别结果一起输出该识别精度，将该识别精度用作组织信息或处置信息的估计准确度。处置的场景例如是由能量设备的把持方向定义的场景、或者由手法场景定义的场景等。由把持方向定义的场景例如是能量设备以朝向内窥镜图像的进深方向的状态把持组织的场景等。由手法场景定义的场景例如是幽门下的使用能量设备的处理等。

图像识别结果与设备信息的匹配性是指预先决定了图像识别信息与设备信息的合适的组合，是否与该组合一致。具体而言，匹配性是指图像识别结果所示的组织信息或处置信息与设备信息所示的组织信息或处置信息是否匹配。图31至图34示出了图像识别结果与设备信息之间的匹配性的示例。例如，在图31中，在图像识别结果为薄膜或粗血管、设备信息为低阻抗的情况下，判断为图像识别结果与设备信息匹配。在该情况下，控制部110信任图像识别结果，使用图像识别结果进行能量输出调整。在低阻抗的情况下，仅通过阻抗信息无法区分薄膜和血管，但通过使用图像识别结果，能够区分薄膜和血管来进行能量输出调整。相反，在图像识别结果为薄膜或血管、设备信息为高阻抗的情况下，判断为图像识别结果与设备信息不匹配。在该情况下，控制部110判断为图像识别结果不可信，决定使用设备信息。

以上说明的本实施方式的系统10包括存储已学习模型121的存储部120和控制部110。已学习模型121按照根据学习用设备组织图像或学习用组织图像输出图像识别信息的方式进行学习。学习用设备组织图像是拍摄接受能量供给而进行能量输出的至少一个能量设备310以及至少一个生物体组织的图像。学习用组织图像是拍摄至少一个生物体组织的图像。图像识别信息是与至少一个生物体组织有关的组织信息、或者与针对至少一个生物体组织的处置有关的处置信息中的至少一方。控制部110取得拍摄至少一个能量设备310以及至少一个生物体组织的图像即拍摄图像。控制部110通过基于存储于存储部120的已学习模型121的处理，根据拍摄图像估计图像识别信息。控制部110对生成器300输出基于估计出的图像识别信息的能量输出调整指示。生成器300基于能量输出调整指示来控制向能量设备310的能量供给量。

根据本实施方式，基于从拍摄图像图像识别出的组织信息或处置信息来调整能量设备310的能量输出。由此，能够基于仅根据阻抗信息等设备信息无法判别的各种信息来调整能量输出。例如，如图31等所述，能够通过图像识别来判别通过阻抗信息无法区分的组织种类，能够进行与该判别出的组织种类相应的能量输出调整。

并且，通过使用图像识别出的各种信息，能够进行考虑了能量设备310的处置中的热扩散的能量输出调整。例如，在根据图像识别出的组织信息或处置信息而预想的热扩散较大的情况下，能够进行降低能量输出等的能量输出调整。与使用设备信息的情况相比，能够进行详细的信息判别，因此能够进行考虑了各种热扩散的状况的能量输出调整。另外，关于图像识别信息、组织信息、处置信息以及能量输出调整指示，例如在“1.系统”中进行了说明。

另外，在本实施方式中，控制部110也可以基于图像识别信息，决定使能量输出与基准能量输出相比增加、减少或维持的调整中的任意调整，将决定的调整的指示作为能量输出调整指示输出。

根据本实施方式，通过基于图像识别信息来增加、减少或者维持能量输出，能够根据基于图像识别信息而预想的热扩散来增加、减少或者维持能量输出。例如，在根据图像识别信息预想能量施加时间变长的情况下，通过使能量输出增加，能够缩短能量施加时间而减少热扩散。另外，关于“使能量输出与基准能量输出相比增加、减少或维持的调整”，例如在“4.识别组织种类的情况下的处理例”中进行了说明。

另外，在本实施方式中，控制部110也可以将预先设定的能量输出或者生成器300的实时的能量输出作为基准能量输出，输出能量输出调整指示。

“预先设定的能量输出”是指被预先设定为能量输出调整的基准能量输出，使用与实时的能量输出无关地决定的基准能量输出。“实时的能量输出”是指在控制部110输出能量输出调整指示时对生成器300设定的能量输出。即，该基准能量输出有可能每次都不同。

并且，在本实施方式中，控制部110也可以取得来自内窥镜210的内窥镜图像作为拍摄图像，将在取得内窥镜图像的时刻设定的能量输出作为基准能量输出，输出能量输出调整指示。

“在取得内窥镜图像的时刻设定的能量输出”是指，在根据从内窥镜图像图像识别出的信息而输出能量输出调整指示时，在取得该内窥镜图像的时刻设定的能量输出。

另外，在本实施方式中，能量设备310是具有能够把持组织的两个钳夹的设备，也可以是从生成器300接受能量供给而从两个钳夹进行能量输出的设备。

即，能量设备310可以是双极设备330。关于双极设备，例如在“3.能量设备”的图5中进行了说明。

另外，在本实施方式中，组织信息也可以包含由至少一个能量设备处置的组织的组织种类或组织状态。

根据本实施方式，基于从拍摄图像图像识别出的组织种类或组织状态来调整能量设备310的能量输出。由能量设备310处置时的热扩散的程度根据组织种类或组织状态而不同。通过使用图像识别出的组织种类或组织状态，能够进行考虑了该组织种类或组织状态下的热扩散的能量输出调整。另外，关于组织种类，例如在“4.识别组织种类的情况下的处理例”中进行了说明。关于组织状态，例如在“5.识别组织状态的情况下的处理例”中进行了说明。

另外，在本实施方式中，处置信息也可以包含至少一个能量设备对组织的把持量、或者至少一个能量设备或其他设备对组织的牵引量。

根据本实施方式，基于从拍摄图像图像识别出的把持量或牵引量来调整能量设备310的能量输出。由能量设备310处置时的热扩散的程度根据把持量或牵引量而不同。通过使用图像识别出的把持量或牵引量，能够进行考虑了该把持量或牵引量下的热扩散的能量输出调整。此外，关于把持量，例如在“6.识别组织把持量的情况下的处理例”中进行了说明。关于牵引，例如在“7.识别组织张力的情况下的处理例”中进行了说明。

另外，在本实施方式中，处置信息也可以包含由至少一个能量设备处置的组织的张力、或者至少一个能量设备与注意对象的距离。

根据本实施方式，基于从拍摄图像图像识别出的组织的张力或能量设备与注意对象的距离来调整能量设备310的能量输出。由能量设备310处置时的热扩散的程度根据组织的张力或能量设备与注意对象的距离而不同。通过使用图像识别出的组织的张力或能量设备与注意对象的距离，能够进行考虑了该组织的张力或能量设备与注意对象的距离下的热扩散的能量输出调整。此外，关于组织的张力，例如在“7.识别组织张力的情况下的处理例”中进行了说明。关于能量设备与注意对象的距离，例如在“8.识别处置器械前端部与注意对象的距离的情况下的处理例”中进行了说明。

另外，在本实施方式中，控制部110也可以基于估计图像识别信息时的估计准确度，变更能量输出的控制中的图像识别信息和从至少一个能量设备310得到的电气信息的使用优先级。

根据本实施方式，根据估计准确度来变更进行基于图像识别信息的能量输出调整和不进行基于图像识别信息的能量输出调整而进行基于电气信息的能量输出的控制的优先级。由此，能够根据是否能够信任图像识别信息来控制使上述的哪一个优先。另外，“能量输出的控制”并非必须由控制部110进行。例如，当使图像识别信息优先时，控制部110可以基于图像识别信息输出能量输出调整指示，并且当使电气信息优先时，生成器300可以基于电气信息控制能量输出。在后者的情况下，控制部110决定不输出基于图像识别信息的能量输出调整指示，由此优先使用电气信息。另外，关于使用优先级的变更，例如在“10.并用了图像识别结果和设备信息的能量输出调整”中进行了说明。

另外，在本实施方式中，控制部110也可以取得来自至少一个能量设备310的电气信息。控制部110也可以基于图像识别信息与电气信息的匹配性来变更能量输出的控制中的图像识别信息和电气信息的使用优先级。

根据本实施方式，能够基于图像识别信息与电气信息的匹配性来判断图像识别信息是否可信。由此，能够根据图像识别信息是否可信来控制使图像识别信息和电气信息中的哪一个优先。关于“图像识别信息与电气信息的匹配性”，例如在“10.并用了图像识别结果和设备信息的能量输出调整”中进行了说明。

另外，在本实施方式中，控制部110进行将拍摄图像、图像识别信息的内容和能量输出调整指示的内容中的至少一方显示于显示部的处理。

根据本实施方式，用户通过观察显示于显示部的图像识别信息的内容或者能量输出调整指示的内容中的至少一方，能够获知在能量输出的自动控制中在装置内部所处理的内容。另外，显示信息的显示部可以是内窥镜系统200的显示器230或除此以外设置的显示器中的某一个。关于显示，例如在“9.显示例”中进行了说明。

另外，在本实施方式中，已学习模型121也可以包括第一已学习模型和第二已学习模型。第一已学习模型按照从学习用设备组织图像中检测表示至少一个能量设备的前端部的边界框的方式进行学习。第二已学习模型按照从边界框内的学习用设备组织图像输出图像识别信息的方式进行学习。控制部110通过基于第一已学习模型的处理，从拍摄图像中检测边界框，通过基于第二已学习模型的处理，根据边界框内的拍摄图像估计图像识别信息。

根据本实施方式，通过使用了机器学习的检测与分类或回归的组合，能够从拍摄图像图像识别出组织信息或处置信息。此外，关于本处理，例如在“4.识别组织种类的情况下的处理例”的图10、“5.识别组织状态的情况下的处理例”的图14、“6.识别组织把持量的情况下的处理例”的图19、或者“7.识别组织张力的情况下的处理例”的图24等中进行了说明。

另外，在本实施方式中，已学习模型121也可以是按照从学习用设备组织图像或学习用组织图像中检测至少一个生物体组织的各生物体组织的区域，从学习用设备组织图像中检测至少一个能量设备的前端部区域的方式进行了学习的模型。控制部110也可以通过基于已学习模型121的处理，从拍摄图像中检测各生物体组织的区域和前端部区域，基于检测出的各生物体组织的区域和前端部区域来估计图像识别信息。

根据本实施方式，通过使用了机器学习的分区，能够从拍摄图像图像识别出组织信息或处置信息。此外，关于本处理，例如在“4.识别组织种类的情况下的处理例”的图9、或者“5.识别组织状态的情况下的处理例”的图13～图15等中进行了说明。

在本实施例中，系统10可以包括至少一个能量设备310和生成器300。

并且，在本实施方式中，系统10也可以包括拍摄内窥镜图像作为拍摄图像的内窥镜210。控制部110也可以从内窥镜210取得内窥镜图像，通过基于已学习模型121的处理，根据内窥镜图像估计图像识别信息。

另外，以上的处理也可以记述为程序。即，本实施方式的程序使计算机执行如下处理：取得拍摄图像；通过基于已学习模型121的处理，根据拍摄图像估计图像识别信息；以及对生成器300输出基于估计出的图像识别信息的能量输出调整指示。

另外，以上的处理也可以作为能量输出调整方法来执行。即，本实施方式的能量输出调整方法包括如下步骤：取得拍摄图像；通过基于已学习模型121的处理，根据拍摄图像估计图像识别信息；以及对生成器300输出基于估计出的图像识别信息的能量输出调整指示。

以上，对本实施方式及其变形例进行了说明，但本发明并不直接限定于各实施方式及其变形例，在实施阶段，能够在不脱离主旨的范围内对构成要素进行变形而具体化。另外，能够适当组合上述的各实施方式、变形例所公开的多个构成要素。例如，可以从各实施方式和变形例所记载的全部结构要素中删除若干个结构要素。进而，可以对不同实施方式和变形例中说明的结构要素进行适当组合。这样，在不脱离本发明的主旨的范围内能够进行各种变形、应用。并且，在说明书或附图中，至少一次与更加广义或同义的不同用语一起记载的用语能够在说明书或附图的任意位置置换为该不同用语。

标号说明

10系统、100控制器、110控制部、111图像取得部、112组织信息识别部、113输出设定部、120存储部、121模型、150显示图像、151、152区域、153文字信息、154图像、155图标显示、156强调显示、180、190I/O设备、200内窥镜系统、210内窥镜、220主体装置、230显示器、300生成器、310能量设备、320单极设备、321电极、322插入部、323操作部、325线缆、330双极设备、331前端部、332插入部、333操作部、335线缆、336基端、337、338钳夹、340超声波设备、341前端部、342插入部、343操作部、344a、344b操作按钮、345线缆、346基端、347钳夹、348探头、500学习装置、510处理部、520存储部、521训练数据、522学习模型

Claims (17)

1.一种系统，其特征在于，所述系统包括：

存储部，其存储已学习模型，所述已学习模型按照如下方式进行了学习：根据学习用设备组织图像或学习用组织图像，输出图像识别信息，所述学习用设备组织图像是拍摄至少一个能量设备和至少一个生物体组织的图像，所述能量设备接受能量供给而进行能量输出，所述学习用组织图像是拍摄所述至少一个生物体组织的图像，所述图像识别信息是与所述至少一个生物体组织有关的组织信息、以及与针对所述至少一个生物体组织的处置有关的处置信息中的至少一方；以及

控制部，

所述控制部取得拍摄图像，所述拍摄图像是拍摄所述至少一个能量设备以及所述至少一个生物体组织的图像，

所述控制部通过基于存储于所述存储部的所述已学习模型的处理，根据所述拍摄图像估计所述图像识别信息，

所述控制部将基于估计出的所述图像识别信息的能量输出调整指示输出给基于所述能量输出调整指示而控制向能量设备的能量供给量的生成器。

2.根据权利要求1所述的系统，其特征在于，

所述控制部根据所述图像识别信息，决定使所述能量输出与基准能量输出相比增加、减少或维持的调整中的任意调整，所述控制部将所述决定的调整的指示作为所述能量输出调整指示而输出。

3.根据权利要求2所述的系统，其特征在于，所述控制部将预先设定的能量输出或所述生成器的实时的所述能量输出作为所述基准能量输出，输出所述能量输出调整指示。

4.根据权利要求2所述的系统，其特征在于，所述控制部取得来自内窥镜的内窥镜图像作为所述拍摄图像，将在取得所述内窥镜图像的时刻所设定的所述能量输出作为所述基准能量输出，输出所述能量输出调整指示。

5.根据权利要求1所述的系统，其特征在于，所述能量设备是具有能够把持组织的两个钳夹的设备，是从所述生成器接受所述能量供给而从所述两个钳夹进行能量输出的设备。

6.根据权利要求1所述的系统，其特征在于，所述组织信息包含由所述至少一个能量设备处置的组织的组织种类或组织状态。

7.根据权利要求1所述的系统，其特征在于，所述处置信息包含所述至少一个能量设备对组织的把持量、或者所述至少一个能量设备或其他设备对组织的牵引量。

8.根据权利要求1所述的系统，其特征在于，所述处置信息包含由所述至少一个能量设备处置的组织的张力、或者所述至少一个能量设备与注意对象的距离。

9.根据权利要求1所述的系统，其特征在于，所述控制部根据估计所述图像识别信息时的估计准确度，变更在所述能量输出的控制中所述图像识别信息和从所述至少一个能量设备得到的电气信息的使用优先级。

10.根据权利要求1所述的系统，其特征在于，所述控制部取得来自所述至少一个能量设备的电气信息，根据所述图像识别信息与所述电气信息的匹配性，变更在所述能量输出的控制中所述图像识别信息和所述电气信息的使用优先级。

11.根据权利要求1所述的系统，其特征在于，所述控制部进行将所述图像识别信息的内容和所述能量输出调整指示的内容中的至少一方与所述拍摄图像显示于显示部的处理。

12.根据权利要求1所述的系统，其特征在于，所述已学习模型包括：第一已学习模型，其按照从所述学习用设备组织图像中检测边界框的方式进行了学习，所述边界框表示所述至少一个能量设备的前端部；以及第二已学习模型，其按照根据所述边界框内的所述学习用设备组织图像输出所述图像识别信息的方式进行了学习，

所述控制部通过基于所述第一已学习模型的处理，从所述拍摄图像中检测所述边界框，通过基于所述第二已学习模型的处理，根据所述边界框内的所述拍摄图像估计所述图像识别信息。

13.根据权利要求1所述的系统，其特征在于，所述已学习模型是按照如下方式进行了学习的模型：从所述学习用设备组织图像或所述学习用组织图像中检测所述至少一个生物体组织中的各生物体组织的区域，从所述学习用设备组织图像中检测所述至少一个能量设备的前端部区域，

所述控制部通过基于所述已学习模型的处理，从所述拍摄图像中检测所述各生物体组织的区域和所述前端部区域，基于检测出的所述各生物体组织的区域和所述前端部区域估计所述图像识别信息。

14.根据权利要求1所述的系统，其特征在于，所述系统包括所述至少一个能量设备和所述生成器。

15.根据权利要求14所述的系统，其特征在于，所述系统包括内窥镜，该内窥镜拍摄内窥镜图像作为所述拍摄图像，

所述控制部从所述内窥镜取得所述内窥镜图像，通过基于所述已学习模型的处理，根据所述内窥镜图像估计所述图像识别信息。

16.一种程序，其特征在于，所述程序使计算机执行如下处理：

取得拍摄图像，所述拍摄图像是拍摄至少一个能量设备以及至少一个生物体组织的图像，所述能量设备接受能量供给而进行能量输出；

通过基于已学习模型的处理，根据所述拍摄图像估计所述图像识别信息，所述已学习模型是按照如下方式进行了学习的模型：根据学习用设备组织图像或学习用组织图像输出图像识别信息，所述学习用设备组织图像是拍摄所述至少一个能量设备以及所述至少一个生物体组织的图像，所述学习用组织图像是拍摄所述至少一个生物体组织的图像，所述图像识别信息是与所述至少一个生物体组织有关的组织信息和与针对所述至少一个生物体组织的处置有关的处置信息中的至少一个；以及

将基于估计出的所述图像识别信息的能量输出调整指示输出给基于所述能量输出调整指示而控制向能量设备的能量供给量的生成器。

17.一种能量输出调整方法，其特征在于，包括如下步骤：

取得拍摄图像，所述拍摄图像是拍摄至少一个能量设备以及至少一个生物体组织的图像，所述能量设备接受能量供给而进行能量输出；

通过基于已学习模型的处理，根据所述拍摄图像估计图像识别信息，所述已学习模型是按照如下方式进行了学习的模型：根据学习用设备组织图像或学习用组织图像输出所述图像识别信息，所述学习用设备组织图像是拍摄所述至少一个能量设备以及所述至少一个生物体组织的图像，所述学习用组织图像是拍摄所述至少一个生物体组织的图像，所述图像识别信息是与所述至少一个生物体组织有关的组织信息和与针对所述至少一个生物体组织的处置有关的处置信息中的至少一方；以及

将基于估计出的所述图像识别信息的能量输出调整指示输出给基于所述能量输出调整指示而控制向能量设备的能量供给量的生成器。