CN110831476B - 管状插入装置及其工作方法 - Google Patents

Abstract

本发明提供一种管状插入装置，其包括：可将挠性管部插入受检体内的管状装置；检测挠性管部在受检体内的配置状态的传感器；预测运算部(31)，其基于传感器检测出的配置状态、和关于与挠性管部的各配置状态相应的管状装置的操作的蓄积数据，运算关于管状装置后续应当进行的操作的信息即后续操作信息；和输出电路(32)，其输出预测运算部运算得到的后续操作信息。

Description

管状插入装置及其工作方法

技术领域

本发明涉及具有可将挠性管部插入受检体内的管状装置的管状插入装置。

背景技术

关于内窥镜等的具有挠性管部(插入部)的管状装置，以往提出了用于对挠性管部的插入进行辅助的装置和方法。

例如，美国专利第9086340号公开了一种获取操作辅助信息的管状插入装置，其中，操作辅助信息包括关于对挠性管部施加的外力的多个外力信息。

发明内容

但是，美国专利第9086340号公开的管状插入装置，在发生了或像要发生不理想的插入状况时，仅能够提示其原因作为操作辅助信息，不能提示避免该不理想的插入状况的具体操作。

本发明的目的在于提供一种管状插入装置，其能够输出与插入状况相应的恰当的操作信息作为操作辅助信息。

根据本发明的一个实施方式，管状插入装置包括：可将挠性管部插入受检体内的管状装置；检测所述挠性管部在所述受检体内的配置状态的传感器；预测运算部，其基于所述传感器检测出的所述配置状态、和关于与所述挠性管部的各配置状态相应的所述管状装置的操作的蓄积数据，运算关于所述管状装置后续应当进行的操作的信息即后续操作信息；和输出电路，其输出所述预测运算部运算得到的所述后续操作信息。

依照本发明，能够根据当前的挠性管部的配置状态获取最恰当的操作辅助信息，因此能够提供一种能够输出与插入状况相应的准确的操作信息作为操作辅助信息的管状插入装置。

附图说明

图1是概略地表示本发明的第一实施方式的管状插入装置的一例的图。

图2是概略地表示作为受检体的大肠的各部位的解剖图。

图3是用于说明管状插入装置的预测运算部的结构的图。

图4是表示神经网络模型的图。

图5是表示第一实施方式的插入辅助控制流程的一例的图。

图6是用于说明本发明的第二实施方式的管状插入装置的预测运算部的多个机器学习模型的图。

图7是表示第二实施方式的插入辅助控制流程的一例的图。

图8是用于说明预测运算部具有的操作恰当性验证部的功能的图。

图9是用于说明本发明的第三实施方式的管状插入装置的预测运算部的仿真模型的图。

图10是表示N字形状和解除袢曲时的形状的图。

图11是表示用神经网络构建图9的仿真模型的情况下的输入输出关系的图。

图12是表示第三实施方式的插入辅助控制流程的一例的图。

具体实施方式

下面，参照附图对本发明的各实施方式进行说明。在下面的说明中，以包括大肠内窥镜的内窥镜装置为例，对本发明的管状插入装置进行说明。

[第一实施方式]

图1是概略地表示内窥镜装置1的一例的图。内窥镜装置1具有大肠内窥镜10、光纤传感器20、控制装置30和显示装置40。

大肠内窥镜10是将插入部11插入作为受检体的大肠内的管状装置。这里，首先，对作为受检体的大肠的各部位进行说明。图2是概略地表示大肠200的各部位的解剖图。大肠200包括：与肛门300相连的直肠210；与直肠210相连的结肠220；和与结肠220相连的盲肠230。直肠210从肛门一侧起依次包括下部直肠211、上部直肠212和直肠乙状部213。结肠220从直肠210一侧起依次包括乙状结肠221、降结肠222、横结肠223和升结肠224。乙状结肠221的最上部是乙状结肠顶部(所谓的S-top)225。乙状结肠221与降结肠222的边界部是乙状结肠-降结肠交界部(所谓的SD-Junction(SD-J))226。降结肠 222与横结肠223的边界部是脾曲部(SF)227。横结肠223与升结肠 224的边界部是肝曲(HF)228。S-top225、SD-J226、SF227和HF228 是结肠220中的弯曲部。直肠210的下部直肠211和上部直肠212、以及结肠220的降结肠222和升结肠224是固定肠道。另一方面，直肠 210的直肠乙状部213、结肠220的乙状结肠221和横结肠223、以及盲肠230是可动肠道。即，直肠乙状部213、乙状结肠221、横结肠223和盲肠230没有固定在腹部内，具有可动性。

大肠内窥镜10除了具有可被插入这样的大肠200内的插入部11 之外，还具有设置在该插入部11的根端侧的操作部12、和将该操作部 12与控制装置30连接的通用线缆13。

插入部11具有前端硬质部、设置在该前端硬质部的根端侧的主动弯曲部和设置在该弯曲部的根端侧的被动弯曲部，但是这里没有特别地图示。前端硬质部包括：包括照明透镜的照明光学系统、包括物镜的观察光学系统、和摄像元件等，但是这里没有特别地图示。主动弯曲部具有挠性，是通过操作部12的操作而弯曲的部分，能够主动地改变其弯曲形状。被动弯曲部是具有挠性的细长管状部分，可被动地弯曲。

因为在插入部11的整个长度中前端硬质部是非常短的部分，所以在下面的说明中只要没有特别声明，“插入部11”就是指主动弯曲部和被动弯曲部。即，只要没有特别声明，“插入部”就与管状装置中的可弯曲的挠性管部大致同义地使用。光纤传感器20所检测的“插入部11 的配置状态”是指主动弯曲部和被动弯曲部的配置状态，“插入部11 的前端”与主动弯曲部的前端大致同义地使用。

在操作部12设置了用于进行主动弯曲部的弯曲操作的角度旋钮 14UD、14RL、和用于进行包括送气/送水/抽吸操作在内的各种操作的 1个以上的按钮(未图示)。施术者通过操作角度旋钮14UD，能够使主动弯曲部相对于由摄像元件获取到的内窥镜图像在上下方向上弯曲，通过操作角度旋钮14RL，能够使主动弯曲部相对于内窥镜图像在左右方向上弯曲。在操作部12还设置了通过控制装置30的设定而分配了内窥镜图像的静止/记录、焦点切换等功能的1个以上的开关(未图示)。

光纤传感器20是利用因光纤21的弯曲而发生的光传输量的损失的形状传感器。光纤传感器20除了具有光纤21之外，还具有光源22、受光部23、弯曲量运算电路24和形状运算电路25。这里，光源22、受光部23、弯曲量运算电路24和形状运算电路25配置在控制装置30的内部。当然，也可以构成为与控制装置30分体的装置。

光源22出射具有多个波长的光。该光源22与出射观察和摄像用的照明光的光源装置的光源是分体的。图1中省略了该光源装置。

对从该光源22出射的光进行导光的光纤21具有挠性，从光源22 起在通用线缆13、操作部12和插入部11的内部延伸。在该光纤21的与插入部11对应的部分，设置了多个被检测部26。在1根光纤21的长度方向上彼此不同的位置配置多个被检测部26，并且在该1根光纤 21的长度方向上相同或相近的、但是在绕长度方向轴的周向上彼此不同的位置配置了多个被检测部26。或者，也可以在1根光纤21设置1 个被检测部26。在此情况下，以在光纤21的长度方向上该光纤21上的被检测部26配置在与其他光纤21上的被检测部26不同的位置的方式，配置多根光纤21。并且，还以在光纤21的长度方向上相同或相近但是在绕长度方向轴的周向上彼此不同的位置配置多个被检测部26的方式，配置多根光纤21。这样，通过在光纤21的长度方向上相同或相近但是在绕长度方向轴的周向上彼此不同的位置配置多个被检测部 26，不仅能够检测弯曲量，还能够检测弯曲的方向。

即，被检测部26使光纤21的光学特性、例如规定波长的光的光传输量与其弯曲量相应地发生变化。多个被检测部26各自的该规定波长彼此不同。当插入部11弯曲时，光纤21相应地弯曲，因此，光纤 21的光传输量与插入部11的弯曲量相应地发生变化。包含该光传输量的变化的信息的光信号被受光部23接收。受光部23例如由分光器构成，独立地检测光信号的各波长成分。受光部23可以具有滤色器这样的用于分光的元件和光电二极管这样的受光元件。受光部23将光信号作为状态信息输出至弯曲量运算电路24。

光纤21的一端与光源22光学地连接，另一端与受光部23光学地连接，在插入部11的前端部，光纤21在长度方向上的大致中央部位折返。此外，也可以构成为，使用光分路部，将光纤21的一端与光源 22和受光部23两者光学地连接，位于插入部11的前端部的光纤21的另一端与反射部光学地连接，但是这里没有图示。在此情况下，光分路部将从光源22出射的光引导至光纤21，将被反射部反射并被光纤 21引导的返回光引导至受光部23。即，光按照光源22、光分路部、光纤21、反射部、光纤21、光分路部、受光部23的顺序前进。这里，光分路部例如具有光耦合器或半反射镜。

弯曲量运算电路24根据来自受光部23的状态信息、即与各被检测部26所处位置的插入部11的弯曲状态相应的光量的变化，运算各位置的弯曲量。弯曲量运算电路24将其运算结果输出至形状运算电路 25。

形状运算电路25通过将弯曲量运算电路24运算得到的弯曲量几何变换为形状，来计算插入部11的形状。形状运算电路25将计算出的插入部11的形状、即插入部11在大肠200内的配置状态输入至预测运算部31。

弯曲量运算电路24和形状运算电路25可以由CPU等处理器构成。在此情况下，例如，通过在未图示的内部存储器或外部存储器中准备用于使处理器实现该电路24和25的功能的各种程序、并由处理器执行该程序，而由处理器实施作为该电路24和25的功能。或者，电路 24和25也可以由包括ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)等的硬件电路构成。

这样，光纤传感器20检测插入部11在大肠200内的配置状态、即挠性管部在受检体内的配置状态，并将检测出的挠性管部的配置状态输入至预测运算部31。

检测构成为挠性管部的插入部11在作为受检体的大肠200内的配置状态的传感器，并不限定于上述的光纤传感器20。传感器只要能够检测插入部11的配置状态即可。例如，传感器也可以由如下所述的传感器等等中的一个或它们的组合构成：对插入部11的前端硬质部的前方和/或侧方进行摄像的图像传感器；检测插入部11在空间中的位置的磁方式位置推算传感器；检测插入部11的弯曲状态(也可以将该弯曲状态转换成形状)的使用光纤的弯曲量传感器；检测插入部11与大肠 200的内壁的接触程度的压力或应变传感器；检测插入部11插入大肠 200内的插入量的传感器；检测用于使插入部11的主动弯曲部弯曲的弯曲操作量的传感器；插入部11的转动量传感器；检测插入部11相对于地球的方向的重力加速度传感器；和可对插入部11和受检体(包括具有作为受检体的大肠200的人体)的一部分或全部进行摄像的作业状况图像传感器(可包括X射线传感器)。

控制装置30除了具有构成上述光纤传感器20的一部分的上述光源22、受光部23、弯曲量运算电路24和形状运算电路25之外，还具有预测运算部31和输出电路32。控制装置30还具有图像处理电路，该图像处理电路对由大肠内窥镜10的摄像元件将来自被摄体的光转换得到的电信号进行转换处理，将该电信号转换成视频信号而生成内窥镜图像，但是这里没有图示。

预测运算部31基于光纤传感器20检测出的插入部11在大肠200 内的配置状态和关于与插入部11的配置状态相应的大肠内窥镜10的操作的蓄积数据，运算关于大肠内窥镜10后续应当进行的操作的信息即后续操作信息。该预测运算部31由大容量存储器和CPU等处理器构成。为了使处理高速化，优选使用GPU(Graphics Processing Unit：图形处理器)或其他专用芯片。

输出电路32将作为预测运算部31运算得到的结果的后续操作信息和未图示的图像处理电路生成的内窥镜图像输出至显示装置40，由显示装置40显示。输出电路32将作为预测运算部31运算得到的结果的后续操作信息输出至显示装置40，将该后续操作信息作为操作辅助信息显示在显示装置40上。内窥镜图像和操作辅助信息可以在显示装置40的显示画面上显示为不同的窗口。显示装置40是液晶显示器等常用的监视器。显示内窥镜图像和操作辅助信息的显示装置也可以是彼此独立的装置。

输出电路32还可以将预测运算部31的运算结果和内窥镜图像输出并保存至设置在控制装置30内或配置在网络上的存储装置，但是这里没有图示。也可以将预测运算部31运算得带的后续操作信息输出至未图示的扬声器等发声装置，将该后续操作信息以提示声音或警告音等的方式输出。

这样，预测运算部31运算得到的关于大肠内窥镜10后续应当进行的操作的信息、即后续应当怎样操作大肠内窥镜10的操作方法，作为操作辅助信息被提示给大肠内窥镜10的操作者。然后，操作者能够按照该提示内容，操作角度旋钮14UD和14RL使插入部11的主动弯曲部弯曲，或进行将插入部11向里推/抽出/扭转等的插入操作，或进行包括送气/送水/抽吸操作在内的各种操作。

下面，对上述预测运算部31进行更详细的说明。

预测运算部31具有机器学习模型、例如图3所示的基于大量蓄积数据的深度学习的神经网络模型31NNM。从形状运算电路25输入的、根据弯曲量计算出的插入部11在大肠200内的配置状态即插入部11 整体的形状信息，被输入至该神经网络模型31NNM。

如图4所示，神经网络模型由包括输入层IR、中间层MR和输出层OR的多个层构成。中间层MR是多层结构。在神经网络模型中，决定神经网络的各种参数PA，以定义输入层IR的输入信息与输出层 OR的输出信息的关系。各种参数PA是神经元NE之间的加权函数等，是以使该函数最优的方式设计得到的值。

在构成预测运算部31的神经网络模型31NNM中，输入层IR的输入信息是插入部11整体的形状信息。输出层OR的输出信息是后续操作信息。即，神经网络模型31NNM根据被输入的插入部11整体的形状信息，运算操作者后续应当进行的操作、例如包括如下所述的操作在内的各种操作中的任一操作或它们的组合：将插入部11向里推的“插入操作”；将插入部11扭转的“扭转操作”；在插入部11设置了可改变挠性管部的硬度的硬度可变部的情况下改变其硬度的“硬度操作”；通过角度旋钮14UD、14RL的操作改变插入部11的主动弯曲部的弯曲角的“角度操作”；使具有作为受检体的大肠200的人体的体位改变的“体位变换指示”；和进行吸气和送气等的“吸气、送气操作”。

这样的神经网络模型31NNM，为了预测使作用于插入部11与大肠200的接触部位的力较小且成为目标形状的操作方法，利用大量蓄积数据构建而成。该蓄积数据是基于熟练者的操作信息和仿真得到的信息而构成的。

即，构建神经网络模型31NNM的蓄积数据包括输入信息和输出信息，输入信息是在时刻(t)熟练者操作时的形状信息和关于形状的信息。输出信息是熟练者后续进行了的作业的信息。这里，后续进行了的作业是指插入部11的扭转操作、推压操作、硬度调节操作、体位变换等操作信息。观察时刻(t)的形状信息与下一时刻(t+1)的形状信息的差异，根据该差异判断对插入部11是进行了扭转操作还是进行了推压操作而生成上述的操作信息。在神经网络模型中，仅将在时刻(t) 和时刻(t+1)形状存在差异的数据作为指导数据来学习。

关于体位变换，如图2中箭头所示，在将插入部11插入横结肠223 时如果进行体位变换，则具有因该图中空心箭头所示的重力G的关系而使插入方向为钝角等的优点，因此进行上述的体位变换。关于该体位变换的信息，也作为蓄积数据被获取。

蓄积数据即所学习的指导数据，包括基于关于插入部11在大肠200 的内部和外部的至少一者的插入状态的信息即插入状态信息分析得到的结果。这里，插入状态信息包括插入部11的前方和侧方的空间大小、插入部11前端有无插入大肠200内、向大肠200内的目的地方向的插入状态、插入部11的挠曲和屈曲的程度、插入部11的规定袢曲形状的形成、规定袢曲形状的大小等中的至少一者。

作为蓄积数据的指导数据还能够包括基于关于受检体自身的信息即受检体信息分析得到的结果。这里，受检体信息包括：对作为受检体的大肠200施加的力的程度、具有大肠200的人体的疼痛程度、插入部11与大肠200的大小比较、大肠200的长度、粘连和憩室等特征形状、手术史、手术疤痕、人体的心率、人体的动作、穿孔信息、内窥镜的故障和处置器具的故障等中的至少一者。

关于作为蓄积数据的指导数据，例如优选考虑直到上述插入部11 的规定袢曲形状被解除为止的期间、作用于插入部11的挠性管部的接触部位的力即外力，在该外力较大的情况下，不学习上述的指导数据。关于外力信息，可以根据插入部11的形状来计算，也可以通过仿真来计算。在通过该仿真来计算的情况下，可以学习通过有限元法(FEM) 和多体动力学分析等仿真而探明的上述外力变小的最优的解除方法。外力是指作用于S-top225附近的力和作用于横结肠223的力等。袢曲形状的解除方法是通过优化运算(局部优化法或全局优化法)而探明的操作方法。这样学习得到的神经网络模型31NNM如图4所示的那样被构建得到。

参照图5，对包括具有这样的神经网络模型31NNM的预测运算部 31的内窥镜装置1的插入辅助控制动作进行说明。

首先，光纤传感器20的光源22使光入射至光纤21，受光部23 利用设置在光纤21的被检测部26测量传输量与弯曲状态相应地发生了变化的光的光量(步骤S11)。然后，光纤传感器20的弯曲量运算电路24根据受光部23测量得到的光量的变化运算各被检测部26处的弯曲量，形状运算电路25基于该弯曲量运算电路24运算得到的弯曲量运算光纤21的形状即插入部11的形状(步骤S12)。形状运算电路25 将表示运算得到的插入部11的形状的形状信息输入至预测运算部31 (步骤S13)。

预测运算部31通过神经网络模型31NNM运算最恰当的后续操作者操作即后续操作信息(步骤S14)。然后，预测运算部31将作为运算结果的后续操作信息输出至输出电路32，输出电路32通过使显示装置 40显示后续操作信息，对操作者提示表示后续应当进行怎样的操作的操作辅助信息(步骤S15)。之后，从上述步骤S11起反复进行步骤S11～步骤S15。

通过如上所述的那样反复执行上述步骤S11～步骤S15的流程，例如在插入部11形成了袢曲形状、且适于解除该袢曲形状的形状是直线形状时，预测运算部31能够运算如下所述的后续操作信息，并提示操作辅助信息。即，首先对操作者提示“推”这一插入操作，之后在插入部11开始弯曲而变为圆筒形状时，发出“改变硬度”这一硬度改变操作指示、“改变体位”这一体位变换指示等。然后，在插入部11成为了适于解除袢曲的形状时，对操作者发出“向右扭转”或“向左扭转”等扭转操作指示、以及“推”或“拉”等插入操作指示。

在如上所述地执行上述步骤S11～步骤S15的流程的期间，例如操作者通过对设置于控制装置30或与控制装置30连接的未图示的输入开关进行操作而发出结束指示时，结束该流程。

如上所述，作为第一实施方式的管状插入装置的内窥镜装置1包括：将构成为挠性管部的插入部11插入作为受检体的大肠200内的作为管状装置的大肠内窥镜10；检测插入部11在大肠200内的配置状态 (例如插入部11的形状信息)的传感器(例如光纤传感器20)；预测运算部31，其具有神经网络模型31NNM，该神经网络模型31NNM是基于光纤传感器20检测出的插入部11的形状信息和关于与插入部11 的各形状信息相应的大肠内窥镜10的操作的蓄积数据，运算关于大肠内窥镜10后续应当进行的操作的信息即后续操作信息的机器学习模型；和输出预测运算部31运算得到的后续操作信息的输出电路32。

因此，依照作为第一实施方式的管状插入装置的内窥镜装置1，能够根据当前的插入部11的形状获取最恰当的操作辅助信息，因此能够输出与插入状况相应的准确的操作信息作为操作辅助信息。

例如，在进行大肠内窥镜检查时难以学会乙状结肠221部分的内窥镜插入手法。尤其是经验少的不熟练的操作者难以使插入部11的前端进入位于可动肠道的弯曲部的前方的下一场肠腔。但是，依照本实施方式，通过由内窥镜装置1提供恰当的插入辅助，能够使操作者的操作变得容易。因此，经验少的操作者也能够进行与熟练的操作者相仿的操作。

在图3所示的神经网络模型31NNM中，输入信息是形状信息。作为输入信息，可以将插入部11的形状信息直接输入，但是也可以输入根据形状信息计算得到的特征性的形状等。该特征性的形状例如包括插入部11的拐点(弯曲方向反转的部位)的数量、各拐点处的曲率的大小等。作为形状信息以外的信息，可以输入图像信息、硬度调节信息、角度操作量等。

[第二实施方式]

参照图6至图8，对本发明的第二实施方式进行说明。在下面的说明中，主要说明与第一实施方式的不同之处，对与第一实施方式相同的结构等赋予与第一实施方式相同的参照附图标记，省略其说明。

第一实施方式中用1个神经网络模型31NNM仿真全部动作，但为了用1个模型获取最适合于整个大肠200的操作辅助信息，需要庞大的数据的学习量。于是，在本第二实施方式中，将神经网络模型31NNM 构建成与图2所示的大肠200的各部分对应的多个神经网络模型。例如，如图6所示，预测运算部31具有与S-top225附近对应的S-top附近模型31NNM1、与升结肠224附近对应的升结肠附近模型31NNM2、与降结肠222附近对应的降结肠附近模型31NNM3、与横结肠附近223 对应的横结肠附近模型31NNM4、与盲肠230附近对应的盲肠附近模型31NNM5、与SF227附近对应的脾曲附近模型31NNM6、和与HF228 附近对应的肝曲附近模型31NNM7等。

在从形状运算电路25输入了未学习的数据即初始的形状信息时，为了不使操作者进行不恰当的操作，预测运算部31也可以具有通过仿真模型31SM实时地运算关于后续应当进行的操作的替代信息的仿真器等。例如，预测运算部31使用仿真模型计算作用于插入大肠200内的插入部11的与大肠200的接触部位的力量，作为替代信息来运算使该力量变小的解除方法。

对于是否是未学习的数据，例如能够根据光纤传感器20检测出的插入部11的形状信息与神经网络模型31NNM的蓄积数据的匹配度是否较低、即与学习了的指导数据的差别是否较大来进行判断。或者，也可以具有预先对各种形状和NG形状进行了学习的神经网络模型。在此情况下，有意生成若干图案的、与为了运算后续操作信息而使神经网络模型31NNM学习了的形状明显不同的形状等，进而对其学习即可。

这里，参照图7，对本实施方式的内窥镜装置1的插入辅助控制动作进行说明。其中，步骤S21～步骤S23与第一实施方式的步骤S11～步骤S13是相同的，因此省略其说明。

预测运算部31基于被输入的插入部11的形状信息，研究应该用哪个神经网络模型(步骤S24)。如果有可用的神经网络模型(步骤S25 的“是”)，则预测运算部31选择该神经网络模型并输入插入部11的形状信息，用该神经网络模型运算最恰当的后续操作者操作即后续操作信息(步骤S26)。

如果没有可用的神经网络模型(步骤S25的“否”)，则预测运算部31用仿真模型31SM运算并非最优、但不危险的后续操作者操作即替代操作信息(步骤S27)。也可以将这样得到的替代操作信息作为新的蓄积数据即指导数据登记至与插入部11的形状信息相应的神经网络模型中。

这样，当运算得到后续操作信息或替代操作信息时，预测运算部 31将作为其运算结果的后续操作信息或替代操作信息输出至输出电路 32，输出电路32通过将其显示在显示装置40上而对操作者提示表示后续应当进行怎样的操作的操作辅助信息(步骤S28)。之后，从上述步骤S21起反复进行步骤S21～步骤S28。

在如上所述地执行上述步骤S21～步骤S28的流程的期间，例如操作者通过对设置于控制装置30或与控制装置30连接的未图示的输入开关进行操作而发出结束指示时，结束该流程。

如上所述，依照作为第二实施方式的管状插入装置的内窥镜装置 1，预测运算部31具有可根据插入部11的配置状态例如形状信息而选择的多个神经网络模型(31NNM1～31NNM7)，按照光纤传感器20检测出的插入部11在大肠200内的形状信息切换用于运算后续操作信息的神经网络模型。

这样，通过使用用可限定于S-top225等部位的模式构建的神经网络模型，能够运算更恰当的后续操作信息，减少给出错误操作指示的概率。并且，能够提示符合各种操作者的操作的最恰当的后续操作信息。进而，因为是符合各部位的神经网络模型，所以对于1个模型能够用少量的蓄积数据构建高精度的神经网络模型。

也可以将与大肠200的各部对应的神经网络模型进一步细分，使用与操作者的操作手法相应的神经网络模型。例如，如果是S-top附近模型31NNM1，则包括：与已知作为一种插入手法的推镜法对应的推镜法模型31NNM1A、及与已知作为一种插入手法的轴保持缩短法对应的轴保持缩短法模型31NNM1B等。如果根据插入部11的形状信息判断为在S-top225附近、操作者谋求用推镜法解除袢曲，则使用推镜法模型31NNM1A，如果判断为谋求用轴保持缩短法，则使用轴保持缩短法工作模型31NNM1B，运算后续操作信息。此外，也可以构建与插入部11产生的袢曲形状对应的神经网络模型。例如，如果是S-top附近模型31NNM1，则包括与α袢曲形状对应的α袢曲模型31NNM1a等。如果根据插入部11的形状信息判断为形成了α袢曲，则使用α袢曲模型31NNM1a来运算后续操作信息。

依照本实施方式，预测运算部31具有构成为后备处理部31BUP 的仿真器等，在光纤传感器20检测出的插入部11的形状信息与蓄积数据的匹配度较低(与学习了的指导数据的差别较大)的情况下，所述后备处理部31BUP用与后续操作信息的运算方法(神经网络模型) 不同的运算方法(仿真模型)获取关于大肠内窥镜10后续应当进行的操作的替代信息。这样，即使输入了未学习的形状信息，也能够消除使操作者进行不恰当的操作、尤其是危险操作的情况。

依照本实施方式，预测运算部31具有登记部31REG，该登记部 31REG基于光纤传感器20检测出的插入部11的形状信息和上述替代信息，进行蓄积数据的强化。因此，在被输入了未学习数据时，能够将后备处理部31BUP运算得到的替代操作信息用作新的学习数据。

后备处理部31BUP也可以通过熟练的操作者等进行未学习的操作，新生成指导数据31TD。该指导数据31TD可以作为替代操作信息提示给经验少的操作者，也可以通过登记部31REG登记为新的学习数据。关于该登记，可以按照操作者的级别进行登记。例如，所谓按照操作者的级别进行登记，可以是，按照解除袢曲形状时作用于插入部 11的接触部位的力即外力的力量，在外力较大的情况下登记为低级别的解除方法，在外力较小的情况下登记为高级别的解除方法等。

或者，后备处理部31BUP也可以为了不使操作者进行不恰当的操作，而不进行操作辅助。即，后备处理部31BUP在光纤传感器20检测出的插入部11的形状信息与蓄积数据的匹配度低(与学习了的指导数据的差别大)的情况下，对输出电路32输出不能运算之结果，输出电路32在被输入了该不能运算之结果时，不将该不能运算之结果输出至显示装置40，或者使显示装置40提示不能输出后续操作信息的信息。

如果预测运算部31具有通信功能，则后备处理部31BUP还可以通过网络NET，由高性能计算机等高速地进行袢曲解除运算。即，后备处理部31BUP经网络NET，对使用仿真模型SM运算替代信息的服务器装置请求运算替代信息，并经网络NET从服务器装置接收作为运算结果的替代信息。在此情况下也可以构成为，不仅将接收到的替代信息经输出电路32提示给操作者，还通过登记部31REG将接收到的替代信息登记为新的学习数据。

或者，后备处理部31BUP也可以通过网络NET，实时地将形状信息等信息发送给其他操作者、例如操作熟练的医生(Dr)等，接收来自其他操作者的反馈(Dr指示DR)。即，后备处理部31BUP经网络 NET向用于输入替代信息的输入装置发出替代信息的发送请求，并经网络NET接收从输入装置发送来的替代信息。在此情况下也可以构成为，不仅将接收到的替代信息经输出电路32提示给操作者，还通过登记部31REG将接收到的替代信息登记为新的学习数据。

除此以外，后备处理部31BUP也可以通过网络NET对提供神经网络模型的提供者发送未学习数据，将该未学习数据存储在上述提供者的数据库DB中，用作提供者下次提供的神经网络模型用的指导数据。

关于后备处理部31BUP进行上述的哪一种动作，例如可以由操作者对设置于控制装置30或与控制装置30连接的未图示的输入开关进行操作来选择。

对各神经网络模型的分类，也可以不基于利用形状信息的深度学习来进行，而基于其他机器学习、例如使用bag of words等算法来进行。也可以基于时间序列的数据进行模型分类等。例如，如果是大肠200，则插入部11在通过S-top225、进而通过乙状结肠221和降结肠222后到达SF227，因此不会在通过S-top225后突然到达SF227。因此，也可以按照插入量或时间序列的顺序等进行分类。通过采用这样的结构，能够高精度地对操作者提供最恰当的操作辅助。

关于提示的后续操作信息或替代操作信息，可以按照操作大肠内窥镜10的操作者的级别使该后续操作信息或替代操作信息不同，包括提示或不提示在内。优选预先构成为，操作者的级别例如能够通过对设置在控制装置30或与控制装置30连接的未图示的输入开关进行的操作而被切换。

预测运算部31也可以具有操作恰当性验证部31VAL，该操作恰当性验证部31VAL按照运算得到的后续操作信息来判断是否正确地进行了操作。并且，操作恰当性验证部31VAL具有在其判断结果是否定的情况下、切换至其他神经网络模型使其运算后续操作信息的反馈路径。该反馈路径能够包括操作的停止指示或操作的减速指示。

例如，预测运算部31基于被输入的插入部11的形状信息选择神经网络模型，用所选择的模型运算后续操作信息，经输出电路32在显示装置40上作为辅助信息提示后续应当进行的操作的指示。操作者按照指示进行操作。操作恰当性验证部31VAL如图8所示的那样，对操作者按照后续操作信息进行操作的情况下插入部应当形成的形状的形状信息(即，与后续操作信息对应的形状信息)、与光纤传感器20检测出的插入部11在大肠200内的实际的形状信息进行比较验证。在两者不同的情况下，操作恰当性验证部31VAL使预测运算部31选择其他神经网络模型。例如，在存在粘连时等，即使按照指示进行了操作，也会发生插入部11不能前进等现象。操作恰当性验证部31VAL根据形状信息运算插入部11对外部施加的力量等，在力量过大等时判断为没有进行正确的操作，为了指示适合此情况的操作，改变神经网络模型的选择。

这样，即使在操作者没有按照指示操作的情况下，或者成为与预想不同的插入状态的情况下，也能够尽快地进行反馈。

预测运算部31也可以具有分析操作者进行的大肠内窥镜10的操作的分析部31ANA。分析部31ANA基于向作为受检体的大肠200的目的地方向的插入状态的良好性，进行评级、蓄积数据分类等分析。这里，所谓的插入状态的良好性包括：是否顺畅、速度是否恰当、到达时间是否恰当、是否存在漏看、是否形成了袢曲、形成的袢曲是否较小、对受检体的负荷是否较少、是否伴随图像判断而发生了偶发症状、画面前方的前进阻碍程度是否较小、是否使肠道处于图像中心、是否进行了大幅度的插入部11动作等。通过进行该评级，在对某一形状信息运算出多个后续操作信息时，能够优先地提示与级别高的操作者操作对应的后续操作信息。或者，医院等通过选择、共享与患者的插入难度相应的操作者的最优配置和优质的操作，能够作出减轻患者负担、提高医疗品质这样的贡献等有效的应用。

登记部31REG也可以基于该分析部31ANA的结果，进行蓄积数据的强化。这样，对于不太需要后续操作信息的提示的熟练的操作者，通过停止后续操作信息的运算功能，使其承担强化蓄积数据的任务，实现系统整体性能的提高。

在本实施方式中，后备处理部31BUP在光纤传感器20检测出的插入部11的形状信息与学习了的指导数据的差别较大时，视为输入了未学习的数据而进行替代操作信息的运算，但也可以在确认到后续操作信息在时间序列上的连续性消失时，进行替代信息的运算。例如在正进行用于解除袢曲形状的操作的期间、作为后续操作信息获得了与该解除袢曲形状的操作不同的操作的情况等下，进行替代信息的运算。

[第三实施方式]

参照图9至图12，对本发明的第三实施方式进行说明。下面主要说明与第一实施方式的不同之处，对于与第一实施方式相同的结构等，赋予与第一实施方式相同的参照附图标记，省略其说明。

第一实施方式中，预测运算部31具有神经网络模型31NNM等机器学习模型，但本第三实施方式中的预测运算部31如图9所示的那样，代替机器学习模型而具有仿真模型31SM。在此情况下，可以通过仿真模型31SM获知施加了操作量Δ时的外力信息和形状信息怎样变化，提示最恰当的操作方法作为操作辅助信息。其中，所谓的操作量，是插入部11的插入量、扭转量等。在插入部11具有硬度可变部的情况下，操作量能够包括硬度信息。这里，之所以使用硬度信息作为操作量，其原因是，当硬度值被改变时，仿真模型31SM的刚性值被改变，发生对形状变化等的影响。

预测运算部31例如在插入部11的当前形状是袢曲形状或内窥镜失去向前端前进的力而不能前进时的形状(stuck形状)等时，用仿真模型31SM分析为了使插入部11成为适于解除袢曲形状或弯多次的形状的合适形状、采用哪种操作方法好。所谓合适形状，例如如图10所示的那样，是指使N字形状的插入部11成为直线形状的情况等。袢曲形状的解除方法是通过优化运算(局部优化法、全局优化法)获知的操作方法。

这里，参照图12，对本实施方式的内窥镜装置1的插入辅助控制动作进行说明。其中，步骤S31～步骤S33与第一实施方式的步骤S11～步骤S13是相同的，因此省略其说明。

在预测运算部31中，将被输入的插入部11的形状信息输入至仿真模型31SM(步骤S34)。并且，预测运算部31将操作量信息输入至仿真模型31SM(步骤S35)。仿真模型31SM基于被输入的形状信息和操作量信息进行优化运算(步骤S36)。在通过该优化运算未能获得目标形状即合适形状的情况下(步骤S37的“否”)，返回至上述步骤 S35，预测运算部31将其他操作量信息输入至仿真模型31SM。

如果通过反复进行这样的步骤S35～步骤S37的流程，能够通过优化运算获得目标形状即合适形状(步骤S37的“是”)，则预测运算部 31将此时的操作量信息作为运算结果即后续操作信息输出至输出电路 32，输出电路32将其显示显示装置40上，这样对操作者提示表示后续应当进行怎样的操作的操作辅助信息(步骤S38)。之后，从上述步骤S31起反复进行步骤S31～步骤S38。

在如上所述地执行上述步骤S31～步骤S38的流程的期间，例如操作者通过对设置于控制装置30或与控制装置30连接的未图示的输入开关进行操作而发出结束指示时，结束该流程。

仿真模型31SM因为需要实时地进行分析，所以通过采用将输入输出关系变换成了近似式的简易的仿真模型，能够进行高速运算。

另一方面，进行详细的仿真的有限元法或多体动力学分析不能实时地运算。因此，仿真模型31SM可以如图11所示的那样，使用这样的一种神经网络模型，其在输入信息将形状信息和各操作量Δ(有时也包括硬度信息)作为输入值，将输入操作量Δ后的形状和插入部11 接触肠道的内壁时的力量信息作为输出值。该神经网络模型是根据大量的仿真的输入输出信息，将它们的关系生成为神经网络模型而得到的。

所生成的神经网络模型是能够进行高精度且高速的运算的仿真器，因此能够实时地进行收敛运算，能够对操作者提供使作用于插入部11的接触部位的力变小的解除方法。

如上所述，依照作为第三实施方式的管状插入装置的内窥镜装置 1，预测运算部31能够用仿真模型31SM运算后续操作信息，将其作为操作辅助信息提示给操作者。

本第三实施方式的管状插入装置，与第二实施方式同样地也可以按照受检体的各部分将仿真模型31SM细分。

上面，以包括大肠内窥镜10的内窥镜装置1为例说明了本发明的各实施方式，但本发明的管状插入装置并不限定于内窥镜装置，只要是具有挠性管部的管状装置即可。例如，也可以是作为受检体以大肠 200之外的其他体腔为对象的医疗用内窥镜，还可以是以配管等管腔或发动机等为对象的工业用内窥镜。

此外，本发明不限于由操作者进行挠性管部的插入操作的方式，也能够应用于自动地将挠性管部插入受检体内的机器人技术等中。在此情况下，输出电路32通过将预测运算部31运算得到的关于后续应当进行的操作的信息不输出至显示装置40而输出至机器人控制部，或者将该信息既输出至显示装置40也输出至机器人控制部，能够进行基于该信息的自动操作。这样，操作管状装置的操作者不限于人，也可以是机械。

本发明不限定于上述实施方式，能够在实施阶段在不脱离其主旨的范围内进行各种变形。各实施方式可以在可能的范围内适当组合地实施，在此情况下能够获得组合的效果。此外，上述实施方式包括各个阶段的发明，通过将所记载的多个构成要件适当地组合能够抽取出各种发明。

Claims (19)

1.一种管状插入装置，其特征在于，包括：

可将挠性管部插入受检体内的管状装置；

检测所述挠性管部在所述受检体内的配置状态的传感器；

预测运算部，其基于所述传感器检测出的所述配置状态、和关于与所述挠性管部的各配置状态相应的所述管状装置的操作的蓄积数据，运算关于所述管状装置后续应当进行的操作的信息即后续操作信息或替代操作信息；和

输出电路，其输出所述预测运算部运算得到的所述后续操作信息或替代操作信息，

所述预测运算部具有基于所述蓄积数据的多个机器学习模型和仿真模型，

所述预测运算部基于所述配置状态，研究应该用哪个机器学习模型，如果有可用的机器学习模型，则用该机器学习模型运算最恰当的后续操作者操作即后续操作信息，如果没有可用的机器学习模型，则用所述仿真模型运算并非最优、但不危险的后续操作者操作即替代操作信息。

2.如权利要求1所述的管状插入装置，其特征在于：

所述蓄积数据是基于关于所述挠性管部在所述受检体的内部和外部的至少一者的插入状态的信息即插入状态信息进行分析得到的结果。

3.如权利要求1所述的管状插入装置，其特征在于：

所述蓄积数据是基于关于所述受检体的信息即受检体信息进行分析得到的结果。

4.如权利要求1所述的管状插入装置，其特征在于：

所述机器学习模型和/或所述仿真模型，是基于关于所述管状装置的操作的大量的所述蓄积数据而构建的。

5.如权利要求1所述的管状插入装置，其特征在于：

所述预测运算部运算的所述后续操作信息包括如下所述的信息中的至少一者：所述挠性管部的扭转方向的信息；设置在所述挠性管部的主动弯曲部的弯曲方向的信息；所述挠性管部插入所述受检体内的插入量的信息；应当利用所述挠性管部所具有的硬度可变部改变的所述挠性管部的硬度的信息；和所述受检体的体位变换的指示的信息。

6.如权利要求1所述的管状插入装置，其特征在于：

所述预测运算部具有可根据所述挠性管部的配置状态而选择的多个所述蓄积数据，按照所述传感器检测出的所述挠性管部在所述受检体内的所述配置状态，切换用于运算所述后续操作信息的所述蓄积数据。

7.如权利要求1所述的管状插入装置，其特征在于：

所述预测运算部具有操作恰当性验证部，该操作恰当性验证部按照运算得到的所述后续操作信息判断是否正确地进行了操作。

8.如权利要求7所述的管状插入装置，其特征在于：

所述预测运算部具有多个基于所述蓄积数据的仿真模型，

所述操作恰当性验证部具有在所述判断的结果是否定的情况下、使所述预测运算部切换至其他模型来运算所述后续操作信息的反馈路径。

9.如权利要求7所述的管状插入装置，其特征在于：

所述操作恰当性验证部具有对与所述输出电路输出的所述后续操作信息对应的所述挠性管部的配置状态、与所述传感器检测出的所述挠性管部在所述受检体内的实际的配置状态的不同进行比较验证的功能。

10.如权利要求1所述的管状插入装置，其特征在于：

所述预测运算部在所述传感器检测出的所述配置状态与所述蓄积数据的匹配度低的情况下，对所述输出电路输出不能运算之结果，

在从所述预测运算部对所述输出电路输入了所述不能运算之结果时，所述输出电路不输出该不能运算之结果，或者输出表示不能输出所述预测运算部运算得到的所述后续操作信息的信息。

11.如权利要求1所述的管状插入装置，其特征在于：

所述预测运算部具有后备处理部，在所述传感器检测出的所述配置状态与所述蓄积数据的匹配度低的情况下，所述后备处理部用与所述后续操作信息的运算方法不同的运算方法获取关于所述管状装置后续应当进行的操作的替代信息。

12.如权利要求11所述的管状插入装置，其特征在于：

所述后备处理部，经网络对用于输入所述替代信息的输入装置请求发送所述替代信息，并经所述网络接收从所述输入装置发送来的所述替代信息。

13.如权利要求1所述的管状插入装置，其特征在于：

所述预测运算部按照操作所述管状装置的操作者的级别切换所述后续操作信息。

14.如权利要求1所述的管状插入装置，其特征在于：

所述仿真模型根据输入输出关系被变换成机器学习模型或近似式。

15.如权利要求1所述的管状插入装置，其特征在于：

所述预测运算部还具有分析操作者进行的所述管状装置的操作的分析部。

16.如权利要求15所述的管状插入装置，其特征在于：

所述预测运算部还具有基于所述分析部的结果进行所述蓄积数据的强化的登记部。

17.如权利要求1所述的管状插入装置，其特征在于：

所述管状装置是内窥镜。

18.一种管状插入装置，其特征在于，包括：

可将挠性管部插入受检体内的管状装置；

检测所述挠性管部在所述受检体内的第一配置状态的传感器；

预测运算部，其将所述传感器检测出的所述第一配置状态和规定的操作量信息输入至仿真模型，基于被输入的所述第一配置状态和所述操作量信息进行优化运算，在通过所述优化运算获得了目标形状时，将此时的操作量信息决定为关于后续应当进行的操作的信息即后续操作信息；和

输出所述预测运算部所决定的所述后续操作信息的输出部。

19.一种管状插入装置的工作方法，所述管状插入装置包括：可将挠性管部插入受检体内的管状装置；检测所述挠性管部在所述受检体内的配置状态的传感器；和基于所述传感器的检测结果输出操作辅助信息的控制装置，所述管状插入装置的工作方法的特征在于，包括：

通过所述控制装置，基于所述传感器检测出的所述配置状态、和关于与所述挠性管部的各配置状态相应的所述管状装置的操作的蓄积数据，运算关于所述管状装置后续应当进行的操作的信息即后续操作信息或替代操作信息，将运算得到的所述后续操作信息或替代操作信息作为所述操作辅助信息输出，

所述控制装置具有基于所述蓄积数据的多个机器学习模型和仿真模型，

所述控制装置基于所述配置状态，研究应该用哪个机器学习模型，如果有可用的机器学习模型，则用该机器学习模型运算最恰当的后续操作者操作即后续操作信息，如果没有可用的机器学习模型，则用所述仿真模型运算并非最优、但不危险的后续操作者操作即替代操作信息。

Images