CN114206191A - 内窥镜控制装置、内窥镜插入形状分类装置、内窥镜控制装置的工作方法和程序 - Google Patents

Abstract

内窥镜控制装置具有：插入形状分类部，其得到将插入于被检体内的内窥镜插入部的插入形状的种类分类为规定的多个种类中的一个种类的分类结果；以及控制部，其基于分类结果进行与内窥镜插入部的插入操作相关的控制。

Description

内窥镜控制装置、内窥镜插入形状分类装置、内窥镜控制装置 的工作方法和程序

技术领域

本发明涉及内窥镜控制装置、内窥镜插入形状分类装置、内窥镜控制装置的工作方法和程序。

背景技术

在内窥镜观察中，进行用于将具有挠性的细长的插入部向被检体内的深部插入的插入操作。此外，在内窥镜领域中，以往提出了用于支援插入部的插入操作的技术。

具体而言，例如在日本专利第4274854号公报中公开了如下结构：在对插入体腔内的内窥镜插入部的插入形状进行解析的内窥镜插入形状解析装置中，在通过该内窥镜插入部的插入操作而形成环时，显示用于解除该环而使该内窥镜插入部直线化的操作方法。

这里，在内窥镜领域中，近年来正在研究用于使插入部的插入操作自动化的技术。

但是，在日本专利第4274854号公报中没有特别提及用于使插入部的插入操作自动化的具体的控制方法等。因此，根据日本专利第4274854号公报所公开的结构，例如产生如下课题：无法进行与供插入部插入的被检体的内部状态的个体差异以及该被检体的内部的该插入部的插入形状在时间上的变化等这样的该插入部的插入状况相应的适当的插入控制。

本发明是鉴于前述的情况而完成的，其目的在于，提供能够进行与插入部的插入状况相应的适当的插入控制的内窥镜控制装置、内窥镜插入形状分类装置、内窥镜控制装置的工作方法和。

发明内容

本发明的一个方式的内窥镜控制装置使用与插入于被检体内的内窥镜插入部的插入形状有关的信息来进行与所述内窥镜插入部的插入操作相关的控制，具有：插入形状分类部，其得到将插入于被检体内的内窥镜插入部的插入形状的种类分类为规定的多个种类中的一个种类的分类结果；以及控制部，其基于所述分类结果，进行与所述内窥镜插入部的插入操作相关的控制。

本发明的另一方式内窥镜控制装置使用与插入于被检体内的内窥镜插入部的插入形状有关的信息来进行与所述内窥镜插入部的插入操作相关的控制，具有：插入形状要素提取部，其提取与插入于被检体内的内窥镜插入部的插入形状相关的1个以上的结构要素，得到提取结果；以及控制部，其基于所述提取结果进行与所述内窥镜插入部的插入操作相关的控制。

本发明的一个方式的内窥镜插入形状分类装置具有：插入形状信息取得部，其取得与插入于被检体内的内窥镜插入部的插入形状有关的信息；插入形状分类部，其得到将所述内窥镜插入部的插入形状的种类分类为规定的多个种类中的一个种类的分类结果；以及输出部，其输出所述分类结果。

本发明的一个方式的内窥镜控制装置的工作方法，该内窥镜控制装置使用与插入于被检体内的内窥镜插入部的插入形状有关的信息来进行与所述内窥镜插入部的插入操作相关的控制，其中，插入形状分类部进行用于得到将插入于被检体内的内窥镜插入部的插入形状的种类分类为规定的多个种类中的一个种类的分类结果的处理；以及控制基于所述分类结果进行与所述内窥镜插入部的插入操作相关的控制。

本发明的另一方式的内窥镜控制装置的工作方法，该内窥镜控制装置使用与插入于被检体内的内窥镜插入部的插入形状有关的信息来进行与所述内窥镜插入部的插入操作相关的控制，其中，插入形状要素提取部进行用于提取与插入于被检体内的内窥镜插入部的插入形状相关的1个以上的结构要素并得到提取结果的处理；以及控制部基于所述提取结果进行与所述内窥镜插入部的插入操作相关的控制。

本发明的一个方式的程序用于使计算机执行：用于得到将插入于被检体内的内窥镜插入部的插入形状的种类分类为规定的多个种类中的一个种类的分类结果的处理；以及基于所述分类结果的与所述内窥镜插入部的插入操作相关的控制。

本发明的一个方式的程序用于使计算机执行：用于提取与插入于被检体内的内窥镜插入部的插入形状相关的1个以上的结构要素并得到提取结果的处理；以及基于所述提取结果的与所述内窥镜插入部的插入操作相关的控制。

附图说明

图1是示出包含本发明的第1实施方式的内窥镜控制装置的内窥镜系统的要部的结构的图。

图2是用于说明第1实施方式的内窥镜系统的具体结构的框图。

图3是示出在第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图4A是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图4B是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图5A是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图5B是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图6A是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图6B是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图7A是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图7B是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图8A是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图8B是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图9A是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图9B是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图10是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图11A是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图11B是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图12A是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图12B是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

图13A是示出使用在第1实施方式的内窥镜系统中记录的信息使插入部的插入形状的种类的时间的推移可视化的情况的一例的图。

图13B是示出使用在第1实施方式的内窥镜系统中记录的信息使插入部的插入形状的种类的时间的推移可视化的情况的一例的图。

图13C是示出使用在第1实施方式的内窥镜系统中记录的信息使插入部的插入形状的种类的时间的推移可视化的情况的一例的图。

图14是用于说明在第1实施方式的变形例的内窥镜系统中进行的控制的概要的流程图。

图15A是示出在实施方式的内窥镜系统中生成的内窥镜图像的一例的图。

图15B是示出在针对图15A的内窥镜图像进行了用于检测管腔区域的位置的处理的情况下得到的处理结果图像的一例的图。

图15C是用于说明在得到了图15B的处理结果图像的情况下进行的控制的图。

图16是用于说明第2实施方式的内窥镜系统的具体结构的框图。

图17A是示出表示从第2实施方式的内窥镜系统中生成的插入形状图像中提取与插入部的插入形状关联的结构要素得到的提取结果的图像的一例的图。

图17B是示出表示从第2实施方式的内窥镜系统中生成的插入形状图像中提取与插入部的插入形状关联的结构要素得到的提取结果的图像的一例的图。

图17C是示出表示从第2实施方式的内窥镜系统中生成的插入形状图像中提取与插入部的插入形状关联的结构要素得到的提取结果的图像的一例的图。

图17D是示出表示从第2实施方式的内窥镜系统中生成的插入形状图像中提取与插入部的插入形状关联的结构要素得到的提取结果的图像的一例的图。

具体实施方式

以下参照附图对本发明的实施方式进行说明。

(第1实施方式)

图1到图15C是第1实施方式的附图。

例如，如图1所示，内窥镜系统1构成为具有内窥镜10、主体装置20、插入形状检测装置30、外力信息取得装置40、输入装置50、显示装置60。图1是示出包含实施方式的内窥镜控制装置的内窥镜系统的要部的结构的图。

内窥镜10构成为具有被插入被检体内的插入部11、设于插入部11的基端侧的操作部16、从操作部16延伸设置的通用缆线17。这里，内窥镜10构成为经由设于通用缆线16的端部的镜体连接器(未图示)，相对于主体装置20拆装自如地连接。

另外，在上述的插入部11、操作部16和通用缆线17的内部设有用于传送从主体装置20供给的照明光的光导(未图示)。

插入部11构成为具有挠性和细长形状。此外，插入部11构成为从前端侧依次设置有硬质的前端部12、弯曲自如地形成的弯曲部13、具有挠性的长型的可挠管部14。

此外，在前端部12、弯曲部13和可挠管部14的内部，沿着插入部11的长度方向以规定的间隔配置有多个源线圈18，该多个源线圈18产生与从主体装置20供给的线圈驱动信号相应的磁场。

在前端部12设有照明窗(未图示)，该照明窗用于向被摄体射出由设于插入部11的内部的光导传送的照明光。此外，在前端部12设有摄像部110(图1中未图示)，该摄像部110构成为进行与从主体装置20供给的摄像控制信号相应的动作，并且对被经由照明窗射出的照明光照明的被摄体进行摄像而输出摄像信号。

弯曲部13构成为能够根据后述的弯曲控制部242的控制而弯曲。此外，弯曲部13构成为能够根据设于操作部12的角度旋钮(未图示)的操作而弯曲。

操作部16构成为具备能够由医生等用户把持而进行操作的形状。这里，在操作部16设有角度旋钮，该角度旋钮构成为能够进行用于使弯曲部13在与插入部11的长度轴交叉的上下左右这4个方向弯曲的操作。此外，在操作部16设有能够进行与用户的输入操作相应的指示的1个以上的镜体开关(未图示)。

如图1所示，主体装置20构成为具有1个以上的处理器20P、存储介质20M。此外，主体装置20构成为经由通用缆线17而以拆装自如的方式与内窥镜10连接。

此外，主体装置20构成为以拆装自如的方式与插入形状检测装置30、输入装置50和显示装置60的各部连接。此外，主体装置20构成为进行与来自输入装置50的指示相应的动作。此外，主体装置20构成为基于从内窥镜10输出的摄像信号生成内窥镜图像，并且进行用于使该生成的内窥镜图像显示于显示装置60的动作。

在本实施方式中，主体装置20构成为生成并输出用于控制内窥镜10的动作的各种控制信号。此外，主体装置20具有作为内窥镜控制装置的功能，并且构成为使用从插入形状检测装置30输出的插入形状信息(后述)来进行插入部11的插入操作的控制。

并且，主体装置20构成为生成与从插入形状检测装置30输出的插入形状信息相应的插入形状图像，并且进行用于使该生成的插入形状图像显示于显示装置60的动作。

插入形状检测装置30构成为检测从设于插入部11的源线圈18分别发出的磁场，并且基于该检测到的磁场的强度来取得多个源线圈18各自的位置。此外，插入形状检测装置30构成为生成表示如前述那样取得的多个源线圈18各自的位置的插入形状信息，并将插入形状信息向主体装置20和外力信息取得装置40输出。

即，插入形状检测装置30构成为检测被插入被检体内的插入部的插入形状而取得插入形状信息，并且将该取得的插入形状信息向主体装置20和外力信息取得装置40输出。

在外力信息取得装置40中，例如存储有未被施加外力的状态下的插入部11的规定的多个位置的曲率(或曲率半径)和弯曲角度的数据、在从预想的所有方向对插入部11的任意位置施加了规定的外力的状态下取得的该规定的多个位置的曲率(或曲率半径)和弯曲角度的数据。

本实施方式中外力信息取得装置40例如构成为，基于从插入形状检测装置30输出的插入形状信息来确定设于插入部11的多个源线圈18各自的位置，基于该多个源线圈18各自的位置处的曲率(或曲率半径)和弯曲角度，参照预先存储的各种数据，从而取得该多个源线圈18各自的位置处的外力的大小和方向。

并且，外力信息取得装置40构成为，生成并向主体装置20输出外力信息，该外力信息表示如前述那样取得的多个源线圈18各自的位置处的外力的大小和方向。

另外，在本实施方式中，作为用于外力信息取得装置40计算设于插入部11的多个源线圈18各自的位置处的外力的方法，可以使用日本专利第5851204号公报所公开的方法，或者也可以使用日本专利第5897092号公报所公开的方法。

此外，在本实施方式中，例如，在插入部11中设有应变传感器、压力传感器、加速度传感器、陀螺仪传感器和无线元件等电子部件的情况下，也可以构成为，外力信息取得装置40基于从该电子部件输出的信号来计算多个源线圈18各自的位置处的外力。

输入装置50构成为例如具有鼠标、键盘和触摸面板等这样的由用户操作的1个以上的输入接口。此外，输入装置50构成为能够将与用户的操作相应的指示向主体装置20输出。

显示装置60例如构成为具有液晶监视器等。此外，显示装置60构成为能够将从主体装置20输出的内窥镜图像等显示于画面上。

接着，参照图2来说明包含本第1实施方式的内窥镜控制装置的内窥镜系统的具体结构。

图2是用于说明本第1实施方式的内窥镜系统的具体结构的框图。

如图2所示，内窥镜10构成为具有源线圈18、摄像部110、进退机构141、弯曲机构142、AWS机构143、旋转机构144。图2是用于说明第1实施方式的内窥镜系统的具体结构的框图。

摄像部110例如构成为具有供来自被照明光照明的被摄体的返回光入射的观察窗；以及对该返回光进行摄像而输出摄像信号的彩色CCD等图像传感器。

进退机构141例如构成为，具有配置在隔着插入部11而对置的位置的一对辊；供给用于使该一对辊旋转的旋转驱动力的马达。此外，进退机构141例如构成为，根据从主体装置20输出的进退控制信号对马达进行驱动，并且根据从该马达供给的旋转驱动力使一对辊旋转，由此，能够选择性地进行用于使插入部1前进的动作和用于使插入部11后退的动作中的任意一方的动作。

弯曲机构142例如构成为具有设于弯曲部13的多个弯曲件、与该多个弯曲件连结的多个线、供给用于牵引该多个线的旋转驱动力的马达。此外，弯曲机构142例如构成为，根据从主体装置20输出的弯曲控制信号对马达进行驱动，并且根据从该马达供给的旋转驱动力使多个线各自的牵引量变化，从而能够使弯曲部13在上下左右这4个方向上弯曲。

AWS(Air feeding(送气)，Water feeding(送水)，and Suction(抽吸))机构143例如构成为具有：设于内窥镜10(插入部11、操作部16和通用缆线17)的内部的送气送水管路和抽吸管路这2个管路；进行使该2个管路中的一方开放并使另一方闭塞的动作的电磁阀。

此外，本实施方式中AWS机构143例如构成为，在电磁阀中根据从主体装置20输出的AWS控制信号进行了用于使送气送水管路开放的动作的情况下，能够使从主体装置20供给的包含水和空气中的至少一方的流体在该送气送水管路中流通，并且能够从形成于前端部12的排出口排出该流体。

并且，AWS机构143例如构成为，在根据从主体装置20输出的AWS控制信号在电磁阀中进行了用于开放抽吸管路的动作的情况下，能够使在主体装置20中产生的抽吸力作用于该抽吸管路，并且，能够能够通过该抽吸力来抽吸在形成于前端部12的抽吸口附近存在的物体。

旋转机构144例如构成为具有在可挠管部14的基端侧把持插入部11的把持构件、以及供给用于使该把持构件旋转的旋转驱动力的马达。此外，旋转机构144例如构成为根据从主体装置20输出的旋转控制信号对马达进行驱动，并且根据从该马达供给的旋转驱动力使把持构件旋转，由此能够使插入部11绕插入轴(长度轴)旋转。

＜主体装置20的详细＞

如图2所示，主体装置20构成为具有光源部210、图像处理部220、线圈驱动信号生成部230、内窥镜功能控制部240、显示控制部250、系统控制部260。

光源部210例如构成为具有1个以上的LED或1个以上的灯作为光源。并且，光源部210构成为能够产生用于对供插入部11插入的被检体内进行照明的照明光，并且向内窥镜10供给该照明光。此外，光源装置210构成为能够根据从系统控制部260供给的系统控制信号使照明光的光量变化。

图像处理部220例如构成为具有图像处理电路。此外，图像处理部220构成为，通过对从内窥镜10输出的摄像信号实施规定的处理而生成内窥镜图像，并且将该生成的内窥镜图像输出到显示控制部250和系统控制部260。

线圈驱动信号生成部230例如构成为具有驱动电路。此外，线圈驱动信号生成部230构成为根据从系统控制部260供给的系统控制信号，生成并输出用于驱动源线圈18的线圈驱动信号。

内窥镜功能控制部240构成为基于从系统控制部260供给的插入控制信号，进行用于控制由内窥镜10实现的功能的动作。具体而言，内窥镜功能控制部240构成为进行如下动作，该动作用于控制如下功能中的至少1个的功能：由进退机构141实现的进退功能、由弯曲机构142实现的弯曲功能、由AWS机构143实现的AWS功能、和由旋转机构144实现的旋转功能。此外，内窥镜功能控制部240构成为具有进退控制部241、弯曲控制部242、AWS控制部243、旋转控制部244。

进退控制部241构成为基于从系统控制部260供给的插入控制信号，生成并输出用于控制进退机构141的动作的进退控制信号。具体而言，进退控制部241构成为基于从系统控制部260供给的插入控制信号，例如生成并输出用于控制设于进退机构141的马达的旋转状态的进退控制信号。

弯曲控制部242构成为基于从系统控制部260供给的插入控制信号，生成并输出用于控制弯曲机构142的动作的弯曲控制信号。具体而言，进退控制部242构成为基于从系统控制部260供给的插入控制信号，例如生成并输出用于控制设于弯曲机构142的马达的旋转状态的弯曲控制信号。

AWS控制部243构成为，基于从系统控制部260供给的插入控制信号控制未图示的泵等，从而能够选择性地进行用于向内窥镜10供给包含水和空气中的至少一方的流体的动作以及用于产生用于抽吸存在于前端部12的抽吸口附近的物体的抽吸力的动作中的任意一方的动作。

此外，AWS控制部243构成为生成并输出用于控制AWS机构143的动作的AWS控制信号。具体而言，AWS控制部243构成为基于从系统控制部260供给的插入控制信号，例如生成并输出用于控制设于AWS机构143的电磁阀的动作状态的AWS控制信号。

旋转控制部244构成为基于从系统控制部260供给的插入控制信号，生成并输出用于控制旋转机构144的动作的旋转控制信号。具体而言，旋转控制部244构成为基于从系统控制部260供给的插入控制信号，例如生成并输出用于控制设于旋转机构144的马达的旋转状态的旋转控制信号。

即，内窥镜功能控制部240构成为能够基于从系统控制部260供给的插入控制信号，作为与由内窥镜10的功能实现的基本操作对应的控制信号而生成并输出与如下各操作对应的控制信号，所述操作是：与用于使插入部11前进的操作相当的推操作；与用于使插入部11后退的操作相当的拉操作；角度操作，其相当于用于使弯曲部13弯曲并使前端部12的方向朝向与插入部11的插入轴(长度轴)交叉的方向(例如8个方向中的一个方向)的操作；与使插入部11绕插入轴(长度轴)旋转的操作相当的扭转操作；用于向前端部12的前方喷出气体的送气操作；用于向前端部12的前方喷出液体的送水操作；和用于抽吸前端部12的前方的组织等的抽吸操作。

显示控制部250进行用于生成包含从图像处理部220输出的内窥镜图像的显示图像的处理，并且进行用于使该生成的显示图像显示于显示装置60的处理。此外，显示控制部250进行用于使从系统控制部260输出的插入形状图像(后述)显示于显示装置60的处理。

系统控制部260生成并输出用于进行与来自操作部16和输入装置50的指示等对应的动作的系统控制信号。此外，系统控制部260构成为具有插入形状图像生成部261、插入形状分类部262、插入控制部263、分类结果记录部264。

插入形状图像生成部261基于从插入形状检测装置30输出的插入形状信息(后述)，生成以二维的方式表示插入于被检体内的插入部11的插入形状的插入形状图像。此外，插入形状图像生成部261将如前述那样生成的插入形状图像输出到显示控制部250。

插入形状分类部262进行如下处理，该处理用于基于由插入形状图像生成部261生成的插入形状图像，得到将该插入形状图像中包含的插入部11的插入形状的种类分类为规定的多个种类中的一个种类的分类结果。

＜插入形状分类部262的结构＞

这里，对本实施方式中的插入形状分类部262的结构的具体例进行说明。

本实施方式中插入形状分类部262例如构成为，通过使用分类器(例如，分类器CLP)进行处理，从而得到将由插入形状图像生成部261生成的插入形状图像中包含的插入部11的插入形状的种类分类为规定的多个种类中的一个种类的分类结果，其中，该分类器是利用深度学习等学习方法使与包含输入层、1个以上的卷积层和输出层的多层神经网络相当的CNN(Convolutional Neural Network)中的各结合系数(权重)进行学习而生成的。

在生成前述分类器CLP时，例如使用如下的示教数据进行机器学习，该示教数据包含：与由插入形状图像生成部261生成的插入形状图像同样的插入形状图像；以及标签，该标签表示将该插入形状图像中包含的插入部11的插入形状分类为规定的多个种类中的一个种类的分类结果。

这里，前述的规定的多个种类中的各种类例如被设定为能够在从开始向被检体内插入插入部11的时间点到该被检体内的插入部11的插入结束的时间点为止的期间内形成的各种插入形状中的、具有有助于判断手动或自动进行插入部11的插入操作的情况下的操作是否成功以及判断是否需要变更操作内容的特征性的形状的插入形状的种类。

在生成前述的示教数据时，例如进行如下作业：将熟练者通过目视判断一个插入形状图像中包含的插入部11的插入形状属于规定的多个种类中的哪个种类时的判断结果所对应的标签赋予该一个插入形状图像。

因此，根据前述的分类器CLP，例如，取得由插入形状图像生成部261生成的插入形状图像中包含的各像素的像素值等多维数据，将该多维数据作为输入数据输入到神经网络的输入层，由此，能够取得与可被分类为在该插入形状图像中包含的插入部11的插入形状的种类的各个种类对应的多个似然度，作为从该神经网络的输出层输出的输出数据。

此外，根据使用前述的分类器CLP的处理，例如，能够得到与从神经网络的输出层输出的输出数据中包含的多个似然度中最高的一个似然度对应的一个插入形状的种类，作为插入部11的插入形状的分类结果。

即，插入形状分类部262构成为使用分类器CLP进行处理，从而得到表示被插入被检体内的插入部11的插入形状的种类的分类结果，其中，该分类器CLP是通过使用示教数据进行机器学习而生成的，该示教数据包含：表示插入部11的插入形状的插入形状图像；以及标签，其表示将该插入形状图像中包含的插入部11的插入形状分类为规定的多个种类中的一个种类的分类结果。

这里，对通过使用前述分类器CLP进行处理得到的插入部11的插入形状的分类结果的具体例进行说明。另外，以下，举出得到如下分类结果的情况的例子进行说明，该分类结果对应于可通过被插入被检体内的插入部11形成的各种插入形状中的、从α环的形成开始紧前到刚刚解除完成之后为止出现的插入形状的种类。

插入形状分类部262例如基于将图3所示的插入形状图像SGA中包含的各像素的像素值输入分类器CLP而得到的输出数据来进行处理，从而取得将插入部11的插入形状分类为种类TA的分类结果。图3是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

前述的种类TA例如作为如下的分类结果而被取得，该分类结果对应于插入部11维持大致直线形状且前端部12位于从肛门附近到S状结肠的入口附近的区间内的状态。

插入形状分类部262例如基于将图4A所示的插入形状图像SGB1或图4B所示的插入形状图像SGB2中包含的各像素的像素值输入分类器CLP而得到的输出数据来进行处理，从而取得将插入部11的插入形状分类为种类TB的分类结果。图4A和图4B是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

前述的种类TB例如作为如下的分类结果而被取得，该分类结果对应于前端部12位于S状结肠的内部、并且插入部11形成作为α环的基础的屈曲形状的状态。

插入形状分类部262例如基于将图5A所示的插入形状图像SGC1或图5B所示的插入形状图像SGC2中包含的各像素的像素值输入分类器CLP而得到的输出数据来进行处理，从而取得将插入部11的插入形状分类为种类TC的分类结果。图5A和图5B是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

前述的种类TC例如作为如下的分类结果而被取得，该分类结果对应于从前端部12与弯曲部13和可挠管部14中的任意一方交叉从而开始形成α环的状态到前端部12到达该α环的上端部附近的状态。

插入形状分类部262例如基于将图6A所示的插入形状图像SGD1或图6B所示的插入形状图像SGD2中包含的各像素的像素值输入分类器CLP而得到的输出数据来进行处理，从而取得将插入部11的插入形状分类为种类TD的分类结果。图6A和图6B是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

前述的种类TD例如作为如下的分类结果而被取得，该分类结果对应于前端部12到达稍微超过α环的上端部的位置的状态。

插入形状分类部262例如基于将图7A所示的插入形状图像SGE1或图7B所示的插入形状图像SGE2中包含的各像素的像素值输入分类器CLP而得到的输出数据来进行处理，从而取得将插入部11的插入形状分类为种类TE的分类结果。图7A和图7B是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

前述的种类TE例如作为如下的分类结果而被取得，该分类结果对应于前端部12到达脾曲部附近状态和前端部12到达足够远离α环的上端部的位置的状态中的任意状态。

插入形状分类部262例如基于将图8A所示的插入形状图像SGF1或图8B所示的插入形状图像SGF2中包含的各像素的像素值输入分类器CLP而得到的输出数据来进行处理，从而取得将插入部11的插入形状分类为种类TF的分类结果。图8A和图8B是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

前述的种类TF例如作为如下的分类结果而被取得，该分类结果对应于伴随由插入部11形成的α环的解除的进行而使该α环缩小的状态。

插入形状分类部262例如基于将图9A所示的插入形状图像SGG1或图9B所示的插入形状图像SGG2中包含的各像素的像素值输入分类器CLP而得到的输出数据来进行处理，从而取得将插入部11的插入形状分类为种类TG的分类结果。图9A和图9B是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

前述的种类TG例如作为如下的分类结果而被取得，该分类结果对应于从伴随由插入部11形成的α环的解除的进行而使该α环转移到与N环相似的形状的状态起，到该α环刚刚被完全解除后的状态。

插入形状分类部262例如基于将图10所示的插入形状图像SGH中包含的各像素的像素值输入分类器CLP而得到的输出数据来进行处理，从而取得将插入部11的插入形状分类为种类TH的分类结果。图10是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

前述的种类TH例如作为如下的分类结果而被取得，该分类结果对应于前端部12达到横行结肠的入口附近的状态和插入部11在α环解除后转移到大致直线形状的状态中的任意状态。

插入形状分类部262例如基于将图11A所示的插入形状图像SGI1或图11B所示的插入形状图像SGI2中包含的各像素的像素值输入分类器CLP而得到的输出数据来进行处理，取得将插入部11的插入形状分类为种类TI的分类结果。图11A和图11B是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

前述的种类TI例如作为如下的分类结果而被取得，该分类结果对应于前端部12位于横行结肠的内部的状态。

插入形状分类部262例如基于将图12A所示的插入形状图像SGJ1或图12B所示的插入形状图像SGJ2中包含的各像素的像素值输入分类器CLP而得到的输出数据来进行处理，从而取得将插入部11的插入形状分类为种类TJ的分类结果。图12A和图12B是示出第1实施方式的内窥镜系统中生成的插入形状图像的一例的图。

前述的种类TJ例如作为如下的分类结果而被取得，该分类结果对应于前端部12位于从上行结肠到盲肠附近的区间内的状态。

另外，根据本实施方式，例如，在生成分类器CLP时，通过使用对与种类TA～TJ分别对应的10种标签中的至少1个种类的标签进行变更后的插入形状图像来进行学习，或者通过追加附加了与分别对应于该种类TA～TJ的10种标签均不同的新的种类的标签后的插入形状图像来进行学习，从而得到与从不同于α环的一个形状的形成开始紧前到刚刚解除完成之后为止出现的插入形状的种类对应的分类结果。

具体而言，根据本实施方式，例如也可以是，得到与从背α环、反α环、N环、γ环和棒形状中的至少1个形状的形成开始紧前到刚刚解除完成后为止出现的插入形状的种类对应的分类结果。

此外，根据本实施方式，例如也可以是，通过适当变更对生成分类器CLP时使用的学习用插入形状图像的标签的赋予方法，能够得到如下的分类结果，该分类结果对应于能够在从开始向被检体内插入插入部11时间点到该被检体内的插入部11的插入结束的时间点的期间内形成的所期望的插入形状的种类。

插入控制部263构成为，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个、以及由插入形状分类部262得到的分类结果，生成包含用于进行插入部11的插入操作的控制的信息在内的插入控制信号，并将插入控制信号输出到内窥镜功能控制部240。

具体而言，插入控制部263构成为，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个、以及由插入形状分类部262得到的分类结果，生成包含如下信息的插入控制信号并将插入控制信号输出到内窥镜功能控制部240，其中，该信息用于进行例如与该插入操作的开始、该插入操作的继续、该插入操作中断、该插入操作的重新开始、该插入操作的停止和该插入操作的完成中的至少1个相关的控制，作为插入部11的插入操作的控制。

此外，插入控制部263构成为，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个、以及由插入形状分类部262得到的分类结果，生成包含如下信息的插入控制信号并将插入控制信号输出到内窥镜功能控制部240，其中，该信息用于控制插入部11的插入操作的操作量、该插入操作的操作速度和该插入操作的操作力中的至少1个。

这里，本实施方式的插入控制部263例如构成为，能够根据作为由插入形状分类部262得到的分类结果而示出的插入部11的当前的插入形状的种类，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个来设定控制内容，使用该设定的控制内容来生成包含用于进行插入部11的插入操作的控制的信息的插入控制信号，并将插入控制信号输出到内窥镜功能控制部240。

因此，插入控制部263能够根据作为由插入形状分类部262得到的分类结果而示出的插入部11的当前的插入形状的种类，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个，设定如下的操作控制组CGA，生成并输出包含与该设定的操作控制组CGA相关的信息的插入控制信号，其中，例如，该操作控制组CGA具有如下的控制内容，该控制内容用于单独地执行从通过内窥镜10的功能实现的各基本操作中选择出的基本操作从而进行插入部11的插入操作。

具体而言，在操作控制组CGA中例如包含与执行推操作时的前进量、前进速度和操作力等相关的控制内容。

此外，插入控制部263能够根据作为由插入形状分类部262得到的分类结果而示出的插入部11的当前的插入形状的种类，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个，设定如下的操作控制组CGB，生成并输出包含与该设定的操作控制组CGB相关的信息的插入控制信号，其中，例如，该操作控制组CGB具有如下的控制内容，该控制内容用于组合执行从通过内窥镜10的功能实现的各基本操作中选择出的多个基本操作从而进行插入部11的插入操作。

具体而言，在操作控制组CGB中，例如包含与组合执行拉操作和扭转操作时的后退量、后退速度、旋转角度、旋转方向和操作力等相关的控制内容。

另外，操作控制组CGB被设定为连续或同时执行从由内窥镜10的功能实现的各基本操作中选择出的多个基本操作的控制内容。即，操作控制组CGB的控制内容被设定为比操作控制组CGA的控制内容复杂的控制内容。

即，插入控制部263构成为，作为与作为由插入形状分类部262得到的分类结果而示出的插入部11的当前的插入形状的种类对应的控制，进行基于操作控制组CGA和操作控制组CGB中任意一种的控制，其中，该操作控制组CGA具有用于单独执行从由内窥镜10的功能实现的各基本操作中选择出的基本操作从而进行插入部11的插入操作的控制内容，该操作控制组CGB具有用于组合执行从由内窥镜10的功能实现的各基本操作中选择出的多个基本操作从而进行插入部11的插入操作的控制内容。

此外，插入控制部263基于通过内窥镜10拍摄被检体内而得到的图像、表示对插入部11施加的外力的大小的信息和表示插入部11的插入形状的信息中的至少1个、以及由插入形状分类部262得到的分类结果，来进行与插入部11的插入操作相关的控制。

分类结果记录部264构成为，能够进行用于按照时间序列记录由插入形状分类部262得到的分类结果的动作。

在本实施方式中，主体装置20的至少一部分的功能由处理器20P实现即可。此外，在本实施方式中，主体装置20的至少一部分可以构成为各个电子电路，或者，也可以构成为FPGA(Field Programmable Gate Array)等集成电路中的电路模块。

此外，也可以通过对本实施方式的结构进行适当变形，由此，例如计算机从存储器等存储介质20M读入用于执行主体装置20的至少一部分功能的程序，并且进行与读入的程序相应的动作。

如图2所示，插入形状检测装置30构成为具有接收天线310、插入形状信息取得部320。

接收天线310例如构成为具有用于三维地检测从多个源线圈18分别发出的磁场的多个线圈。此外，接收天线310构成为，检测从多个源线圈18分别发出的磁场，并且生成与该检测到的磁场的强度对应的磁场检测信号，将磁场检测信号输出到插入形状信息取得部320。

插入形状信息取得部320构成为，基于从接收天线310输出的磁场检测信号，取得多个源线圈18各自的位置。此外，插入形状信息取得部320构成为，生成插入形状信息并将其输出到插入形状图像生成部261，该插入形状信息表示如前述那样取得的多个源线圈18各自的位置。

具体而言，插入形状信息取得部320，例如取得如下的空间坐标系中的多个三维坐标值作为多个源线圈18各自的位置，该空间坐标系是以供插入部11插入的被检体的规定的位置(肛门等)成为原点或基准点的方式虚拟设定的。此外，插入形状信息取得部320生成包含如前述那样取得的多个三维坐标值的插入形状信息，并将插入形状信息输出到插入形状图像生成部261。

然后，在这种情况下，例如通过插入形状图像生成部261进行如下处理：用于取得多个二维坐标值的处理，该多个二维坐标值对应于从插入形状信息取得部320输出的插入形状信息中包含的多个三维坐标值中的各个三维坐标值；用于对该取得的多个二维坐标值进行插值的处理；以及用于生成与该插值后的多个二维坐标值对应的插入形状图像的处理。

在本实施方式中，插入形状检测装置30的至少一部分可以构成为电子电路，或者也可以构成为FPGA(Field Programmable Gate Array)等集成电路中电路模块。此外，在本实施方式中，例如，也可以构成为插入形状检测装置30具备1个以上的处理器(CPU等)。

根据本实施方式，例如构成为，在插入形状图像生成部261生成三维地表示插入被检体内的插入部11的插入形状的三维插入形状图像的情况下，插入形状分类部262的分类器CLP使用从该三维插入形状图像取得的像素值等的多维数据作为输入数据从而对插入部11的插入形状的种类进行分类。而且，在这种情况下，例如使用3D-CNN(3D ConvolutionalNeural Network)来生成分类器CLP即可。

根据本实施方式，例如也可以构成为，插入形状分类部262的分类器CLP使用从插入形状检测装置30输出的插入形状信息中包含的多个三维坐标值作为输入数据，对插入部11的插入形状的种类进行分类。而且，在这种情况下，例如，使用公知的线形判别函数或者公知的神经网络那样的、将数值作为特征量从而对插入部11的插入形状的种类进行分类的方法来生成分类器CLP即可。

根据本实施方式，例如也可以是，在生成分类器CLP时，对插入形状图像赋予表示将插入部11的插入形状分类为规定的多个种类中的一个种类的分类结果的标签，并且，使用包含该标签和生成该插入形状图像时使用的多个三维坐标值在内的示教数据进行机器学习。

接着，对本实施方式的作用进行说明。另外，以后，以进行与从肛门插入大肠的肠管内的插入部11的插入操作相关的控制的情况为例进行说明。此外，以后，以通过插入肠管内的插入部11形成α环的情况为例进行说明。

医生等用户在连接内窥镜系统1的各部并接通电源后，例如将插入部11配置为使得前端部12位于被检体的肛门或直肠附近。

根据前述这样的用户的操作，从光源部210供给的照明光被照射到被摄体，被该照明光照射的被摄体被摄像部110拍摄，并且，拍摄该被摄体而得到的内窥镜图像从图像处理部220输出到显示控制部250和系统控制部260。

此外，根据前述的用户的操作，从线圈驱动信号生成部230供给线圈驱动信号，根据该线圈驱动信号从多个源线圈18分别产生磁场，将检测该磁场而得到的插入形状信息从插入形状信息取得部320向系统控制部260输出，并且，通过插入形状图像生成部261生成与该插入形状信息对应的插入形状图像。

此外，根据前述这样的用户的操作，从外力信息取得装置40向系统控制部260输出表示多个源线圈18各自的位置处的外力的大小和方向的外力信息。

用户在如前述那样配置了插入部11的状态下，例如通过打开输入装置50的自动插入开关(未图示)，从而进行用于使主体装置20开始对插入部11的插入控制的指示。

分类结果记录部264在检测到进行了用于开始插入部11的插入控制的指示时，例如，开始用于按照时间序列且每隔固定时间记录由插入形状分类部262得到的分类结果的动作。

插入控制部263根据作为由插入形状分类部262得到的分类结果而示出的插入部11的当前的插入形状的种类，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个来设定控制内容。

具体而言，插入控制部263例如在检测到作为由插入形状分类部262得到的分类结果而示出的插入部11的当前的插入形状的种类是种类TA、TH、TI和TJ中的任意种类的情况下，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个，生成并输出包含与设定了控制内容的操作控制组CGA相关的信息的插入控制信号。

此外，插入控制部263例如在检测到作为由插入形状分类部262得到的分类结果而示出的插入部11的当前的插入形状的种类为种类TB、TC、TD、TE、TF和TG中的任意种类的情况下，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个，生成并输出包含与设定了控制内容的操作控制组CGB相关的信息的插入控制信号。

即，根据以上叙述的具体例，插入控制部263在检测到插入部11的当前的插入形状的种类不符合从α环的形成开始紧前到刚刚解除完成后为止出现的插入形状的种类的情况下，生成并输出包含与操作控制组CGA相关的信息的插入控制信号。

此外，根据以上叙述的具体例，插入控制部263在检测到插入部11的当前的插入形状的种类符合从α环的形成开始紧前到刚刚解除完成后为止出现的插入形状的种类的情况下，生成并输出包含与如下的操作控制组CGB相关的信息的插入控制信号，其中，该操作控制组CGB具有比操作控制组CGA的控制内容更复杂的控制内容。

另外，在本实施方式中，例如，插入控制部263在基于从图像处理部220输出的内窥镜图像设定控制内容的情况下，使用后述的分类器CLQ进行处理即可。

并且，在本实施方式中，插入控制部263基于通过使用分类器CLQ的处理而得到的后述的处理结果图像PRG，例如在该处理结果图像PRG的中央部存在管腔区域的情况下，设定用于以相对大的前进量使插入部11前进的控制内容，并且在该处理结果图像PRG的周缘部存在管腔区域的情况下，设定用于以相对小的前进量使插入部11前进的控制内容即可。

用户例如基于在显示装置60中显示的插入形状图像确认了插入被检者的内部的插入部11的插入形状不再变化后，通过关闭输入装置50的自动插入开关，进行用于使主体装置20对插入部11的插入控制停止的指示。

分类结果记录部264在检测到进行了用于使插入部11的插入控制停止的指示时，停止用于按照时间序列且每隔固定时间记录由插入形状分类部262得到的分类结果的动作。

此外，在向大肠的肠管内插入内窥镜的插入部而进行检查的情况下，例如，能够发生与该大肠的行驶状态、该插入部的插入形状和该插入部的插入长度等组合对应的各种状况。此外，熟练医生在手动进行内窥镜的插入部的插入操作时，根据针对当前的状况的状况判断的判断结果，例如适当决定对该插入部施加的力的大小和对该插入部进行的操作的种类等。

而且，在与内窥镜插入部的插入操作的自动化关联的现有的方案中产生如下问题：取得与前述那样的熟练医生的主观的状况判断的判断结果同等的判断结果并且进行与该取得的判断结果相应的控制是非常困难的。

对此，根据本实施方式，在插入形状分类部262中进行如下处理：基于与熟练者对插入部11的插入操作中的操作的成功与否等进行主观判断或评价时的观点大致同等的观点，对由插入形状图像生成部261生成的插入形状图像中包含的插入部11的插入形状的种类进行分类而得到分类结果。

此外，根据本实施方式，在插入控制部263中进行与作为由插入形状分类部262得到的分类结果而示出的插入部11的插入形状的种类相应的插入控制。因此，根据本实施方式，例如，能够进行与供插入部插入的被检体的内部状态的个体差异和该被检体的内部的该插入部的插入形状随时间的变化等这样的该插入部的插入状况相应的适当的插入控制。

此外，根据使用具有与插入形状检测装置30同样的功能的装置的现有的内窥镜观察，在正在进行被检体内的观察时能够记录与内窥镜插入部的插入形状相关的信息，另一方面，存在如下问题点：未设想在该被检体内的观察结束后重新利用该信息。因此，根据使用具有与插入形状检测装置30同样的功能的装置的现有的内窥镜观察，例如产生与如下的前述问题点对应的课题：针对正在进行被检体内的观察时的内窥镜插入部的插入形状的推移的评价和解析等难以在该被检体内的观察结束后进行。

对此，根据以上叙述的本实施方式的处理等，在输入装置50的自动插入开关从打开到关闭的期间内，由插入形状分类部262得到的分类结果按时间序列被记录于分类结果记录部264。因此，根据本实施方式，通过使用分类结果记录部264中记录的信息，能够在被检体内的观察结束后进行针对正在进行该被检体内的观察时的插入部11的插入形状的推移的评价和解析等。

具体而言，例如，显示控制部250进行用于对分类结果记录部264中记录的信息进行可视化的处理，由此，能够使显示装置60显示包含图13A～图13C所示的曲线图的显示图像，该曲线图表示作为插入形状分类部262的分类结果而得到的插入部11的插入形状的种类的时间的推移。图13A～图13C是示出在第1实施方式的内窥镜系统中使用所记录的信息使插入部的插入形状的种类的时间的推移可视化的情况的一例的图。

图13A的曲线图GRA作为如下的曲线图而生成，该曲线图表示解除由插入部11形成的α环并使前端部12到达上行结肠的情况下的插入部11的插入形状的种类的时间的推移。

根据图13A的曲线图GRA，在相当于从插入部11的插入控制开始的时刻NX到时刻NA的期间的期间PKA中，插入部11的插入形状的种类被维持在种类TA。因此，根据图13A的曲线图GRA，例如在期间PKA中，能够确认在插入部11维持大致直线形状的状态下前端部12到达了S状结肠的入口附近。

根据图13A的曲线图GRA，在相当于从时刻NA之后的时刻NB到时刻NC的期间的期间PKB中，插入部11的插入形状的种类从种类TB变化为种类TC。因此，根据图13A的曲线图GRA，例如在期间PKB中，能够确认插入部11开始形成α环。

根据图13A的曲线图GRA，在相当于从时刻NC之后的时刻ND到时刻NE的期间的期间PKC中，插入部11的插入形状的种类从种类TD变化为种类TG。此外，根据图13A的曲线图GRA，在期间PKC中途，插入部11的插入形状的种类以成为种类TE和种类TF中的任意种类的方式振动地变化。因此，根据图13A的曲线图GRA，例如，在期间PKC中，能够确认正在尝试由插入部11形成的α环的缩小并进行该α环的解除。

根据图13A的曲线图GRA，在相当于从时刻NE之后的时刻NF到时刻NG的期间的期间PKD中，插入部11的插入形状的种类在从种类TF变化为种类TG后，进一步以成为种类TG和种类TH中的任意种类的方式振动地变化。因此，根据图13A的曲线图GRA，例如，在期间PKD中，能够确认由插入部11形成的α环的解除正在完成。

根据图13A的曲线图GRA，在相当于从时刻NG之后的时刻NH到时刻NI的期间的期间PKE中，插入部11的插入形状的种类从种类TH经由种类TI而变化为种类TJ。因此，根据图13A的曲线图GRA，例如，在期间PKE中，能够确认前端部12经由横行结肠而到达了上行结肠。

图13B的曲线图GRB作为如下的曲线图而生成，该曲线图表示由于S状结肠的形状的个体差异等而导致难以解除α环的情况下的插入部11的插入形状的种类的时间的推移。另外，在图13B中，为了方便图示，使横轴的标度与图13A和图13C不同。

根据图13B的曲线图GRB，在相当于从插入部11的插入控制开始的时刻NY之后的时刻NJ到时刻NK的期间的期间PKF中，插入部11的插入形状的种类以成为种类TD、种类TE和种类TF中的任意种类的方式振动地变化。因此，根据图16B的曲线图GRB，例如，在期间PKF中，能够确认虽然尝试缩小由插入部11形成的α环但没有成功。

根据图13B的曲线图GRB，在相当于从时刻NK之后的时刻NL到时刻NM的期间的期间PKG中，插入部11的插入形状的种类以成为种类TB、种类TC、种类TD、种类TE和种类TF中的任意种类的方式振动地变化。因此，根据图13B的曲线图GRB，例如，在期间PKG中，能够确认在以尽量不妨碍插入部11的插入的方式调整了肠管的形状的状态下正在基于插入部11重新形成α环。

根据图13B的曲线图GRB，在相当于从时刻NM之后的时刻NN到时刻NP的期间的期间PKH中，插入部11的插入形状的种类以成为种类TC、种类TD、种类TE、种类TF和种类TG中的任意种类的方式振动地变化。因此，根据图13B的曲线图GRB，例如，在期间PKH中，能够确认正在尝试解除通过插入部11重新形成的α环。

根据图13B的曲线图GRB，在相当于从时刻NP之后的时刻NQ到时刻NR的期间的期间PKI中，插入部11的插入形状的种类从种类TF经由种类TG而变化为种类TH。因此，根据图13B的曲线图GRB，例如，在期间PKI中，能够确认通过插入部11重新形成的α环的解除成功。

图13C的曲线图GRC作为如下的曲线图而生成，该曲线图表示在未基于插入部11形成α环的状态下使前端部12到达上行结肠的情况下的插入部11的插入形状的种类的时间的推移。

根据图13C的曲线图GRC，在插入部11的插入控制开始的时刻NZ以后，插入部11的插入形状的种类按照种类TA、种类TH、种类TI和种类TJ的顺序变化。因此，根据图13C的曲线图GRC，例如能够确认在大肠的整个区间中没有发生对插入部11的插入带来障碍的问题。

根据本实施方式，关于分类结果记录部264进行的用于按照时间序列且每隔固定时间记录由插入形状分类部262得到的分类结果的动作，不限于在插入部11通过插入控制部263的控制而自动被插入的情况下进行该动作，也可以构成为在通过用户的操作手动插入插入部11的情况下进行。而且，在插入部11的手动插入时进行了这样的分类结果记录部264的动作的情况下，能够生成与图13A～图13C所例示的曲线图相似的曲线图，作为表示伴随用户的操作的插入部11的插入形状的种类的时间的推移。

此外，在插入部11的手动插入时进行了前述这样的分类结果记录部264的动作的情况下，例如，能够取得可在对由用户进行的插入部11的插入操作进行定量地评价和/或分析时利用的数据。

根据本实施方式，关于分类结果记录部264进行的用于按照时间序列且每隔固定时间记录由插入形状分类部262得到的分类结果的动作，不限于在插入部11插入被检体内的情况下进行该动作，也可以构成为在拔出插入于该被检体内的插入部11的情况下进行该动作。

根据本实施方式，还可以将分类结果记录部264中记录的信息用于生成图13A～图13C所例示的曲线图以外的用途。

具体而言，分类结果记录部264中记录的信息例如能够用作数据挖掘和统计的解析等这样的解析方法中的元数据。此外，分类结果记录部264中记录的信息例如能够用于通过用户的操作手动插入插入部11的情况下的该用户的熟练度的评价。此外，分类结果记录部264中记录的信息例如能够用于估计向规定的被检者插入插入部11时的插入难度。

根据本实施方式，也可以构成为，分类结果记录部264例如进行用于将内窥镜图像等这样的通过内窥镜系统1的动作而得到的所期望的信息与由插入形状分类部262得到的分类结果关联地记录的动作。

另外，本实施方式的插入控制部263也可以构成为，例如根据检测作为由插入形状分类部262得到的分类结果而示出的插入部11的插入形状的种类是否发生了变化的检测结果，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个来设定控制内容，使用该设定的控制内容来生成包含用于进行与插入部11的插入操作相关的控制的信息的插入控制信号，将该插入控制信号输出到内窥镜功能控制部240。

具体而言，插入控制部263例如可以构成为进行图14所示的控制。下面说明这样的控制的概要。另外，以下，为了方便起见，以如下情况为例进行说明：将作为包含控制内容的信息而生成的多个插入控制信息预先存储于存储介质20M，该控制内容对应于由插入形状分类部262分类的规定的多个种类的插入形状，从该多个插入控制信息中选择与由插入形状分类部262得到的分类结果对应的一个插入控制信息，并且检测在每次基于插入控制部263进行1次控制时，检测作为该分类结果而示出的插入部11的插入形状的种类是否发生了变化。图14是用于说明在第1实施方式的变形例的内窥镜系统中进行的控制的概要的流程图。

插入控制部263进行如下处理：基于由插入形状分类部262得到的分类结果，从存储介质20M中预先存储的多个插入控制信息中，选择并读入与作为该分类结果而示出的一个插入形状的种类对应的一个插入控制信息(图14的步骤S1)。

前述的多个插入控制信息分别包含与用于使插入部11成为可前进的状态的方法相关的信息和与用于解除通过插入部11形成的规定的插入形状的方法相关的信息中的任意信息。此外，前述的多个插入控制信息分别包含如下信息，该信息表示与内窥镜功能控制部240所包含的各控制部中的至少1个控制部的动作即由内窥镜10的功能实现的各基本操作中的至少1个基本操作对应的1次控制内容(控制量等)。

在与用于使插入部11成为可前进的状态的方法相关的信息中例如包含如下信息，该信息表示对处理结果图像PRG中设定的后述的框WG等那样的前端部12的移动目的地进行设定时的设定条件。此外，在与用于使插入部11成为可前进的状态的方法相关的信息中，例如包含表示由内窥镜10的功能实现的各基本操作中的在插入部11的前进时单独执行的基本操作的信息、和表示该各基本操作中的在插入部11的前进时连续或同时执行的多个基本操作的组合的信息中的至少一方。

在与用于解除由插入部11形成的规定的插入形状的方法相关的信息中，例如包含表示由内窥镜10的功能实现的各基本操作中的在解除该规定的插入形状时单独执行的基本操作的信息、和表示该各基本操作中的在解除该规定的插入形状时连续或同时执行的多个基本操作的组合的信息中的至少一方。

插入控制部263检测通过图14的步骤S1读入的一个插入控制信息中是否包含与用于使插入部11成为可前进的状态的方法相关的信息(图14的步骤S2)。

插入控制部263在得到通过图14的步骤S1读入的一个插入控制信息中不包含与用于使插入部11成为可前进的状态的方法相关的信息这样的检测结果的情况下(S2：否)，进行后述的图14的步骤S4的处理。

插入控制部263在得到通过图14的步骤S1读入的一个插入控制信息中包含与用于使插入部11成为可前进的状态的方法相关的信息这样的检测结果的情况下(S2：是)，基于该一个插入控制信息中包含的控制内容和从图像处理部220输出的内窥镜图像，对内窥镜功能控制部240进行用于使插入部11成为可前进的状态的控制(图14的步骤S3)。

插入控制部263基于从外力信息取得装置40输出的外力信息等，生成用于进行1次控制的插入控制信号，并将其输出到内窥镜功能控制部240，该1次控制对应于通过图14的步骤S1读入的一个插入控制信息所包含的控制内容和通过后述的图14的步骤S6设定的变更后的控制内容中的任意一方(图14的步骤S4)。另外，后面说前述的1次控制的具体例。

插入控制部263对在进行图14的步骤S1的处理的时刻由插入形状分类部262得到的分类结果和在刚刚进行图14的步骤S4的1次控制之后的时刻由插入形状分类部262得到的分类结果进行比较，从而检测插入部11的插入形状的种类是否根据该1次控制而发生了变化(图14的步骤S5)。

插入控制部263在得到了插入部11的插入形状的种类发生变化的检测结果的情况下(S5：是)，进行后述的图14的步骤S8的处理。此外，插入控制部263在得到插入部11的插入形状的种类未发生变化的检测结果的情况下(S5：否)，判定是否需要变更在图14的步骤S4中进行1次控制时的控制内容(图14的步骤S6)。

插入控制部263在判定为不需要变更在图14的步骤S4中进行1次控制时的控制内容的判定结果的情况下(S6：否)，维持该控制内容并进行前述的图14的步骤S2以后的控制。此外，插入控制部263在得到需要变更在图14的步骤S4中进行1次控制时的控制内容的判定结果的情况下(S6：是)，在进行了用于设定变更后的控制内容的处理(图14的步骤S7)后，进行前述的图14的步骤S2以后的控制。

插入控制部263基于在刚刚进行图14的步骤S4的1次控制后的时刻由插入形状分类部262得到的分类结果，检测插入部11的插入形状是否变化为规定的种类(图14的步骤S8)。

插入控制部263在得到插入部11的插入形状未变化为规定的种类的检测结果的情况下(S8：否)，进行前述的图14的步骤S1的控制。此外，插入控制部263在得到插入部11的插入形状变化为规定的种类的检测结果的情况下(S8：是)，结束针对内窥镜功能控制部240的一系列的控制。

即，根据图14的一系列的处理，插入控制部263构成为，设定与作为由插入形状分类部262得到的分类结果而示出的一个种类的插入形状对应的控制内容，基于该设定的控制内容一次一次地进行与插入部11的插入操作相关的插入控制，并且在每次进行该插入控制时，参照由插入形状分类部262得到的分类结果来决定是否变更该插入控制的控制内容。

此外，根据图14的一系列的处理，插入控制部263构成为，从存储介质20M中预先存储的多个插入控制信息中选择插入控制信息CJX，该插入控制信息CJX包含与作为由插入形状分类部262得到的分类结果而示出的种类TX的插入形状对应的控制内容。

并且，根据图14的一系列的处理，插入控制部263构成为，基于插入控制信息CJX中包含的控制内容一次一次地进行插入控制。此外，根据图14的一系列的处理，插入控制部263构成为，在检测到在刚刚进行前述的插入控制后作为由插入形状分类部262得到的分类结果而示出的插入部11的插入形状的种类从种类TX变化为了种类TY的情况下，从存储介质20M中预先存储的多个插入控制信息中选择包含与该种类TY的插入形状对应的控制内容的插入控制信息CJY。

并且，根据图14的一系列的处理，插入控制部263构成为，在检测到在刚刚进行前述的插入控制后作为由插入形状分类部262得到的分类结果而示出的插入部11的插入形状的种类未从种类TX发生变化的情况下，判定是否需要变更插入控制信息CJX中包含的控制内容。

另外，在图14的一系列的处理中，例如，插入控制部263在通过图14的步骤S5的处理取得插入部11的插入形状的种类发生了变化的检测结果、并且检测到能够继续将与变化前的插入形状的种类对应的插入控制信息用于变化后的插入形状的种类的情况下，跳过图14的步骤S1的处理而进行图14的步骤S2以后的处理。

接着，对本变形例的作用进行说明。另外，以后，将针对从肛门向大肠的肠管内插入的插入部11应用前述的图14的控制的情况作为具体例来进行说明。此外，以下叙述的各插入控制信息中包含的控制内容(控制量等)示出向大肠的肠管内插入插入部11的情况的例子，因此也可以根据内窥镜10的应用部位等而适当变更。

医生等用户在连接内窥镜系统1的各部并接通电源后，例如将插入部11配置为使得前端部12位于被检体的肛门或直肠附近。

根据前述这样的用户的操作，从光源部210供给的照明光被照射到被摄体，被该照明光照射的被摄体被摄像部110拍摄，并且，拍摄该被摄体而得到的内窥镜图像从图像处理部220输出到显示控制部250和系统控制部260。

此外，根据前述的用户的操作，从线圈驱动信号生成部230供给线圈驱动信号，根据该线圈驱动信号从多个源线圈18分别产生磁场，将检测该磁场而得到的插入形状信息从插入形状信息取得部320向系统控制部260输出，并且，通过插入形状图像生成部261生成与该插入形状信息对应的插入形状图像。

此外，根据前述这样的用户的操作，从外力信息取得装置40向系统控制部260输出表示多个源线圈18各自的位置处的外力的大小和方向的外力信息。

用户在如前述那样配置了插入部11的状态下，例如通过打开输入装置50的自动插入开关，从而进行用于使主体装置20开始对插入部11的插入控制的指示。

分类结果记录部264在检测到进行了用于开始插入部11的插入控制的指示时，在每次插入控制部263对内窥镜功能控制部240进行1次与插入部11的插入操作相关的插入控制时，开始用于按照时间序列记录作为该插入控制的基础的分类结果的动作。

另外，在进行了这样的分类结果记录部264的动作的情况下，作为表示伴随插入控制部263的控制的插入部11的插入形状的种类的时间的推移的曲线图，例如，能够生成将图13A～图13C所示的曲线图的横轴从“时间”置换为“控制次数”后的曲线图。

插入形状分类部262例如在通过插入形状图像生成部261生成了图3所示的插入形状图像SGA的情况下，取得将插入部11的插入形状分类为种类TA的分类结果。

插入控制部263在基于由插入形状分类部262得到的分类结果检测到插入部11的插入形状的种类是种类TA的情况下，进行用于从存储介质20M中预先存储的多个插入控制信息中选择并读入与该种类TA对应的插入控制信息CJA的处理(相当于图14的步骤S1)。

在前述的插入控制信息CJA中包含与用于使插入部11成为可前进的状态的方法相关的信息。此外，在前述的插入控制信息CJA中，作为表示1次控制内容的信息而例如包含在前进量50mm、前进速度每秒30mm和推进力2.0N以下的条件下使插入部11前进这样的意思的信息。

插入控制部263在检测到插入控制信息CJA中包含与用于使插入部11成为可前进的状态的方法相关的信息的情况下(相当于S2：是)，进行用于基于从图像处理部220输出的内窥镜图像来检测该内窥镜图像中的管腔区域的位置的处理。

具体而言，插入控制部263例如对具有FCN(Fully Convolutional NeuralNetwork)的学习完毕的分类器CLQ输入图15A所示的内窥镜图像EG，从而进行取得图15B所示的处理结果图像PRG的处理。图15A是示出实施方式的内窥镜系统中生成的内窥镜图像的一例的图。图15B是示出对图15A的内窥镜图像进行了用于检测管腔区域的位置的处理的情况下得到的处理结果图像的一例的图。

在生成前述的分类器CLQ时，例如使用如下的示教数据进行机器学习，该示教数据包含与由图像处理部220生成的内窥镜图像同样的内窥镜图像；以及标签，其表示该内窥镜图像中包含的各像素属于边缘、管腔和其他的部分中哪个部分。

因此，根据前述的分类器CLQ，例如取得由图像处理部220生成的内窥镜图像中包含的各像素的像素值等的多维数据，将该多维数据作为输入数据向神经网络的输入层输入，由此，能够取得能够确定该内窥镜图像中的边缘区域的位置和管腔区域的位置的处理结果图像PRG作为输出数据。即，在通过使用前述的分类器CLQ的处理而得到的处理结果图像中包含与语义分割(semantic segmentation)相当的区域分割结果。

另外，根据本变形例，例如也可以是，在插入控制部263判断为难以基于处理结果图像PRG确定管腔区域的情况下，生成插入控制信号并向内窥镜功能控制部240输出，该插入控制信号用于使AWS控制部243进行动作，以基于AWS机构143进行送气、送水和/或抽吸。

插入控制部263基于插入控制信息CJA中包含的控制内容，生成如下的插入控制信号并向内窥镜功能控制部240输出，该插入控制信号用于进行使根据从图像处理部220输出的内窥镜图像检测到的管腔区域进入该内窥镜图像的包含中央部的规定的区域内的动作(相当于图14的步骤S3)。

具体而言，插入控制部263基于插入控制信息CJA中包含的控制内容，生成插入控制信号并向内窥镜功能控制部240输出，该插入控制信号用于例如如图15C所示将图15B的处理结果图像PRG分割为9×9的区域，并且调整前端部12的朝向和/或插入部11的旋转角度，使得该处理结果图像PRG中包含的管腔区域的整个区域或大致整个区域进入该处理结果图像PRG的包含中央部的5×5的区域内(图15C中的框WG的内部)。

然后，伴随这样的插入控制部263的控制，进行用于弯曲控制部242经由弯曲机构142使弯曲部13弯曲的控制、用于旋转控制部244经由旋转机构144使插入部11旋转的控制中的至少一方的控制。此外，伴随前述的插入控制部263的控制，插入部11成为可前进的状态。图15C是用于说明在得到图15B的处理结果图像的情况下进行的控制的图。

插入控制部263在到管腔区域进入从图像处理部220输出的内窥镜图像的包含中央部的规定的区域内为止的期间内，重复进行对内窥镜功能控制部240的控制。

此外，插入控制部263在检测到管腔区域进入到从图像处理部220输出的内窥镜图像的包含中央部的规定的区域内的情况下，基于从外力信息取得装置40输出的外力信息，生成用于进行与插入控制信息CJA中包含的控制内容对应的1次控制的插入控制信号，并向内窥镜功能控制部240输出(相当于图14的步骤S4)。然后，根据这样的插入控制部263的控制，通过进退控制部241进行用于经由进退机构141使插入部11前进的控制。

插入控制部263基于由插入形状分类部262得到的分类结果，检测插入部11的插入形状的种类是否根据基于插入控制信息CJA中包含的控制内容的1次控制而从种类TA发生了变化(相当于图14的步骤S5)。

插入控制部263在得到插入部11的插入形状的种类未从种类TA发生变化的检测结果的情况下(相当于S5：否)，进而判定是否需要变更插入控制信息CJA中包含的控制内容(相当于图14的步骤S6)。

插入控制部263例如在基于从外力信息取得装置40输出的外力信息检测到使插入部11前进时施加的外力为2.0N以下的情况下，取得不需要变更插入控制信息CJA中包含的控制内容的判定结果(相当于S6：否)。

此外，插入控制部263在得到了不需要变更插入控制信息CJA中包含的控制内容的判定结果的情况下，在进行了用于使插入部11成为可前进的状态的控制后，生成用于进行与该插入控制信息CJA中包含的控制内容对应的1次控制的插入控制信号，并向内窥镜功能控制部240输出(相当于图14的步骤S2、步骤S3和步骤S4)。

插入控制部263例如在基于从外力信息取得装置40输出的外力信息检测到使插入部11前进时施加的外力超过2.0N的情况下，取得需要变更插入控制信息CJA中包含的控制内容的判定结果(相当于S6：是)。

此外，插入控制部263在得到需要变更插入控制信息CJA中包含的控制内容的判定结果的情况下，将对该插入控制信息CJA中包含的控制内容追加了抖动(jiggling)后的控制内容设定为变更后的控制内容(相当于图14的步骤S7)。然后，插入控制部263在进行用于使插入部11成为可前进的状态的控制后，生成用于进行与前述的(包含抖动)变更后的控制内容对应的1次控制的插入控制信号，并向内窥镜功能控制部240输出(相当于图14的步骤S2、步骤S3和步骤S4)。

另外，在手动插入插入部11时，实施使插入于肠管内的插入部11一点一点地前后移动的操作作为前述的抖动。此外，例如作为以去除或减轻插入于肠管内的插入部11的挠曲、该肠管与插入部11之间产生的摩擦和该肠管内的插入部11的钩挂等这样的给大肠内的插入部11的手动插入带来障碍的现象为目的的操作，而实施前述的抖动。因此，例如，进退控制部241生成进退控制信号并向进退机构141输出，从而能够实行与前述的抖动相当的操作，其中，该进退控制信号用于进行使插入部11一点一点地重复进退规定的次数的控制。

然后，在对插入控制信息CJA中包含的控制内容追加了抖动的情况下，作为1次控制，通过插入控制部263进行使插入部11抖动并且根据该插入控制信息CJA中包含的控制内容而使插入部11前进的控制。

另外，根据本变形例，例如，在检测到即使在对插入控制信息CJA中包含的控制内容追加了抖动的状态下进行了规定次数的控制，插入部11的插入形状的种类也未从种类TA发生变化的情况下，可以通过插入控制部263进行在使插入部11后退固定量后使插入部11抖动和前进的控制。

插入形状分类部262例如在通过插入形状图像生成部261生成了图5A所示的插入形状图像SGB1或图5B所示的插入形状图像SGB2的情况下，取得将插入部11的插入形状分类为种类TB的分类结果。

插入控制部263在得到插入部11的插入形状的种类从种类TA变化为种类TB的检测结果的情况下(相当于S5：是和S8：否)，进行用于从存储介质20M中预先存储的多个插入控制信息中选择并读入与该种类TB对应的插入控制信息CJB的处理(相当于图14的步骤S1)。

在前述的插入控制信息CJB中包含与用于使插入部11成为可前进的状态的方法相关的信息。此外，在前述的插入控制信息CJB中，作为表示1次控制内容的信息例如包含如下信息，该信息表示在检测到通过抖动使插入部11前进时施加的外力为3.0N以下后，在前进量20mm、前进速度每秒10mm和推进力3.0N以下的条件下使插入部11前进。

插入控制部263在检测到插入控制信息CJB中包含与用于使插入部11成为可前进的状态的方法相关的信息的情况下(相当于S2：是)，进行用于基于从图像处理部220输出的内窥镜图像来检测该内窥镜图像中的管腔区域的位置的处理。

此外，插入控制部263基于插入控制信息CJB中包含的控制内容，生成如下的插入控制信号并向内窥镜功能控制部240输出，其中，该插入控制信号用于进行使通过前述的处理检测到的管腔区域进入该内窥镜图像的包含中央部的规定的区域内的动作(相当于图14的步骤S3)。

具体而言，插入控制部263基于插入控制信息CJB中包含的控制内容，生成如下的插入控制信号并向内窥镜功能控制部240输出，该插入控制信号用于取得图15B中例示的处理结果图像PRG并分割为9×9的区域，并且调整前端部12的朝向和/或插入部11的旋转角度，使得该处理结果图像PRG中包含的管腔区域的整个区域或大致整个区域进入该处理结果图像PRG的包含中央部的7×7的区域内。

然后，伴随这样的插入控制部263的控制，进行用于弯曲控制部242经由弯曲机构142使弯曲部13弯曲的控制、以及用于旋转控制部244经由旋转机构144使插入部11旋转的控制中的至少一方的控制。此外，伴随前述的插入控制部263的控制，插入部11成为可前进的状态。

插入控制部263在到管腔区域进入从图像处理部220输出的内窥镜图像的包含中央部的规定的区域内为止的期间内，重复进行对内窥镜功能控制部240的控制。此外，插入控制部263在检测到管腔区域进入到从图像处理部220输出的内窥镜图像的包含中央部的规定的区域内的情况下，基于从外力信息取得装置40输出的外力信息，生成用于进行与插入控制信息CJB中包含的控制内容对应的1次控制的插入控制信号，并向内窥镜功能控制部240输出(相当于图14的步骤S4)。

然后，根据这样的插入控制部263的控制，通过进退控制部241依次进行用于经由进退机构141使插入部11抖动的控制、用于经由进退机构141使插入部11前进的控制。

插入控制部263基于由插入形状分类部262得到的分类结果，检测插入部11的插入形状的种类是否根据基于插入控制信息CJB中包含的控制内容的1次控制而从种类TB发生了变化(相当于图14的步骤S5)。

插入控制部263在得到插入部11的插入形状的种类未从种类TB发生变化的检测结果的情况下(相当于S5：否)，进而判定是否需要变更插入控制信息CJB中包含的控制内容(相当于图14的步骤S6)。

插入控制部263在进行与从存储介质20M读入的插入控制信息CJB对应的控制的期间内，取得不需要变更该插入控制信息CJB中包含的控制内容的判定结果(相当于S6：否)。

此外，插入控制部263在得到不需要变更插入控制信息CJB中包含的控制内容的判定结果的情况下，在进行用于使插入部11成为可前进的状态的控制后，生成用于进行与插入控制信息CJB中包含的控制内容对应的1次控制的插入控制信号，并向内窥镜功能控制部240输出(相当于图14的步骤S2、步骤S3和步骤S4)。

插入形状分类部262例如在通过插入形状图像生成部261生成了图6A所示的插入形状图像SGC1或图6B所示的插入形状图像SGC2的情况下，取得将插入部11的插入形状分类为种类TC的分类结果。

插入控制部263在得到插入部11的插入形状的种类从种类TB变化为种类TC的检测结果的情况下(相当于S5：是和S8：否)，再次进行与从存储介质20读入的插入控制信息CJB对应的控制。即，插入控制部263在检测到插入部11的插入形状的种类从种类TB变化为种类TC的情况下，判断为能够继续利用与该种类TB对应的插入控制信息CJB，跳过图14的步骤S1的处理而进行图14的步骤S2以后的处理。

插入形状分类部262例如在通过插入形状图像生成部261生成了图7A所示的插入形状图像SGD1或图7B所示的插入形状图像SGD2的情况下，取得将插入部11的插入形状分类为种类TD的分类结果。

插入控制部263在得到插入部11的插入形状的种类从种类TC变化为种类TD的检测结果的情况下(相当于S5：是和S8：否)，进行用于从存储介质20M中预先存储的多个插入控制信息中选择并读入与该种类TD对应的插入控制信息CJD的处理(相当于图14的步骤S1)。

在前述的插入控制信息CJD中包含与用于使插入部11成为可前进的状态的方法相关的信息。此外，在前述的插入控制信息CJD中，作为表示1次控制内容的信息例如包含如下信息，该信息表示在检测到通过抖动使插入部11前进时施加的外力为2.5N以下后，在前进量20mm、前进速度每秒20mm和推进力2.5以下的条件下使插入部11前进。

插入控制部263在检测到插入控制信息CJD中包含与用于使插入部11成为可前进的状态的方法相关的信息的情况下(相当于S2：是)，进行用于基于从图像处理部220输出的内窥镜图像检测该内窥镜图像中的管腔区域的位置的处理。

此外，插入控制部263基于插入控制信息CJD中包含的控制内容，生成如下的插入控制信号并向内窥镜功能控制部240输出，该插入控制信号用于进行使通过前述的处理检测到的管腔区域进入该内窥镜图像的包含中央部的规定的区域内的动作(相当于图14的步骤S3)。

具体而言，插入控制部263基于插入控制信息CJD中包含的控制内容，生成插入控制信号并向内窥镜功能控制部240输出，该插入控制信号用于取得图15B所例示的处理结果图像PRG并将其分割为9×9的区域，并且调整前端部12的朝向和/或插入部11的旋转角度，使得该处理结果图像PRG中包含的管腔区域的整个区域或大致整个区域进入该处理结果图像PRG的包含中央部的5×5的区域内。

此外，插入控制部263例如在检测到即使在弯曲部13的弯曲角度达到最大值的状态下使插入部11旋转，管腔区域仍然未进入前述的5×5的区域内的情况下，生成如下的插入控制信号并向内窥镜功能控制部240输出，该插入控制信号用于调整前端部12的朝向和/或插入部11的旋转角度，使得处理结果图像PRG中包含的该管腔区域的整个区域或大致整个区域进入该处理结果图像PRG的包含中央部的7×7的区域内。

而且，伴随这样的插入控制部263的控制，进行用于弯曲控制部242经由弯曲机构142使弯曲部13弯曲的控制、用于旋转控制部244经由旋转机构144使插入部11旋转的控制中的至少一方的控制。此外，伴随前述的插入控制部263的控制，插入部11成为可前进的状态。

插入控制部263在到管腔区域进入从图像处理部220输出的内窥镜图像的包含中央部的规定的区域内的期间内，重复进行对内窥镜功能控制部240的控制。

此外，插入控制部263在检测到管腔区域进入了从图像处理部220输出的内窥镜图像的包含中央部的规定的区域内的情况下，基于从外力信息取得装置40输出的外力信息，生成用于进行与插入控制信息CJD中包含的控制内容对应的1次控制的插入控制信号并向内窥镜功能控制部240输出(相当于图14的步骤S4)。

然后，根据这样的插入控制部263的控制，通过进退控制部241依次进行用于经由进退机构141使插入部11抖动的控制和用于经由进退机构141使插入部11前进的控制。

插入控制部263基于由插入形状分类部262得到的分类结果，检测插入部11的插入形状的种类是否根据基于插入控制信息CJD中包含的控制内容的1次控制而从种类TD发生了变化(相当于图14的步骤S5)。

插入控制部263在得到插入部11的插入形状的种类未从种类TD发生变化的检测结果(相当于S5：否)的情况下，进一步判定是否需要变更插入控制信息CJD中包含的控制内容(相当于图14的步骤S6)。

插入控制部263在进行与从存储介质20M读出的插入控制信息CJD对应的控制的期间内，取得不需要变更该插入控制信息CJD中包含的控制内容的判定结果(相当于S6：否)。

此外，插入控制部263在得到不需要变更插入控制信息CJD中包含的控制内容的判定结果的情况下，在进行了用于使插入部11成为可前进的状态的控制后，生成用于进行与插入控制信息CJD中包含的控制内容对应的1次控制的插入控制信号，并向内窥镜功能控制部240输出(相当于图14的步骤S2、步骤S3和步骤S4)。

插入形状分类部262例如在通过插入形状图像生成部261生成了图8A所示的插入形状图像SGE1或图8B所示的插入形状图像SGE2的情况下，取得将插入部11的插入形状分类为种类TE的分类结果。

插入控制部263在得到插入部11的插入形状的种类从种类TD变化为种类TE的检测结果的情况下(相当于S5：是和S8：否)，进行用于从存储介质20M中预先存储的多个插入控制信息中选择并读出与该种类TE对应的插入控制信息CJE的处理(相当于图14的步骤S1)。

在前述的插入控制信息CJE中包含与用于解除由插入部11形成的环形状的方法相关的信息。此外，在前述的插入控制信息CJE中，作为表示1次控制内容的信息，例如包含表示使插入部11后退时的后退量BLA的信息、以及表示使插入部11后退时的后退速度BVA的信息。

插入控制部263在得到在插入控制信息CJE中包含与用于解除由插入部11形成的环形状的方法相关的信息的情况下(相当于S2：否)，生成用于进行与该插入控制信息CJE中包含的后退量BLA和后退速度BVA对应的1次控制的插入控制信号，并向内窥镜功能控制部240输出(相当于图14的步骤S4)。然后，根据这样的插入控制部263的控制，通过进退控制部241进行用于经由进退机构141使插入部11后退的控制。

插入控制部263基于由插入形状分类部262得到的分类结果，检测插入部11的插入形状的种类是否根据基于插入控制信息CJE中包含的控制内容的1次控制而从种类TE发生了变化(相当于图14的步骤S5)。

插入控制部263在得到插入部11的插入形状的种类未从种类TE发生变化的检测结果的情况下(相当于S5：否)，进一步判定是否需要变更插入控制信息CJE中包含的控制内容(相当于图14的步骤S6)。

插入控制部263例如在基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息、由插入形状图像生成部261生成的插入形状图像检测到α环的解除(缩小)正在进展的情况下，取得不需要变更插入控制信息CJE中包含的控制内容的判定结果(相当于S6：否)。

此外，插入控制部263在得到不需要变更插入控制信息CJE中包含的控制内容的判定结果的情况下，生成用于进行与该插入控制信息CJE中包含的控制内容对应的1次控制的插入控制信号，并向内窥镜功能控制部240输出(相当于图14的步骤S2和步骤S4)。

插入控制部263例如在基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息、由插入形状图像生成部261生成的插入形状图像检测到α环的解除(缩小)未进展的情况下，取得需要变更插入控制信息CJE中包含的控制内容的判定结果(相当于S6：是)。

此外，插入控制部263在得到需要变更插入控制信息CJE中包含的控制内容的判定结果的情况下，例如将变更了该插入控制信息CJE中包含的后退量BLA和后退速度BVA中的至少任意一方的参数后的控制内容设定为变更后的控制内容(相当于图14的步骤S7)。

或者，插入控制部263在得到需要变更插入控制信息CJE中包含的控制内容的判定结果的情况下，例如将对该插入控制信息CJE中包含的控制内容追加了与插入部11的插入操作相关的其他种类的控制内容后的控制内容设定为变更后的控制内容(相当于图14的步骤S7)。

然后，插入控制部263生成用于进行与前述的变更后的控制内容对应的1次控制的插入控制信号，并向内窥镜功能控制部240输出(相当于图14的步骤S2和步骤S4)。

另外，本变形例的插入控制部263不限于在得到插入部11的插入形状的种类从种类TD变化为种类TE的检测结果之后马上开始与插入控制信息CJE对应的控制，例如也可以是，在连续1分钟的期间内得到插入部11的插入形状的种类从该种类TD变化为该种类TE的检测结果的情况下，开始与该插入控制信息CJE对应的控制。

插入形状分类部262例如在通过插入形状图像生成部261生成了图9A所示的插入形状图像SGF1或图9B所示的插入形状图像SGF2的情况下，取得将插入部11的插入形状分类为种类TF的分类结果。

插入控制部263在得到插入部11的插入形状的种类从种类TE变化为种类TF的检测结果的情况下(相当于S5：是和S8：否)，进行用于从存储介质20M中预先存储的多个插入控制信息中选择并读入与该种类TF对应的插入控制信息CJF的处理(相当于图14的步骤S1)。

在前述的插入控制信息CJF中包含与用于解除由插入部11形成的环形状的方法相关的信息。此外，在前述的插入控制信息CJF中，作为表示1次控制内容的信息，例如包含表示使插入部11绕插入轴(长度轴)向右方向旋转时的旋转角度BAA的信息。

插入控制部263在检测到插入控制信息CJF中包含与用于解除由插入部11形成的环形状的方法相关的信息的情况下(相当于S2：否)，生成用于与进行与该插入控制信息CJF中包含的旋转角度BAA对应的1次控制的插入控制信号，并向内窥镜功能控制部240输出(相当于图14的步骤S4)。然后，根据这样的插入控制部263的控制，通过旋转控制部244进行用于经由旋转机构144使插入部11绕插入轴(长度轴)向右方向旋转的控制。

插入控制部263基于由插入形状分类部262得到的分类结果，检测插入部11的插入形状的种类是否根据基于插入控制信息CJF中包含的控制内容的1次控制而从种类TF发生了变化(相当于图14的步骤S5)。

插入控制部263在得到插入部11的插入形状的种类未从种类TF发生变化的检测结果的情况下(相当于S5：否)，进一步判定是否需要变更插入控制信息CJF中包含的控制内容(相当于图14的步骤S6)。

插入控制部263例如在基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息、由插入形状图像生成部261生成的插入形状图像检测到α环的解除(缩小)正在进展的情况下，取得不需要变更插入控制信息CJF中包含的控制内容的判定结果(相当于S6：否)。

此外，插入控制部263在得到不需要变更插入控制信息CJF中包含的控制内容的判定结果的情况下，生成用于进行与该插入控制信息CJF中包含的控制内容对应的1次控制的插入控制信号，并向内窥镜功能控制部240输出(相当于图14的步骤S2和步骤S4)。

插入控制部263例如在基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息、由插入形状图像生成部261生成的插入形状图像检测到α环的解除(缩小)未进展的情况下，取得需要变更插入控制信息CJF中包含的控制内容的判定结果(相当于S6：是)。

此外，插入控制部263在得到需要变更插入控制信息CJF中包含的控制内容的判定结果的情况下，例如将追加了在使插入部11以旋转角度BAA旋转前使插入部11后退规定量的动作后的控制内容设定为变更后的控制内容(相当于图14的步骤S7)。

然后，插入控制部263生成用于进行与前述的变更后的控制内容对应的1次控制的插入控制信号，并向内窥镜功能控制部240输出(相当于图14的步骤S2和步骤S4)。

另外，根据本变形例，例如在检测到即使在变更了插入控制信息CJF中包含的控制内容的状态下进行规定次数的控制，α环的解除(缩小)仍然未进展的情况下，也可以通过插入控制部263进行在维持形成的该α环的状态下使插入部11前进的控制。

插入形状分类部262例如在通过插入形状图像生成部261生成了图10A所示的插入形状图像SGG1或图10B所示的插入形状图像SGG2的情况下，取得将插入部11的插入形状分离为种类TG的分类结果。

插入控制部263在得到插入部11的插入形状的种类从种类TF变化为种类TG的检测结果的情况下(相当于S5：是和S8：否)，进行用于从存储介质20M中预先存储的多个插入控制信息中选择并读出与该种类TG对应的插入控制信息CJG的处理(相当于图14的步骤S1)。

在前述的插入控制信息CJG中包含与用于解除由插入部11形成的环形状的方法相关的信息。此外，在前述的插入控制信息CJG中，作为表示1次控制内容的信息，例如包含表示使插入部11后退时的后退量BLB的信息、表示使插入部11后退时的后退速度BVB的信息、表示使插入部11绕插入轴(长度轴)向右方向旋转时的旋转角度BAB的信息。另外，前述的后退速度BVB例如设定为每秒15mm程度的速度即可。

插入控制部263在检测到在插入控制信息CJG中包含与用于解除由插入部11形成的环形状的方法相关的信息的情况下(相当于S2：否)，生成用于进行与该插入控制信息CJG中包含的后退量BLB、后退速度BVB和旋转角度BAB对应的1次控制的插入控制信号，并向内窥镜功能控制部240输出(相当于图14的步骤S4)。

然后，根据这样的插入控制部263的控制，同时进行用于进退控制部241经由进退机构141使插入部11后退的控制、以及用于旋转控制部244经由旋转机构144使插入部11绕插入轴(长度轴)向右方向旋转的控制。

插入控制部263基于由插入形状分类部262得到的分类结果，检测插入部11的插入形状的种类是否根据基于插入控制信息CJG中包含的控制内容的1次控制而从种类TG发生了变化(相当于图14的步骤S5)。

插入控制部263在得到插入部11的插入形状的种类未从种类TG发生变化的检测结果的情况下(相当于S5：否)，进一步判定是否需要变更插入控制信息CJG中包含的控制内容(相当于图14的步骤S6)。

插入控制部263在进行与从存储介质20M读入的插入控制信息CJG对应的控制的期间内，取得不需要变更该插入控制信息CJG中包含的控制内容的判定结果(相当于S6：否)。

此外，插入控制部263在得到不需要变更插入控制信息CJG中包含的控制内容的判定结果的情况下，生成用于进行与该插入控制信息CJG中包含的控制内容对应的1次控制的插入控制信号，并向内窥镜功能控制部240输出(相当于图14的步骤S2和步骤S4)。

插入形状分类部262例如在通过插入形状图像生成部261生成了图11所示的插入形状图像SGH的情况下，取得将插入部11的插入形状分类为种类TH的分类结果。

插入控制部263在得到插入部11的插入形状的种类从种类TG变化为种类TH的检测结果的情况下(相当于S5：是和S8：否)，进行用于从存储介质20M中预先存储的多个插入控制信息中选择并读入与该种类TH对应的插入控制信息CJA的处理(相当于图14的步骤S1)。另外，关于在插入部11的插入形状的种类是种类TH的情况下由插入控制部263进行的控制，由于能够用于与插入控制信息CJA中包含的控制内容对应的已经叙述的控制，因此省略具体的说明。

这里，在本实施方式中，在发生插入部11未形成α环而通过S状结肠这样的状况的情况下，作为插入形状分类部262的分类结果而示出插入部11的插入形状的种类维持种类TA，并且通过插入控制部263继续进行与该种类TA对应的插入控制信息CJA中包含的控制内容所对应的控制。因此，插入控制部263在得到插入部11的插入形状的种类从种类TA变化为种类TH的检测结果的情况下(相当于S5：是和S8：否)，再次进行与从存储介质20读入的插入控制信息CJA对应的控制。

即，插入控制部263在检测到插入部11的插入形状的种类从种类TA变化为种类TH的情况下，判断为能够继续利用与该种类TA对应的插入控制信息CJA，跳过图14的步骤S1的处理而进行图14的步骤S2以后的处理。

插入形状分类部262例如在通过插入形状图像生成部261生成了图12A所示的插入形状图像SGI1或图12B所示的插入形状图像SGI2的情况下，取得将插入部11的插入形状分类为种类TI的分类结果。

插入控制部263在得到插入部11的插入形状的种类从种类TH变化为种类TI的检测结果的情况下(相当于S5：是和S8：否)，再次进行与从存储介质20读入的插入控制信息CJA对应的控制。

即，插入控制部263在检测到插入部11的插入形状的种类从种类TH变化为种类TI的情况下，判断为能够继续利用与该种类TH对应的插入控制信息CJA，跳过图14的步骤S1的处理而进行图14的步骤S2以后的处理。

插入形状分类部262例如在通过插入形状图像生成部261生成了图13A所示的插入形状图像SGJ1或图13B所示的插入形状图像SGJ2的情况下，取得将插入部11的插入形状分类为种类TJ的分类结果。

插入控制部263在得到插入部11的插入形状的种类从种类TI变化为种类TJ的检测结果的情况下(相当于S5：是和S8：是)，结束对内窥镜功能控制部240的一系列的控制。

用户例如在基于显示装置60中显示的插入形状图像确认了插入于被检者的内部的插入部11的插入形状不再变化后，关闭输入装置50的自动插入开关，从而进行用于停止主体装置20对插入部11的插入控制的指示。

分类结果记录部264在检测到进行了用于停止插入部11的插入控制的指示时，停止用于按照时间序列记录插入形状分类部262的分类结果的动作。

如以上所述，根据本变形例，在插入形状分类部262中进行如下处理：基于与熟练者对插入部11的插入操作中的操作的成功与否等进行主观判断或评价时的观点大致同等的观点，对由插入形状图像生成部261生成的插入形状图像中包含的插入部11的插入形状的种类进行分类而得到分类结果。此外，如以上所述，根据本变形例，在插入控制部263中进行基于与作为由插入形状分类部262得到的分类结果而示出的插入部11的插入形状的种类对应的一个插入控制信息的插入控制。

此外，如以上所述，根据本变形例，在每进行1次基于与插入部11的插入形状的种类对应的一个插入控制信息的插入控制时，在插入控制部263中进行检测插入部11的插入形状的种类是否发生了变化的动作。因此，根据本变形例，例如，能够进行与供插入部插入的被检体的内部状态的个体差异和该被检体的内部的该插入部的插入形状在时间上的变化等这样的该插入部的插入状况相应的适当的插入控制。

另外，本变形例例如通过将插入控制信息CJF和CJG中包含的各旋转角度置换为使插入部11绕插入轴(长度轴)向左方向旋转时的角度，能够对与背α环和反α环的解除相关的控制进行应用。

此外，本变形例通过变更图14的一系列的控制中的一部分控制内容，例如能够对与棒和γ环等这样的对大肠内的插入部11的插入带来障碍的各种插入形状的解除相关的控制进行应用。

(第2实施方式)

图16到图17D是第2实施方式的图。

另外，在本实施方式中，适当省略关于具有与第1实施方式同样的结构等的部分的详细说明，并且，主要针对具有与第1实施方式不同的结构等的部分进行说明。

例如，图16所示，内窥镜系统1A构成为具有内窥镜10、主体装置20A、插入形状检测装置30、外力信息取得装置40、输入装置50、显示装置60。图16是用于说明第2实施方式的内窥镜系统的具体结构的框图。

主体装置20A构成为具有1个以上的处理器20P、存储介质20M。此外，如图16所示，主体装置20A构成为具有光源部210、图像处理部220、线圈驱动信号生成部230、内窥镜功能控制部240、显示控制部250、系统控制部270。

系统控制部270构成为生成并输出用于进行与来自操作部16和输入装置50的指示等对应的动作的系统控制信号。此外，系统控制部270构成为具有插入形状图像生成部261、插入形状要素提取部272、插入控制部273、提取结果记录部274。

插入形状要素提取部272构成为进行如下处理：从由插入形状图像生成部261生成的插入形状图像提取与插入部11的插入形状关联的1个以上的结构要素，得到提取结果。

＜插入形状要素提取部272的结构的具体例＞

这里，对本实施方式中的插入形状要素提取部272的结构的具体例进行说明。

插入形状要素提取部272构成为，使用具有FCN(Fully Convolutional NeuralNetwork)的学习完毕的分类器(例如，分类器CLR)进行处理，由此得到从由插入形状图像生成部261生成的插入形状图像提取与插入部11的插入形状关联的1个以上的结构要素的提取结果。

这里，在生成前述的分类器CLR时，例如使用示教数据来进行机器学习，该示教数据包含与由插入形状图像生成部261生成的插入形状图像同样的插入形状图像以及标签，该标签表示该插入形状图像中包含的各像素属于内窥镜前端部(以后称为结构要素E1)、相对大的闭环(以后称为结构要素E2)、相对小的闭环(以后称为结构要素E3)、开环(以后称为结构要素E4)、闭环中的交叉部(以后称为结构要素E5)、N环的基端侧的曲折部(以后称为结构要素E6)、N环的前端侧的曲折部(以后称为结构要素E7)、闭环的内部(以后称为结构要素E8)、内窥镜插入部中的该结构要素E1～E8以外的部分(以后称为结构要素E9)和背景(以后称为结构要素E10)中的哪个结构要素。

这里，例如，通过利用目视而确认了被用作示教数据的插入形状图像的熟练者的判断来确定前述的结构要素E1～E10各自的有无等。

此外，关于与前述的结构要素E3对应的闭环，例如表示为具有熟练者通过对插入部11进行扭转操作来尝试环的解除这样的大小的环。

并且，与前述的结构要素E2对应的闭环表示为具有比前述的结构要素E3大的大小的环。

并且，前述的结构要素E1～E8例如被设定为如下的结构要素，该结构要素用于从包含插入部11的插入形状的一个插入形状图像中提取如下局部区域，该局部区域有助于判断手动或自动进行插入部11的插入操作的情况下的操作是否成功以及判断是否需要变更操作内容。

因此，根据前述的分类器CLR，例如，取得由插入形状图像生成部261生成的插入形状图像中包含的各像素的像素值等的多维数据，将该多维数据作为输入数据向神经网络的输入层输入，由此，能够取得表示将该插入形状图像中包含的像素分别分类为前述的结构要素E1～E10中的任意1个结构要素的分类结果的处理结果图像，作为输出数据。即，通过使用前述的分类器CLR进行的处理而得到的处理结果图像中包含有相当于语义分割的区域分割结果。

插入形状要素提取部272例如在通过插入形状图像生成部261生成了包含通过插入形状分类部262的处理被分类为种类TB这样的插入形状的插入形状图像的情况下，通过将该插入形状图像输入分类器CLR而进行处理，从而取得图17A所示的处理结果图像PBG。图17A是示出表示从第2实施方式的内窥镜系统中生成的插入形状图像中提取与插入部的插入形状关联的结构要素得到的提取结果的图像的一例的图。

图17A的处理结果图像PBG被生成为包含如下区域分割结果的图像，该区域分割结果表示将由插入形状图像生成部261生成的插入形状图像分割为具有被分类为结构要素E1的像素组的区域EA1、具有被分类为结构要素E4的像素组的区域EA4、具有被分类为结构要素E9的像素组的区域EA9、以及具有被分类为结构要素E10的像素组的区域EA10这4个区域。

即，图17A的处理结果图像PBG作为表示如下提取结果的图像而取得，该提取结果为，从由插入形状图像生成部261生成的插入形状图像中提取与结构要素E1、E4和E9相当的3个结构要素，作为与插入部11的插入形状关联的结构要素。

插入形状要素提取部272例如在通过插入形状图像生成部261生成了包含通过插入形状分类部262的处理而分类为种类TE的插入形状的插入形状图像的情况下，将该插入形状图像向分类器CLR输入并进行处理，从而取得图17B所示的处理结果图像PEG。图17B是示出表示从第2实施方式的内窥镜系统中生成的插入形状图像中提取与插入部的插入形状关联的结构要素得到的提取结果的图像的一例的图。

图17B的处理结果图像PEG被生成为包含如下区域分割结果的图像，该区域分割结果表示将由插入形状图像生成部261生成的插入形状图像分割为具有被分类为结构要素E1的像素组的区域EA1、具有被分类为结构要素E2的像素组的区域EA2、具有被分类为结构要素E5的像素组的区域EA5、具有被分类为结构要素E8的像素组的区域EA8、具有被分类为结构要素E9的像素组的区域EA9、具有被分类为结构要素E10的像素组的区域EA10这6个区域。

即，图17B的处理结果图像PEG作为表示如下提取结果的图像而取得，该提取结果为，从由插入形状图像生成部261生成的插入形状图像中提取与结构要素E1、E2、E5、E8和E9相当的5个结构要素，作为与插入部11的插入形状关联的结构要素。

插入形状要素提取部272例如在通过插入形状图像生成部261生成了包含通过插入形状分类部262的处理而分类为种类TF的插入形状的插入形状图像的情况下，将该插入形状图像向分类器CLR输入并进行处理，从而取得图17C所示的处理结果图像PFG。图17C是示出表示从第2实施方式的内窥镜系统中生成的插入形状图像中提取与插入部的插入形状关联的结构要素得到的提取结果的图像的一例的图。

图17C的处理结果图像PFG被生成为包含如下区域分割结果的图像，该区域分割结果表示将由插入形状图像生成部261生成的插入形状图像分割为具有被分类为结构要素E1的像素组的区域EA1、具有被分类为结构要素E3的像素组的区域EA3、具有被分类为结构要素E5的像素组的区域EA5、具有被分类为结构要素E8的像素组的区域EA8、具有被分类为结构要素E9的像素组的区域EA9、以及具有被分类为结构要素E10的像素组的区域EA10这6个区域。

即，图17C的处理结果图像PFG作为表示如下提取结果的图像而取得，该提取结果为，从由插入形状图像生成部261生成的插入形状图像中提取与结构要素E1、E3、E5、E8和E9相当的5个结构要素，作为与插入部11的插入形状关联的结构要素。

插入形状要素提取部272例如在通过插入形状图像生成部261生成了包含通过插入形状分类部262的处理而分类为种类TG的插入形状的插入形状图像的情况下，将该插入形状图像向分类器CLR输入并进行处理，从而取得图17D所示的处理结果图像PGG。图17D是示出表示从第2实施方式的内窥镜系统中生成的插入形状图像中提取与插入部的插入形状关联的结构要素得到的提取结果的图像的一例的图。

图17D的处理结果图像PGG被生成为包含如下区域分割结果的图像，该区域分割结果表示将由插入形状图像生成部261生成的插入形状图像分割为具有被分类为结构要素E1的像素组的区域EA1、具有被分类为结构要素E6的像素组的区域EA6、具有被分类为结构要素E7的像素组的区域EA7、具有被分类为结构要素E9的像素组的区域EA9、以及具有被分类为结构要素E10的像素组的区域EA10这5个区域。

即，图17D的处理结果图像PGG作为表示如下提取结果的图像而取得，该提取结果为，从由插入形状图像生成部261生成的插入形状图像中提取与结构要素E1、E6、E7和E9相当的4个结构要素，作为与插入部11的插入形状关联的结构要素。

即，插入形状要素提取部272构成为进行如下处理：从由插入形状图像生成部261生成的插入形状图像中，作为与插入部11的插入形状相关的结构要素而提取与前端部12相当的内窥镜前端部、与插入部11中的形成环形状的部分相当的环部和插入部11中的与曲折的部分相当的曲折部中的至少1个，得到提取结果。

此外，插入形状要素提取部272使用通过利用示教数据进行机器学习生成的分类器CLR来进行处理，从而提取与插入被检体内的插入部11的插入形状相关的1个以上的结构要素，得到提取结果，其中，所述示教数据包含表示插入部11的插入形状的插入形状图像、以及表示将该插入形状图像中包含的各像素分类为规定的多个结构要素中的一个结构要素的分类结果的标签。

插入控制部273构成为，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个、以及由插入形状要素提取部272得到的提取结果，生成包含用于进行与插入部11的插入操作相关的控制的信息的插入控制信号，并向内窥镜功能控制部240输出。

具体而言，插入控制部273基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个、以及由插入形状要素提取部272得到的提取结果，生成包含如下信息的插入控制信号并向内窥镜功能控制部240输出，该信息用于进行例如与该插入操作的开始、该插入操作的继续、该插入操作中断、该插入操作的重新开始、该插入操作的停止和该插入操作的完成中的至少1个相关的控制，作为与插入部11的插入操作相关的控制。

此外，插入控制部273构成为，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个、以及由插入形状要素提取部272得到的提取结果，生成包含如下信息的插入控制信号并向内窥镜功能控制部240输出，该信息用于控制插入部11的插入操作的操作量、该插入操作的操作速度和该插入操作的操作力中的至少1个。

这里，本实施方式的插入控制部273构成为，例如根据与作为由插入形状要素提取部272得到的提取结果而示出的插入部11的当前的插入形状相关的结构要素，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个来设定控制内容，使用该设定的控制内容，生成包含用于进行与插入部11的插入操作相关的控制的信息的插入控制信号，并向内窥镜功能控制部240输出。

因此，插入控制部273根据与作为由插入形状要素提取部272得到的提取结果而示出的插入部11的当前的插入形状相关的结构要素，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个来设定控制内容，由此，例如能够设定操作控制组CGC，生成并输出包含与该设定的操作控制组CGC相关的信息的插入控制信号，其中，该操作控制组CGC具有如下控制内容，该控制内容用于单独执行从由内窥镜10的功能实现的各基本操作中选择出的基本操作从而进行插入部11的插入操作。

此外，插入控制部273根据与作为由插入形状要素提取部272得到的提取结果而示出的插入部11的当前的插入形状相关的结构要素，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个来设定控制内容，由此，例如能够设定操作控制组CGD，生成并输出包含与该设定的操作控制组CGD相关的信息的插入控制信号，该操作控制组CGD具有如下控制内容，该控制内容用于组合执行从由内窥镜10的功能实现的各基本操作中选择出的多个基本操作从而进行插入部11的插入操作。

另外，操作控制组CGD被设定为连续或同时执行从由内窥镜10的功能实现的各基本操作中选择出的多个基本操作这样的控制内容。即，操作控制组CGD的控制内容被设定为比操作控制组CGC的控制内容复杂的控制内容。

即，插入控制部263构成为，作为与作为由插入形状要素提取部272得到的提取结果而示出的插入部11的当前的插入形状所相关结构要素对应的控制，进行基于操作控制组CGC和操作控制组CGD中任意一种的控制，其中，该操作控制组CGC具有用于单独执行从由内窥镜10的功能实现的各基本操作中选择出的基本操作从而进行插入部11的插入操作的控制内容，该操作控制组CGD具有用于组合执行从由内窥镜10的功能实现的各基本操作中选择出的多个基本操作从而进行插入部11的插入操作的控制内容。

此外，插入控制部273构成为，基于通过内窥镜10对被检体内进行拍摄得到的图像、表示对插入部11施加的外力的大小的信息和表示插入部11的插入形状的信息中的至少1个、以及由插入形状要素提取部272得到的提取结果，进行与所述插入部的插入操作相关的控制。

此外，插入控制部273构成为，根据由插入形状要素提取部272得到的提取结果中包含的至少1个结构要素的随时间经过的变化，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个来变更控制内容。

提取结果记录部274构成为，能够进行用于按照时间序列记录由插入形状要素提取部272得到的提取结果的动作。

在本实施方式中，主体装置20A的至少一部分的功能由处理器20P实现即可。此外，在本实施方式中，主体装置20的至少一部分可以构成为各个电子电路，或者也可以构成为FPGA(Field Programmable Gate Array)等集成电路中的电路模块。

此外，也可以通过对本实施方式的结构进行适当变形，由此，例如计算机从存储器等存储介质20M读入用于执行主体装置20A的至少一部分功能的程序，并且进行与读入的程序相应的动作。

接着，对本实施方式的作用进行说明。

医生等用户在连接内窥镜系统1A的各部并接通电源后，例如将插入部11配置为使得前端部12位于被检体的肛门或直肠附近。

根据前述这样的用户的操作，从光源部210供给的照明光被照射到被摄体，通过摄像部110拍摄被该照明光照射的被摄体，并且拍摄该被摄体而得到的内窥镜图像从图像处理部220向显示控制部250和系统控制部270输出。此外，根据前述这样的用户的操作，从线圈驱动信号生成部230供给线圈驱动信号，根据该线圈驱动信号从多个源线圈18分别产生磁场，从插入形状信息取得部320向系统控制部270输出检测该磁场而得到的插入形状信息，并且通过插入形状图像生成部261生成与该插入形状信息对应的插入形状图像。

此外，根据前述这样的用户的操作，从外力信息取得装置40向系统控制部270输出表示多个源线圈18各自的位置处的外力的大小和方向的外力信息。

用户在前述那样配置了插入部11的状态下，例如通过打开输入装置50的自动插入开关，进行用于开始主体装置20A对插入部11的插入控制的指示。

提取结果记录部274在检测到用于开始插入部11的插入控制的指示时，例如，开始用于按照时间序列且每隔固定时间记录由插入形状要素提取部272得到的提取结果的动作。

插入控制部273根据与作为由插入形状要素提取部272得到的提取结果而示出的插入部11的当前的插入形状相关的结构要素，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个来设定控制内容。

具体而言，插入控制部273例如在检测到由插入形状要素提取部272得到的提取结果中包含结构要素E2或E4的情况下，生成并输出包含与操作控制组CGC相关的信息的插入控制信号，该操作控制组CGC是基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个而设定了控制内容的操作控制组。

此外，插入控制部273例如在检测到由插入形状要素提取部272得到的提取结果中包含结构要素E3的情况下，生成并输出包含与操作控制组CGD相关的信息的插入控制信号，该操作控制组CGD是基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个而设定了控制内容的操作控制组。

插入控制部273根据由插入形状要素提取部272得到的提取结果中包含的至少1个的结构要素的随时间经过的变化，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个来变更控制内容。

具体而言，作为用于检测由插入形状要素提取部272得到的处理结果图像中包含的区域EA1的位置的随时间经过的变化的处理，插入控制部273例如进行对由插入形状要素提取部272得到的处理结果图像进行二值化而生成二值化图像的处理、用于确定该二值化图像中包含的该区域EA1的重心位置的处理和检测该重心位置随时间经过的变化的处理。

此外，作为用于检测由插入形状要素提取部272得到的处理结果图像中包含的区域EA8的面积随时间经过的变化的处理，插入控制部273例如进行对由插入形状要素提取部272得到的处理结果图像进行二值化而生成二值化图像的处理和用于检测该二值化图像中包含的该区域EA8的像素数随时间经过的变化的处理。

此外，作为用于检测由插入形状要素提取部272得到的处理结果图像中包含的区域EA8的形状随时间经过的变化的处理，插入控制部273例如进行对由插入形状要素提取部272得到的处理结果图像进行二值化而生成二值化图像的处理和检测该二值化图像中包含的该区域EA8的圆度随时间经过的变化的处理。

此外，作为用于检测由插入形状要素提取部272得到的处理结果图像中包含的区域EA3的面积随时间经过的变化的处理，插入控制部273例如进行对由插入形状要素提取部272得到的处理结果图像进行二值化而生成二值化图像的处理和检测该二值化图像中包含的该区域EA3的像素数随时间经过的变化的处理。

此外，作为用于检测由插入形状要素提取部272得到的处理结果图像中包含的区域EA3的长度随时间经过的变化的处理，插入控制部273例如进行对由插入形状要素提取部272得到的处理结果图像进行二值化而生成二值化图像的处理、用于对该二值化图像中包含的区域EA3进行细线化而生成线段的处理和检测该线段的像素数随时间经过的变化的处理。

而且，插入控制部273例如基于根据由插入形状要素提取部272得到的处理结果图像而检测出的区域EA1的位置、区域EA8的面积、该区域EA8的形状、区域EA3的面积、该区域EA3的长度中的至少1个随时间经过的变化，基于从图像处理部220输出的内窥镜图像、从外力信息取得装置40输出的外力信息和由插入形状图像生成部261生成的插入形状图像中的至少1个来变更控制内容。

用户例如在基于显示装置60中显示的插入形状图像，确认插入于被检者的内部的插入部11的插入形状不再变化后，通过关闭输入装置50的自动插入开关来进行用于停止主体装置20A对插入部11的插入控制的指示。

提取结果记录部274在检测到进行了用于停止插入部11的插入控制的指示时，停止用于按照时间序列且每隔固定时间记录由插入形状要素提取部272得到的提取结果的动作。

如以上所述，根据本实施方式，在插入形状要素提取部272中进行如下处理：基于与熟练者对插入部11的插入操作中的操作的成功与否等进行主观判断或评价时的观点大致同等的观点，提取由插入形状图像生成部261生成的插入形状图像中包含的1个以上的结构要素，得到提取结果。

此外，根据本实施方式，在插入控制部273中进行与由插入形状要素提取部272得到的提取结果中包含的1个以上的结构要素对应的插入控制。因此，根据本实施方式，例如能够进行与供插入部插入的被检体的内部状态的个体差异和该被检体的内部的该插入部的插入形状的随时间的变化等这样的该插入部的插入状况相应的适当的插入控制。

另外，本实施方式的插入控制部273例如也可以构成为并用由插入形状分类部262得到的分类结果和由插入形状要素提取部272得到的提取结果，并进行在第1实施方式的变形例中叙述的控制。下面列举能够在这种情况下实施的处理等的具体例。

插入控制部273例如在根据插入控制信息CJB中包含的控制内容对内窥镜功能控制部240进行与抖动相关的控制时，通过检测由插入形状要素提取部272得到的处理结果图像中包含的区域EA1的位置随时间经过的变化，取得能够用于判定该抖动的成功与否的辅助信息HJA。前述的辅助信息HJA例如在进行与插入控制信息CJB中包含的控制内容对应的控制的情况下，能够用于判定插入部11与肠管之间是否产生摩擦，并且能够用于判定是否在插入部11中产生了挠曲。

插入控制部273例如在对内窥镜功能控制部240进行与插入控制信息CJD中包含的控制内容对应的控制时，在检测到由插入形状要素提取部272得到的处理结果图像中包含的区域EA8的面积超过规定值的情况下，进行在使插入部11后退规定的后退量后使插入部11前进的控制。而且，根据这种控制，能够使α环稍微缩小并使插入部11前进。

插入控制部273例如在对内窥镜功能控制部240进行与插入控制信息CJD中包含的控制内容对应的控制时，在检测到由插入形状要素提取部272得到的处理结果图像中包含的区域EA3的面积或长度超过规定值的情况下，进行在使插入部11后退规定的后退量后使插入部11前进的控制。而且，根据这种控制，能够使α环稍微缩小并使插入部11前进。

插入控制部273例如在检测到由插入形状要素提取部272得到的处理结果图像中的区域EA4变化为EA2并且该处理结果图像中新出现了区域EA5的情况下，取得插入部11的插入形状从种类TB变化为种类TC的检测结果。

插入控制部273例如在检测到由插入形状要素提取部272得到的处理结果图像中的区域EA2变化为区域EA3的情况下，取得插入部11的插入形状从种类TE变化为种类TF的检测结果。

插入控制部273例如在对内窥镜功能控制部240进行与由插入部11形成的α环的解除相关的控制时，基于由插入形状要素提取部272得到的处理结果图像中包含的区域EA8的面积，检测插入部11的插入形状是种类TE、种类TF和种类TG中哪个种类。

插入控制部273例如在对内窥镜功能控制部240进行与插入控制信息CJE中包含的控制内容对应的控制时，通过检测由插入形状要素提取部272得到的处理结果图像中包含的区域EA1的位置随时间经过的变化，取得与插入部11的后退状态对应的辅助信息HJB。前述的辅助信息HJB例如能够用于判定是否变更插入控制信息CJE中包含的后退量BLA和后退速度BVA。

插入控制部273例如在对内窥镜功能控制部240进行与插入控制信息CJG中包含的控制内容对应的控制时，通过检测由插入形状要素提取部272得到的处理结果图像中包含的区域EA1的位置随时间经过的变化，取得与插入部11的后退状态对应的辅助信息HJC。前述的辅助信息HJC例如能够用于判定是否变更插入控制信息CJG中包含的后退量BLB、后退速度BVB和旋转角度BAB。

插入控制部273例如通过对内窥镜功能控制部240进行与插入控制信息CJF中包含的控制内容对应的控制，检测到由插入形状要素提取部272得到的处理结果图像中的区域EA3和区域EA8消失、并且在该处理结果图像中新出现区域EA6和区域EA7的情况下，取得插入部11的插入形状从种类TF变化为种类TG的检测结果。

插入控制部273例如在对内窥镜功能控制部240进行与插入控制信息CJG中包含的控制内容对应的控制时，取得与由插入形状要素提取部272得到的处理结果图像中包含的区域EA6和区域EA7的位置关系对应的辅助信息HJD。前述的辅助信息HJD例如能够用于判定是否变更插入控制信息CJG中包含的后退量BLB、后退速度BVB和旋转角度BAB。

插入控制部273例如通过对内窥镜功能控制部240进行与插入控制信息CJG中包含的控制内容对应的控制，在检测到由插入形状要素提取部272得到的处理结果图像中的区域EA6和区域EA7消失的情况下，取得插入部11的插入形状从种类TG变化为种类TH的检测结果。

插入控制部273例如通过对内窥镜功能控制部240进行与插入控制信息CJF中包含的控制内容对应的控制，在检测到由插入形状要素提取部272得到的处理结果图像中不包含区域TH2至区域TH8中的任何区域的情况下，取得插入部11的插入形状从种类TG变化为种类TH的检测结果。

插入控制部273例如在即使对内窥镜功能控制部240进行与插入控制信息CJA中包含的控制内容对应的控制，在由插入形状要素提取部272得到的处理结果图像中也仍然没有出现区域EA4的情况下，通过跟踪该处理结果图像中包含的区域EA1的位置，取得插入部11的插入形状从种类TA变化为种类TH的检测结果。

本发明不限于上述的实施方式和变形例，当然能够在不脱离发明的主旨的范围内进行各种变更和应用。

Claims (21)

1.一种内窥镜控制装置，其使用与插入于被检体内的内窥镜插入部的插入形状有关的信息来进行与所述内窥镜插入部的插入操作相关的控制，其特征在于，具有：

插入形状分类部，其得到将插入于被检体内的内窥镜插入部的插入形状的种类分类为规定的多个种类中的一个种类的分类结果；以及

控制部，其基于所述分类结果，进行与所述内窥镜插入部的插入操作相关的控制。

2.根据权利要求1所述的内窥镜控制装置，其特征在于，

所述控制部进行基于第1操作控制组和第2操作控制组中的任意一方的控制，其中，该第1操作控制组被设定为单独执行从与所述内窥镜插入部相关的基本操作中选择出的基本操作的控制内容，该第2操作控制组被设定为组合执行从由所述内窥镜的功能实现的各基本操作中选择出的多个基本操作的控制内容。

3.根据权利要求2所述的内窥镜控制装置，其特征在于，

所述第2操作控制组被设定为连续或同时执行所述多个基本操作的控制内容。

4.根据权利要求1所述的内窥镜控制装置，其特征在于，

所述控制部基于所述分类结果，进行与所述内窥镜插入部的插入操作的开始、继续、中断、重新开始、停止和完成中的至少1个相关的控制，作为与所述内窥镜插入部的插入操作相关的控制。

5.根据权利要求1所述的内窥镜控制装置，其特征在于，

所述控制部基于所述分类结果，控制所述内窥镜插入部的插入操作的操作量、操作速度和操作力中的至少1个。

6.根据权利要求1所述的内窥镜控制装置，其特征在于，

所述控制部基于对插入有所述内窥镜插入部的被检体内进行拍摄而得到的图像、表示对所述内窥镜插入部施加的外力的大小的信息和表示所述内窥镜插入部的插入形状的信息中的至少1个、以及所述分类结果，进行与所述内窥镜插入部的插入操作相关的控制。

7.根据权利要求1所述的内窥镜控制装置，其特征在于，

所述插入形状分类部使用如下的分类器进行处理，该分类器是通过使用示教数据进行机器学习而生成的，该示教数据包含：表示所述内窥镜插入部的插入形状的插入形状图像；以及标签，其表示将所述插入形状图像中包含的所述内窥镜插入部的插入形状分类为所述规定的多个种类中的一个种类的分类结果。

8.一种内窥镜控制装置，其使用与插入于被检体内的内窥镜插入部的插入形状有关的信息来进行与所述内窥镜插入部的插入操作相关的控制，其特征在于，具有：

插入形状要素提取部，其提取与插入于被检体内的内窥镜插入部的插入形状相关的1个以上的结构要素，得到提取结果；以及

控制部，其基于所述提取结果进行与所述内窥镜插入部的插入操作相关的控制。

9.根据权利要求7所述的内窥镜控制装置，其特征在于，

所述控制部进行基于第1操作控制组和第2操作控制组中的任意一方的控制，其中，该第1操作控制组被设定为单独执行从与所述内窥镜插入部相关的基本操作中选择出的基本操作的控制内容，该第2操作控制组被设定为组合执行从与所述内窥镜插入部相关的基本操作中选择出的多个基本操作的控制内容。

10.根据权利要求9所述的内窥镜控制装置，其特征在于，

所述第2操作控制组被设定为连续或同时执行所述多个基本操作的控制内容。

11.根据权利要求8所述的内窥镜控制装置，其特征在于，

所述控制部基于所述提取结果，进行与所述内窥镜插入部的插入操作的开始、继续、中断、重新开始、停止和完成中的至少1个相关的控制，作为与所述内窥镜插入部的插入操作相关的控制。

12.根据权利要求8所述的内窥镜控制装置，其特征在于，

所述控制部构成为，基于所述提取结果控制所述内窥镜插入部的插入操作的操作量、操作速度和操作力中的至少1个。

13.根据权利要求8所述的内窥镜控制装置，其特征在于，

所述插入形状要素提取部进行用于提取内窥镜前端部、环部和曲折部中的至少1个并得到提取结果的处理，

所述控制部根据所述提取结果中包含的至少1个结构要素随时间经过的变化来变更控制内容。

14.根据权利要求8所述的内窥镜控制装置，其特征在于，

所述控制部基于对插入有所述内窥镜插入部的被检体内进行拍摄而得到的图像、表示对所述内窥镜插入部施加的外力的大小的信息和表示所述内窥镜插入部的插入形状的信息中的至少1个、以及所述提取结果，进行与所述内窥镜插入部的插入操作相关的控制。

15.根据权利要求8所述的内窥镜控制装置，其特征在于，

所述插入形状要素提取部使用如下的分类器进行处理，该分类器是通过使用示教数据进行机器学习而生成的，该示教数据包含：表示所述内窥镜插入部的插入形状的插入形状图像；以及标签，其表示将所述插入形状图像中包含的各像素分类为规定的多个结构要素中的一个结构要素的分类结果。

16.一种内窥镜插入形状分类装置，其特征在于，具有：

插入形状信息取得部，其取得与插入于被检体内的内窥镜插入部的插入形状有关的信息；

插入形状分类部，其得到将所述内窥镜插入部的插入形状的种类分类为规定的多个种类中的一个种类的分类结果；以及

输出部，其输出所述分类结果。

17.根据权利要求16所述的内窥镜插入形状分类装置，其特征在于，

所述内窥镜插入形状分类装置还具有分类结果记录部，该分类结果记录部进行用于按照时间序列记录所述分类结果的动作。

18.一种内窥镜控制装置的工作方法，该内窥镜控制装置使用与插入于被检体内的内窥镜插入部的插入形状有关的信息来进行与所述内窥镜插入部的插入操作相关的控制，其特征在于，

插入形状分类部进行用于得到将插入于被检体内的内窥镜插入部的插入形状的种类分类为规定的多个种类中的一个种类的分类结果的处理；以及

控制基于所述分类结果进行与所述内窥镜插入部的插入操作相关的控制。

19.一种内窥镜控制装置的工作方法，该内窥镜控制装置使用与插入于被检体内的内窥镜插入部的插入形状有关的信息来进行与所述内窥镜插入部的插入操作相关的控制，其特征在于，

插入形状要素提取部进行用于提取与插入于被检体内的内窥镜插入部的插入形状相关的1个以上的结构要素并得到提取结果的处理；以及

控制部基于所述提取结果进行与所述内窥镜插入部的插入操作相关的控制。

20.一种程序，其用于使计算机执行：

用于得到将插入于被检体内的内窥镜插入部的插入形状的种类分类为规定的多个种类中的一个种类的分类结果的处理；以及

基于所述分类结果的与所述内窥镜插入部的插入操作相关的控制。

21.一种程序，其用于使计算机执行：

用于提取与插入于被检体内的内窥镜插入部的插入形状相关的1个以上的结构要素并得到提取结果的处理；以及

基于所述提取结果的与所述内窥镜插入部的插入操作相关的控制。

Images