CN115209783A - 处理装置、内窥镜系统以及摄像图像的处理方法 - Google Patents

Abstract

处理装置(9)包括：图像取得部(31)，其取得管腔内部的摄像图像；管腔结构信息取得部(33)，其取得表示管腔的结构的管腔结构信息；可否分析判定部(32)，其基于摄像图像，输出表示摄像图像是否为可分析状态的可否分析信息；以及关联处理部(34)，其基于可否分析信息和管腔结构信息，在管腔的结构上关联可否分析信息。

Description

处理装置、内窥镜系统以及摄像图像的处理方法

技术领域

本发明涉及处理装置、内窥镜系统以及摄像图像的处理方法等。

背景技术

以往，内窥镜在医疗领域和工业领域中被广泛利用。例如在医疗领域中，医生通过将内窥镜的插入部插入到被检体内，观看显示于显示装置的摄像图像来观察被检体内，从而能够进行内窥镜检查等。

以掌握大肠内窥镜的未观察部位等为目的，研究了基于内窥镜拍摄到的动态图像来构建肠道的3维模型的方法。例如在非专利文献1中公开了使用圆筒模型生成大肠表面的图的方法。

现有技术文献

非专利文献

非专利文献1：Mohammad Ali Armin 1 et al,“Automated visibility map ofthe internal colon surface from colonoscopy video”,International Journal ofComputer Assisted Radiology and Surgery,2016,Volume 11,Issue number 9,p.1599-1610

发明内容

发明要解决的课题

通过将使用非专利文献1等的方法完成了肠道的3维模型的构建作为观察完成的判断基准，可认为能够抑制病变的漏看。但是，即使完成了肠道的3维模型的构建，在图像的画质差的情况下等，也难以基于该图像进行适当的分析。

根据本发明的一些方式，能够提供一种处理装置、内窥镜系统以及摄像图像的处理方法等，它们能够输出用于适当地判定管腔结构中的漏看的信息。

用于解决课题的手段

本发明的一个方式涉及一种处理装置，其包括：图像取得部，其取得管腔内部的摄像图像；管腔结构信息取得部，其取得表示所述管腔的结构的管腔结构信息；可否分析判定部，其基于所述摄像图像，输出表示所述摄像图像是否为可分析状态的可否分析信息；关联处理部，其基于所述可否分析信息和所述管腔结构信息，在所述管腔的结构上关联所述可否分析信息。

本发明的其他方式涉及一种内窥镜系统，其包括：摄像部，其对管腔内部进行拍摄；图像取得部，其取得基于所述摄像部的摄像图像；管腔结构信息取得部，其取得表示所述管腔的结构的管腔结构信息；可否分析判定部，其基于所述摄像图像，输出表示所述摄像图像是否为可分析状态的可否分析信息；以及关联处理部，其基于所述可否分析信息和所述管腔结构信息，在所述管腔的结构上关联所述可否分析信息。

本发明的另一其他方式涉及一种摄像图像的处理方法，其包括如下步骤：取得拍摄有管腔内部的摄像图像；取得表示所述管腔的结构的管腔结构信息；基于所述摄像图像，输出表示所述摄像图像是否为可分析状态的可否分析信息；以及基于所述可否分析信息和所述管腔结构信息，在所述管腔的结构上关联所述可否分析信息。

附图说明

图1是内窥镜系统的结构例。

图2是内窥镜的结构例。

图3是处理装置的结构例。

图4是管腔结构检测装置的结构例。

图5是说明管腔结构信息的取得处理的流程图。

图6是管腔结构信息的例子。

图7是说明使用光束法平差的管腔结构信息的取得处理的流程图。

图8是说明多个特征点与前端部的位置姿态的关系的示意图。

图9的(A)、(B)是检测位置姿态的传感器的变形例。

图10是说明可否分析判定处理的流程图。

图11是存在由褶皱等引起的隐藏部分的情况下的摄像图像的例子。

图12是可否分析信息与管腔结构信息的关联的例子。

图13的(A)、(B)是前端部与不可分析部分的位置关系的例子。

图14是显示图像的例子。

图15是处理装置的其他结构例。

具体实施方式

以下，对本实施方式进行说明。另外，以下说明的本实施方式并不对权利要求书所记载的内容进行不当限定。另外，在本实施方式中说明的全部结构不一定是本发明的必要技术特征。

1.系统结构例

在使用内窥镜系统的管腔检查中，重要的是抑制关注区域的漏看。另外，关注区域是对于用户而言观察的优先顺序比其他区域相对高的区域。在用户是进行诊断或治疗的医生的情况下，关注区域例如对应于拍摄有病变部的区域。但是，如果医生想要观察的对象是泡、残渣，则关注区域也可以是拍摄有该泡部分或残渣部分的区域。即，用户应关注的对象根据观察目的而不同，但在进行该观察时，对于用户而言观察的优先顺序比其他区域相对高的区域成为关注区域。

以下，对内窥镜系统是观察生物体内的系统、观察对象是大肠的例子进行说明。即，本实施方式中的管腔狭义上是肠道。但是，本实施方式的方法也可以将肠道以外的管腔作为对象。例如，可以将大肠以外的消化道作为对象，也可以将生物体的其他部位的管腔结构作为对象。并且，内窥镜系统也可以是用于观察管腔状的部件的工业用内窥镜。另外，以下对关注区域是病变的例子进行说明，但如上所述，关注区域能够扩展到病变之外。

以往，难以掌握内窥镜在管腔的哪个部分怎样地进行运动这样的准确的状况。更具体而言，难以准确地掌握插入部前端的位置姿态与管腔的关系。另外，因这一原因，也难以掌握在什么样的拍摄状态下对管腔的什么样的范围进行拍摄。因此，不容易准确地判定有无漏看，不容易将漏看定量化。与此相对，如非专利文献1那样，公开了基于2维的摄像图像来估计肠道的3维模型的方法。在非专利文献1的方法中，能够将给定的摄像图像是拍摄有肠道的哪个部分的图像关联起来。另外，在本实施方式的方法中，只要能够将摄像图像与管腔结构关联起来即可，具体的方法如后述那样能够实施各种变形。

为了抑制病变的漏看，需要在至少1张摄像图像上拍摄有该病变。即，为了抑制漏看，重要的是网罗地对肠道等管腔结构的整个内表面进行拍摄。例如，在非专利文献1的方法中，通过将完成3维模型的构建作为使用内窥镜系统的观察的结束条件，能够抑制漏看。

但是，在使用内窥镜系统的检查中，重要的是是否能够基于摄像图像进行期望的分析。例如，在关注区域是病变的情况下，分析可以是从摄像图像中检测病变的处理，也可以是根据恶性程度对该病变进行分类的处理。因此，在本实施方式中，除了在摄像图像中拍摄病变这样的条件以外，还使用该病变为能够分析的状态这样的条件来进行漏看的判定。

为了可靠地对有可能存在于肠道表面的病变进行拍摄，重要的是将肠道的整个期望范围无遗漏地纳入摄像部的视野。摄像部的视野表示由该摄像部的光轴方向和视场角决定的给定的空间。例如，摄像部的视野是以与摄像部对应的位置为顶点、摄像部的光轴通过该顶点和底面的中心那样的棱锥状或圆锥状的空间。通过使摄像部的光轴朝向存在病变的方向或者接近病变的方向，能够在视野中捕捉病变。

但是，应该注意的点是，即使病变位于摄像部的视野内也有可能漏看。所谓有可能漏看的情况为以下两种情况：第一，虽然位于摄像部的视野内，在摄像图像上也能看到，但存在摄像条件差的部分；第二，虽然位于摄像部的视野内，但存在在摄像图像上看不到的部分。

摄像条件差相当于例如由于摄像部与病变的距离远、或者从倾斜方向拍摄病变等原因而导致分辨率低的情况等。分辨率低具体表示病变在图像上的尺寸非常小。虽然对摄像条件差的部分进行了拍摄，但病变检测或恶性程度判定的精度低，无法执行期望的分析。因此，在本实施方式的方法中，在存在摄像条件差的部分的情况下，判定为有可能会漏看病变。

另外，在摄像图像上看不到的部分例如相当于被遮挡物遮挡的部分。此处的遮挡物为残渣、泡、污水、止血用的夹子等肠道以外的物体。肠道中的被遮挡物遮挡的部分在摄像图像上无法视觉辨认，因此存在于该遮挡物的背面的病变会被漏看。因此，在存在遮挡物的情况下，也判定为有可能漏看病变。另外，虽然位于摄像部的视野内但在摄像图像上看不到的部分还包括由于褶皱等管腔结构而产生的隐藏部分。隐藏部分例如是褶皱的背面。背面表示褶皱的面中的位于与摄像部相反的一侧的面。褶皱的背面被该褶皱的摄像部侧的面遮挡，因此即使在视野内也不会被拍摄到摄像图像中。

在本实施方式的方法中，将肠道中的位于摄像部的视野内、在摄像图像上也能看到且摄像条件良好的部分判定为可分析部分，将除此以外的部分判定为不可分析部分。换言之，在本实施方式的方法中，作为是否漏看了管腔结构的给定区域的判定基准，除了使用是否拍摄到该给定的范围这样的基准之外，还使用是否为能够分析的状态这样的基准。在后面对用于区分可分析部分和不可分析部分的具体的处理进行说明。

另外，根据以上的说明可知，不可分析部分可考虑为以下3种。在本实施方式的方法中，也可以将不可分析部分分类为以下的(1)～(3)中的任意一方。例如，在显示不可分析部分的情况下，处理装置9进行以不同的方式显示以下的(1)～(3)的处理。为了便于说明，还将被分类为(1)的不可分析部分表述为第1不可分析部分。同样地，还将被分类为(2)、(3)的不可分析部分分别表述为第2不可分析部分、第3不可分析部分。另外，在不需要分类的情形下，将以下的(1)～(3)中的任一方都仅表述为不可分析部分。后面对用于分类的具体处理进行说明。另外，分类并不限定于以下的3种，也可以进一步细分。

(1)虽然位于摄像部的视野内，在摄像图像上也能看到，但摄像条件差的部分。

(2)虽然位于摄像部的视野内，但在摄像图像上看不到的部分。

(3)一次也未进入摄像部的视野内的部分。

本实施方式的处理装置9例如根据基于内窥镜系统的摄像部所取得的摄像图像，判定是否能够分析被摄体。然后，处理装置9将判定结果与表示管腔结构的管腔结构信息关联起来。例如，处理装置9进行将基于摄像图像判定为能够分析的图像上的区域映射到肠道结构上的处理。由此，能够确定管腔结构中的哪个部分被判定为可分析部分，哪个部分被判定为不可分析部分。例如，处理装置9也可以通过显示关联处理的结果来提示在能够分析的状态下未被拍摄到的管腔结构上的部分。另外，该提示可以在使用内窥镜系统的观察中进行，也可以在观察结束后进行。这里的观察中表示持续进行使用内窥镜系统的被摄体的观察的状态，具体表示持续进行1次检查、诊断的状态。观察结束后是指检查、诊断结束后。

图1是作为包含本实施方式的处理装置9的系统的一例的内窥镜系统1的结构图。内窥镜系统1包括：内窥镜2、图像处理装置3、光源装置4、管腔结构检测装置5、作为显示装置的监视器6、磁场产生装置7以及处理装置9。医生能够使用内窥镜系统1进行仰卧在床8上的患者Pa的大肠内的内窥镜检查。

但是，内窥镜系统1的结构不限于图1。例如，处理装置9和图像处理装置3也可以构成为一体。另外，如后述那样，处理装置9和管腔结构检测装置5也可以构成为一体。另外，管腔结构检测装置5也可以包含磁场产生装置7。另外，管腔结构检测装置5也可以是不使用磁传感器16的结构，在该情况下，能够省略磁场产生装置7。另外，在使用事先已取得的管腔结构信息的情况下，还能够省略管腔结构检测装置5。此外，内窥镜系统1能够实施省略图1所示的结构的一部分结构要素、追加其他结构要素等各种变形。

另外，在图1中，示出图像处理装置3、管腔结构检测装置5以及处理装置9设置于内窥镜2的附近的例子，但并不限定于此。例如，这些装置的一部分或全部也可以由能够经由网络进行连接的服务器系统等来构建。换言之，处理装置9等装置也可以通过云计算来实现。这里的网络可以是内部网络等专用网络，也可以是因特网等公共通信网络。另外，网络可以是有线的也可以是无线的。

图2是内窥镜2的立体图。内窥镜2具备：操作部2a、具有挠性的插入部2b以及包含信号线等的通用线缆2c。内窥镜2是将管状的插入部2b插入体腔内的管状插入装置。在通用线缆2c的前端设置有连接器，内窥镜2通过该连接器以能够装卸的方式与光源装置4和图像处理装置3连接。在此，内窥镜2是能够插入大肠内的内窥镜。并且，虽未图示，但在通用线缆2c内贯插有光导，内窥镜2使来自光源装置4的照明光通过光导而从插入部2b的前端射出。

如图2所示，从插入部2b的前端朝向基端，插入部2b具有：前端部11、能够弯曲的弯曲部12以及挠性管部13。插入部2b插入到作为被摄体的患者Pa的管腔中。前端部11的基端部与弯曲部12的前端连接，弯曲部12的基端部与挠性管部13的前端连接。插入部2b的前端部11是内窥镜2的前端部，并且是较硬的前端硬质部。

弯曲部12能够根据对设置于操作部2a的弯曲操作部件14进行的操作而向期望的方向弯曲。弯曲操作部件14例如包括左右弯曲操作旋钮14a和上下弯曲操作旋钮14b。在使弯曲部12弯曲，改变前端部11的位置和朝向，在视野内捕捉被检体内的观察部位时，照明光照射到观察部位。弯曲部12具有沿着插入部2b的长度轴方向连结的多个弯曲块。因此，医生一边将插入部2b压入大肠内或者将插入部2b从大肠内拔出，一边使弯曲部12向各个方向弯曲，由此能够观察患者Pa的大肠内。

为了使弯曲部12弯曲，左右弯曲操作旋钮14a和上下弯曲操作旋钮14b对贯插于插入部2b内的操作线进行牵引及松弛。弯曲操作部件14还具有固定旋钮14c，固定旋钮14c对弯曲后的弯曲部12的位置进行固定。另外，除了弯曲操作部件14之外，在操作部2a上还设置有释放按钮、送气送水按钮等各种操作按钮。

挠性管部13具有挠性且根据外力而弯曲。挠性管部13是从操作部2a延伸出的管状部件。

另外，在插入部2b的前端部11设置有作为摄像装置的摄像元件15。被光源装置4的照明光照明的大肠内的观察部位由摄像元件15进行拍摄。即，摄像元件15设置于插入部2b的前端部11，构成用于对被检体内进行拍摄而取得摄像图像的摄像部。由摄像元件15得到的摄像信号经由通用线缆2c内的信号线供给至图像处理装置3。另外，设置摄像元件15的位置并不限定于插入部2b的前端部11。例如，也可以通过对来自被摄体的光进行引导，从而将摄像元件15设置在比前端部11更靠基端侧的位置。

图像处理装置3是对接收到的摄像信号进行规定的图像处理从而生成摄像图像的视频处理器。所生成的摄像图像的影像信号从图像处理装置3输出到监视器6，实时的摄像图像显示在监视器6上。进行检查的医生能够将插入部2b的前端部11从患者Pa的肛门插入并观察患者Pa的大肠内。

在插入部2b的前端部11配置有磁传感器16。具体而言，磁传感器16配置在前端部11的摄像元件15的附近，是用于检测摄像元件15的视点的位置和姿态的检测装置。磁传感器16具有2个线圈16a、16b。例如，圆筒状的2个线圈16a、16b的2个中心轴相互正交。因此，磁传感器16是6轴的传感器，检测前端部11的位置坐标和取向。这里的取向表示欧拉角。磁传感器16的信号线2e从内窥镜2延伸，与管腔结构检测装置5连接。

磁场产生装置7产生规定的磁场，磁传感器16检测由磁场产生装置7产生的磁场。磁场产生装置7通过信号线7a与管腔结构检测装置5连接。磁场的检测信号经由信号线2e从内窥镜2向管腔结构检测装置5供给。此外，也可以代替磁传感器16而将磁场产生元件设置在前端部11，并且代替磁场产生装置7而将磁传感器设置在患者Pa的外部，从而检测前端部11的位置和姿态。在此，通过磁传感器16实时地检测前端部11的位置和姿态，换言之，通过磁传感器16实时地检测由摄像元件15取得的摄像图像的视点的位置和朝向。

光源装置4是能够射出通常光观察模式用的通常光的光源装置。另外，在内窥镜系统1除了通常光观察模式以外还具有特殊光观察模式的情况下，光源装置4选择性地射出通常光观察模式用的通常光和特殊光观察模式用的特殊光。光源装置4根据设置于图像处理装置3的用于切换观察模式的切换开关的状态，将通常光和特殊光中的任意一方作为照明光射出。

图3是处理装置9的结构例。处理装置9包括：图像取得部91、可否分析判定部92、管腔结构信息取得部93以及关联处理部94。另外，处理装置9也可以包括漏看判定部95和引导处理部96。但是，处理装置9并不限定于图3的结构。例如，可以如图15所示那样追加其他结构，也可以省略一部分结构。例如，漏看判定部95和引导处理部96不是必须的结构，能够省略它们。

图像取得部91从图像处理装置3取得摄像图像。图像处理装置3例如能够每隔30分之1秒供给摄像图像。图像取得部91将其中的一部分或全部输出到可否分析判定部92等。另外，处理装置9中的处理并不限定于与观察并行地进行。例如，图像处理装置3进行将摄像图像蓄积在给定的存储器中的处理。图像取得部91也可以在使用内窥镜系统1的观察结束后，进行从该存储器读出摄像图像的处理。

可否分析判定部92进行基于摄像图像求出可否分析信息的处理。具体的处理内容将在后面说明。可否分析信息例如是用于对可分析区域和不可分析区域进行确定的信息，其中，可分析区域是在摄像图像中被判定为能够分析的区域，不可分析区域是在摄像图像中被判定为不能分析的区域。但是，可否分析判定部92也可以针对整个摄像图像来判定是否能够分析，针对可否分析信息的方式能够实施各种变形。

管腔结构信息取得部93取得表示作为观察对象的管腔的结构的管腔结构信息。例如，如图3所示，管腔结构信息取得部93取得由设置于处理装置9的外部的管腔结构检测装置5检测出的管腔结构信息。但是，管腔结构信息取得部93也可以如使用图15在后面说明的那样基于摄像图像等来执行管腔结构信息的检测处理。

关联处理部94进行将可否分析信息与管腔结构对应起来的处理。例如，关联处理部94进行对管腔结构中的能够分析的可分析部分和不能分析的不可分析部分进行确定的处理。

漏看判定部95检测不可分析部分中的最终被漏看的可能性高的漏看部分。此外，漏看判定部95也可以进行提示检测出的漏看部分的处理。漏看部分的详细情况将在后面说明。

引导处理部96基于可否分析信息、或者可否分析信息与管腔结构信息的关联结果、或者漏看部分的检测结果，对用户进行引导。这里的引导是用于促使进行给定操作的信息的提示。具体的引导将在后面说明。

另外，处理装置9的各部由下述的硬件构成。处理装置9的各部具体而言是图像取得部91、可否分析判定部92、管腔结构信息取得部93、关联处理部94。另外，处理装置9的各部既可以包括漏看判定部95、引导处理部96，也可以包括使用图15在后面说明的位置姿态信息取得部97。硬件能够包括处理数字信号的电路和处理模拟信号的电路中的至少一方。例如，硬件能够由安装于电路基板的一个或多个电路装置、一个或多个电路元件构成。一个或多个电路装置例如是IC(Integrated Circuit：集成电路)、FPGA(field-programmablegate array：现场可编程门阵列)等。一个或多个电路元件例如是电阻、电容器等。

另外，处理装置9的各部也可以通过下述的处理器来实现。处理装置9包括存储信息的存储器和基于存储于存储器的信息进行动作的处理器。信息例如是程序和各种数据等。处理器包括硬件。处理器能够使用CPU(Central Processing Unit：中央处理单元)、GPU(Graphics Processing Unit：图形处理单元)、DSP(Digital Signal Processor：数字信号处理器)等各种处理器。存储器可以是SRAM(Static Random Access Memory：静态随机存取存储器)、DRAM(Dynamic Random Access Memory：动态随机存取存储器)等半导体存储器，也可以是寄存器，也可以是HDD(Hard Disk Drive：硬盘驱动器)等磁存储装置，还可以是光盘装置等光学式存储装置。例如，存储器存储能够由计算机读取的指令，通过由处理器执行该指令，处理装置9的各部的功能作为处理而被实现。这里的指令可以是构成程序的指令集的指令，也可以是对处理器的硬件电路指示动作的指令。进而，也能够通过云计算来实现处理装置9的各部的全部或者一部分，并且能够通过云计算来进行后述的各处理。

另外，本实施方式的处理装置9的各部也可以作为在处理器上进行动作的程序模块来实现。例如，图像取得部91被实现为图像取得模块。可否分析判定部92作为进行可否分析的判定处理的处理模块来实现。管腔结构信息取得部93作为管腔结构信息的取得模块、运算模块来实现。关联处理部94作为对可否分析信息和管腔结构信息进行对应处理的处理模块来实现。

另外，实现由本实施方式的处理装置9的各部进行的处理的程序例如能够保存在作为计算机可读取的介质的信息存储装置中。信息存储装置例如能够通过光盘、存储卡、HDD或者半导体存储器等来实现。半导体存储器例如是ROM。处理装置9基于存储于信息存储装置的程序来进行本实施方式的各种处理。即，信息存储装置存储用于使计算机作为处理装置9的各部发挥功能的程序。计算机是具备输入装置、处理部、存储部、输出部的装置。具体而言，本实施方式的程序是用于使计算机执行使用图10等在后面说明的各步骤的程序。

如以上那样，本实施方式的处理装置9包括：图像取得部91，其取得管腔内部的摄像图像；管腔结构信息取得部93，其取得表示管腔的结构的管腔结构信息；可否分析判定部92，其基于摄像图像，输出表示摄像图像是否为可分析状态的可否分析信息；以及关联处理部94，其基于可否分析信息和管腔结构信息，在管腔的结构上关联可否分析信息。摄像图像例如通过摄像部对管腔内部进行拍摄来取得。摄像部具体而言对应于摄像元件15。另外，摄像图像可以是摄像元件15的输出本身，也可以是对该输出进行处理而得到的结果。例如，摄像图像也可以是图像处理装置3中的处理后的信息。具体而言，可否分析判定部92针对摄像图像的各区域，判定在该区域拍摄到的被摄体是否为能够分析的状态。

根据本实施方式的方法，能够将是否以能够执行期望的分析的状态拍摄到管腔这一情况与该管腔的结构关联起来，该期望的分析是病变检测、恶性程度判定等。因此，能够适当地判定在管腔结构中的任意区域是否有可能发生漏看。例如通过将关联结果提示给观察中的用户，能够抑制漏看。或者，关联结果也可以用于用户的能力评价。另外，也可以基于关联结果来执行插入部2b的插拔、弯曲部12的控制。

并且，本实施方式的方法能够应用于内窥镜系统1，内窥镜系统1包括：摄像部，其对管腔内部进行拍摄；图像取得部91，其取得基于摄像部的摄像图像；管腔结构信息取得部93，其取得表示管腔的结构的管腔结构信息；可否分析判定部92，其基于摄像图像，输出表示摄像图像是否为可分析状态的可否分析信息；以及关联处理部94，其基于可否分析信息和管腔结构信息，在管腔的结构上关联所述可否分析信息。

另外，本实施方式的处理装置9进行的处理也可以作为摄像图像的处理方法来实现。本实施方式的摄像图像的处理方法包括如下步骤：取得拍摄有管腔内部的摄像图像；取得表示管腔的结构的管腔结构信息；基于摄像图像，输出表示摄像图像是否为可分析状态的可否分析信息；以及基于可否分析信息和管腔结构信息，在管腔的结构上关联可否分析信息。

2.处理的详细内容

对在包括本实施方式的处理装置9的系统中执行的各处理进行详细说明。以下，对在观察中进行基于摄像图像的管腔结构信息的取得、可否分析信息的取得、管腔结构信息与可否分析信息的关联的例子进行说明。但是，作为变形例，如后述那样，各处理的执行时机并不限定于此。

2.1管腔结构信息的取得处理

首先，对在管腔结构检测装置5中执行的处理进行说明。另外，如使用图15在后面说明的那样，管腔结构的检测处理也可以在处理装置9中执行。

2.1.1管腔结构检测装置的结构例

图4是管腔结构检测装置5的结构例。管腔结构检测装置5包括：处理器51、存储装置52、接口53、图像取入部54、位置姿态检测部55以及驱动电路56。管腔结构检测装置5的各部通过总线58相互连接。

处理器51具有CPU和存储器，是控制管腔结构检测装置5内的各部的处理的控制部。存储器是包括ROM、RAM等的存储部。在ROM中存储有由CPU执行的各种处理程序和各种数据。CPU能够读出并执行存储在ROM和存储装置52中的各种程序。

在存储装置52中存储有管腔结构计算程序。管腔结构计算程序是根据前端部11的位置及姿态的信息和摄像图像来计算管腔结构信息的软件程序。通过CPU读出并执行管腔结构计算程序，处理器51构成管腔结构计算部，该管腔结构计算部根据由摄像元件15得到的摄像图像和由磁传感器16检测出的前端部11的3维配置来计算管腔的3维结构。

接口53将由处理器51计算出的管腔结构信息输出到处理装置9。接口53例如是与处理装置9进行通信的通信接口。

图像取入部54是以一定的周期取入在图像处理装置3中得到的摄像图像的处理部。例如，以与从内窥镜2取得图像的帧率相同的速率，在1秒内从图像处理装置3取得30张摄像图像。此外，在此，图像取入部54在1秒内取入30张摄像图像，但也可以以比帧率更长的周期来取得摄像图像。例如，图像取入部54也可以在1秒内取入3张等的摄像图像。

位置姿态检测部55对驱动磁场产生装置7的驱动电路56进行控制，使磁场产生装置7产生规定的磁场。位置姿态检测部55通过磁传感器16检测该磁场，根据检测出的该磁场的检测信号来生成摄像元件15的位置坐标(x，y，z)和取向(vx，vy，vz)的数据。取向表示欧拉角。即，位置姿态检测部55是基于来自磁传感器16的检测信号来检测摄像元件15的位置和姿态的检测装置。

2.1.2处理的流程

图5是示出管腔结构的计算处理的流程的例子的流程图。首先，医生在将插入部2b的前端部11配置在肛门的位置的状态下，对未图示的输入装置进行规定的操作。基于该操作，处理器51将来自位置姿态检测部55的位置和姿态的数据设定为计算管腔结构时的前端部11的基准位置和基准姿态(S1)。例如，医生在将前端部11与肛门接触的状态下进行将3维空间内的肛门的位置处的前端部11的基准位置和基准姿态作为初始值的设定。在以下的处理中计算出的管腔结构是基于在此设定的基准位置和基准姿态而计算出的。

在设定基准位置和基准姿态之后，医生将前端部11插入到大肠的最里部。从插入部2b的前端部11位于大肠的最里部的状态开始，在输送空气来使大肠内扩张的同时，医生拉拽插入部2b而使插入部2b朝向肛门移动，并且在中途停止插入部2b的拔出，并使弯曲部12向各种方向弯曲从而观察大肠的内壁。在医生正在观察大肠的内壁时，计算大肠的管腔结构。

图像取入部54从每隔30分之1秒从图像处理装置3供给的摄像图像中取得每隔规定的周期Δt的摄像图像(S2)。周期Δt例如为0.5秒。CPU得取在取得摄像图像时由位置姿态检测部55输出的前端部11的位置和姿态的信息(S3)。

处理器51对在S2中取得的1张摄像图像和之前已取得的1张以上的摄像图像中的多个特征点等在3维空间内的位置信息进行计算(S4)。计算出的多个特征点等的位置信息的集合成为管腔结构的信息。如后述那样，各特征点的位置信息可以根据图像信息使用SLAM(Simultaneous Localization and Mapping：即时定位与地图构建)、SfM(Structurefrom Motion：运动恢复结构)等方法来计算，也可以使用三角测量的原理来计算。各特征点的位置的计算方法将在后面说明。

另外，在取得最初的1张摄像图像时，由于不存在之前已取得的摄像图像，因此不执行S4的处理，直到取得规定张数的摄像图像为止。

处理器51通过追加计算出的多个特征点等的位置信息，来制作或更新管腔结构信息(S5)。

图6是管腔结构信息的例子。在S5中制作的管腔结构信息由通过内窥镜2观察到的区域中的1个以上的特征点等的集合构成。管腔结构信息是3D数据。图6表示从给定的视点观察管腔结构信息时的图像。例如在显示管腔结构信息的情况下，用户通过输入变更视点位置的指示，能够对从360度的期望的方向观察时的管腔的结构进行确认。

另外，在图6中例示出也考虑了管腔中的凹凸的管腔结构信息。但是管腔结构信息也可以是进一步简化后的信息。例如，管腔结构信息也可以是圆筒模型。通过将管腔假定为圆筒，能够减轻处理负荷。例如，在如后述那样不使用磁传感器16等传感器的实施方式中，通过将管腔的形状设为圆筒而实现的计算量的削减效果较大。另外，作为简化的方法，可以设想没有折曲的直线状的管腔、仅具有单纯的折曲的管腔，也可以设想仅标准的管腔结构的每个部位的长度、直径等尺寸不同的结构模型。

管腔结构检测装置5的接口53将所生成的管腔结构信息输出到处理装置9(S6)。另外，在S6中，接口53也可以进行将管腔结构信息显示于监视器6的控制。接着，处理器51判定插入部2b是否已经从患者中拔出(S7)。例如，用户在拔出了插入部2b的情况下，使用未图示的输入装置进行表示观察结束的用户输入。处理器51基于该用户输入进行S7所示的判定。在未进行拔出的情况下(S7中“否”)，处理返回到S2。

S4的特征点等的位置的计算有各种方法。以下，对几种方法进行说明。处理器51也可以利用SLAM、SfM等方法来计算连续的多个图像上的特征点的位置。

在管腔结构信息的生成中，能够应用光束法平差，光束法平差使用非线性最小二乘法，根据图像来对内部参数、外部参数以及世界坐标点组进行优化。例如，使用估计出的各参数，对提取出的多个特征点的世界坐标点进行透视投影变换，并以使重投影误差成为最小的方式来求出各参数和各世界坐标点组。

通过求解5点以及8点算法来计算与前端部11相关的外部参数。根据前端部11的位置和三角测量法来计算特征点的位置。投影到图像平面上的3D点的坐标与基于重投影误差的特征点之间的误差E由下式(1)表示。

[数学式1]

在此，L是K个图像上的特征点的数量，Psj是在图像平面上通过三角测量和前端部11的参数而估计出的3D点Pi的坐标位置，Pi是图像上的对应的特征点的坐标位置。使用LM(Levenberg-Marquartdt)法，以将式(1)的误差E的函数最小化的方式来计算前端部11的位置坐标。

图7是通过光束法平差进行各特征点在3维空间内的位置计算的方法的流程图。在肛门的位置被设定为初始位置时，处理器51将时刻t设为t0，将软件计数器的计数值n设为0(S11)。

处理器51取得时刻t0的摄像图像和前端部11的位置及姿态的信息(S12)。从图像处理装置3取得摄像图像。从位置姿态检测部55取得前端部11的位置和姿态的信息。

处理器51决定初始位置即肛门的位置处的前端部11的位置和姿态(S13)。例如，将肛门的位置(x，y，z)决定为(0，0，0)，将姿态(vx，vy，vz)决定为(0，1，0)。S11和S13对应于图5的S1。

处理器51取得时刻(t0+nΔt)的摄像图像和前端部11的位置及姿态的信息(S14)。S12和S14对应于图5的S2。另外，也可以对前端部11的位置和姿态的信息进行校正。例如，使用卡尔曼滤波器，对前端部11在过去通过的路径进行校正，基于进行该校正后的路径，校正过去的前端部11的位置。

处理器51在n成为k时，提取各摄像图像中的多个特征点，将k个时间点的前端部11的位置和姿态即前端部11的3维配置设为已知，通过上述的光束法平差来计算在所得到的摄像图像中包含的m个特征点的位置(S15)。

图8是用于说明连续取得的多个摄像图像上的特征点与前端部11的位置和姿态的关系的示意图。在图8中，白色的三角形Pw表示前端部11的实际的位置和姿态，黑色的三角形Pb表示估计出的前端部11的位置和姿态。示出前端部11沿着实线实际移动的情况。被估计出的前端部11沿着虚线移动。随着时间，前端部11的位置移动，前端部11的姿态发生变化。

另外，在图8中，白色的四边形pw表示特征点的实际的位置，黑色的四边形pb表示特征点的被估计出即被计算出的位置。特征点例如是在摄像图像中形状、颜色具有特征且容易判别或追踪的部位。

为了得到大肠的3维管腔结构，求出大肠的肠道的内壁上的多个特征点的坐标，通过求出的多个坐标的集合、或者将这些坐标连接起来生成3维模型。即，管腔的3维结构是根据计算出的各特征点在3维空间内的位置来决定的。

在图8中，各时间点的前端部11的位置和姿态的信息包含与6个轴相应的信息，因此k个时间点的前端部11的位置和姿态的信息包含6k个信息。各特征点的位置包含与3个轴相应的信息，因此m个特征点的位置的信息包含3m个信息。因此，在使用SLAM、SfM等方法的情况下，应决定的参数的个数为(6k+3m)个。

在本实施方式的方法中，如上所述，也可以在内窥镜2的前端部11设置磁传感器16，管腔结构检测装置5也可以包含取得由磁传感器16检测出的位置姿态信息的位置姿态检测部55。在该情况下，与前端部11的位置和姿态对应的6k个参数为已知。由处理器51进行的优化运算限定于计算3m个参数，因此能够减少优化运算的处理量。因此，能够实现处理的高速化。此外，由于通过减少参数的数量来抑制检测误差的蓄积，因此能够抑制生成的3维模型结构发生偏差。

另外，即使在内窥镜2的插入部2b的前端部11被按压于管腔的内壁、或者浸渍于脏污的清洗液中、或者摄像图像抖动等而无法得到适当的连续的摄像图像的情况下，也能够得到前端部11的位置和姿态的信息。因此，即使发生了无法得到连续的摄像图像的情况，能够计算3m个参数的可能性也提高。作为结果，管腔结构的计算的鲁棒性提高。

返回图7继续说明。处理器51在已制作出的管腔结构信息中追加新计算出的特征点的位置信息，更新管腔结构信息(S16)。S16对应于图5的S5。

处理器51对过去计算出的特征点的位置信息进行校正(S17)。针对新计算得到的3m个特征点中的过去计算出的特征点的位置信息，使用新计算出的位置信息，例如通过平均值运算来校正过去计算出的位置信息。此外，也可以不进行S17的处理，也可以利用新计算出的特征点的位置信息来更新过去计算出的各特征点的位置信息。

S17之后，处理器51将n增加1(S18)，判定是否输入了检查结束的指令(S19)。检查结束的指令例如是在插入部2b从大肠拔出之后医生向输入装置输入的规定的指令。当输入该指令时(S19中“是”)，处理结束。

在未输入检查结束的指令时(S19中“否”)，处理转移到S14。其结果，处理器51取得从摄像图像的最后的取得时刻起经过周期Δt后的摄像图像(S14)，并执行S14之后的处理。

通过进行以上的处理，输出管腔结构信息。设想本实施方式中的管腔是除了端部以外没有孔等的连续的曲面。因此，在取得的管腔结构信息中，期待给定的特征点与其附近的特征点之间的距离在某种程度上较小。如果存在特征点粗的部分，则能够判定为该部分是不可分析部分，特征点粗的部分例如是在某种程度宽的范围内特征点为规定阈值以下的部分。更具体而言，判定为该部分是不可分析部分中的上述第3不可分析部分。另外，在大肠的观察中，首先将插入部2b插入到里侧，一边拔出一边进行管腔结构信息的生成。因此，基本上将比当前观察中的部位更靠肛门侧的部分判定为第3不可分析部分。

另外，这里的不可分析部分例如与图6的UIA对应。在图6中，示出由于存在不可分析部分而将管腔结构信息分割为2个的例子。如果是设置有用于检测插入部2b的前端部11的位置和姿态的传感器的结构，则即使在管腔结构信息像这样被分割的情况下，也能够确定被分割的多个管腔结构信息的位置关系。即，在管腔结构信息被分割的情况下也能够对整个管腔结构进行估计。

另外，关于像褶皱的背面那样虽然进入视野本身但因管腔的凹凸等的结构而未被拍摄到的隐藏部分，由于特征点粗，因此也被判定为不可分析部分。但是，由于隐藏部分进入了摄像部的视野，因此其相当于不可分析部分中的上述第2不可分析部分。因此，在区分第2不可分析部分和第3不可分析部分来进行处理的情况下，处理装置9例如也可以基于特征点粗的部分的尺寸、周边部分的形状等来判定该部分是否为隐藏部分。或者，处理装置9也可以进行基于对摄像图像的图像处理来检测隐藏部分的有无的处理。后面使用图11对图像处理的详细情况进行说明。

2.1.3与管腔结构信息的取得有关的变形例

<与传感器有关的变形例>

另外，在以上说明中，使用磁传感器16作为用于检测插入部2b的前端部11的位置和姿态的位置传感器，但前端部11的位置和姿态也可以通过其他装置来检测。

图9的(A)是用于说明使用具有形状传感器81的内窥镜2和检测插入量及扭转量的传感器来检测前端部11的位置及姿态的方法的图。形状传感器81在插入部2b的内部配设于从基端到前端的整个区域。形状传感器81例如是利用光纤根据特定部位的曲率来检测弯曲量的作为弯曲传感器的光纤传感器。

插入量/扭转量传感器82配置在肛门的附近并具有圆筒形状，该圆筒形状具有能够供插入部2b贯插的孔。在插入量/扭转量传感器82的孔的内周面配设有用于检测插入部2b的轴向的插入量的编码器和检测插入部2b的绕轴的旋转量的编码器。因此，能够使用形状传感器81和插入量/扭转量传感器82，以肛门的位置为基准，基于插入部2b的插入量和扭转量来估计前端部11的位置和姿态。

另外，形状传感器81也可以不利用光纤，而是在前端部11设置1个磁传感器16，并且将多个磁传感器16以规定的间隔配置在插入部2b内，由此检测插入部2b的形状。图9的(B)是在插入部2b内配设有多个磁传感器16的内窥镜的立体图。根据图9的(B)所示的多个磁传感器16的位置信息，能够计算出插入部2b的形状。

另外，也能够实施如下变形，即，在前端部11设置磁传感器16，并且在插入部2b内配设图9的(A)所示的形状传感器81。这样，除了前端部11的位置姿态以外，还能够掌握插入部2b的整体形状。

<与特征点的位置计算有关的变形例>

另外，在以上说明中，对将插入部前端的位置姿态即(x、y、z、vx、vy、vz)全部设为已知并优化3m个参数的光束法平差进行了说明。但是，处理器51也可以将(x，y，z，vx，vy，vz)中的一部分设为已知，通过光束法平差的优化来计算各特征点的3维位置。在该情况下，与将6k+3m个参数全部作为优化的对象的情况相比，各特征点的3维位置的计算精度得到提高，优化运算的时间也变短。

另外，在能够使用传感器检测出位置姿态的情况下，求出管腔结构信息的处理并不限定于光束法平差。例如，处理器51也可以根据2个图像使用三角测量来求出管腔结构信息。具体而言，处理器51根据前端部11的位置及姿态的信息和2张摄像图像，使用三角测量来计算特征点的位置。即，根据摄像元件15的位置及姿态的信息和由摄像元件15取得的2张摄像图像中包含的特征点的像素的位置信息，基于三角测量来计算出像素在3维空间内的位置信息，从而根据像素在3维空间内的位置信息来决定管腔的3维结构。

另外，三角测量可以基于在2个时刻得到的2张摄像图像来进行，也可以基于使用立体照相机在同一时刻得到的2张摄像图像来进行。

另外，处理器51也可以使用光度立体法图像来计算各特征点的位置。在该情况下，在插入部2b的前端部11设置有多个照明窗。通过控制设置于光源装置4的照明用的多个发光二极管的驱动，能够切换从多个照明窗射出的多个照明光并选择性地将其射出。

被摄体的表面的图像中的阴影部分的状态因照明光的切换而变化。因此，基于该变化量，能够计算到被摄体的表面上的阴影部分的距离。即，能够根据由选择性地动作的多个照明部进行照明而得到的摄像图像中的阴影区域的图像，基于光度立体法来决定管腔的3维结构。

另外，处理器51也可以使用距离传感器来计算管腔结构。距离传感器例如是通过TOF(Time Of Flight：飞行时间)来检测距离图像的传感器。距离传感器通过测量光的飞行时间来测量距离。距离传感器设置于插入部2b的前端部11，针对每一个像素来检测从前端部11到管腔的内壁的距离。根据由距离传感器检测出的与各像素有关的距离和前端部11的位置姿态，能够计算出大肠内壁的各点的位置信息即管腔的3维结构。此外，距离传感器也可以是LiDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging：光探测与测距/激光成像探测与测距)等其他方式的传感器。另外，也可以在前端部11设置射出规定的图案光的照明部，处理器51通过图案光投影来进行从前端部11到内壁的测距。

<省略检测位置姿态的传感器的例子>

另外，在本实施方式的方法中，在管腔结构信息的计算中使用磁传感器16等位置姿态检测用的传感器的结构不是必须的。具体而言，能够省略图1所示的磁传感器16和磁场产生装置7，或者能够省略图9的(A)所示的形状传感器81等。

在该情况下，处理器51基于多个摄像图像，使用SLAM、SfM等方法来计算管腔结构信息。例如，在上述的例子中，处理器51执行对包含前端部11的位置姿态的(6k+3m)个参数进行优化的处理。

2.2可否分析判定

接着，对可否分析判定部92执行的判定处理进行说明。可否分析判定部92基于摄像图像来判定在该摄像图像中拍摄到的被摄体是否为可分析状态。

图10是说明可否分析的判定处理的流程图。当开始该处理时，首先可否分析判定部92从图像取得部91取得摄像图像(S21)。接着，可否分析判定部92基于摄像图像的画质来判定可否分析(S22)。这里的画质具体是指表示摄像图像的明亮度、摄像角度、遮挡程度的信息。遮挡程度狭义上是指有无遮挡物。

表示明亮度的信息具体是亮度的信息。亮度是RGB的3个像素值的加权和，并且能够利用各种权重。摄像图像中的极亮的区域、例如泛白的区域不包含管腔的具体的信息，不适于分析。管腔的信息包括管腔表面的凹凸结构、管腔表面或内部的血管结构、粘膜的色调等各种信息。因此，可否分析判定部92将摄像图像中的明亮度为规定以上的区域判定为不可分析区域。例如，可否分析判定部92将亮度为给定的第1亮度阈值以上的区域判定为不可分析区域。

另外，摄像图像中的极暗的区域、例如发黑的区域也不包含管腔的具体的信息，不适于分析。因此，可否分析判定部92将摄像图像中的明亮度为规定以下的区域判定为不可分析区域。例如，可否分析判定部92将亮度为给定的第2亮度阈值以下的区域判定为不可分析区域。在此，第1亮度阈值＞第2亮度阈值。另外，作为表示明亮度的信息，也可以使用明度等其他信息。

另外，关于泛白、发黑的区域，由于管腔的信息丢失的可能性高，因此可否分析判定部92将该区域判定为第2不可分析区域。第2不可分析区域是拍摄有上述第2不可分析部分的图像上的区域。但是，根据阈值的设定，也存在虽然视觉辨认性低但管腔信息仍残存的情况。因此，可否分析判定部92也可以将基于明亮度被判定为不可分析区域的区域作为第1不可分析区域。第1不可分析区域是拍摄有上述第1不可分析部分的图像上的区域。另外，可否分析判定部92也可以省略不可分析区域的分类。

此外，可否分析判定部92检测管腔内的遮挡物，将管腔表面被该遮挡物覆盖的区域判定为不可分析区域。此处的遮挡物包括残渣、污水、泡、血液、止血用的夹子等。残渣是粪便、未消化的食物残渣等。这些遮挡物具有与粘膜等管腔表面不同的色调。因此，可否分析判定部92例如基于摄像图像进行从RGB的像素值向HSV颜色空间的变换处理，将摄像图像中的色相(Hue)、饱和度(Saturation)在给定的范围内的区域判定为被遮挡物遮挡的不可分析区域。另外，可否分析判定部92也可以进行从RGB的像素值向YCrCb颜色空间的变换处理，基于作为色差信号的Cr、Cb中的至少一方来检测遮挡物。另外，在存在明亮度不均的情况下，可否分析判定部92也可以在进行了浓淡校正等滤波处理之后进行上述色调的判定处理。浓淡校正处理例如是对每个区域进行的伽马校正处理。另外，在如止血用的夹子那样遮挡物的颜色、形状为已知的情况下，可否分析判定部92也可以通过进行该遮挡物的样本图像与摄像图像的比较处理来进行检测遮挡物的处理。

另外，即使存在被遮挡物覆盖的区域，在该区域的面积足够小的情况下，在该遮挡物之下存在息肉等关注区域的可能性也较低。因此，可否分析判定部92也可以将被遮挡物覆盖的区域中的规定尺寸以上的区域作为不可分析区域。另外，这里的尺寸既可以是图像上尺寸，也可以是管腔上的实际尺寸。从图像上尺寸向实际尺寸的变换能够基于透镜、摄像元件等的光学特性信息和到被摄体的距离信息来执行。光学特性信息在设计上是已知的。距离信息可以使用上述的距离传感器来取得，也可以基于使用立体相机得到的立体图像来计算。另外，距离信息也可以使用管腔结构信息的计算结果来求出。如上所述，在管腔结构信息的计算处理中，对前端部11的3维位置和特征点的3维位置进行估计，因此能够基于估计结果来决定从前端部11到摄像图像上的给定的像素的距离。另外，可否分析判定部92也可以基于摄像图像的明亮度来计算距离信息。在该情况下，判定为明亮的区域的距离近，暗的区域的距离远。

另外，在存在遮挡物的区域中管腔的信息丢失，因此可否分析判定部92将该区域判定为第2不可分析区域。

另外，可否分析判定部92基于被摄体的摄像角度来判定可否分析。这里的摄像角度例如表示将前端部11和被摄体连结的直线与被摄体表面的法线方向所成的角度。例如，在插入部前端与被摄体正对的情况下，摄像角度成为接近0°的较小的值。另一方面，在光轴的方向为沿着管腔的长度方向的情况下，管腔壁面的摄像角度成为比0°大一定程度的值。在摄像角度大的情况下，是从倾斜方向拍摄被摄体，因此该被摄体在图像上的尺寸变得非常小，有可能丢失细微结构等的信息。

可否分析判定部92例如也可以取得管腔结构信息的计算处理结果，计算摄像图像中的各被摄体的摄像角度。在该情况下，可否分析判定部92将摄像角度为给定的角度阈值以上的区域判定为不可分析区域。或者，可否分析判定部92也可以基于距离信息来判定摄像角度。例如，在摄像角度大的情况下，在图像上的较窄的范围内到被摄体的距离急剧变化。因此，可否分析判定部92也可以判定包含处理对象像素的给定区域中的距离信息的变化程度，在变化程度大的情况下，判定为摄像角度大。如上所述，距离信息能够基于摄像图像的明亮度等各种信息来计算。例如可否分析判定部92也可以将摄像图像分割为多个区域，基于各区域的明亮度分布来求出摄像角度。

此外，可否分析判定部92将摄像角度大的区域判定为第1不可分析区域。

以上，对作为与画质有关的判定基准的明亮度、遮挡程度、摄像角度进行了说明。在图10的S22中，可否分析判定部92也可以使用它们的全部来进行判定。例如，可否分析判定部92将在明亮度、遮挡程度、摄像角度中的至少一个判定基准下被判定为不能分析的区域设为不可分析区域。但是，可否分析判定部92也可以使用明亮度、遮挡程度、摄像角度中的一部分判定基准来进行可否分析的判定。

接着，可否分析判定部92通过检测隐藏部分的有无来进行可否分析的判定(S23)。图11是示出存在褶皱时的摄像图像的例子的图。如图11所示，在存在像褶皱那样因肠道的表面结构而未被拍摄到的隐藏部分的情况下，拍摄到未被照明光照射且成为暗影的部分SA。暗影的部分SA与其他部分相比其明亮度阶段性地降低。因此，在相邻的像素或相邻的像素区域间亮度差为规定的亮度值以上时，可否分析判定部92判定为存在隐藏部分。例如，可否分析判定部92将包含暗影的部分SA在内的给定区域判定为不可分析区域。

更具体而言，可否分析判定部92取得表示摄像图像的明亮度的信息。表示明亮度的信息例如是上述的亮度。然后，在图像中的规定像素区域内在相邻的2个像素的亮度值之差为规定值以上、或者在图像中的规定像素区域内存在暗的条纹状部分的情况下，可否分析判定部92将对象的区域判定为不可分析区域。

或者，可否分析判定部92也可以使用距离传感器等取得距离信息。在该情况下，在相邻的2个像素的距离之差为规定值以上、或者存在距离的变化不连续的部分的情况下，可否分析判定部92将对象的区域判定为不可分析区域。

另外，可否分析判定部92将已被判定为存在由褶皱等引起的隐藏部分的区域判定为第2不可分析区域。

接着，可否分析判定部92基于区域尺寸来进行可否分析的判定(S24)。通过步骤S22、S23的处理，针对摄像图像的各像素来取得能够分析和不能分析中的任一判定结果。可否分析判定部92将已被判定为能够分析的连续的像素设定为1个可分析区域。同样地，可否分析判定部92将已被判定为不能分析的连续的像素设定为1个不可分析区域。

在可分析区域的尺寸为给定的尺寸阈值以下的情况下，可否分析判定部92将该可分析区域变更为不可分析区域。这里的尺寸例如可以是图像上的尺寸，也可以是图像上的面积。图像上的面积是指例如成为对象的区域中包含的像素的总数。即使画质没有问题，在成为对象的区域在图像上的面积极小的情况下，由于关注区域没有以足够的大小被拍摄，因此难以进行适当的分析。因此，通过将面积为规定以下的区域从可分析区域中排除，能够适当地判定可否分析。另外，即使面积比尺寸阈值大，但在区域在纵向或横向上极长的情况下也难以进行适当的分析。因此，可否分析判定部92也可以在满足可分析区域的纵向长度为规定以下、横向长度为规定以下这二者中的至少一方的情况下，将该可分析区域变更为不可分析区域。另外，可否分析判定部92也可以进行将图像上的尺寸变换为实际尺寸的处理，并且基于变换后的尺寸来判定可否分析。

此外，可否分析判定部92将因尺寸小而被变更为不可分析区域的区域判定为第1不可分析区域。

接着，可否分析判定部92进行是否由用户执行分析的判定(S25)。不由用户执行分析的情况例如相当于由处理装置9等进行分析的情况。基于系统的分析例如是指使用学习完毕模型的AI诊断。另外，关于进行被摄体的检测的检测任务用的学习完毕模型、进行包含恶性程度等的分类的分类任务用的学习完毕模型的生成、利用，已知有各种方法，在本实施方式中能够广泛应用这些方法。因此，省略对AI诊断的详细情况的说明。另外，进行分析的系统也可以与处理装置9分体设置。

在用户进行分析的情况下(S25中“是”)，可否分析判定部92基于图像的稳定性来判定可否分析(S26)。这里的图像的稳定性表示时间序列的摄像图像间的被摄体的运动的大小。运动包括平行移动、旋转、振动等，其通过前端部11与被摄体进行相对移动而产生。设想用户一边观察动态图像一边判定关注区域的有无、恶性程度等。因此，即使给定的帧中的摄像图像包含基于画质、区域尺寸被判定为能够分析的区域，在包含该帧的期间中的图像的稳定性低的情况下，图像上的被摄体的状态会剧烈变化，因此也难以由用户进行分析。因此，可否分析判定部92基于包含作为处理对象的摄像图像在内的时间序列的图像来判定图像的稳定性，在运动为规定以上的情况下，将作为该处理对象的摄像图像所包含的可分析区域变更为不可分析区域。另外，可否分析判定部92可以对平行移动、旋转、振动各自的运动量进行判定，也可以将它们汇总而求出1个运动量，进行所求出的运动量与阈值的比较。运动量的大小也可以根据实际的尺寸、或者在摄像图像上看起来的大小来判断。另外，关于求出运动量的方法，已知有运动矢量、光流等各种方法，在本实施方式中能够广泛地应用这些方法。

此外，可否分析判定部92将因运动大而被判定为不可分析区域的区域判定为第1不可分析区域。

另一方面，在用户不进行分析的情况下(S25中“否”)，在图像的稳定性低的情况下也能够进行适当的分析。因此，可否分析判定部92省略步骤S26的处理。

此外，可否分析判定部92也可以基于摄像图像是否能由计算机进行分析来输出可否分析信息。在使用这样的判断基准的情况下，通过将已被判定为能够分析的摄像图像输入到计算机，能够取得适当的分析结果。所谓能由计算机进行分析例如表示通过计算机得到的分析结果为期望的精度以上。

更具体而言，摄像图像也可以是生物体图像。可否分析判定部92基于是否能由计算机执行分类处理或检测处理来输出可否分析信息，该分类处理是将生物体图像分类为任意的类别的处理，该检测处理是从生物体图像中检测关注区域的处理。具体而言，在期待计算机的检测精度或分类精度成为期望的精度以上的情况下，可否分析判定部92判定为能够对生物体图像执行分类处理或检测处理。另外，这里的类别可以表示正常/异常中的任意一方，也可以表示病变的种类、恶性程度。

这里的计算机广泛包含执行输入、存储、运算、控制、输出等各处理的装置。计算机可以是PC(Personal Computer：个人计算机)，也可以是服务器系统，也可以是智能手机、平板电脑等便携终端装置，还可以是其他装置。另外，计算机执行的处理也可以通过多个装置的分散处理来实现，例如也可以使用云计算等。计算机包含处理器和存储器。另外，也可以包含键盘、指点装置、触摸面板等操作接口、监视器或扬声器等输出接口、显示通信芯片等通信接口等。进行分析的计算机可以是处理装置9，也可以是图像处理装置3，还可以是其他装置。例如，图1所示的装置中的任意装置可以兼作进行分析处理的图像诊断装置，也可以与图1所示的各装置分开地设置图像诊断装置。另外，计算机也可以按照执行分析处理的软件的指示进行动作。例如，也可以通过如下方式来实现执行分析处理的计算机：存储器存储用于进行以下说明的检测处理、分析处理等的分析程序，处理器按照该分析程序发挥功能。或者，也可以使用FPGA等以硬件方式来执行分析处理。如上所述，本实施方式中的计算机广泛地包括以电子方式进行处理的装置，具体的装置的方式能够实施各种变形。另外，用于使该计算机执行分析的硬件结构、软件结构也能够实施各种变形。

例如考虑使用深度学习等机器学习来构成检测器、分类器等学习完毕模型的情况。已知的是，在作为推理对象的图像中的参数与用于学习的图像中的参数相类似的情况下推理精度较高，在参数间的偏离较大的情况下推理精度较低。作为推理对象的图像具体是本实施方式中的摄像图像。以下，将用于学习的图像表述为学习图像。这里的参数例如是明亮度、遮挡程度、摄像角度、区域的尺寸等。

例如，在仅使用某种程度明亮的学习图像进行学习的情况下，即使输入暗的图像也无法得到足够的推理精度。鉴于以上的点，例如能够基于摄像图像中的参数与学习图像中的参数是否为相同程度来判定“是否能由计算机进行分析”。更具体而言，预先针对在学习阶段中使用的多个学习图像求出明亮度分布。然后，基于明亮度分布来设定上述的亮度阈值。成为遮挡程度、摄像角度的判定基准的阈值也以同样的方式设定。

或者，也可以准备将验证用图像与表示该验证用图像中的关注区域的有无、种类的正解标签对应起来而得到的数据。验证用图像包含各种画质的摄像图像。通过对将该验证用图像输入到学习完毕模型时的输出和正解标签进行比较，能够求出每一种画质的估计精度。这样，能够确定为了得到期望的估计精度所需的画质。可否分析判定部92基于摄像图像的画质是否为所确定的画质以上，输出可否分析信息。

另外，如上所述，可否分析判定部92也可以基于摄像图像中的被摄体的运动的大小来输出可否分析信息。这样，例如在因运动较大而用户有可能无法观察图像上的被摄体的情况下，判定为不能分析。例如，即使存在以较高的画质拍摄到的被摄体，在该被摄体在动态图像中始终持续运动的情况下，也能够判定为不适于分析。

另外，可否分析判定部92基于摄像图像的画质来输出可否分析信息。这样，在因画质差而无法进行分析的情况下，能够判定为有可能漏看。

另外，可否分析判定部92也可以在将摄像图像划分成多个区域之后，基于多个区域的各区域的大小来输出各区域中的可否分析信息。可否分析判定部92例如如上述那样基于画质、隐藏部分将摄像图像划分成多个区域。多个区域是指可分析区域或不可分析区域。1个可分析区域由判定为能够分析的连续的像素构成。这样，能够抑制将小到不适于分析的程度的区域判定为可分析区域。

2.3关联处理

接着，对关联处理进行说明。另外，以下，还一并对漏看判定处理、可分析比例的估计处理进行说明。

2.3.1关联

如上所述，使用摄像图像来执行可否分析的判定。但是，为了抑制本实施方式中的漏看，需要将摄像图像上的可分析区域或不可分析区域位于管腔结构的哪个部分关联起来。这是因为，即使在摄像图像上提示了不可分析区域，也难以知道当前的前端部11的位置姿态与用于在能够分析的状态下拍摄不可分析区域的前端部11的位置姿态的关系，难以使用户理解具体的操作。特别是在因操作插入部2b而导致不可分析区域偏离摄像图像的情况下，难以根据摄像图像来掌握前端部11的位置姿态与不可分析部分的位置关系。

另外，在管腔结构信息的计算处理中，对前端部11的位置姿态和摄像图像中的特征点的3维位置进行估计。即，在并行地执行使用内窥镜2的摄像图像的拍摄和管腔结构信息的计算的情况下，已经进行了摄像图像上的特征点与管腔结构的对应。

因此，关联处理部94通过使用管腔结构信息的计算处理结果，来执行可否分析信息与管腔结构信息的关联处理。例如，关联处理部94可以基于特征点的3维位置来对摄像图像中的除了特征点之外的点的3维位置进行估计。因此，通过多个点来限定摄像图像的可分析区域，并估计该多个点的3维位置，从而决定管腔结构中的与可分析区域对应的可分析部分。这里的多个点例如是设定在可分析区域的轮廓上的3个以上的点。

或者，限定可分析区域的多个点也可以是在管腔结构信息的计算中使用的特征点。例如，可否分析判定部92也可以预先取得在管腔结构信息的计算处理中设定的特征点的信息，基于该特征点来进行可否分析判定。例如，图10的S22中的基于画质的判定也可以针对由3个以上的特征点包围的每个区域来执行。这样，通过直接利用在管腔结构信息的取得中使用的信息，能够确定可分析区域、不可分析区域的3维位置。

图12是说明将可否分析信息与管腔结构关联起来的处理的示意图。可否分析信息是确定摄像图像上的可分析区域和不可分析区域中的至少一方的信息。在图12中例示出椭圆形状的可分析区域A2和不可分析区域A1，但各区域例如是由3个以上的特征点限定的多边形。关联处理部94将3维位置已确定的多个特征点的集合即管腔结构信息中的由限定可分析区域的特征点包围的封闭区域确定为可分析部分。例如，将与可分析区域A2对应的部分判定为可分析部分A4。然后，关联处理部94将管腔结构中的未被确定为可分析部分的区域确定为不可分析部分。

或者，关联处理部94也可以在确定可分析部分的同时，将管腔结构信息中的由限定不可分析区域的特征点包围的封闭区域确定为不可分析部分。例如，将与不可分析区域A1对应的管腔上的部分判定为不可分析部分A3。在该情况下，有时基于第1摄像图像被判定为了不可分析部分的管腔结构的给定部分基于第2摄像图像被判定为可分析部分。在像这样可分析部分与不可分析部分重复的情况下，将该重复部分判定为可分析部分。这是因为，如果基于至少1张摄像图像判定为能够分析，则通过使用该摄像图像能够以足够的精度进行分析。

处理装置9输出关联结果。例如，处理装置9进行将可分析部分和不可分析部分以不同的方式被显示的管腔结构信息显示于监视器6等显示部的处理。例如，不可分析部分也可以用与可分析部分不同的颜色显示，也可以进行闪烁等动画显示。图12中的A3、A5、A6、A7是不可分析部分，该不可分析部分用与A4等可分析部分不同的颜色进行显示。另外，也可以通过显示箭头等对象、文本来进行提高不可分析部分的视觉辨认性的显示处理。

另外，在将不可分析部分细分为上述的第1～第3不可分析部分等的情况下，关联处理部94通过将摄像图像上的不可分析区域与管腔结构信息关联起来，从而确定不可分析部分。具体而言，与第1不可分析区域相关联的部分是第1不可分析部分，与第2不可分析区域相关联的部分是第2不可分析部分。另外，第3不可分析部分能够如上述那样基于管腔结构信息的缺失来检测。另外，在第1不可分析部分与第2不可分析部分重复的情况下，关联处理部94也可以基于各不可分析部分的尺寸、形状等求出最终的关联结果。在该情况下，处理装置9进行将可分析部分、第1不可分析部分、第2不可分析部分、第3不可分析部分分别以不同的方式显示于监视器6等的处理。

如上所述，关联处理部94在于2个以上的时机拍摄到的多个摄像图像上分别设定多个特征点。然后，关联处理部94通过判定在2个以上的时机拍摄到的摄像图像上的多个特征点彼此的对应关系，在管腔的结构上关联可否分析信息。例如，关联处理部94取得在管腔结构信息的计算处理中使用的信息，具体而言，关联处理部94取得对各摄像图像设定的特征点的信息、多个摄像图像间的特征点的对应关系等。由此，能够将摄像图像上的区域与管腔结构关联起来。

关联处理部94也可以通过3个以上的特征点来对摄像图像上的被判定为能够分析的区域即可分析区域进行限定，从而进行确定可分析区域在管腔中的配置的处理。另外，关联处理部94也可以通过3个以上的特征点来对摄像图像上的被判定为不能分析的区域即不可分析区域进行限定，从而进行确定不可分析区域在管腔中的配置的处理。另外，关联处理部94也可以进行这两个处理。这样，能够将管腔结构上的可分析部分、不可分析部分确定为特征点的集合。

另外，由3个以上的特征点限定的区域也能够在于第1时机拍摄到的摄像图像中的形状和于第2时机拍摄到的摄像图像中的形状之间变形。

管腔有时会随着时间的经过而变形。例如肠道能够伸缩，其形状会因送气的状态、插入部2b的压入的状态等而发生变化。因此，给定区域的形状有时会在第1时机和第2时机之间发生变形。关于这一点，通过在2个图像间进行能够允许变形的关联，即使在管腔变形的情况下，也能够适当地将可否分析信息与管腔结构对应起来。例如，已知被称为“conformal registration technique(共形配准技术)”的图像间的对位方法，在本实施方式中能够应用该方法。

另外，关联处理部94也可以将管腔的结构中的基于至少1张摄像图像被判定为能够分析的部分判定为可分析部分，将管腔的结构中的可分析部分以外的部分判定为不可分析部分。这样，在多个图像具有重复部分地对管腔结构进行拍摄的情况下，能够适当地判定哪个部分是作为不可分析部分而残留的。

2.3.2漏看判定

通过图12所示的处理，能够将管腔结构信息与可否分析信息关联起来。进而，处理装置9也可以检测漏看部分，该漏看部分是不可分析部分中的、需要再次将插入部2b向管腔的里侧方向插入的部分。

图13的(A)、图13的(B)是例示内窥镜2的前端部11与不可分析部分的位置关系的图。图13的(A)、图13的(B)中的B1和B3表示不可分析部分，B2和B4表示摄像部的视野。使用内窥镜系统1的肠道的观察是在将插入部2b插入到最里部之后，一边将插入部2b向近前侧拔出一边进行的。最里部例如是盲肠的附近，近前侧是肛门侧。即使存在不可分析部分，在如图13的(A)所示那样该不可分析部分存在于前端部11的附近的情况下，也能够通过比较简单的操作来拍摄该不可分析部分。这里的操作是例如是改变弯曲部12的朝向、稍微按压插入部2b等操作。

与此相对，在图13的(B)中，在折曲部的前方存在不可分析部分。折曲部例如是SD交界处(SD junction)等。为了观察比折曲部更靠里侧的不可分析部分，需要进行越过折曲部或褶皱的操作。

本实施方式的漏看判定部95不将图13的(A)所示的不可分析部分判定为漏看部分，而将图13的(B)所示的不可分析部分判定为漏看部分。另外，在不可分析部分存在于比前端部11的当前位置更靠近前侧的位置的情况下，在之后的扫描中能够观察到的可能性高。因此，漏看判定部95不将比当前位置更靠近前侧的不可分析部分判定为漏看部分。这样，能够将只要用户不执行明确的操作就无法观察到的可能性高的不可分析部分判定为漏看部分。

例如，在存在不可分析部分的情况下，漏看判定部95通过进行不可分析部分的位置与前端部11的当前位置的比较处理，来判定不可分析部分是否位于比前端部11的当前位置更靠肠道的里侧的位置。例如，漏看判定部95基于在管腔结构信息的计算处理中取得的时间序列的位置信息来判定里侧方向和近前方向。这里的位置信息可以是由磁传感器16等位置姿态检测传感器取得的信息，也可以是使用SLAM或SfM被优化的参数。此外，如检测加速度的陀螺仪传感器那样的与位置姿态的变化量有关的传感器也能够通过适当地反复进行检测结果的时间积分来求出位置姿态，因此也可以将其设为位置姿态检测传感器。如上所述，观察开始时是在管腔的最里部，此后的前端部11的移动方向为近前方向。或者，在能够利用磁传感器16等的情况下，也可以基于向里侧方向插入时取得的位置姿态信息来判断里侧方向和近前方向。插入时的移动方向为里侧方向。

在不可分析部分位于比前端部11更靠里侧的位置的情况下，漏看判定部95判定是否能够通过弯曲部12的操作来拍摄该不可分析部分。弯曲部12的当前的位置姿态例如基于左右弯曲操作旋钮14a和上下弯曲操作旋钮14b的控制数据而是已知的。另外，弯曲部12的最大弯曲角度等根据设计是已知的。因此，关联处理部94能够基于这些信息，判定是否能够通过弯曲部12的操作来拍摄该不可分析部分。

漏看判定部95将位于比前端部11更靠里侧的位置且被判定为仅通过弯曲部12的操作无法拍摄到的不可分析部分判定为漏看部分。另外，如上所述，不越过折曲部那样的短距离的压入操作是比较容易的。因此，漏看判定部95也可以基于前端部11与不可分析部分的距离、折曲部的有无等来判定是否将不可分析部分作为漏看部分，而不仅仅是基于不可分析部分是否位于比前端部11更靠里侧的位置。

如上所述，管腔是肠道，在内窥镜的插入部2b向肠道的里侧方向插入后，一边向近前方向拔出一边进行用于诊断等的肠道的拍摄，通常情况下，内窥镜的插入部2b从肛门插入到盲肠，或者从肛门插入到盲肠前面的能够插入的最深部。处理装置9包括漏看判定部95，漏看判定部95基于插入部2b的前端部11相对于肠道的位置姿态信息，将如下的不可分析部分判定为漏看部分，该不可分析部分是已经被判定为如果不再次将插入部2b向里侧方向插入则无法观察的部分。例如，如图3所示，漏看判定部95从关联处理部94取得可否分析信息与管腔结构信息的关联结果，从管腔结构检测装置5取得前端部11的位置姿态信息。或者，也可以如使用图15在后面说明的那样，处理装置9包括位置姿态信息取得部97，漏看判定部95从位置姿态信息取得部97取得前端部11的位置姿态信息。

这样，能够确定发生漏看的可能性高的部分。例如通过向用户提示漏看部分，能够适当地抑制漏看。

另外，在将不可分析部分分类为第1～第3不可分析部分等的情况下，处理也是同样的。即，将第1～第3不可分析部分中的不能通过比较容易的操作观察到的部分都判定为漏看部分。此时，漏看判定部95也可以将由第1不可分析部分引起的漏看部分设为第1漏看部分，将由第2不可分析部分引起的漏看部分设为第2漏看部分，将由第3不可分析部分引起的漏看部分设为第3漏看部分，由此对漏看部分进行分类。或者，漏看判定部95也可以省略漏看部分的分类。

如以上那样，本实施方式的处理装置9也可以将可否分析信息和漏看判定的结果与管腔结构信息关联起来。具体而言，处理装置9进行处理，以便确定管腔结构的各部分是可分析部分、不可分析部分、漏看部分中的哪种部分。这样，能够将是否进行了拍摄、是否能够分析、漏看的可能性是否高这样的从多个观点出发得到的信息与管腔结构关联起来。

2.3.3可分析比例

另外，处理装置9也可以进行处理，以便求出表示可分析部分相对于管腔结构整体的比例的可分析比例。可分析比例表示在能够分析的状态下对管腔结构中的何种程度的范围进行了拍摄，因此能够将可分析比例用作将漏看定量化的指标。通过在使用内窥镜2的观察中提示可分析比例，能够向用户提示该观察的进展程度。

例如管腔结构信息是由3个特征点限定的三角形的集合即多边形模型，管腔结构的表面积是多边形模型所包含的多个三角形的面积的总和。另外，能够如上述那样将管腔结构中的可分析部分确定为由3个以上的特征点包围的多边形，也能够基于1个或多个三角形的面积来计算该多边形的面积。另外，管腔结构信息并不限定于多边形模型，本领域技术人员能够容易地理解可基于3维模型来计算表面积。

关联处理部94基于下式(2)来求出可分析比例。可分析比例例如是0以上1以下的数。另外，也可以通过在下式(2)的右边乘以100从而以％表示可分析比例。这样，能够适当地判定执行中的检查的进展程度。理想的是，能够通过将可分析比例设为100％来适当地结束检查。整个管腔的表面积具体是可分析部分的面积与不可分析部分的面积的总和。另外，关联处理部94也可以通过下式(3)求出漏看比例。根据下式(2)、(3)可知，可分析比例和漏看比例的差异在于着眼于可分析部分和不可分析部分中的哪一方，并且使用哪一方都可以。

可分析比例＝(可分析部分的面积)/(整个管腔的表面积)…(2)

漏看比例＝(不可分析部分的面积)/(整个管腔的表面积)…(3)

另外，在存在第3不可分析部分的情况下，不针对该部分构建管腔结构信息。因此，有时难以对第3不可分析部分的面积进行估计。特别是在观察中提示可分析比例的例子中，设想未取得比前端部11更靠近前侧的管腔结构信息。

在该情况下，关联处理部94也可以通过估计管腔结构来求出可分析比例。例如，关联处理部94预先取得具有平均的大小、形状的标准肠道模型，使用该标准肠道模型来补充不可分析部分，由此估计管腔的整体结构。标准肠道模型可以共用于所有患者，也可以根据年龄、性别准备多个模型。另外，在事先使用CT(computed tomography：计算机断层扫描)或MRI(magnetic resonance imaging：磁共振成像)取得了与患者固有的肠道有关的信息的情况下，也可以使用该信息。另外，也可以使用标准肠道模型来补充因褶皱而形成的隐藏部分等第2不可分析部分。

例如将这里的标准肠道模型的状态设为与使用内窥镜2的观察时相同的状态。设想在观察肠道时通过进行送气来使肠道膨胀。在使用未进行送气的状态的模型作为标准肠道模型的情况下，在构建完毕的管腔结构信息和标准肠道模型中，肠道的伸缩程度会大幅变化，因此难以高精度地求出可分析比例。因此，关联处理部94将表示送气状态下的肠道的信息用作标准肠道模型。

但是，在利用标准肠道模型补充不可分析部分的情况下，也能够简化管腔结构。例如，能够使用省略了褶皱等结构的圆筒模型来作为标准肠道模型。即，可分析比例只要作为漏看的定量化指标而具有适当的精度即可，能够简化细微的个体差异、细微的褶皱结构等。

另外，简化的对象并不限定于标准肠道模型。例如在取得了详细的3维模型作为管腔结构信息的情况下，也可以进行通过将管腔结构信息简化为圆筒模型等来求出可分析比例的处理。

另外，以上示出以整个管腔为基准来计算可分析比例、漏看比例的例子，但本实施方式的方法不限于此。例如在观察中求得可分析比例的情况下，也可以将管腔中的观察已完成的可能性高的部分作为对象，如式(4)那样计算可分析比例等。在该情况下，可分析部分的面积与比插入部2b的前端部11更靠里侧的部分中的管腔的表面积之比成为可分析比例。漏看比例也同样，如式(5)那样。在该情况下，期待在没有漏看的情况下可分析比例为1、或者漏看比例为0，因此能够评价是否适当地进行了此前的检查。另外，考虑到进行再次插入的情况等，也可以以在一系列观察中移动到最靠近肛门侧时的前端部11的位置为基准来求出可分析比例等。另外，在该情况下，也能够使用标准肠道模型。

可分析比例＝(可分析部分的面积)/(观察已完成的可能性高的管腔部分的表面积)…(4)

漏看比例＝(不可分析部分的面积)/(观察已完成的可能性高的管腔部分的表面积)…(5)

如以上那样，关联处理部94也可以对可分析部分的面积、不可分析部分的面积中的至少一方进行估计。这样，能够输出适于向用户提示的信息，或者能够输出适于评价用户能力的信息。另外，关联处理部94也可以对可分析部分的形状和不可分析部分的形状中的至少一方进行估计。根据用户对前端部11的操作状况，可分析部分、不可分析部分的形状发生变化。因此，可分析部分、不可分析部分的形状也能够用作评价观察的进展状况、用户能力的信息。另外，这里的形状估计包括如上述那样使用标准肠道模型的估计、简化可分析部分的处理等。

另外，如上所述，关联处理部94求出可分析比例和漏看比例中的至少一方。可分析比例可以是如上式(2)所示那样表示可分析部分相对于管腔的整个内表面的面积比的信息，也可以是如上式(4)所示那样表示可分析部分相对于管腔中的由关联处理部94判定为了观察已完成的部分的面积比的信息。另外，漏看比例可以是如上式(3)所示那样表示不可分析部分相对于管腔的整个内表面的面积比的信息，也可以是如上式(5)所示那样表示不可分析部分相对于管腔中的由关联处理部94判定为了观察已完成的部分的面积比的信息。另外，这里的管腔的整个内表面并不限定于严格包含管腔内表面的全部。

这样，能够适当地将漏看定量化。可分析比例、漏看比例在提示观察的完成程度的情况下是有用的，并且对于用户能力的评价而言是有用的。

另外，关联处理部94也可以通过简化不可分析部分的形状来求出可分析比例和漏看比例中的至少一方。这样，能够减轻可分析比例等的计算负荷。如上所述，不可分析部分存在原本就没有取得管腔结构信息的情况，在该情况下，不可分析部分的形状是被估计出的。作为结果，在可分析比例等的计算中使用的不可分析部分的面积中包含一定程度的误差。即，在原本难以进行高精度的运算的基础上，针对不可分析部分甚至考虑复杂的形状的意义较小。通过简化不可分析部分的形状，能够有效地减轻处理负荷。另外，如上所述，也能够简化可分析部分的形状。

另外，管腔是肠道，关联处理部94也可以基于肠道的基准形状来求出可分析比例和漏看比例中的至少一方。这里的基准形状例如是由上述的标准肠道模型表示的形状。这样，即使在将形状因送气的状态等而发生变化的肠道作为对象的情况下，也能够对适当的形状和面积进行估计。

这里的肠道的基准形状与内窥镜2的插入部2b向肠道的里侧方向插入后，向近前方向拔出时的肠道的形状对应。基于对向近前方向拔出时的肠道进行拍摄而得到的图像来计算管腔结构信息。拔出时的肠道具体是指通过进行送气而成为膨胀状态的肠道。这样，由基准形状表示的肠道的状态与由管腔结构信息确定的肠道的状态对应，因此能够适当地求出可分析比例。

2.4提示处理

2.4.1显示

处理装置9也可以通过将可否分析信息与管腔结构信息关联起来的结果显示于监视器6等来提示给用户。例如，在观察中求出可否分析信息的情况下，处理装置9进行将摄像图像、可否分析信息、管腔结构信息关联起来的结果显示于监视器6的处理。

图14是显示于监视器6等的显示图像的例子。C1表示显示图像，C2表示作为显示图像的一部分的第1区域，C3表示作为显示图像的另一部分的第2区域。例如，如图14所示，处理装置9进行在监视器6的第1区域中显示摄像图像的处理和在与第1区域不同的第2区域中显示管腔结构信息的处理。另外，虽然在图14中进行了省略，但也可以在第2区域中显示可否分析信息与管腔结构信息的关联结果。可否分析信息与管腔结构信息的关联结果是3维模型，也能够基于用户输入来变更视点。另外，管腔结构信息并不限定于3维模型，也可以是将圆筒展开后得到的2维图像。在该情况下，可否分析信息与管腔结构信息关联起来的结果也是2维图像。此外，可以同时显示作为3维模型的关联结果和作为2D图像的关联结果。

这样，通过对照管腔结构来提示管腔的哪个部分能够分析、不能分析，由此能够使由医生等进行的漏看抑制的判断变得容易。另外，通过将需要再次插入的不可分析部分判断为漏看部分，能够向医生提示信息、实施警告。

2.4.2引导

另外，如图3所示，处理装置9也可以包括引导处理部96。在作为可否分析信息而输出了将摄像图像的至少一部分设为不能分析的信息的情况下，引导处理部96进行用于提高摄像图像中的被摄体的可见性的引导。例如，引导处理部96进行用于提高画质的引导。这里的引导可以是指示被摄体与前端部11的距离变更的引导，也可以是指示送气、送水的引导，也可以是指示摄像角度的变更的引导，还可以是为了抑制抖动而指示前端部11的静止的引导。引导处理部96进行将指示上述调整的文本等显示于监视器6的处理。

另外，引导处理部96也可以进行具体的调整内容的指示。例如引导处理部96进行提示遮挡物的具体位置、送水方向的处理。或者，引导处理部96也可以进行提示用于变更摄像角度的插入部2b的插拔量、弯曲部12的弯曲方向、弯曲角度等的处理等。这样，能够促使用户进行操作以便在能够分析的状态下进行拍摄。

另外，引导处理部96也可以在存在漏看部分的情况下，进行用于在可分析状态下拍摄漏看部分的引导。例如引导处理部96也可以将当前正在拍摄的视野与漏看部分的位置关系显示在摄像图像上。例如显示箭头等引导对象，该箭头表示应该将视野向上下左右的哪个方向移动。另外，移动方向也可以包括前后方向。这样，能够促使用户进行用于拍摄漏看部分的操作。另外，引导对象不限于显示在摄像图像上。例如，引导处理部96也可以进行如下控制：在监视器6等的显示区域的一部分中显示摄像图像，并且在显示区域中的摄像图像的外部的区域显示引导对象。引导对象例如是图14的OB所示的箭头状的对象。图14中的引导对象显示在显示图像中的与第1区域和第2区域均不同的区域。

3.变形例

3.1与管腔结构信息的取得有关的变形例

以上，对在与处理装置9不同的管腔结构检测装置5中取得管腔结构信息的例子进行了说明。但是，本实施方式的方法不限于此，也可以在处理装置9中计算管腔结构信息。

图15是示出处理装置9的其他结构的图。如图15所示，处理装置9除了包括图3所示的结构之外，还包括位置姿态信息取得部97和驱动电路98。位置姿态信息取得部97与图4中的位置姿态检测部55对应。驱动电路98与驱动电路56对应。即，位置姿态信息取得部97对驱动磁场产生装置7的驱动电路98进行控制，使磁场产生装置7产生规定的磁场。通过磁传感器16检测磁场，位置姿态信息取得部97生成前端部11的位置坐标和取向的数据。

管腔结构信息取得部93基于来自图像取得部91的摄像图像和来自位置姿态信息取得部97的位置姿态信息，计算管腔结构信息。即，图15中的管腔结构信息取得部93进行与图4的处理器51相同的处理。

但是，在管腔结构检测装置5的说明中，如上面说明的那样，用于检测位置姿态信息的传感器并不限定于设置于前端部11的磁传感器16，能够实施图9的(A)、图9的(B)等所例示的变形。另外，在本实施方式的方法中，能够省略磁传感器16等位置姿态检测传感器。在该情况下，管腔结构信息取得部93例如基于摄像图像，执行对包含前端部11的位置姿态的(6k+3m)个参数进行优化的处理。

如以上那样，管腔结构信息取得部93也可以基于摄像图像来求出管腔结构信息。这样，在处理装置9中，能够执行求出管腔结构信息的处理、求出可否分析信息的处理、以及将可否分析信息与管腔结构对应起来的处理。

另外，如图15所示，处理装置9也可以包括位置姿态信息取得部97，位置姿态信息取得部97从设置于插入管腔的插入部2b的传感器取得前端部11相对于管腔的位置姿态信息。管腔结构信息取得部93基于摄像图像和由位置姿态信息取得部97取得的位置姿态信息，求出管腔结构信息。

这样，通过使用磁传感器16等传感器取得前端部11的位置姿态信息，能够高速地计算高精度的管腔的3维模型结构。

3.2实时处理和事后处理

以上，对在观察中实时地执行管腔结构信息和可否分析信息的取得、它们的关联的例子进行了说明。在该情况下，需要迅速地提示存在漏看病变的可能性。在产生了图13的(B)所示那样的漏看部分的情况下，为了观察该漏看部分而需要再次插入，因此医生、患者的负担较大。通过迅速地提示存在不可分析部分来抑制漏看部分的产生是有用的。

因此，在观察中执行各处理的情况下，高速的处理是重要的。例如在观察中执行管腔结构信息的计算的情况下，SLAM是优选的。SLAM依次对所取得的图像进行处理，因此实时性高。由此，能够在产生了不可分析部分的阶段向医生等进行提示，因此能够促使进行该不可分析部分的确认。另外，在产生了漏看部分的情况下，也能够在观察结束前促使进行该漏看部分的确认，因此能够抑制最终的漏看。在使用内窥镜系统1进行观察时，用户需要进行进食限制、泻药服用等准备。即使需要再次插入，与重新执行第二次观察的情况相比，也能够减轻患者负担。

另一方面，上述的各处理也可以在观察结束后进行。在该情况下，即使处理需要数分钟～数小时也难以成为问题。因此，在各处理中，能够使精度优先于速度。例如，在管腔结构信息的取得中也可以使用SfM等方法。在SfM中，能够将所取得的整个图像组用作输入，因此与SLAM相比能够提高管腔结构的估计精度。

另外，在事后提示管腔结构信息的取得和与可否分析信息的关联结果的情况下，在观察结束后判明有漏看。因此，为了分析该漏看，需要另外执行观察。事后取得的关联结果例如能够用于漏看的定量化。具体而言，能够基于关联结果来判定用户的能力、执行用户的训练等。作为具体的指标，能够考虑上述的可分析比例、漏看比例等。

3.3与管腔结构信息的取得时机有关的变形例

另外，以上，对以使用内窥镜系统1的同一观察为对象来执行求出该管腔结构信息的处理、可否分析信息的输出以及关联处理的例子进行了说明。例如，在观察中实时地进行处理的情况下，当取得摄像图像时，并行地进行基于该摄像图像的可否分析信息的输出和基于该摄像图像的管腔结构信息的计算，将可否分析信息与管腔结构信息关联起来。另外，在将观察结束后蓄积在存储器等中的动态图像作为对象的情况下，也基于该动态图像来进行可否分析信息的输出和管腔结构信息的计算。

但是，本实施方式的方法不限于此，也可以在作为可否分析信息的输出处理的对象的观察之前取得管腔结构信息。例如，在以同一患者为对象的情况下，基于在过去的观察中拍摄到的摄像图像而预先取得管腔结构信息。然后，基于在本次观察中拍摄到的摄像图像，执行可否分析信息的输出和该可否分析信息与管腔结构的关联。

但是，管腔结构信息例如是特征点的集合，但该情况下的特征点是基于过去的摄像图像而设定的点。由于在用于计算可否分析信息的摄像图像上未设定特征点，因此无法直接将可否分析信息与管腔结构对应起来。

因此，关联处理部94也可以基于磁传感器16等传感器来取得精度高的位置姿态信息。此时，设定坐标系的基准点时的条件与过去的观察相同。具体而言，基准点在肛门是共同的，用户姿态也是共同的姿态。这样，如果过去的基准点与本次的基准点之间的能够对应起来，则能够对本次观察中的前端部11与肠道的位置关系进行估计。即，关联处理部94能够基于前端部11的位置姿态信息，确定在摄像图像中拍摄到的被摄体与由管腔结构信息表示的肠道中的哪个部分对应。由此，关联处理部94能够将通过本次观察而取得的可否分析信息与通过过去的观察而取得的管腔结构信息关联起来。

或者，关联处理部94也可以在过去的摄像图像与本次的摄像图像之间执行匹配处理。这样，能够确定在过去的摄像图像中设定的特征点与本次的摄像图像的哪个位置对应。由此，能够确定在本次的摄像图像中拍摄到的被摄体在管腔结构上的位置。

或者，管腔结构信息也可以使用CT、MRI、超声波诊断装置等来取得。在该情况下，也优选关联处理部94基于磁传感器16等传感器来取得精度高的位置姿态信息。通过对使用传感器检测出的位置姿态信息的基准点与使用CT等取得的管腔结构信息的位置关系进行确定，能够高精度地对前端部11与肠道的位置关系进行估计。作为结果，能够确定在摄像图像中拍摄到的被摄体在管腔结构上的位置。

3.4基于关联结果的控制

另外，以上，对将可否分析信息与管腔结构信息的关联结果用于向用户的提示或者用于用户能力的评价的例子进行了说明。另外，作为向用户提示的例子，说明了由引导处理部96进行的引导。但是，本实施方式的方法不限于此，关联结果也可以用于内窥镜2的控制。

例如，内窥镜2包括未图示的马达等和驱动该马达等的驱动部。内窥镜2基于马达等的控制，自动地进行插入部2b的插拔、弯曲部12的弯曲。在使用这样的内窥镜2的情况下，处理装置9对控制驱动部的控制部输出关联结果。控制部可以设置于图像处理装置3，也可以设置于处理装置9。控制部基于关联结果进行驱动部的控制。例如在检测出漏看部分的情况下，控制部进行用于将插入部2b插入到能够拍摄漏看部分的位置的控制、使弯曲部12弯曲的控制。另外，控制部也可以执行用于改善画质的控制。用于改善画质的控制例如可以是使前端部11的位置姿态变化的控制，也可以是执行送水、送气的控制。

此外，如上述那样对本实施方式进行了详细说明，但本领域技术人员能够容易地理解，能够进行实质上不脱离本实施方式的发明内容和效果的多种变形。因此，这样的变形例全部包含在本发明的范围内。例如，在说明书或附图中，至少一次与更广义或同义的不同术语一起记载的术语在说明书或附图的任何位置都能够置换为该不同术语。另外，本实施方式和变形例的全部组合也包含在本发明的范围中。并且，处理装置、内窥镜系统等的结构和动作等也不限于本实施方式中说明的内容，能够实施各种变形。

符号说明

1：内窥镜系统；2：内窥镜；2a：操作部；2b：插入部；2c：通用线缆；2e：信号线；3：图像处理装置；4：光源装置；5：管腔结构检测装置；6：监视器；7：磁场产生装置；7a：信号线；8：床；9：处理装置；11：前端部；12：弯曲部；13：挠性管部；14：弯曲操作部件；14a：左右弯曲操作旋钮；14b：上下弯曲操作旋钮；14c：固定旋钮；15：摄像元件；16：磁传感器；16a、16b：线圈；51：处理器；52：存储装置；53：接口；54：图像取入部；55：位置姿态检测部；56：驱动电路；58：总线；81：形状传感器；82：插入量/扭转量传感器；91：图像取得部；92：可否分析判定部；93：管腔结构信息取得部；94：处理部；95：漏看判定部；96：引导处理部；97：位置姿态信息取得部；98：驱动电路；Pa：患者；SA：隐藏部分。

Claims (22)

1.一种处理装置，其特征在于，包括：

图像取得部，其取得管腔内部的摄像图像；

管腔结构信息取得部，其取得表示所述管腔的结构的管腔结构信息；

可否分析判定部，其基于所述摄像图像，输出表示所述摄像图像是否为可分析状态的可否分析信息；

关联处理部，其基于所述可否分析信息和所述管腔结构信息，在所述管腔的结构上关联所述可否分析信息。

2.根据权利要求1所述的处理装置，其特征在于，

所述可否分析判定部基于所述摄像图像是否能由计算机进行分析来输出所述可否分析信息。

3.根据权利要求2所述的处理装置，其特征在于，

所述摄像图像是生物体图像，

所述可否分析判定部基于是否能由所述计算机执行分类处理或检测处理来输出所述可否分析信息，该分类处理是将所述生物体图像分类为任意的类别的处理，该检测处理是从所述生物体图像中检测关注区域的处理。

4.根据权利要求1所述的处理装置，其特征在于，

所述可否分析判定部基于所述摄像图像中的被摄体的运动的大小来输出所述可否分析信息。

5.根据权利要求1所述的处理装置，其特征在于，

所述可否分析判定部基于所述摄像图像的画质来输出所述可否分析信息。

6.根据权利要求1所述的处理装置，其特征在于，

在将所述摄像图像划分成多个区域之后，所述可否分析判定部基于所述多个区域中的各区域的大小来输出所述各区域的所述可否分析信息。

7.根据权利要求1所述的处理装置，其特征在于，

所述管腔结构信息取得部基于所述摄像图像来求出所述管腔结构信息。

8.根据权利要求1所述的处理装置，其特征在于，

所述处理装置包括位置姿态信息取得部，该位置姿态信息取得部从设置于插入到所述管腔的插入部的传感器取得所述插入部的前端相对于所述管腔的位置姿态信息，

所述管腔结构信息取得部基于所述位置姿态信息和所述摄像图像来求出所述管腔结构信息。

9.根据权利要求1所述的处理装置，其特征在于，

所述关联处理部在于2个以上的时机拍摄到的多个所述摄像图像上分别设定多个特征点，通过对在2个以上的时机拍摄到的所述摄像图像上的所述多个特征点彼此的对应关系进行判定，从而在所述管腔的结构上关联所述可否分析信息。

10.根据权利要求9所述的处理装置，其特征在于，

所述关联处理部进行以下处理中的至少一个处理：

利用3个以上的所述特征点对所述摄像图像上的被判定为能够分析的区域即可分析区域进行限定，从而确定所述可分析区域在所述管腔中的配置；以及

利用3个以上的所述特征点对所述摄像图像上的被判定为不能分析的区域即不可分析区域进行限定，从而确定所述不可分析区域在所述管腔中的配置。

11.根据权利要求10所述的处理装置，其特征在于，

由3个以上的所述特征点限定的区域能够在于所述第1时机拍摄到的所述摄像图像中的形状和于所述第2时机拍摄到的所述摄像图像中的形状之间变形。

12.根据权利要求1所述的处理装置，其特征在于，

所述关联处理部将所述管腔的结构中的、基于至少1张所述摄像图像被判定为能够分析的部分判定为可分析部分，将所述管腔的结构中的、所述可分析部分以外的部分判定为不可分析部分。

13.根据权利要求12所述的处理装置，其特征在于，

所述关联处理部对所述可分析部分的面积、所述可分析部分的形状、所述不可分析部分的面积、所述不可分析部分的形状中的至少一方进行估计。

14.根据权利要求13所述的处理装置，其特征在于，

所述关联处理部进行求出可分析比例和漏看比例中的至少一方的处理，

所述可分析比例是表示所述可分析部分相对于所述管腔的整个内表面的面积比的信息，或者是表示所述可分析部分相对于所述管腔中的被判定为进行了观察的部分的面积比的信息，

所述漏看比例是表示所述不可分析部分相对于所述管腔的整个内表面的面积比的信息，或者是表示所述不可分析部分相对于所述管腔中的被判定为进行了观察的部分的面积比的信息。

15.根据权利要求14所述的处理装置，其特征在于，

所述关联处理部简化所述不可分析部分的所述形状，由此求出所述可分析比例和所述漏看比例中的至少一方。

16.根据权利要求14所述的处理装置，其特征在于，

所述管腔是肠道，

所述关联处理部基于所述肠道的基准形状来求出所述可分析比例和所述漏看比例中的至少一方。

17.根据权利要求16所述的处理装置，其特征在于，

所述肠道的所述基准形状与内窥镜的插入部向所述肠道的里侧方向插入后向近前方向拔出时的所述肠道的形状对应。

18.根据权利要求12所述的处理装置，其特征在于，

所述处理装置包括漏看判定部，在所述管腔是肠道，内窥镜的插入部向所述肠道的里侧方向插入后，一边向近前方向拔出一边进行所述肠道的拍摄的情况下，所述漏看判定部基于所述插入部的前端相对于所述肠道的位置姿态信息，将被判定为如果不再次将所述插入部向所述里侧方向插入则无法进行观察的所述不可分析部分，判定为漏看部分。

19.根据权利要求1所述的处理装置，其特征在于，

所述处理装置包括引导处理部，在作为所述可否分析信息而输出了将所述摄像图像的至少一部分设为不能分析的信息的情况下，所述引导处理部进行用于提高所述摄像图像中的被摄体的可见性的引导。

20.根据权利要求18所述的处理装置，其特征在于，

所述处理装置包括引导处理部，在存在所述漏看部分的情况下，所述引导处理部进行用于以所述可分析状态来拍摄所述漏看部分的引导。

21.一种内窥镜系统，其特征在于，包括：

摄像部，其对管腔内部进行拍摄；

图像取得部，其取得基于所述摄像部的摄像图像；

管腔结构信息取得部，其取得表示所述管腔的结构的管腔结构信息；

可否分析判定部，其基于所述摄像图像，输出表示所述摄像图像是否为可分析状态的可否分析信息；以及

关联处理部，其基于所述可否分析信息和所述管腔结构信息，在所述管腔的结构上关联所述可否分析信息。

22.一种摄像图像的处理方法，其特征在于，包括如下步骤：

取得拍摄有管腔内部的摄像图像；

取得表示所述管腔的结构的管腔结构信息；

基于所述摄像图像，输出表示所述摄像图像是否为可分析状态的可否分析信息；以及

基于所述可否分析信息和所述管腔结构信息，在所述管腔的结构上关联所述可否分析信息。

Images