CN114364298A - 内窥镜系统、处理系统、内窥镜系统的工作方法以及图像处理程序 - Google Patents

Abstract

内窥镜系统包括：光源装置(100)，其照射照明光；摄像元件(240)，其根据照明光，拍摄表面图像和发光图像，其中表面图像是对被观察体的表面形状进行拍摄而得到的图像，发光图像是对来自存在于被观察体的内部的关注部位的发光进行拍摄而得到的图像；以及处理部(310)，其根据表面图像和发光图像，估计包含深度信息的三维形状信息，其中深度信息表示被观察体的关注部位的深度。

Description

内窥镜系统、处理系统、内窥镜系统的工作方法以及图像处理 程序

技术领域

本发明涉及内窥镜系统、处理系统、内窥镜系统的工作方法以及图像处理程序等。

背景技术

在使用医疗用内窥镜的诊断和处置中，已知除了进行使用白色照明的观察以外，还进行使用特殊光的观察的方法。所谓使用特殊光的观察，例如有像使用ICG(吲哚菁绿)的荧光观察那样利用试剂的荧光的观察、像NBI(Narrow Band Imaging：窄带成像)那样使用波长不同的多个照明光的观察。在这样的特殊光观察中，关注部位在生物体内的深度在诊断精度的提高以及处置的方针决时机成为重要的信息。

例如在专利文献1中，公开了根据血管的明亮度、对比度来估计血管的深度，切换为容易观察所关注的血管的照明光的方法。

现有技术文献

专利文献

专利文献1：日本特开2017-192594号公报

发明内容

发明所要解决的课题

如利用荧光的例子那样，已知有对来自存在于被观察体的内部的被摄体的发光进行拍摄的方法。在使用拍摄发光而得到的发光图像的情况下，医生等用户根据发光图像的程度清晰怎样，来估计发光源的深度。但是，在现有方法中，不容易高精度地估计发光源的三维信息。

用于解决课题的手段

本公开的一个方式涉及内窥镜系统，该内窥镜系统包含：所述内窥镜系统包括：光源装置，其照射照明光；摄像元件，其根据所述照明光，拍摄表面图像和发光图像，其中所述表面图像是对被观察体的表面形状进行拍摄而得到的图像，所述发光图像是对来自存在于所述被观察体的内部的关注部位的发光进行拍摄而得到的图像；以及处理部，其基于所述表面图像和所述发光图像，估计包含深度信息的三维形状信息，其中所述深度信息表示所述被观察体的所述关注部位的深度。

另外，本公开的其他方式涉及一种处理系统，包括：取得部，其取得表面图像和发光图像，其中所述表面图像是对被观察体的表面形状进行拍摄而得到的图像，所述发光图像是对来自存在于所述被观察体的内部的关注部位的发光进行拍摄而得到的图像；以及处理部，其基于所述表面图像和所述发光图像，估计包含深度信息的三维形状信息，其中所述深度信息表示所述被观察体的所述关注部位的深度。

另外，本公开的又一其他方式涉及一种内窥镜系统的工作方法，其中，照射照明光；根据所述照明光，拍摄表面图像和发光图像，其中所述表面图像是对被观察体的表面形状进行拍摄而得到的图像，所述发光图像是对来自存在于所述被观察体的内部的关注部位的发光进行拍摄而得到的图像；以及基于所述表面图像和所述发光图像，估计包含深度信息的三维形状信息，其中所述深度信息表示所述被观察体的所述关注部位的深度。

另外，本公开的另一其他方式涉及一种图像处理程序，使计算机执行如下步骤：取得表面图像和发光图像，其中所述表面图像是对被观察体的表面形状进行拍摄而得到的图像，所述发光图像是对来自存在于所述被观察体的内部的关注部位的发光进行拍摄而得到的图像；以及基于所述表面图像和所述发光图像，估计包含深度信息的三维形状信息，其中所述深度信息表示所述被观察体的所述关注部位的深度。

附图说明

图1是内窥镜系统的结构例。

图2是处理部的详细结构例。

图3是说明本实施方式的内窥镜系统进行的面顺次拍摄的图。

图4是照明光的光谱。

图5是照明光的光谱。

图6是表面图像的例子。

图7是发光图像的例子。

图8是重叠图像的例子。

图9是基于几何计算来求出三维形状信息的处理的示意图。

图10是说明三维形状信息的估计处理的流程图。

图11是学习装置的结构例。

图12是神经网络的结构例。

图13是机器学习中的输入数据和输出数据的例子。

图14是说明学习处理的流程图。

图15是说明推论处理的流程图。

图16是显示作为深度信息的三维形状信息的显示画面的例子。

图17是显示支援信息的显示画面的例子。

具体实施方式

以下，对本实施方式进行说明。另外，以下所说明的本实施方式并不对权利要求书中所记载的本实施方式的内容进行不当限定。另外，在本实施方式中说明的全部结构不一定是必需的构成要件。

1.内窥镜系统

图1是内窥镜系统的结构例。内窥镜系统包括插入部200、控制装置300、显示部400、外部接口部500和光源装置100。作为内窥镜系统，例如能够设想腹腔镜等所使用的硬性镜。但是，内窥镜系统不限于硬性镜，也可以是用于消化道等的软性镜，也可以是其他装置。另外，也将插入部200称为镜体。镜体除了插入部200以外，还可以包含外部接口部500的一部分，镜体通过未图示的连接线缆与控制装置300连接。另外，也将控制装置300称为主体部或处理装置。也将显示部400称为显示装置。也将外部接口部500称为操作部或操作装置。也将光源装置100称为照明部或照明装置。

光源装置100是产生照明光的装置。光源装置100包括光源LDB、LDG、LDR、LDIR和合波部120。光源LDB、LDG、LDR、LDIR分别是LED(Light Emitting Diode：发光二极管)或激光光源。以下，将光源LDB、LDG、LDR、LDIR产生的光分别称为B光、G光、R光、IR光。

B光是具有白色光中的蓝色波段的光。G光是具有白色光中的绿色波段的光。R光是具有白色光中的红色波段的光。例如，B光的波段为430～500nm，G光的波段为500～600nm，R光的波段为600～700nm。IR光是峰值波长为780nm的红外光。IR光用于荧光观察。例如，作为荧光色素的ICG(吲哚菁绿)吸收780nm附近的红外光，发出805nm附近的荧光。ICG被用作体内散布或静脉注射等的荧光观察用的药剂。

另外，上述的波长是一个例子。例如各光的峰值波长、波段的上限及下限也可以偏离10％左右。另外，B光、G光以及R光也可以是具有数nm～数10nm的半值宽度的窄带光。另外，光源装置100也可以包含照射其他波段的光的未图示的光源。例如，光源装置100也可以包含照射属于蓝色的波段的窄带光即V光的光源。V光是峰值波长在390～445nm范围内的窄带光。在后面叙述关于使用V光的变形实施。

合波部120对LDB、LDG、LDR、LDIR射出的光进行合波，使该合波后的光向光导210入射。合波部120例如由分色镜和透镜等构成。

光源装置100在1次发光时机(timing)，射出B光、G光、R光、IR光中的1个波长或多个波长的光。这里的1次发光时机是与摄像元件240中的1次拍摄对应的时机，表示拍摄的1帧。即，本实施方式的内窥镜系统根据在1次发光时机从光源装置100照射的光，取得1帧的拍摄图像。另外，如后所述，光源的发光并不限定于连续发光，也可以使用脉冲发光。该情况下的1次发光时机包括相当于1帧的时段中的多次脉冲发光。以下，将在该1次发光时机射出的1个波长或多个波长的光称为照明光组。关于照明的详细内容在后面叙述。

插入部200是向体内插入的部分。插入部200包括光导210、照明透镜220、物镜230、摄像元件240和A/D转换电路250。另外，插入部200可以包括存储器260。摄像元件240也称为图像传感器。插入部200具有未图示的连接器，通过该连接器在控制装置300上进行装卸。如上所述，插入部200也可以经由连接线缆与控制装置300连接。

光导210将来自光源装置100的照明光引导至插入部200的前端。照明透镜220将由光导210引导的照明光照射到被摄体。在本实施方式中，被摄体是生物体。来自被摄体的反射光入射到物镜230。通过物镜230使被摄体像成像，摄像元件240对该被摄体像进行拍摄。

摄像元件240包含对被摄体像进行光电转换的多个像素，从该多个像素取得像素信号。摄像元件240例如是通过1次拍摄而得到多种颜色的像素信号的彩色图像传感器。摄像元件240例如包含滤色器阵列，该滤色器阵列具有在蓝色的波段具有感光度的蓝色滤色器、在绿色的波段具有感光度的绿色滤色器、以及在红色的波段具有感光度的红色滤色器。以下，将蓝色、绿色、红色的各滤色器标记为B滤色器、G滤色器、R滤色器。摄像元件240也可以是包含广为人知的拜耳排列的滤色器阵列的元件。但是，摄像元件240的结构并不限定于此，可以是包含RGB各滤色器以不同的排列配置的滤色器阵列的元件，也可以是包含具有补色系滤色器的滤色器阵列的元件。补色系滤色器例如是青色、品红色、黄色的滤色器。

A/D转换电路250将来自摄像元件240的模拟像素信号A/D转换为数字像素信号。另外，A/D转换电路250也可以内置于摄像元件240中。

控制装置300进行包括图像处理的信号处理。另外，控制装置300控制内窥镜系统的各部。控制装置300包括处理部310、控制电路320和存储部330。控制电路320控制内窥镜系统的各部。例如，用户操作外部接口部500来设定显示模式。例如，在进行了显示深度信息作为后述的三维形状信息的显示模式的选择输入的情况下，控制电路320向处理部310输出进行包含深度信息的显示图像的生成处理的指示。处理部310按照来自控制电路320的指示，进行三维形状信息的估计处理以及显示图像的生成处理。存储部330成为处理部310等的工作区域，其功能能够通过RAM(Random Access Memory：随机存取存储器)等存储器、HDD(Hard Disk Drive：硬盘驱动器)等来实现。另外，存储部330也可以如后述那样存储已学习模型。

插入部200的存储器260存储与插入部200相关的信息。控制电路320根据从存储器260读出的信息，控制内窥镜系统的各部。例如，存储器260存储与图像传感器240有关的信息。与摄像元件240相关的信息例如是与摄像元件240的种类有关的信息等。控制电路320根据从存储器260读出的与摄像元件240有关的信息，使处理部310进行与其对应的图像处理。

处理部310通过根据来自A/D转换电路250的像素信号而实施图像处理，从而生成显示图像，并将该显示图像向显示部400输出。显示部400例如是液晶显示装置等，显示来自处理部310的显示图像。另外，如后所述，显示部400也可以是能够显示三维影像的显示装置。

图2是处理部310的详细结构例。处理部310包括图像取得部311、三维形状信息估计部312和显示图像生成部313。

从A/D转换电路250向图像取得部311输入像素信号。图像取得部311基于像素信号取得B图像、G图像、R图像和IR图像。在照射包含B光、G光、R光的白色光时，利用B像素取得的图像是B图像，利用G像素取得的图像是G图像，利用R像素取得的图像是R图像。另外，在照射IR光时，利用对IR光具有感光度的像素取得的图像是IR图像。B像素表示接受透过了上述B滤色器后的光的像素。同样地，G像素是接受透过了G滤色器后的光的像素，R像素是接受透过了R滤色器后的光的像素。

图像取得部311通过将R图像、G图像以及B图像分别输入到彩色图像的R通道、G通道、B通道，生成白色光图像。白色光图像包含与可见光对应的波段的成分。因此，白色光图像包含与作为生物体的被观察体的表面有关的信息和内部的信息这两者。但是，在白色光图像中，与被观察体的表面有关的成分占支配地位，因此白色光图像主要是表示被观察体的表面形状的图像。与此相对，IR图像如上所述包含ICG的荧光成分。ICG具有蓄积在肿瘤等特定部分的特性，因此IR图像中与被检体内部有关的成分占支配地位，主要成为表示来自被观察体的关注部位的发光的图像。考虑到以上的特性的差异，在本实施方式中，将白色光图像标记为表面图像，将IR图像标记为发光图像。

三维形状信息估计部312基于表面图像和发光图像来估计关注部位的三维形状信息。稍后将描述三维形状信息的细节。

显示图像生成部313基于估计的三维形状信息而生成显示图像。关于显示图像的例子，在后面使用图16、图17叙述。显示图像生成部313将所生成的显示图像输出到显示部400。

外部接口部500是用于进行用户对内窥镜系统的输入等的接口。即，是用于操作内窥镜系统的接口、或者用于进行内窥镜系统的动作设定的接口等。例如，包括用于操作内窥镜系统的按钮或拨盘、杆等。

图3是说明本实施方式的内窥镜系统进行的面顺次拍摄的图。如图3所示，光源装置100在第1帧F1射出第1照明光组GR1，在第2帧F2射出第2照明光组GR2，在第3帧F3射出第1照明光组GR1，在第4帧F4射出第2照明光组GR2。帧是摄像元件240进行拍摄的时段，相当于动态图像摄影中的帧。在1个帧内，能够自由地设定照明的发光时机。具体而言，不仅包括连续发光，还包括脉冲发光、与摄像元件的快门时机一致的仅固定区间的发光等。

摄像元件240在第1帧F1及第3帧F3拍摄被照射了第1照明光组GR1的被摄体，在第2帧F2及第4帧F4中拍摄被照射了第2照明光组GR2的被摄体。

处理部310基于在第1帧F1以及第2帧F2拍摄到的图像，生成第1显示图像IM1。另外，处理部310基于在第2帧F2以及第3帧F3拍摄到的图像，生成第2显示图像IM2，并基于在第3帧F3以及第4帧F4拍摄到的图像，生成第3显示图像IM3。显示图像IM1至IM3是动态图像中的帧图像。之后，通过进行同样的动作，拍摄动态图像，并将该动态图像显示于显示部400。

图4、图5是照明光的光谱。图4表示第1照明光组所包含的光的光谱，图5表示第2照明光组所包含的光的光谱。光源装置100射出B光、G光和R光作为图3中的第1照明光组GR1，并且射出IR光作为图3中的第2照明光组GR2。

在射出第1照明光组GR1的帧F1和F3中，图像取得部311生成R图像、G图像和B图像。更具体而言，图像取得部311根据R图像、G图像和B图像生成白色光图像。在射出第2照明光组GR2的帧F2和F4中，图像取得部311生成IR图像。摄像元件240包含对红外光具有感光度的像素。例如，摄像元件240具有R像素以及G像素、B像素，与该R像素对应的R滤色器使红外光透过。在该情况下，基于摄像元件240的R像素的输出，生成IR图像。另外，作为与G像素以及B像素对应的G滤色器、B滤色器，也有使红外光透过的滤色器。在这种情况下，基于成像元件240的R、G和B各像素的输出而生成IR图像。这样，在摄像元件240包含对红外光具有感光度的像素的情况下，在同时照射RGB的各光和IR光的情况下，会发生混色。关于这一点，如图3所示，通过在不同的时机射出第1照明光组GR1和第2照明光组GR2，能够适当地取得白色光图像和IR图像。

但是，在本实施方式中，只要能够取得白色光图像和IR图像即可，摄像元件240的结构和光源装置100的照射时机不限于上述内容。例如，摄像元件240除了R像素和G像素、B像素以外，还可以具有IR像素。在IR像素中设置IR滤色器，IR滤色器几乎不透射780nm的激光，而透射805nm附近的光。在该情况下，通过使B光、G光、R光、IR光同时发光，能够拍摄白色光图像和IR图像。并且，内窥镜系统也可以包含用于拍摄白色光图像的第1摄像元件和用于拍摄IR图像的第2摄像元件。在该情况下，使用棱镜、半透半反镜等将透过了物镜230后的光分离为可见光和红外光。可见光入射到第1摄像元件，红外光入射到第2摄像元件。在该情况下，通过使B光、G光、R光、IR光同时发光，也能够拍摄白色光图像和IR图像。

图6是例示白色光图像的图。图7是例示IR图像的图。白色光图像是表示被观察体的表面构造的表面图像。IR图像是表示存在于被观察体的内部的关注部位的发光图像。IR图像中亮度值高的区域表示荧光的强度高的区域、即ICG的蓄积程度高的区域。在图7中，用白色表示亮度值高的区域。在此，对被观察体为肝脏、关注部位为肝脏内部的肿瘤的例子进行说明。但是，关注部位只要是被观察体的内部的构造即可，并不限定于肿瘤。另外，被观察体也不限定于肝脏，也可以是消化道等其他被摄体。

以往，已知有通过使IR图像中包含的与关注部位有关的信息重叠于白色光图像中来生成重叠图像的方法。图8是重叠图像的例子，用斜线表示进行了基于IR图像的重叠处理后的区域。在此，为了容易理解附图，IR图像中仅亮度值特别高的区域用于重叠处理，但重叠图像的生成处理能够实施各种变形。例如，也可以在将IR图像中的亮度值转换为彩色图像的其他颜色的基础上，进行重叠于白色光图像中的处理。例如在进行IR图像的亮度值越高则绿色越强的强调处理的情况下，在与肿瘤等关注部位有关的区域中绿色的色调变强，因此能够使用户在重叠图像中识别关注部位的信息。

作为医生的用户在重叠图像中估计被观察体中的关注部位的位置和大小，进行针对关注部位的处置。例如，医生使用处置器械进行切除关注部位的处置。这里的处置器械是电子手术刀或钳子等。但是，从图8可知，重叠图像是二维图像。因此，从被观察体的表面到关注部位的深度不明确。以往，医生在IR图像或重叠图像中，根据亮度高的区域或绿色强的区域的宽广度、渗出情况等来估计关注部位的深度，由此设定切除线。因此，深度估计的精度依赖于医生的熟练度，高精度的估计并不容易。在不能高精度地进行深度估计的情况下，为了抑制肿瘤等的切除遗漏，需要设定较宽的切除线，导致正常的部位多成为切除对象。另一方面，如果优先保存正常的部位，则切除遗漏的可能性变高。

另外，已知有通过使用CT(computed tomography：计算机断层扫描)或MRI(Magnetic Resonance Imaging：磁共振成像)来取得包含关注部位的被观察体的三维模型的方法。通过使用该三维模型，医生容易以三维的方式掌握关注部位的深度、形状。但是，使用CT或MRI(Magnetic Resonance Imaging：磁共振成像)的检查需要使用专用的设备来进行。因此，难以在使用内窥镜系统的处置时实时地取得基于CT、MRI的三维模型。需要由医生自己进行基于由内窥镜系统得到的图6～图8等的图像的信息与基于CT等的信息的对应。结果，为了适当地进行切除等处置，医生的经验、技能变得重要。

因此，在本实施方式中，根据由内窥镜系统拍摄到的表面图像和发光图像，估计关注部位的三维信息即三维形状信息。

本实施方式的内窥镜系统包含光源装置100、摄像元件240和处理部310。光源装置100照射照明光。摄像元件240根据照明光，拍摄对被观察体的表面形状进行拍摄而得到的表面图像和对来自存在于被观察体的内部的关注部位的发光进行拍摄而得到的发光图像。处理部310根据表面图像和发光图像，估计表示被观察体的关注部位的深度的深度信息三维形状信息。例如在显示部400上显示估计的三维形状信息。

此处的表面形状并不限定于作为被观察体与外部空间之间的边界面的表面本身的形状，还包括被观察体中的表面附近的区域的形状。例如，本实施方式的表面形状包括距表面的深度为给定的深度阈值以下的区域的形状。

另外，这里的深度信息具体而言是表示从被观察体的表面到关注部位的距离的数值数据。但是，深度信息只要是能够确定深度的信息即可，并不限定于表示距离的数值数据。另外，三维形状信息也可以包含关注部位的形状信息。这里的形状信息例如是表示从给定的视点观察到的关注部位的形状的二维信息。或者，形状信息也可以是二维信息的集合。例如，形状信息也可以是包含从给定的视点观察关注部位的情况下的形状和从不同的视点观察关注部位的情况下的形状的信息。本实施方式的三维形状信息只要是与关注部位有关的三维信息即可，可以是深度信息单体，也可以是深度信息与形状信息的组合。

根据本实施方式，能够根据作为二维图像的表面图像和发光图像，估计与关注部位有关的三维信息。通过使用三维形状信息，与图8所示的以往的重叠图像相比，与关注部位有关的信息量增加，因此能够适当地辅助用户进行的诊断、处置。另外，本实施方式的三维形状信息与通过CT、MRI得到的信息不同，基于由内窥镜系统拍摄的图像来取得。因此，在内窥镜系统的观察或处置中，能够更新三维形状信息。另外，在本实施方式的方法中，也容易进行基于表面图像、发光图像等二维图像的信息与三维形状信息的对应。

另外，光源装置100照射的照明光包括用于拍摄表面图像的第1照明光和用于拍摄发光图像的第2照明光。这里的第1照明光和第2照明光是波长不同的光，狭义上是不属于相同颜色的光。例如，第1照明光是可见光，第2照明光是红外光。或者，在将可见光的波段划分为蓝色、绿色以及红色的情况下，如果第1照明光属于蓝色，则第2照明光属于绿色或者红色。

例如，如图4和图5所示，光源装置100对包含注入到体内的ICG色素的被观察体照射白色光和红外光作为照明光。具体而言，白色光是B光、G光以及R光，红外光是IR光。另外，照射白色光的光源并不限定于光源LDB、LDG、LDR的组合，也可以是组合了规定颜色的LED和荧光体的方式的光源，还可以是LED以外的光源。摄像元件240基于白色光拍摄表面图像，基于红外光拍摄发光图像。即，表面图像是指白色光图像，发光图像是指与ICG的荧光对应的IR图像。

这样，在将容易蓄积ICG的部位作为对象的情况下，能够向用户提示适当的信息。在此，说明关注部位是肝脏的肿瘤或血管的例子，但应用ICG的处置能够扩展到以肾脏、膀胱、前列腺等各种脏器为对象的处置。此外，照明光并不限定于白色光和红外光，能够实施各种变形。例如，已知ICG在照射可见光区域的红色光的情况下也发出荧光，能够将红外光变更为可见光区域的红色光。

另外，本实施方式的方法能够应用于包含取得部和处理部的处理系统。这里的处理系统例如对应于图1的控制装置300。但是，处理系统不限于此，也可以是经由网络与内窥镜系统连接的服务器系统，也可以通过云计算来实现。另外，也可以通过控制装置300与服务器系统等设备的分布处理来实现处理系统。

取得部取得对被观察体的表面形状进行拍摄而得到的表面图像和对存在于所述被观察体的内部的关注部位进行拍摄而得到的发光图像。取得部是用于取得摄像元件240拍摄到的图像的图像传送接口、通信接口等。处理部根据表面图像和发光图像，估计三维形状信息，其中所述三维形状信息包含表示从被观察体的表面到关注部位的深度的深度信息、和表示关注部位的形状的形状信息中的至少一方。这里的处理部可以是图1所示的处理部310，也可以是服务器系统等处理器。

这样，在各种方式的装置中，能够进行基于表面图像以及发光图像的三维形状信息的估计。例如，通过使用云计算使估计处理高速化、高精度化，能够对用户提示更适当的信息等。

并且，本实施方式的方法能够应用于内窥镜系统的工作方法。在内窥镜系统的工作方法中，照射照明光，基于照明光，拍摄对被观察体的表面形状进行拍摄而得到的表面图像和对来自存在于被观察体的内部的关注部位的发光进行拍摄而得到的发光图像，基于表面图像及发光图像，估计包含深度信息的三维形状信息，其中所述深度信息表示被观察体的关注部位的深度。

此外，本实施方式的控制装置300也可以如以下那样构成。即，处理部310和控制电路320分别由下述的硬件构成。另外，处理部(处理电路)310和控制电路320也可以由下述的硬件构成为一体。硬件可以包括处理数字信号的电路和处理模拟信号的电路中的至少一方。例如，硬件能够由安装于电路基板的1个或多个电路装置、1个或多个电路元件构成。1个或多个电路装置例如是IC等。1个或多个电路元件例如是电阻、电容器等。

此外，处理部310和控制电路320也可以分别通过下述的处理器来实现。此外，处理部310和控制电路320也可以由1个处理器实现。即，本实施方式的控制装置300包括存储信息的存储器和基于存储于存储器中的信息进行工作的处理器。这里的存储器例如是存储部330。信息例如是程序和各种数据等。处理器包括硬件。处理器通过控制光源装置100来照射照明光。处理器通过控制摄像元件240，来拍摄对被观察体的表面形状进行拍摄而得到的表面图像和对存在于被观察体的内部的关注部位进行拍摄而得到的发光图像。处理器基于表面图像以及发光图像，估计包含深度信息以及形状信息的三维形状信息，其中所述深度信息表示从被观察体的表面到关注部位的深度，所述形状信息表示关注部位的形状。而且，处理器通过控制显示部400，进行显示估计出的三维形状信息的处理。

处理器例如可以是CPU(Central Processing Unit：中央处理单元)。但是，处理器并不限定于CPU，能够使用GPU(Graphics Processing Unit：图形处理单元)或者DSP(Digital Signal Processor：数字信号处理器)等各种处理器。存储器可以是SRAM、DRAM等半导体存储器，也可以是寄存器，也可以是硬盘装置等磁存储装置，还可以是光盘装置等光学式存储装置。例如，存储器存储能够由计算机读取的命令，通过由处理器执行该命令，将控制装置300的各部的功能作为处理而实现。这里的命令可以是构成程序的命令集的命令，也可以是对处理器的硬件电路指示动作的命令。例如，处理器在图1中实现处理部310的功能。或者，处理器在图1中实现处理部310以及控制电路320的功能。

另外，本实施方式的内窥镜系统的各部也可以作为在处理器上工作的程序的模块来实现。例如，程序包括：图像取得模块，其取得对被观察体的表面形状进行拍摄而得到的表面图像和对来自存在于被观察体的内部的关注部位的发光进行拍摄而得到的发光图像；以及处理模块，其根据表面图像和发光图像，估计包含表示被观察体的关注部位的深度的深度信息的三维形状信息。

另外，实现本实施方式的控制装置300的各部所进行的处理的程序例如能够储存于作为能够由计算机读取的装置的信息存储装置中。信息存储装置例如能够通过光盘、存储卡、HDD、或者非易失性存储器、RAM等半导体存储器等来实现。处理部310和控制电路320根据存储在信息存储装置中的程序和数据进行本实施方式的各种处理。即，在信息存储装置中存储用于使计算机作为本实施方式的内窥镜系统的各部发挥功能的程序。计算机是具备输入装置以及处理部、存储部、输出部的装置。程序是用于使计算机执行各部的处理的程序。

2.基于表面图像和发光图像的三维形状信息的估计处理

接下来，将描述估计三维形状信息的处理。以下，分别对使用几何计算的方法和使用机器学习的方法进行说明。

2.1基于参数的深度信息估计

根据照射光的波长，决定在生物体中能够到达的深度。例如在IR光的情况下，波长相对较长、血红蛋白的吸收程度相对较低等成为主要原因，与可见光相比能够到达生物体的较深的位置。在肿瘤等关注部位存在于能够到达的深度内的情况下，聚集于该关注部位的ICG发出荧光。处理部310将IR图像中亮度值为规定阈值以上的区域检测为关注部位。

此时，IR图像的特性根据关注部位的深度而不同。例如，在关注部位位于深的位置的情况下，关注部位的周缘区域中的渗出程度大。渗出程度大表示与关注部位的中央区域相比亮度小的区域的尺寸大。换言之，在关注部位与其以外的区域之间的边界部分，在亮度值的梯度小的情况下，判定为渗出程度大。

另外，关于关注部位的整体中的亮度，在关注部位位于较深的位置的情况下，与位于较浅的位置的情况相比亮度变小。整体中的亮度是表示关注部位的亮度的概略倾向的信息，例如可以是关注部位整体中的亮度的平均值等，也可以是亮度的最大值。或者，也可以将关注部位的一部分区域的亮度的平均值等用作整体中的亮度。一部分区域例如是中央区域。以下，将关注部位的整体中的亮度表述为整体亮度。

如上所述，能够将关注部位的渗出程度和整体亮度用作与关注部位的深度相关的参数。另外，由于关注部位能够存在的深度如上述那样依赖于照明光的波长，所以也能够将该波长作为与深度关联的参数来利用。因此，处理部310基于这些参数估计深度信息作为三维形状信息。

例如，内窥镜系统存储表数据，其中所述表数据将给定的肿瘤的深度与拍摄该肿瘤时的照明光的波长、通过该照明光拍摄到的发光图像中的渗出程度、整体亮度建立了对应。可以使用摘出的生物体来测量肿瘤的深度，也可以使用由熟练的医生输入的值。

处理部310进行根据发光图像求出渗出程度和整体亮度的处理。而且，进行将用于拍摄发光图像的照明光的波长、求出的渗出程度和整体亮度、以及表数据进行比较的处理。例如，处理部310进行从表数据中搜索波长、渗出程度以及整体亮度类似的数据的处理。而且，将与判定为最类似的数据对应的深度设为关注部位的深度。

或者，也可以预先求出基于参数来运算深度信息的函数。这里的函数例如是通过对基于照明光的波长设定的基准深度进行基于渗出程度和整体亮度的校正处理来输出深度信息的函数。处理部310通过将照明光的波长、根据发光图像求出的渗出程度以及整体亮度输入到该函数，进行求出关注部位的深度信息的处理。

但是，在使用发光图像的处理中，能够设想关注部位存在于距生物体表面深度为几mm的位置，但成为深度的基准的生物体表面的位置不明。关于这一点，通过组合发光图像和表面图像，能够适当地估计成为深度的基准的生物体表面。即，能够根据表面图像和发光图像来估计被观察体的关注部位的深度信息。

2.2基于视点信息的几何计算

摄像元件240拍摄第1表面图像和第1发光图像作为第1视点下的表面图像和发光图像，拍摄第2表面图像和第2发光图像作为与第1视点不同的第2视点下的表面图像和发光图像。而且，处理部310可以基于第1表面图像、第1发光图像、第2表面图像和第2发光图像来估计三维形状信息。

这样，通过使用从多个视点拍摄到的表面图像和发光图像，能够高精度地估计与关注部位有关的三维形状信息。例如，仅根据在1个视点拍摄到的二维图像，能够确定连结摄像元件240和被摄体的方向，但无法确定具体的距离。关于这一点，在使用多个视点的情况下，能够确定被摄体的具体的三维位置。例如，本实施方式的内窥镜系统具有包含多个摄像光学系统和摄像元件240的多镜头照相机。此外，在此，为了便于说明，对视点为2个的例子进行说明，但只要是本领域技术人员，就能够容易地理解视点也可以为3个以上。

图9是说明基于视点不同的多个二维图像，估计在该二维图像中拍摄的被摄体的三维位置的方法的示意图。具体而言，图9的四棱锥是底面为长方形、从顶点O1向底面的垂线成为该长方形的重心的直锥。在图9中，四角锥的顶点O1表示第1视点，从O1向底面的垂线表示摄像光学系统的光轴。另外，根据摄像光学系统的视场角来决定四角锥的形状，四角锥的底面与拍摄图像对应。在从视点O1拍摄存在于空间中的对象OB的情况下，对象OB的点T被拍摄于与交点P1对应的图像上位置，其中所述交点P1是连结O1和T的线段与四角锥的底面的交点。同样地，在从视点O2进行拍摄的情况下，对象OB的点T被拍摄于与交点P2对应的图像上位置。

如图9所示，如果能够确定视点O1以及O2、和拍摄了对象OB上的1点T而得到的图像上的位置P1以及P2，则能够确定点T的三维的位置。具体而言，通过O1及P1的直线L1与通过O2及P2的直线L2的交点成为点T的坐标。

通过以上的处理，求出被摄体上的1个点的三维位置。通过对被摄体上的其他点也重复上述处理，能够对被摄体的多个点求出三维位置。

图10是用于说明三维形状信息估计部312中的处理的流程图。首先，在步骤S101中，三维形状信息估计部312从图像中提取特征点。具体而言，从第1表面图像和第2表面图像提取对应的特征点。例如使用SIFT(Scale-Invariant Feature Transform：尺度不变特征转换)来进行特征点的提取。例如，在步骤S101中，三维形状信息估计部312执行从第1表面图像提取特征点的处理、从第2表面图像提取特征点的处理、以及执行特征点的匹配的处理。由此，能够确定被观察体表面的给定的位置在第1表面图像和第2表面图像中分别被拍摄于哪个图像上位置。同样地，三维形状信息估计部312从第1发光图像和第2发光图像中提取对应的特征点。

接下来，在步骤S102中，三维形状信息估计部312取得视点信息。这里的视点信息是指确定第1视点以及第2视点的信息，具体而言是确定插入部200的前端的位置以及姿势的信息。例如通过由X轴、Y轴以及Z轴规定的XYZ空间的各轴的坐标值(x，y，z)来表现插入部200的前端的位置。通过表示当前的姿势相对于给定的基准姿势绕XYZ的各轴旋转了多少的角度(u，v，w)来表现插入部200的前端的姿势。

例如使用磁信息来进行步骤S102中的处理。例如在插入部200的前端设置磁线圈单元，通过外部天线来检测该线圈单元，由此求出插入部200的前端的位置姿势。例如，三维形状信息估计部312通过在图3中的帧F1和F2之间的时段中获取来自外部天线的信号来确定视点信息，并且执行将该视点信息与在F1拍摄的表面图像和在F2拍摄的发光图像对应起来的处理。同样地，三维形状信息估计部312通过在帧F3和F4之间的时段中获取来自外部天线的信号来确定视点信息，并且执行将该视点信息与在F3拍摄的表面图像和在F4拍摄的发光图像对应起来的处理。但是，能够对确定视点信息的时机、频度实施各种变形。

或者，也可以基于图像信息来求出视点信息。这里的图像可以使用表面图像和发光图像中的任意一个，但如果考虑处理精度，则优选使用作为彩色图像的白色光图像、即表面图像。如使用图9说明的那样，O1、O2、P1、P2之间存在相关性。即，如果确定了在第1表面图像中给定的被摄体被拍摄到的点P1和在第2表面图像中相同的被摄体被拍摄到的点P2，则能够确定从O1向O2的变化、即位置姿势的变化。因此，三维形状信息估计部312基于在步骤S101中提取的第1表面图像上的特征点在第2表面图像中如何移动，来估计第2视点相对于第1视点的变化量。例如，三维形状信息估计部312基于在图3的帧F1和F3中取得的2个表面图像来确定视点信息，进行将该视点信息与在F1中拍摄的表面图像和在F2中拍摄的发光图像对应起来的处理。同样地，三维形状信息估计部312基于在帧F3、和在帧F4的下一帧即F5中取得的2个表面图像来确定视点信息，进行将该视点信息与在F3中拍摄的表面图像和在F4中拍摄的发光图像对应起来的处理。在该情况下，也能够对确定视点信息的时机、频度实施各种变形。

在本实施方式中，只要能够确定包含第1视点以及第2视点的视点信息即可，既可以使用磁信息，也可以使用图像信息，还可以使用其他信息。

通过步骤S101以及S102的处理，确定了图9中的O1、O2、P1、P2。因此，在步骤S103中，三维形状信息估计部312基于视点信息和相对应的特征点来估计被摄体的三维位置。具体地，三维形状信息估计部312基于第1表面图像和第2表面图像求出在表面图像中拍摄的被摄体，即被观察体的表面的三维位置。同样地，三维形状信息估计部312根据第1发光图像和第2发光图像，求出被观察体内部的关注部位的三维位置。通过使用被观察体表面和关注部位这两者的三维位置，能够生成能够掌握被观察体表面与关注部位的位置关系的三维形状信息。

三维形状信息估计部312根据上述几何计算求出被观察体的表面的代表点的坐标和关注部位的代表点的坐标，根据该2个坐标运算深度信息。例如，三维形状信息估计部312求出2个坐标之间的欧几里得距离作为深度信息。在该情况下，作为基于多个视点的表面图像的几何计算，进行求出1个点的三维坐标的运算即可。同样地，作为基于多个视点的发光图像的几何计算，进行求出关注部位上的1个点的三维坐标的运算。另外，也可以针对被观察体的表面以及关注部位分别求出多个代表点的坐标，通过求出该代表点间的距离的平均值等来运算深度信息。

如上所述，处理部310进行确定第1视点以及第2视点的处理。处理部310根据使用了所确定的第1视点及第2视点、第1表面图像和第2表面图像的几何计算，估计被观察体的表面的三维信息(位置)，根据使用了所确定的第1视点及第2视点、第1发光图像和第2发光图像的几何计算，估计关注部位的三维信息。而且，处理部310基于估计结果来求出三维形状信息。通过取得多个视点的拍摄图像，并且求出表示该视点的视点信息，能够适当地运算被观察体的表面与关注部位的关系。

2.3机器学习

另外，在基于表面图像以及发光图像的三维形状信息的估计处理中，也可以使用机器学习。通过使用机器学习，能够高精度地执行基于二维图像的三维形状信息的估计处理。以下，对学习处理以及使用了已学习模型的推论处理进行说明。另外，以下对使用神经网络的机器学习进行说明，但本实施方式的方法并不限定于此。在本实施方式中，例如可以进行使用了SVM(support vector machine：支持向量机)等其他模型的机器学习，也可以进行使用使神经网络、SVM等各种方法发展的方法的机器学习。

2.3.1学习处理

图11是表示本实施方式的学习装置600的结构例的图。学习装置600包括：取得部610，其取得用于学习的训练数据；以及学习部620，其根据该训练数据进行机器学习。

取得部610例如是从其他装置取得训练数据的通信接口。或者，取得部610也可以取得学习装置600所保持的训练数据。例如，学习装置600包括未图示的存储部，取得部610是用于从该存储部读出训练数据的接口。本实施方式中的学习例如是有教师学习。有教师学习中的训练数据是将输入数据与正解标签对应起来的数据集。学习部620进行基于取得部610取得的训练数据的机器学习，生成已学习模型。

图11所示的学习装置600例如包含在与内窥镜系统不同的处理装置中。处理装置可以是PC(Personal Computer：个人计算机)，也可以是服务器系统。处理装置进行将通过学习处理生成的已学习模型发送到内窥镜系统的处理。另外，学习装置600也可以包含在内窥镜系统中。

图12是说明神经网络的示意图。神经网络具有输入数据的输入层、基于来自输入层的输出而进行运算的中间层、以及基于来自中间层的输出而输出数据的输出层。在图12中，例示了中间层为2层的网络，但中间层可以是1层，也可以是3层以上。另外，各层所包含的节点(神经元)的数量并不限定于图12的例子，能够实施各种变形。另外，若考虑精度，则本实施方式的学习优选使用利用了多层神经网络的深层学习(深度学习)。此处的多层狭义上为4层以上。

如图12所示，给定的层所包含的节点与相邻的层的节点结合。对各结合设定权重。例如，在使用给定的层所包含的各节点与下一层的全部节点连接的全结合的神经网络的情况下，该2个层之间的权重成为给定的层所包含的节点数与下一层所包含的节点数相乘而得到的值的集合。各节点将前级的节点的输出与权重相乘，求出相乘结果的合计值。进而，各节点对合计值加上偏置，对相加结果应用激活函数，由此求出该节点的输出。作为激活函数，已知ReLU函数。但是，已知激活函数能够利用各种函数，可以使用S形(Sigmoid)函数，也可以使用对ReLU函数进行了改良的函数，还可以使用其他函数。

通过从输入层朝向输出层依次执行以上的处理，求出神经网络的输出。神经网络中的学习是决定适当的权重(包含偏置)的处理。作为具体的学习方法，已知有误差反向传播法等各种方法，在本实施方式中能够广泛地应用这些方法。另外，由于误差反向传播法是公知的，因此省略详细的说明。

但是，神经网络不限于图12所示的结构。例如，在学习处理以及推论处理中，也可以使用卷积神经网络(CNN：Convolutional Neural Network)。CNN例如包含进行卷积运算的卷积层和池化层。卷积层是进行滤波处理的层。池化层是进行缩小纵向、横向的尺寸的池化运算的层。CNN的卷积层中的权重是滤色器的参数。也就是说，CNN中的学习包括用于卷积运算的滤色器特性的学习。

图13是说明本实施方式的机器学习中的输入输出的图。如图13所示，本实施方式的神经网络接受第1～第n表面图像和第1～第n发光图像作为输入。在此，n为1以上的整数。另外，神经网络输出三维形状信息。本实施方式中的训练数据是对第1～第n表面图像以及第1～第n发光图像赋予了根据该2×n张图像而应该生成的正确的三维形状信息作为正解标签的数据集。三维形状信息是关注部位的深度信息。例如，在根据摘出的生物体而生成正解标签的情况下，能够通过测量从被观察体的表面到关注部位的深度来生成正解标签。另外，也可以将熟练的医生基于表面图像以及发光图像而估计出的深度信息作为正解标签。在该情况下，能够将该熟练的医生所具有的隐式知识AI(artificial intelligence)化。

在学习处理中，首先向神经网络输入输入数据，使用此时的权重进行正向的运算，由此取得输出数据。在本实施方式中，输入数据是n张表面图像以及n张发光图像。通过正向的运算求出的输出数据例如是上述的深度信息。

学习部620基于求出的输出数据和正解标签来运算误差函数(损失函数)。例如，误差函数是基于作为输出数据的深度信息与作为正解标签而被赋予的深度信息之间的差分的函数。学习部620向由误差函数表示的误差变小的方向更新权重。另外，已知有各种形式的误差函数，在本实施方式中能够广泛地应用这些误差函数。另外，例如使用误差反向传播法来进行权重的更新，但也可以使用其他方法。

以上是基于由第1～第n表面图像、第1～第n发光图像、以及作为正解标签的深度信息构成的1组数据集的学习处理的概要。在学习处理中，准备多个数据集，通过重复上述处理来学习适当的权重。例如，在学习阶段中，通过进行使用具有与本实施方式相同的结构的内窥镜系统的拍摄和处置，来拍摄第1～第m表面图像和第1～第m发光图像。其中m>n。在这种情况下，学习部620通过将m张表面图像和m张发光图像分别划分为各n张图像来生成多个图像集。而且，通过对各图像集赋予作为正解标签的深度信息，生成大量的数据集。

图14是说明学习装置600中的处理的流程图。当开始该处理时，在步骤S301和S302中，学习装置600的取得部610取得作为白色光图像的学习用表面图像和作为IR图像的学习用发光图像。另外，在步骤S303中，取得部610取得与学习用表面图像和学习用发光图像对应的深度信息作为正解标签。

接着，在步骤S304中，学习部620根据所取得的训练数据进行学习处理。步骤S304的处理例如是基于1组数据集，对各处理，即正向的运算、误差函数的计算、基于误差函数的权重的更新进行1次处理。接着，在步骤S305中，学习部620判定是否结束机器学习。例如，学习部620将所取得的大量数据集划分为训练数据和验证数据。而且，学习部620针对通过基于训练数据进行学习处理而取得的已学习模型，通过进行使用验证数据的处理来判定精度。验证数据与作为正解标签的深度信息建立了对应，因此学习部620能够判定基于已学习模型估计出的深度信息是否为正解。这里的正解表示估计出的深度信息充分接近作为正解标签的深度信息。在针对验证数据的正确率为规定阈值以上的情况下，学习部620判定为结束学习(S305：是)，结束处理。或者，学习部620也可以在执行了预定次数的S304所示的处理的情况下，判定为结束学习。通过学习处理生成的已学习模型存储于内窥镜系统的存储部330中。

2.3.2推论处理

本实施方式中的内窥镜系统进行使用已学习模型的推论处理。具体而言，内窥镜系统的处理部310从存储部330读出已学习模型，进行遵照该已学习模型的运算，由此进行估计三维形状信息的处理。

另外，已学习模型被用作作为人工智能软件的一部分的程序模块。处理部310按照来自存储部330中存储的已学习模型的指令，输出表示与作为输入的表面图像和发光图像对应的三维形状信息的数据。

遵照已学习模型的处理部310中的运算、即用于基于输入数据而输出输出数据的运算既可以通过软件来执行，也可以通过硬件来执行。换言之，CNN中的卷积运算等也可以通过软件来执行。或者，上述运算也可以通过FPGA(field-programmable gate array：现场可编程门阵列)等电路装置来执行。另外，上述运算也可以通过软件和硬件的组合来执行。这样，能够通过各种方式来实现按照来自存储于存储部330中的已学习模型的指令的处理部310的动作。例如，已学习模型包含推论算法和在该推论算法中使用的参数。推论算法是基于输入数据进行积和运算、卷积运算等的算法。参数是通过学习处理取得的参数，例如是神经网络的权重。在这种情况下，可以将推论算法和参数两者存储在存储部330中，并且处理部310可以通过读出推论算法和参数而以软件方式执行推论处理。或者，也可以通过FPGA等来实现推论算法，存储部330存储参数。

图15是说明处理部310中的推论处理的流程图。当该处理开始时，在步骤S401和S402中，图像取得部311取得作为白色光图像的表面图像和作为IR图像的发光图像。然后，在步骤S403中，处理部310按照来自存储在存储部330中的已学习模型的指令进行动作，由此进行估计关注部位的三维形状信息的处理。具体而言，处理部310将n张表面图像、n张发光图像作为输入数据进行神经网络运算。

如上所述，本实施方式的内窥镜系统也可以包括存储已学习模型的存储部330。已学习模型基于对拍摄被观察体的表面形状而得到的学习用表面图像、以及拍摄关注部位而得到的学习用发光图像赋予了与三维形状信息对应的正解标签的数据集来进行机器学习。而且，处理部310根据摄像元件240拍摄到的表面图像和发光图像以及已学习模型，估计三维形状信息。

这样，能够基于已学习模型来估计基于表面图像以及发光图像的三维形状信息。通过使用大量的训练数据进行机器学习，能够高精度地执行使用已学习模型的处理。

此外，已学习模型也可以基于对在不同的多个视点下拍摄到的多个学习用表面图像、以及在不同的多个视点下拍摄到的多个学习用发光图像赋予了正解标签的数据集来进行机器学习。在该情况下，内窥镜系统的摄像元件240拍摄第1表面图像和第1发光图像作为第1视点下的表面图像和发光图像，拍摄第2表面图像和第2发光图像作为与第1视点不同的第2视点下的表面图像和发光图像。而且，处理部310基于第1表面图像、第1发光图像、第2表面图像以及第2发光图像和已学习模型，估计三维形状信息。即，上述的n也可以是2以上的整数。

如上面使用图9所述的那样，在基于二维图像估计三维形状时，使用视点不同的多个图像是有用的。即使在使用机器学习的情况下，通过使用视点不同的多个表面图像和发光图像作为输入数据，也能够提高三维形状信息的估计精度。

但是，在机器学习的领域中，已知有根据1张二维图像来估计三维形状的方法。换言之，能够通过机器学习来补充在二维图像中缺失的进深方向的信息。因此，本实施方式的机器学习中的输入数据也可以是1张表面图像以及1张发光图像。即，上述的n也可以是1。这样，能够根据较少张数的图像来估计三维形状信息。由于在估计三维形状信息时不需要累积大量图像，并且还减轻了估计处理的负荷，因此能够高速地输出三维形状信息。

2.3.3机器学习的变形例

如图13所示，机器学习中的输入数据是1个或多个表面图像、以及1个或多个发光图像。但是，输入数据并不限定于此，能够追加其他数据。

已学习模型也可以基于对学习用表面图像、学习用发光图像以及附加信息赋予了正解标签的数据集来进行机器学习。处理部310获取表面图像、发光图像和附加信息，并且基于所获取的表面图像、发光图像和附加信息以及已学习模型来估计三维形状信息。这样，通过进行使用了附加信息的机器学习，能够提高三维形状信息的估计精度。

这里的附加信息例如是与光源装置100有关的照明信息。照明信息包括光谱信息、光量信息、发光时机信息、发光时段信息、配光信息。光谱信息如图4、图5所示，是表示照明光的光谱的信息。光量信息是确定各照明光的照射强度的信息。发光时机信息是确定各光源的发光时机的信息。发光时段信息是确定各光源发光的时段或者各光源不发光的时段的信息。配光信息是确定相对于各光源的方向的照射强度的信息，例如是配光曲线等。通过使用照明信息，能够进行考虑了光源装置100的具体结构的机器学习。

另外，附加信息也可以是与摄像元件240有关的拍摄信息。拍摄信息包含感光度信息、视场角信息、光圈值信息、倍率信息、分辨率信息、像素数信息。感光度信息是表示摄像元件的感光度的信息，例如是将波段与感光度对应起来的信息。视场角信息是确定摄像光学系统的视场角的信息。光圈值信息是用于确定摄像光学系统的F值的信息。倍率信息是指确定摄像光学系统中包含的透镜、具体而言是物镜230的倍率的信息。分辨率信息是指确定摄像元件240的分辨率的信息，例如是表示每规定长度的像素数的信息。像素数信息是确定摄像元件的像素数的信息，例如是纵向的像素数和横向的像素数。通过使用拍摄信息，能够进行考虑了包含摄像元件240的摄像光学系统的具体结构的机器学习。

另外，附加信息可以是与被观察体有关的被观察体信息。被观察体信息包含年龄信息、性别信息、病历信息、体温信息、过去取得的观察图像信息、观察部位信息。年龄信息、性别信息、病历信息、体温信息分别是表示成为诊断以及处置的对象的患者的年龄、性别、病历、体温的信息。病历信息例如包含确定该患者过去患有的疾病的信息、确定患该疾病的时间的信息。另外，被观察体信息也可以包含患者的血压、血液检查结果等与患者相关的其他观测数据。过去取得的观察图像信息是在过去对患者进行的处置中取得的图像，例如包含由内窥镜系统拍摄到的表面图像、发光图像。观察部位信息是确定成为观察对象的部位、例如脏器等的信息。通过使用被观察体信息，能够进行考虑了与患者有关的详细信息的机器学习。

此外，以上描述了将机器学习应用于基于表面图像和发光图像来估计三维形状信息的全部处理的示例。但是，基于机器学习的处理并不限定于此。例如，如使用图10所述的那样，使用几何计算的处理包括确定视点的处理和基于所确定的视点生成三维形状信息的处理这2个。在本实施方式中，也可以对该处理的任意一方应用机器学习。

例如，已学习模型基于对包含表面图像以及发光图像的输入数据赋予了视点信息作为正解标签的数据集来进行机器学习。在这种情况下，三维形状信息估计部312获取表面图像和发光图像，并且基于所获取的表面图像以及发光图像和已学习模型来执行估计视点信息的处理。通过对至少2组表面图像和发光图像进行该处理，取得第1表面图像、第1发光图像、第2表面图像、第2发光图像和表示第1视点及第2视点的视点信息。三维形状信息估计部312通过基于所获取的信息来执行图9所示的几何计算，从而估计三维形状信息。

或者，三维形状信息估计部312也可以基于第1表面图像、第1发光图像、第2表面图像、第2发光图像，基于几何计算来估计视点信息。而且，三维形状信息估计部312基于包括表面图像、发光图像和视点信息的输入数据、以及已学习模型来估计三维形状信息。通过输入视点信息，能够进行包含从哪个方向拍摄表面图像和发光图像的机器学习，因此能够提高三维形状信息的估计精度。此外，如上所述，可以基于磁信息来获得视点信息。

如上所述，可以基于几何计算来进行本实施方式中的三维形状信息的估计，也可以基于机器学习来进行，还可以基于几何计算与机器学习的组合来进行。

3.显示处理

如上所述，本实施方式的内窥镜系统包括显示部400，处理部310进行将估计出的三维形状信息显示于显示部400的处理。

如上所述，在进行针对关注部位的切除等处置的情况下，从被观察体的表面到关注部位的深度是重要的。因此，处理部310可以在显示部400上显示深度信息。

图16是显示深度信息的显示画面的例子。显示部400显示对基于表面图像或发光图像的显示图像附加了由深度信息表示的深度后的图像。在图16中，示出了基于表面图像或发光图像的显示图像是与图8同样的重叠图像的例子，但显示图像既可以是表面图像，也可以是发光图像。另外，在图16中示出了在画面的右上方显示“深度xx mm”(xx是具体的数值)这样的文本的例子，但具体的显示设计并不限定于此。通过这样显示深度信息，能够适当地辅助用户的诊断、处置。

此外，处理部310可以基于三维形状信息来生成用于支援用户对关注部位的处置的支援信息。显示部400显示该支援信息。这样，能够适当地辅助用户进行的诊断、处置。

图17是显示支援信息的显示画面的例子。如图17所示，支援信息也可以是表示切除关注部位时的切除位置的信息。而且，显示部400在显示图像中显示以能够识别切除位置的方式显示的图像。在图17中，示出了显示图像是重叠图像，切除位置用虚线显示的例子。这样，用户通过沿着由支援信息表示的切除位置进行切除，能够容易地执行处置。因此，能够抑制发生肿瘤等的切除遗漏的情况以及过度地切除正常的部位的情况。

或者，处理部310也可以进行检测作为用户的处置的对象的处置对象位置的处理，根据处置对象位置，生成警报信息作为支援信息。例如，警报信息是警告发生了肿瘤等的切除遗漏的信息。警报信息可以是表示警告的文本信息，也可以是图像信息。此外，也可以与显示警报信息一起，还利用由扬声器实施的声音的输出、或由LED等发光部实施的发光来实施警告。处理部310根据表面图像或磁信息等检测电子手术刀等处置器械的位置，由此判定实际进行了切除的位置。而且，在基于关注部位的三维形状信息与进行了切除的位置的比较处理而判定为存在切除遗漏的情况下，进行警报信息的生成、显示。这样，能够适当地辅助用户的诊断、处置。此外，警报信息既可以是警告过度地切除了正常的部位的信息，也可以是其他信息。

此外，如上述那样对本实施方式进行了详细说明，但本领域技术人员能够容易地理解，能够进行实质上不脱离本实施方式的新事项以及效果的多种变形。因此，这样的变形例全部包含在本公开的范围内。例如，在说明书或附图中，对于至少一次与更广义或同义的不同用语一起记载的用语，在说明书或附图的任何位置都能够置换为该不同用语。另外，本实施方式以及变形例的全部组合也包含于本公开的范围。另外，内窥镜系统、处理系统等的结构和动作等也不限于本实施方式中说明的内容，能够实施各种变形。

标号说明

F1～F4…帧、GR1…第1照明光组、GR2…第2照明光组、IM1～IM3…显示图像、LDB、LDG、LDR、LDIR…光源、OB…对象、P1、P2…交点、100…光源装置、120…合波部、200…插入部、210…光导、220…照明透镜、230…物镜、240…摄像元件、250…A/D转换电路、260…存储器、300…控制装置、310…处理部、311…图像取得部、312…三维形状信息估计部、313…显示图像生成部、320…控制电路、330…存储部、400…显示部、500…外部接口部、600…学习装置、610…取得部、620…学习部。

Claims (14)

1.一种内窥镜系统，其特征在于，所述内窥镜系统包括：

光源装置，其照射照明光；

摄像元件，其根据所述照明光，拍摄表面图像和发光图像，其中所述表面图像是对被观察体的表面形状进行拍摄而得到的图像，所述发光图像是对来自存在于所述被观察体的内部的关注部位的发光进行拍摄而得到的图像；以及

处理部，其基于所述表面图像和所述发光图像，估计包含深度信息的三维形状信息，其中所述深度信息表示所述被观察体的所述关注部位的深度。

2.根据权利要求1所述的内窥镜系统，其特征在于，

所述光源装置对含有被注入体内的ICG(吲哚菁绿)色素的所述被观察体照射白色光及红外光作为所述照明光，

所述摄像元件基于所述白色光来拍摄所述表面图像，基于所述红外光来拍摄所述发光图像。

3.根据权利要求1所述的内窥镜系统，其特征在于，

所述摄像元件拍摄第1表面图像和第1发光图像作为第1视点下的所述表面图像和所述发光图像，拍摄第2表面图像和第2发光图像作为与所述第1视点不同的第2视点下的所述表面图像和所述发光图像，

所述处理部根据所述第1表面图像、所述第1发光图像、所述第2表面图像以及所述第2发光图像，估计所述三维形状信息。

4.根据权利要求3所述的内窥镜系统，其特征在于，

所述处理部进行确定所述第1视点以及所述第2视点的处理，

所述处理部根据使用所确定的所述第1视点以及所述第2视点、所述第1表面图像、所述第2表面图像的几何计算，估计所述被观察体的表面的三维信息，

所述处理部根据使用所确定的所述第1视点以及所述第2视点、所述第1发光图像、所述第2发光图像的几何计算，估计所述关注部位的三维信息，

所述处理部根据估计结果求出所述三维形状信息。

5.根据权利要求1所述的内窥镜系统，其特征在于，

所述内窥镜系统具备存储部，所述存储部存储已学习模型，

所述已学习模型已经基于数据集进行了机器学习，其中所述数据集是对拍摄所述被观察体的所述表面形状而得到的学习用表面图像、以及拍摄所述关注部位而得到的学习用发光图像赋予了与所述三维形状信息对应的正解标签而得到的数据集，

所述处理部根据所述摄像元件拍摄的所述表面图像和所述发光图像以及所述已学习模型，估计所述三维形状信息。

6.根据权利要求5所述的内窥镜系统，其特征在于，

所述已学习模型已经基于如下的所述数据集进行了机器学习：所述所述数据集是对在不同的多个视点下拍摄的多个所述学习用表面图像、以及在所述不同的多个视点下拍摄的多个所述学习用发光图像赋予了所述正解标签而得到的数据集，

所述摄像元件拍摄第1表面图像和第1发光图像作为第1视点下的所述表面图像和所述发光图像，拍摄第2表面图像和第2发光图像作为与所述第1视点不同的第2视点下的所述表面图像和所述发光图像，

所述处理部根据所述第1表面图像、所述第1发光图像、所述第2表面图像、所述第2发光图像和所述已学习模型，估计所述三维形状信息。

7.根据权利要求5所述的内窥镜系统，其特征在于，

所述已学习模型已经基于如下的所述数据集进行了机器学习：所述数据集是对所述学习用表面图像、所述学习用发光图像以及附加信息赋予了所述正解标签而得到的数据集，

所述处理部取得所述表面图像、所述发光图像和所述附加信息，并且基于所取得的所述表面图像、所述发光图像和所述附加信息、以及所述已学习模型来估计所述三维形状信息，

所述附加信息包含与所述光源装置有关的照明信息、与所述摄像元件有关的拍摄信息以及与所述被观察体有关的被观察体信息中的至少1个。

8.根据权利要求1所述的内窥镜系统，其特征在于，

所述内窥镜系统包括显示部，所述显示部显示对显示图像附加了由所述深度信息表示的所述深度而得到的图像，其中所述显示图像是基于所述表面图像和所述发光图像中的至少一方的显示图像。

9.根据权利要求1所述的内窥镜系统，其特征在于，

所述内窥镜系统具备显示部，

所述处理部基于所述三维形状信息生成用于支援用户对所述关注部位的处置的支援信息，

所述显示部显示所述支援信息。

10.根据权利要求9所述的内窥镜系统，其特征在于，

所述支援信息是表示切除所述关注部位时的切除位置的信息，

所述显示部在基于所述表面图像和所述发光图像中的至少一方的显示图像中，显示以能够识别所述切除位置的方式显示的图像。

11.根据权利要求9所述的内窥镜系统，其特征在于，

所述处理部进行检测处置对象位置的处理，根据所述处置对象位置而生成警报信息作为所述支援信息，其中所述处置对象位置是由所述用户进行的处置的对象。

12.一种处理系统，其特征在于，所述处理系统具备：

取得部，其取得表面图像和发光图像，其中所述表面图像是对被观察体的表面形状进行拍摄而得到的图像，所述发光图像是对来自存在于所述被观察体的内部的关注部位的发光进行拍摄而得到的图像；以及

处理部，其基于所述表面图像和所述发光图像，估计包含深度信息的三维形状信息，其中所述深度信息表示所述被观察体的所述关注部位的深度。

13.一种内窥镜系统的工作方法，其特征在于，

照射照明光；

根据所述照明光，拍摄表面图像和发光图像，其中所述表面图像是对被观察体的表面形状进行拍摄而得到的图像，所述发光图像是对来自存在于所述被观察体的内部的关注部位的发光进行拍摄而得到的图像；以及

基于所述表面图像和所述发光图像，估计包含深度信息的三维形状信息，其中所述深度信息表示所述被观察体的所述关注部位的深度。

14.一种图像处理程序，其特征在于，所述图像处理程序使计算机执行如下步骤：

取得表面图像和发光图像，其中所述表面图像是对被观察体的表面形状进行拍摄而得到的图像，所述发光图像是对来自存在于所述被观察体的内部的关注部位的发光进行拍摄而得到的图像；以及

基于所述表面图像和所述发光图像，估计包含深度信息的三维形状信息，其中所述深度信息表示所述被观察体的所述关注部位的深度。

Images