CN113473899A - 内窥镜装置以及程序 - Google Patents

Abstract

内窥镜装置(10)包括光源部(140)、摄像部(213)和处理部(110)。光源部(140)能够变更包括照明光的分光特性及光量、配光特性、照射定时中的至少1个的照明特性。处理部(110)基于对诊断或者处置进行辅助的辅助信息来设定照明特性。处理部(110)在照明特性为第一照明特性时，根据基于图像信号而生成的第一辅助信息，将照明特性变更为第二照明特性。

Description

内窥镜装置以及程序

技术领域

本发明涉及内窥镜装置以及程序等。

背景技术

在医疗用内窥镜领域中，研究了AI技术的应用。例如，通过AI技术提取有助于病变的发现或诊断的观察辅助信息，并将该观察辅助信息显示于内窥镜监视器。例如在专利文献1中公开了这样的技术。专利文献1中，在荧光观察模式中诊断辅助模式被设定为打开的情况下，使基准区域和关注区域中的荧光发光的状态可视化，对该状态进行监视显示，通过该监视显示的状态的经时变化进行诊断辅助。

另外，已知将光源控制成能够在内窥镜装置中拍摄符合目的的图像的技术。例如在专利文献2、3中公开了这样的技术。在专利文献2中，通过利用液晶透镜使照明光的配光角变化，从而减少得到氧饱和度等生物体功能信息时的误差。专利文献3中，在摄像光学系统的光瞳附近具备分光透射率分布，该分光透射率分布成为光瞳的面积相对于来自被摄体的返回光中的想要强调的波段而变大的分布。由此，能够以良好的对比度观察期望的深部组织信息。

现有技术文献

专利文献

专利文献1：国际公开第2016/084504号

专利文献2：日本特开2006-181387号公报

专利文献3：日本特开2003-215469号公报

发明内容

发明所要解决的课题

在进行上述的诊断辅助的内窥镜装置中，存在基于图像信息而高精度地或适当地显示AI辅助信息的课题。例如，内窥镜的观察目的分为病变的存在诊断或定性诊断、范围诊断、处置辅助等多种。优选的是，通过基于图像信息来控制为适当的照明，能够生成更适合内窥镜的观察目的的AI辅助信息。在专利文献1等现有技术中，公开了对辅助信息进行监视显示，但未公开基于图像信息使辅助信息最佳化。

根据本发明的几个方式，能够提供一种内窥镜装置以及程序等，通过基于图像信息使照明光最佳化，能够提高诊断辅助信息的精度，或者能够提示适当的诊断辅助信息。

用于解决课题的手段

本发明的一个方式涉及一种内窥镜装置，所述内窥镜装置包括：光源部，其能够变更照明特性，其中所述照明特性包括射出的照明光的分光特性及光量、配光特性、照射定时中的至少1个；摄像部，其拍摄被所述照明光照明的被摄体并输出图像信号；以及处理部，其基于对诊断或者处置进行辅助的辅助信息来设定所述照明特性，在所述照明特性为第一照明特性时，所述处理部根据基于所述图像信号而生成的第一辅助信息，将所述照明特性变更为第二照明特性。

另外，本发明的其他方式涉及一种程序，所述程序使计算机执行如下步骤：在照明特性为第一照明特性时，取得第一辅助信息，其中所述照明特性包含照明光的分光特性及光量、配光特性、照射定时中的至少1个，所述第一辅助信息是根据拍摄被所述照明光照明的被摄体而得到的图像信号而生成的，且所述第一辅助信息对诊断或者处置进行辅助；以及根据所述第一辅助信息，将所述照明特性变更为第二照明特性。

附图说明

图1是内窥镜装置的结构例。

图2是示出存在诊断模式中的发光时序和拍摄时序的图。

图3是说明显示图像的生成处理的图。

图4是示出NBI模式中的发光时序和拍摄时序的图。

图5是示出模拟染色模式中的发光时序和拍摄时序的图。

图6是表示在从存在诊断模式切换为定性诊断模式时处理部进行的处理的顺序的流程图。

图7是说明判断是否从存在诊断模式转移到定性诊断模式的方法的图。

图8是定性诊断模式中的自动分类的一例。

图9是表示UC炎症诊断模式中的发光时序和拍摄时序的图。

图10是UC炎症诊断模式中的辅助信息的显示例。

图11是示出范围诊断模式中的发光时序和拍摄时序的图。

图12是范围诊断模式中的显示图像的例子。

图13是表示出血点识别模式中的发光时序和拍摄时序的图。

图14是出血点识别模式中的显示图像的例子。

图15是内窥镜系统的结构例。

具体实施方式

以下，说明本实施方式。需要说明的是，以下说明的本实施方式并不对权利要求书所记载的本发明的内容进行不当限定。另外，本实施方式中说明的全部结构并不一定是本发明的必要技术特征。例如，在本说明书中说明消化道用内窥镜，但本说明书所公开的方法的应用对象并不限定于此。即，本说明书中所说的内窥镜装置是指具备用于观察各种观察对象物的凹部内表面的插入部的设备。例如，内窥镜装置包含用于腹腔或关节等外科手术的外科用内窥镜。

1.内窥镜装置

图1是本实施方式中的内窥镜装置10的结构例。内窥镜装置10包括控制装置100、镜体部200、显示部300和操作部600。另外需要说明的是，也将控制装置100称为主体部。另外，也将镜体部200称为镜体、摄像部、摄像装置。另外，也将显示部300称为显示器、显示装置。另外，也将操作部600称为操作面板、操作装置。

首先，对内窥镜装置10的结构进行说明。然后，说明根据观察目的使照明光最佳化的方法。

镜体部200由插入部210和连接器240构成。插入部210具有挠性，能够插入到生物体的体腔内。生物体的体腔是本实施方式中的被摄体。连接器240设置在镜体部200的一端，使控制装置100和镜体部200能够装卸。

在插入部210的前端配置有：将照明光朝向被摄体射出的照明透镜211；通过接收从被摄体的表面反射或散射的照明光来拍摄图像的摄像部213；测量从插入部210的前端到被摄体的距离的测距传感器215。另外，插入部210包括将从光源部140射出的照明光引导至照明透镜211的光导214。

照明透镜211将由光导214引导的照明光扩展成期望的放射角。另外，在图1中，在插入部210的前端设置有1个照明透镜，但也可以在插入部210的前端设置多个照明透镜。光导214例如是光纤束。摄像部213具有摄像光学系统和摄像元件。摄像元件例如是原色型或补色型的CMOS成像器。测距传感器215例如是TOF(Time Of Flight：飞行时间)方式的测距传感器、或者超声波测距传感器等。此外需要说明的是，也可以代替测距传感器，而通过使摄像部213为立体光学系统来测量距离。在使用TOF方式的测距传感器的情况下，有时使用红外光等长波长的光。

另外需要说明的是，在插入部210中能够搭载省略了图示的各种功能或机构。例如，在插入部210中，能够搭载用于对镜体部200进行操作的镜体操作部、或者用于使前端部弯曲的弯曲机构、或者能够插入钳子等的钳子孔、或者用于处置的电手术刀等处置器械、或者用于使液体和气体能够喷出以及抽吸的送气送水管等。另外，也可以省略插入部210所包含的结构要素的一部分。例如，在不使用测距功能的实施方式中，也可以省略测距传感器215。

控制装置100控制内窥镜装置10的各部，或者对由镜体部200拍摄到的图像进行图像处理。控制装置100包括光源部140、处理部110以及存储部160。

光源部140生成照明光，使该照明光入射到光导214。光源部140能够产生具有各种分光特性的照明光。具体而言，光源部140包括：射出红色光的光源；射出琥珀色光的光源LDA；射出绿色光的光源LDG；射出蓝色光的光源LDB；射出紫色光的光源LDV；透镜LN1～LN6；分色镜DC1～DC4；光传感器SS1～SS5；光源驱动部141；滤波部142。另外，光源部140的结构并不限定于图1。例如也可以省略光传感器。或者，也可以设置基于光纤的光合波部来代替分色镜DC1～DC4。

光源LDR、LDA、LDG、LDB、LDV例如是LED(Light Emitting Diode：发光二极管)或半导体激光器。光源LDR射出的红色光的峰值波长为635nm。光源LDA射出的琥珀色光的峰值波长是600nm。光源LDG射出的绿色光的峰值波长为532nm。光源LDB射出的蓝色光的峰值波长为445nm。光源LDV射出的紫色光的峰值波长为405nm。这些光例如是半值宽度为数10nm的窄带光。另外需要说明的是，各光源射出的光并不限定于此。即，红色光只要在波长区域615nm～680nm中具有峰值波长即可，琥珀色光只要在波长区域586nm～615nm中具有峰值波长即可，绿色光只要在波长区域495nm～585nm具有峰值波长即可，蓝色光只要在波长区域440nm～495nm具有峰值波长即可，紫色光只要在波长区域400nm～440nm具有峰值波长即可。另外，各光也可以是宽带光。

透镜LN1使光源LDR射出的光向分色镜DC1入射。同样地，透镜LN2、LN3、LN4、LN5使光源LDA、LDG、LDB、LDV射出的光向分色镜DC1、DC2、DC3、DC4入射。

分色镜DC1使光源LDR射出的光通过，反射光源LDA射出的光。同样地，分色镜DC2、DC3、DC4使来自分色镜DC1、DC2、DC3的光通过，对光源LDG、LDB、LDV射出的光进行反射。

滤波部142构成为能够切换滤波器和通过部分。也可以设置多个滤波器。通过部分使来自分色镜DC4的光不改变分光特性而直接通过。滤波器具有分光透射率特性，使来自分色镜DC4的光中的与分光透射率特性对应的波长区域通过。光源LDR、LDA、LDG、LDB、LDV构成为它们中的任意的1个或多个光源能够发光。通过选择这5个光源中的要使其发光的光源以及选择滤波部142的滤波器，实现具有所希望的分光特性的照明光。

透镜LN6使通过了滤波部142后的光向光导214入射。

光源驱动部141由光源控制部151控制，基于该控制来驱动光源LDR、LDA、LDG、LDB、LDV。关于光源控制部151在后面叙述。例如在光源LDR、LDA、LDG、LDB、LDV为LED或半导体激光器的情况下，光源驱动部141通过向各光源输出驱动电流来使各光源发光。

光传感器SS1、SS2、SS3、SS4、SS5分别配置在能够检测来自光源LDR、LDA、LDG、LDB、LDV的漏光的位置。漏光是指向如下的部分射出的光：所述部分不是向透镜LN1～LN5入射的光路。

处理部110包括图像生成部111、辅助信息生成部121和光源控制部151。能够设想实现处理部110的各种硬件。例如，图像生成部111、辅助信息生成部121和光源控制部151可以由1个处理器或ASIC(Application Specific Integrated Circuit：专用集成电路)构成，也可以分别由单独的处理器或ASIC构成。或者，也可以是图像生成部111和辅助信息生成部121等2个结构要素由1个处理器或ASIC构成。

图像生成部111基于来自摄像部213的图像信号生成显示图像。具体而言，光源部140分时地射出用于拍摄显示图像的显示用照明光和用于生成辅助信息的辅助用照明光。图像生成部111根据在显示用照明光照射到被摄体时所拍摄到的图像信号而生成显示图像。图像生成部111例如进行对图像信号进行插值处理而生成RGB图像的处理、或者白平衡处理、或者灰度转换处理等图像处理。另外，图像生成部111将基于辅助信息生成部121生成的辅助信息的显示内容叠加在显示图像上，并将该显示图像输出到显示部300。

显示部300例如是液晶显示器等显示装置。显示部300显示图像生成部111输出的显示图像。由此，向内窥镜装置10的用户提示利用显示用照明光所拍摄到的图像和叠加在其上的辅助信息。

辅助信息生成部121根据在辅助用照明光照射到被摄体时所拍摄到的图像信号而生成辅助信息。辅助信息是用于辅助使用内窥镜装置10的医师进行的诊断或处置的信息。辅助信息生成部121进行基于AI(Artificial Intelligence：人工智能)的推理处理。即，辅助信息生成部121通过推理处理从输入的图像信号中提取辅助信息。作为AI，可以采用各种图像识别方法或机器学习方法。机器学习是基于学习结果进行各种推理的处理。作为代表性的AI有神经网络，但并不限定于此，作为本实施方式中的AI能够采用已知的各种机器学习的方法。

存储部160例如是半导体存储器或硬盘驱动器等存储装置。存储部160存储已学习模型的信息。辅助信息生成部121基于已学习模型进行基于上述AI的推理处理。作为执行推理处理的辅助信息生成部121的硬件，可以设想各种硬件。例如，辅助信息生成部121是CPU等通用处理器。在该情况下，存储部160将记述有推理算法的程序和用于该推理算法的参数作为已学习模型的信息进行存储。或者，辅助信息生成部121也可以是将推理算法硬件化的专用处理器。在这种情况下，存储部160将用于推理算法的参数存储为已学习模型的信息。

推理算法是神经网络。神经网络具备：输入层，其输入数据；中间层，其对通过输入层输入的数据进行运算处理；输出层，其根据从中间层输出的运算结果而输出数据。输入层所包含的节点与中间层所包含的节点连接，中间层所包含的节点与输出层所包含的节点连接。该节点间连接的权重系数相当于上述的参数。

光源控制部151控制照明光的分光特性。即，光源控制部151通过对光源驱动部141输出控制信号，使各光源发光或熄灭，或者控制各光源的发光量。另外，光源控制部151通过控制滤波部142来控制照明光的分光特性。另外，光源控制部151按照规定的发光时序来控制各光源的发光定时。另外，光源控制部151基于光传感器SS1～SS5的输出信号，进行反馈控制以使光源LDR、LDA、LDG、LDB、LDV的发光量成为期望值。

光源控制部151通过上述控制使光源部140分时地发出显示用照明光和辅助用照明光。内窥镜装置10具有存在诊断模式、定性诊断模式和处置辅助模式。各模式的详细内容将在后面叙述。在存在诊断模式、定性诊断模式和处置辅助模式中，辅助用照明光的分光特性不同。即，光源控制部151控制光源部140，以产生与所设定的模式对应的分光特性的辅助用照明光。光源控制部151包括模式判定部152，模式判定部152基于辅助信息生成部121生成的辅助信息进行判断模式的切换。此外，在图1中，模式判定部152包含于光源控制部151中，但模式判定部152也可以设置于光源控制部151之外。或者，也可以基于从操作部600输入的信息来切换判断模式。操作部600是供医师等用户操作内窥镜装置10的装置。例如，操作部600是按钮或者拨盘、脚踏开关、触摸面板等。

判断模式是与辅助信息生成部121生成辅助信息时的判断基准对应的模式。即，第一判断模式的辅助信息生成部121根据第一判断基准来生成辅助信息，与第一判断模式不同的第二判断模式的辅助信息生成部121根据与第一判断基准不同的第二判断基准来生成辅助信息。各判断模式的判断基准只要是与该判断模式的观察目的对应的基准即可。即，被要求提示的辅助信息根据观察目的而不同，但只要采用从图像信息中提取与其观察目的对应的辅助信息的判断基准即可。例如，处理部110也可以基于图像信息来推测判断模式，并设定该推测出的判断模式。通过设定判断模式，从而设定生成辅助信息时的判断基准。以下，以第一判断模式为存在诊断模式、第二判断模式为定性诊断模式的情况为例进行说明。但是，存在诊断模式或定性诊断是在内窥镜的观察时根据医生的观察模式而设定的判断模式的例子，但也可以是其他的预先确定的判断模式。另外，以下使用与各判断模式对应的已学习模型，但并不限定于此，只要是判断基准根据判断模式而不同的处理即可。

通过与各判断模式对应的已学习模型来生成辅助信息。即，存储部160存储与存在诊断模式对应的已学习模型的信息、与定性诊断模式对应的已学习模型的信息、以及与处置辅助模式对应的已学习模型的信息。然后，辅助信息生成部121通过推理处理，由图像信号生成辅助信息，其中所述推理处理是基于与所设定的判断模式对应的已学习模型的处理。各判断模式的已学习模型例如以下述方式进行学习。以下，以存在诊断模式为例进行说明，但对于定性诊断模式、处置辅助模式也以同样的方法进行学习。

教师数据是利用存在诊断模式的辅助用照明光所拍摄到的图像和医师等专家对该图像附加的注释信息。注释信息是想要作为辅助信息显示的信息，在存在诊断模式中例如是表示病变部的位置或轮廓的信息等。准备多个图像和注释信息的组合，它们成为教师数据。将教师数据中的图像输入到推理算法，推理算法根据图像而推理辅助信息。然后，对推理算法的参数进行反馈，以使辅助信息与注释信息接近。通过使用图像和注释信息的多个组合来反复进行上述反馈，而进行学习。

能够设想执行学习处理的各种环境。例如，可以由内窥镜装置10的处理部110执行学习处理，将由此生成的已学习模型的信息写入到存储部160。或者，也可以是由PC(Personal Computer：个人计算机)等信息处理装置执行学习处理，将由此生成的已学习模型的信息写入到内窥镜装置10的存储部160。

另外，在本说明书中，“病变”是指由辅助信息生成部121检测出存在病变的可能性的部位，医师来判断实际上是否为病变。即，辅助信息生成部121检测出的“病变”是病变候选。在本说明书中，将病变候选简称为病变或病变部。

2.第一实施方式

以下，说明根据观察目的使照明光最佳化的方法。在第一实施方式中，基于辅助信息从存在诊断模式自动地切换为定性诊断模式。如上所述，分时地射出显示用照明光和辅助用照明光，但在存在诊断模式和定性诊断模式的各个模式中，将辅助用照明光设定为最佳的分光特性。

首先，对各模式中的发光时序和拍摄时序进行说明。另外，对辅助信息的内容和辅助信息的显示方法等进行说明。

图2是示出存在诊断模式中的发光时序和拍摄时序的图。在摄像元件的驱动时序中，使读出图像信号的读出期间Trd和拍摄被摄体的曝光期间TE反复。在使显示图像以60Hz的帧率显示的情况下，期间Trd和TE的反复速率是120Hz。

光源控制部151在与曝光期间TE对应的期间TH、TAI中使得从光源部140射出照明光。在期间TH，光源控制部151使白色光W作为显示用照明光而从光源部140射出。白色光是显示用照明光。在期间TAI，光源控制部151使光源部140射出琥珀色光A及紫色光V作为辅助用照明光。光源控制部151使白色光、琥珀色A及紫色光V交替地从光源部140射出。

紫色光是适合于取得粘膜的表层血管或腺管构造的特征的光。琥珀色光是适合于取得粘膜的深部血管或发红、炎症等特征的光。即，辅助信息生成部121检测能够根据粘膜的表层血管或腺管构造的特征而检测出的病变、或能够根据粘膜的深部血管或发红、炎症等特征而检测出的病变，作为辅助信息。在存在诊断模式中，通过使用紫色光和琥珀色光，能够检测出癌和炎症性疾病等广泛的病变的存在。

图3是说明显示图像的生成处理的图。图像生成部111根据在图2的期间TH所拍摄的图像信号生成通常图像。通常图像是白色光图像。

另外，图像生成部111根据在图2的期间TAI所拍摄的图像信号生成辅助用图像。辅助用图像是拍摄被琥珀色光和紫色光照明的被摄体而得到的图像。辅助信息生成部121根据辅助用图像生成辅助信息。在图3中，辅助用图像的左下所示的阴影部分为病变，检测出其轮廓作为辅助信息。在图3中用虚线表示病变的轮廓。另外，图像生成部111也可以不生成辅助用图像，而是将在期间TAI拍摄的图像信号直接输入到辅助信息生成部121。

图像生成部111将通常图像作为显示图像，进而将表示病变的轮廓的显示叠加在显示图像上。使添加了该辅助信息的显示图像显示在显示部300上。使用内窥镜装置10的医师等通过观察该显示图像，能够识别病变候选的位置或轮廓等。医师等通过经验或学习来掌握在通常图像中病变看起来如何。因此，通过将通常图像设为显示图像，并对其添加辅助信息，医师容易观察病变及进行诊断。

接着说明定性诊断模式中的发光时序。作为定性诊断模式，能够设置多个诊断模式。在第一实施方式中，设置NBI(Narrow Band Imaging：窄带拍摄)模式和模拟染色模式。

图4是示出NBI模式中的发光时序和拍摄时序的图。另外，对与图2相同的内容省略说明。

在NBI模式中，在期间TAI，光源控制部151使光源部140射出紫色光V以及绿色光G。紫色光V和绿色光G的组合用于NBI。但是，紫色光V与绿色光G的光量比只要是对于基于AI的推理处理而言是适当的光量比即可，无需是通常的NBI中的光量比。

NBI模式等定性诊断模式中的辅助信息是与在存在诊断模式中检测出的病变相关的定性辅助信息。定性辅助信息例如可以设想病变的进度、或症状的程度、病变的范围、或病变与正常部位的边界等在病变的诊断中使用的各种信息。例如，也可以使已学习模型学习遵循学会等所制定的分类基准的分类，将基于该已学习模型的分类结果作为辅助信息。

在NBI模式中，辅助信息生成部121通过基于与NBI模式对应的已学习模型的处理来生成定性的辅助信息。NBI模式中的定性的辅助信息是按照各种NBI分类基准而分类的分类结果。作为NBI分类基准，例如有作为胃的病变分类基准的VSclassification、或者作为大肠的病变分类基准的JNET、NICE分类、EC分类等。

图5是示出模拟染色模式中的发光时序和拍摄时序的图。另外，对于与图2等相同的内容省略说明。

在模拟染色模式中，处理部110在期间TAI使用测距传感器215对被摄体进行测距。具体而言，处理部110通过测距取得被摄体表面的凹凸信息。凹凸信息例如是深度映射等。辅助信息生成部121基于测距结果生成辅助信息。辅助信息是表示模拟染色的信息，例如是表示各像素中的染色的浓淡的信息。在利用药剂散布进行的染色中，被摄像体表面的凹部被较浓地染色。辅助信息生成部121生成模拟染色的辅助信息，其中所述模拟染色是再现利用药剂散布进行的染色那样的染色。

图像生成部111基于辅助信息对使用显示用照明光拍摄到的通常图像进行染色处理，从而生成显示图像。即，图像生成部111按照辅助信息所表示的各像素的浓淡，对各像素加上颜色。例如在靛蓝胭脂红的模拟染色中，利用模拟靛蓝胭脂红的蓝色来进行模拟染色。

辅助信息生成部121根据基于辅助信息进行了染色处理的显示图像，生成定性的辅助信息。与模拟染色模式对应的已学习模型将染色处理后的图像和医师等专家对该图像附加的注释信息作为教师数据进行了学习。辅助信息生成部121使用该已学习模型，根据模拟染色图像生成辅助信息。在注释时，可以使用利用了基于色素散布的染色的各种分类基准。辅助信息生成部121生成的辅助信息是沿着在学习中使用的分类基准的分类结果。

接着，说明基于辅助信息自动地从存在诊断模式切换为定性诊断模式的方法。图6是表示在从存在诊断模式切换为定性诊断模式时处理部110进行的处理的顺序的流程图。

在步骤S1中，模式判定部152设定存在诊断模式。光源控制部151使得从光源部140分时地射出白色光、琥珀色A及紫色光V。辅助信息生成部121通过基于与存在诊断模式对应的已学习模型的处理来生成辅助信息。

接着步骤S2中，模式判定部152判断辅助信息信息表示的病变在关注区域内是否为规定面积以上。在病变为规定面积以上的情况下，在步骤S3中，模式判定部152设定定性诊断模式中的NBI模式。在病变不在规定面积以上的情况下，返回步骤S1。

图7是说明判断是否从存在诊断模式转移到定性诊断模式的方法的图。IMG是在存在诊断模式中拍摄的图像，该图像内的阴影示意性地表示管腔状的被摄体。IMG内的右上方为管腔的深处，越往左下方，壁面与摄像部的距离越近。假设辅助信息生成部121在IMG的下部、即管腔的壁面检测到病变BYH。实线的椭圆是辅助信息生成部121生成的辅助信息，在此是病变BYH的轮廓。

ATA是关注区域。例如，操作内窥镜装置10的医生也可以使用操作部600设定关注区域。作为关注区域ATA，能够在图像IMG内设定为任意的位置和面积。在图7中，关注区域ATA被设置在图像IMG的下部区域中。模式判定部152求出关注区域ATA中的病变BYH的面积，并且判断该面积是否在规定值以上。例如，模式判定部152对关注区域ATA与病变BYH重叠的部分的像素数进行计数。模式判定部152判断该像素数是否为规定值以上。或者，模式判定部152求出所计数的像素数与关注区域ATA的像素数之比，并判断该比是否为规定值以上。模式判定部152在判断为病变BYH的面积为规定值以上时，从存在诊断模式转移到定性诊断模式的NBI模式。例如，也可以由操作内窥镜装置10的医师使用操作部600来设定用于面积判定的规定值。

在步骤S3的NBI模式中，光源控制部151使得从光源部140分时地射出白色光W、紫色光V以及绿色光G。辅助信息生成部121通过基于与NBI模式对应的已学习模型的处理来生成辅助信息。辅助信息生成部121生成与在存在诊断模式中检测出的病变相关的定性的辅助信息。

接着步骤S4中，模式判定部152基于辅助信息信息部121生成的定性的辅助信息，进一步判断是否需要细查。在判断为不需要细查的情况下，返回步骤S2。在判断为需要细查的情况下，在步骤S5中，模式判定部152设定定性诊断模式中的模拟染色模式。

在模拟染色模式中，分时地进行基于白色光W的照明和测距。辅助信息生成部121通过基于与模拟染色模式对应的已学习模型的处理来生成辅助信息。图像生成部111基于辅助信息对显示图像进行染色处理。辅助信息生成部121根据基于辅助信息进行了染色处理的显示图像，生成定性的辅助信息。即，将沿着使用了染色的分类基准的病变的分类结果生成为辅助信息。

接着步骤S6中，判断在步骤S5中检测出的病变在关注区域内是否为规定面积以上。判断方法与步骤S2相同。在病变为规定面积以上的情况下，返回步骤S5。在病变不为规定面积以上的情况下，返回步骤S1。

图8表示定性诊断模式中的自动分类的一例。图8表示使用了JNET分类基准的自动分类的流程。此流程在图6的步骤S3至S5中执行。

在学习阶段中，医生基于JNET对图像标记分类结果。即，医师等使用指示设备等包围图像中包含的病变部分等，由此对病变的位置或轮廓和该病变的分类进行标记。然后，将该标记信息和图像作为教师数据而生成已学习模型。在使用内窥镜装置进行诊断时，通过利用上述已学习模型进行推理处理来实现以下的自动分类。即，通过推理处理，将病变的位置或轮廓和该病变的分类生成为辅助信息。

如图8所示，在NBI模式中，辅助信息生成部121将在存在诊断模式中检测出的病变分类为Type1、Type2A、Type2B、Type3。这些类型是通过粘膜的血管图案和粘膜的表面构造而赋予特征的分类。辅助信息生成部121输出病变为Type1的概率、病变为Type2A的概率、病变为Type2B的概率、病变为Type3的概率。另外需要说明的是，不仅是最终的分类结果，也可以通过文字等将该阶段的分类结果显示于显示图像。

辅助信息生成部121基于NBI模式中的分类结果，判断病变的判别是否困难。

即，在为类型1、为类型2A的概率为相同程度的情况下，辅助信息生成部121判断为难以判别。在该情况下，模式判定部152设定模拟地再现靛蓝胭脂红染色的模拟染色模式。在该模拟染色模式中，辅助信息生成部121基于模拟染色图像将病变分类为增生性息肉或低异型度粘膜内肿瘤。这些分类是通过靛蓝胭脂红染色图像中的麻点图像(pitpattern)赋予了特征的分类。另一方面，在为类型1的概率在阈值以上的情况下，辅助信息生成部121将病变分类为增生性息肉，模式判定部152不转移到模拟染色模式。另外，在为类型2A的概率在阈值以上的情况下，辅助信息生成部121将病变分类为增生性息肉，模式判定部152不转移到模拟染色模式。

在为类型2A、为类型2B的概率为相同程度的情况下，辅助信息生成部121判断为难以判别。在该情况下，模式判定部152设定模拟地再现结晶紫(crystal violet)染色的模拟染色模式。在该模拟染色模式中，辅助信息生成部121基于模拟染色图像将病变分类为低异型度粘膜内肿瘤或高异型度粘膜内肿瘤或粘膜下层轻度浸润癌。这些分类是通过结晶紫染色图像中的麻点图像赋予了特征的分类。

以下，省略详细说明，但在判断为是类型2B的情况下，设定模拟地再现结晶紫染色的模拟染色模式，将病变分类为高异型度粘膜内肿瘤或粘膜下层轻度浸润癌。在难以判别Type2B、Type3的情况下，设定模拟地再现晶体紫染色的模拟染色模式，将病变分类为高异型度粘膜内肿瘤或粘膜下层轻度浸润癌或粘膜下层深部浸润癌。在判断为是类型2B的情况下，将病变分类为粘膜下层深部浸润癌，不转移到模拟染色模式。

图像生成部111将上述分类结果和检测出的病变的位置或者轮廓作为辅助信息添加到显示图像，并使显示部300显示该显示图像。

另外，在第一实施方式中，根据模式而使辅助用照明光的分光特性变化，但并不限定于此，也可以根据模式而使辅助用照明光的光量或配光特性、照射定时变化。例如，也可以在诊断辅助模式中将光量设定为使得以适当的明亮度检测出在存在诊断模式中检测出的病变部。或者，也可以在诊断辅助模式中将配光特性设定成使得在存在诊断模式中检测出的病变部被适当地照明。例如在镜体部200的前端设置多个照明透镜，通过控制从各照明透镜射出的光量，能够使配光变化。使照射定时变化的例子例如在第二实施方式的图9中后述。在图9中，辅助用照明光在期间TAI1、TAI2这2个定时射出。

以上说明的实施方式的内窥镜装置10包括光源部140、摄像部213以及处理部110。光源部140能够变更包含射出的照明光的分光特性以及光量、配光特性、照射定时中的至少1个的照明特性。摄像部213拍摄被照明光所照明的被摄体，并输出图像信号。处理部110基于对诊断或者处置进行辅助的辅助信息来设定照明特性。处理部110在照明特性为第一照明特性时，根据基于图像信号而生成的第一辅助信息，将照明特性变更为第二照明特性。

由此，能够使照明光最佳化，以使得对于AI的推理处理而言成为最佳的照明特性，因此能够高精度地估计辅助信息，能够向医生等提示该高精度的辅助信息。具体而言，设想使用输出对观察目的来说必要的辅助信息的AI。此时，能够使光源部140射出对于该AI的推理处理而言最佳的照明光。由此，能够高精度地估计与观察目的相应的辅助信息。

需要说明的是，在第一实施方式中，第一照明特性是存在诊断模式中的琥珀色光A以及紫色光V，第二照明特性是NBI模式中的紫色光V以及绿色光G，第一辅助信息是在存在诊断模式中检测出的病变的位置或者轮廓，第二辅助信息是NBI模式中的病变的分类结果。

另外，在本实施方式中，处理部110基于图像信号而生成辅助信息。即，处理部110在照明特性为第一照明特性时，基于图像信号而生成第一辅助信息，在照明特性为第二照明特性时，基于图像信号，生成诊断或处置的内容与第一辅助信息不同的第二辅助信息。

但是，如图15所示，也可以将生成辅助信息的辅助信息生成部设置于内窥镜装置10的外部。图15的内窥镜装置系统包括内窥镜装置10和信息处理系统400。在图15中，内窥镜装置10的处理部110不包含辅助信息生成部121，内窥镜装置10还包含接口170。信息处理系统400包括接口470、存储部460和处理部410，处理部410包括辅助信息生成部421。

辅助信息生成部421和存储部460对应于图1的辅助信息生成部121和存储部160。即，经由接口170和接口470，从摄像部213向辅助信息生成部421输入图像信号。辅助信息生成部421通过进行基于存储于存储部460中的已学习模型的推理处理，从而根据图像信号而生成辅助信息。经由接口470和接口170将辅助信息输入到模式判定部152。模式判定部152基于辅助信息来切换判断模式，该判断模式的信息经由接口170和接口470输入到辅助信息生成部421。

作为接口170、470，能够设想各种通信接口。例如，接口170、470可以是用于进行基于LAN或WAN等的网络连接的接口。或者，接口170、470也可以是用于进行USB等有线通信的接口、或者用于进行近距离无线通信等无线通信的接口。信息处理系统400例如也可以是PC或者服务器等信息处理装置。或者，信息处理系统400也可以是通过网络而连接的多个信息处理装置进行信息处理的云系统。在该情况下，通过云系统中包含的多个信息处理装置进行的信息处理，实现处理部410的功能。

另外，在本实施方式中，处理部110在辅助信息的生成处理中的判断模式为第一判断模式时，设定第一照明特性，生成第一辅助信息。处理部110基于第一辅助信息，将判断模式切换为第二判断模式。处理部110在第二判断模式中设定第二照明特性，生成第二辅助信息。

由此，能够基于第一辅助信息，自动地从第一判断模式转移到第二判断模式，并随之射出与各判断模式对应的照明特性的照明光。这样，能够射出对各判断模式而言最佳的照明特性的照明光，能够在各判断模式中生成高精度或者最佳的辅助信息，并将该辅助信息提示给医生等。

另外，在本实施方式中，处理部110进行第一辅助信息是否满足规定条件的判断。处理部110在判断为第一辅助信息满足规定条件时，从第一判断模式切换为第二判断模式。

由此，在第一判断模式中第一辅助信息满足规定条件时，能够自动地从第一判断模式转移到第二判断模式。

另外，在本实施方式中，第一判断模式是诊断被摄体中包含的病变候选的存在的存在诊断模式。第一辅助信息是表示病变候选的存在的信息。第二判断模式是诊断病变候选的状态的定性诊断模式。第二辅助信息是表示病变候选的状态的信息。

由此，在存在诊断模式中，能够基于第一辅助信息，自动地从存在诊断模式转移到定性诊断模式。通过从存在诊断模式自动地转移到定性诊断模式，不仅能够自动地向医师等提示病变的存在，还能够自动地将该病变的定性信息提示给医师等。由此，能够自动地对在医生诊断病变时有用的定性的辅助信息进行监视显示。

另外，在本实施方式中，处理部110进行第一辅助信息是否满足规定条件的判断，其中所述规定条件是指第一辅助信息中包含的病变候选的面积在规定值以上、或者摄像部的观察倍率在规定值以上。处理部110在判断为第一辅助信息满足规定条件时，从第一判断模式切换为第二判断模式。

在医师着眼于病变而使镜体部200接近病变的情况下，能够设想病变候选的面积成为规定值以上。或者，当医师想要观察病变时进行放大观察。因此，在病变候选的面积为规定值以上的情况下，或者摄像部的观察倍率为规定值以上的情况下，转移到诊断辅助模式，从而能够向医生提供与医师关注的病变相关的定性的辅助信息。

另外，在本实施方式中，病变候选是肿瘤候选。

根据本实施方式，在存在诊断模式中检测出肿瘤候选，在该肿瘤候选满足上述规定条件时能够转移到定性诊断模式。由此，例如能够向医生提示肿瘤的种类等肿瘤候选的定性的辅助信息。另外，病变并不限定于肿瘤，只要是在生物体中不正常的区域即可。例如病变可以是炎症或出血区域等。

在第一判断模式中，第一照明特性的照明光包含多种颜色的光中的至少1个光，即第一组的光。在第二判断模式中，第二照明特性的照明光包含多种颜色的光中的至少1个光，且与第一组不同的第二组的光。

这样，能够使第一判断模式中的照明光的分光特性与第二判断模式中的照明光的分光特性不同。由此，能够在各判断模式中使用最佳的分光特性的照明光来生成辅助信息。另外需要说明的是，组也包括是1种颜色的光的情况。另外，第一组的光和第二组的光只要一部分不同即可，可以存在重复部分。例如在图2和图4的例子中，第一组为A、V，第二组为V、G。在该例中，V重复，但颜色的组合不同。

另外，在本实施方式中，多种颜色的光包含紫色光以及琥珀色光、绿色光。

这样，能够通过紫色光或绿色光得到粘膜表层血管的信息，从该信息中提取辅助信息。但是，紫色光与绿色光相比能够取得更浅的血管的信息。另外，能够通过琥珀色光来得到粘膜深层血管的信息、或者血块等中的血红蛋白浓度的信息，能够从这些信息中提取辅助信息。

另外，在本实施方式中，判断模式是诊断被摄体中包含的病变候选的存在的存在诊断模式、或者诊断病变候选的状态的定性诊断模式。或者，判断模式也可以是辅助处置的处置辅助模式。关于处置辅助模式，在后述的实施方式中说明。

定性诊断模式中的照明光包含炎症或中层血管、深层血管观察用的光，这些光不包含于存在诊断模式中的照明光中。该照明光包含比存在诊断模式中的照明光的波长长的光。具体而言，存在诊断模式中的照明光包含紫色光和琥珀色光。定性诊断模式中的照明光包含紫色光和绿色光。或者，如在后述的实施方式中说明的那样，定性诊断模式中的照明光也可以包含绿色光、琥珀色光、红色光、或者测距用照明光。

这样，通过使用紫色光或绿色光，能够以良好的对比度拍摄粘膜表层的血管。另外，通过使用琥珀色光，能够以良好的对比度拍摄粘膜深部的血管、或者出血区域中的血液的浓淡等。在存在诊断模式中，通过使用紫色光和琥珀色光，能够提取各种类型的病变候选。另外，通过在定性诊断模式中组合紫色光和绿色光，能够得到沿着NBI诊断的辅助信息。另外，通过在定性诊断模式中组合绿色光、琥珀色光和红色光，能够根据表层血管和深层血管的信息得到与例如溃疡性结肠炎等炎症性疾病有关的辅助信息。另外，通过在定性诊断模式中使用测距用照明光，能够根据粘膜的形状或者构造的信息得到与例如粘膜的状态或者癌等病变相关的辅助信息。

另外，如在后述的实施方式中说明的那样，处置辅助模式中的照明光也可以包含在辅助信息的生成处理中用于提取病变范围或提取出血点的光。具体而言，处置辅助模式中的照明光也可以包含测距用照明光和作为窄带光的紫色光以及琥珀色光。或者，处置辅助模式中的照明光也可以包含红色光和作为窄带光的琥珀色光。

通过在处置辅助模式中组合紫色光、琥珀色光和测距用照明光，能够从表层血管和深层血管的信息以及粘膜的形状或构造的信息中提取病变范围作为辅助信息。由此，能够向医生等提示病变范围，例如能够辅助病变切除等处置。另外，通过在处置辅助模式中组合红色光和琥珀色光，能够根据血红蛋白的浓淡信息得到血块等中的出血点的信息。

另外，在本实施方式中，内窥镜装置10包括对显示图像进行显示的显示部300。光源部140分时地照射用于生成显示图像的显示用照明光和照明特性与显示用照明光不同的辅助用照明光。处理部110根据射出显示用照明光时的图像信号，生成显示图像。处理部110基于射出辅助用照明光时的图像信号，生成辅助信息。然后，处理部110进行将基于辅助信息的显示内容添加到显示图像中的图像处理。

辅助用照明光被优化为对于基于AI的推理处理最佳，因此未必适合于观察。在本实施方式中，显示图像利用与辅助用照明光不同的显示用照明光来拍摄，因此能够向医生提示适合于观察的显示图像。另外，根据本实施方式，基于辅助信息生成部121生成的辅助信息，在显示部300显示与该辅助信息对应的显示内容。由于根据观察目的最佳化了照明特性，因此能够将根据利用该照明光拍摄到的图像而生成的高精度的辅助信息提示给医生，辅助诊断或者处置。

另外，在本实施方式中，基于辅助信息的显示内容是辅助信息所表示的关注部位的位置以及轮廓中的至少一方。

由此，能够将由辅助信息生成部121检测出的关注部位的位置及轮廓中的至少一方显示于显示部300。例如在存在诊断模式中，通过使显示部300显示位置以及轮廓中的至少一方，能够向医生提示病变候选的存在。

另外，在本实施方式中，处理部110在辅助用照明光的照明特性为第一照明特性时，生成第一辅助信息，基于第一辅助信息进行将第一显示内容添加到显示图像的图像处理。处理部110基于第一辅助信息，将辅助用照明光的照明特性变更为第二照明特性，生成第二辅助信息。处理部110基于第二辅助信息，进行将与第一显示内容不同的第二显示内容添加到显示图像的图像处理。

由此，能够使利用照明特性被最佳化的照明光而得到的高精度的辅助信息显示于利用显示用照明光而拍摄到的显示图像上。另外，能够根据各照明特性而获得不同的内容的辅助信息，并使该辅助信息显示于显示图像上。由此，能够将与观察目的相应的各种辅助信息叠加于适合于观察的显示图像上，并提示给医生。

另外，在本实施方式中，显示用照明光是白色光。辅助用照明光包含紫色光以及琥珀色光、绿色光中的至少1个。

这样，能够使白色光图像作为显示图像显示于显示部300，对该白色光图像添加辅助信息并提示给医生。另外，通过使辅助用照明光包含紫色光以及琥珀色光、绿色光中的至少1个，能够实现与观察目的相应的照明特性。即，通过使用紫色光或绿色光，能够以良好的对比度拍摄粘膜表层的血管。另外，通过使用琥珀色光，能够以良好的对比度拍摄粘膜深部的血管、或者出血区域中的血液的浓淡等。或者，可考虑根据观察目的来组合这些光。例如，在想要得到沿着NBI诊断的辅助信息的情况下，只要组合紫色光和绿色光即可。

另外，在本实施方式中，内窥镜装置10包括存储已学习模型的信息的存储部160。已学习模型是进行学习以对图像信号输出辅助信息的模型。处理部110通过基于已学习模型的处理，根据图像信号生成辅助信息。

由此，能够通过AI的推理处理，根据图像信号生成辅助信息。通过由医生等专家生成的教师数据使已学习模型进行学习，能够生成反映了专家的见解的已学习模型。通过使用这样的已学习模型，能够将基于专家的见解的辅助信息提供给内窥镜装置10的用户。

如上所述，已学习模型能够包含神经网络。作为神经网络，能够采用公知的各种AI(Artificial Intelligence)技术。为了利用神经网络，需要进行用于执行学习、推理算法的软件开发，但当前也能够获得多个市场上销售、无偿公开的软件包，也能够利用它们。另外，作为神经网络中的机器学习的算法，能够采用公知的各种学习算法，例如能够采用使用了误差反向传播法的有教师学习算法。

另外，在本实施方式中，存储部160存储第一已学习模型和第二已学习模型的信息。第一已学习模型是进行学习以对照明特性为第一照明特性时的图像信号输出第一辅助信息的模型。第二已学习模型是进行学习以对照明特性为第二照明特性时的图像信号输出第二辅助信息的模型。处理部110在照明特性为第一照明特性时，通过基于第一已学习模型的处理来生成第一辅助信息。处理部110在照明特性为第二照明特性时，通过基于第二已学习模型的处理来生成第二辅助信息。

根据本实施方式，通过准备与各照明特性对应的已学习模型，能够使用与观察目的对应的已学习模型而生成辅助信息。即，不仅是照明特性，AI也根据观察目的而最佳化。由此，能够向医生提示与观察目的相应的高精度的辅助信息。

以上说明的内窥镜装置10的功能以及动作也可以通过程序来实现。即，将记述有内窥镜装置10的功能和动作的程序存储在存储器中，通过计算机执行该程序，也可以实现内窥镜装置10的功能和动作。计算机是具备输入装置、以及处理部、存储部、输出部的装置，例如是PC等信息处理装置。程序使计算机执行以下步骤：基于照明特性为第一照明特性时拍摄到的图像信号而生成第一辅助信息，基于第一辅助信息将照明特性变更为第二照明特性，基于照明特性为第二照明特性时拍摄到的图像信号而生成第二辅助信息。

另外，本实施方式的程序也可以存储在信息存储介质中。信息存储介质是计算机可读取的介质。作为信息存储介质，可以设想DVD或CD等光盘、硬盘、非易失性存储器或ROM等半导体存储器等各种存储介质。计算机基于存储在信息存储介质中的程序和数据来进行本实施方式中的各种处理。即，在信息存储介质中存储有用于使计算机作为本实施方式的内窥镜装置10发挥功能的程序。

3.第二实施方式

在第二实施方式中，定性诊断模式是UC炎症诊断模式。UC为溃疡性大肠炎。从存在诊断模式向定性诊断模式的转移方法与第一实施方式相同，因此以下对UC炎症诊断模式进行说明。

图9是表示UC炎症诊断模式中的发光时序和拍摄时序的图。另外，对于与图2等相同的内容省略说明。

光源控制部151在期间TE中使光源部140射出白色光。在UC炎症诊断模式中，辅助用照明光是红色光R和绿色光G、琥珀色光A。光源控制部151在期间TAI1中使光源部140射出红色光R以及绿色光G，在期间TAI2中使光源部140射出琥珀色光A。通过使期间TE、TAI1、TAI2反复，分时地射出上述照明光。此外需要说明的是，红色光R和琥珀色光A均属于红色区域，例如在原色拜尔型成像仪中通过红色滤波器。因此，分时地出射红色光R和琥珀色光A。红色光R和琥珀色光A的射出顺序也可以相反。

红色光R和绿色光G、琥珀色光A的组合是适合于拍摄粘膜深层的血管的照明光。UC炎症诊断模式中的定性辅助信息是基于深层血管视认性的诊断结果或分类结果。另外需要说明的是，视认性实际上并不意味着人能看到，例如是图像中的深层血管的对比度等。例如，辅助信息生成部121生成将深层血管的对比度数值化后的炎症度作为辅助信息。

图10是UC炎症诊断模式中的辅助信息的显示例。图像生成部111将由辅助信息生成部121生成的炎症度的信息SJH叠加到利用白色光拍摄到的通常图像IMG2中。例如，在炎症度的数值为50的情况下，图像生成部111使“炎症度50”的文字显示于通常图像IMG2的下部。炎症度的数值根据辅助信息生成部121判定出的数值而变化。医师等能够参考所显示的通常图像和炎症度的数值，诊断UC的炎症度。

4.第三实施方式

在第三实施方式中，能够设定处置辅助模式。第三实施方式中的处置辅助模式是估计病变的切除范围的范围诊断模式。例如，基于来自操作部600的输入来选择范围诊断模式。或者，也可以通过与第一实施方式中的从存在诊断模式向定性诊断模式的自动转移同样的方法，从存在诊断模式转移到范围诊断模式。或者，也可以从定性诊断模式转移到范围诊断模式。例如，也可以在图6的步骤S6中判断为病变面积为规定值以上时转移到范围诊断模式。

图11是示出范围诊断模式中的发光时序和拍摄时序的图。另外，对于与图2等相同的内容省略说明。

在期间TAI，光源控制部151使光源部140射出琥珀色光A及紫色光V。另外，在期间TAI，处理部110使用测距传感器215对被摄体进行测距。即，处理部110生成表示被摄体表面的凹凸信息的深度图等。

作为辅助用照明光的琥珀色光A及紫色光V与存在诊断模式中的辅助用照明光相同。辅助信息生成部121使用与存在诊断模式同样的已学习模型，检测病变的位置或轮廓。

图12是范围诊断模式中的显示图像的例子。图像生成部111使辅助信息生成部121检测出的病变BYH的位置或轮廓显示于显示图像IMG3中。

另外，辅助信息生成部121基于通过测距得到的被摄体表面的凹凸信息和上述检测出的病变BYH的位置或轮廓，估计病变的切除范围SJH。在该估计中，使用学习了切除范围的已学习模型。即，已学习模型将拍摄了病变的图像和医生等专家对该图像注释了切除范围的注释信息作为教师数据进行学习。图像生成部111使辅助信息生成部121估计出的切除范围SJH显示于显示图像IMG3中。如上所述，使病变BYH的位置或轮廓和切除范围SJH作为辅助信息显示在显示图像IMG3中。

使用内窥镜装置10的医师等能够参考显示有病变BYH以及切除范围SJH的显示图像IMG3来决定切除范围SJH。作为使用内窥镜的病变切除的方法，例如可以设想内窥镜的粘膜下层剥离术(Endoscopic Submucosal Dissection)。在该方法中，在切除范围的外周进行标记，但在该标记时，能够参考显示于显示图像IMG3的切除范围SJH。

5.第四实施方式

在第四实施方式中，处置辅助模式是自动识别出血点的出血点识别模式。出血点识别模式在止血处理时使用。例如，基于来自操作部600的输入而选择出血点识别模式。或者，也可以从存在诊断模式自动转移到出血点识别模式。例如，使在存在诊断模式中使用的已学习模型预先学习存在血块等出血区域的图像。在上述的ESD中剥离粘膜下层时，在剥离后的凹部产生血块。也可以将这样的图像作为教师数据来执行学习。由此，在ESD中在图像内产生了血块时，也可以从存在诊断模式自动转移到出血点识别模式。

图13是示出在出血点识别模式中的发光时序和拍摄时序的图。另外，对于与图2等相同的内容省略说明。

在期间TAI1中，光源控制部151使光源部140射出红色光R，在期间TAI2中，光源控制部151使光源部140射出琥珀色光A。红色光R和琥珀色光A的射出顺序也可以相反。

图14是出血点识别模式中的显示图像的例子。在作为白色光图像的通常图像中，血块看起来为红色或暗红色等。阴影部分表示血块。出血点存在于血块的底部。在由于来自送气送水管的送水而使得血和水混合的状态下，在出血点附近血红蛋白浓度变浓，但由于在白色光中难以看到血红蛋白浓淡的对比度，因此在通常图像中难以视觉辨认出血点。

在利用红色光R以及琥珀色光A拍摄到的辅助用图像中，血块是橙色等。在红色光R的波长区域中，血红蛋白几乎不被吸收，600nm附近的琥珀色光A在某种程度上被血红蛋白吸收。因此，在辅助用图像中，容易出现血红蛋白浓淡的对比度。在来自出血点的血流中血红蛋白浓度变浓，该部分与周围相比橙色变浓。在图14中，用SKT表示橙色变浓的区域。可以从该区域SKT估计出血点。

使出血点识别模式中的已学习模型将利用红色光R及琥珀色光A拍摄到的出血区域的图像和医生等专家对该图像注释了出血点的注释信息作为教师数据，进行学习。辅助信息生成部121通过使用上述已学习模型，根据拍摄血块及上述区域SKT而得到的辅助用图像来检测出血点的位置。该出血点的位置是出血点识别模式中的辅助信息。图像生成部111例如利用箭头JYS等将检测出的出血点的位置显示于显示图像中。使用内窥镜装置10的医师等能够参考显示于显示图像中的箭头JYS等来确定出血点。

以上，对应用本发明的实施方式及其变形例进行了说明，但是，本发明不限于各实施方式及其变形例，可以在实施阶段在不脱离发明的宗旨的范围内将构成要素变形并具体化。此外，通过适当组合在上述各实施方式或变形例中公开的多个技术特征，也能够形成各种发明。例如，也可以从各实施方式及变形例中记述的全部技术特征中删除几个技术特征。并且，也可以适当地组合在不同实施方式和变形例中说明的技术特征。这样，能够在不脱离发明主旨的范围内实现各种变形和应用。此外，在说明书或附图中，可以将至少一次与更广义或同义的不同术语一同记述的术语在说明书或附图的任何一个位置替换为该不同术语。

标号说明

10内窥镜装置、100控制装置、110处理部、111图像生成部、121辅助信息生成部、140光源部、141光源驱动部、142滤波部、151光源控制部、152模式判定部、160存储部、170接口、200镜体部、210插入部、211照明透镜、213摄像部、214光导、215测距传感器、240连接器、300显示部、400信息处理系统、410处理部、421辅助信息生成部、存储部460、600操作部、ATA关注区域、BYH病变、DC1～DC4分色镜、LDA、LDB、LDG、LDV光源、LN1～LN6透镜、SS1～SS5光传感器。

Claims (20)

1.一种内窥镜装置，其特征在于，

所述内窥镜装置包括：

光源部，其能够变更照明特性，其中所述照明特性包括射出的照明光的分光特性及光量、配光特性、照射定时中的至少1个；

摄像部，其拍摄被所述照明光照明的被摄体并输出图像信号；以及

处理部，其基于对诊断或者处置进行辅助的辅助信息来设定所述照明特性，

在所述照明特性为第一照明特性时，所述处理部根据基于所述图像信号而生成的第一辅助信息，将所述照明特性变更为第二照明特性。

2.根据权利要求1所述的内窥镜装置，其特征在于，

在所述照明特性为第一照明特性时，所述处理部基于所述图像信号而生成所述第一辅助信息，

在所述照明特性为所述第二照明特性时，所述处理部基于所述图像信号而生成如下的第二辅助信息：所述第二辅助信息的诊断或处置的内容与所述第一辅助信息不同。

3.根据权利要求2所述的内窥镜装置，其特征在于，

在所述辅助信息的生成处理中的判断模式为第一判断模式时，所述处理部设定所述第一照明特性，生成所述第一辅助信息，

所述处理部基于所述第一辅助信息，将所述判断模式切换为第二判断模式，

所述处理部在所述第二判断模式中，设定所述第二照明特性，生成所述第二辅助信息。

4.根据权利要求3所述的内窥镜装置，其特征在于，

所述处理部判断所述第一辅助信息是否满足规定条件，

所述处理部在判断为所述第一辅助信息满足所述规定条件时，从所述第一判断模式切换为所述第二判断模式。

5.根据权利要求3所述的内窥镜装置，其特征在于，

所述第一判断模式是诊断所述被摄体中包含的病变候选的存在的存在诊断模式，

所述第一辅助信息是表示所述病变候选的存在的信息，

所述第二判断模式是诊断所述病变候选的状态的定性诊断模式，

所述第二辅助信息是表示所述病变候选的状态的信息。

6.根据权利要求5所述的内窥镜装置，其特征在于，

所述处理部判断所述第一辅助信息是否满足规定条件，其中所述规定条件是指所述第一辅助信息所包含的所述病变候选的面积为规定值以上、或者所述摄像部的观察倍率为规定值以上，

所述处理部在判断为所述第一辅助信息满足所述规定条件时，从所述第一判断模式切换为所述第二判断模式。

7.根据权利要求5所述的内窥镜装置，其特征在于，

所述病变候选是肿瘤候选。

8.根据权利要求3所述的内窥镜装置，其特征在于，

在所述第一判断模式中，所述第一照明特性的所述照明光包含第一组的光，其中所述第一组的光是多个颜色的光中的至少1个光，

在所述第二判断模式中，所述第二照明特性的所述照明光包含第二组的光，其中所述第二组的光是所述多个颜色的光中的至少1个光，且与所述第一组不同。

9.根据权利要求8所述的内窥镜装置，其特征在于，

所述多个颜色的光包括紫色光及琥珀色光、绿色光。

10.根据权利要求3所述的内窥镜装置，其特征在于，

所述判断模式是诊断所述被摄体所包含的病变候选的存在的存在诊断模式、或诊断所述病变候选的状态的定性诊断模式、或辅助处置的处置辅助模式中的任意模式。

11.根据权利要求10所述的内窥镜装置，其特征在于，

所述定性诊断模式中的所述照明光包含用于炎症或中层血管、深层血管观察的光，这些光未包含在所述存在诊断模式中的所述照明光中，

或者所述存在诊断模式中的所述照明光包含紫色光和琥珀色光，

或者所述定性诊断模式中的所述照明光包含紫色光和绿色光、或绿色光和琥珀色光和红色光、或测距用照明光。

12.根据权利要求10所述的内窥镜装置，其特征在于，

所述处置辅助模式中的所述照明光包括测距用照明光、和作为窄带光的紫色光及琥珀色光，作为在所述辅助信息的生成处理中用于病变范围的提取或出血点的提取的光，

或者所述处置辅助模式中的所述照明光包括红色光和作为窄带光的琥珀色光。

13.根据权利要求2所述的内窥镜装置，其特征在于，

所述内窥镜装置包括对显示图像进行显示的显示部，

所述光源部分时地照射用于所述显示图像的生成的显示用照明光和所述照明特性与所述显示用照明光不同的辅助用照明光，

所述处理部根据射出所述显示用照明光时的所述图像信号，生成所述显示图像，

所述处理部根据射出所述辅助用照明光时的所述图像信号，生成所述辅助信息，

所述处理部进行将基于所述辅助信息的显示内容添加到所述显示图像中的图像处理。

14.根据权利要求13所述的内窥镜装置，其特征在于，

所述显示内容是所述辅助信息所表示的关注部位的位置和轮廓中的至少一方。

15.根据权利要求13所述的内窥镜装置，其特征在于，

在所述辅助用照明光的所述照明特性为第一照明特性时，所述处理部生成所述第一辅助信息，

所述处理部进行基于所述第一辅助信息而将第一显示内容添加到所述显示图像中的所述图像处理，

所述处理部基于所述第一辅助信息，将所述辅助用照明光的所述照明特性变更为所述第二照明特性，

在所述辅助用照明光的所述照明特性为所述第二照明特性时，所述处理部生成所述第二辅助信息，

所述处理部进行基于所述第二辅助信息而将与所述第一显示内容不同的第二显示内容添加到所述显示图像中的所述图像处理。

16.根据权利要求13所述的内窥镜装置，其特征在于，

所述显示用照明光是白色光，

所述辅助用照明光包含紫色光及琥珀色光、绿色光中的至少1个。

17.根据权利要求2所述的内窥镜装置，其特征在于，

所述内窥镜装置包括存储已学习模型的信息的存储部，

所述已学习模型是进行了学习以针对所述图像信号输出所述辅助信息的模型，

所述处理部通过基于所述已学习模型的处理，根据所述图像信号而生成所述辅助信息。

18.根据权利要求17所述的内窥镜装置，其特征在于，

所述存储部存储第一已学习模型和第二已学习模型的所述信息，

所述第一已学习模型是进行了学习以针对所述照明特性为所述第一照明特性时的所述图像信号输出所述第一辅助信息的模型，

所述第二已学习模型是进行了学习以针对所述照明特性为所述第二照明特性时的所述图像信号输出所述第二辅助信息的模型，

在所述照明特性为所述第一照明特性时，所述处理部通过基于所述第一已学习模型的处理而生成所述第一辅助信息，

在所述照明特性为所述第二照明特性时，所述处理部通过基于所述第二已学习模型的处理而生成所述第二辅助信息。

19.一种程序，所述程序使计算机执行如下步骤：

在照明特性为第一照明特性时，取得第一辅助信息，其中所述照明特性包含照明光的分光特性及光量、配光特性、照射定时中的至少1个，所述第一辅助信息是根据拍摄被所述照明光照明的被摄体而得到的图像信号而生成的，且所述第一辅助信息对诊断或者处置进行辅助；以及

根据所述第一辅助信息，将所述照明特性变更为第二照明特性。

20.根据权利要求19所述的程序，其特征在于，

所述程序使所述计算机执行如下步骤：

在所述照明特性为所述第一照明特性时，通过基于第一已学习模型的处理而生成所述第一辅助信息；

基于所述第一辅助信息，将所述照明特性变更为所述第二照明特性；以及

在所述照明特性为所述第二照明特性时，通过基于第二已学习模型的处理而生成所述第二辅助信息，

所述第一已学习模型是进行了学习以针对所述照明特性为所述第一照明特性时的所述图像信号输出所述第一辅助信息的模型，

所述第二已学习模型是进行了学习以针对所述照明特性为所述第二照明特性时的所述图像信号输出所述第二辅助信息的模型。

Images