CN115315210A - 图像处理装置、图像处理方法、导航方法以及内窥镜系统 - Google Patents

Abstract

图像处理装置具备：取得条件指定部，其针对图像取得部，设定包含显示用取得条件的第一取得条件以及包含所述显示用取得条件和分析用取得条件的第二取得条件，该图像取得部基于用于取得显示用图像的所述显示用取得条件取得第一图像，并基于用于取得图像分析用的图像的分析用取得条件取得第二图像；图像分析部，其进行针对由所述图像取得部取得的图像的图像分析；支援信息生成部，其基于所述图像分析部的图像分析结果生成支援信息；以及控制部，控制所述第一取得条件与第二取得条件的切换。

Description

图像处理装置、图像处理方法、导航方法以及内窥镜系统

技术领域

本发明涉及用于进行观察图像时的导航的图像处理装置、图像处理方法、导航方法以及内窥镜系统。

背景技术

以往，开发了使用图像处理技术来进行各种作业的支援的导航技术。例如，在医疗领域中，使用图像处理技术，能够进行支援内窥镜的插入的插入支援、病情的估计结果的诊断支援等。例如，还开发了计算机诊断支援(Computer Aided Diagnosis：CAD)，该计算机诊断支援基于在定量的判断尺度的提供/诊断时应关注的微细构造的确定/图像分析，提供病状的估计结果等支援信息。在实现这样的CAD、插入支援等的图像处理装置中，进行了用于对手术者提供适当的支援的研究。

例如，在日本特开2019-42156号公报中公开了如下技术：能够以能够比较位置或范围(大小)等的方式显示关于第一医疗图像和第二医疗图像的2个分析结果，使分析结果的确认变得容易。

然而，关于通过内窥镜等取得的实时的医疗图像，不仅为了图像分析而进行图像处理，还使监视器等进行图像显示，由此在手术、检查等中，能够向手术者提供患部等极其有用的图像信息。然而，在日本特开2019-42156号公报中，所取得的图像不适于手术、检查等时的目视，对于手术者而言未必进行了最佳的支援。

本发明的目的在于提供一种能够通过使图像的取得条件最佳化来对手术者进行极其有效的支援的图像处理装置、图像处理方法、导航方法以及内窥镜系统。

发明内容

用于解决课题的手段

本发明的一个方式的图像处理装置具备：取得条件指定部，其针对图像取得部，设定包含显示用取得条件的第一取得条件以及包含所述显示用取得条件和分析用取得条件的第二取得条件，该图像取得部取得基于所述显示用取得条件的第一图像和基于所述分析用取得条件的第二图像，其中所述显示用取得条件用于取得显示用图像，所述分析用取得条件用于取得图像分析用的图像；图像分析部，其对由所述图像取得部取得的图像进行图像分析；支援信息生成部，其基于所述图像分析部的图像分析结果来生成支援信息；以及控制部，其对所述第一取得条件与第二取得条件之间的切换进行控制。

本发明的一个方式的图像处理方法包含：摄像步骤，在第一摄像条件、第二摄像条件这两种不同的摄像条件下进行摄像而取得摄像结果；比较步骤，对所述不同的摄像条件下的多个摄像结果进行比较；以及摄像条件变更步骤，根据利用所述比较的结果得到的信息量的差异，进行对第三摄像条件的变更。

另外，在本发明的一个方式的导航方法中，对图像取得部设定包含显示用取得条件的第一取得条件，该图像取得部取得基于所述显示用取得条件的第一图像和基于分析用取得条件的第二图像，其中该显示用取得条件用于取得显示用图像，该分析用取得条件用于取得图像分析用的图像，对所述图像取得部设定包含所述显示用取得条件以及分析用取得条件的第二取得条件，对由所述图像取得部取得的图像进行图像分析，基于所述图像分析的结果，对所述图像取得部设定第三取得条件，该第三取得条件包含所述显示用取得条件以及与所述第二取得条件所包含的分析用取得条件不同的分析用取得条件。

并且，本发明的一个方式的内窥镜系统具备：内窥镜，其具有照明部和摄像部，该内窥镜取得基于显示用取得条件的第一图像和基于分析用取得条件的第二图像，其中该显示用取得条件用于取得显示用图像，该分析用取得条件用于取得图像分析用的图像；视频处理器，其基于所述显示用取得条件和所述分析用取得条件中的至少一方，使所述内窥镜取得所述第一图像和第二图像；以及图像处理装置，该图像处理装置具有：取得条件指定部，其设定包含所述显示用取得条件的第一取得条件以及包含所述显示用取得条件和分析取得条件的第二取得条件；图像分析部，其对由所述图像取得部取得的图像进行图像分析；支援信息生成部，其基于所述图像分析部的图像分析结果生成支援信息；以及控制部，其控制所述第一取得条件和第二取得条件之间的切换。

附图说明

图1是表示包含本发明的第一实施方式的图像处理装置的内窥镜系统的结构的框图。

图2是用于说明显示用图像和分析用图像的需求的图表。

图3是表示图1的内窥镜系统的利用方式的一例的说明图。

图4是用于说明从第一实施方式的内窥镜照射的WLI光和NBI光与被检体的粘膜中的血管的关系的图。

图5是用于说明DRI光与被检体的粘膜中的血管的关系的图。

图6是表示由视频处理器3取得的摄像图像的一例的说明图。

图7是表示向监视器5输出的图像的一例的说明图。

图8是表示提供给图像分析部32的图像的一例的说明图。

图9是用于说明基于显示用取得条件以及分析用取得条件的图像处理部12的图像处理的一例的图表。

图10是用于说明第一实施方式的动作的流程图。

图11是用于说明在特定的用例中取得的图像的说明图。

图12是用于说明基于判定部34的判定的取得条件I3的一例的图表。

图13是用于说明支援显示的说明图。

图14是用于说明针对多个请求的取得条件的优先顺序的图表。

图15是表示第二实施方式所采用的动作流程的流程图。

图16是表示第三实施方式的框图。

具体实施方式

以下，参照附图对本发明的实施方式进行详细说明。

(第一实施方式)

图1是表示包含本发明的第一实施方式的图像处理装置的内窥镜系统的结构的框图。

例如在内窥镜中，当想要通过不同的摄像装置取得用于导航的图像分析所使用的图像和显示于监视器的显示用的图像时，无法避免内窥镜前端部的大型化。基于这样的理由，一般情况下，作为用于导航的图像分析所使用的图像，沿用显示用的图像。然而，显示用的图像以适于显示的取得条件取得，图像分析所需的信息有可能缺失。需要说明的是，图像分析用的图像存在视觉辨认性差的可能性，不优选将图像分析用的图像用作显示用的图像。根据以上内容，难以一边显示容易观察的内窥镜图像一边基于高精度的分析结果进行支援。此外，在本说明书中，高精度的分析结果是指能够对手术者进行更有效的支援的分析结果，不仅意味着正确的分析结果，还意味着能够得到各种分析结果中的支援所需的种类的分析结果。

因此，在本实施方式中，通过能够取得取得条件不同的多种图像、即包含视觉辨认性优异的用于图像显示的图像和分析性优异的图像的多种图像，能够对手术者进行极其有效的支援。此外，分析性优异的图像是指能够得到高精度的分析结果的图像。

进而，在本实施方式中，为了在维持视觉辨认性优异的图像显示的同时取得分析性更优异的图像，也能够使图像的取得条件适应性地变化。另外，在图1中以内窥镜系统为例进行说明，但并不限定于此，能够应用于用于实施伴随观察的各种作业的各种装置。

图2是用于说明显示用图像和分析用图像的需求的图表。

显示用的图像(显示用图像)是用于通过人视觉辨认在画面上显示的图像来取得所需的信息的图像。另一方面，分析用的图像(分析用图像)是在导航装置中成为分析对象的图像。若考虑人与计算机的信息处理的质量，则与显示用图像和分析用图像分别相应的特性相互不同。

如图2所示，为了使人容易识别，显示用图像优选为尽量仅包含有用的信息的视觉辨认性优异的图像。例如，显示用图像的画质优选为噪声少、实施了接近人眼的特性的伽马处理、且强调了想要观察的频带的图像。

另一方面，分析用图像由计算机等处理，因此用于分析的图像信息所包含的信息量越多，越能够得到有用的分析结果(高精度的分析结果)。例如，关于画质，即使分析用图像是关注部位以外显眼的图像信息，对分析结果造成的不良影响也小。另外，若对图像实施降噪、伽马处理、图像强调处理等，则有时分析所需的信息缺失，因此对于分析用图像，优选不实施这些图像处理。

另外，例如，在对粘膜中的血管的观察等有效的NBI(窄带光观察(Narrow BandImaging))等特殊光观察的情况下，如果考虑人的图像识别能力，则作为显示在监视器画面上的图像，优选仅显示1种特殊光观察图像，或者，至少限于将特殊光观察图像叠加于通常光观察图像的显示。

另一方面，即使向导航装置连续地输入了多种特殊光观察图像信号，也不会对图像分析处理造成不良影响，反而通过多种图像信息得到有用的分析结果的可能性变高。

另外，显示用图像的帧率在人视觉辨认方面优选为30FPS以上，但关于分析用图像，即使是相对低的帧率、例如1FPS以下的帧率，也能够得到有用的信息。

(结构)

图3是表示图1的内窥镜系统的利用方式的一例的说明图。参照图3，对内窥镜系统的利用方式的一例进行说明。

图3示出使用内窥镜系统1对被检体P的腹腔内进行处置的例子。内窥镜系统1是腹腔镜手术系统的例子。内窥镜系统1主要具备：内窥镜2(腹腔镜)，其对被检体P的体腔内进行摄像并输出摄像信号；视频处理器3，其连接内窥镜2并控制该内窥镜2的驱动，并且取得与在该内窥镜2中拍摄到的被检体相关的摄像信号并对该摄像信号实施规定的图像处理；光源装置4，其内设于视频处理器3，提供用于向被检体照射的规定的照明光；监视器5，其显示与摄像信号对应的观察图像；以及导航装置30，其与视频处理器3连接，是用于进行诊断支援等的图像处理装置。

在图3中，示出内窥镜2和处置器具7经由套管针插入到被检体P的腹部的情形。内窥镜2经由通用软线与视频处理器3连接。在视频处理器3中内置有光源装置4，构成为通过光源装置4对腹腔内进行照明。内窥镜2由视频处理器3驱动，对被检体P的腹腔内进行摄像。由内窥镜2取得的摄像图像在由视频处理器3进行信号处理后，被提供给导航装置30。

导航装置30将输入的摄像图像提供给监视器5进行显示，并且通过对摄像图像的分析处理来生成支援信息。导航装置30根据需要将所生成的支援信息输出到监视器5并使其显示，由此对手术者进行支援。

在本实施方式中，导航装置30对视频处理器3给予指示，设定包含内窥镜2的摄像中的摄像条件以及视频处理器3的图像处理中的图像处理条件中的至少一方在内的图像的取得条件，由此在取得视觉辨认性优异的用于图像显示的图像的同时，取得对用于支援的图像分析有效的图像。

(内窥镜)

在图1中，作为内窥镜2，能够采用消化器官内窥镜或腹腔镜等各种内窥镜。内窥镜2具有：细长的插入部，其插入到被检体的体腔内等；以及操作部，其配设于插入部的基端侧，供手术者把持而进行操作。从操作部的基端部延伸设置有通用软线，通过该通用软线，内窥镜2装卸自如地连接于包含光源装置4的视频处理器3。

在插入部的例如前端配设有摄像装置20。摄像装置20具备光学系统21、摄像元件22以及照明部23。照明部23由光源装置4控制而产生照明光，将产生的照明光照射到被摄体。照明部23也可以是具有例如LED(发光二极管)等未图示的规定的光源的结构。在本实施方式中，照明部23也可以具有产生通常观察用的白色光的光源以及产生窄带观察用的窄带光的光源、产生规定波长的红外光的光源等多个光源。照明部23具有各种照射模式，被光源装置4控制，能够进行照明光的波长的切换、照射强度、照射的时间上的模式控制等。

另外，在图1中示出在摄像装置20内设置照明部23的例子，但也可以是如下结构：光源装置4产生照明光，通过未图示的光导将该照明光引导至内窥镜2的前端，对被摄体进行照射。

光学系统21具备用于变焦、对焦的未图示的透镜、光圈等，也可以具备驱动这些透镜的未图示的变焦(变倍)机构、聚焦以及光圈机构。来自照明部23的照明光被照射到被检体，来自被检体的返回光通过光学系统21而被引导到摄像元件22的摄像面。

摄像元件22由CCD、CMOS传感器等构成，对来自光学系统21的被摄体光学像进行光电转换而取得被摄体的摄像图像(摄像信号)。摄像装置20将所取得的摄像图像输出到视频处理器3。

视频处理器3具备控制视频处理器3的各部、摄像装置20以及光源装置4的控制部11。控制部11以及控制部11内的各部可以由使用了CPU(Central Processing Unit：中央处理单元)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等的处理器构成，可以按照存储于未图示的存储器的程序进行动作来控制各部，还可以通过硬件的电子电路来实现功能的一部分或者全部。

(光源装置)

光源装置4控制照明部23，产生白色光和各种特殊观察用光。例如，光源装置4也可以使照明部23产生白色光、NBI(窄带光观察(Narrow Band Imaging)光、DRI(长波长窄带光观察(Dual Red Imaging)光、用于AFI(荧光观察(Auto Fluorescence Imaging)的激励光(以下称为AFI光))。白色光被用作所谓WLI(white light imaging)观察(通常观察)用的照明光(以下称为WLI光)，NBI光被用于窄带光观察，DRI光被用于长波长窄带光观察，AIF光被用于荧光观察。

此外，照明部23可以由多种LED、激光二极管、氙灯等构成而产生这些照明光，也可以利用白色光、NBI滤镜、DRI滤镜、AFI滤镜等来生成这些照明光。通过照明部23使光量增减，能够变更摄像装置20的摄像时的曝光值，能够进行排除了饱和、低亮度噪声的影响的曝光控制。另外，作为NBI光，也可以产生波长λ＝415nm的蓝色光和波长λ＝540nm的绿色光。

(视频处理器)

视频处理器3的控制部11具备图像处理部12、摄像参数设定部13、图像处理参数设定部14以及显示控制部15。摄像参数设定部13能够控制光源装置4来设定照明部23产生的照明光的状态。另外，摄像参数设定部13能够控制摄像装置20来设定光学系统21的光学系统的状态和摄像元件22的驱动状态。

即，摄像参数设定部13能够设定包含摄像装置20的摄像时的光学条件和摄像元件23的驱动条件在内的摄像条件。例如，通过摄像参数设定部13的设定，能够产生NBI光、DRI光、AFI光等作为照明光，并且能够控制所产生的照明光的波长、强度等。另外，通过摄像参数设定部13的设定，摄像装置20能够进行各种模式下的摄像信号输出，例如，能够控制帧率、像素数、像素加法运算、读出区域的变更、感光度切换、颜色信号的辨别输出等。

另外，从摄像元件22输出的摄像信号有时被称为RAW数据，这有时被用作图像处理前的原始数据。

(图像处理部)

图像处理部12被提供从摄像装置20取入的摄像图像(动态图像以及静止图像)，对取入的摄像图像进行规定的信号处理，例如颜色调整处理、矩阵变换处理、噪声去除处理、图像的合成、自适应型处理、其他各种信号处理。图像处理参数设定部14设定图像处理部12中的图像处理的处理参数。

通过图像处理部12的图像处理，能够提高摄像图像的视觉辨认性。另外，通过图像处理部12的图像处理，还能够提高针对摄像图像的图像分析处理的分析特性。另外，图像处理部12还能够将来自摄像元件的所谓RAW数据转换为特定形式的数据。

显示控制部15被提供由图像处理部12进行了信号处理的摄像图像。显示控制部15将由摄像装置20取得的摄像图像转换为在监视器5中能够处理的观察图像并输出。

另外，在视频处理器3中设置有操作部16。操作部16例如也可以由各种按钮、拨盘、触摸面板构成，受理用户操作，将基于用户操作的操作信号输出到控制部11。另外，操作部16也可以构成为与免提对应，接受手势输入、声音输入等而产生操作信号。控制部11能够根据操作信号来控制各部。

在本实施方式中，由摄像参数设定部13以及图像处理参数设定部14进行的设定由导航装置30控制。

(导航装置)

导航装置30具备控制部31、图像分析部32、取得条件存储部33、判定部34、取得条件指定部35以及支援信息生成部36。控制部31既可以由使用了CPU、FPGA等的处理器构成，也可以按照存储于未图示的存储器中的程序进行动作来控制各部，还可以通过硬件的电子电路来实现功能的一部分或者全部。另外，导航装置30的整体或者导航装置30的各构成部也可以由使用了CPU、FPGA等的处理器构成，也可以按照存储于未图示的存储器中的程序进行动作来控制各部，还可以通过硬件的电子电路来实现功能的一部分或者全部。

在取得条件存储部33中存储有用于决定视频处理器3的摄像参数设定部13以及图像处理参数设定部14的设定内容的取得条件。例如，在取得条件存储部33中，也可以存储与光源装置4使照明部23发出的照明光的种类、设定有关的信息(以下，称为光源设定信息)、与光学系统21的驱动有关的信息(以下，称为光学系统设定信息)以及与摄像元件22的驱动有关的信息(以下，称为摄像设定信息)。进而，取得条件存储部33也可以存储用于决定图像处理部12的图像处理内容的信息(以下，称为图像处理设定信息)。

另外，在取得条件存储部33中，也可以将这些光源设定信息、光学系统设定信息、摄像设定信息以及图像处理设定信息(以下，也将它们称为取得条件设定信息)作为组来存储。例如，也可以预先存储初始状态下的取得条件设定信息、规定的观察模式下的取得条件设定信息、与规定的分析条件对应的取得条件设定信息等。

取得条件指定部35被控制部31控制，将从取得条件存储部33读出的取得条件设定信息指定给摄像参数设定部13以及图像处理参数设定部14。根据取得条件指定部35的指定，进行与内窥镜2中的观察模式、照明光的种类、摄像有关的控制、视频处理器3中的图像处理的处理等。另外，取得条件指定部35也可以构成为，对于未存储在取得条件存储部33中的取得条件设定信息，也通过控制部31的控制而产生并输出到视频处理器3。另外，也可以省略取得条件存储部33，由取得条件指定部35根据需要生成取得条件设定信息。

例如，由取得条件指定部35指定光源设定信息，由此由光源装置4指定使用WLI光、NBI光、DRI光、AFI光等中的哪一个照明光。

(WLI光、NBI光、DRI光、AFI光)

在此，参照图4、图5对本实施方式中采用的WLI光、NBI光、DRI、AFI光进行说明。图4是用于说明从第一实施方式的内窥镜照射的WLI光和NBI光与被检体的粘膜中的血管的关系的图，图5是用于说明DRI光与被检体的粘膜中的血管的关系的图。

通过向粘膜表面照射WLI光(白色光)，对于人(医生)来说能够通过自然的颜色在监视器上再现存在于粘膜的血管等。另一方面，在使用WLI光(白色光)的情况下，关于粘膜表层部的毛细血管和粘膜微细图案，对于人的识别而言未必能够清楚地再现。

在本实施方式中，也可以采用基于容易被血液中的血红蛋白吸收的窄带化的2个波长(蓝色光：390～445nm(在本实施方式中为415nm)/绿色光：530～550nm(在本实施方式中为540nm))的NBI(Narrow Band Imaging：窄带成像)光来观察粘膜。

通过照射该NBI光，如图4所示，在粘膜表层部61中的毛细血管64中吸收NBI光中的蓝色光(415nm)，结果清楚地描绘出该毛细血管64，另外，同样地，通过绿色光(540nm)描绘出比表层部稍深部的层62中的血管65。由此，强调显示粘膜表层部61中的毛细血管和粘膜微细图案。

另外，如上所述，在本实施方式中，也可以将作为窄带光的NBI光的波长设定为不同的其他波长来进行特殊光观察。

另一方面，在本实施方式中，也可以采用基于窄频带化为2个长波长(600nm/630nm)的光的DRI(Dual Red Imaging：红外成像)光，对被检体照射该DRI光，由此从在通常光观察中难以视觉辨认的粘膜深层中强调显示粘膜下层(图5中的层63)的血管66或血流信息。

进而，在本实施方式中，还能够进行对被检体照射用于荧光观察的规定的激励光，以不同的色调强调显示肿瘤性病变和正常粘膜的所谓的荧光观察AFI(Auto FluorescenceImaging：自动荧光成像)。

另外，不仅能够进行这样的光源控制，还能够根据取得条件设定信息进行光学系统21和摄像元件22的控制，例如，还能够根据取得条件的设定来变更摄像元件的曝光时间等。通过曝光控制，还能够排除饱和或低亮度噪声的影响。

(多种图像的取得方法的一例)

在本实施方式中，取得条件指定部35也可以混合产生规定显示用取得条件的取得条件设定信息(以下，称为显示用取得条件设定信息)和规定分析用取得条件的取得条件设定信息(以下，称为分析用取得条件设定信息)，所述显示用取得条件是用于取得视觉辨认性优异的显示用的图像的条件，所述分析用取得条件是用于取得图像分析处理的分析性优异的分析用的图像的条件。例如，也可以在规定的第一期间仅输出显示用取得条件设定信息，在规定的第二期间使显示用取得条件设定信息和分析用取得条件设定信息混合输出。

当显示用取得条件设定信息被提供给视频处理器3时，视频处理器3基于显示用取得条件设定信息来控制光源装置4(照明部23)、光学系统21、摄像元件22以及图像处理部12中的至少1个，以便能够输出视觉辨认性优异的显示用的图像。另外，视频处理器3若被混合输入显示用取得条件设定信息和分析用取得条件设定信息，则基于显示用取得条件设定信息和分析用取得条件设定信息，控制光源装置4(照明部23)、光学系统21、摄像元件22以及图像处理部12中的至少1个，以输出视觉辨认性优异的显示用的图像和分析性优异的图像。

这样，显示用取得条件是用于成为如下设定的摄像、照明的条件：该设定使光源的波长接近自然光(日光)，对摄像结果进行重视视觉辨认性的图像处理，帧率等也重视连续性，使得在医生用自然光寻找患部、或照射患部(主要是表面)进行观察时感觉自然。另外，分析用取得条件设为如下设定：在与医生的视觉辨认性相比增加了用于图像判定的有效信息量的摄像、照明的条件下，使光源的波长不仅到达患部表面还到达患部内部，对摄像结果进行重视用于分析的有效信息量的图像处理，帧率等也相比连续性更重视分析性，使得容易判定特定的图案、图像的特征。

图6至图8分别是表示在显示用取得条件设定信息和分析用取得条件设定信息混合输入到视频处理器3的情况下，由视频处理器3取得的摄像图像、输出到监视器5的图像或提供给图像分析部32的图像的一例的说明图。

图6表示通过摄像元件22的摄像而得到的一系列的帧。在图6中，WLI＜Raw＞表示通过使用高光量的WLI光作为照明光的摄像而得到的高帧率(例如30FPS以上)的摄像图像。另外，图6的NBI＜Raw＞表示通过将NBI光用作照明光的摄像(窄带光观察)而得到的低帧率(例如1FPS左右)的摄像图像。另外，低光量WLI＜Raw＞表示通过使用低光量的WLI光作为照明光的摄像而得到的低帧率(例如1FPS)的摄像图像。

WLI＜Raw＞帧用于生成显示用图像。NBI<Raw>帧和低光量WLI<Raw>帧用于生成分析用图像。注意，WLI<Raw>帧可以用于生成分析用图像。另外，虽然在图6中没有记载，但作为图像分析用的摄像图像，可以以低帧率(1FPS左右)取得使用DRI光作为照明光进行摄像而得到的DRI＜Raw＞帧，也可以取得基于AFI观察用激励光的摄像图像。这样，在对对象物进行摄像的相同位置，变更取得摄像而得的结果的条件，因此能够以简单的结构在不进行复杂的操作的情况下进行有用的信息取得。

例如，能够期待从高帧率(例如30FPS以上)的摄像图像得到视觉辨认性优异的显示图像，用于得到这样的图像的光源的设定条件、光学系统的设定条件、摄像设定条件等成为显示用取得条件，该高帧率的摄像图像通过将高光量的WLI光用作照明光的摄像而得到。

另外，例如，能够期待从NBI＜Raw＞帧等通过特殊光观察得到的图像得到图像分析的分析性优异的图像，用于得到这样的图像的光源的设定条件、光学系统的设定条件、摄像设定条件等成为分析用取得条件。另外，用于得到视觉辨认性优异的图像的图像处理的条件是显示用取得条件，用于得到分析性优异的图像的图像处理的条件是分析用取得条件。

图9是关于图像处理表示显示用取得条件以及分析用取得条件的具体例的图表，用于说明通过图像处理部12的图像处理能够实现的条件的一例。如图9所示，视频处理器3例如关于对摄像信号实施的图像处理中的伽马处理，按照显示用取得条件，实施与人眼的特性匹配的伽马处理。另外，视频处理器3按照分析用取得条件，不进行分析处理所不需要的伽马处理。同样地，关于其他的白平衡、颜色校正、降噪、图像强调等图像处理，视频处理器3根据显示用取得条件以及分析用取得条件，如图9所示，区分用于得到显示用图像的图像处理和用于得到分析用图像的图像处理。

视频处理器3的图像处理部12通过按照显示用取得条件设定信息进行信号处理，从WLI＜Raw＞的摄像图像取得视觉辨认性优异的显示用WLI图像。导航装置30将来自视频处理器3的摄像图像中的视觉辨认性优异的WLI图像作为显示用图像输出到监视器5。

图7示出该情况，导航装置30的控制部31提取从视频处理器3输出的图像中的WLI图像并输出到监视器5。在图7的例子中，在图6的一系列帧中，提取通过对WLI<Raw>的图像处理而得到的WLI图像，并且将该WLI图像提供给监视器5。另外，以提供给监视器5的WLI图像的帧率例如为30FPS以上的方式进行摄像。观察视觉辨认确认用的图像来进行操作，因此尽量不出现单位时间的图像帧缺失，但例如只要是图像不变化那样的状况，则不限于此。

这样，在监视器5的显示画面上显示由内窥镜2的摄像装置20得到的摄像图像。显示于监视器5的图像是视觉辨认性优异的WLI图像，手术者能够将摄像装置20的视野范围的图像确认为在监视器5的显示画面上容易观察的图像。

对于视觉辨认性优异的WLI图像，通过图像处理部12中的信号处理，有可能对用于导航的图像分析有用的信息缺失。因此，如图9所示，视频处理器3按照分析用取得条件，使针对分析用图像的较多的图像处理停止，并且附加对图像分析有用的信息。这样，通过分析用取得条件设定信息，能够输出对图像分析有用的分析用图像。

例如，对于上述粘膜表层部的毛细血管和粘膜微细图案等，难以通过WLI图像进行判别，能够通过使用了NBI图像的图像分析比较容易地进行判别，该NBI图像是通过使用了NBI光等的摄像而得到的。因此，控制部31例如将包含NBI图像的视频处理器3的输出图像全部提供给图像分析部32来实施图像分析。图8示出提供给图像分析部32的图像。另外，控制部31也可以仅将视频处理器3的输出图像中的除WLI图像以外的图像提供给图像分析部32。

图像分析部32为了支援手术者而进行各种图像分析。图像分析部32对从视频处理器3输入的摄像图像进行图像分析，得到图像分析结果。图像分析部32例如取得关于内窥镜2的插入部的行进方向的图像分析结果，或者取得关于病变部的鉴别结果的图像分析结果。图像分析部32的图像分析结果被提供给支援信息生成部36。

支援信息生成部36基于图像分析部32的图像分析结果，生成支援信息。例如，支援信息生成部36在根据图像分析结果得到了应该插入插入部的方向的情况下，生成表示该插入方向的支援信息。并且，例如，在根据图像分析结果得到病变部的鉴别结果的情况下，支援信息生成部36生成用于向手术者提示该鉴别结果的支援信息。支援信息生成部36也可以生成用于显示于监视器5的图像(支援图像)、文本(支援文本)等支援显示数据作为支援信息。另外，支援信息生成部36也可以生成用于从未图示的扬声器进行声音输出的声音数据作为支援信息。

(取得条件的变更)

此外，在本实施例中，导航装置30可以基于包含用于分析的图像的特性、从图像取得的各种信息在内的图像分析结果，来变更图像取得条件。判定部34对是否应该变更图像的取得条件、应该如何变更图像的取得条件进行判定。例如，判定部34在根据图像分析结果而无法得到充分的分析结果的情况下或判定为需要更详细的图像分析的情况下，指示取得条件指定部35变更为进行期望的图像分析所需的取得条件。

例如，判定部34也可以基于特定的基准来决定向特定的取得条件的变更。例如，判定部34也可以通过将从用于分析的图像中取得的对比度信息、直方图信息等图像分析结果所包含的值与规定的基准值进行比较，来决定应变更的取得条件。另外，判定部34也可以通过图案匹配等来判定在分析中使用的图像是否包含特定的图像特征、图案，并基于其结果来决定应设定的取得条件。

另外，判定部34也可以不仅根据图像分析结果，还根据观察模式、手术的内容等，指示取得条件指定部35变更为得到期望的分析结果所需的取得条件。

(作用)

接着，参照图10至图14对这样构成的实施方式的动作进行说明。图10是用于说明第一实施方式的动作的流程图，图11是用于说明在特定的用例中取得的图像的说明图。

图11的例子示出与图3相同的利用场景，示出将内窥镜2(硬性镜)插入体腔内来观察内部组织、器官的情形。

例如，在刚接通电源之后，导航装置30的取得条件指定部35从取得条件存储部33读出初始设定中的显示用取得条件设定信息，并提供给视频处理器3。显示用取得条件设定信息能够设定用于取得显示用图像的取得条件，视频处理器3的控制部11中的摄像参数设定部13根据显示用取得条件设定信息，设定光源装置4、光学系统21以及摄像元件22的参数。

由此，在图10的步骤S1中，进行通常观察。另外，图10中的取得条件I1例如是与初始设定中的显示用取得条件设定信息对应的取得条件，是预先确定的条件。根据取得条件I1，例如，光源装置4使照明部23射出高光量的WLI光，控制部11以高帧率(例如30FPS以上)驱动摄像元件22，由此从摄像装置20输出WLI＜Raw＞的摄像图像。

另外，控制部11中的图像处理参数设定部14基于显示用取得条件设定信息，设定图像处理部12的图像处理参数。因此，例如，如图9所示，图像处理部12对来自摄像装置20的摄像图像实施与人眼的特性匹配的伽马处理、白平衡处理、与人眼的特性匹配的颜色校正、降噪处理、图像强调处理等，并且生成适于显示的WLI图像。

由图像处理部12取得的WLI图像被提供给导航装置30。控制部31将所输入的WLI图像作为显示用图像输出到监视器5。这样，在监视器5的显示画面上显示视觉辨认性优异的WLI图像。手术者通过监视器5的显示画面上的视觉辨认性良好的WLI图像，能够可靠地观察体腔内的内部组织、器官等。

在图10的例子中，控制部31在步骤S2中判定是否成为应从取得条件I1变更为取得条件I2的特定时机。不一定需要在从手术、检查的开始时到结束为止的整个期间内进行借助导航装置30的支援。如果考虑导航装置30中的图像分析的处理量，则考虑优选仅在需要支援的情况下进行借助导航装置30的支援。因此，控制部31在有手术者的指示的情况下、或判定到达了规定的医疗场景的情况下，切换从基于显示用取得条件设定信息的取得条件I1向包含分析用取得条件设定信息的取得条件I2转移的转移时机。取得条件I2是预先设定的条件。另外，取得条件I1、I2能够根据用户设定而设定为适当的内容。

控制部31例如在根据手术者的操作判定为到达了特定时机时，使处理转移到步骤S3，指示取得条件指定部35转移到取得条件I2。此外，控制部31在判定为未到达特定时机的情况下，使处理转移到步骤S4。

取得条件指定部35在步骤S3中，读出包含显示用取得条件设定信息以及分析用取得条件设定信息的取得条件设定信息，并输出到视频处理器3，由此转移到取得条件I2。即，取得条件I2是用于通过使用显示用取得条件设定信息以及分析用取得条件设定信息，不仅取得显示用图像，还取得分析用图像的条件。

在该情况下，光源装置4、光学系统21以及摄像元件22被摄像参数设定部13以及图像处理参数设定部14控制，例如以30FPS以上的帧率取得WLI＜Raw＞，并且取得适于图像分析的图像。例如，如图11所示，摄像装置20反复取得WLI<Raw>、WLI<Raw>、NBI<Raw>、WLI<Raw>、低光量WLI<Raw>、WLI<Raw>帧。在图11的例子中，一系列的6帧中的4帧是基于显示用取得条件设定信息取得的WLI＜Raw＞帧，2帧是基于分析用取得条件设定信息取得的NBI＜Raw＞、低光量WLI＜Raw＞帧。

图像处理参数设定部14基于显示用取得条件设定信息和分析取得条件设定信息来控制图像处理部12。由此，图像处理部12针对WLI＜Raw＞帧，基于显示用取得条件设定信息进行信号处理，取得WLI图像。另外，图像处理部12对于NBI＜Raw＞、低光量WLI＜Raw＞帧，基于分析用取得条件设定信息，例如不实施显示用的信号处理。另外，图像处理部12将NBI＜Raw＞帧、低光量WLI＜Raw＞帧分别转换为NBI图像、低光量WLI图像。图像处理部12将这些图像输出到导航装置30。

如图11所示，导航装置30的控制部31将WLI图像作为显示用图像输出到监视器5，并且将NBI图像以及低光量WLI图像输出到图像分析部32。另外，WLI图像也被提供给图像分析部32。图像分析部32使用WLI图像、NBI图像以及低光量WLI图像进行图像分析，得到规定的分析结果。例如，在进行诊断支援的情况下，通过图像分析部32得到病变部候选的有无、病变部的鉴别等期望的分析结果。

在图像分析部32中分析出的图像包含适于分析的NBI图像等通过特殊光观察而得到的图像，另外，也未实施伴随信息的缺失的图像处理，因此具有对于图像分析而言充分的信息量，在图像分析部32中能够得到高精度的分析结果。该信息量是用于从图像导出什么的像素各自所具有的信息的量，或者显著地表现出像素的排列中的变化等的信息的量，设想对比度、空间频率、灰度特性、颜色变化、其波长的差异的识别性等识别所分析的各个图像所具有的对象物的特征所需的信息的量。

在本实施方式中，在步骤S2或S3之后进行步骤S4的处理和步骤S5的判定，但在步骤S5中判定为“否”的情况下，处理转移到步骤S7。在步骤S7中，判定是否需要支援显示。控制部31例如在根据图像分析部32的图像分析结果发现了病变部候选的情况下，判定为需要支援显示，使支援信息生成部36生成支援信息。支援信息生成部36基于图像分析部32的分析结果来生成支援信息。

支援信息生成部36例如也可以生成用于在监视器5的显示画面所显示的显示用图像上显示表示病变部候选的位置的标记(支援显示)的显示数据，作为发现了病变部候选的情况下的支援信息。控制部31将支援信息生成部36生成的显示数据提供给监视器5。这样，在监视器5所显示的显示用图像(内窥镜2的观察图像)上显示表示病变部候选的位置的标记(步骤S8)。

这样，在本实施方式中，通过将视觉辨认性优异的WLI图像显示于监视器5，容易确认患部等，并且利用适于图像分析的NBI图像等进行用于支援的图像分析，能够得到高精度的分析结果，能够进行对手术者而言极其有效的支援。另外，仅在需要支援的情况下取得分析用图像，能够在不使显示用图像的帧率不必要地降低的情况下进行高画质的显示，并且能够防止图像分析的处理量不必要地增大。另外，根据摄像装置20的摄像信号，取得这些显示用图像和分析用图像，不需要将多个摄像装置配置在内窥镜插入部的前端部，不会导致前端部的大型化，另外，也不会因应处理的信息处理量显著增大而需要高性能的硬件。

(适应性地变化的取得条件)

进而，在本实施方式中，通过设定根据状况而变化的取得条件I3，能够进行更高精度的分析。判定部34在步骤S4中，基于分析用图像、图像分析部32的图像分析结果，判定是否为了取得更高精度的分析结果而应该变更取得条件、变更的情况下的取得条件。判定部34判定是否能够得到更高精度的分析结果(步骤S5)，在得到的情况下，使取得条件指定部35为此设定取得条件I3(步骤S6)。另外，判定部34在判定为不能得到更高精度的分析结果的情况下，将处理转移到步骤S7。

在步骤S6中，取得条件指定部35按照判定部34的判定结果，从取得条件存储部33读出显示用取得条件设定信息以及分析用取得条件设定信息，作为取得条件I3输出到摄像参数设定部13以及图像处理参数设定部14。即，根据视频处理器3的输出而适应性地变化的取得条件I3被反馈给视频处理器3。此外，取得条件指定部35也可以不按照存储于取得条件存储部33的信息，而是按照判定部34的判定结果，生成显示用取得条件设定信息以及分析用取得条件设定信息并输出。

图12是用于说明基于判定部34的判定的取得条件I3的一例的图表。图12的状况一栏表示根据图像分析部32的分析结果得到的信息，反馈内容表示基于判定部34的判定结果由取得条件指定部35指定的取得条件I3。

即使在输出基于取得条件I1取得的显示用图像的情况下，图像分析部32也能够使用该显示用图像(WLI图像)进行图像分析。判定部34在从步骤S2转移到步骤S4的情况下，使用图像分析部32对WLI图像的分析结果进行判定。例如，根据图像分析部32对WLI图像的分析结果，得到与粘膜有关的血管信息。在判定部34判定为是粘膜表层部的血管看起来较多的状态的情况下，为了取得利用了长波长的照明光的NBI图像等分析用图像而设定取得条件，作为取得条件I3。

使用了短波长的照明光的显示用图像(短波长图像)容易确认组织表层的微细血管。因此，在微细血管看起来较多的情况下，根据粘膜表层部的血管信息判定为有可能潜在某些恶性肿瘤，为了更清楚地掌握该粘膜表层部的微细血管构造，设定用于取得NBI图像等作为分析用图像的取得条件I3。

此外，例如，判定部34在基于取得条件I2取得了分析用图像(WLI图像和NBI图像等)的情况下，在根据基于该分析用图像的分析结果示出粘膜表层部的微细血管的信息少时，设定用于取得DRI图像的取得信息I3，以得到粘膜的更深部的血管信息(例如，从粘膜的更深层到粘膜下层的血管信息)，该DRI图像通过基于短波长的DRI特殊光观察而得到。

另外，例如，判定部34根据图像分析部32分析出的图像中的被检体患部的图像的运动的大小，对显示用图像的帧率进行增减，并且设定用于对分析用图像的图像的种类进行增减的取得信息I3。

另外，例如，判定部34根据图像分析部32分析出的图像中的被检体患部的周边的亮度信息，设定用于变更分析用图像的亮度的取得信息I3。例如，在被检体患部的周边的图像较暗的情况下，设定用于使分析用图像的亮度变亮的取得信息I3，在被检体患部的周边的图像较亮的情况下，设定用于使分析用图像的亮度变暗的取得信息I3。另外，这样的控制能够通过适当修正光源的光量或摄像元件的曝光时间等来进行。这样，利用基于取得条件I3而取得的图像来进行步骤S8中的支援显示。

此外，在图10的流程图中，示出仅进行1次取得条件I3的变更的例子，但判定部34也可以根据需要反复变更取得条件I3的设定内容。

另外，在图10的说明中，说明了仅输出用于在规定的第一期间取得显示用图像的显示用取得条件设定信息，例如，在与手术者等的操作对应的规定的第二期间中，使显示用取得条件设定信息和分析用取得条件设定信息混合存在，取得显示用图像和分析用图像的例子。例如，可以将手术者使内窥镜2的插入部移动到观察对象部位的中途设为第一期间，以内窥镜2的前端部到达观察对象部位之后开始病变部候选的检测的时刻设定第二期间。

另外，示出首先仅使用用于取得显示用图像的显示用取得条件设定信息来生成取得条件I1的例子，但也可以在电源接通后始终设定显示用取得条件和分析用取得条件。例如，作为取得条件I1，也可以设定为对WLI＜Raw＞帧的每规定帧数取得1张例如NBI＜Raw＞帧，将基于WLI＜Raw＞的WLI图像用作显示用图像，将WLI图像和基于NBI＜Raw＞的NBI图像用作分析用图像。在该情况下，能够通过较高的帧率的WLI图像来显示高画质的图像，并且还能够在充分减小了导航装置30的处理负荷的状态下实施支援所需的分析。而且，通过基于分析结果或者根据手术者的操作来设定提高了分析用图像的取得比例的取得条件I2，能够实施与手术者所要求的支援对应的高精度的分析。

即，这样的图像取得控制不需要手术者特别注意，就像背景下的处理那样进行。因此，例如，手术者不用致力于判断是否为需要基于NBI光等的特殊观察的时机等，就能够进行准确的导航，能够瞬时地对手术者提供有效的支援。

图13是用于说明支援显示的说明图。图13表示将内窥镜2插入体腔P内并观察内部组织、器官的情况，箭头表示从硬性镜前端射出的照明光及其反射光，反射光入射到内窥镜2的摄像装置20。

(基于取得条件I1的显示用图像)

根据取得条件I1得到的显示用图像(Im1)是通过白色光观察而得到的，接近用人习惯的自然光观察的结果。即，在该例子中，取得条件I1是用于得到重视视觉辨认性的显示用图像的条件。但是，在基于该取得条件I1的摄像中，来自对象物表面的反射成分胜出，组织内部的信息相对减少，因此即使在由虚线包围的部分存在某种异常，有时也难以发现该异常。

(基于取得条件I2的分析用图像)

基于取得条件I2的分析用图像是根据包含能够观察组织内部的观察光的条件在内的摄像条件以及图像处理条件而取得的图像(Im2)，因此能够检测在体组织表面未出现的组织内部的异常。在图13中，阴影表示图像中检测到的病变部。如图4和图5中说明的那样，与通常的基于白色光观察的图像(根据取得条件I1取得的图像)相比，通过使用基于特殊光观察的图像(根据取得条件I2取得的图像)，能够得到高精度的分析结果。

(基于取得条件I3的分析用图像)

基于取得条件I3的分析用图像是为了得到更高精度的分析结果而使用从取得条件I2变更后的取得条件得到的图像(Im3)。在该情况下，如图13的阴影所示，病变部的形状比图像Im2清晰。其结果，使用图像(Im3)的分析结果与使用图像(Im2)的分析结果相比大多精度较高。

(支援显示)

支援信息生成部36基于更高精度的分析结果，生成支援信息。在图13的例子中，支援信息是表示病变部的形状的显示数据。控制部31将基于支援信息的显示与显示用图像(Im1)叠加显示。进而，支援信息生成部36也可以生成用于在虚线部的位置附近显示“发现病变部”等文本的显示数据作为支援信息。这样，观察者能够在对人眼而言自然的显示用图像上确认表示在图像分析部32中检测出的病变部的存在的显示，观察者也能够采取通过其他方法对该部分进行再检查等处置。

此外，借助支援信息生成部36的支援显示方法能够进行各种改良、定制。例如，在图13中，说明了根据基于取得条件I3的分析用图像进行支援显示的例子，但也可以根据基于取得条件I2的分析用图像进行支援显示。另外，支援信息生成部36可以直接显示分析用图像，也可以显示基于分析结果的合成图像，作为支援显示。

(取得条件决定的优先顺序)

判定部34在根据状况使取得条件变化的情况下，有时需要考虑多个请求(取得条件)。图14是用于说明针对这样的多个请求的优先顺序的图表。

例如，设为根据图像分析部32在分析中使用的WLI图像或NBI图像，检测的微细血管少，周边图像暗且图像上的运动大的状况。在该情况下，如果可能，则判定部34不降低显示用图像的帧率，为了能够取得使用长波长的DRI图像等作为分析用图像且取得明亮的图像，而产生取得条件I3。

但是，有时无法满足所有的请求。因此，判定部34对各请求(条件)赋予优先顺序，决定取得条件I3。例如，作为优先顺序1，判定部34将不使显示用图像的帧率降低作为条件。另外，作为优先顺序2，判定部34以取得使用了长波长的DRI图像等作为分析用图像为条件。另外，作为优先顺序3，判定部34以取得明亮的图像为条件。

判定部34考虑这样的优先顺序，对取得条件指定部35指示取得条件I3的生成。例如，取得条件指定部35生成用于将用作显示用图像的WLI＜Raw＞帧的帧率维持在30FPS以上的显示用取得条件设定信息。另外，例如，取得条件指定部35生成用于以2FPS基于DRI＜Raw＞帧取得DRI图像的分析用取得条件设定信息，该DRI＜Raw＞帧用于生成作为分析用图像的DRI图像。另外，例如，取得条件指定部35考虑到能够摄像的最大的帧率的限制，而不应对优先顺序3的请求。

这样，由于对针对视频处理器3的请求赋予优先顺序而生成的取得条件被反馈，所以在视频处理器3中，能够高效地取得对显示以及分析双方有用的图像。并且，在性能、功能不同的各种内窥镜和视频处理器中，能够可靠地取得与取得条件对应的图像。

这样，在本实施方式中，能够取得视觉辨认性优异的用于图像显示的图像和分析性优异的图像，能够在维持视觉辨认性优异的图像显示的同时，对各种作业进行极其有效的支援。另外，也能够使图像的取得条件适应性地变化，能够根据状况进行适当的支援。

此外，在图1中，示出将视频处理器3和导航装置30分体构成的例子，但显然也可以是导航装置30内置于视频处理器3的结构。另外，作为内窥镜系统，不限于腹腔镜手术系统，也可以应用于使用通常的软性内窥镜的内窥镜系统。

另外，导航装置30中的图像分析部32的分析、判定部34的判定、取得条件指定部35的取得条件设定信息的生成等也可以通过AI(人工智能)装置来实现。

(第二实施方式)

图15是表示第二实施方式所采用的动作流程的流程图。本实施方式中的硬件结构与图1相同，省略说明。

在第一实施方式中，说明了在得到比取得条件I1、I2更高精度的分析结果的情况下，适应性地设定取得条件I3的例子。本实施方式在从取得条件I1变更为取得条件I2的情况下，判定这些分析结果中的哪一个为更高精度。此外，分析结果为更高精度是指，如上所述，为了支援而得到更适合的分析结果，例如，包括从图像得到的信息量变多的情况等。在本实施方式中，在通过条件变更而得到能够得到更高精度的分析结果这一判定结果的情况下，进行与取得条件的变更内容相同种类的进一步的变更，在不是这样的情况下，进行与取得条件的变更内容不同种类的变更，由此能够进行最佳的取得条件的设定。

与取得条件的变更内容相同种类的进一步变更是指，例如在从用于取得通常光观察图像的取得条件I1变更为用于取得NBI图像的取得条件I2的情况下，使NBI光的波长变化的变更等。另外，与取得条件的变更内容不同种类的变更是指，例如在从用于取得通常光观察图像的取得条件I1变更为用于取得NBI图像的取得条件I2的情况下，代替NBI图像而进行用于取得DRI图像的取得条件的变更等。

例如，也可以针对取得条件I1和I2的组合，预先在取得条件存储部33中登记得到更高精度的分析结果的情况下的取得条件I3和分析结果的精度降低的情况下的取得条件I3。在该情况下，判定部34也可以根据分析结果是成为高精度还是精度降低的判定结果，对取得条件指定部35指示读出取得条件存储部33的哪个存储内容即可。

在图15的步骤S11中，基于预先确定的取得条件I1进行图像取入。例如，如图13所示，开始被检体体腔内的检查，在视频处理器3的控制部11的控制下，通过内窥镜2取得图像，经由导航装置30将摄像图像提供给监视器5。作为取得条件I1，例如采用显示用取得条件设定信息，取得WLI＜Raw＞帧。图像处理部12将基于WLI＜Raw＞帧的WLI图像输出到导航装置30，控制部31将WLI图像提供给监视器5并显示在画面上。这样，在监视器5的显示画面上显示视觉辨认性优异的WLI图像。

另外，视频处理器3将基于取得条件I1取得的WLI图像作为摄像图像Im1暂时记录到未图示的记录装置中(步骤S12)。另外，导航装置30的图像分析部32通过对基于取得条件I1取得的WLI图像的图像分析，得到分析结果。

控制部31在步骤S13中判定是否有取得条件的变更指示。与第一实施方式同样地，例如，能够根据手术者的指示产生取得条件的变更指示，另外，判定部34也能够根据图像分析部32的分析结果产生取得条件的变更指示。

当产生取得条件的变更指示时，控制部31使取得条件指定部35生成预先确定的取得条件I2。取得条件指定部35也可以从取得条件存储部33读出取得条件I2的信息。现在，取得条件I2是用于取得规定帧率以上的WLI图像和例如NBI图像等的条件。由此，例如如图6等所示，通过内窥镜2取得包含WLI＜Raw＞帧和NBI＜Raw＞帧的取得图像(步骤S14)。图像处理部12基于来自摄像装置20的摄像图像，生成WLI图像以及NBI图像并输出到导航装置30。

图像分析部32通过对基于取得条件I2取得的WLI图像以及NBI图像的图像分析，得到分析结果。支援信息生成部36生成基于分析结果的支援信息。另外，视频处理器3将基于取得条件I2取得的WLI图像以及NBI图像作为摄像图像Im2暂时记录到未图示的记录装置中(步骤S15)。

判定部34在步骤S16中，针对同一观察部位，判定是否取得了基于取得条件I1、I2的图像。例如，判定部34能够根据图像分析部32的分析结果，判定是否是基于同一观察部位的图像。

判定部34在判定为基于取得条件I1、I2的各图像是针对同一观察部位的图像的情况下，在接下来的步骤S17中，判定信息量(以下，写为信息量的部分是表示用于某些支援、辅助的图像所包含的对象物的特征的信息量)是否增加。即，判定部34对通过对被检体的某区域照射WLI光而得到的基于取得条件I1的图像Im1的信息量与通过对相同区域照射WLI光及NBI光而得到的基于取得条件I2的图像Im2的信息量的多少进行比较。确定部34判定图像Im1的信息量(获得有效支援所需的信息量)和图像Im2的信息量(获得有效支援所需的信息量)中的信息量相对大的图像。

判定部34在基于取得条件I2的图像的信息量比基于取得条件I1的图像增加的情况下，判定为能够通过同种的取得条件取得更有效的图像，在步骤S18中，对取得条件指定部35指示同种的取得条件I3的设定。另外，在图中，记载为同种变更内容的图像条件的部分在得到了足够的信息量的图像的情况下，也可以不进一步进行图像取得、加工等变更。

取得条件指定部35例如作为与取得条件I2同种的取得条件I3，变更为用于取得基于NBI光的图像的信息，该NBI光的波段与由取得条件I2指定的波段不同。这样，在该情况下，例如通过内窥镜2取得包含规定帧率以上的WLI＜Raw＞帧和基于与上次不同的波长的NBI光的NBI＜Raw＞帧在内的取得图像。图像处理部12基于来自摄像装置20的摄像图像，生成WLI图像以及NBI图像并将它们输出到导航装置30。

图像分析部32通过对基于取得条件I2取得的WLI图像以及NBI图像进行图像分析，得到分析结果。支援信息生成部36生成基于分析结果的支援信息。另外，视频处理器3对未图示的记录装置，将基于取得条件I3取得的WLI图像以及NBI图像作为摄像图像Im3进行暂时记录(步骤S19)。

另一方面，判定部34在步骤S17中判定为信息量未增加的情况下，将处理转移到步骤S20，判定信息量是否减少。即，判定部34判定与通过对被检体的某区域照射WLI光而得到的基于取得条件I1的图像Im1的信息量相比，通过对相同区域照射WLI光及NBI光而得到的基于取得条件I2的图像Im2的信息量是否减少。

在基于取得条件I2的图像的信息量比基于取得条件I1的图像减少的情况下，判定部34判定为能够通过与取得条件I2不同种类的取得条件取得有效的图像，在步骤S21中，对取得条件指定部35指示不同种类的取得条件I3的设定。

取得条件指定部35例如作为与取得条件I2不同种类的取得条件I3，代替由取得条件I2指定的NBI光，变更为用于取得基于DRI光的图像的信息。另外，取得条件指定部35作为与取得条件I2不同种类的取得条件I3，也可以变更为如下条件：包含与由取得条件I2指定的NBI光的波段不同的其他波段的NBI光，用于取得使用了DRI光、AFI光的图像。进而，取得条件指定部35也可以伴随摄像元件22的帧率的变更、图像处理部12的各种图像处理的变更。

图像分析部32通过对基于与取得条件I2不同种类的取得条件I3而取得的各图像进行图像分析，得到分析结果。支援信息生成部36生成基于分析结果的支援信息。另外，视频处理器3将基于与取得条件I2不同种类的取得条件I3而取得的各图像作为图像Im4暂时记录到未图示的记录装置中(步骤S22)。

控制部31在步骤S16、S20中判定为“否”的情况下或步骤S22的处理结束的情况下，转移到接下来的步骤S23，在基于取得条件I1～I3取得的图像是针对同一观察部位的图像的情况下，在监视器5所显示的图像Im1上叠加显示基于支援信息生成部36生成的支援信息的显示，该支援信息基于图像Im2～Im4的图像分析结果。

另外，在图15中，示出在任意一个步骤中仅进行1次基于步骤S18、S21的取得条件I3的设定的例子，但也可以反复执行步骤S16～S22，直到成为信息量既不增加也不减少的状态为止。但是，这样的反复有可能非常花费时间，无法迅速地决定条件，因此也可以在特定的状况下结束。也可以是两个条件中的较好的一方。这样，执行图像处理方法，由此能够利用在良好的条件下得到的图像提供高精度的支援信息，该图像处理方法具有：摄像步骤，在多个不同的摄像条件下进行摄像而取得摄像结果，比较步骤，对该不同的摄像条件下的多个摄像结果进行比较；以及摄像条件变更步骤，根据在上述比较结果中得到的信息量的差异来变更第三摄像条件。

这样，在本实施方式中，也能够得到与第一实施方式同样的效果。

(第三实施方式)

图16是表示第三实施方式的框图。

第三实施方式的内窥镜系统例如除了应用于使用大肠内窥镜那样的检查用内窥镜的系统以外，还能够应用于使用腹腔镜那样的外科手术用内窥镜的系统等多个内窥镜系统，但在图16中，图示设想了腹腔镜手术系统的内窥镜系统1。

如图16所示，主要具备：内窥镜2(腹腔镜)，其对被检体P的体腔内进行摄像并输出摄像信号；视频处理器3，其连接内窥镜2并控制该内窥镜2的驱动，并且取得与在该内窥镜2中拍摄到的被检体相关的摄像信号并对该摄像信号实施规定的图像处理；光源装置4，其内设于视频处理器3，提供用于向被检体照射的规定的照明光；监视器5，其显示与摄像信号对应的观察图像；以及导航装置30，其与视频处理器3连接，在使用了检查用内窥镜的系统中，虽然内窥镜2的类别不同，但其他构成要素与图16所示的例子相同。

另外，第三实施方式的内窥镜系统1中的各结构要素、即内窥镜2、视频处理器3、光源装置4、监视器(显示器)5、导航装置30各自的结构与第一实施方式相同，因此省略此处的详细说明。

本第三实施方式的内窥镜系统1例如在使用了检查用内窥镜的系统的情况下，将导航装置30高精度地标记了病变部位的图像输出到监视器(显示器)5。

具体而言，在使用大肠内窥镜的检查用内窥镜系统中的导航装置30的情况下，如图16所示，基于从视频处理器3如上述那样提供的无缺失的各图像信息(显示用图像信息+分析用图像信息)，例如将高精度地标记了被认为是病变部位的区域的图像输出到监视器(显示器)5，作为导航信息提供给手术者。

另一方面，在使用外科手术用内窥镜的系统的情况下，导航装置30将提示了对手术有用的信息的图像输出到监视器(显示器)5。

具体而言，在使用腹腔镜的外科手术用内窥镜系统中的导航装置30的情况下，如图16所示，基于从视频处理器3如上述那样提供的无缺失的各图像信息(显示用图像信息+分析用图像信息)，例如将肿瘤的位置、切除区域、主要血管位置等信息输出到监视器(显示器)5，作为导航信息提供给手术者。

如该第三实施方式的内窥镜系统那样，本发明在使用了各种内窥镜的内窥镜系统1中，作为如上所述从视频处理器3提供给导航装置30的图像信息，除了显示用的图像信息以外，还准备面向导航装置30的分析用的图像信息，使用没有缺失的图像信息在导航装置30中进行识别处理，因此在所有的内窥镜系统1中，都能够向手术者提供有用的导航信息(支援信息)。

另外，本第三实施方式的内窥镜系统如上述那样以检查用内窥镜系统、外科手术用内窥镜系统为例，但不限于此，本第三实施方式的内窥镜系统也可以应用于使用了其他种类的内窥镜的内窥镜系统。

另外，在这里说明的技术中，主要在流程图中说明的控制、功能大多能够通过程序来设定，通过计算机读取并执行该程序，能够实现上述的控制、功能。该程序作为计算机程序产品，能够在软盘、CD-ROM等非易失性存储器等可移动介质、硬盘、易失性存储器等存储介质中记录或存储其整体或一部分，能够在产品出厂时或经由可移动介质或通信线路流通或提供。用户通过经由通信网络下载该程序并安装到计算机中，或者从记录介质安装到计算机中，能够容易地实现本实施方式的图像处理装置。

本发明并不直接限定于上述各实施方式，在实施阶段能够在不脱离其主旨的范围内对构成要素进行变形而具体化。另外，通过上述各实施方式所公开的多个构成要素的适当组合，能够形成各种发明。例如，也可以删除实施方式所示的全部构成要素中的几个构成要素。进而，也可以适当组合不同实施方式中的构成要素。在此，以医疗用途的例子进行了说明，但不言而喻，成为也能够应用于民生用、工业用、产业用的设备的发明。例如，导航装置在医疗领域以外，在产业领域或警备领域中都能够将检测某种异常的装置、支援信息改写为促使注意的信息，在产业用应用中，也能够应用于利用工序内摄像机判定在工厂的生产线中流过来的物品或作业中的品质时的辅助、或者利用可穿戴摄像机或机器人摄像机进行监视时的注意引导、同样能够应用于利用车载摄像机进行的障碍物判定等。即使是民用照相机，也可能有各种引导的用途。在显微镜中，也已知基于光源、图像处理的切换的观察，本申请的应用是有效的。

Claims (12)

1.一种图像处理装置，其特征在于，具备：

取得条件指定部，其针对图像取得部，设定包含显示用取得条件的第一取得条件以及包含所述显示用取得条件和分析用取得条件的第二取得条件，该图像取得部取得基于所述显示用取得条件的第一图像和基于所述分析用取得条件的第二图像，其中所述显示用取得条件用于取得显示用图像，所述分析用取得条件用于取得图像分析用的图像；

图像分析部，其对由所述图像取得部取得的图像进行图像分析；

支援信息生成部，其基于所述图像分析部的图像分析结果来生成支援信息；以及

控制部，其对所述第一取得条件与第二取得条件之间的切换进行控制。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述图像取得部基于所述显示用取得条件和分析用取得条件中的至少一方，设定用于对摄像装置的光学系统和摄像元件中的至少一方进行控制的第一参数、用于对所述摄像装置的摄像对象进行照明光的控制的第二参数、以及用于对所述第一图像和第二图像进行信号处理的第三参数中的至少1个参数。

3.一种图像处理方法，其包含以下步骤：

摄像步骤，在第一摄像条件、第二摄像条件这两种不同的摄像条件下进行摄像而取得摄像结果；

比较步骤，对所述不同的摄像条件下的多个摄像结果进行比较；以及

摄像条件变更步骤，根据利用所述比较的结果得到的信息量的差异，进行对第三摄像条件的变更。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述显示用取得条件包含能够以规定的帧率以上的速率取得所述显示用图像的信息。

5.根据权利要求1所述的图像处理装置，其特征在于，

所述分析用取得条件包含能够将所述照明光的波段限制为规定的波段的信息。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述显示用取得条件包含用于使对所述图像取得部取得的图像实施信号处理的图像处理部实施用于显示的信号处理的信息，

所述分析用取得条件包含用于使所述图像处理部不实施用于显示的信号处理的信息。

7.根据权利要求1所述的图像处理装置，其特征在于，

所述取得条件指定部能够设定第三取得条件，该第三取得条件包含所述显示用取得条件和与所述第二取得条件所包含的分析用取得条件不同的分析用取得条件，

所述图像处理装置还具备判定部，该判定部基于所述图像分析部的图像分析结果，向所述取得条件指定部指示所述第三取得条件的设定。

8.根据权利要求7所述的图像处理装置，其特征在于，

所述第一取得条件以及第二取得条件是规定的条件，

所述第三取得条件是适应性地变化的条件。

9.根据权利要求7所述的图像处理装置，其特征在于，

所述判定部基于所述图像分析部的图像分析结果所包含的值与规定的基准值的比较，决定所述第三取得条件。

10.根据权利要求7所述的图像处理装置，其特征在于，

所述判定部根据所述图像分析部对基于所述第一取得条件而取得的图像的图像分析结果与所述图像分析部对基于所述第二取得条件而取得的图像的图像分析结果的比较，决定所述第三取得条件。

11.一种导航方法，其特征在于，

对图像取得部设定包含显示用取得条件的第一取得条件，该图像取得部取得基于所述显示用取得条件的第一图像和基于分析用取得条件的第二图像，其中该显示用取得条件用于取得显示用图像，该分析用取得条件用于取得图像分析用的图像，

对所述图像取得部设定包含所述显示用取得条件以及分析用取得条件的第二取得条件，

对由所述图像取得部取得的图像进行图像分析，

基于所述图像分析的结果，对所述图像取得部设定第三取得条件，该第三取得条件包含所述显示用取得条件以及与所述第二取得条件所包含的分析用取得条件不同的分析用取得条件。

12.一种内窥镜系统，其特征在于，具备：

内窥镜，其具有照明部和摄像部，该内窥镜取得基于显示用取得条件的第一图像和基于分析用取得条件的第二图像，其中该显示用取得条件用于取得显示用图像，该分析用取得条件用于取得图像分析用的图像；

视频处理器，其基于所述显示用取得条件和所述分析用取得条件中的至少一方，使所述内窥镜取得所述第一图像和第二图像；以及

图像处理装置，

该图像处理装置具有：

取得条件指定部，其设定包含所述显示用取得条件的第一取得条件以及包含所述显示用取得条件和分析取得条件的第二取得条件；

图像分析部，其对由所述图像取得部取得的图像进行图像分析；

支援信息生成部，其基于所述图像分析部的图像分析结果生成支援信息；以及

控制部，其控制所述第一取得条件和第二取得条件之间的切换。

Images