CN112040830A - 内窥镜图像处理装置和内窥镜图像处理方法 - Google Patents

Abstract

内窥镜图像处理装置(3)具有图像取得部(31)、关注区域检测部(33)、检测中断判定部(34)、显示判定部(35)和显示输出部(36)。检测中断判定部(34)判定关注区域检测部(33)中的关注区域的检测是否中断。显示判定部(35)在检测中断判定部(34)中得到了中断判定的情况下，进行是否在显示部(4)中显示辅助信息的判定即显示可否判定，该辅助信息以检测中断的关注区域恢复到显示部(4)的画面上的方式进行辅助。

Description

内窥镜图像处理装置和内窥镜图像处理方法

技术领域

本发明涉及内窥镜图像处理装置和内窥镜图像处理方法。

背景技术

以往，在内窥镜装置中，手术医生观看观察图像来判断有无病变部等。提出了如下技术：为了在手术医生观看观察图像时抑制病变部的漏看，显示用于辅助内窥镜检查的信息(以下称为辅助信息。)。例如，在日本特开2011-255006号公报中公开了如下的内窥镜装置：通过图像处理在检测到的关注区域中附加警报图像来显示观察图像。

此外，例如，在日本特许第5597021号公报中公开了如下的内窥镜系统的图像处理装置：在图像内的多个局部区域中根据计算出的特征量检测关注区域，使用检测到的关注区域从显示对象范围消失之前得到的关注区域的信息，估计从显示对象范围消失的关注区域的位置，显示针对消失的关注区域的诱导信息即消失方向信息。

作为辅助信息的警报图像或消失方向信息与观察图像一起被显示在显示部中。针对作为辅助信息的对象的关注区域，在详细观察未完成的情况下，通过显示辅助信息，能够提高病变部的检测率，缩短检测病变部的时间。但是，在详细观察完成的情况下，在显示部中显示不必要的辅助信息有时成为手术医生的负担，或者辅助信息遮挡观察图像，妨碍内窥镜检查。

因此，本发明的目的在于，提供能够适当地显示辅助信息的内窥镜图像处理装置和内窥镜图像处理方法。

发明内容

用于解决课题的手段

本发明的一个方式的内窥镜图像处理装置具有：图像取得部，其取得由内窥镜拍摄的被摄体的图像；显示输出部，其将至少包含由所述图像取得部取得的所述图像的显示用图像输出到显示部；关注区域检测部，其检测由所述图像取得部取得的所述图像中包含的关注区域；检测中断判定部，其判定所述关注区域检测部中的所述关注区域的检测是否中断；以及显示判定部，其在得到了在所述检测中断判定部中判定为所述关注区域的检测中断的判定结果即中断判定的情况下，进行是否在所述显示部中显示辅助信息的判定即显示可否判定，所述辅助信息以检测中断的所述关注区域恢复到所述显示部的画面上的方式进行辅助，在所述显示可否判定中判定为显示所述辅助信息的情况下，所述显示输出部将还包含所述辅助信息的图像作为所述显示用图像输出到所述显示部，在所述显示可否判定中判定为不显示所述辅助信息的情况下，所述显示输出部将不包含所述辅助信息的图像作为所述显示用图像输出到所述显示部。

此外，本发明的一个方式的内窥镜图像处理装置方法包含以下步骤：取得由内窥镜拍摄的被摄体的图像；将至少包含取得的所述图像的显示用图像输出到显示部；检测取得的所述图像中包含的关注区域；判定所述关注区域的检测是否中断；以及在得到了判定为所述关注区域的检测中断的判定结果即中断判定的情况下，进行是否在所述显示部中显示辅助信息的判定即显示可否判定，所述辅助信息以检测中断的所述关注区域恢复到所述显示部的画面上的方式进行辅助，在所述显示可否判定中判定为显示所述辅助信息的情况下，将还包含所述辅助信息的图像作为所述显示用图像输出到所述显示部，在所述显示可否判定中判定为不显示所述辅助信息的情况下，将不包含所述辅助信息的图像作为所述显示用图像输出到所述显示部。

附图说明

图1是示出包含本发明的第1实施方式的图像处理装置的内窥镜系统的概略的结构的说明图。

图2是示出图1所示的主体部和图像处理装置的硬件结构的一例的说明图。

图3是示出本发明的第1实施方式的图像处理装置的结构的功能框图。

图4是示出本发明的第1实施方式中的显示判定部的结构的功能框图。

图5是示出本发明的第1实施方式中的详细观察判定部、视觉辨认性判定部、重要性判定部和经过时间判定部中进行的显示可否判定的流程图。

图6是示出本发明的第1实施方式中的显示指示判定部中进行的显示可否判定的流程图。

图7是示出本发明的第1实施方式中的显示用图像的一例的说明图。

图8是示出本发明的第1实施方式中的观察图像的第1例的说明图。

图9是示出关注区域从图8所示的观察图像消失的状态的说明图。

图10是示出本发明的第1实施方式中的观察图像的第2例的说明图。

图11是示出关注区域从图10所示的观察图像消失的状态的说明图。

图12是示出本发明的第2实施方式的图像处理装置的结构的功能框图。

图13是示出本发明的第2实施方式中的显示判定部的结构的功能框图。

图14是示出本发明的第2实施方式中的辅助信息的第1例的说明图。

图15是示出本发明的第2实施方式中的辅助信息的第2例的说明图。

图16是示出本发明的第3实施方式的图像处理装置的结构的功能框图。

图17是示出本发明的第3实施方式中的显示用图像的一例的说明图。

具体实施方式

下面，参照附图对本发明的实施方式进行说明。

[第1实施方式]

(内窥镜系统的结构)

首先，对包含本发明的第1实施方式的内窥镜图像处理装置的内窥镜系统的概略的结构进行说明。图1是示出内窥镜系统100的概略的结构的说明图。如图1所示，内窥镜系统100具有内窥镜1、主体部2、本实施方式的内窥镜图像处理装置(下面简记为图像处理装置。)3、显示部4和光源驱动部5。内窥镜1与主体部2连接。光源驱动部5与内窥镜1和主体部2连接。主体部2与图像处理装置3连接。图像处理装置3与显示部4连接。

内窥镜1具有被插入到被检体内的插入部。在插入部的末端部设置有摄像部10。摄像部10具有光源部11和摄像元件12。光源部11由LED等发光元件构成，产生被照射到被摄体的照明光。被照射照明光的被摄体的反射光经由未图示的观察窗被取入到摄像元件12。摄像元件12例如由CCD或CMOS构成，对被摄体的反射光进行光电转换，生成摄像信号。

通过被设置于摄像部10的未图示的AD转换器，由摄像元件12生成的摄像信号从模拟信号被转换为数字信号。摄像部10将被转换为数字信号的摄像信号输出到主体部2。

主体部2构成为视频处理器，包含控制部21，该控制部21对内窥镜1和光源驱动部5进行控制，并且对摄像信号进行规定的图像处理。作为规定的图像处理，例如存在增益调整、白平衡调整、伽马校正、轮廓强调校正、放大缩小调整等图像调整。控制部21将被进行了规定的图像处理的摄像信号作为观察图像G1依次输出到图像处理装置3。

光源驱动部5是对光源部11进行驱动的电路，与内窥镜1的光源部11和主体部2的控制部21连接。光源驱动部5在从主体部2的控制部21被输入控制信号后，对光源部11输出驱动信号，对光源部11进行驱动，以产生照明光。

图像处理装置3根据从主体部2的控制部21输出的观察图像G1构成显示用图像G，将显示用图像G输出到显示部4。显示部41由监视器装置等构成，在画面上显示从图像处理装置3输出的显示用图像G。图像处理装置3的结构在后面进行说明。

内窥镜系统100还具有与主体部2连接的显示指示部6。显示指示部6在后面进行说明。

这里，参照图2对主体部2和图像处理装置3的硬件结构进行说明。图2是示出主体部2和图像处理装置3的硬件结构的一例的说明图。在图2所示的例子中，主体部2由处理器2A、存储器2B和输入输出部2C构成。此外，图像处理装置3由处理器3A、存储器3B和输入输出部3C构成。

处理器2A用于执行控制部21等主体部2的结构要素的功能。处理器3A用于执行后述图像处理装置3的多个结构要素(除了存储部以外。)的功能。处理器2A、3A分别例如由FPGA(Field Programmable Gate Array：现场可编程门阵列)构成。控制部21等主体部2的结构要素的至少一部分和图像处理装置3的多个结构要素的至少一部分也可以分别构成为FPGA中的电路块。

存储器2B、3B分别例如由RAM等可改写的存储元件构成。输入输出部2C用于在主体部2与外部之间进行信号的发送接收。输入输出部3C用于在图像处理装置3与外部之间进行信号的发送接收。

另外，处理器2A、3A分别也可以由中央运算处理装置(下面记为CPU。)构成。该情况下，CPU从存储器2B或未图示的存储装置中读出程序并执行，由此，也可以实现控制部21等主体部2的结构要素的功能。同样，CPU从存储器3B或未图示的存储装置中读出程序并执行，由此，也可以实现图像处理装置3的多个结构要素各自的功能。

此外，主体部2和图像处理装置3的硬件结构不限于图2所示的例子。例如，控制部21和主体部2的控制部21以外的结构要素分别也可以构成为单独的电子电路。此外，主体部2和图像处理装置3也可以构成为一体化的装置。

(图像处理装置的结构)

接着，参照图3对图像处理装置3的结构进行说明。图3是示出图像处理装置3的结构的功能框图。图像处理装置3具有图像取得部31、图像保存部32、关注区域检测部33、检测中断判定部34、显示判定部35和显示输出部36。

图像取得部31取得从主体部2输出的观察图像G1，作为由内窥镜1拍摄的被摄体的图像。此外，图像取得部31将取得的观察图像G1输出到图像保存部32、关注区域检测部33和显示输出部36。

由图像取得部31取得的观察图像G1被输入到图像保存部32。图像保存部32例如由图2所示的存储器3B和未图示的存储装置中的至少一方构成，保存观察图像G1。显示输出部36构成为能够读出图像保存部32中保存的观察图像G1。

由图像取得部31取得的观察图像G1被输入到关注区域检测部33。关注区域检测部33检测观察图像G1中包含的关注区域。此外，关注区域检测部33将关注区域的检测结果输出到检测中断判定部34和显示输出部36。在本实施方式中，关注区域检测部33检测病变候选区域L作为关注区域。关注区域检测部33的详细结构和病变候选区域L的检测方法在后面进行说明。

关注区域检测部33的检测结果被输入到检测中断判定部34。检测中断判定部34根据被输入的检测结果，判定关注区域检测部33中的关注区域的检测是否中断。此外，检测中断判定部34将该判定结果输出到显示判定部35。下面，将判定为关注区域的检测中断的判定结果称为中断判定。检测中断判定部34中的判定的方法在后面进行说明。

检测中断判定部34的判定结果被输入到显示判定部35。显示判定部35在得到了中断判定的情况下，进行是否在显示部4中显示辅助信息的判定即显示可否判定，该辅助信息以检测中断的关注区域恢复到显示部4的画面上的方式进行辅助。此外，显示判定部35将显示可否判定的结果输出到显示输出部36。显示判定部35的详细结构和显示可否判定的内容在后面进行说明。

显示输出部36读出图像保存部32中保存的观察图像G1，构成至少包含观察图像G1的显示用图像G，将构成的显示用图像G输出到显示部4。另外，显示输出部36也可以代替图像保存部32中保存的观察图像G1而使用由图像取得部31输出的观察图像G1构成显示用图像G。

此外，显示判定部35的显示可否判定的结果被输入到显示输出部36。在显示可否判定中判定为在显示部4中显示辅助信息的情况下，显示输出部36构成包含辅助信息的图像作为显示用图像G，将构成的图像输出到显示部4。另一方面，在显示可否判定中判定为不在显示部4中显示辅助信息的情况下，显示输出部36构成不包含辅助信息的图像作为显示用图像G，将构成的图像输出到显示部4。显示输出部36的详细结构和显示用图像G的结构在后面进行说明。

(关注区域检测部的结构)

接着，参照图3对关注区域检测部33的结构进行说明。在本实施方式中，关注区域检测部33包含特征量计算部331、病变候选检测部332和存储部333。存储部333例如由图2所示的存储器3B或未图示的存储装置构成。

由图像取得部31取得的观察图像G1被输入到特征量计算部331。特征量计算部331计算观察图像G1中包含的像素的特征量，将计算出的特征量输出到病变候选检测部332。例如，按照观察图像G1上的每个规定的小区域，运算规定的小区域内的各像素和与该像素相邻的像素的变化量即倾斜值，来计算特征量。

由特征量计算部331计算出的特征量被输入到病变候选检测部332。病变候选检测部332根据特征量检测观察图像G1的病变候选区域L，将病变候选区域L的检测结果、具体而言为包含病变候选区域L的位置和大小等信息的病变候选信息，输出到检测中断判定部34和显示输出部36。

另外，关注区域检测部33的结构不限于上述例子。例如，关注区域检测部33也可以构成为，通过深度学习等机器学习的方法来检测作为关注区域的病变候选区域L。

(病变候选区域的检测方法)

下面，对病变候选检测部332中的病变候选区域L的检测方法进行说明。通过对特征量和病变模型信息进行比较来检测病变候选区域L。病变模型信息由大量病变图像共同具有的特征的特征量构成。在存储部333中预先存储有多个病变模型信息。病变候选检测部332从存储部333读出多个病变模型信息，对被输入的特征量和多个病变模型信息进行比较，检测病变候选区域L。

具体而言，病变候选检测部332例如对从特征量检测部输入的每个规定的小区域的特征量和病变模型信息进行比较，检测彼此的特征量一致的区域作为病变候选区域L。

(检测中断判定部中的判定方法)

接着，对检测中断判定部34中的判定方法进行说明。如上所述，检测中断判定部34根据关注区域检测部33的检测结果，判定关注区域检测部33中的关注区域的检测是否中断。通过监视在关注区域检测部33中是否持续检测到关注区域，判定关注区域的检测是否中断。在持续检测到关注区域的情况下，检测中断判定部34判定为关注区域检测部33中的关注区域的检测未中断。另一方面，在关注区域的检测中断的情况下，检测中断判定部34判定为关注区域检测部33中的关注区域的检测中断。

下面，以病变候选区域L为例对具体的判定方法的一例进行说明。包含病变候选区域L的位置和大小等信息的病变候选信息作为关注区域检测部33的检测结果被输入到检测中断判定部34。首先，检测中断判定部34使用从当前的观察图像G1中检测到的病变候选信息(下面称为第1病变候选信息。)和从过去的观察图像G1例如当前的观察图像G1的前1帧的观察图像G1中检测到的病变候选信息(下面称为第2病变候选信息。)，判定由第1病变候选信息表示的病变候选区域L和由第2病变候选信息表示的病变候选区域L是否相同。例如，根据2个病变候选区域L的重叠程度，判定是否相同。在判定为2个病变候选区域L相同的情况下，检测中断判定部34判定为病变候选区域L的检测未中断。

另一方面，在判定为2个病变候选区域L不相同的情况下，检测中断判定部34判定为由第2病变候选信息表示的病变候选区域L的检测中断。此外，检测中断判定部34在未得到第1病变候选信息的情况下，也判定为由第2病变候选信息表示的病变候选区域L的检测中断。

另外，检测中断判定部34也可以包含存储第2病变候选信息的未图示的存储部。未图示的存储部例如由图2所示的存储器3B或未图示的存储装置构成。

(显示判定部的结构)

接着，参照图4对显示判定部35的结构进行说明。图4是示出显示判定部35的结构的功能框图。显示判定部35包含在得到了中断判定的情况下进行显示可否判定的多个判定部。在本实施方式中，显示判定部35包含详细观察判定部351、视觉辨认性判定部352、重要性判定部353、显示指示判定部354、经过时间判定部355和存储部356。存储部356例如由图2所示的存储器3B或未图示的存储装置构成。

详细观察判定部351计算根据是否详细观察了作为关注区域的病变候选区域L而变化的详细观察参数，根据计算出的详细观察参数进行显示可否判定。详细观察参数例如被规定成，随着内窥镜1的使用者详细观察了病变候选区域L的可能性变高而成为较大的数值。

在本实施方式中，根据病变候选区域L的形状变化量、病变候选区域L的移动量和内窥镜1的观察模式中的至少一方计算详细观察参数。病变候选区域L的形状变化量和病变候选区域L的移动量能够使用与判定为检测中断的病变候选区域L对应的多个病变候选信息进行计算。在形状变化量和移动量较少的情况下，使用者详细观察了病变候选区域L的可能性变高。因此，该情况下，详细观察参数被计算成较大的数值。

另外，存储部356构成为存储病变候选信息。详细观察判定部351也可以从存储部356读出与判定为检测中断的病变候选区域L对应的多个病变候选信息，计算病变候选区域L的形状变化量和病变候选区域L的移动量。

内窥镜1的观察模式例如能够通过操作按钮或操作开关等任意的操作单元来指定。作为操作单元，例如能够使用图2所示的操作单元63。操作单元63与主体部2的输入输出部2C连接。主体部2的控制部21将内窥镜1的观察模式的信息输出到图像处理装置3。控制部21输出的内窥镜1的观察模式的信息被输入到详细观察判定部351。例如，在从观察图像G1中检测到判定为检测中断的病变候选区域L的情况下，使用者详细观察了病变候选区域L的可能性变高，该观察图像G1是在选择窄带光观察(Narrow Band Imaging)模式或对被检体内进行染色而观察的模式时得到的。因此，该情况下，详细观察参数被计算成较大的数值。

视觉辨认性判定部352计算根据作为关注区域的病变候选区域L的视觉辨认的容易度而变化的视觉辨认性参数，根据计算出的视觉辨认性参数进行显示可否判定。视觉辨认性参数例如被规定成，病变候选区域L越容易视觉辨认，则成为越大的数值。

在本实施方式中，根据病变候选区域L的颜色、形状和纹理中的至少一方计算视觉辨认性参数。例如能够根据判定为检测中断的病变候选区域L的位置和大小等信息以及检测到该病变候选区域L的观察图像G1，取得病变候选区域L的颜色、形状和纹理。病变候选区域L的颜色、形状和纹理越具有特征，则病变候选区域L越容易视觉辨认。因此，在病变候选区域L的颜色、形状和纹理具有特征的情况下，视觉辨认性参数被计算成较大的数值。

另外，如上所述，存储部356构成为存储病变候选信息。视觉辨认性判定部352也可以从存储部356读出与判定为检测中断的病变候选区域L对应的病变候选信息，并且从图像保存部32读出检测到该病变候选信息的观察图像G1，取得病变候选区域L的颜色、形状和纹理。

重要性判定部353计算作为关注区域的病变候选区域L的医学重要度，根据计算出的重要度进行显示可否判定。在本实施方式中，特别地，重要性判定部353根据与重要度具有对应关系的重要度参数进行显示可否判定。重要度参数被规定成，重要度越高即医学危险性越高，则成为越小的数值，重要度越低即医学危险性越低，则成为越大的数值。

根据病变候选区域L的颜色、形状和纹理中的至少一方计算重要度。重要性判定部353也可以从存储部356读出与判定为检测中断的病变候选区域L对应的病变候选信息，并且从图像保存部32读出检测到该病变候选信息的观察图像G1，取得病变候选区域L的颜色、形状和纹理。

显示指示判定部354在得到了中断判定的情况下，根据内窥镜1的使用者进行的是否显示辅助信息的指示进行显示可否判定。例如，经由图1所示的显示指示部6取得是否显示辅助信息的指示。主体部2的控制部21将取得的指示的内容输出到图像处理装置3。控制部21输出的指示的内容被输入到显示指示判定部354。

在本实施方式中，通过使用者的视线、使用者的发言和使用者对指示单元的操作中的至少一方进行是否显示辅助信息的指示。如图2所示，显示指示部6例如包含检测使用者的视线的照相机61、检测使用者的发言的麦克风62、以及作为指示单元的操作按钮或操作开关等操作单元63。

另外，显示指示部6也可以与图像处理装置3连接。该情况下，显示指示判定部354也可以直接从显示指示部6取得指示的内容。另外，该情况下，图2所示的照相机61、麦克风62和操作单元63与图像处理装置3的输入输出部3C连接。

经过时间判定部355计测从得到了中断判定的时刻起的经过时间，根据计测出的经过时间进行显示可否判定。

显示判定部35根据详细观察判定部351、视觉辨认性判定部352、重要性判定部353、显示指示判定部354和经过时间判定部355各自的判定结果，决定向显示输出部36输出的判定结果的内容，将决定的判定结果输出到显示输出部36。

这里，对判定结果的内容的决定方法进行说明。例如，如下所述决定判定结果的内容。首先，对详细观察判定部351、视觉辨认性判定部352、重要性判定部353和经过时间判定部355中分别用于显示可否判定的参数进行归一化，计算4个归一化参数。这些归一化参数例如以如下方式被归一化：判定为不显示辅助信息的可能性最高的情况成为1，判定为显示辅助信息的可能性最低的情况成为0。此外，对显示指示判定部354中用于显示可否判定的指示进行数值化，设为归一化参数。在不显示辅助信息的指示的情况下，该归一化参数为1，在显示辅助信息的指示的情况下，该归一化参数为0。然后，根据上述5个归一化参数中的数值最大的归一化参数决定判定结果的内容。

具体而言，例如，对数值最大的归一化参数和规定的阈值(大于0且小于1的值)进行比较。在数值最大的归一化参数为规定的阈值以上的情况下，显示判定部35将向显示输出部36输出的判定结果决定为不显示辅助信息这样的内容。另一方面，在数值最大的归一化参数小于规定的阈值的情况下，显示判定部35将向显示输出部36输出的判定结果决定为显示辅助信息这样的内容。

另外，判定结果的内容的决定方法不限于上述方法。例如，也可以对上述5个归一化参数进行加权平均，根据被加权平均的归一化参数决定判定结果的内容。

此外，显示判定部35的结构不限于图4所示的例子。例如，显示判定部35也可以仅包含图4所示的多个判定部中的一部分，还可以包含图4所示的多个判定部以外的判定部。

(显示可否判定的内容)

接着，对详细观察判定部351、视觉辨认性判定部352、重要性判定部353、显示指示判定部354和经过时间判定部355中分别进行的显示可否判定的内容进行说明。首先，参照图5对详细观察判定部351中进行的显示可否判定进行说明。图5是示出详细观察判定部351、视觉辨认性判定部352、重要性判定部353和经过时间判定部355中进行的显示可否判定的流程图。

详细观察判定部351在得到了中断判定的情况下，首先计算详细观察参数(步骤S11)。接着，对详细观察参数和规定的阈值进行比较(步骤S12)。在详细观察参数为规定的阈值以上的情况下(是)，详细观察判定部351判定为不显示辅助信息(步骤S13)。另一方面，在详细观察参数小于规定的阈值的情况下(否)，详细观察判定部351判定为显示辅助信息(步骤S14)。图5所示的步骤S12、S13、S14对应于详细观察判定部351中进行的显示可否判定。

另外，详细观察参数为规定的阈值以上的情况相当于估计为详细观察了病变候选区域L的情况。详细观察参数小于规定的阈值的情况相当于估计为未详细观察病变候选区域L的情况。

视觉辨认性判定部352、重要性判定部353和经过时间判定部355中进行的显示可否判定的内容基本上与详细观察判定部351中进行的显示可否判定的内容相同。即，视觉辨认性判定部352在得到了中断判定的情况下，首先计算视觉辨认性参数(步骤S11)。接着，对视觉辨认性参数和规定的阈值进行比较(步骤S12)。在视觉辨认性参数为规定的阈值以上的情况下(是)，视觉辨认性判定部352判定为不显示辅助信息(步骤S13)。另一方面，在视觉辨认性参数小于规定的阈值的情况下(否)，视觉辨认性判定部352判定为显示辅助信息(步骤S14)。图5所示的步骤S12、S13、S14对应于视觉辨认性判定部352中进行的显示可否判定。

另外，视觉辨认性参数为规定的阈值以上的情况相当于容易视觉辨认病变候选区域L的情况。视觉辨认性参数小于规定的阈值的情况相当于不容易视觉辨认病变候选区域L的情况。

此外，重要性判定部353在得到了中断判定的情况下，首先计算重要度，计算与重要度具有对应关系的重要度参数(步骤S11)。接着，对重要度参数和规定的阈值进行比较(步骤S12)。在重要度参数为规定的阈值以上的情况下(是)、即重要度较低的情况下，重要性判定部353判定为不显示辅助信息(步骤S13)。另一方面，在重要度参数小于规定的阈值的情况下(否)、即重要度较高的情况下，重要性判定部353判定为显示辅助信息(步骤S14)。图5所示的步骤S12、S13、S14对应于重要性判定部353中进行的显示可否判定。

此外，经过时间判定部355在得到了中断判定的情况下，首先计测从得到了中断判定的时刻起的经过时间。经过时间对应于图5的步骤S11中的参数。接着，对作为参数的经过时间和规定的阈值进行比较(步骤S12)。在经过时间为规定的阈值以上的情况下(是)，经过时间判定部355判定为不显示辅助信息(步骤S13)。另一方面，在经过时间小于规定的阈值的情况下(否)，经过时间判定部355判定为显示辅助信息(步骤S14)。图5所示的步骤S12、S13、S14对应于经过时间判定部355中进行的显示可否判定。另外，经过时间判定部355中进行的显示可否判定例如也可以在中断判定后以规定的间隔反复执行。

接着，参照图6对显示指示判定部354中进行的显示可否判定进行说明。图6是示出显示指示判定部354中进行的显示可否判定的流程图。显示指示判定部354在得到了中断判定的情况下，首先取得是否显示辅助信息的指示的内容(步骤S21)。接着，显示指示判定部354根据取得的指示的内容进行显示可否判定(步骤S22)。在取得的指示的内容是不显示辅助信息这样的内容的情况下，显示指示判定部354判定为不显示辅助信息。在取得的指示的内容是显示辅助信息这样的内容的情况下，显示指示判定部354判定为显示辅助信息。另外，显示指示判定部354中进行的显示可否判定例如也可以在中断判定后以规定的间隔反复执行。

(显示输出部的结构)

接着，参照图3对显示输出部36的结构进行说明。在本实施方式中，显示输出部36包含强调处理部361和辅助信息处理部362。显示输出部36能够根据从图像保存部32读出的观察图像G1、从病变候选检测部332输入的病变候选区域L的检测结果即病变候选信息和从显示判定部35输入的判定结果，进行强调处理和辅助信息显示处理。

在病变候选检测部332中检测到病变候选区域L的情况下，强调处理部361对观察图像G1进行强调处理。强调处理是进行强调示出病变候选区域L的位置的显示的处理。具体而言，例如，作为强调处理，强调处理部361对观察图像G1可以进行附加包围病变候选区域L的标记图像的处理，也可以进行使病变候选区域L的明亮度或色调与周边区域不同的处理。

在从显示判定部35输入的判定结果是显示辅助信息这样的内容的情况下，辅助信息处理部362对观察图像G1进行辅助信息显示处理。辅助信息显示处理是在作为关注区域的病变候选区域L从显示部4的画面上消失的情况下进行示出病变候选区域L的位置的显示的处理。具体而言，例如，作为辅助信息显示处理，辅助信息处理部362对观察图像G1可以进行附加表示消失的病变候选区域L的位置和方向的警报图像的处理，也可以进行使观察图像G1的外框的颜色变化的处理。

在病变候选检测部332中检测到病变候选区域L、且显示判定部35中的判定结果是显示辅助信息这样的内容的情况下，显示输出部36将被进行了强调处理和辅助信息显示处理的观察图像G1、即包含强调示出病变候选区域L的位置的显示和作为辅助信息示出病变候选区域L的位置的显示的图像，作为显示用图像G输出到显示部4(参照图1)。

此外，在病变候选检测部332中未检测到病变候选区域L、且显示判定部35中的判定结果是显示辅助信息这样的内容的情况下，显示输出部36将未被进行强调处理而被进行了辅助信息显示处理的观察图像G1、即包含作为辅助信息示出病变候选区域L的位置的显示、但是不包含强调示出病变候选区域L的位置的显示的图像，作为显示用图像G输出到显示部4。

此外，在病变候选检测部332中未检测到病变候选区域L、且显示判定部35中的判定结果是不显示辅助信息这样的内容的情况下，显示输出部36将未被进行强调处理和辅助信息显示处理的观察图像G1、即不包含强调示出病变候选区域L的位置的显示和作为辅助信息示出病变候选区域L的位置的显示的图像，作为显示用图像G输出到显示部4。

(显示用图像的结构)

接着，对显示用图像G的结构进行说明。图7是示出显示用图像G的结构的一例的说明图。如图7所示，在从显示输出部36输出的显示用图像G上配置有观察图像G1。在图7中，作为观察图像G1的一例，示出具有病变候选区域L的大肠的内壁。

这里，说明对观察图像G1进行的辅助信息显示处理的第1例和第2例。图8是示出观察图像G1的第1例的说明图。图10是示出观察图像G1的第2例的说明图。

如图8所示，在观察图像G1中显示有病变候选区域L。

图9示出作为关注区域的病变候选区域L从图8所示的观察图像G1消失的状态。在图9中，特别地，示出病变候选区域L比观察图像G1的外缘更向外侧移动的例子。该状态下，病变候选区域L未被显示在显示部4的画面上。在对观察图像G1进行辅助信息显示处理的情况下，辅助信息处理部362对观察图像G1附加警报图像G2。在图9中，示出附加了如下图像作为警报图像G2的例子，该图像利用三角形的顶点表示病变候选区域L的位置和方向。另外，警报图像G2也可以是箭头等其他图像。

图10是示出观察图像G1的第2例的说明图。如图10所示，在观察图像G1中，在褶皱F的附近显示有病变候选区域L。

图11示出病变候选区域L从图10所示的观察图像G1消失的状态。在图11中，特别地，示出病变候选区域L被隐藏在褶皱F的里侧的例子。该状态下，病变候选区域L未被显示在显示部4的画面上。在对观察图像G1进行辅助信息显示处理的情况下，辅助信息处理部362对观察图像G1附加警报图像G2。在图9中，示出附加了如下图像作为警报图像G2的例子，该图像利用三角形的顶点表示估计为存在被隐藏在褶皱F的里侧的病变候选区域L的位置和方向。

另外，在不对观察图像G1进行辅助信息显示处理的情况下、即从显示判定部35输入的判定结果是不显示辅助信息这样的内容的情况下，辅助信息处理部362不对观察图像G1附加警报图像G2。

(作用和效果)

接着，对本实施方式的图像处理装置3的作用和效果进行说明。在本实施方式中，显示判定部35在得到了中断判定的情况下，进行是否在显示部4中显示辅助信息的判定即显示可否判定。由此，根据本实施方式，能够适当地显示辅助信息。具体而言，如上所述，在显示可否判定中判定为显示辅助信息的情况下，显示输出部36将还包含辅助信息的图像作为显示用图像G输出到显示部4。另一方面，在显示可否判定中判定为不显示辅助信息的情况下，显示输出部36将不包含辅助信息的图像作为显示用图像G输出到显示部4。下面，对本实施方式的效果进行详细说明。

在作为关注区域的病变候选区域L从显示部4的画面上消失、且针对病变候选区域L的详细观察完成的情况下，从减轻内窥镜1的使用者的负担、其他病变候选区域L不会被辅助信息遮挡的观点来看，优选不显示辅助信息。在本实施方式中，在显示判定部35设置有详细观察判定部351。详细观察判定部351根据详细观察参数，在估计为详细观察了病变候选区域L的情况下，判定为不显示辅助信息，在估计为未详细观察病变候选区域L的情况下，判定为显示辅助信息。由此，根据本实施方式，能够适当地显示辅助信息。

此外，在消失的病变候选区域L容易视觉辨认的情况下，针对病变候选区域L的详细观察可能完成。另一方面，在消失的病变候选区域L不容易视觉辨认的情况下，有可能漏看病变候选区域L。在本实施方式中，在显示判定部35设置有视觉辨认性判定部352。视觉辨认性判定部352根据视觉辨认性参数，在病变候选区域L容易视觉辨认的情况下，判定为不显示辅助信息，在病变候选区域L不容易视觉辨认的情况下，判定为显示辅助信息。由此，根据本实施方式，能够适当地显示辅助信息。

此外，在消失的病变候选区域L的重要度较低的情况下，恢复消失的病变候选区域L进行观察的必要性较低。但是，在消失的病变候选区域L的重要度较高的情况下，优选恢复消失的病变候选区域L进行详细观察。在本实施方式中，在显示判定部35设置有重要性判定部353。重要性判定部353在重要度较低的情况下，判定为不显示辅助信息，在重要度较高的情况下，判定为显示辅助信息。由此，根据本实施方式，能够适当地显示辅助信息。

此外，在本实施方式中，在显示判定部35设置有显示指示判定部354。显示指示判定部354根据内窥镜1的使用者进行的是否显示辅助信息的指示进行显示可否判定。即，根据本实施方式，能够通过直接的指示来选择是否显示辅助信息。由此，根据本实施方式，能够适当地显示辅助信息。

此外，在病变候选区域L消失后的时间足够长的情况下，没有恢复消失的病变候选区域L进行观察的意思的可能性较高。在本实施方式中，在显示判定部35设置有经过时间判定部355。经过时间判定部355在病变候选区域L消失后的时间以某种程度较长的情况下，判定为不显示辅助信息。由此，根据本实施方式，能够适当地显示辅助信息。

另外，即使在没有使用者的指示的情况下，由显示指示判定部354以外的判定部进行的显示可否判定也均自动地选择是否显示辅助信息。由此，根据本实施方式，能够减少使用者的负担。

[第2实施方式]

(图像处理装置的结构)

接着，对本发明的第2实施方式的图像处理装置进行说明。图12是示出本实施方式的图像处理装置的结构的功能框图。本实施方式的图像处理装置3具有位置估计部37。位置估计部37包含存储部371。存储部371例如由第1实施方式中的图2所示的存储器3B或未图示的存储装置构成。

检测中断判定部34的判定结果被输入到位置估计部37。此外，位置估计部37构成为能够读出图像保存部32中保存的观察图像G1。位置估计部37估计中断判定后的作为关注区域的病变候选区域L的位置，将病变候选区域L的估计位置输出到显示判定部35。病变候选区域L的位置的估计方法在后面进行说明。

此外，图13是示出本实施方式中的显示判定部35的结构的功能框图。如第1实施方式中说明的那样，显示判定部35进行是否在显示部4中显示辅助信息的判定即显示可否判定，该辅助信息以检测中断的作为关注区域的病变候选区域L恢复到显示部4的画面上的方式进行辅助。在本实施方式中，显示判定部35除了包含第1实施方式中的多个判定部和存储部356以外，还包含恢复动作判定部357和框外距离判定部358。

恢复动作判定部357计算根据是否进行了恢复动作而变化的恢复动作参数，根据计算出的恢复动作参数进行显示可否判定，该恢复动作用于操作内窥镜1以使得作为关注区域的病变候选区域L恢复到显示部4的画面上。恢复动作参数例如被规定成，随着进行恢复动作的可能性变低而成为较大的数值。

在本实施方式中，根据由位置估计部37估计出的病变候选区域L的估计位置的变化，计算恢复动作参数。在病变候选区域L的估计位置以远离当前的观察图像G1上的任意点的方式变化的情况下，进行恢复动作的可能性较低。因此，该情况下，恢复动作参数被计算成较大的数值。

框外距离判定部358计算从观察图像G1的外缘到由位置估计部37估计出的病变候选区域L的估计位置为止的距离即框外距离，根据计算出的框外距离进行显示可否判定。

在本实施方式中，显示判定部35至少根据恢复动作判定部357和框外距离判定部358各自的判定结果，决定向显示输出部36输出的判定结果的内容，将决定的判定结果输出到显示输出部36。判定结果的内容的决定方法与第1实施方式中的根据显示判定部35的多个判定部各自的判定结果决定判定结果的内容的方法相同。

此外，如第1实施方式中说明的那样，在显示可否判定中判定为在显示部4中显示辅助信息的情况下，显示输出部36构成包含辅助信息的图像作为显示用图像G，将构成的图像输出到显示部4。在本实施方式中，在位置估计部37中估计出作为关注区域的病变候选区域L的位置、且在显示可否判定中判定为显示辅助信息的情况下，作为辅助信息显示处理，显示输出部36的辅助信息处理部362进行根据病变候选区域L的估计位置使辅助信息变化的处理。该情况下，病变候选区域L的估计位置从位置估计部37被输入到辅助信息处理部362。另外，位置估计部37可以经由显示判定部35将病变候选区域L的估计位置输出到辅助信息处理部362，也可以直接将病变候选区域L的估计位置输出到辅助信息处理部362。

(病变候选区域的位置的估计方法)

接着，对位置估计部37中的病变候选区域L的位置的估计方法进行说明。位置估计部37生成第1位移信息和第2位移信息，根据第1位移信息和第2位移信息估计病变候选区域L的位置。

首先，对第1位移信息进行说明。位置估计部37在持续检测到病变候选区域L的情况下、即在检测中断判定部34中判定为病变候选区域L的检测未中断的情况下，生成表示病变候选区域L的位移量和位移方向的信息即第1位移信息。

位置估计部37例如如下所述生成第1位移信息。首先，位置估计部37根据从连续的2帧观察图像G1中分别检测到的病变候选信息，计算病变候选区域L的重心。接着，位置估计部37计算表示连续的2帧之间的重心的运动的第1运动矢量。接着，位置估计部37根据第1运动矢量计算重心的速度和加速度。接着，位置估计部37根据计算出的重心的速度和加速度中的至少一方生成第1位移信息。

位置估计部37在持续检测到病变候选区域L的期间内反复生成第1位移信息。生成的第1位移信息被存储在存储部371中。

接着，对第2位移信息进行说明。位置估计部37在病变候选区域L的检测中断的情况下、即得到了在检测中断判定部34中判定为病变候选区域L的检测中断的中断判定的情况下，生成表示观察图像G1的任意点的位移量和位移方向的信息即第2位移信息。

位置估计部37例如如下所述生成第2位移信息。首先，位置估计部37从图像保存部32读出当前的观察图像G1(下面记为第1观察图像G1。)。接着，位置估计部37在第1观察图像G1中设定位置估计部37能够追踪的任意点(下面记为追踪点。)。接着，位置估计部37从图像保存部32读出第1观察图像G1的下一帧的观察图像G1(下面记为第2观察图像G1。)。接着，位置估计部37检测第2观察图像G1中的追踪点的位置。位置估计部37计算表示第1观察图像G1与第2观察图像G1之间的追踪点的运动的第2运动矢量。接着，位置估计部37根据第2运动矢量计算追踪点的速度和加速度。接着，位置估计部37根据计算出的追踪点的速度和加速度中的至少一方生成第2位移信息。

位置估计部37在病变候选区域L的检测中断的期间内反复生成第2位移信息。生成的第2位移信息被存储在存储部371中。

接着，对病变候选区域L的位置的估计方法进行说明。位置估计部37根据第1位移信息和第2位移信息，估计得到了中断判定的时刻之后的病变候选区域L的位置。更具体进行说明时，位置估计部37使用第2位移信息检测得到了中断判定的时刻之后的观察图像G1中包含的被摄体的运动，将检测到的被摄体的运动与第1位移信息进行合成，由此，估计得到了中断判定的时刻之后的病变候选区域L的位置。

另外，位置估计部37根据刚要得到中断判定前的第1位移信息，判定病变候选区域L是位于比观察图像G1的外缘更靠外侧的位置，还是位于比观察图像G1的外缘更靠内侧的位置。在判定为病变候选区域L位于比观察图像G1的外缘更靠外侧的位置的情况下，位置估计部37根据第2位移信息，估计存在于比观察图像G1的外缘更靠外侧的区域中的病变候选区域L的位置。在判定为病变候选区域L位于比观察图像G1的外缘更靠内侧的位置的情况下，位置估计部37根据第2位移信息，估计存在于观察图像G1中的病变候选区域L的位置。

(显示可否判定的内容)

接着，对恢复动作判定部357和框外距离判定部358中分别进行的显示可否判定进行说明。在第1实施方式中，图5所示的流程图还示出恢复动作判定部357和框外距离判定部358中分别进行的显示可否判定。

首先，对恢复动作判定部357中进行的显示可否判定进行说明。恢复动作判定部357在得到了中断判定的情况下，首先计算恢复动作参数(图5的步骤S11)。接着，对恢复动作参数和规定的阈值进行比较(图5的步骤S12)。在恢复动作参数为规定的阈值以上的情况下(是)，恢复动作判定部357判定为不显示辅助信息(图5的步骤S13)。另一方面，在恢复动作参数小于规定的阈值的情况下(否)，恢复动作判定部357判定为显示辅助信息(图5的步骤S14)。图5所示的步骤S12、S13、S14对应于恢复动作判定部357中进行的显示可否判定。

另外，恢复动作参数为规定的阈值以上的情况相当于估计为未进行恢复动作的情况。恢复动作参数小于规定的阈值的情况相当于估计为进行了恢复动作的情况。恢复动作判定部357中进行的显示可否判定例如也可以在中断判定后以规定的间隔反复执行。

接着，对框外距离判定部358中进行的显示可否判定进行说明。框外距离判定部358在得到了中断判定的情况下，首先计算框外距离。框外距离对应于图5的步骤S11中的参数。接着，对作为参数的框外距离和规定的阈值进行比较(图5的步骤S12)。在框外距离为规定的阈值以上的情况下(是)，框外距离判定部358判定为不显示辅助信息(图5的步骤S13)。另一方面，在框外距离小于规定的阈值的情况下(否)，框外距离判定部358判定为显示辅助信息(图5的步骤S14)。图5所示的步骤S12、S13、S14对应于框外距离判定部358中进行的显示可否判定。

另外，框外距离判定部358中进行的显示可否判定例如也可以在中断判定后以规定的间隔反复执行。

(辅助信息的例子)

接着，对在位置估计部37中估计出作为关注区域的病变候选区域L的位置且在显示可否判定中判定为显示辅助信息的情况下进行的、根据病变候选区域L的估计位置使辅助信息变化的处理的例子进行说明。图14是示出辅助信息的第1例的说明图。与第1实施方式中的图9同样，图14示出如下状态：病变候选区域L比观察图像G1的外缘更向外侧移动，由此，病变候选区域L从观察图像G1消失。在图14中，示出由位置估计部37估计出的病变候选区域L的位置比图9所示的状态更远离观察图像G1的外缘的情况。如图9和图14所示，随着从观察图像G1的外缘到病变候选区域L为止的距离增大，辅助信息处理部362也可以增大作为辅助信息的警报图像G2(三角形)。

图15是示出辅助信息的第2例的说明图。与第1实施方式中的图11同样，图15示出如下状态：病变候选区域L被隐藏在褶皱F的里侧，由此，病变候选区域L从观察图像G1消失。在图15中，示出由位置估计部37估计出的病变候选区域L的位置从图9所示的状态起变化的例子。如图11和图15所示，辅助信息处理部362也可以使作为辅助信息的警报图像G2(三角形)的位置变化，以追随于病变候选区域L的估计位置的变化。

(作用和效果)

接着，对本实施方式特有的作用和效果进行说明。在本实施方式中，通过位置估计部37估计得到了中断判定的时刻之后的作为关注区域的病变候选区域L的位置。显示判定部35至少根据病变候选区域L的估计位置进行显示可否判定。由此，根据本实施方式，能够适当地显示辅助信息。下面，对该效果进行详细说明。

在作为关注区域的病变候选区域L从显示部4的画面上消失、且未进行恢复动作的情况下，从减轻内窥镜1的使用者的负担、其他病变候选区域L不会被辅助信息遮挡的观点来看，优选不显示辅助信息。在本实施方式中，在显示判定部35设置有恢复动作判定部357。恢复动作判定部357根据病变候选区域L的估计位置的变化计算恢复动作参数，根据计算出的恢复动作参数，在估计为未进行恢复动作的情况下，判定为不显示辅助信息，在估计为进行恢复动作的情况下，判定为显示辅助信息。由此，根据本实施方式，能够适当地显示辅助信息。

另外，在内窥镜1的使用者具有恢复中断判定后消失的病变候选区域L进行观察的意思的情况下执行恢复动作。根据本实施方式，能够通过恢复动作判定部357估计中断判定后的使用者的意思。

此外，在病变候选区域L向观察图像G1的外缘的外侧移动、且从观察图像G1的外缘到病变候选区域L为止的距离足够大的情况下，没有恢复消失的病变候选区域L进行观察的意思的可能性较高。在本实施方式中，在显示判定部35设置有框外距离判定部358。框外距离判定部358在框外距离以某个程度较大的情况下，判定为不显示辅助信息。由此，根据本实施方式，能够适当地显示辅助信息。

本实施方式中的其他结构、作用和效果与第1实施方式相同。

[第3实施方式]

接着，对本发明的第3实施方式的图像处理装置进行说明。图16是示出本实施方式的图像处理装置的结构的功能框图。本实施方式的图像处理装置3具有反向再现显示部38。

检测中断判定部34的判定结果被输入到反向再现显示部38。此外，反向再现显示部38构成为能够读出图像保存部32中保存的观察图像G1。反向再现显示部38读出从检测中断判定部34中得到了中断判定的第1时刻到该第1时刻之后的第2时刻按照时序顺序保存在图像保存部32中的多个观察图像G1。然后，反向再现显示部38使用读出的多个观察图像G1生成在显示部4(参照图1)中按照与上述时序相反的顺序显示的动态图像G3，将生成的动态图像G3输出到显示输出部36。

此外，如第1实施方式中说明的那样，在显示判定部35中的显示可否判定中判定为在显示部4中显示辅助信息的情况下，显示输出部36构成包含辅助信息的图像作为显示用图像G，将构成的图像输出到显示部4。在本实施方式中，作为辅助信息，显示输出部36除了使用第1实施方式中说明的警报图像G2以外，还使用动态图像G3。

图17示出本实施方式中的显示用图像G的一例。与第1实施方式中的图9同样，在图17中示出如下状态：病变候选区域L比观察图像G1的外缘更向外侧移动，作为关注区域的病变候选区域L从观察图像G1消失。在图17所示的例子中，动态图像G3被显示在观察图像G1的旁边。

另外，也可以独立于是否显示警报图像G2的判定来进行是否显示动态图像G3的判定。该情况下，显示判定部35例如根据是否显示动态图像G3的指示，判定是否显示动态图像G3。例如，也可以经由第1实施方式中的图1所示的显示指示部6取得是否显示动态图像G3的指示。

本实施方式中的其他结构、作用和效果与第1实施方式相同。

本发明不限于上述实施方式，能够在不改变本发明主旨的范围内进行各种变更、改变等。例如，图像处理装置3的硬件结构不限于参照图2说明的例子。具体而言，例如，图像处理装置3的图像取得部31、关注区域检测部33、检测中断判定部34、显示判定部35、显示输出部36、位置估计部37(第2实施方式)和反向再现显示部38(第3实施方式)可以通过1个处理器实现，也可以通过多个处理器实现。后者的情况下，图像取得部31、关注区域检测部33、检测中断判定部34、显示判定部35、显示输出部36、位置估计部37和反向再现显示部38可以分别通过不同的处理器实现。

Claims (17)

1.一种内窥镜图像处理装置，其特征在于，所述内窥镜图像处理装置具有：

图像取得部，其取得由内窥镜拍摄的被摄体的图像；

显示输出部，其将至少包含由所述图像取得部取得的所述图像的显示用图像输出到显示部；

关注区域检测部，其检测由所述图像取得部取得的所述图像中包含的关注区域；

检测中断判定部，其判定所述关注区域检测部中的所述关注区域的检测是否中断；以及

显示判定部，其在得到了在所述检测中断判定部中判定为所述关注区域的检测中断的判定结果即中断判定的情况下，进行是否在所述显示部中显示辅助信息的判定即显示可否判定，所述辅助信息以检测中断的所述关注区域恢复到所述显示部的画面上的方式进行辅助，

在所述显示可否判定中判定为显示所述辅助信息的情况下，所述显示输出部将还包含所述辅助信息的图像作为所述显示用图像输出到所述显示部，

在所述显示可否判定中判定为不显示所述辅助信息的情况下，所述显示输出部将不包含所述辅助信息的图像作为所述显示用图像输出到所述显示部。

2.根据权利要求1所述的内窥镜图像处理装置，其特征在于，

所述显示判定部包含详细观察判定部，

所述详细观察判定部计算根据是否详细观察了所述关注区域而变化的详细观察参数，根据所述详细观察参数进行所述显示可否判定。

3.根据权利要求2所述的内窥镜图像处理装置，其特征在于，

根据所述关注区域的形状变化量、所述关注区域的移动量和所述内窥镜的观察模式中的至少一方计算所述详细观察参数。

4.根据权利要求1所述的内窥镜图像处理装置，其特征在于，

所述显示判定部包含视觉辨认性判定部，

所述视觉辨认性判定部计算根据所述关注区域的视觉辨认的容易度而变化的视觉辨认性参数，根据所述视觉辨认性参数进行所述显示可否判定。

5.根据权利要求4所述的内窥镜图像处理装置，其特征在于，

根据所述关注区域的颜色、形状和纹理中的至少一方计算所述视觉辨认性参数。

6.根据权利要求1所述的内窥镜图像处理装置，其特征在于，

所述显示判定部包含重要性判定部，

所述重要性判定部计算所述关注区域的重要度，根据所述重要度进行所述显示可否判定。

7.根据权利要求6所述的内窥镜图像处理装置，其特征在于，

根据所述关注区域的颜色、形状和纹理中的至少一方计算所述重要度。

8.根据权利要求1所述的内窥镜图像处理装置，其特征在于，

所述显示判定部包含显示指示判定部，

所述显示指示判定部在得到了所述中断判定的情况下，根据所述内窥镜的使用者进行的是否显示所述辅助信息的指示进行所述显示可否判定。

9.根据权利要求8所述的内窥镜图像处理装置，其特征在于，

通过所述使用者的视线、所述使用者的发言和所述使用者对指示单元的操作中的至少一方进行所述指示。

10.根据权利要求1所述的内窥镜图像处理装置，其特征在于，

所述显示判定部包含经过时间判定部，

所述经过时间判定部计测从得到了所述中断判定的时刻起的经过时间，根据所述经过时间进行所述显示可否判定。

11.根据权利要求1所述的内窥镜图像处理装置，其特征在于，

所述内窥镜图像处理装置还具有位置估计部，所述位置估计部估计所述中断判定后的所述关注区域的位置，

在所述位置估计部估计出所述关注区域的位置、且在所述显示可否判定中判定为显示所述辅助信息的情况下，所述显示输出部根据所述关注区域的估计位置使所述辅助信息变化。

12.根据权利要求11所述的内窥镜图像处理装置，其特征在于，

所述显示判定部包含恢复动作判定部，

所述恢复动作判定部计算根据是否进行了恢复动作而变化的恢复动作参数，根据所述恢复动作参数进行所述显示可否判定，该恢复动作用于操作所述内窥镜以使得所述关注区域恢复到所述显示部的画面上。

13.根据权利要求12所述的内窥镜图像处理装置，其特征在于，

根据由所述位置估计部估计出的所述关注区域的位置的变化，计算所述恢复动作参数。

14.根据权利要求11所述的内窥镜图像处理装置，其特征在于，

所述显示判定部包含框外距离判定部，

所述框外距离判定部计算从所述图像的外缘到由所述位置估计部估计出的所述关注区域的位置的距离，根据所述距离进行所述显示可否判定。

15.根据权利要求1所述的内窥镜图像处理装置，其特征在于，

所述内窥镜图像处理装置还具有：

图像保存部，其保存由所述图像取得部取得的所述图像；以及

反向再现显示部，

所述反向再现显示部使用从得到了所述中断判定的第1时刻到所述第1时刻之后的第2时刻按照时序顺序保存在所述图像保存部中的多个所述图像，生成在所述显示部中按照与所述时序相反的顺序显示的动态图像。

16.根据权利要求15所述的内窥镜图像处理装置，其特征在于，

在所述显示可否判定中判定为显示所述辅助信息的情况下，所述显示输出部使用所述动态图像作为所述辅助信息。

17.一种内窥镜图像处理方法，其特征在于，所述内窥镜图像处理方法包含以下步骤：

取得由内窥镜拍摄的被摄体的图像；

将至少包含取得的所述图像的显示用图像输出到显示部；

检测取得的所述图像中包含的关注区域；

判定所述关注区域的检测是否中断；以及

在得到了判定为所述关注区域的检测中断的判定结果即中断判定的情况下，进行是否在所述显示部中显示辅助信息的判定即显示可否判定，所述辅助信息以检测中断的所述关注区域恢复到所述显示部的画面上的方式进行辅助，

在所述显示可否判定中判定为显示所述辅助信息的情况下，将还包含所述辅助信息的图像作为所述显示用图像输出到所述显示部，

在所述显示可否判定中判定为不显示所述辅助信息的情况下，将不包含所述辅助信息的图像作为所述显示用图像输出到所述显示部。

Images