CN112752535B - 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法 - Google Patents

Abstract

本发明提供一种可以识别关注区域的准确位置，并能够防止显示画面闪烁的医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法。处理器装置(16)具备图像信号获取部(50)、图像处理部(56)和显示控制部(58)。图像信号获取部(50)从内窥镜(12)获取与观察模式对应的数字图像信号。图像处理部(56)具备关注区域检测模式图像处理部(64)。显示控制部(58)设定面积比关注区域大且包含关注区域的强调区域，强调显示强调区域，并根据关注区域的变动量，判断是否变更强调区域的设定。

Description

医用图像处理装置和内窥镜系统以及医用图像处理装置的工 作方法

技术领域

本发明涉及用于检测病变部等关注区域的医疗用图像处理装置和内窥镜系统以及医疗用图像处理装置的工作方法。

背景技术

在医疗领域中，使用内窥镜图像、X射线图像、CT(Computed Tomography)图像、以及MR(Magnetic Resonance)图像等医疗图像，进行患者的病症诊断或经过观察等图像诊断。基于这样的图像诊断，医生等进行治疗方针的决定。

近年来，在使用医用图像的图像诊断中，通过分析医用图像对脏器内的病变或肿瘤等应注意观察的关注区域进行自动检测。特别是通过进行深度学习等机器学习，飞跃性地提高了检测关注区域的精度。

在专利文献1中记载了在从医用图像中检测到病变部等关注区域的情况下，基于检测结果进行图像处理的医用图像处理装置。在该专利文献1记载的医用图像处理装置中，将包含检测到关注区域的像素的区域设定为强调区域，使强调区域的显示方式不同。例如，进行将强调区域的像素的颜色变换为目标颜色的颜色变换加工等来强调关注区域。而且，若检测到的关注区域的位置、大小发生变迁，则强调区域也同时发生变迁，从而医用图像内的强调显示的位置、大小发生变动。

在专利文献2中记载了如下的医用图像处理装置：在从将医用图像分割为四个后的区域中的任意一个区域中检测到病变部等关注区域的情况下，针对检测到该关注区域的四个分割区域，在区域的周围显示一部分显示框。

以往技术文献

专利文献

专利文献1：日本专利第5802364号公报

专利文献2：日本专利第6120762号公报

发明内容

发明要解决的技术课题

但是，在专利文献1记载的医用图像处理装置中，若医用图像内的关注区域的位置、大小发生变迁，则随着该变迁，强调显示的位置、大小也发生变迁，因此在显示画面内容易发生闪烁，妨碍医生的观察。

另外，在专利文献2记载的医用图像处理装置中，在检测到关注区域的情况下，由于在显示画面的周围显示显示框，所以在显示画面内不会发生闪烁，但由于仅表示关注区域的大致位置，所以不知道准确的位置。

本发明的目的在于提供一种可以识别关注区域的准确位置，并能够防止显示画面闪烁的医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法。

用于解决技术课题的手段

本发明的医用图像处理装置具有医用图像获取部、关注区域检测部和显示控制部。医用图像获取部拍摄观察对象而获取医用图像。关注区域检测部对通过医用图像获取部获取的医用图像检测观察对象内的关注区域。显示控制部设定面积比关注区域大且包含关注区域的强调区域，对医用图像强调显示强调区域，并根据医用图像内的关注区域的变动量，判断是否变更强调区域的设定。

优选显示控制部在设定强调区域时，在比关注区域靠外侧且比强调区域靠内侧设定基准区域，在关注区域的至少一部分变迁到基准区域的外侧的情况下，再次设定强调区域和基准区域。

优选显示控制部在设定了强调区域和基准区域之后，在再次设定强调区域和基准区域的情况下，相对于再次设定前的强调显示的位置，移动到再次设定后的强调显示的位置。

优选显示控制部在设定了强调区域和基准区域之后，在再次设定强调区域和基准区域的情况下，相对于再次设定前的强调显示，放大再次设定后的强调显示。

优选显示控制部在设定了强调区域后，在关注区域的面积的放大率超过了第一阈值的情况下，通过再次设定强调区域，从而相对于再次设定前的强调显示，放大再次设定后的强调显示。

优选显示控制部在设定了强调区域之后，在关注区域的面积的放大率超过了比第一阈值大的第二阈值的情况下，作为强调显示进行减少与医用图像重叠显示的图形的面积的变更。

优选显示控制部根据由关注区域检测部检测到的关注区域确定代表坐标，在代表坐标的位置移动了阈值以上的情况下，再次设定强调区域的位置。

优选作为强调显示，显示控制部显示与强调区域重叠的框形状的图形。

优选作为强调显示，显示控制部将强调区域的颜色变更为与医用图像的其他部分不同的颜色。

优选在放大率超过了第二阈值的情况下，作为强调显示，显示控制部在医用图像内的观察区域的外侧显示图标或带状的图形。

本发明的内窥镜系统具备光源装置、内窥镜、医用图像获取部、关注区域检测部、显示控制部以及显示部。光源装置发出用于对观察对象进行照明的照明光。内窥镜具有拍摄被照明光照亮的观察对象的摄像部。医用图像获取部获取利用摄像部拍摄观察对象而得到的医用图像。关注区域检测部对通过医用图像获取部获取的医用图像检测观察对象内的关注区域。显示控制部设定面积比关注区域大且包含关注区域的强调区域，对医用图像强调显示强调区域，并根据医用图像内的关注区域的变动量，判断是否变更强调区域的设定。显示部显示应用了所述强调显示的医用图像。

本发明的医用图像处理装置的工作方法包括：医用图像获取部利用摄像部拍摄观察对象而获取医用图像的步骤；关注区域检测部对通过医用图像获取部获取的医用图像检测观察对象内的关注区域的步骤；显示控制部设定面积比关注区域大且包含关注区域的强调区域的步骤；显示控制部对医用图像强调显示强调区域的步骤；以及显示控制部根据医用图像内的关注区域的变动量，判断是否变更强调区域的设定的步骤。

发明效果

根据本发明，可以识别关注区域的准确位置，并能够防止显示画面闪烁。

附图说明

图1是内窥镜系统的外观图。

图2是表示具备多个LED光源的第一实施方式的内窥镜系统的功能的框图。

图3是表示紫色光V、蓝色光B、蓝色光Bx、绿色光G、红色光R的分光光谱的曲线图。

图4是表示第一实施方式的普通光的分光光谱的曲线图。

图5是表示第一实施方式的特殊光的分光光谱的曲线图。

图6是表示关注区域检测模式图像处理部和显示控制部的功能的框图。

图7是表示显示控制部进行关注区域的强调显示时所设定的强调区域和基准区域的说明图。

图8是表示关注区域检测模式的一系列流程的流程图。

图9是显示控制部进行关注区域的强调显示时的显示画面的一例，是按时间序列顺序表示显示画面的变化的说明图。

图10是按时间序列顺序表示第二实施方式中的显示画面的变化的说明图。

图11是按时间序列顺序表示第三实施方式中的显示画面的变化的说明图。

图12是表示第三实施方式的第一变形例的说明图。

图13是表示第三实施方式的第二变形例的说明图。

图14是按时间序列顺序表示第四实施方式中的显示画面的变化的说明图。

具体实施方式

[第一实施方式]

如图1所示，内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、监视器18(显示部)和控制台19。内窥镜12与光源装置14光学连接，并且与处理器装置16电连接。内窥镜12具有：插入到受检体内的插入部12a；设置在插入部12a的基端部分的操作部12b；以及设置在插入部12a的顶端侧的弯曲部12c和顶端部12d。通过操作操作部12b的弯角钮13a，弯曲部12c进行弯曲动作。通过该弯曲动作，顶端部12d朝向期望的方向。

顶端部12d在顶端面具有照明窗、观察窗、供气/供水喷嘴和钳子出口(均未图示)。照明窗用于向观察部位照射照明光。观察窗用于取入来自观察部位的光。供气/供水喷嘴用于清洗照明窗和观察窗。钳子出口用于使用钳子和电手术刀等处置器具进行各种处置。

另外，在操作部12b中，除了弯角钮13a之外，还设置有：静止图像获取部13b，其用于静止图像的获取操作；模式切换部13c，其用于观察模式的切换操作；以及变焦操作部13d，其用于变焦倍率的变更操作。静止图像获取部13b能够进行在监视器18上显示观察对象的静止图像的冻结操作和在存储器中保存静止图像的释放操作。

内窥镜系统10作为观察模式具有普通模式、特殊模式和关注区域检测模式。在观察模式为普通模式的情况下，发出以普通模式用的光量比Lc将多种颜色的光合波后的普通光。另外，在观察模式为特殊模式的情况下，发出以特殊模式用的光量比Ls将多种颜色的光合波后的特殊光。

另外，在观察模式是关注区域检测模式的情况下，发出关注区域检测模式用照明光。在本实施方式中，作为关注区域检测模式用照明光，发出普通光，但也可以发出特殊光。

处理器装置16与监视器18和控制台19电连接。监视器18将观察对象的图像、图像中附带的信息等输出显示。控制台19作为用户接口发挥功能，用户接口接受关注区域(ROI：Region Of Interest)的指定等或功能设置等输入操作。

如图2所示，光源装置14具备：光源部20，其发出用于观察对象的照明的照明光；以及光源控制部22，其控制光源部20。光源部20是多种颜色的LED(Light Emitting Diode)等半导体光源。光源控制部22通过LED等的接通/断开、LED等的驱动电流或驱动电压的调整，控制照明光的发光量。另外，光源控制部22通过滤光器的变更等来控制照明光的波长频带。

在第一实施方式中，光源部20具有V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c和R-LED(Red Light Emitting Diode)20d的四色的LED、以及波长截止滤光片23。如图3所示，V-LED20a发出波长频带380nm～420nm的紫色光V。

B-LED20b发出波长频带420nm～500nm的蓝色光B。从B-LED20b出射的蓝色光B中至少比峰值波长的460nm长的波长侧被波长截止滤光片23截止。由此，透射了波长截止滤光片23后的蓝色光Bx成为420～460nm的波长范围。这样，将比460nm长的波长侧的波长范围的光截止是因为，该比460nm长的波长侧的波长范围的光是使作为观察对象的血管的血管对比度降低的主要原因。此外，波长截止滤光片23也可以取代截止比460nm长的波长侧的波长范围的光，而使比460nm长的波长侧的波长范围的光减光。

G-LED20c发出波长频带达到480nm～600nm的绿色光G。R-LED20d发出波长频带达到600nm～650nm的红色光R。此外，从各LED20a～20d发出的光的各自的中心波长可以与峰值波长相同，也可以不同。

光源控制部22通过独立地控制各LED20a～20d的点亮或熄灭、以及点亮时的发光量等，进行照明光的发光定时、发光期间、光量以及分光光谱的调节。光源控制部22中的点亮和熄灭的控制按每个观察模式而不同。此外，基准的亮度能够通过光源装置14的亮度设定部或控制台19等来设定。

在普通模式或关注区域的情况下，光源控制部22使V-LED20a、B-LED20b、G-LED20c、及R-LED20d全部点亮。此时，如图4所示，以使蓝色光Bx的光强度的峰值大于紫色光V、绿色光G和红色光R中的任一个的光强度的峰值的方式设定紫色光V、蓝色光Bx、绿色光G和红色光R间的光量比Lc。由此，在普通模式或关注区域检测模式下，从光源装置14发出包含紫色光V、蓝色光Bx、绿色光G以及红色光R的普通模式用或关注区域检测模式用的多色光作为普通光。普通光从蓝色频带到红色频带具有一定以上的强度，因此大致成为白色。

在特殊模式的情况下，光源控制部22使V-LED20a、B-LED20b、G-LED20c、及R-LED20d全部点亮。此时，如图5所示，以使紫色光V的光强度的峰值大于蓝色光Bx、绿色光G和红色光R中的任一个的光强度的峰值的方式设定紫色光V、蓝色光Bx、绿色光G和红色光R间的光量比Ls。另外，以使其小于紫色光V和蓝色光Bx的光强度的峰值的方式设定绿色光G和红色光R的光强度的峰值。由此，在特殊模式下，从光源装置14发出包含紫色光V、蓝色光Bx、绿色光G以及红色光R的特殊模式用的多色光作为特殊光。由于紫色光V所占的比例大，所以特殊光成为带蓝色的光。此外，特殊光也可以不包含全部四色的光，只要包含来自四色的LED20a～20d中至少一色的LED的光即可。另外，优选特殊光在450nm以下具有主要的波长范围，例如峰值波长或中心波长。

如图2所示，光源部20发出的照明光经由由反射镜或透镜等形成的光路结合部(未图示)，入射到插通于插入部12a内的光导24。光导24内置于内窥镜12和通用塞绳中，将照明光传播到内窥镜12的顶端部12d。通用塞绳是将内窥镜12与光源装置14及处理器装置16进行连接的塞绳。此外，作为光导24，可使用多模光纤。作为一例，在光导24中，可使用芯径105μm、包层直径125μm、包括成为外皮的保护层的直径φ0.3mm～φ0.5mm的细径的光缆。

在内窥镜12的顶端部12d设有照明光学系统30a和摄像光学系统30b。照明光学系统30a具有照明透镜32。经由该照明透镜32，利用在光导24中传播的照明光对观察对象进行照明。摄像光学系统30b具有物镜34、放大光学系统36、摄像传感器38(对应于本发明的“摄像部”)。来自观察对象的反射光、散射光和荧光等各种光经由这些物镜34和放大光学系统36入射到摄像传感器38。由此，观察对象的像在摄像传感器38上成像。

放大光学系统36具备放大观察对象的变焦透镜36a和使变焦透镜36a在光轴方向CL上移动的透镜驱动部36b。变焦透镜36a按照透镜驱动部36b进行的变焦控制，在长焦端与广角端之间自由移动，由此使成像在摄像传感器38上的观察对象放大或缩小。

摄像传感器38是拍摄被照射了照明光的观察对象的彩色摄像传感器。在摄像传感器38的各像素中设置有R(红色)彩色滤光片、G(绿色)彩色滤光片、B(蓝色)彩色滤光片中的任一个。摄像传感器38以设有B彩色滤光片的B像素接受从紫色到蓝色的光，以设有G彩色滤光片的G像素接受绿色的光，以设有R彩色滤光片的R像素接受红色的光。然后，从各色的像素输出RGB各色的图像信号。摄像传感器38将输出的图像信号发送到CDS电路40。

在普通模式或关注区域检测模式中，摄像传感器38通过拍摄被普通光照亮的观察对象，从B像素输出Bc图像信号，从G像素输出Gc图像信号，从R像素输出Rc图像信号。另外，在特殊模式下，摄像传感器38通过拍摄被特殊光照亮的观察对象，从B像素输出Bs图像信号，从G像素输出Gs图像信号，从R像素输出Rs图像信号。

作为摄像传感器38，可利用CCD(Charge Coupled Device)摄像传感器或CMOS(Complementary Metal-Oxide Semiconductor)摄像传感器等。另外，也可以使用具备C(青色)、M(品红色)、Y(黄色)及G(绿色)的补色滤光片的补色摄像传感器来取代设有RGB原色彩色滤光片的摄像传感器38。在使用补色摄像传感器的情况下，输出CMYG的四色的图像信号。因此，通过补色-原色颜色变换，将CMYG的四色的图像信号变换为RGB的三色的图像信号，由此能够得到与摄像传感器38同样的RGB各色的图像信号。另外，也可以取代摄像传感器38，使用未设有彩色滤光片的单色传感器。

CDS电路40对从摄像传感器38接收的模拟图像信号进行相关双采样(CDS：Correlated Double Sampling)。经过CDS电路40的图像信号被输入到AGC电路42。AGC电路42对输入的图像信号进行自动增益控制(AGC：Automatic Gain Control)。A/D(Analog toDigital)转换电路44将经过AGC电路42的模拟图像信号转换为数字图像信号。A/D转换电路44将A/D转换后的数字图像信号输入到处理器装置16。

如图2所示，处理器装置16具备图像信号获取部50(对应于本发明的“医用图像获取部”)、DSP(Digital Signal Processor)52、降噪部54、图像处理部56、以及显示控制部58。

图像信号获取部50从内窥镜12获取与观察模式对应的数字图像信号。在普通模式或关注区域检测模式的情况下，获取Bc图像信号、Gc图像信号、Rc图像信号。在特殊模式的情况下，获取Bs图像信号、Gs图像信号、Rs图像信号。在关注区域检测模式的情况下，在普通光的照明时获取1帧的Bc图像信号、Gc图像信号、Rc图像信号，在特殊光的照明时获取1帧的Bs图像信号、Gs图像信号、Rs图像信号。

DSP52对图像信号获取部50获取的图像信号实施缺陷校正处理、偏移处理、DSP用增益校正处理、线性矩阵处理、伽玛变换处理以及去马赛克处理等各种信号处理。缺陷校正处理校正摄像传感器38的缺陷像素的信号。偏移处理从缺陷校正处理后的图像信号中除去暗电流成分，设定正确的零电平。DSP用增益校正处理通过对偏移处理后的图像信号乘以特定的DSP用增益来调整信号电平。

线性矩阵处理提高DSP用增益校正处理后的图像信号的颜色再现性。伽玛变换处理调整线性矩阵处理后的图像信号的亮度或彩度。通过对进行了伽马变换处理的图像信号实施去马赛克处理(也称为各向同性处理或同步化处理)，通过插值生成在各像素中不足的颜色的信号。通过该去马赛克处理，所有像素具有RGB各色的信号。降噪部54对由DSP52实施了去马赛克处理等的图像信号例如实施基于移动平均法或中值滤波法等的降噪处理，降低噪声。降噪后的图像信号被输入到图像处理部56。

图像处理部56具备普通模式图像处理部60、特殊模式图像处理部62、以及关注区域检测模式图像处理部64。普通模式图像处理部60在设定为普通模式的情况下工作，对接收到的Bc图像信号、Gc图像信号、Rc图像信号进行颜色变换处理、色彩强调处理、以及结构强调处理。在颜色变换处理中，对RGB图像信号通过3×3的矩阵处理、灰度变换处理以及三维LUT(Look Up Table)处理等进行颜色变换处理。

色彩强调处理对颜色变换处理完毕的RGB图像信号进行。结构强调处理是强调观察对象的结构的处理，对色彩强调处理后的RGB图像信号进行。通过进行如上所述的各种图像处理等，能够得到普通图像。普通图像是基于平衡良好地发出紫色光V、蓝色光Bx、绿色光G、红色光R的普通光而得到的图像，因此成为自然色调的图像。普通图像被输入到显示控制部58。

特殊模式图像处理部62在设定为特殊模式的情况下工作。在特殊模式图像处理部62中，对接收到的Bs图像信号、Gs图像信号、Rs图像信号进行颜色变换处理、色彩强调处理、以及结构强调处理。颜色变换处理、色彩强调处理以及结构强调处理的处理内容与普通模式图像处理部60同样。通过进行如上所述的各种图像处理，能够得到特殊图像。特殊图像是基于特殊光而得到的图像，该特殊光是血管的血红蛋白的吸收系数高的紫色光V的发光量比其他颜色的蓝色光Bx、绿色光G、红色光R的发光量大的特殊光，因此血管结构或腺管结构的分辨率比其他结构高。特殊图像被输入到显示控制部58。

关注区域检测模式图像处理部64在设定为关注区域检测模式时工作。如图6所示，关注区域检测模式图像处理部64具有检测用图像处理部70和关注区域检测部71。检测用图像处理部70对接收到的Bc图像信号、Gc图像信号、Rc图像信号通过颜色变换处理等与普通模式图像处理部60同样的图像处理依次获取内窥镜图像。

关注区域检测部71对内窥镜图像进行图像分析，并进行用于检测观察对象内的关注区域的关注区域检测处理。在本实施方式中，关注区域检测部71检测观察对象内的病变部(例如，肿瘤或炎症等)作为关注区域。在该情况下，关注区域检测部71首先将内窥镜图像分割为多个小区域，例如像素数个的正方形区域。接着，根据分割后的内窥镜图像计算图像的特征量。接着，基于计算出的特征量，识别处理各小区域是否为病变部。作为这样的识别处理，优选为卷积神经网络(Convolutional Neural Network)、深度学习(Deep Learning)等机器学习算法。

另外，作为由关注区域检测部71根据内窥镜图像计算出的特征量，优选为观察对象中的规定部位的形状、颜色或根据这些形状、颜色等得到的指标值。例如，作为特征量，优选是血管密度、血管形状、血管的分支数、血管的粗细、血管的长度、血管的弯折度、血管的深度、腺管形状、腺管开口部形状、腺管的长度、腺管的弯折度、颜色信息中的至少一个，或是将它们中的两个以上组合而得到的值。

最后，提取被特定为相同种类的一块小区域作为一个病变部。关注区域检测部71将提取出的病变部的位置、大小、病变的种类等信息作为检测结果与内窥镜图像进行关联。关注区域检测模式图像处理部64将关联了检测结果的内窥镜图像输出到显示控制部58。

显示控制部58进行用于在监视器18上显示来自图像处理部56的图像或数据的显示控制。在设定为普通模式的情况下，显示控制部58进行将普通图像显示在监视器18上的控制。在设定为特殊模式的情况下，显示控制部58进行在监视器18上显示特殊图像的控制。

在设定为关注区域检测模式的情况下，显示控制部58对内窥镜图像强调显示由关注区域检测部71检测到的关注区域。显示控制部58在强调显示关注区域的情况下，首先基于从关注区域检测模式图像处理部64输出的内窥镜图像以及与内窥镜图像相关联的检测结果，设定用于强调关注区域的强调区域。

如图7所示，显示控制部58设定面积比作为关注区域的病变部76大且包含病变部76的强调区域。在本实施方式中，作为强调区域75，设定正方形的区域。强调区域75例如具有与病变部76的外周之间隔开规定尺寸A以上的间隔而设定的正方形的外周。

显示控制部58在设定强调区域75时或设定强调区域75后，在比病变部76靠外侧且比强调区域75靠内侧设定基准区域77。在本实施方式中，作为基准区域77，设定比强调区域75小且包含病变部76的正方形区域。基准区域77例如具有与病变部76的外周之间隔开规定尺寸B以上的间隔(尺寸B小于尺寸A)而设定的正方形的外周。

显示控制部58对如上所述设定的强调区域75进行强调显示。即，显示控制部58在内窥镜图像内的强调区域75的位置上重叠显示作为强调显示的图形。在本实施方式中，显示控制部58使包围病变部76的正方形框状(框形状)的图形78与强调区域75的位置匹配显示。此外，为了便于说明，用虚线示出了基准区域77，但在实际的内窥镜图像中也可以不显示表示基准区域77的虚线。

另外，作为强调显示的图形78是与内窥镜图像的其他部分不同的显示方式，显示控制部58例如提取内窥镜图像中大量包含的颜色，用色相与提取出的颜色不同的颜色显示图形78。

显示控制部58在设定了强调区域75和基准区域77之后，根据内窥镜图像内的病变部76的变动量，判断是否变更强调区域75的设定。具体而言，在病变部76的至少一部分变迁到基准区域77的外侧的情况下，显示控制部58再次没定强调区域75和基准区域77。

以下，按照图8所示的流程图和图9所示的说明图，对在关注区域检测模式下显示控制部58再次设定强调区域75和基准区域77的处理进行说明。作为用户的医生操作模式切换部13c，切换到关注区域检测模式(S11)。由此，对观察对象照射关注区域检测模式用照明光。利用摄像传感器38拍摄由该关注区域检测模式用照明光照射的观察对象而获取内窥镜图像。在切换为关注区域检测模式的情况下，显示控制部58依次获取内窥镜图像并实时显示在监视器18的显示画面81上(S12)。

在关注区域检测模式下的实时显示中，针对所获取的内窥镜图像，利用关注区域检测部71进行用于检测观察对象内的关注区域的关注区域检测处理(S13)。在检测到关注区域的情况下(在S14中为Y)，将关注区域检测部71的检测结果与内窥镜图像相关联地输出。

然后，如图9(A)所示，当在观察对象内检测到作为关注区域的病变部76时，即，在检测结果与内窥镜图像79相关联的情况下，显示控制部58使用与内窥镜图像79相关联的检测结果、特别是病变部76的位置和大小的信息等来设定强调区域75和基准区域77(S15)。

在设定强调区域75和基准区域77之后，显示控制部58在内窥镜图像79内的强调区域75的位置上重叠显示作为强调显示的图形78(S16)。此外，在图9～图11、以及图14中，为了便于图示，以有无阴影来表现内窥镜图像79的其他部分与图形78的颜色的差异。另一方面，在观察对象内未检测到病变部76的情况下(在S14中为N)，当然不进行强调显示。

接着，显示控制部58显示作为强调显示的图形78(S16)，并且监视病变部76是否变迁到基准区域77的外侧。而且，在病变部76的至少一部分变迁到基准区域77的外侧的情况下(在S17中为Y)，显示控制部58再次设定强调区域75和基准区域77(S18)。在图9所示的例子中，内窥镜图像79内的病变部76的位置从基准区域77的内侧(图9(B)所示的状态)移动到基准区域77的外侧(图9(C)所示的状态)，因此使用病变部76的位置和大小的信息等再次设定的强调区域75和基准区域77的位置当然也移动。

显示控制部58在再次设定的强调区域75的位置上重叠显示作为强调显示的图形78(S19)。由此，如图9(D)所示，图形78从双点划线所示的再次设定前的位置移动到实线所示的再次设定后的位置。另一方面，在病变部76未从基准区域77变迁到外侧的情况下(在S17中为N)，显示控制部58不再次设定强调区域75和基准区域77，因此作为强调显示的图形78维持相同的状态。

如上所述，利用图形78强调显示内窥镜图像79中的病变部76，因此医生能够容易地识别病变部76的准确位置。另外，即使从内窥镜图像79检测到的病变部76变迁，在病变部76未从基准区域77变迁到外侧的情况下，作为强调显示的图形78也维持相同的状态，由于仅在病变部76的至少一部分从基准区域77向外侧露出的情况下图形78才移动，所以图形78的变化时间短，显示画面81中的闪烁少。因此，医生能够不受图形78的显示的阻碍而集中于病变部76的观察。

[第二实施方式]

在上述第一实施方式中，举出了从内窥镜图像79中检测到的病变部76不改变大小而进行变迁的例子(图9所示的例子)，因此作为强调显示的图形78成为仅是其位置根据病变部76的变迁而移动的变化，但不限于此，也可以根据病变部76的变迁来改变图形78的大小。在图10中，举出了利用内窥镜12的变焦倍率的变更等放大了从内窥镜图像79检测到的病变部76的情况的例子。

首先，如图10(A)所示，在关注区域检测模式下，当在观察对象内检测到作为关注区域的病变部76时，与上述第一实施方式同样，显示控制部58设定强调区域75和基准区域77，并重叠显示作为强调显示的图形78。

然后，内窥镜图像79内的病变部76变迁，病变部76从基准区域77的内侧(图10(B)所示的状态)放大到基准区域77的外侧(图10(C)所示的状态)。在病变部76的至少一部分变迁到基准区域77的外侧的情况下，显示控制部58再次设定强调区域75和基准区域77。在图10所示的例子中，由于病变部76放大，因此使用病变部76的位置和大小的信息等再次设定的强调区域75和基准区域77的大小当然也放大。

显示控制部58在再次设定的强调区域75的位置上重叠显示作为强调显示的图形78。由此，如图10(D)所示，图形78从双点划线所示的再次设定前的强调区域75的大小放大为实线所示的再次设定后的强调区域75的大小。

如上所述，即使从内窥镜图像79检测到的病变部76放大，在病变部76未从基准区域77变迁到外侧的情况下，作为强调显示的图形78也维持相同的状态，仅在病变部76的至少一部分从基准区域77向外侧露出的情况下图形78才放大。由此，图形78的变化时间短，显示画面81中的闪烁少。

[第三实施方式]

在上述第二实施方式中，在从内窥镜图像79检测到的病变部76大幅放大的情况下，由于根据病变部76放大的作为强调显示的图形78也放大，所以与变化对应的画面的闪烁也大。因此，在以下说明的第三实施方式中，显示控制部58预先设定第一阈值α1和比第一阈值α1大的第二阈值α2这两个阶段的阈值，在超过第一阈值α1的情况下，与上述第二实施方式同样，根据病变部76，作为强调显示的图形78也放大，在超过第二阈值α2的情况下，变更为图标等显示面积小的强调显示。

首先，如图11(A)所示，在关注区域检测模式下，在观察对象内检测到作为关注区域的病变部76的情况下，与所述第一实施方式同样，显示控制部58设定强调区域75，重叠显示作为强调显示的图形78。

显示控制部58在设定了强调区域75后，监视病变部76的面积的放大率E。具体而言，将预先设定的第一阈值α1以及第二阈值α2与放大率E进行比较。此外，放大率E是当前显示的病变部76的面积相对于从内窥镜图像79的获取开始后到最初检测到病变部76时(即设定了强调区域75时)的病变部76的面积的比率。

然后，当在内窥镜图像79内病变部76放大，且放大率E超过第一阈值α1时，显示控制部58再次设定强调区域75。在当放大率E超过了第一阈值α1时的再次设定中，与上述第二实施方式同样，再次设定强调区域75的大小。显示控制部58在再次设定的强调区域75的位置上重叠显示作为强调显示的图形78(以下，为了便于说明，设为第一阶段的强调显示)。由此，如图11(B)所示，图形78从双点划线所示的再次设定前的大小放大为实线所示的再次设定后的大小。

此外，在第一阶段的强调显示中，也可以与上述第二实施方式同样地设定强调区域75和基准区域77，在病变部76的至少一部分变迁到基准区域77的外侧的情况下，显示控制部58再次设定强调区域75和基准区域77。

然后，当在内窥镜图像79内病变部76进一步放大，且放大率E超过了第二阈值α2时(图11(C)所示的状态)，显示控制部58不再次设定强调区域75，而是变更强调显示(以下，为了便于说明，设为第二阶段的强调显示)。

在本实施方式中，在第二阶段的强调显示的情况下，不像第一阶段的强调显示那样显示框形状的图形78，而是在内窥镜图像79的观察区域的外侧且病变部76的附近重叠显示图标85。在本实施方式中，作为强调显示的图标85是正方形的图形，但不限于此，也可以是其他图形。此外，图标85的面积与强调显示变更前的图形78相比面积减小。

如上所述，在从内窥镜图像79检测到的病变部76大幅放大的情况下，在放大率E超过第一阈值α1之前，图形78维持相同的状态，在放大率E超过第一阈值α1、至超过第二阈值α2的范围内，图形78放大。而且，在放大率E超过第二阈值α2之后，变更强调显示而显示面积比图形78小的图标85，因此显示画面81的变化少，闪烁少。另外，在本实施方式中，由于从正方形框状的图形78变化为正方形的图标85，因此容易识别为强调显示。

此外，在第二阶段的强调显示的情况下，不限于图11所示的图标85，只要比强调显示变更前的图形78面积减少即可。例如，如图12所示，在第二阶段的强调显示的情况下，也可以在内窥镜图像79的周围且沿着显示画面81显示带状的图形86。或者，如图13所示，也可以在内窥镜图像79的周围设定坐标轴X，在该坐标轴X上，仅改变与病变部76对应的部分87的显示方式。在图13所示的例子中，在坐标轴X上仅与病变部76对应的带状的部分87的宽度较宽，并且实施了网格图案，但不限于此，只要是在坐标轴X上仅与病变部76对应的部分变更颜色或改变亮度等不同的显示方式即可。

[第四实施方式]

在上述各实施方式中，使用从内窥镜图像检测到的关注区域的信息等来设定强调区域和基准区域，判断是否变更强调区域的设定，但不限于此，也可以不设定基准区域而是设定病变部的代表坐标，在该代表坐标的位置移动超过阈值的情况下，判断是否变更强调区域的设定。在以下说明的第四实施方式中，显示控制部58设定病变部76的代表坐标91，在该代表坐标91的位置移动超过阈值的情况下，再次设定强调区域75的位置。

首先，如图14(A)所示，当在关注区域检测模式下在观察对象内检测到作为关注区域的病变部76时，与上述第一实施方式同样，显示控制部58设定强调区域75，并且确定代表坐标91。显示控制部58例如使用病变部76的重心位置的坐标作为代表坐标91。在本实施方式中，计算病变部76的面积中心作为重心位置。

在设定强调区域75和代表坐标91之后，显示控制部58在内窥镜图像79内的强调区域75的位置上重叠显示作为强调显示的图形78。此外，在图14中，在代表坐标91的位置显示了圆形状的图形，但不限于此，也可以不在代表坐标91的位置显示图形。

显示控制部58在设定强调区域75后，监视代表坐标91的移动量。具体而言，是从内窥镜图像79的获取开始后最初检测到病变部76时(即设定了强调区域75时)的代表坐标91的初始位置到当前显示的病变部76中的代表坐标91的移动量。

然后，如图14(B)和图14(C)所示，在内窥镜图像79内病变部76变迁，代表坐标91与病变部76一起移动。符号M表示代表坐标91的移动量。在代表坐标91的移动量M超过阈值β的情况下，显示控制部58再次设定强调区域75。在图14所示的例子中，由于病变部76的代表坐标91移动了，因此使用病变部76的位置和大小的信息等再次设定的强调区域75的位置当然也移动。

显示控制部58在再次设定的强调区域75的位置上重叠显示作为强调显示的图形78。如图14(D)所示，图形78从双点划线所示的再次设定前的位置移动到实线所示的再次设定后的位置。另一方面，在代表坐标91的移动量M未超过阈值β的情况下，显示控制部58不再次设定强调区域75，因此作为强调显示的图形78维持相同的状态。

如上所述，即使从内窥镜图像79检测到的病变部76变迁，在代表坐标91的移动量M未超过阈值的情况下，作为强调显示的图形78也维持相同的状态，仅在代表坐标91的移动量M超过阈值的情况下，图形78才移动，因此图形78的变化少，显示画面81中的闪烁少。

另外，在上述各实施方式中，除了第三实施方式中的第二阶段的强调显示以外，作为强调显示的图形是正方形框状，但并不限于此，只要是矩形(四边形)以外的多边形、圆、椭圆等能够包围关注区域的框形状即可。

在上述各实施方式中，显示控制部58除了第三实施方式的第二阶段的强调显示以外，作为强调显示在强调区域的位置重叠显示框形状的图形，但不限于此，作为强调显示也可以变更强调区域的颜色。在该情况下，在检测到作为关注区域的病变部76并设定了强调区域的情况下，显示控制部58也可以作为强调显示而将强调区域变更为与本来的颜色不同的颜色，例如，提取内窥镜图像中大量包含的颜色，将强调区域变更为与内窥镜图像的其他部分不同的颜色。此外，在此所说的不同颜色是指例如色相不同的颜色。

此外，作为强调区域的强调显示，不限于上述内容，只要是彩度变化处理、对比度处理、正负反转处理、滤波处理等能够在视觉上与周围区别的图像处理即可。或者，也可以组合基于强调区域的图像处理的强调显示和基于包围上述各实施方式中的病变部的图形的强调显示。

在上述各实施方式中，使用四色的LED20a～20d进行了观察对象的照明，但也可以使用激光光源和荧光体进行观察对象的照明。另外，在上述各实施方式中，使用四色的LED20a～20d进行了观察对象的照明，但也可以使用氙灯等白色光光源和旋转滤光片进行观察对象的照明。另外，也可以取代彩色的摄像传感器38，用单色的摄像传感器进行观察对象的拍摄。

此外，在上述实施方式中，对作为医用图像获取内窥镜图像的内窥镜系统应用了本发明的医用图像处理装置，但毋庸置疑也可以对胶囊型内窥镜等各种内窥镜系统应用本发明的医疗用图像处理装置，也可以对作为其他医用图像获取X射线图像、CT图像、MR图像、超声波图像、病理图像、PET(Positron Emission Tomography)图像等的各种医用图像装置应用本发明的医用图像处理装置。

在上述实施方式中，执行如图像处理部56那样的各种处理的处理部(processingunit)的硬件结构为如下所示的各种处理器(processor)。在各种处理器中，包括执行软件(程序)并作为各种处理部发挥功能的通用处理器即CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、制造FPGA(Field Programmable Gate Array)等后可改变电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、以及具有为了执行各种处理而专门设计的电路结构的处理器即专用电路等。

一个处理部可以由这些各种处理器中的一个构成，也可以由同种或异种的两个以上的处理器的组合(例如，多个FPGA、或CPU与FPGA的组合、或CPU与GPU的组合等)构成。另外，还可以用一个处理器构成多个处理部。作为用一个处理器构成多个处理部的例子，首先，有诸如以客户端或服务器等计算机为代表，使用一个以上的CPU与软件的组合构成一个处理器、并将该处理器作为多个处理部发挥功能的形态。其次，有诸如以片上系统(SystemOn Chip：SoC)等为代表，使用以一个IC(Integrated Circuit)芯片实现包括多个处理部的系统整体的功能的处理器的形态。像这样，使用一个以上的各种处理器作为硬件结构来构成各种处理部。

而且，更具体而言，这些各种处理器的硬件结构是组合了半导体元件等电路元件的形态的电路(circuitry)。

符号说明

10 内窥镜系统

12 内窥镜

12a 插入部

12b 操作部

12c 弯曲部

12d 顶端部

13a 弯角钮

13b 静止图像获取部

13c 模式切换部

13d 变焦操作部

14 光源装置

16 处理器装置

18 监视器

19 控制台

20 光源部

20a V-LED

20b B-LED

20c G-LED

20d R-LED

22 光源控制部

23 波长截止滤光片

24 光导

30a 照明光学系统

30b 摄像光学系统

32 照明透镜

34 物镜

36 放大光学系统

36a 变焦透镜

36b 透镜驱动部

38 摄像传感器

40 CDS电路

42 AGC电路

44 A/D转换电路

50 图像信号获取部

52 DSP

54 降噪部

56 图像处理部

58 显示控制部

60 普通模式图像处理部

62 特殊模式图像处理部

64 关注区域检测模式图像处理部

70 检测用图像处理部

71 关注区域检测部

75 强调区域

76 病变部

77 基准区域

78 图形

79 内窥镜图像

81 显示画面

85 图标

86 图形

87 部分

91 代表坐标

Claims (11)

1.一种医用图像处理装置，其中，具有：

医用图像获取部，其拍摄观察对象而获取医用图像；

关注区域检测部，其对通过所述医用图像获取部获取的所述医用图像检测所述观察对象内的关注区域；以及

显示控制部，其设定面积比所述关注区域大且包含所述关注区域的强调区域，对所述医用图像强调显示所述强调区域，并根据所述医用图像内的所述关注区域的变动量，判断是否变更所述强调区域的设定，

所述显示控制部在设定所述强调区域时，在比所述关注区域靠外侧且比所述强调区域靠内侧设定基准区域，在所述关注区域的至少一部分变迁到所述基准区域的外侧的情况下，再次设定所述强调区域和所述基准区域，在所述关注区域在所述基准区域内变迁的情况下，不再次设定所述强调区域和所述基准区域。

2.根据权利要求1所述的医用图像处理装置，其中，

所述显示控制部在设定了所述强调区域和所述基准区域之后，在再次设定所述强调区域和所述基准区域的情况下，相对于再次设定前的所述强调显示的位置，移动到再次设定后的所述强调显示的位置。

3.根据权利要求1所述的医用图像处理装置，其中，

所述显示控制部在设定了所述强调区域和所述基准区域之后，在再次设定所述强调区域和所述基准区域的情况下，相对于再次设定前的所述强调显示，放大再次设定后的所述强调显示。

4.根据权利要求1所述的医用图像处理装置，其中，

所述显示控制部在设定了所述强调区域后，在所述关注区域的面积的放大率超过了第一阈值的情况下，通过再次设定所述强调区域，从而相对于再次设定前的所述强调显示，放大再次设定后的所述强调显示。

5.根据权利要求4所述的医用图像处理装置，其中，

所述显示控制部在设定了所述强调区域之后，在所述关注区域的面积的放大率超过了比所述第一阈值大的第二阈值的情况下，作为所述强调显示，进行减少与所述医用图像重叠显示的图形的面积的变更。

6.根据权利要求1所述的医用图像处理装置，其中，

所述显示控制部根据由所述关注区域检测部检测到的所述关注区域确定代表坐标，在所述代表坐标的位置移动了阈值以上的情况下，再次设定所述强调区域的位置。

7.根据权利要求1至6中任一项所述的医用图像处理装置，其中，

作为强调显示，所述显示控制部显示与所述强调区域重叠的框形状的图形。

8.根据权利要求1至5中任一项所述的医用图像处理装置，其中，

作为强调显示，所述显示控制部将所述强调区域的颜色变更为与所述医用图像的其他部分不同的颜色。

9.根据权利要求5所述的医用图像处理装置，其中，

在所述放大率超过了所述第二阈值的情况下，作为所述强调显示，所述显示控制部在所述医用图像内的观察区域的外侧显示图标或带状的图形。

10.一种内窥镜系统，其中，具备：

光源装置，其发出用于对观察对象进行照明的照明光；

内窥镜，其具有拍摄被所述照明光照亮的观察对象的摄像部；

医用图像获取部，其获取利用所述摄像部拍摄所述观察对象而得到的医用图像；

关注区域检测部，其对通过所述医用图像获取部获取的所述医用图像检测所述观察对象内的关注区域；

显示控制部，其设定面积比所述关注区域大且包含所述关注区域的强调区域，对所述医用图像强调显示所述强调区域，并根据所述医用图像内的所述关注区域的变动量，判断是否变更所述强调区域的设定；以及

显示部，其显示应用了所述强调显示的所述医用图像，

所述显示控制部在设定所述强调区域时，在比所述关注区域靠外侧且比所述强调区域靠内侧设定基准区域，在所述关注区域的至少一部分变迁到所述基准区域的外侧的情况下，再次设定所述强调区域和所述基准区域，在所述关注区域在所述基准区域内变迁的情况下，不再次设定所述强调区域和所述基准区域。

11.一种医用图像处理装置的工作方法，其中，包括：

医用图像获取部利用摄像部拍摄观察对象而获取医用图像的步骤；

关注区域检测部对通过所述医用图像获取部获取的所述医用图像检测所述观察对象内的关注区域的步骤；

显示控制部设定面积比所述关注区域大且包含所述关注区域的强调区域的步骤；

所述显示控制部对所述医用图像强调显示所述强调区域的步骤；以及

所述显示控制部根据所述医用图像内的所述关注区域的变动量，判断是否变更所述强调区域的设定的步骤，

所述显示控制部在设定所述强调区域时，在比所述关注区域靠外侧且比所述强调区域靠内侧设定基准区域，在所述关注区域的至少一部分变迁到所述基准区域的外侧的情况下，再次设定所述强调区域和所述基准区域，在所述关注区域在所述基准区域内变迁的情况下，不再次设定所述强调区域和所述基准区域。