CN111820852A - 处理器装置及内窥镜系统以及校准方法 - Google Patents

Abstract

本发明提供一种能够以使自动切换显示的各图像之间的色调相等的方式调整色调的处理器装置及内窥镜系统以及校准方法。将按照第1显示区域(80)的位置、形状或大小而从第1图像(SP1)切取的第1局部图像(82)显示于第1显示区域(80)，并将按照第2显示区域(91)的位置、形状或大小而从第2图像(SP2)切取的第2局部图像(83)显示于第2显示区域(81)。色调变更部(77)为了使第1局部图像(82)和第2局部图像(83)的色调相等，进行变更针对第1图像(SP1)和第2图像(SP2)的色调处理内容的色调变更处理。

Description

处理器装置及内窥镜系统以及校准方法

技术领域

本发明涉及一种切换显示多种图像的处理器装置及内窥镜系统以及校准方法。

背景技术

近年来，在医疗领域中，广泛使用具备光源装置、内窥镜、处理器装置的内窥镜系统。在内窥镜系统中，从内窥镜向观察对象照射照明光，根据利用内窥镜的摄像元件拍摄利用该照明光照射中的观察对象来获得的RGB图像信号，将观察对象的图像显示于显示器上。

并且，近年来，根据诊断目的，对观察对象照射波长区互不相同的多个照明光。例如，专利文献1中，针对多个照明光切换各照明光的光量比来进行照明。另外，专利文献1中，对图像的色调进行校正，以使色调在切换光量比之前和之后相同。

以往技术文献

专利文献

专利文献1：日本特开2013-034753号公报

发明内容

发明要解决的技术课题

近年来，在内窥镜领域中，进行着眼于背景粘膜以外的活体信息的诊断，例如深度不同的血管或深度、高度不同的腺管结构等。在这种诊断中，需要对用户以能够分别掌握背景粘膜以外的多个信息的方式进行显示。作为分别显示这种多个信息的方法，考虑自动且周期性地切换对活体组织的深达度不同的多个波长的光来进行照明，并切换显示通过这些照明来获得的多个图像的方法。例如，为了获得表层血管等表层的信息和深层血管等深层的信息，切换具有到达表层的深达度的短波光和具有到达深层的深达度的中波长光来进行照明，并切换显示通过短波光的照明来获得的表层图像和通过中波长光的照明来获得的深层图像。通过进行这种切换显示，显示表层图像与深层图像的差分，因此能够分离显示不同的活体信息。因此，能够掌握表层信息和深层信息的不同的活体信息。

如以上，切换各波长的光来进行照明时，需要调整图像的色调，以使切换前后的图像的色调不会发生大幅改变。对此，可考虑适用专利文献1中示出的色调调整方法。然而，专利文献1中，并未考虑自动切换光量比，并与光量比的自动切换相应地自动切换显示与各光量比相对应的图像。因此，如上所述，对于自动切换的图像，希望使各个图像的背景粘膜的色调一致时，通过专利文献1的色调调整方法，有时无法使图像之间的背景粘膜的色调一致。

本发明的目的在于提供一种处理器装置及内窥镜系统以及校准方法，所述处理器装置在切换多个照明光来进行照明，并与照明光的切换相应地切换显示与各照明光相对应的图像时，能够调整色调，以使各图像之间的色调相等。

用于解决技术课题的手段

本发明的处理器装置具备：图像获取部，获取通过拍摄利用第1照明光照亮的观察对象而获得的第1图像和通过拍摄利用具有与第1照明光不同的发光光谱的第2照明光照亮的观察对象而获得的第2图像；显示控制部，在将观察对象分割为第1显示区域和第2显示区域并显示于显示部的情况下，将按照第1显示区域的位置、形状或大小而从第1图像切取的第1局部图像显示于第1显示区域，并将按照第2显示区域的位置、形状或大小而从第2图像切取的第2局部图像显示于第2显示区域；及色调变更部，为了使第1局部图像和第2局部图像的色调相等，进行变更针对第1图像和第2图像的色调处理内容的色调变更处理。

优选如下，即，显示控制部能够变更第1显示区域和第2显示区域的位置、形状或大小中的至少任一个，将按照变更之后的第1显示区域的位置、形状或大小而重新切取的第1局部图像显示于变更之后的第1显示区域，并将按照变更之后的第2显示区域的位置、形状或大小而重新切取的第2局部图像显示于变更之后的第2显示区域。

优选如下，即，显示控制部针对第1显示区域和第2显示区域，能够在维持形状及大小的状态下变更位置。优选如下，即，显示控制部针对第1显示区域和第2显示区域，在维持形状及大小的状态下，使其以显示观察对象的观察对象显示区域的中心部分为中心而旋转。优选如下，即，第1显示区域的形状为以中心部分为中心的90°的扇形，第2显示区域的形状为以中心部分为中心的270°的扇形。优选如下，即，显示控制部固定第1显示区域和第2显示区域的位置、形状或大小。优选如下，即，第1显示区域和第2显示区域彼此相邻而设置。优选如下，即，第1显示区域与第2显示区域的边界部分为透明。

优选如下，即，具备：用户界面，其用于对色调变更部进行操作，色调变更部根据基于用户界面的操作来进行色调变更处理。优选如下，即，具备：色调信息获取部，其获取与第1局部图像和第2局部图像的色调相关的信息，色调变更部根据通过色调信息获取部获取的信息，自动进行色调变更处理。

本发明的内窥镜系统具备：上述中所述的本发明的处理器装置；光源部，发射第1照明光和第2照明光；及光源控制部，进行自动切换第1照明光和第2照明光来发光的控制，色调变更部在校准模式中进行色调变更处理。

本发明的校准方法包括如下步骤：图像获取部获取通过拍摄利用第1照明光照亮的观察对象而获得的第1图像和通过拍摄利用具有与第1照明光不同的发光光谱的第2照明光照亮的观察对象而获得的第2图像的步骤；显示控制部在将观察对象分割为第1显示区域和第2显示区域并显示于显示部的情况下，将按照第1显示区域的位置、形状或大小而从第1图像切取的第1局部图像显示于第1显示区域，并将按照第2显示区域的位置、形状或大小而从第2图像切取的第2局部图像显示于所述第2显示区域的步骤；及色调变更部为了使第1局部图像和所述第2局部图像的色调相等，进行变更针对第1图像和第2图像的色调处理内容的色调变更处理的步骤。

发明效果

根据本发明，在切换多个照明光进行照明，并与照明光的切换相应地切换显示与各照明光相对应的图像时，能够调整色调，以使各图像之间的色调相等。

附图说明

图1是内窥镜系统的外观图。

图2是表示内窥镜系统的功能的框图。

图3是表示紫色光V、蓝色光B、绿色光G及红色光R的发光光谱的曲线图。

图4是表示包含紫色光V、蓝色光B、绿色光G及红色光R的第1照明光的发光光谱的曲线图。

图5是表示包含紫色光V、蓝色光B、绿色光G及红色光R的第2照明光的发光光谱的曲线图。

图6是表示第1照明光的发光期间和第2照明光的发光期间的说明图。

图7是表示发光期间设定菜单的说明图。

图8是设置于摄像传感器的B滤波器、G滤波器、R滤波器的光谱透射率。

图9是根据时序列对第1图像信号组及第2图像信号组的获取进行说明的说明图。

图10是表示DSP的功能的框图。

图11是表示特殊图像处理部的功能的框图。

图12是表示第1图像的图像图。

图13是表示照射第1照明光时可获得的紫色及蓝色光图像和绿色及红色光图像的说明图。

图14是表示第2图像的图像图。

图15是表示照射第2照明光时可获得的紫色及蓝色光图像和绿色及红色光图像的说明图。

图16是表示自动切换显示第1图像和第2图像的情况的说明图。

图17是表示2分割后的第1显示区域和第2显示区域的说明图。

图18是表示4分割后的第1显示区域和第2显示区域的说明图。

图19是表示一边使大致扇形的第1显示区域及第2显示区域旋转一边进行色调变更处理的情况的说明图。

图20是表示通过校准模式进行的校准方法的一系列流程的流程图。

具体实施方式

如图1所示，内窥镜系统10具有内窥镜12、光源装置14、处理器装置16、显示器18(显示部)及用户界面19。内窥镜12与光源装置14光学连接且与处理器装置16电连接。内窥镜12具有：插入到受检体内的插入部12a；设置于插入部12a的基端部分的操作部12b；及设置于插入部12a的前端侧的弯曲部12c及前端部12d。通过对操作部12b的弯角钮12e进行操作，弯曲部12c进行弯曲动作。随着该弯曲动作，前端部12d朝向所希望的方向。另外，除了图示的键盘以外，用户界面19还包含鼠标等。

并且，除了弯角钮12e以外，在操作部12b还设置有模式切换SW13a、静止图像获取指示部13b。模式切换SW13a用于通常光观察模式、第1特殊光观察模式、第2特殊光观察模式、多观察模式和校准模式的切换操作。通常光观察模式为将通常图像显示于显示器18上的模式。第1特殊光观察模式为将强调表层血管等表层信息的第1图像显示于显示器18上的模式。第2特殊光观察模式为将强调深层血管等深层信息的第2图像显示于显示器18上的模式。多观察模式为自动切换第1图像和第2图像来显示于显示器18的模式。校准模式为如下模式：在多观察模式中，在自动切换第1图像和第2图像来显示时，为了使第1图像和第2图像的色调相等，变更针对第1图像或第2图像的色调处理内容。另外，为了切换模式，除了模式切换SW13a以外，还可以使用脚踏开关等。

处理器装置16与显示器18及用户界面19电连接。显示器18输出显示图像信息等。用户界面19接收功能设定等输入操作。另外，在处理器装置16可连接记录图像信息等的外置记录部(省略图示)。

如图2所示，光源装置14具有光源部20、光源控制部21、光路结合部23及发光期间设定部24。光源部20具有V-LED(紫光发光二极管，Violet Light Emitting Diode)20a、B-LED(蓝光发光二极管，Blue Light Emitting Diode)20b、G-LED(绿光发光二极管，GreenLight Emitting Diode)20c、R-LED(红光发光二极管，Red Light Emitting Diode)20d。光源控制部21控制LED20a～20d的驱动。光路结合部23结合从4个颜色的LED20a～20d发出的4个颜色的光的光路。通过光路结合部23结合的光经由插通到插入部12a内的光导件41及照明透镜45而照射到受检体内。另外，可以使用LD(激光器二极管，Laser Diode)来代替LED。发光期间设定部24设定多个照明光各自的发光期间。

如图3所示，V-LED20a产生中心波长405±10nm、波长范围380～420nm的紫色光V。B-LED20b产生中心波长460±10nm、波长范围420～500nm的蓝色光B。G-LED20c产生波长范围达到480～600nm的绿色光G。R-LED20d产生中心波长620～630nm且波长范围达到600～650nm的红色光R。

光源控制部21控制V-LED20a、B-LED20b、G-LED20c及R-LED20d。并且，在通常光观察模式时，光源控制部21以发出紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比成为Vc∶Bc∶Gc∶Rc的通常光的方式控制各LED20a～20d。

并且，在第1特殊光观察模式时，光源控制部21以发出紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比成为Vs1∶Bs1∶Gs1∶Rs1的第1照明光的方式控制各LED20a～20d。光强度比Vs1∶Bs1∶Gs1∶Rs1与第1照明光的光量条件相对应。优选第1照明光强调表层血管。因此，优选第1照明光中，与蓝色光B的光强度相比，加大紫色光V的光强度。例如，如图4所示，将紫色光V的光强度Vs1与蓝色光B的光强度Bs1的比率设为“4∶1”。

另外，在本说明书中，光强度比包含至少1个半导体光源的比率为0(零)的情况。因此，包含不打开各半导体光源中的任一个或2个以上的情况。例如，如紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比为1∶0∶0∶0的情况，设为仅打开半导体光源中的1个且不打开其他3个时也具有光强度比。

并且，在第2特殊光观察模式时，光源控制部21以发出紫色光V、蓝色光B、绿色光G及红色光R之间的光强度比成为Vs2∶Bs2∶Gs2∶Rs2的第2照明光的方式控制各LED20a～20d。光强度比Vs2∶Bs2vGs2∶Rs2与第2照明光的光量条件相对应。优选第2照明光强调深层血管。因此，优选第2照明光中，与紫色光V的光强度相比，加大蓝色光B的光强度。例如，如图5所示，优选将紫色光V的光强度Vs2与蓝色光B的光强度Bs2的比率设为“1∶3”。

在设定为多观察模式及校准模式时，光源控制部21进行分别以发光期间K(N)和发光期间L(N)发出第1照明光和第2照明光，且自动切换第1照明光和第2照明光来发光的控制。发光期间K(N)和发光期间L(N)分别具有至少1帧以上的发光期间。另外，N设为自然数，表示N越大，时间越长。

更具体而言，例如如图6所示，光源控制部21在将发光期间K(N)设为4帧且将发光期间K(N)设为4帧时，第1照明光以发光期间K(1)连续发光4帧之后，第2照明光以发光期间L(2)连续发光4帧。并且，反复进行该发光模式。

另外，“帧”是指用于控制拍摄观察对象的摄像传感器48(参考图2)的单位，例如，“1帧”是指至少包含利用来自观察对象的光对摄像传感器48进行曝光的曝光期间和读出图像信号的读出期间的期间。在本实施方式中，与作为拍摄单位的“帧”相对应而分别设定有发光期间K(N)或发光期间L(N)。

发光期间K(N)和发光期间L(N)能够通过与光源控制部21连接的发光期间设定部24适当变更。若通过用户界面19的操作接收发光期间的变更操作，则发光期间设定部24将如图7所示那样的发光期间设定菜单显示于显示器18上。发光期间K(N)例如能够在2帧至10帧之间变更。对于各发光期间，分配在滑杆26a上。

变更发光期间K(N)时，对用户界面19进行操作，将滑块27a滑到滑杆26a上的表示希望变更的发光期间的位置，由此变更发光期间K(N)。对于发光期间K(N)，也对用户界面19进行操作，将滑块27b滑到滑杆26b(例如，分配有2帧至10帧的发光期间)上的表示希望变更的发光期间的位置，由此变更发光期间L(N)。

如图2所示，光导件41内置于内窥镜12及通用塞绳(连接内窥镜12和光源装置14及处理器装置16的塞绳)内，将通过光路结合部23结合的光传播至内窥镜12的前端部12d。另外，作为光导件41，能够使用多模光纤。作为一例，能够使用芯部直径105μm、包层直径125μm、包括成为外皮的保护层在内的直径为φ0.3～0.5mm的细径的光纤电缆。

在内窥镜12的前端部12d设置有照明光学系统30a和摄像光学系统30b。照明光学系统30a具有照明透镜45，来自光导件41的光经由该照明透镜45照射于观察对象。摄像光学系统30b具有物镜46及摄像传感器48。来自观察对象的反射光经由物镜46入射于摄像传感器48。由此，观察对象的反射像成像于摄像传感器48。

摄像传感器48为彩色的摄像传感器，拍摄受检体的反射像来输出图像信号。该摄像传感器48优选为CCD(电荷耦合器件，Charge Coupled Device)摄像传感器或CMOS(互补金属氧化物半导体，Complementary Metal-Oxide Semiconductor)摄像传感器等。本发明中使用的摄像传感器48为用于获得R(红色)、G(绿色)及B(蓝色)这3个颜色的RGB图像信号的彩色的摄像传感器，即，为具备设置有R滤波器的R像素、设置有G滤波器的G像素、设置有B滤波器的B像素的所谓的RGB摄像传感器。

如图8所示，B滤波器48b使紫色区域的光、蓝色区域的光及绿色区域的光中的短波长侧的光透射。G滤波器48g使绿色区域的光、蓝色区域的光的长波长侧的光及红色区域的光的短波长侧的光透射。R滤波器48r使红色区域的光、绿色区域的短波长侧的光透射。因此，摄像传感器48中，B像素对紫色光V及蓝色光B具有灵敏度，G像素对蓝色光B、绿色光G及红色光R具有灵敏度，R像素对绿色光G及红色光R具有灵敏度。

另外，作为摄像传感器48，也可以是具备C(青色)、M(品红色)、Y(黄色)及G(绿色)的补色滤波器的所谓的补色摄像传感器，以此代替RGB的彩色的摄像传感器。使用补色摄像传感器时，输出CMYG这4个颜色的图像信号，因此需要通过补色-原色颜色转换，将CMYG这4个颜色的图像信号转换为RGB这3个颜色的图像信号。并且，摄像传感器48也可以是未设置滤色器的单色摄像传感器。此时，光源控制部21需要以分时方式打开蓝色光B、绿色光G及红色光R，并且在摄像信号的处理中执行同步化处理。

如图2所示，从摄像传感器48输出的图像信号发送至CDS/AGC电路50。CDS/AGC电路50对作为模拟信号的图像信号进行相关双采样(CDS(Correlated Double Sampling))或自动增益控制(AGC(Auto Gain Control))。经过CDS/AGC电路50的图像信号通过A/D转换器(A/D(模拟/数字，Analog/Digital)转换器)51转换为数字图像信号。经A/D转换的数字图像信号输入至处理器装置16。

处理器装置16具备图像获取部52、DSP(数字信号处理器，Digital SignalProcessor)54、除噪部58、信号切换部60、通常观察图像处理部62、特殊观察图像处理部63、显示控制部70、静止图像保存部71及静止图像保存控制部72。

图像获取部52获取通过在内窥镜12中拍摄观察对象而获得的观察图像。具体而言，作为观察图像，来自内窥镜12的数字的彩色图像信号输入至图像获取部52。彩色图像信号由从摄像传感器48的R像素输出的红色信号、从摄像传感器48的G像素输出的绿色信号及从摄像传感器48的B像素输出的蓝色信号构成。

在通常光观察模式中，图像获取部52获取通过拍摄利用通常光照射的观察对象而获得的通常光用图像信号。并且，在第1特殊光观察模式中，图像获取部52获取通过拍摄利用第1照明光照亮的观察对象而获得的第1图像信号。并且，在第2特殊光观察模式中，图像获取部52获取通过拍摄利用第2照明光照亮的观察对象而获得的第2图像信号。

如图9所示，在多观察模式及校准模式中，图像获取部52在发光期间K(N)获取第1图像信号组。第1图像信号组包含通过在发光期间K(N)拍摄利用第1照明光照亮的被摄体而得的多个第1图像信号SP1。并且，图像获取部52在发光期间L(N)获取第2图像信号组。第2图像信号组包含通过在发光期间L(N)拍摄利用第2照明光照亮的被摄体而得的多个第2图像信号SP2。在本实施方式中，在设定为多观察模式及校准模式时，光源控制部21进行分别以发光期间K(N)和发光期间L(N)发出第1照明光和第2照明光，且自动切换第1照明光和第2照明光来发光的控制，因此图像获取部52根据时间的经过，以第1图像信号组、第2图像信号组的顺序，周期性地获取图像。另外，发光期间K(N)和发光期间L(N)的“N”表示发出第1照明光和第2照明光的时刻，设为1以上的自然数。

发光期间K(N)和发光期间L(N)分别具有至少1帧以上的发光期间，因此第1图像信号组和第2图像信号组分别包含至少1个以上的第1图像信号SP1和第2图像信号SP2。在本实施方式中，发光期间K(N)和发光期间L(N)均为4帧的发光期间。因此，在发光期间K(N)，可获取包含4个第1图像信号SP1的第1图像信号组，在发光期间L(N)，可获取包含4个第2图像信号SP2的第2图像信号组。

DSP56对所接收的图像信号实施缺陷校正处理、偏移处理、白平衡处理、去马赛克处理、线性矩阵处理或伽马转换处理等各种信号处理。并且，如图10所示，DSP54具备亮度计算部55及光量设定部56。亮度计算部55根据图像信号计算观察对象的亮度。光量设定部56根据通过亮度计算部55求出的亮度，设定与通常光和第1照明光或第2照明光的光量相关的信息。通过光量设定部56设定的与光量相关的信息发送至光源控制部21。光源控制部21中，根据通过光量设定部56设定的与光量相关的信息，进行通常光和第1照明光或第2照明光的光量的控制。

在缺陷校正处理中，摄像传感器48的缺陷像素的信号得到校正。在偏移处理中，从已实施缺陷校正处理的图像信号去除暗电流成分，设定准确的零电平。在白平衡处理中，通过对偏移处理之后的图像信号乘以增益值，信号电平得到调整。对白平衡处理之后的图像信号实施去马赛克处理(还称为各向同性处理、同步化处理)，通过插值生成各像素中不足的颜色的信号。通过该去马赛克处理，所有像素得以具有各颜色的信号。对去马赛克处理之后的图像信号实施用于提高颜色再现性的线性矩阵处理。之后，通过伽马转换处理，亮度和彩度得到调整。

关于白平衡处理、线性矩阵处理等，是用于调整通常图像、第1图像或第2图像的色调的处理，因此相当于色调处理。与白平衡处理相关的参数为和通常光用图像信号、第1图像信号、第2图像信号相乘的增益值。并且，与线性矩阵处理相关的参数有与通常光用图像信号、第1图像信号、第2图像信号相关的LUT(查找表，Look Up Table)、Matrix、3D-LUT(三维查找表，3-DimensionalLook Up Table)的参数。

关于这些与色调处理相关的参数，作为色调处理用参数而保存在色调处理用参数保存部74(参考图2)。在通常光观察模式、第1特殊光观察模式、第2特殊光观察模式或多观察模式中，从色调处理用参数保存部74适当地读出色调处理用参数，并用于色调处理。关于色调处理用参数，优选在工厂出货时或开始使用内窥镜12时设定。并且，关于在多观察模式中使用的色调处理参数，能够在使用内窥镜12的设施或其他设施中，通过校准模式进行设定。关于校准模式的详细内容，将进行后述。另外，色调处理用参数中可以包含第1图像用参数或第2图像用参数。

除噪部58通过对已通过DSP56实施了伽马校正等的图像信号实施除噪处理(例如，移动平均法或中值滤波法等)，从图像信号去除噪声。已去除噪声的图像信号发送至信号切换部60。

当通过模式切换SW13a设定为通常光观察模式时，信号切换部60将通常光用图像信号发送至通常观察图像处理部62。并且，当设定为第1特殊光观察模式时，信号切换部60将第1图像信号发送至特殊观察图像处理部63的第1特殊观察图像处理部67(参考图11)。第1图像信号中包含从摄像传感器的R像素输出的第1红色信号、从摄像传感器48的G像素输出的第1绿色信号及从摄像传感器48的B像素输出的第1蓝色信号。

并且，当设定为第2特殊光观察模式时，信号切换部60将第2图像信号发送至特殊观察图像处理部63的第2特殊观察图像处理部68(参考图11)。第2图像信号中包含从摄像传感器的R像素输出的第2红色信号、从摄像传感器48的G像素输出的第2绿色信号及从摄像传感器48的B像素输出的第2蓝色信号。并且，当设定为多观察模式或校准模式时，信号切换部60将第1图像信号发送至第1特殊观察图像处理部67，并将第2图像信号发送至第2特殊观察图像处理部68。

通常观察图像处理部62对通常光用图像信号实施通常图像用图像处理。通常图像用图像处理中包含通常图像用结构强调处理等。已实施通常图像用图像处理的通常光用图像信号作为通常图像而从通常观察图像处理部62输入至显示控制部70。

第1特殊观察图像处理部67根据第1图像信号，生成已进行彩度强调处理、色相强调处理及结构强调处理等图像处理的第1图像。第1图像中，包含大量的表层血管，并且还准确地再现了背景粘膜的颜色。在第1特殊观察图像处理部67中，为了进行第1图像的图像处理，设定有和第1图像信号相乘的第1图像用的参数。另外，在第1特殊观察图像处理部67中，不进行强调表层血管的表层血管强调处理，但是也可以根据处理负荷的情况，进行表层血管强调处理。

如图12所示，通过第1图像显示表示观察对象中的背景粘膜BM及表层血管VS1的图像。第1图像根据包含紫色光、蓝色光、绿色光及红色光的第1照明光来获得。如图13所示，若第1照明光照射于观察对象，则第1照明光中的紫色光V及蓝色光B深达至分布有表层血管VS1的表层。因此，根据紫色光V及蓝色光B的反射光获得的紫色光图像VP中包含表层血管VS1的像。另外，在此，紫色光V的光强度比蓝色光B的光强度强，因此作为紫色光图像VP。并且，第1照明光中的绿色光G和红色光R深达至分布于比表层血管VS1及深层血管VS2(位于比表层血管VS1更深的位置的血管)更深的位置的背景粘膜BM。因此，根据绿色光G和红色光R的反射光获得的绿色及红色光图像GRP中包含背景粘膜BM的像。如上所述，第1图像为组合紫色光图像VP和绿色及红色光图像GRP而成的图像，因此显示背景粘膜BM及表层血管VS1的像。

第2特殊观察图像处理部68根据第2图像信号，生成已实施彩度强调处理、色相强调处理及结构强调处理等图像处理的第2图像。第2图像中，包含大量的深层血管，并且还准确地再现了背景粘膜的颜色。在第2特殊观察图像处理部68中，为了进行第2图像的图像处理，设定有和第2图像信号相乘的第2图像用的参数。另外，在第2特殊观察图像处理部68中，不进行强调深层血管的表层血管强调处理，但是也可以根据处理负荷的情况，进行深层血管强调处理。

如图14所示，通过第2图像显示表示观察对象中的背景粘膜BM及深层血管VS2的图像。第2图像根据包含紫色光、蓝色光、绿色光及红色光的第2照明光来获得。如图15所示，若第2照明光照射于观察对象，则第2照明光中的紫色光V及蓝色光B深达至分布有深层血管VS2的深层。因此，根据紫色光V及蓝色光B的反射光获得的蓝色光图像BP中包含深层血管VS2的像。另外，在此，蓝色光B的光强度比紫色光V的光强度强，因此作为蓝色光图像BP。并且，第2照明光中的绿色光G和红色光R深达至分布于比表层血管VS1及深层血管VS2(位于比表层血管VS1更深的位置的血管)更深的位置的背景粘膜BM。因此，根据绿色光G和红色光R的反射光获得的绿色及红色光图像GRP中包含背景粘膜BM的像。如上所述，第2图像为组合蓝色光图像BP和绿色及红色光图像GRP而成的图像，因此显示背景粘膜BM及深层血管VS2的像。

如上所述，在本实施方式中，优选如下，即，根据第1图像信号生成第1图像且根据第2图像信号生成第2图像，第1特殊观察图像中强调表层血管，第2特殊观察图像中强调位于比表层血管更深的位置的深层血管。

显示控制部70进行用于将从通常观察图像处理部62或特殊观察图像处理部63输入的通常图像、第1图像和/或第2图像显示为能够在显示器18显示的图像的控制。通过基于显示控制部70的控制，显示与各观察模式相应的图像。在通常观察模式的情况下，通常图像显示于显示器18。并且，在第1特殊光观察模式的情况下，第1图像(参考图12)显示于显示器18。并且，在第2特殊光观察模式的情况下，第2图像(参考图14)显示于显示器18。

并且，在多观察模式的情况下，根据第1照明光的发光期间和第2照明光的发光期间，切换彩色的第1图像和第2图像来显示于显示器18。例如，当发光期间K(N)为2帧且发光期间L(N)为3帧时，如图16所示，第1图像连续显示2帧且第2图像连续显示3帧。

如上所述，在多观察模式中，不进行基于用户的模式切换SW13a的操作就能够自动切换2种第1图像和第2图像来显示。通过如此自动切换来显示，只要观察对象不移动或内窥镜12的前端部12d不移动，就在第1图像和第2图像中显示相同的观察对象。但是，即使在第1图像和第2图像中为相同的观察对象，由于分光信息分别不同，因此根据分光信息的不同，观察对象的形态不同。即，第1图像中，表层血管的视觉辨认度高，而第2图像中，深层血管的视觉辨认度高。因此，通过切换第1图像和第2图像来显示，能够提高对不同深度的多个血管的视觉辨认度。

如图2所示，静止图像保存控制部72根据静止图像获取指示部13b的指示，进行将在该静止图像获取指示的时刻获得的图像作为静止图像而保存于静止图像保存部71的控制。在通常观察模式的情况下，将在静止图像获取指示的时刻获得的通常图像作为静止图像而保存于静止图像保存部71。在第1特殊光观察模式的情况下，将在静止图像获取指示的时刻获得的第1图像作为静止图像而保存于静止图像保存部71。在第2特殊光观察模式的情况下，将在静止图像获取指示的时刻获得的第2图像作为静止图像而保存于静止图像保存部71。并且，在多观察模式的情况下，将在静止图像获取指示的时刻获得的第1图像和第2图像的一组图像保存于静止图像保存部71。

对校准模式的详细内容进行说明。若设定为校准模式，在显示控制部70将显示观察对象的观察对象显示区域分割为第1显示区域和第2显示区域并显示于显示器18。并且，显示控制部70将按照第1显示区域的位置、形状或大小而从第1图像切取的第1局部图像显示于第1显示区域，并将按照第2显示区域的位置、形状或大小而从第2图像切取的第2局部图像显示于第2显示区域。处理器装置16内的色调变更部76为了使第1局部图像和第2局部图像的色调相等，进行变更针对第1图像和第2图像的色调处理内容的色调变更处理。在此，关于第1局部图像和第2局部图像的色调相等，除了第1局部图像和第2局部图像的色调一致的情况以外，还包含第1局部图像与第2局部图像的色调的差异在容许范围内的情况。

通过图像获取部52获取的第1图像的第1局部图像及第2图像的第2局部图像同时显示于第1显示区域或第2显示区域。并且，根据第1照明光和第2照明光的发光时刻，分别依次更新第1显示区域的第1局部图像和第2显示区域的第2局部图像。另外，也可以固定地显示通过图像获取部52获取的第1图像或第2图像中的特定时刻的第1图像的第1局部图像或第2图像的第2局部图像，而不是依次更新第1局部图像和第2局部图像。

具体而言，显示控制部70在如图17那样对观察对象显示区域ODA进行了2分割时，优选将左侧的大致半圆的区域设为第1显示区域80，并将右侧的大致半圆的区域设为第2显示区域81。显示控制部70将按照大致半圆的第1显示区域80的位置或大小而从第1图像SP1切取的第1局部图像82显示于第1显示区域80。并且，显示控制部70将按照大致半圆的第2显示区域81的位置或大小而从第2图像SP2切取的第2局部图像83显示于第2显示区域81。用户对第1局部图像和第2局部图像进行观察，并经由用户界面19对色调变更部76进行操作，以使两者的色调相等。色调变更部76根据基于用户界面19的指示，进行变更作为色调处理的内容之一的色调处理用参数的处理。关于色调处理用参数的变更，变更针对第1图像SP1的色调处理用参数、针对第2图像SP2的色调处理用参数中的至少任一个。由用户指定进行色调处理用参数的变更的区域，例如，优选在显示器18显示指针等，通过用户界面19将指针所示的区域设为色调处理用参数的变更对象区域。根据以上的色调处理用参数的变更，显示器18上的第1局部图像或第2局部图像的色调被变更。

并且，当用户判断为显示器18上的第1局部图像和第2局部图像的色调相等时，对用户界面19进行操作而发出色调确定的指示。进行了色调确定的指示的时点的色调处理用参数保存于色调处理用参数保存部74。由此，校准模式结束。另外，对于第1显示区域80和第2显示区域81的边界部分BL，优选设为透明，以便可以理解第1局部图像和第2局部图像的色调的差异同。相对于此，在显示有明确地定义边界部分BL的不透明的线等的情况下，即使在第1局部图像和第2局部图像的色调大致相等时，通常在视觉上，看起来第1局部图像和第2局部图像的色调不同。

另外，除了在如图17所示那样对观察对象显示区域ODA进行了2分割的第1显示区域和第2显示区域中进行校准模式以外，也可以将观察对象显示区域ODA分割为4个以上的区域并进行校准模式。例如，如图18所示，对观察对象显示区域ODA进行了4分割时，形成4个大致扇形的区域。这些4个大致扇形的区域中，将左上及右下的大致扇形的区域设为第1显示区域85，并将右上及左下的大致扇形的区域设为第2显示区域86。显示控制部70将按照左上及右下的大致扇形的第1显示区域85而从第1图像SP1切取的第1局部图像87显示于第1显示区域85。并且，显示控制部70将按照右上及左下的大致扇形的第2显示区域86而从第2图像SP2切取的第2局部图像88显示于第2显示区域81。

另外，将观察对象区域分割为4个以上的区域时，为了交替显示第1局部图像和第2局部图像，从而容易比较色调，优选沿圆周方向进行分割且彼此相邻而设置第1显示区域和第2显示区域。并且，将观察对象区域分割为4个以上的区域时，优选分割为偶数倍(2M倍(M为1以上的自然数))的区域。

另外，除了如图17及图18那样固定第1显示区域及第2显示区域的位置、形状或大小的情况以外，也可以设为能够在显示控制部70中变更第1显示区域和第2显示区域的位置、形状或大小中的至少任一个，并在变更第1显示区域或第2显示区域的基础上进行色调变更处理。在该情况下，显示控制部70将按照变更之后的第1显示区域的位置、形状或大小而重新切取的第1局部图像显示于变更之后的第1显示区域。并且，显示控制部70将按照变更之后的第2显示区域的位置、形状或大小而重新切取的第2局部图像显示于变更之后的第2显示区域。

例如，也可以设为显示控制部70针对第1显示区域和第2显示区域，能够在维持形状及大小的状态下变更位置。在该情况下，如图19所示，将观察对象显示区域ODA分割为具有以中心部分CP为中心的90°的扇形的第1显示区域90、具有以中心部分CP为中心的270°的扇形的第2显示区域91时，如图19(A)所示，使位于左上的第1显示区域90和其以外的第2显示区域91以中心部分CP为中心，进行顺时针或逆时针旋转。图19(B)表示使第1显示区域90向大致左下旋转且使第2显示区域91与第1显示区域90向大致左下的旋转相应地旋转的状态。并且，图19(C)表示使第1显示区域90向大致右上旋转且使第2显示区域91与第1显示区域90向大致右上的旋转相应地旋转的状态。

与第1显示区域90及第2显示区域91的旋转相应地重新切取第1局部图像和第2局部图像，将重新切取之后的第1局部图像和第2局部图像分别显示于第1显示区域90及第2显示区域91。用户对显示于旋转之后的第1显示区域90及第2显示区域91的第1局部图像及第2局部图像进行观察，并经由用户界面19对色调变更部76进行操作。

如上所述，通过第1显示区域90及第2显示区域91的旋转，第1显示区域90及第2显示区域91旋转360°，由此能够在整个区域显示观察对象显示区域ODA中的第1图像SP1和第2图像SP2的色调的差异，而不是局部显示。由此，能够在整个观察对象显示区域ODA，使第1图像SP1和第2图像SP2的色调一致。

另外，关于第1局部图像和第2局部图像的色调变更，除了由使用用户界面19的用户通过手动进行以外，还可以在处理器装置16的内部自动进行。在该情况下，处理器装置16的色调获取部77获取与第1局部图像和第2局部图像的色调相关的色调信息。并且，色调变更部76根据通过色调获取部77获取的色调信息进行色调变更处理。具体而言，色调变更部76求出第1局部图像的色调与第2局部图像的色调的差值(例如，像素值的平均值)，以使差值接近“0”值的方式进行色调处理用参数的变更。

另外，作为色调信息，除了第1图像SP1的像素值的平均值或第2图像SP2的像素值的平均值以外，还可以是色差信号Cr、Cb、色相H、彩度S等。并且，如第1图像信号组或第2图像信号组那样，在第1照明光的发光期间或第2照明光的发光期间获取多个图像信号时，例如，优选以使第1图像信号组的最后的帧的第1图像信号的色调和第2图像信号组的最初的帧的第2图像信号的色调相等的方式进行色调变更处理，并且，以使第2图像信号组的最后的帧的第2图像信号的色调和第1图像信号组的最初的帧的第1图像信号的色调相等的方式进行色调变更处理。

接着，根据图20所示的流程图，对通过校准模式进行的校准方法的一系列流程进行说明。若切换为校准模式，则自动切换第1照明光和第2照明光来进行发光。图像获取部52获取通过拍摄利用第1照明光照亮的观察对象而获得的第1图像和通过拍摄利用第2照明光照亮的观察对象而获得的第2图像。

若通过图像获取部52获取到第1图像和第2图像，则显示控制部70将按照第1显示区域的位置、形状或大小而从第1图像切取的第1局部图像显示于第1显示区域。并且，显示控制部70将按照第2显示区域的位置、形状或大小而从第2图像切取的第2局部图像显示于第2显示区域。并且，色调变更部76为了使第1局部图像和第2局部图像的色调相等，进行变更针对第1图像和第2图像的色调处理的内容的色调变更处理。若色调变更处理结束，则色调变更处理结束的时点的色调变更处理的内容保存于色调处理用参数保存部74等。由此，校准模式结束。

在上述实施方式中，图像获取部52、DSP54、亮度计算部55、光量设定部56、除噪部58、通常观察图像处理部62、特殊观察图像处理部63、第1特殊观察图像处理部67、第2特殊观察图像处理部68、显示控制部70、静止图像保存部71、静止图像保存控制部72、色调处理用参数保存部74、色调变更部76、色调获取部77等包含在处理器装置16的处理部(处理单元，processing unit)的硬件结构为如下示出的各种处理器(processor)。各种处理器中，包含执行软件(程序)来作为各种处理部而发挥作用的通用的处理器即CPU(中央处理单元，Central Processing Unit)、FPGA(现场可编程门阵列，Field Programmable Gate Array)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable LogicDevice：PLD)、具有GPU(图形处理单元，Graphical Processing Unit)等为了执行各种处理而专门设计的电路结构的处理器即专用电路等。

1个处理部可由这些各种处理器中的1个构成，也可以通过相同种类或不同种类的2个以上的处理器的组合(例如，多个FPGA、CPU和FPGA的组合、CPU和GPU的组合)构成。并且，也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子，第1，有如客户机及服务器等计算机为代表，由1个以上的CPU和软件的组合构成1个处理器，该处理器作为多个处理部发挥作用的方式。第2，有如系统芯片(System On Chip：SoC)等为代表，使用通过1个IC(集成电路，Integrated Circuit)芯片实现包含多个处理部的整个系统的功能的处理器的方式。如此，各种处理部作为硬件结构利用上述各种处理器的1个以上来构成。

而且，更具体而言，这些各种处理器的硬件结构为组合了半导体元件等电路元件的形态的电路(circuitry)。

另外，本发明除了能够适用于如第1或第2实施方式那样的组装于内窥镜系统的处理器装置以外，还能够适用于组装于胶囊型内窥镜系统的处理器装置或各种医用图像处理装置。

符号说明

10-内窥镜系统，12-内窥镜，12a-插入部，12b-操作部，12c-弯曲部，12d-前端部，12e-弯角钮，13b-静止图像获取指示部，14-光源装置，16-处理器装置，18-显示器，19-用户界面，20-光源部，20a-V-LED，20b-B-LED，20c-G-LED，20d-R-LED，21-光源控制部，23-光路结合部，24-发光期间设定部，26a-滑杆，26b-滑杆，27a-滑块，27b-滑块，30a-照明光学系统，30b-摄像光学系统，41-光导件，45-照明透镜，46-物镜，48-摄像传感器，48b-B滤波器，48g-G滤波器，48r-R滤波器，50-电路，52-图像获取部，54-DSP，55-计算部，56-光量设定部，58-除噪部，60-信号切换部，62-通常观察图像处理部，63-特殊观察图像处理部，67-第1特殊观察图像处理部，68-第2特殊观察图像处理部，70-显示控制部，71-静止图像保存部，72-静止图像保存控制部，74-色调处理用参数保存部，76-色调变更部，77-色调获取部，80-第1显示区域，81-第2显示区域，83-第2局部图像，85-第1显示区域，86-第2显示区域，87-第1局部图像，88-第2局部图像，90-第1显示区域，91-第2显示区域，SP1-第1图像，SP2-第2图像，VP-紫色光图像，GRP-绿色及红色光图像，ODA-观察对象显示区域，VS1-表层血管，VS2-深层血管，BM-背景粘膜。

Claims (12)

1.一种处理器装置，其具备：

图像获取部，获取通过拍摄利用第1照明光照亮的观察对象而获得的第1图像和通过拍摄利用具有与所述第1照明光不同的发光光谱的第2照明光照亮的所述观察对象而获得的第2图像；

显示控制部，在将所述观察对象分割为第1显示区域和第2显示区域并显示于显示部的情况下，将按照所述第1显示区域的位置、形状或大小而从所述第1图像切取的第1局部图像显示于所述第1显示区域，并将按照所述第2显示区域的位置、形状或大小而从所述第2图像切取的第2局部图像显示于所述第2显示区域；及

色调变更部，为了使所述第1局部图像和所述第2局部图像的色调相等，进行变更针对所述第1图像和所述第2图像的色调处理内容的色调变更处理。

2.根据权利要求1所述的处理器装置，其中，

所述显示控制部能够变更所述第1显示区域和所述第2显示区域的位置、形状或大小中的至少任个，将按照变更之后的所述第1显示区域的位置、形状或大小而重新切取的所述第1局部图像显示于变更之后的所述第1显示区域，并将按照变更之后的所述第2显示区域的位置、形状或大小而重新切取的所述第2局部图像显示于变更之后的所述第2显示区域。

3.根据权利要求2所述的处理器装置，其中，

所述显示控制部针对所述第1显示区域和所述第2显示区域，能够在维持形状及大小的状态下变更位置。

4.根据权利要求3所述的处理器装置，其中，

所述显示控制部针对所述第1显示区域和所述第2显示区域，在维持形状及大小的状态下，使其以显示所述观察对象的观察对象显示区域的中心部分为中心而旋转。

5.根据权利要求4所述的处理器装置，其中，

所述第1显示区域的形状为以所述中心部分为中心的90°的扇形，所述第2显示区域的形状为以所述中心部分为中心的270°的扇形。

6.根据权利要求1所述的处理器装置，其中，

所述显示控制部固定所述第1显示区域和所述第2显示区域的位置、形状或大小。

7.根据权利要求1至6中任一项所述的处理器装置，其中，

所述第1显示区域和所述第2显示区域彼此相邻而设置。

8.根据权利要求1至6中任一项所述的处理器装置，其中，

所述第1显示区域和所述第2显示区域的边界部分为透明。

9.根据权利要求1至6中任一项所述的处理器装置，其中，

所述处理器装置具备：

用户界面，用于对所述色调变更部进行操作，

所述色调变更部根据基于所述用户界面的操作来进行所述色调变更处理。

10.根据权利要求1至6中任一项所述的处理器装置，其中，

所述处理器装置具备：

色调信息获取部，获取与所述第1局部图像和所述第2局部图像的色调相关的信息，

所述色调变更部根据通过所述色调信息获取部获取的信息，自动进行所述色调变更处理。

11.一种内窥镜系统，其具备：

权利要求1至10中任一项所述的处理器装置；

光源部，发射所述第1照明光和所述第2照明光；及

光源控制部，进行自动切换所述第1照明光和所述第2照明光来发光的控制，

所述色调变更部在校准模式中进行所述色调变更处理。

12.一种校准方法，其包括：

图像获取部获取通过拍摄利用第1照明光照亮的观察对象而获得的第1图像和通过拍摄利用具有与所述第1照明光不同的发光光谱的第2照明光照亮的所述观察对象而获得的第2图像的步骤；

显示控制部在将所述观察对象分割为第1显示区域和第2显示区域并显示于显示部的情况下，将按照所述第1显示区域的位置、形状或大小而从所述第1图像切取的第1局部图像显示于所述第1显示区域，并将按照所述第2显示区域的位置、形状或大小而从所述第2图像切取的第2局部图像显示于所述第2显示区域的步骤；及

色调变更部为了使所述第1局部图像和所述第2局部图像的色调相等，进行变更针对所述第1图像和所述第2图像的色调处理内容的色调变更处理的步骤。

Images