CN102665527B - 图像处理装置、电子设备、内窥镜系统和图像处理装置的控制方法 - Google Patents

Abstract

本发明提供如下的图像处理装置等：能够取得与白色光的波长区域对应的第1图像和与特定波长区域对应的第2图像，设定输出图像的适当的显示方式。图像处理装置包括：第1图像取得部（320），其取得包含具有白色光波段中的信息的被摄体像的图像，作为第1图像；第2图像取得部（330），其取得包含具有特定波段中的信息的被摄体像的图像，作为第2图像；关注候选区域检测部（341），其根据第2图像内的像素的特征量，检测应该关注的区域的候选即关注候选区域；可靠度计算部（342），其计算表示所检测到的关注候选区域是关注区域的确定程度的可靠度；以及显示方式设定部（343），其进行根据计算出的可靠度设定输出图像的显示方式的处理。

Description

图像处理装置、电子设备、内窥镜系统和图像处理装置的控制方法

技术领域

本发明涉及图像处理装置、电子设备、内窥镜系统和图像处理装置的控制方法等。

背景技术

以往，广泛使用如下的面次序式的内窥镜系统：针对体腔内的组织，使用旋转滤镜依次照射R1、G1、B1的3种颜色的光，使用根据它们的反射光图像而生成的图像(通常光图像)进行诊断。进而，提出了如下的内窥镜系统：针对体腔内的组织，依次照射特性与所述3种颜色的光不同的2种窄带光G2和B2，使用根据它们的反射光图像而生成的窄带图像进行诊断(例如专利文献1)。并且，提出了如下的内窥镜系统：针对体腔内的组织照射窄带的激励光，取得通过激励光而从组织产生的自体荧光或药剂荧光，使用所生成的荧光图像进行诊断(例如专利文献2)。

现有技术文献

专利文献

专利文献1：日本特开2006-68113号公报

专利文献2：日本特开2007-229053号公报

专利文献3：日本特开2000-115553号公报

发明内容

发明要解决的课题

通过使用上述专利文献1的取得窄带图像的内窥镜系统进行诊断，例如，很难通过通常光观察来视觉辨认的扁平上皮癌等病变部被描绘成与正常部不同的褐色区域，所以可知其发现变得容易。

并且，在使用上述专利文献2的取得荧光图像的内窥镜系统进行诊断的情况下，对肿瘤等病变部使用具有特殊积累的性质的荧光药剂，仅肿瘤等病变部产生荧光，由此，其发现变得容易。

但是，这些窄带图像或荧光图像(将它们统称为特殊光图像)一般具有与通常光图像大大不同的色调，进而，由于照明光不足而成为非常暗的图像，所以很难仅使用特殊光图像进行诊断。

根据这种理由，为了提高医生的诊断精度，例如考虑同时取得通常光图像和特殊光图像并进行显示。但是，并列地同时显示这些图像时，医生始终一边关注于多个图像一边进行诊断，医生的负担增大。并且，认为临时仅关注于1个图像会遗漏病变部。

根据本发明的几个方式，能够提供如下的图像处理装置、内窥镜系统和图像处理装置的控制方法等：能够取得与白色光的波长区域对应的第1图像和与特定波长区域对应的第2图像，设定输出图像的适当的显示方式。并且，根据本发明的几个方式，能够提供如下的图像处理装置、内窥镜系统和图像处理装置的控制方法等：能够降低使用第1图像和第2图像进行诊断时的医生的负担等，并且抑制病变部的遗漏等。

用于解决课题的手段

本发明的一个方式涉及一种图像处理装置，该图像处理装置包括：第1图像取得部，其取得包含具有白色光波段中的信息的被摄体像的图像，作为第1图像；第2图像取得部，其取得包含具有特定波段中的信息的被摄体像的图像，作为第2图像；关注候选区域检测部，其根据所述第2图像内的像素的特征量，检测应该关注的区域的候选即关注候选区域；可靠度计算部，其计算表示所检测到的所述关注候选区域是关注区域的确定程度的可靠度；以及显示方式设定部，其进行根据计算出的所述可靠度设定输出图像的显示方式的处理。

在本发明的一个方式中，取得与白色光波段对应的第1图像和与特定波段对应的第2图像，根据第2图像的特征量检测关注候选区域。而且，由于利用可靠度计算部加上了可靠度之后设定显示方式，所以与没有可靠度的情况相比，能够设定更加适当的显示方式。

本发明的另一个方式涉及包含上述图像处理装置的电子设备。

本发明的另一个方式涉及一种内窥镜系统，该内窥镜系统包括：第1光源，其对活体内的被摄体照射白色光；第2光源，其对活体内的被摄体照射特定波段的光；第1图像取得部，其通过所述第1光源的照射，取得包含具有白色光波段中的信息的被摄体像的图像，作为第1活体内图像；第2图像取得部，其通过所述第2光源的照射，取得包含具有特定波段中的信息的被摄体像的图像，作为第2活体内图像；关注候选区域检测部，其根据所述第2活体内图像内的像素的特征量，检测关注区域的候选即关注候选区域；可靠度计算部，其计算表示所检测到的所述关注候选区域是所述关注区域的确定程度的可靠度；显示方式设定部，其进行根据计算出的所述可靠度设定输出图像的显示方式的处理；以及显示部，其按照所设定的所述显示方式显示所述输出图像。

根据本发明的另一个方式，取得第1活体内图像和第2活体内图像，根据第2图像的特征量检测关注候选区域。而且，能够实现如下的内窥镜系统：由于利用可靠度计算部加上了可靠度之后设定显示方式，所以与没有可靠度的情况相比，能够设定更加适当的显示方式，按照所设定的显示方式在显示部中进行显示。

本发明的另一个方式涉及一种图像处理装置，该图像处理装置包括：第1图像取得部，其取得包含具有白色光波段中的信息的被摄体像的图像，作为第1图像；第2图像取得部，其取得包含具有特定波段中的信息的被摄体像的图像，作为第2图像；关注区域检测部，其根据所述第2图像内的像素的特征量，检测应该关注的区域即关注区域；以及显示方式设定部，其进行在与所述关注区域对应的输出图像的对应关注区域中显示警告区域的处理，该警告区域发出与所述关注区域的检测结果有关的信息。

根据本发明的另一个方式，取得第1图像和第2图像，根据第2图像的特征量检测关注区域。而且，通过在对应关注区域中显示警告区域，能够设定对应关注区域明显的输出图像，作为显示方式。

本发明的另一个方式涉及图像处理装置的控制方法，该方法取得包含具有白色光波段中的信息的被摄体像的图像，作为第1图像；取得包含具有特定波段中的信息的被摄体像的图像，作为第2图像；根据所述第2图像内的像素的特征量，检测应该关注的区域的候选即关注候选区域；计算表示所检测到的所述关注候选区域是关注区域的确定程度的可靠度；以及进行根据计算出的所述可靠度设定输出图像的显示方式的处理。

本发明的另一个方式涉及图像处理装置的控制方法，该方法取得包含具有白色光波段中的信息的被摄体像的图像，作为第1图像；取得包含具有特定波段中的信息的被摄体像的图像，作为第2图像；根据所述第2图像内的像素的特征量，检测应该关注的区域即关注区域；以及进行在与所述关注区域对应的输出图像的对应关注区域中显示警告区域的处理，该警告区域发出与所述关注区域的检测结果有关的信息。

附图说明

图1(A)、图1(B)是现有方法的说明图。

图2是本实施方式的方法的说明图。

图3是本实施方式的系统结构例。

图4是滤色镜R、G、B的分光特性。

图5是滤色镜g2、b2的分光特性。

图6是滤色镜g2、b2的说明图。

图7是通常光图像取得部的结构例。

图8是特殊光图像取得部的结构例。

图9是输出图像生成部的结构例。

图10是关注候选区域检测部的结构例。

图11是显示方式设定部的结构例。

图12是加工部的结构例。

图13是加工部的另一个结构例。

图14是局部区域的分割方法的说明图。

图15(A)、图15(B)是关注候选区域的设定方法的说明图。

图16(A)是通常光图像的例子，图16(B)是特殊光图像的例子，图16(C)、图16(D)、图16(E)、图16(F)是输出图像的例子。

图17是在软件处理中使用的计算机的结构例。

图18是在软件处理中使用的计算机的结构例。

图19是用于说明本实施方式的处理的流程图。

图20是用于说明关注候选区域检测处理的流程图。

图21是用于说明显示方式设定处理的流程图。

图22是用于说明加工处理的流程图。

图23是用于说明加工处理的另一个流程图。

图24是关注候选区域检测部的另一个结构例。

图25是加工部的另一个结构例。

图26(A)是通常光图像和关注候选区域信息的例子，图26(B)是利用不同的目标颜色对2个对应关注区域实施了颜色转换加工的例子。

图27是用于说明关注候选区域检测处理的另一个流程图。

图28是加工部的另一个结构例。

图29(A)、图29(B)、图29(C)、图29(D)是对相邻的关注候选区域进行合并的方法的说明图。

图30(A)、图30(B)是示出应该关注的程度(At)与合成比(alpha)的关系的例子的图。

图31是用于说明加工处理的另一个流程图。

图32是本实施方式的另一个系统结构例。

图33是特殊光图像取得部的另一个结构例。

图34是本实施方式的另一个系统结构例。

图35是旋转滤镜的例子。

图36是滤镜F1、F2和荧光的特性例。

图37是阻挡滤镜的特性例。

图38是输出图像生成部的另一个系统结构例。

图39是通常光图像和特殊光图像的取得定时的例子。

图40是各定时的滤镜和所得到的图像的组合的例子。

图41是使用了运动矢量的通常光图像和特殊光图像的对应方法的说明图。

图42是使用了运动矢量的通常光图像和特殊光图像的对应方法的说明图。

图43是旋转滤镜的例子。

图44是用于说明本实施方式的处理的另一个流程图。

具体实施方式

下面，对本实施方式进行说明。另外，以下说明的本实施方式并不是不当地限定权利要求范围所记载的本发明的内容。并且，本实施方式中说明的全部结构不一定是本发明的必须结构要件。

1.本实施方式的方法

参照图1(A)、图1(B)和图2对本实施方式的方法进行说明。

图1(A)和图1(B)示出现有方法。图1(A)示出基于通常光的观察的状况。得到全体明亮且容易观看的图像，但是，针对扁平上皮癌等一部分病变的视觉辨认性差。并且，图1(B)示出基于特殊光(例如窄带光或荧光)的观察的状况。例如扁平上皮癌等病变利用褐色显示等，与通常光观察相比，能够提高一部分病变的视觉辨认性，但是，成为全体较暗而不易观看的图像。

为了解决这种问题，还考虑了如下的方法：一边通过操作设备的开关等切换通常光图像和特殊光图像一边进行显示，从而进行诊断和治疗。但是，在该方法中，在移动内窥镜的插入部的同时进行设备的操作，还需要参照画面，对医生造成负担。另外，所显示的通常光图像和特殊光图像均具有缺点，所以需要根据状况而适当选择显示图像，因此，要求熟练的可能性很高。

并且，还考虑了并列显示通常光图像和特殊光图像的方法，但是，该情况下，必须同时参照2个画面，可能遗漏病变部等，医生的负担还是很大。

因此，本申请人提出了图2的系统。在本实施方式中，根据特殊光图像确定例如扁平上皮癌等病变部的位置，根据所确定的位置信息对通常光图像进行加工，提高病变部的视觉辨认性。具体而言，如图2所示，考虑进行与目标颜色之间的重叠处理的方法、利用目标颜色包围周缘部的方法、对病变部的通常光图像和特殊光图像进行合成的方法等。

由此，在通常光图像的优点即明亮且容易观看的图像的基础上，加上特殊光图像的优点即病变部的视觉辨认性高，所以抑制了病变部的遗漏，减轻了医生的负担，由此，能够进行顺畅的诊断/治疗。

另外，在本实施方式中，当然也可以通过操作设备的开关等而显示特殊光图像。由此，能够适当区分使用图像，例如，在病变部的检查时使用加工后的通常光图像，在病变部的详细确认时使用特殊光图像。

2.第1实施方式

参照图3对本发明的第1实施方式的内窥镜系统进行说明。本实施方式的内窥镜系统具有光源部100、插入部200、图像处理部300、显示部400、外部I/F部500。

光源部100具有产生白色光的白色光源110以及用于将白色光会聚在光导纤维210中的会聚透镜120。

插入部200例如形成为细长且能够弯曲，以使得能够插入体腔内。插入部200具有：用于引导由光源部100会聚后的光的光导纤维210、使通过光导纤维210引导到前端的光扩散并照射到观察对象的照明透镜220、使从观察对象返回的反射光会聚的物镜230、将会聚后的反射光分离成2个部分的半透半反镜240、以及用于检测分离后的反射光的第1摄像元件250和第2摄像元件260。

第1摄像元件250是用于拍摄通常光图像的具有拜耳排列的滤色镜的摄像元件。第1摄像元件250的滤色镜R、G、B例如具有图4所示的分光特性。第2摄像元件260是用于拍摄窄带图像的摄像元件，例如如图6所示，是具有以方格状排列分别透射2种窄带光G2和B2的2种滤色镜g2和b2而构成的滤色镜的摄像元件。第2摄像元件260的滤色镜g2、b2例如如图5所示，b2具有透射390～445nm的波段的光的透射率特性，g2具有透射530～550nm的波段的光的透射率特性。

图像处理部300(图像处理装置)具有AD转换部310a、310b、通常光图像取得部320、特殊光图像取得部330、输出图像生成部340、控制部350。控制部350与通常光图像取得部320、特殊光图像取得部330、输出图像生成部340双向连接，并对它们进行控制。

外部I/F部500是用于供用户对该内窥镜系统(摄像装置)进行输入等的接口，构成为包括用于进行电源的接通/断开的电源开关、用于开始摄影操作的快门按钮、用于切换摄影模式和其他各种模式的模式切换按钮等。而且，该外部I/F部500向控制部350输出所输入的信息。

AD转换部310a将从第1摄像元件250输出的模拟信号转换为数字信号并输出。AD转换部310b将从第2摄像元件260输出的模拟信号转换为数字信号并输出。

通常光图像取得部320(广义上为第1图像取得部)例如从由AD转换部310a输出的数字信号中取得通常光图像(广义上为第1图像)。特殊光图像取得部330(广义上为第2图像取得部)例如从由AD转换部310b输出的数字信号中取得特殊光图像(广义上为第2图像)。通常光图像取得部320和特殊光图像取得部330的详细情况在后面叙述。

由通常光图像取得部320取得的通常光图像和由特殊光图像取得部330取得的特殊光图像被输出到输出图像生成部340。输出图像生成部340根据这2张图像生成1张输出图像并输出到图像显示部400。输出图像生成部340的详细情况在后面叙述。

接着，使用图7对通常光图像取得部320进行说明。通常光图像取得部320具有通常光图像生成部321和通常光图像存储部322。通常光图像生成部321对由AD转换部310a转换并输入的数字信号进行图像处理，生成通常光图像。具体而言，进行现有的插值处理、白平衡、颜色转换、灰度转换等处理，生成通常光图像并输出。通常光图像存储部322存储从通常光图像生成部321输出的通常光图像。

接着，使用图8对特殊光图像取得部330进行说明。特殊光图像取得部330具有特殊光图像生成部331和特殊光图像存储部332。特殊光图像生成部331对由AD转换部310b转换并输入的数字图像信号进行图像处理，生成特殊光图像。在本实施例中，特殊光图像为窄带光图像。

这里，对利用特殊光图像生成部331生成窄带光图像的方法进行说明。被输入到特殊光图像生成部的数字图像信号是如上所述以方格状排列图6所示的2种滤色镜g2和b2的图像信号。首先对这种图像信号进行插值处理，生成在全部像素中具有g2滤镜的信号值的G2图像和在全部像素中具有b2滤镜的信号值的B2图像。在插值处理中计算的像素值例如是周边4个像素的平均值即可，例如，图6的g2(1，1)位置的b2的像素值b2(1，1)和b2(1，2)位置的g2的像素值g2(1，2)如下式(1)、(2)那样计算。

b2(1，1)＝[b2(0，1)+b2(1，0)+b2(1，2)+b2(2，1)]/4……(1)

g2(1，2)＝[g2(0，2)+g2(1，1)+g2(1，3)+g2(2，2)]/4……(2)

接着，根据对全部像素进行插值后的G2图像和B2图像，生成具有R、G、B的3个通道的彩色图像。这里，例如通过对彩色图像的R通道输入G2图像、对G通道和B通道输入B2图像，生成彩色图像。特殊光图像生成部331进一步对所生成的彩色图像进行白平衡、灰度转换等处理，作为窄带光图像输出。特殊光图像存储部332存储从特殊光图像生成部331输出的特殊光图像。

接着，对输出图像生成部340的具体结构进行说明。图9是说明第1实施方式中的输出图像生成部340的结构的一例的框图。输出图像生成部340具有关注候选区域检测部341、可靠度计算部342、显示方式设定部343。

这里，来自通常光图像取得部320的图像信号被输出到显示方式设定部343。并且，来自特殊光图像取得部330的图像信号被输出到关注候选区域检测部341和显示方式设定部343。关注候选区域检测部341与可靠度计算部342和显示方式设定部343连接。关注候选区域检测部341的详细情况在后面叙述。可靠度计算部342与显示方式设定部343连接。显示方式设定部343与显示部400连接。并且，控制部350与关注候选区域检测部341、可靠度计算部342、显示方式设定部343双向连接，并对它们进行控制。

关注候选区域检测部341根据控制部350的控制，从特殊光图像中检测应该关注的区域的候选即关注候选区域。对关注候选区域检测部341的具体结构进行说明。图10是说明第1实施方式中的关注候选区域检测部341的结构的一例的框图。如图10所示，关注候选区域检测部341具有局部区域设定部3411、特征量计算部3412、区域设定部3414。这里，特殊光图像取得部330与局部区域设定部3411连接。局部区域设定部3411与特征量计算部3412连接。特征量计算部3412与区域设定部3414连接。区域设定部3414与可靠度计算部342和显示方式设定部343连接。并且，控制部350与局部区域设定部3411、特征量计算部3412、区域设定部3414双向连接，并对它们进行控制。

局部区域设定部3411针对从特殊光图像取得部330输出的特殊光图像设定多个局部区域(狭义上为块)。这里，例如将特殊光图像分割成矩形区域，将分割后的各区域设定为局部区域。该矩形区域的尺寸可以适当设定，但是，这里，例如如图14所示，设16×16像素为1个局部区域。这里，设特殊光图像由M×N个局部区域构成，利用(m，n)表示各局部区域的坐标。并且，坐标(m，n)的局部区域表示为a(m，n)。这里，将位于图像左上方的局部区域的坐标表示为(0，0)，将右方向表示为m的正方向，将下方向表示为n的正方向。局部区域不一定必须是矩形，当然可以将特殊光图像分割成任意多边形，将分割后的各个区域设定为局部区域。并且，可以根据用户的指示，任意设定局部区域。并且，这里，为了削减此后的计算量并去除噪声，将由多个相邻的像素群构成的区域作为1个局部区域，但是，也可以将1个像素作为1个局部区域。该情况下，以后的处理也完全相同。

特征量计算部3412针对所有的局部区域计算特征量。这里，作为特征量的一例，对利用颜色信息的情况进行说明。在本实施方式中，在用作特殊光图像的窄带光图像中，由于扁平上皮癌等病变部描绘成褐色的区域，所以通过使用色相H作为特征量，能够检测病变部。设局部区域a(m，n)的色相为H(m，n)。

为了计算H(m，n)，首先，使用各个局部区域中包含的所有像素，分别针对R、G、B通道计算平均信号值。这里，将局部区域a(m，n)中的R、G、B通道的平均信号值表记为R、G、B，各信号值为8比特(0～255)。

接着，根据该平均信号值R、G、B，例如使用下式(3)～(8)计算各局部区域的色相H(m，n)。

max＝MAX(r，g，b)……(3)

这里，设MAX函数是输出多个变量中的最大变量的函数。

在MAX为0的情况下，

H＝0……(4)

在MAX为0以外的情况下，

d＝MAX(r，g，b)-MIN(r，g，b)……(5)

这里，设MIN函数是输出多个变量中的最小变量的函数。

进而，在r、g、b中的r为最大的情况下，

H＝60*(g-b)/d……(6)

在r、g、b中的g为最大的情况下，

H＝60*{2+(b-r)}/d……(7)

在r、g、b中的b为最大的情况下，

H＝60*{4+(r-g)}/d……(8)

另外，在H<0的情况下，在H中加上360。并且，在H＝360的情况下，设H＝0。

接着，区域设定部3414使用针对所有局部区域计算出的色相H进行阈值处理，设定关注候选区域。这里，由于将褐色的区域设定为关注区域，所以例如只要提取色相H为5～35的范围内的局部区域即可。

进而，区域设定部3414在提取出的局部区域彼此之间对相邻的局部区域进行合并处理，设处理结果所得到的各区域为关注候选区域(在一个局部区域的情况下也设为关注候选区域)。根据关注候选区域中包含的局部区域a(m，n)的坐标和各局部区域包含的像素的信息，计算关注候选区域中包含的所有像素的位置，将其作为关注候选区域信息，输出到可靠度计算部342和显示方式设定部343。

并且，区域设定部3414还可以重新设定关注候选区域信息，以使得所输出的关注区域信息示出多边形或圆形等任意形状。作为例子，示出图15(A)、图15(B)。图15(A)、图15(B)示出特殊光图像，虚线所包围的一个一个的区域表示局部区域。在图15(A)中，在希望使与关注候选区域1对应的关注候选区域的形状为四边形的情况下，首先，根据属于关注候选区域1的局部区域a(m，n)的坐标和各局部区域包含的像素的信息，计算关注候选区域1中包含的所有像素的位置。进而，再次设定与这些像素的集合外接的四边形作为关注候选区域，计算所设定的关注候选区域中包含的所有像素的位置，作为与关注候选区域1对应的关注候选区域信息进行输出即可。通过进行这种处理，能够将关注候选区域重新设定成图15(B)所示的易于视觉辨认的形状。由此，能够防止关注候选区域成为复杂的形状，能够提高视觉辨认性。

上述实施方式的关注候选区域检测部使用第2图像内的像素的特征量，从第2图像中检测应该关注的区域的候选即关注候选区域，但是，作为变形例，也可以使用第2图像内的像素的特征量，从第1图像中检测应该关注的区域的候选即关注候选区域。

具体而言，局部区域设定部3411在第2图像上设定多个局部区域。特征量计算部3412针对该设定的各局部区域计算特征量。此时，特征量计算部3412使用与各局部区域中包含的第2图像上的像素对应的第1图像上的像素(例如在第1图像和第2图像上位于同一像素位置的像素)的特征量，进行上述阈值处理。区域设定部3414根据通过阈值处理而提取出的第1图像上的局部区域，在第1图像上设定关注候选区域。另外，在关注候选区域的设定时，也可以根据需要进行上述局部区域的合并处理。

并且，局部区域设定部3411将16×16像素的区域作为局部区域，但是，也可以不设定局部区域，如上所述将1个像素作为局部区域。该情况下，特征量计算部3412计算每个像素的特征量。区域设定部3414根据特征量检测应该关注的像素即关注像素。然后，检测包含关注像素的区域作为关注候选区域。

这样，在从关注像素中检测关注候选区域的情况下，也可以重新设定关注候选区域信息，以使得所输出的关注区域信息示出多边形或圆形等任意形状。具体而言，只要由关注像素和选择非关注像素构成关注候选区域即可。这里，非关注像素是第2图像所包含的像素中的未检测为关注像素的像素，选择非关注像素是从非关注像素中选择出的(具体而言，例如以使关注候选区域为规定形状的方式选择出的)像素。

并且，这里，也可以代替色相H而使用公知的方法计算局部区域的平均亮度或彩度，将这些值作为特征量来检测关注候选区域。进而，当然也可以通过任意地组合这些亮度、色相、彩度的信息，计算1个特征量来检测关注候选区域。

可靠度计算部342通过对关注候选区域附加标签信息，对多个不同的关注候选区域彼此之间进行识别。例如如图15(A)所示，在存在2个关注候选区域的情况下，可靠度计算部342针对属于关注候选区域1的局部区域，设标签的值为1，针对属于关注候选区域2的局部区域，设标签的值为2。

进而，可靠度计算部342根据对各局部区域附加的标签的信息，计算属于各关注候选区域的局部区域的数量，从而计算关注候选区域的面积，通过对面积进行阈值处理来计算可靠度。例如，关于图15(A)的关注候选区域1和关注候选区域2的面积d1和d2，当设1个局部区域的面积为1时，d1＝9，d2＝2。此时，例如设面积为5以上的关注候选区域的可靠度为1，设面积小于5的关注候选区域的可靠度为0。接着，可靠度计算部342向显示方式设定部343输出可靠度。

另外，在本实施例中，根据属于关注候选区域的局部区域的数量计算面积，从而计算可靠度，但是，也可以计算关注区域候选的平均色相、彩度、亮度，使用它们计算可靠度。进而，当然也可以组合关注候选区域的面积和色相、彩度、亮度来计算可靠度。

显示方式设定部343根据关注候选区域信息和可靠度设定关注区域。然后，针对通常光图像的对应关注区域进行基于颜色转换的加工处理。然后，选择要在显示部400中显示的图像并输出。根据情况，也可以从优先度高的关注区域起设定警告区域。

接着，对显示方式设定部343的具体结构进行说明。图11是说明本实施方式中的显示方式设定部343的结构的一例的框图。显示方式设定部343具有加工部3431和选择部3432。

这里，关注候选区域检测部341向加工部3431输出关注候选区域信息。并且，关注候选区域检测部341向选择部3432输出是否检测到关注候选区域的控制信号。从通常光图像取得部320输出的图像信号被输入到加工部3431和选择部3432。并且，从特殊光图像取得部330输出的图像信号被输入到加工部3431和选择部3432。加工部3431根据控制部350的控制，使用从关注候选区域检测部341输出的关注候选区域信息和从可靠度计算部342输入的可靠度，对通常光图像进行加工。进而，加工部3431向选择部3432输出加工后的通常光图像。并且，控制部350与加工部3431和选择部3432双向连接，并对它们进行控制。

加工部3431根据关注区域的检测结果，对与检测到的特殊光图像的关注区域对应的通常光图像内的对应关注区域进行加工。加工部的详细情况在后面叙述。

选择部3432使用来自关注候选区域检测部341的控制信号，选择要输出到显示部400的显示图像。例如，在没有从特殊光图像检测到关注候选区域的情况下，选择从通常光图像取得部320输出的通常光图像作为显示图像，在从特殊光图像检测到关注候选区域的情况下，选择从加工部3431输出的加工后的通常光图像作为显示图像。并且，例如在没有从特殊光图像检测到关注候选区域的情况下，选择从通常光图像取得部320输出的通常光图像作为显示图像，在从特殊光图像检测到关注候选区域的情况下，也可以选择从特殊光图像取得部330输出的特殊光图像作为显示图像。关于在检测到关注候选区域的情况下和未检测到关注候选区域的情况下选择什么样的图像，例如由用户预先决定，根据从控制部350向选择部3432输入的控制信号进行控制即可。

接着，对加工部3431的具体结构进行说明。图12是说明第1实施方式中的加工部3431的结构的一例的框图。如图12所示，加工部3431具有区域选出部34313、区域加工部34314、亮度转换部34315。

区域选出部34313根据从关注候选区域检测部341输入的关注候选区域信息和从可靠度计算部342输入的可靠度，选出关注区域。具体而言，首先，从关注候选区域中提取具有预先设定的阈值以上的可靠度的区域。例如在将可靠度为1的关注候选区域检测为关注区域时，在图15(A)中，仅将属于关注候选区域1的局部区域检测为关注区域。通过进行这种处理，能够将微小面积的关注候选区域作为噪声而排除，能够选出可靠度高的关注区域。并且，设定与选出的关注区域对应的第1图像内的区域作为对应关注区域。然后，输出对应关注区域的像素的信息作为对应关注区域信息。

区域加工部34314例如针对通常光图像中的作为对应关注区域信息而输入的像素，使用以下的式(9)～(11)进行颜色转换处理。这里，r(x，y)、g(x，y)、b(x，y)是颜色转换前的通常光图像的坐标(x，y)中的R、G、B通道的信号值，r_out(x，y)、g_out(x，y)、b_out(x，y)是颜色转换后的通常光图像的R、G、B通道的信号值。并且，T_r、T_g、T_b是任意目标颜色的R、G、B信号值，gain是0～1的任意系数。

r_out(x，y)＝gain*r(x，y)+(1-gain)*T_r……(9)

g_out(x，y)＝gain*g(x，y)+(1-gain)*T_g……(10)

b_out(x，y)＝gain*b(x，y)+(1-gain)*T_b……(11)

通过进行这种处理，观察图16(B)所示的特殊光图像时怀疑为病变部的关注区域如图16(C)所示，在通常光图像中显示为颜色不同的区域，在使用通常光图像和特殊光图像进行诊断时，能够降低医生的负担，并且能够抑制病变部的遗漏。

并且，区域加工部34314例如针对通常光图像中的构成对应关注区域的边界的所有像素，也可以使用以下的式(12)～(14)进行颜色转换处理。

r_out(x，y)＝T_r……(12)

g_out(x，y)＝T_g……(13)

b_out(x，y)＝T_b……(14)

通过进行这种处理，如图16(D)所示，在通常光图像中，对应关注区域显示为由任意目标颜色包围的部分。

亮度转换部34315例如针对通常光图像中的对应关注区域中未包含的所有像素，也可以进行以下的式(15)～(17)的亮度转换处理。

r_out(x，y)＝gain*r(x，y)……(15)

g_out(x，y)＝gain*g(x，y)……(16)

b_out(x，y)＝gain*b(x，y)……(17)

通过进行这种处理，如图16(E)所示，通过使通常光图像中的对应关注区域中未包含的区域变暗，能够将对应关注区域显示为相对明亮的部分。

接着，对根据优先度设定警告区域的情况下的加工部3431的具体结构进行说明。图13是说明设定警告区域的情况下的加工部3431的结构的一例的框图。如图13所示，加工部3431具有区域选出部34313、区域加工部34314、亮度转换部34315。

区域选出部34313根据从关注候选区域检测部341输入的关注候选区域信息和从可靠度计算部342输入的可靠度，选出关注区域。然后，设定与选出的关注区域对应的第1图像内的区域作为对应关注区域。进而，根据关注区域和从优先度设定部345(包含在输出图像生成部340中。图9中未图示)输入的优先度，设定警告区域。然后，输出警告区域的像素的信息作为警告区域信息。

这里，优先度表示应该优先显示的程度，例如根据可靠度、像素的特征量、应该关注的程度等进行设定。另外，应该关注的程度在后面的第2实施例中进行叙述。

区域选出部34313保持与警告区域的上限数有关的信息。在预测为警告区域的数量超过上限数的情况下，不将超过上限数的关注区域设定为警告区域。由此，能够抑制医生在一次识别时显示数量过多的区域的情况。

区域加工部34314进行上述式(9)～(14)的颜色转换处理。并且，保持与警告区域的加工处理的优先度有关的信息。而且，在存在多个警告区域的情况下，从优先度高的警告区域起依次进行加工处理。

并且，加工部3431不限于所述处理，当然可以使用任意的亮度转换或颜色转换处理，对通常光图像的对应关注区域进行加工。

进而，加工部3431不仅对通常光图像内的对应关注区域实施颜色转换或亮度转换，还可以如图16(F)所示，在通常光图像附近显示关注区域的部分的特殊光图像。并且，也可以将关注区域的部分的特殊光图像置换为对应关注区域的部分的通常光图像来进行显示。

并且，在本实施方式中，构成图像处理部300的各部由硬件构成，但是不限于此。例如构成为，针对使用胶囊内窥镜等摄像装置预先取得的图像，CPU进行各部的处理，通过CPU执行程序，也可以作为软件来实现。或者，也可以利用软件构成各部进行的处理的一部分。

在独立于摄像部而作为软件来实现图像处理部300的各部进行的处理的情况下，能够将工作站或个人计算机等公知的计算机系统用作图像处理装置。而且，也可以预先准备用于实现图像处理部300的各部进行的处理的程序(图像处理程序)，通过计算机系统的CPU执行该图像处理程序来实现。

图17是示出本变形例中的计算机系统600的结构的系统结构图，图18是示出该计算机系统600中的主体部610的结构的框图。如图17所示，计算机系统600具有主体部610、用于根据来自主体部610的指示而在显示画面621中显示图像等信息的显示器620、用于对该计算机系统600输入各种信息的键盘630、用于指定显示器620的显示画面621上的任意位置的鼠标640。

并且，如图18所示，该计算机系统600中的主体部610具有CPU 611、RAM 612、ROM 613、硬盘驱动器(HDD)614、收纳CD-ROM 660的CD-ROM驱动器615、以能够装卸的方式与USB存储器670连接的USB端口616、连接显示器620、键盘630和鼠标640的I/O接口617、以及用于与局域网或广域网(LAN/WAN)N1连接的LAN接口618。

进而，在该计算机系统600中连接有用于与因特网等公共线路N3连接的调制解调器650，并且，经由LAN接口618和局域网或广域网N1连接有作为其他计算机系统的个人计算机(PC)681、服务器682、打印机683等。

而且，该计算机系统600通过读出在规定记录介质中记录的图像处理程序(例如用于参照图19～图23实现后述处理顺序的图像处理程序)并执行，实现图像处理装置。这里，关于规定记录介质，除了CD-ROM 660和USB存储器670以外，还包括如下的记录可通过计算机系统600读取的图像处理程序的所有记录介质：包含MO盘、DVD盘、软盘(FD)、光磁盘、IC卡等的“可移动用的物理介质”；计算机系统600内外具有的HDD 614、RAM 612、ROM613等的“固定用的物理介质”；如经由调制解调器650连接的公共线路N3、连接有其他计算机系统(PC)681或服务器682的局域网或广域网N1等那样，在发送程序时在短期内存储程序的“通信介质”等。

即，图像处理程序以计算机可读取的方式记录在“可移动用的物理介质”、“固定用的物理介质”、“通信介质”等记录介质中，计算机系统600通过从这种记录介质读出图像处理程序并执行，实现图像处理装置。另外，图像处理程序不限于由计算机系统600执行，在其他计算机系统(PC)681或服务器682执行图像处理程序的情况下、或者在它们协作执行图像处理程序的情况下，也能够同样应用本发明。

作为利用软件构成各部进行的处理的一部分的情况的一例，使用图19的流程图说明针对预先取得的通常光图像和特殊光图像、利用软件实现图9的输出图像生成部340的处理的情况下的处理顺序。

开始进行该处理后，首先，针对时序的通常光图像和特殊光图像，输入摄影模式或照明光的同步信号等标题(Header)信息(S11)。接着，将特殊光图像和通常光图像输入到预先确保的图像缓存中(S12)。然后，如后面参照图20详细说明的那样，从特殊光图像中检测应该关注的区域的候选即关注候选区域(S13)。

接着，作为各关注候选区域的可靠度，计算各关注区域候选的面积(S14)。然后，如后面参照图21详细说明的那样，根据关注候选区域的检测结果，在特殊光图像(第2图像)内选出关注区域，进行提高与关注区域对应的通常光图像(第1图像)内的对应关注区域的视觉辨认性的显示方式设定处理(S15)。接着，输出决定了显示方式的图像信号(S16)。然后，以时序判定最终图像的处理是否结束(S17)，在判定为没有结束的情况下，返回S12，针对下一个图像信号反复进行上述处理。另一方面，在判定为全部图像信号的处理结束的情况下，结束该处理。

接着，参照图20对图19的S13中的关注候选区域检测处理的详细情况进行说明。开始进行该处理后，首先，将特殊光图像(第2图像)分割成局部区域(S21)。该情况下，将特殊光图像分割成矩形区域。该矩形区域的尺寸可以适当设定，但是，这里，例如设为16×16像素单位。

接着，依次提取分割后的局部区域，如前面式(3)～(8)所述的那样，计算表示疑似病变程度的特征量(S22)。

接着，按照每个局部区域对计算出的局部区域的特征量和给定阈值进行比较，提取满足阈值条件的各局部区域。在满足条件的局部区域相邻的情况下，对它们进行合并而生成局部区域群，检测包含该局部区域群(包括一个局部区域的情况)的区域作为关注候选区域(S23)。然后，输出表示是否检测到关注候选区域的标志信息(S24)。

接着，参照图21对图19的S15中的显示方式设定处理的详细情况进行说明。

开始进行该处理后，首先，如后面参照图22详细说明的那样，根据关注候选区域的检测结果和可靠度，在特殊光图像(第2图像)内选出关注区域，进行提高与选出的关注区域对应的通常光图像(第1图像)内的对应关注区域的视觉辨认性的加工处理(S31)。接着，选择输出图像的显示方式(S32)。具体而言，选择从特殊光图像中检测到关注区域的情况下的输出图像。检测到关注区域的情况下的输出图像是用户从特殊光图像或通过S31加工后的通常光图像的某一方中预先选择出的。

接着，参照图22对图21的S31中的加工处理的详细情况进行说明。开始进行该处理后，首先，从检测到的关注候选区域中选出可靠度高于给定阈值的区域作为关注区域，从通常光图像中提取与关注区域对应的对应关注区域(S33)。

然后，根据关注区域的检测结果，进行提高与检测到的特殊光图像内的关注区域对应的通常光图像内的对应关注区域的视觉辨认性的加工。这里，可以如前面式(9)～(11)所述的那样，进行使对应关注区域全体接近给定目标颜色的处理，也可以如前面式(12)～(14)所述的那样，进行利用目标颜色包围对应关注区域的周缘的处理(S34)。

然后，如前面式(15)所述的那样，也可以进行降低对应关注区域以外的区域中包含的像素的亮度的处理(S35)。

通过进行这种处理，观察图16(B)所示的特殊光图像时怀疑为病变部的关注区域如图16(C)所示，在通常光图像中重叠显示为颜色不同的区域。并且，在进行了S35的处理的情况下，如图16(E)所示，较暗地显示警告区域以外的区域。由此，在使用通常光图像和特殊光图像进行诊断时，能够降低医生的负担，并且，能够抑制病变部的遗漏。

接着，参照图23对在图21的S31的加工处理中根据优先度设定警告区域的情况进行说明。开始进行该处理后，首先，从检测到的关注候选区域中选出可靠度高于给定阈值的区域作为关注区域，从通常光图像中提取与关注区域对应的对应关注区域(S36)。进而，从提取出的关注区域中按照优先度从高到低的顺序进行提取。要提取的关注区域的数量由用户预先设定。设提取出的关注区域为警告区域(S37)。S38的颜色转换处理与图22的S34相同，S39的亮度转换处理与图22的S35相同。

在以上的本实施方式中，第1图像取得部(狭义上为通常光图像取得部320)取得与白色光的波段对应的第1图像(狭义上为白色光图像)，第2图像取得部(狭义上为特殊光图像取得部330)取得与特定波段(狭义上为窄带光或荧光等的波段)对应的第2图像(狭义上为窄带图像或荧光图像等特殊光图像)。而且，关注候选区域检测部341根据第2图像的特征量设定关注候选区域。可靠度计算部342计算可靠度，根据计算出的可靠度，显示方式设定部343进行设定关注区域中的输出图像的显示方式的处理。

这里，关注区域是对用户来说观察的优先顺序与其他区域相比相对较高的区域，例如，在用户是医生且希望进行治疗的情况下，关注区域是指拍摄了粘膜部或病变部的区域。并且，作为其他例子，如果医生希望观察的对象是气泡或粪便，则关注区域成为拍摄了该气泡部分或粪便部分的区域。即，用户应该关注的对象由于其观察目的而不同，但是，无论怎样，在其观察时，对用户来说观察的优先顺序与其他区域相比相对较高的区域成为关注区域。关注候选区域是作为关注区域的候选的区域。可靠度是表示关注候选区域是关注区域的确定程度的尺度，例如使用关注候选区域的面积等。

由此，在取得通常光图像(白色光图像)和特殊光图像(窄带图像或荧光图像等)后，能够在特殊光图像中设定关注候选区域。而且，根据可靠度，从关注候选区域设定关注区域，设定关注区域中的显示方式(例如接近目标颜色等)，由此，与没有可靠度的情况相比，能够提高关注区域的精度(例如可靠地捕捉病变部作为关注区域的精度等)，而且，能够提高关注区域的视觉辨认性。由此，例如在内窥镜中使用通常光和特殊光对活体内进行观察的情况下，能够利用特殊光观察可靠地捕捉在通常光中很难视觉辨认的病变部，而且，与不使用本实施方式的方法的情况相比，能够以视觉辨认性高的方式显示包含该病变部的区域，能够减轻医生的负担，抑制病变部的遗漏。

并且，显示方式设定部343设定与第2图像的关注区域对应的第1图像内的对应关注区域，进行提高所设定的对应关注区域的视觉辨认性的显示方式设定处理。这里，对应关注区域是第1图像内的区域，是在位置上与第2图像内的关注区域对应的区域。例如在由于摄像元件的差异而在第1图像和第2图像中使图像位置偏移的情况下，进行适当的校准处理后设定对应关注区域。

由此，能够设定与在第2图像中设定的关注区域对应的第1图像内的对应关注区域。具体而言，例如能够适当的掌握与利用特殊光图像检测到的病变部对应的第1图像内的位置。而且，与未加工的第1图像相比，通过提高对应关注区域的视觉辨认性，能够抑制对应关注区域的遗漏(具体而言为病变部的遗漏)。

并且，显示方式设定部343包括根据可靠度和从第2图像中得到的关注候选区域信息对第1图像进行加工的加工部3431，设由加工部3431加工后的第1图像为输出图像的方式。

由此，作为输出图像，例如能够选择对通常光图像进行加工后的图像。具体而言，例如考虑如下的加工：如图16(C)所示使关注区域接近给定目标颜色，或者如图16(D)所示利用目标颜色包围关注区域的周缘。通过这种加工，能够提高视觉辨认性，减轻医生的负担，抑制病变部的遗漏。

并且，在可靠度高的情况下，加工部3431进行提高第1图像内的对应关注区域的视觉辨认性的加工处理。这里，例如考虑通过与给定阈值进行比较等来判断可靠度的高低。

由此，在可靠度高的情况下(具体而言，例如确定关注候选区域是病变部的情况下)，进行提高第1图像内的对应关注区域的视觉辨认性的加工，能够抑制病变部的遗漏等。

并且，作为加工处理，加工部3431也可以进行转换处理。

由此，通过转换处理，能够提高第1图像内的对应关注区域的视觉辨认性。这里，转换处理考虑颜色转换处理和亮度转换处理。详细情况在后面叙述。

并且，作为加工处理，加工部3431也可以进行将关注区域的部分的图像与第1图像相关联的处理。

由此，通过关联，能够提高第1图像内的对应关注区域的视觉辨认性。这里，所谓关联，考虑如下处理等：具体而言，在第1图像的附近显示关注区域的部分图像，或者利用第2图像的关注区域的部分图像置换第1图像的对应关注区域的部分图像。详细情况在后面叙述。

并且，加工部3431包括区域选出部34313。区域选出部34313根据可靠度，从关注候选区域检测部341所检测到的关注候选区域中选出关注区域。

由此，能够将可靠度作为尺度，从关注候选区域中选出关注区域。如上所述，作为可靠度，考虑区域的面积、色相、彩度、亮度等或它们的组合。由此，具体而言，能够根据面积的大小、色相、彩度、亮度的值等多种观点选出关注区域。

区域选出部34313也可以根据优先度，从关注区域中选出警告区域。

由此，能够根据与可靠度不同的观点(根据情况，根据同一观点再次进行选出处理)进行选出处理，能够选出更加符合目的的区域。

这里，优先度可以根据可靠度、像素的特征量和应该关注的程度中的至少一个信息进行设定。

由此，作为区域选出的尺度，可靠度自不必说，还能够采用像素的特征量(例如彩度/亮度)、应该关注的程度(详细情况与后述的关注信息设定部34311相关联地进行说明)，能够根据多种观点选出区域。

并且，区域选出部34313也可以保持与警告区域的上限数有关的信息，在预测为警告区域超过上限数的情况下，不设定上限数以上的数量的警告区域。

由此，能够抑制显示必要以上的数量(例如医生很难一次掌握的数量)的警告区域的情况，能够实现顺畅的利用(例如诊断/治疗)。

并且，加工部3431包括区域加工部34314。区域加工部34314也可以保持与警告区域的加工处理的优先度有关的信息，从优先度高的警告区域起依次进行加工处理。

由此，从优先度高(具体而言考虑是病变的可能性高、或者是深度病变的情况)的区域起进行加工处理，能够实现高效的诊断/治疗。

并且，可靠度计算部342也可以根据关注候选区域的面积计算可靠度。

由此，检测面积大的区域作为关注区域，由于面积小的区域不检测为关注区域，所以能够减轻噪声的影响。

并且，可靠度计算部342也可以根据关注候选区域内的像素的特征量计算可靠度。

由此，除了面积以外，还能够根据色相、亮度、彩度等各种观点计算可靠度。

并且，关注候选区域检测部341包括将第2图像分割成规定局部区域的局部区域设定部3411、以及使用局部区域内的像素计算每个局部区域的特征量的特征量计算部3412，根据每个局部区域的特征量检测关注候选区域。

由此，按照每个局部区域计算特征量，检测关注候选区域。作为局部区域，例如如图14所示，如果采用16像素×16像素的区域，则与利用1个像素单位进行计算的情况相比，能够削减计算量。并且，由于利用16×16单位设定区域，所以比局部区域小的病变不容易被检测为关注候选区域，能够减轻噪声的影响。

并且，关注候选区域检测部341也可以包括将第1图像分割成规定局部区域的局部区域设定部3411、以及使用与局部区域内的像素对应的第2图像的像素计算每个局部区域的特征量的特征量计算部3412，从第1图像中检测应该关注的区域的候选即关注候选区域。

由此，也能够在第1图像中设定关注候选区域，能够提高处理的灵活性。

并且，关注候选区域检测部341也可以根据第2图像中包含的像素的特征量，检测关注像素，检测包含检测到的关注像素的区域作为关注候选区域。

由此，不设定局部区域，能够进行像素单位的处理。也可以采用省略局部区域设定部3411的结构，在剩余部分中进行按照每个局部区域、每个像素的某一方的处理。在按照每个像素进行处理的情况下，可以认为局部区域设定部3411设定1×1的局部区域。这里，关注像素是应该关注的像素，如前面的在关注区域的定义中所述的那样，例如是构成病变部等的像素。

并且，关注候选区域也可以是包含关注像素和选择非关注像素的区域。具体而言，也可以以形成规定图形(多边形、圆形、椭圆形、弧、梯形、点对称或线对称的图形等)的方式对选择非关注像素进行选择。

由此，在以像素单位进行处理的情况下，也能够抑制关注候选区域的形状变得复杂，能够提高视觉辨认性。这里，非关注像素是第2图像所包含的像素中的未被检测为关注像素的像素。并且，选择非关注像素是作为构成关注候选区域的像素而从非关注像素中选择出的像素。

并且，在可靠度高的情况下，加工部3431进行提高第1图像内的对应关注区域的视觉辨认性的颜色转换处理。这里，例如考虑通过与给定阈值进行比较等来判断可靠度的高低。

由此，在可靠度高的情况下(具体而言，例如确定关注候选区域是病变部的情况下)，进行提高第1图像内的对应关注区域的视觉辨认性的颜色转换处理，能够抑制病变部的遗漏等。

并且，加工部3431包括区域选出部34313，区域选出部34313根据可靠度从关注候选区域中选出关注区域。进而，选出与关注区域对应的第1图像内的对应关注区域。然后，加工部3431对对应关注区域进行颜色转换处理。

由此，能够适当地选出与关注区域对应的对应关注区域。而且，通过对对应关注区域进行颜色转换处理，能够对适当的区域(例如检测为病变的区域)进行颜色转换处理，能够抑制病变部的遗漏等。

并且，加工部3431也可以通过将对应关注区域中包含的像素的颜色与目标颜色进行加权相加，进行基于颜色转换的加工处理。

由此，如图16(C)所示，能够使对应关注区域内的像素为半透明，提高视觉辨认性，能够抑制病变部的遗漏等。

并且，加工部3431也可以通过将位于对应关注区域的周缘的像素的颜色转换成目标颜色，进行基于颜色转换的加工处理。

由此，如图16(D)所示，能够利用目标颜色包围对应关注区域，提高视觉辨认性，能够抑制病变部的遗漏等。

并且，在可靠度高的情况下，加工部3431也可以进行提高第1图像内的对应关注区域的视觉辨认性的亮度转换处理。这里，例如考虑通过与给定阈值进行比较等来判断可靠度的高低。

由此，在可靠度高的情况下(具体而言，例如确定关注候选区域是病变部的情况下)，进行提高第1图像内的对应关注区域的视觉辨认性的亮度转换处理，能够抑制病变部的遗漏等。

并且，加工部3431包括区域选出部34313，区域选出部34313根据可靠度从关注候选区域中选出关注区域。进而，选出与关注区域对应的第1图像内的对应关注区域。然后，加工部3431也可以对对应关注区域进行亮度转换处理。

由此，能够适当地选出与关注区域对应的对应关注区域。而且，通过对对应关注区域以外的区域进行亮度转换处理，能够对除了适当区域(例如检测为病变的区域)以外的区域进行亮度转换处理，能够抑制病变部的遗漏等。

并且，加工部3431也可以通过降低对应关注区域以外的区域中包含的像素的亮度，进行亮度转换处理。

由此，如图16(E)所示，对应关注区域以外的区域的亮度降低，较暗地进行显示。因此，对应关注区域看起来相对明亮，所以能够使对应关注区域明显，能够抑制病变部的遗漏。

并且，在可靠度高的情况下，加工部3431进行提高第1图像内的对应关注区域的视觉辨认性的处理。作为提高视觉辨认性的处理，也可以进行将第2图像的关注候选区域的部分图像与第1图像相关联的处理。这里，例如考虑通过与给定阈值进行比较等来判断可靠度的高低。

由此，在可靠度高的情况下(具体而言，例如确定关注候选区域是病变部的情况下)，作为提高第1图像内的对应关注区域的视觉辨认性的处理，能够进行将关注候选区域的部分图像与第1图像相关联的处理，能够抑制病变部的遗漏等。关联的详细情况在后面叙述。

并且，加工部3431包括区域选出部34313，区域选出部34313根据可靠度从关注候选区域中选出关注区域。进而，选出与关注区域对应的第1图像内的对应关注区域。而且，作为关注区域的部分图像与第1图像的对应，加工部3431也可以在第1图像的附近显示关注区域的部分图像。

由此，能够以图16(F)所示的方式显示输出图像，例如与直接并列第1图像和第2图像的情况相比，能够期待减轻医生观看输出图像时的负担的效果等。并且，由于在附近显示病变部的部分图像，所以也能够抑制病变部的遗漏。

并且，加工部3431包括区域选出部34313，区域选出部34313根据可靠度从关注候选区域中选出关注区域。进而，选出与关注区域对应的第1图像内的对应关注区域。而且，作为关注区域的部分图像与第1图像的对应，加工部3431也可以将关注区域的部分图像置换为对应关注区域的部分图像进行显示。

由此，能够以在第1图像内嵌入第2图像的关注区域的部分图像的方式显示输出图像。因此，关注区域(具体而言为病变部等)的部分能够利用第2图像(具体而言为易于视觉辨认病变部的特殊光图像)进行观察，并且，除此之外的部分能够利用第1图像(具体而言为全体明亮且易于观看的通常光图像)进行观察，例如能够抑制病变部的遗漏等。

并且，特定波段是比白色光的波段窄的波段。具体而言，第1图像和第2图像是活体内图像，特定波段是被血液中的血红蛋白吸收的波长的波段。更具体而言为390nm～445nm或530nm～550nm的波段。

由此，能够观察活体的表层部和位于深部的血管的构造。并且，通过将所得到的信号输入特定通道(R、G、B)，能够利用褐色等显示扁平上皮癌等的在通常光中很难视觉辨认的病变等，能够抑制病变部的遗漏。另外，390nm～445nm或530nm～550nm是根据被血红蛋白吸收这样的特性和分别到达活体的表层部或深部这样的特性而得到的数字。但是，该情况下的波段不限于此，例如由于与基于血红蛋白的吸收和到达活体的表层部或深部有关的实验结果等的变动原因，考虑波段的下限值减少0～10％左右，上限值上升0～10％左右。

并且，本实施方式还能够应用于包含图像处理装置(图像处理部)的电子设备。

例如，除了内窥镜以外，本实施方式的图像处理装置还能够搭载于数字照相机、数字摄像机、个人计算机等的各种类型的电子设备(以电压、电流等动力源进行动作的设备)。

并且，本实施方式也可以是内窥镜系统，该内窥镜系统包括第1光源、第2光源、第1图像取得部(狭义上为通常光图像取得部320)、第2图像取得部(狭义上为特殊光图像取得部330)、关注候选区域检测部341、可靠度计算部342、显示方式设定部343、显示部400。第1光源对活体内的被摄体照射白色光，第2光源对活体内的被摄体照射特定波段的光(例如窄带光或用于产生荧光的激励光)。第1图像取得部通过第1光源的照射，取得包含具有白色光波段中的信息的被摄体像的图像作为第1活体内图像，第2图像取得部通过第2光源的照射，取得包含具有特定波段中的信息的被摄体像的图像作为第2活体内图像。关注候选区域检测部341根据第2活体内图像的像素的特征量检测关注区域的候选即关注候选区域。可靠度计算部342计算表示关注候选区域是关注区域的确定程度的可靠度。显示方式设定部343进行根据可靠度设定输出图像的显示方式的处理。显示部400按照所设定的显示方式显示输出图像。

由此，得到基于白色光源和基于特定波段的光的2张活体内图像。然后，计算所得到的图像内的第2活体内图像的像素的特征量，能够检测关注区域(具体而言例如为病变部的区域)的候选即关注候选区域。进而，根据由可靠度计算部342计算出的可靠度，从关注候选区域中选出关注区域，由此，能够进行精度更高(具体而言为确定是病变部)的区域选出，然后，能够设定输出图像的显示方式。通过按照所决定的显示方式在显示部400中进行显示，能够对系统利用者(具体而言为医生)提示信息。

并且，本实施方式也可以是图像处理装置，该图像处理装置包括第1图像取得部、第2图像取得部、关注区域检测部、显示方式设定部343。第1图像取得部取得包含具有白色光波段中的信息的被摄体像的图像作为第1图像，第2图像取得部取得包含具有特定波段中的信息的被摄体像的图像作为第2图像。关注区域检测部根据第2图像内的像素的特征量检测应该关注的区域即关注区域。显示方式设定部343进行在与关注区域对应的输出图像的对应关注区域中显示警告区域的处理，该警告区域发出与关注区域的检测结果有关的信息。

由此，取得第1图像和第2图像，根据第2图像内的像素的特征量，能够从第2图像中检测关注区域。然后，从输出图像中检测与关注区域对应的对应关注区域，显示警告区域。由此，与直接显示第1图像的情况相比，能够提高与关注区域(具体而言例如为病变部的区域)对应的对应关注区域的视觉辨认性。另外，这里的警告区域可以是如上所述通过优先度选出的区域，也可以是与优先度无关的区域。

并且，本实施方式也可以是程序，该程序使计算机作为第1图像取得部、第2图像取得部、关注候选区域检测部341、可靠度计算部342、显示方式设定部343发挥功能。第1图像取得部取得包含具有白色光波段中的信息的被摄体像的图像作为第1图像，第2图像取得部取得包含具有特定波段中的信息的被摄体像的图像作为第2图像。关注候选区域检测部341根据第2图像内的像素的特征量，从第2图像中检测关注区域的候选即关注候选区域。可靠度计算部342计算表示关注候选区域是关注区域的确定程度的可靠度。显示方式设定部343进行根据可靠度设定输出图像的显示方式的处理。

由此，例如如胶囊型内窥镜等那样，首先，蓄积图像数据，然后，能够利用PC等计算机系统以软件方式对所蓄积的图像数据进行处理。

并且，本实施方式也可以是程序，该程序使计算机作为第1图像取得部、第2图像取得部、关注区域检测部、显示方式设定部343发挥功能。第1图像取得部取得包含具有白色光波段中的信息的被摄体像的图像作为第1图像，第2图像取得部取得包含具有特定波段中的信息的被摄体像的图像作为第2图像。关注区域检测部根据第2图像内的像素的特征量检测应该关注的区域即关注区域。显示方式设定部343进行在与关注区域对应的输出图像的对应关注区域中显示警告区域的处理，该警告区域发出与关注区域的检测结果有关的信息。

由此，例如如胶囊型内窥镜等那样，首先，蓄积图像数据，然后，能够利用PC等计算机系统以软件方式对所蓄积的图像数据进行处理。

并且，本实施方式还能够应用于记录有实现本实施方式的各部(第1图像取得部、第2图像取得部、关注候选区域检测部、可靠度计算部、显示方式设定部、加工部等)的程序代码的计算机程序产品。

这里，程序代码实现：第1图像取得部，其取得包含具有白色光波段中的信息的被摄体像的图像，作为第1图像；第2图像取得部，其取得包含具有特定波段中的信息的被摄体像的图像，作为第2图像；关注候选区域检测部，其根据所述第2图像内的像素的特征量，从所述第2图像中检测应该关注的区域的候选即关注候选区域；以及显示方式设定部，其根据计算出的所述可靠度，进行设定输出图像的显示方式的处理。

并且，计算机程序产品例如是记录有程序代码的信息存储介质(DVD等光盘介质、硬盘介质、存储器介质等)、记录有程序代码的计算机、记录有程序代码的因特网系统(例如包含服务器和客户终端的系统)等、编入程序代码的信息存储介质、装置、设备或系统等。该情况下，本实施方式的各结构要素和各处理过程通过各模块安装，由这些所安装的模块构成的程序代码记录在计算机程序产品中。

3.第2实施方式

对本发明的第2实施方式进行说明。除了关注候选区域检测部341和加工部3431以外的部分与第1实施方式相同。

首先，对本实施方式中的关注候选区域检测部341的具体结构进行说明。图24是说明本实施方式中的关注候选区域检测部341的结构的一例的框图。关注候选区域检测部341具有局部区域设定部3411、特征量计算部3412、分类部3413、区域设定部3414。控制部350与局部区域设定部3411、特征量计算部3412、分类部3413、区域设定部3414双向连接，并对它们进行控制。

首先，与第1实施方式同样，局部区域设定部3411针对特殊光图像设定多个局部区域。接着，与第1实施方式同样，特征量计算部3412针对所设定的所有局部区域计算特征量。这里，使用所述色相H(m，n)作为特征量。

分类部3413根据控制部350的控制，按照每个局部区域对计算出的局部区域的特征量H(m，n)与规定阈值进行比较，根据该比较结果，将各局部区域分类为多个群组。该情况下，使用预先设定的多个阈值Thi(i＝0，1…，L)，在H(m，n)为Thi以上且小于Thi+1的情况下，将局部区域a(m，n)分类为群组i的局部区域。通过进行这种处理，各局部区域被分类为群组0～群组(L-1)的群组。这里，关于阈值Thi的设定方法，可以由用户设定任意值，也可以通过控制部350自动设定为预先决定的值。并且，阈值Thi也可以根据特殊光图像内的位置而自适应地设定。被分类成各群组的局部区域信息被输出到区域设定部3414。

在本实施方式中，区域设定部3414根据关注的程度检测关注候选区域。例如，将由分类部3413分类为群组0～群组(L-1)的各群组后的局部区域中的、被分类为群组a的多个局部区域检测为关注等级a的关注候选区域，将被分类为群组b的多个局部区域检测为关注等级b的关注候选区域(这里，a、b是0～L-1的任意常数，a≠b)。区域设定部3414根据检测为各关注等级的关注候选区域的多个局部区域a(m，n)的坐标和各局部区域包含的像素的信息，计算关注候选区域中包含的所有像素的位置，将其作为各关注等级的关注候选区域信息，输出到可靠度计算部342和显示方式设定部343。进而，区域设定部3414向显示方式设定部343输出在特殊光图像中是否检测到关注候选区域的控制信号。

这里，区域设定部3414设关注程度为关注等级a和b这2个来进行关注候选区域的设定，但是，当然也可以根据需要将关注程度设定为任意数。

进而，区域设定部3414也可以针对利用各关注等级检测为关注候选区域的多个局部区域，按照每个关注等级，与第1实施方式同样设定新的关注候选区域(例如为了提高视觉辨认性而成为简单的四边形等)。

接着，对显示方式设定部343进行说明。如所述图11所示，显示方式设定部343具有加工部3431和选择部3432。这些各部的功能和动作与所述图11中说明的功能和动作相同，所以省略详细说明。

接着，对本实施方式中的加工部3431的具体结构进行说明。图25是说明本实施方式中的加工部3431的结构的一例的框图。如图25所示，加工部3431具有关注信息设定部34311、区域选出部34313、区域加工部34314、亮度转换部34315。

关注信息设定部34311针对各关注候选区域设定表示应该关注的程度的关注信息。具体而言，例如存在如下的设定方式：如果属于群组a，则成为关注度a，如果是群组b，则成为关注度b。更具体而言，还考虑如下的设定方式：如果病变是癌，则成为关注度5，如果是通常的炎症，则成为关注度1。

图26(A)是示出从通常光图像取得部320输出的通常光图像和关注候选区域信息的一例。这里，虚线所示的等级a和等级b的关注候选区域中包含的所有像素的位置信息作为关注候选区域信息，被输入到区域选出部34313。

与第1实施方式同样，区域选出部34313设定关注区域和对应关注区域。进而，还可以设定警告区域。

区域加工部34314使用从关注候选区域检测部341输出的关注候选区域信息，对从通常光图像取得部320输出的通常光图像进行加工。

区域加工部34314例如针对通常光图像中的作为对应关注区域信息而从区域选出部34313输入的像素，使用以下的式(18)～(23)进行颜色转换处理。这里，r(x，y)、g(x，y)、b(x，y)是颜色转换前的通常光图像的坐标(x，y)中的R、G、B通道的信号值，r_out(x，y)、g_out(x，y)、b_out(x，y)是颜色转换后的通常光图像的R、G、B通道的信号值。并且，Ta_r、Ta_g、Ta_b是针对等级a的对应关注区域的任意目标颜色的R、G、B信号值，根据由关注信息设定部34311设定的关注信息而决定。并且，Tb_r、Tb_g、Tb_b是针对等级b的对应关注区域的任意目标颜色的R、G、B信号值，同样根据关注信息而决定。gain是任意的系数。

等级a的对应关注区域

r_out(x，y)＝gain*r(x，y)+(1-gain)*Ta_r……(18)

g_out(x，y)＝gain*g(x，y)+(1-gain)*Ta_g……(19)

b_out(x，y)＝gain*b(x，y)+(1-gain)*Ta_b……(20)

等级b的对应关注区域

r_out(x，y)＝gain*r(x，y)+(1-gain)*Tb_r……(21)

g_out(x，y)＝gain*g(x，y)+(1-gain)*Tb_g……(22)

b_out(x，y)＝gain*b(x，y)+(1-gain)*Tb_b……(23)

通过进行这种处理，在怀疑为病变部的对应关注区域中，如图26(B)所示，根据关注程度，利用不同的颜色显示对应关注区域，在使用通常光图像和特殊光图像进行诊断时，能够降低医生的负担，并且能够抑制病变部的遗漏。

另外，区域加工部34314不限于所述处理，当然也可以使用第1实施方式所示的不同的颜色转换处理，根据关注程度对通常光图像的对应关注区域进行加工。

并且，在本实施方式中，构成图像处理部300的各部由硬件构成，但是，与第1实施方式同样，也可以构成为，针对预先取得的图像，CPU进行各部的处理，通过CPU执行程序，也可以作为软件来实现。或者，也可以利用软件构成各部进行的处理的一部分。

该情况下，除了图19的关注区域检测步骤和图22的通常光图像的加工步骤(颜色转换处理)以外的步骤与第1实施方式相同。使用图27的流程图对本实施方式中的图19的关注区域检测步骤S13的详细的处理顺序进行说明。

在局部区域检测步骤中，首先，利用与第1实施方式相同的方法，针对特殊光图像设定多个局部区域S41。接着，利用与第1实施方式相同的方法，针对所设定的所有局部区域计算特征量S42。这里，作为特征量的一例，使用色相H。然后，按照每个局部区域对在所有局部区域中计算出的色相H与所述规定阈值Thi进行比较，根据该比较结果将各局部区域分类为多个群组S43。接着，利用所述方法，根据关注程度检测关注候选区域。进而，根据检测为各关注等级的关注候选区域的局部区域a(m，n)的坐标和各局部区域包含的像素的信息，计算关注区域中包含的所有像素的位置，将其作为各关注等级的关注候选区域信息进行输出S44。最后，输出在特殊光图像中是否检测到关注候选区域的标志信息S45。

在本实施方式的图22的颜色转换处理步骤中，根据在关注候选区域检测步骤中输出的各关注等级的关注候选区域信息，如所述式(18)～(23)那样，根据关注等级，使用不同的目标颜色对通常光图像进行加工。

通过进行这种处理，如图26(B)所示，根据关注程度，利用不同的颜色显示怀疑为病变部的对应关注区域，在使用通常光图像和特殊光图像进行诊断时，能够降低医生的负担，并且能够抑制病变部的遗漏。

在以上的本实施方式中，关注候选区域检测部341包括分类部3413，该分类部3413按照每个局部区域对局部区域的特征量与给定阈值进行比较，并将各局部区域分类成多个群组。而且，关注候选区域检测部341检测包含至少被分类为1个群组的各局部区域和与该局部区域相邻的局部区域群的区域，作为关注候选区域。

由此，在将各局部区域分类为群组后，在对相邻的局部区域进行合并后，能够检测关注候选区域。并且，能够利用群组对关注候选区域进行分类，所以，能够按照每个群组具有不同的信息或进行不同的处理。

并且，加工部3431包括关注信息设定部34311，该关注信息设定部34311在各关注候选区域中设定表示应该关注的程度的关注信息。然后，加工部3431根据所设定的关注信息所表示的关注程度，对在颜色转换处理中使用的目标颜色进行变更。

由此，例如在检测到2种以上的病变的情况下，如图26(B)所示，能够利用不同颜色分别进行警告显示等。具体而言，例如考虑改变在癌的部位和通常炎症的部位中显示的颜色等。

4.第3实施方式

对本发明的第3实施方式进行说明。除了关注候选区域检测部341和加工部3431以外的部分与第2实施方式相同。

首先，对本实施方式中的关注候选区域检测部341的具体结构进行说明。关注候选区域检测部341根据控制部350的控制，从特殊光图像中检测应该关注的区域的候选即关注候选区域。如所述图24所示，该关注候选区域检测部341具有局部区域设定部3411、特征量计算部3412、分类部3413、区域设定部3414。

与第1和第2实施方式同样，局部区域设定部3411设定多个局部区域。作为其他例子，也可以假设任意范围的像素作为局部区域。并且，在区域分割的方法中，例如可以应用以纹理解析为代表的公知的区域分割算法。并且，该局部区域的范围也可以根据用户的指示而预先设定。分割后的局部区域被输出到特征量计算部3412。

与第1实施方式同样，特征量计算部3412计算色相H。这里，将坐标(m，n)的局部区域中包含的表示褐色的像素数表记为Cha(m，n)，将其作为特征量。并且，表示疑似病变程度的特征量不限于上述，也可以分别求解颜色的特征量、空间频率的特征量、形状的特征量和面积的特征量等，分别赋予权重系数并进行线性结合，作为表示各局部区域的疑似病变程度的特征量。特征量Cha(m，n)被输出到分类部3413。

分类部3413根据控制部350的控制，按照每个局部区域对计算出的局部区域的特征量Cha(m，n)与规定阈值进行比较，根据该比较结果，将各局部区域分类为多个群组。该情况下，使用预先设定的多个阈值GrThi(i＝0，1…，L)，在Cha(m，n)为GrThi以上且小于GrThi+1的情况下，将坐标(m，n)的局部区域分类为群组i的局部区域。在本实施方式中，设GrTh0＝200、GrThL＝257，GrThi小于GrThi+1。各局部区域被分类为群组0～群组L的群组。将在坐标(m，n)的局部区域中设定的群组表记为i(m，n)。并且，阈值GrThi的设定方法不限于上述，也可以通过控制部350自动设定。并且，阈值GrThi也可以根据特殊光图像内的位置而自适应地设定。分类后的群组i(m，n)被输出到区域设定部3414。

区域设定部3414根据控制部350的控制，检测包含被分类为多个群组中的至少1个群组的各局部区域和与该局部区域相邻的局部区域群的区域，作为关注候选区域。图29(A)、图29(B)、图29(C)和图29(D)示出关注候选区域的设定方法的一例。局部区域中的数值表示对各局部区域进行分类后的群组。首先，如图29(A)所示，在由红框包围的局部区域的8个附近位置(由粗框包围的范围)，探索被分类为群组的局部区域。在粗框内存在被分类为群组的局部区域的情况下，如图29(B)的内侧的粗框所示，将包含该局部区域的矩形区域设定为新的局部区域。接着，在新的局部区域的周边(由外侧的粗框包围的范围)，再次探索被分类为群组的局部区域。反复进行该处理，直到如图29(C)所示在局部区域的周边不存在被分类为群组的局部区域为止。当探索处理结束后，如图29(D)所示，将新设定的局部区域合并为一个区域，按照与所述分类部3413相同的顺序，再次设定局部区域的群组。这里，设合并后的局部区域内的表示红褐色的像素数为GrTh7以上且小于GrTh8，图中示出了被分类为群组7的情况。这里，再次设定的局部区域被设定为关注候选区域。并且，局部区域的合并方法不限于上述，例如也可以应用公知的聚类算法。该情况下，合并后的局部区域不限于矩形区域，可以是任意形状。检测到的关注候选区域的图像信号、各像素的坐标、群组被输出到可靠度计算部342和显示方式设定部343。

接着，对加工部3431的具体结构进行说明。图28是说明第3实施方式中的加工部3431的结构的一例的框图。如图28所示，加工部3431具有关注信息设定部34311、合成比设定部34312、区域选出部34313、区域加工部34314、亮度转换部34315。

关注候选区域检测部341与关注信息设定部34311、区域选出部34313、区域加工部34314连接。可靠度计算部342与区域选出部34313连接。关注信息设定部34311与合成比设定部34312连接。合成比设定部34312设定在区域加工部34314中。通常光图像取得部320与区域选出部34313连接。区域选出部34313与区域加工部34314和亮度转换部34315连接。区域加工部34314与亮度转换部34315连接。亮度转换部34315与选择部3432连接。控制部350与关注信息设定部34311、合成比设定部34312、区域选出部34313、区域加工部34314、亮度转换部34315双向连接，并对它们进行控制。

关注信息设定部34311根据控制部350的控制，针对检测到的关注候选区域设定表示应该关注的程度的关注信息。具体而言，根据从关注候选区域检测部341输出的关注候选区域的群组，对各关注候选区域设定应该关注的程度At。这里，与各群组对应的应该关注的程度At预先设定为查阅表AtLut(i)。AtLut(i)表示群组i的情况下的应该关注的程度，设At＝AtLut(i)。并且，与各群组对应的应该关注的程度At也可以通过外部I/F部500而由用户设定。计算出的At作为关注候选区域的关注信息，被输出到合成比设定部34312。

合成比设定部34312根据控制部350的控制，根据所设定的关注信息所表示的关注程度，设定关注候选区域内的像素的像素值与对应关注区域内的像素的像素值的合成比。具体而言，根据从关注信息设定部34311输入的关注信息At，使用以下的式(24)计算合成比alpha。alpha为0～1的范围内的值。

alpha＝alLut(At)……(24)

这里，alLut(x)例如为图30(A)所示的预先设定的合成比计算查阅表。并且，合成比计算方法不限于上述，也可以使用n次函数。式(25)示出计算合成比alpha的1次函数的例子。

alpha＝a*At+b……(25)

a、b是常数项。这里，如图30(B)所示，在alpha为0以下的情况下，设alpha＝0，在alpha为1以上的情况下，设alpha＝1。所设定的合成比alpha被输出到区域加工部34314。

区域选出部34313根据控制部350的控制，选出与检测到的关注候选区域对应的通常光图像内的对应关注区域。关于对应关注区域选出方法，首先，预先拍摄校准图像，通过应用公知的匹配算法，生成使通常光图像与特殊光图像的各像素的位置一一对应的查阅表calLut(x，y)。这里，当输入特殊光图像的各像素的坐标(x，y)后，calLut(x，y)输出通常光图像的对应的位置(x’，y’)。然后，根据从可靠度计算部342输入的可靠度，从由关注候选区域检测部341输入的关注候选区域中提取关注区域。具体而言，从关注候选区域中提取具有预先设定的阈值以上的可靠度的区域，作为关注区域。然后，使用calLut(x，y)和关注区域中包含的像素的坐标，计算对应关注区域的坐标。并且，这里，使与关注区域对应的像素位置一对一，但是，与关注区域对应的像素位置也可以是多个。并且，在与关注区域对应的像素位置为像素与像素之间的情况下，也可以应用以线性插值为代表的公知的插值算法。对应关注区域的坐标被输出到区域加工部34314。

区域加工部34314根据控制部350的控制，对通常光图像的对应关注区域进行加工。具体而言，针对由从区域选出部34313输出的对应关注区域信息确定的像素，使用式(26)进行合成处理。这里，特殊光图像的信号值表记为speImg(x，y)，通常光图像的信号值表记为whiImg(x，y)，合成图像的信号值表记为bleImg(x，y)。

bleImg(x’，y’)＝alpha*speImg(x，y)+(1-alpha)*whiImg(x’，y’)……(26)

针对对应关注区域以外的像素，使用式(27)，将通常光图像设定为合成图像。

bleImg(x’，y’)＝whiImg(x’，y’)……(27)

进行合成处理后的合成图像bleImg被输出到亮度转换部34315。

亮度转换部34315根据控制部350的控制，降低对应关注区域以外的区域中包含的像素的亮度。具体而言，针对从区域选出部34313输出的对应关注区域像素以外的像素，使用式(28)降低亮度。这里，亮度降低后的加工图像的信号值表记为procImg(x，y)。

procImg(x’，y’)＝c*bleImg(x’，y’)……(28)

c是0～1的范围内的常数项。进行了亮度转换处理后的加工图像progImg被输出到选择部3432。

并且，在本实施方式中，构成图像处理部300的各部由硬件构成，但是，与第1实施方式同样，也可以构成为，针对预先取得的图像，CPU进行各部的处理，通过CPU执行程序，也可以作为软件来实现。或者，也可以利用软件构成各部进行的处理的一部分。该情况下，除了图19的关注区域检测步骤S13和图21的通常光图像的加工步骤S31以外的步骤与第2实施方式相同。

使用图27的流程图对本实施方式中的图19的关注区域检测步骤S13的详细的处理顺序进行说明。

开始进行该处理后，首先，对特殊光图像进行区域分割(S41)。该情况下，将特殊光图像分割成矩形区域。该矩形区域的尺寸可以适当设定，但是，这里，例如设为16×16像素单位。接着，依次提取分割后的局部区域，如前面的式(1)～(6)所述的那样，计算表示疑似病变程度的特征量(S42)。接着，按照每个局部区域对计算出的局部区域的特征量与规定阈值进行比较，根据该比较结果，将各局部区域分类为多个群组(S43)。然后，检测包含被分类为多个群组中的至少1个群组的各局部区域和与该局部区域相邻的局部区域群的区域，作为关注候选区域(S44)。然后，输出表示是否检测到关注候选区域的标志信息(S45)。

接着，参照图31对图21的S31中的加工处理的详细情况进行说明。开始进行该处理后，首先，对检测到的关注候选区域设定表示应该关注的程度的关注信息(S51)。这里，根据在S13中计算出的关注候选区域的群组，对各关注候选区域设定关注信息At。这里，与各群组对应的应该关注的程度At预先设定为查阅表AtLut(i)。

接着，根据所设定的关注信息，设定特殊光图像的关注区域内的像素值与通常光图像的对应关注区域内的像素值的合成比(S52)。这里，根据从S51输入的关注信息At，如前面的式(24)所述的那样，计算合成比alpha。alpha为0～1的范围内的值。

接着，根据包含检测到的关注候选区域的特殊光图像和可靠度，提取关注区域，从通常光图像中选出与关注区域对应的对应关注区域(S53)。这里，预先生成将通常光图像与特殊光图像的各像素的位置一一对应的查阅表calLut(x，y)，计算与特殊光图像的关注区域的各像素的坐标(x，y)对应的通常光图像的位置(x’，y’)。然后，从关注候选区域中提取具有预先设定的阈值以上的可靠度的区域，作为关注区域。并且，这里，使与关注区域对应的像素位置一对一，但是，与关注区域对应的像素位置也可以是多个。并且，在与关注区域对应的像素位置为像素与像素之间的情况下，也可以应用以线性插值为代表的公知的插值算法。

然后，根据关注区域的检测结果，对检测到的通常光图像内的对应关注区域进行加工(S54)。这里，如前面的式(26)、式(27)所述的那样，根据特殊光图像和通常光图像生成合成图像。

然后，如前面的式(28)所述的那样，降低对应关注区域以外的区域中包含的像素的亮度(S55)。

通过进行这种处理，能够利用单一图像显示通常光图像和特殊光图像，所以能够提供降低医生的负担且抑制病变部的遗漏的内窥镜系统。

在以上的本实施方式中，作为加工处理，加工部3431进行第1图像和第2图像的合成处理。

由此，通过合成处理，能够提高第1图像内的对应关注区域的视觉辨认性。具体而言，进行混合通常光图像和特殊光图像的处理。

该情况下，在可靠度高的情况下，加工部3431进行提高第1图像内的对应关注区域的视觉辨认性的合成处理。这里，例如考虑通过与给定阈值进行比较等来判断可靠度的高低。

由此，在可靠度高的情况下(具体而言，例如确定关注候选区域是病变部的情况下)，进行提高第1图像内的对应关注区域的视觉辨认性的合成处理，能够抑制病变部的遗漏等。

并且，加工部3431包括区域选出部34313，区域选出部34313根据可靠度从关注候选区域中选出关注区域。进而，选出与关注区域对应的第1图像内的对应关注区域。然后，加工部3431对对应关注区域进行合成处理。

由此，能够适当地选出与关注区域对应的对应关注区域。而且，通过对对应关注区域进行合成处理，能够对适当的区域(例如检测为病变的区域)进行合成处理，例如能够抑制病变的遗漏等。

并且，加工部3431包括关注信息设定部34311和合成比设定部34312。这里，关注信息设定部34311针对各关注候选区域设定表示应该关注的程度的关注信息。合成比设定部34312设定第1图像与第2图像的合成比。然后，加工部3431根据由合成比设定部34312设定的合成比，进行合成处理。

由此，能够根据应该关注的程度来改变合成比，例如如图30(A)、图30(B)所示，实施更应该关注的病变部的特殊光图像的比例增大、关注度低的病变部的通常光图像的比例增大这样的处理。具体而言，在病变部是由褐色显示的扁平上皮癌等的情况下，在应该关注的病变部中，褐色的比例增大，能够容易地判断只要关注哪里即可。

5.第4实施方式

参照图32对本发明的第4实施方式的内窥镜系统进行说明。在第1实施方式、第2实施方式和第3实施方式中，使用2个摄像元件取得了通常光图像和特殊光图像，但是，这里，例如也可以仅通过具有拜耳排列的滤色镜的第1摄像元件，利用图像处理取得通常光图像和特殊光图像。本实施方式的内窥镜系统具有光源部100、插入部200、图像处理部300、显示部400、外部I/F部500。另外，下面对与第1实施方式等重复的部分，适当省略其说明。

光源部100具有白色光源110和会聚透镜120。

插入部200具有：用于引导由光源部100会聚后的光的光导纤维210、使通过该光导纤维引导到前端的光扩散并照射到观察对象的照明透镜220、使从观察对象返回的反射光会聚的物镜230、以及用于检测会聚后的反射光的第1摄像元件250。第1摄像元件250例如是用于拍摄通常光图像的具有拜耳排列的滤色镜的摄像元件。第1摄像元件250的滤色镜例如具有图4所示的分光特性。

图像处理部300具有AD转换部310、通常光图像取得部320、特殊光图像取得部330、输出图像生成部340、控制部350。

外部I/F部500是用于供用户对该内窥镜系统进行输入等的接口。

AD转换部310将从第1摄像元件输出的模拟信号转换为数字信号并输出。

通常光图像取得部320根据从AD转换部310输出的数字信号取得通常光图像。特殊光图像取得部330根据从AD转换部310输出的数字信号取得特殊光图像。

由通常光图像取得部320取得的通常光图像和由特殊光图像取得部330取得的特殊光图像被输出到输出图像生成部340。输出图像生成部340根据这2张图像生成1张输出图像并输出到图像显示部。

如图7中说明的那样，通常光图像取得部320具有通常光图像生成部321和通常光图像存储部322。由于这些各部的功能和动作与图7中说明的功能和动作相同，所以省略详细说明。

接着，使用图33对特殊光图像取得部330进行说明。特殊光图像取得部330具有特殊光图像生成部331、特殊光图像存储部332、信号提取部333、矩阵数据设定部334。特殊光图像生成部331对由AD转换部310转换并输入的数字图像信号进行图像处理，生成特殊光图像。在本实施例中，特殊光图像为窄带光图像。在本实施方式中，被输入到特殊光图像生成部331的数字图像信号是与被输入到通常光图像生成部321的数字图像信号相同的信号。

这里，对在信号提取部333、矩阵数据设定部334和特殊光图像生成部331中生成窄带光图像的方法进行说明。首先，对所输入的数字图像信号进行现有的插值处理，生成具有R、G、B的3个通道的彩色图像。该图像是在白色光源下使用第1摄像元件250对被摄体进行摄像的情况下的彩色图像。接着，根据该彩色图像，使用公知的分光估计技术，估计彩色图像的各像素中的被摄体的分光反射率。分光估计技术的详细情况例如在专利文献3的[0054]～[0065]中被公开，通过进行这种处理，例如各像素在380nm～780nm中以每10nm取得具有被摄体的分光反射率特性O(λ)的分光图像信息(这里λ为380～780)。这里，将图像上的位置(x，y)中的分光反射率特性记述为O(λx，y)。并且，设本实施方式中的白色光源的分光放射率为E(λ)，光学系统的分光透射率为L(λ)，与第1实施方式中的第2摄像元件260的滤色镜g2、b2对应的像素的分光感光度分别为g2(λ)、b2(λ)。于是，能够利用以下的式(29)、式(30)计算与第1实施方式的G2图像和B2图像对应的G2'图像和B2'图像的位置(x，y)中的信号值G2’(x，y)和B2’(x，y)。

G2'(x，y)＝∫E(λ·O(λ·L(λ·g2λ)dλ……(29)

B2'(x，y)＝∫E(λ·O(λ·L(λ·b2λ)dλ……(30)

通过针对图像上的所有位置(x，y)进行这种计算，能够从由第1摄像元件250得到的图像信号中取得G2’图像和B2’图像。

接着，与实施方式1同样，根据该G2’图像和B2’图像，生成具有R、G、B的3个通道的彩色图像。这里，例如通过对彩色图像的R通道输入G2图像、对G通道和B通道输入B2图像，生成彩色图像。特殊光图像生成部331进一步对所生成的彩色图像进行白平衡、灰度转换等处理，作为窄带光图像输出。特殊光图像存储部332存储从特殊光图像生成部输出的特殊光图像。

关于由通常光图像取得部320和特殊光图像取得部330取得图像后的处理，只要进行与第1、第2或第3实施方式相同的处理即可。

在以上的本实施方式中，第2图像取得部(狭义上为特殊光图像取得部330)根据第1图像生成第2图像。具体而言，第2图像取得部包括信号提取部333和矩阵数据设定部334。信号提取部333提取白色光的波段中的信号。矩阵数据设定部334设定用于计算特定波段中的信号的矩阵数据。然后，第2图像取得部使用矩阵数据，根据信号提取部333提取出的信号，计算特定波段的信号，生成第2图像。

由此，能够根据第1图像生成第2图像，所以如图30所示，仅利用一个摄像元件也能够实现系统，能够减小插入部200。并且，由于部件很少即可，所以还能够期待降低成本的效果。

6.第5实施方式

参照图34对本发明的第5实施方式的内窥镜系统进行说明。本实施方式的内窥镜系统具有光源部100、插入部200、图像处理部300、显示部400、外部I/F部500。

光源部100具有产生白色光的白色光源110、用于使来自光源的出射光会聚在光导纤维210的会聚透镜120、以及从白色光中提取规定波段的光的旋转滤镜130。

如图35所示，旋转滤镜130由透射率特性不同的2种滤镜F1、F2构成。这些滤镜F1、F2例如如图36所示，滤镜F1具有透射400～650nm的波段的光的透射率特性，滤镜F2具有透射600～650nm的波段的光的透射率特性。滤镜F1的光是白色光。通过滤镜F2提取出的600～650nm的波段的光具有对Cy5这种荧光药剂进行激励而产生660～750nm的波段的荧光的特性。这里，该荧光药剂具有特殊地积累在肿瘤等病变部上的性质。插入部200例如形成为细长且能够弯曲，以使得能够插入体腔内。

插入部200具有：用于引导由光源部会聚后的光的光导纤维210、使通过该光导纤维210引导到前端的光扩散并照射到观察对象的照明透镜220、使从观察对象返回的反射光会聚的物镜230、将会聚后的反射光和荧光分支到不同光路的二色镜280、遮挡分支后的荧光中包含的激励光的阻挡滤镜270、检测分支后的反射光的第1摄像元件250、以及检测通过阻挡滤镜270后的荧光的第2摄像元件260。如图37所示，阻挡滤镜270具有如下的透射率特性：仅使通过二色镜280从反射光分支的光中的相当于荧光的波段660～750nm的光通过，遮断其他光。并且，第1摄像元件250例如是具有图4所示的R、G、B的分光特性的拜耳型彩色摄像元件，第2摄像元件260例如是在波段660～750nm中具有较高的感光度特性的单色摄像元件。

图像处理部300具有AD转换部310、通常光图像取得部320、特殊光图像取得部330、输出图像生成部340、控制部350。控制部350与通常光图像取得部320、特殊光图像取得部330、输出图像生成部340双向连接，并对它们进行控制。

进而，控制部350还与所述旋转滤镜130双向连接，旋转滤镜130根据来自控制部350的信号对电动机进行旋转驱动，由此，依次切换滤镜F1和F2，依次对作为观察对象的体腔内组织照射照明光。并且，控制部350将配置在光路中的滤镜F1、F2的信息作为触发信号，输出到通常光图像取得部320、特殊光图像取得部330、输出图像生成部340。

外部I/F部500是用于供用户对该内窥镜系统进行输入等的接口。

AD转换部310将从第1摄像元件250和第2摄像元件260输出的模拟信号转换为数字信号并输出。

通常光图像取得部320根据从AD转换部310输出的数字信号取得通常光图像。特殊光图像取得部330根据从AD转换部310输出的数字信号取得特殊光图像。

由通常光图像取得部320取得的通常光图像和由特殊光图像取得部330取得的特殊光图像被输出到输出图像生成部340。输出图像生成部340根据这2张图像生成1张输出图像并输出到图像显示部。

如所述图7所示，通常光图像取得部320具有通常光图像生成部321和通常光图像存储部322。通常光图像生成部321通过从控制部350送来的触发信号，识别滤镜F1位于光路中的期间，在滤镜F1位于光路中的期间内，针对从由第1摄像元件送来的模拟信号转换后的数字信号进行图像处理，生成通常光图像。具体而言，进行现有的插值处理、白平衡、颜色转换、灰度转换等处理，生成通常光图像并输出。通常光图像存储部322存储从通常光图像生成部321输出的通常光图像。

如所述图8所示，特殊光图像取得部330具有特殊光图像生成部331和特殊光图像存储部332。特殊光图像生成部331通过从控制部350送来的触发信号，识别滤镜F2位于光路中的期间，在滤镜F2位于光路中的期间内，针对从由第2摄像元件送来的模拟信号转换后的数字信号进行图像处理，生成特殊光图像。在本实施方式中，特殊光图像为单色的荧光图像。具体而言，针对取得了从积累有药剂荧光的病变部产生的荧光的图像信号，例如进行增益调整或灰度转换等处理，生成单色的特殊光图像并输出。特殊光图像存储部332存储从特殊光图像生成部331输出的特殊光图像。

图40是示出位于光路中的滤镜的种类以及在通常光图像存储部322和特殊光图像存储部332中存储的图像的图。首先，在定时1，在光路中插入滤镜F1。此时，所照射的照明光是白色光，在通常光图像存储部322中存储通常光图像作为彩色图像，在特殊光图像存储部332中不存储图像。接着，在定时2，在光路中插入滤镜F2。此时，所照射的照明光是激励光，在特殊光图像存储部332中存储从积累有药剂荧光的病变部产生的荧光作为单色图像，在通常光图像存储部322中不存储图像。通常光图像存储部322和特殊光图像存储部332能够分别存储多张图像。

接着，对本实施方式中的输出图像生成部340的具体结构进行说明。图38是说明输出图像生成部340的结构的一例的框图。输出图像生成部340具有关注候选区域检测部341、可靠度计算部342、显示方式设定部343、对应部344。

在本实施方式中，由于利用通常光图像取得部320和特殊光图像取得部330交替取得通常光图像和特殊光图像，所以对应部344进行这些图像的对应。

这里，对本实施方式中的对应部344的处理进行具体说明。图39是示出取得在通常光图像存储部322中存储的图像的定时和取得在特殊光图像存储部332中存储的图像的定时的图。对应部344根据来自控制部350的控制信号，从通常光图像存储部322和特殊光图像存储部332中，各读出一张以取得图像的定时之差最小的方式相对应的通常光图像和特殊光图像。这里，最初读出的图像是在定时1取得的通常光图像和在定时2取得的特殊光图像，接着读出的图像是在定时2取得的特殊光图像和在定时3取得的通常光图像。这样，对应部344能够以与图像取得相同的定时间隔取得通常光图像和特殊光图像双方。

并且，对应部344也可以利用现有的对应方法进行对应。图41、图42示出具体的对应方法。在图41中，在定时T1照射白色光，在定时T2照射激励光。由此，在定时T1得到通常光图像，在定时T2得到特殊光图像。在定时T2，还能够通过使用第1摄像元件250而取得通常光图像(在图40中未图示)。这里，通过计算定时T1的通常光图像与定时T2的通常光图像之间的运动矢量，能够进行定时T1的通常光图像与定时T2的特殊光图像的对应。

并且，如图42所示，也可以在根据在定时T1和定时T3照射的白色光而得到的通常光图像之间计算运动矢量。这样，即使在定时T2没有得到通常光图像，也能够计算运动矢量。该情况下，通过使用定时的间隔ΔT1和ΔT2，能够进行定时T1的通常光图像与定时T2的特殊光图像的对应。

然后，对应的通常光图像被输出到显示方式设定部343。并且，对应的特殊光图像被输出到关注候选区域检测部341和显示方式设定部343。关注候选区域检测部341使用从特殊光图像取得部330输出的特殊光图像检测关注区域，将关注区域信息输出到可靠度计算部342和显示方式设定部343。可靠度计算部342与显示方式设定部343连接。控制部350与关注候选区域检测部341、可靠度计算部342、显示方式设定部343、对应部344双向连接，并对它们进行控制。并且，显示方式设定部343从由通常光图像取得部320输出的通常光图像和由特殊光图像取得部330输出的特殊光图像中选择图像，向显示部400输出图像。进而，显示方式设定部343也可以根据从关注候选区域检测部341输出的关注区域信息，对通常光图像或特殊光图像进行加工后，向显示部400输出图像。

关注候选区域检测部341、可靠度计算部342和显示方式设定部343与第1实施方式、第2实施方式或第3实施方式相同。另外，由于本实施方式中的特殊光图像如上所述为单色的荧光图像，所以作为在关注候选区域检测部341中使用的特征量，例如使用荧光图像的亮度值即可。

在本实施方式中使用2种照明光，但是，使用3种以上的照明也没有问题，也可以使用例如图43所示的旋转滤镜。这里，滤镜F1是透射白色光的滤镜，滤镜F2是透射针对Cy5这样的荧光药剂的第1激励光的滤镜，滤镜F3是透射针对不同的荧光药剂的第2激励光的滤镜。该情况下，例如，能够根据第1激励光照明时由第2摄像元件取得的荧光图像和第2激励光照明时由第2摄像元件取得的荧光图像这2种荧光图像，进行虚拟彩色处理，生成特殊光图像。此时，作为在关注候选区域检测部341中使用的特征量，例如与第1实施方式和第2实施方式同样，可以使用色相H的值，也可以使用除此之外的亮度/颜色信息。另外，该情况下，需要将阻挡滤镜变更为遮断第1激励光和第2激励光并透射针对各个激励光的荧光的特性。

并且，虽然在本实施方式中使用了荧光药剂，但是，也可以例如如现有的作为AFI(Auto Fluorescence Imaging：自体荧光成像)而公知的技术那样，构成为对从活体中的骨胶原产生的自体荧光进行观察。该情况下，使用390～470nm的波段的光作为激励光，将阻挡滤镜变更为透射490～625nm的波段的光的特性即可。进而，也可以取而代之而使用被血液中的血红蛋白吸收的540～560nm的波段的光作为照明光，根据其反射光图像和所述自体荧光图像生成虚拟彩色图像，用作特殊光图像。

进而，也可以例如如现有的作为IRI(Infra Red Imaging：红外成像)而公知的技术那样，在静脉注射了ICG后，使用2个红外光(790～820nm和905～970nm的波段的光)作为照明光，根据它们的反射光图像生成虚拟彩色图像，用作特殊光图像。

并且，在本实施方式中，虽然构成图像处理部300的各部由硬件构成，但是，与第1实施方式同样，也可以构成为，针对预先取得的图像，CPU进行各部的处理，通过CPU执行程序，也可以作为软件来实现。或者，也可以利用软件构成各部进行的处理的一部分。

作为利用软件构成各部进行的处理的一部分的情况的一例，使用图44的流程图说明针对预先取得的通常光图像和特殊光图像、利用软件实现图38的输出图像生成部340的处理的情况下的处理顺序。

在本实施方式中，由于交替取得通常光图像和特殊光图像，所以首先根据取得各个图像的定时信息，利用所述方法进行这些图像的对应S61。接着，将特殊光图像读入存储器中S62，将与该特殊光图像相对应的通常光图像读入存储器中S63。关注区域检测步骤S64和显示方式决定步骤S65与第1实施方式、第2实施方式或第3实施方式相同。然后，在针对所有图像完成了一连串处理的情况下，结束处理，在残留有未处理的图像的情况下，继续进行同样的处理S66。

在以上的本实施方式中，输出图像生成部340包括对应部344，该对应部344根据识别第1图像的第1识别信息和识别第2图像的第2识别信息，进行第1图像与第2图像的对应。

由此，即使在第1图像与第2图像的摄像定时错开时，也能够明确地进行第1图像与第2图像的对应。作为进行对应的理由，举出要检测关注区域(具体而言为病变部)的图像是第2图像，要进行图像加工的图像是第1图像。即，在希望对第1图像的病变部进行加工时，要是第1图像与第2图像错开，则可能对估计错的位置进行加工。因此，在能够同时取得第1图像和第2图像的情况下，没有特别的问题，但是，如本实施方式那样，在产生错开的情况下最好进行对应。

并且，第1图像取得部取得白色光图像，第2图像取得部取得使用了具有特定波段的光源的图像。而且，第1识别信息是对第1图像进行摄像的定时的信息，第2识别信息是对第2图像进行摄像的定时的信息。然后，对应部将第1图像的摄像定时与第2图像的摄像定时在时间上接近的第1图像和第2图像相对应。

由此，在时间上接近的2张图像相对应。具体而言，在图39中，定时1的通常光图像与定时2的特殊光图像相对应，定时2的特殊光图像与定时3的通常光图像相对应。因此，能够将位置错开抑制得较小，能够在第1图像上对适当位置进行加工。

并且，第1图像和第2图像也可以是拍摄了活体内的活体内图像。而且，活体内图像中包含的特定波段也可以是荧光物质发出的荧光的波段。具体而言为490nm～625nm的波段。

由此，能够进行被称为AFI的荧光观察。通过照射激励光(390nm～470nm)，能够对来自骨胶原等荧光物质的自体荧光进行观察。在这种观察中，能够利用与正常粘膜不同的色调对病变进行强调显示，能够抑制病变部的遗漏等。另外，490nm～625nm这样的数字表示在照射所述激励光时、骨胶原等荧光物质发出的自体荧光的波段。但是，该情况下的波段不限于此，例如由于与荧光物质发出的荧光的波段有关的实验结果等的变动原因，考虑波段的下限值减少0～10％左右，上限值上升0～10％左右。并且，也可以同时照射被血红蛋白吸收的波段(540nm～560nm)，生成虚拟彩色图像。

并且，第1图像和第2图像也可以是拍摄了活体内的活体内图像。而且，活体内图像中包含的特定波段也可以是红外光的波段。具体而言为790nm～820nm或905nm～970nm的波段。

由此，能够进行被称为IRI的红外光观察。在静脉注射了容易吸收红外光的作为红外指示药剂的ICG(吲哚菁绿)后，通过照射上述波段的红外光，能够对人类眼睛很难视觉辨认的粘膜深部的血管或血流信息进行强调显示，能够进行胃癌的深度诊断和治疗方针的判定等。另外，790nm～820nm这样的数字是根据红外指示药剂的吸收最强这样的特性而求出的，905nm～970nm这样的数字是根据红外指示药剂的吸收最弱这样的特性而求出的。但是，该情况下的波段不限于此，例如由于与红外指示药剂的吸收有关的实验结果等的变动原因，考虑波段的下限值减少0～10％左右，上限值上升0～10％左右。

以上对应用了本发明的5个实施方式1～5及其变形例进行了说明，但是，本发明不限于各实施方式1～5及其变形例本身，在实施阶段，能够在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过适当组合上述各实施方式1～5和变形例所公开的多个结构要素，能够形成各种发明。例如，可以从各实施方式1～5和变形例所记载的全部结构要素中删除若干个结构要素。进而，可以适当组合不同实施方式和变形例中说明的结构要素。这样，能够在不脱离发明主旨的范围内进行各种变形和应用。

并且，在说明书或附图中，至少一次与更广义或同义的不同用语(第1图像、第2图像等)一起记载的用语(通常光图像、特殊光图像等)在说明书或附图的任意部位中，能够置换为与其不同的用语。

标号说明

100：光源部；110：白色光源；120：会聚透镜；130：旋转滤镜；200：插入部；210：光导纤维；220：照明透镜；230：物镜；240：半透半反镜；250：第1摄像元件；260：第2摄像元件；280：二色镜；300：图像处理部；310：AD转换部；310a：AD转换部；310b：AD转换部；320：通常光图像取得部；321：通常光图像生成部；322：通常光图像存储部；330：特殊光图像取得部；331：特殊光图像生成部；332：特殊光图像存储部；333：信号提取部；334：矩阵数据设定部；340：输出图像生成部；341：关注候选区域检测部；342：可靠度计算部；343：显示方式设定部；344：对应部；345：优先度设定部；350：控制部；400：显示部；500：外部I/F部；600：计算机系统；610：主体部；611：CPU；612：RAM；613：ROM；614：HDD；615：CD-ROM驱动器；616：USB端口；617：I/O接口；618：LAN接口；620：显示器；621：显示画面；630：键盘；640：鼠标；650：调制解调器；660：CD-ROM；670：USB存储器；681：PC；682：服务器；683：打印机；3411：局部区域设定部；3412：特征量计算部；3413：分类部；3414：区域设定部；3431：加工部；3432：选择部；34311：关注信息设定部；34312：合成比设定部；34313：区域选出部；34314：区域加工部；34315：亮度转换部；N1：LAN/WAN；N3：公共线路。

Claims (46)

1.一种图像处理装置，其特征在于，该图像处理装置包括：

第1图像取得部，其取得包含具有白色光波段中的信息的被摄体像的图像，作为第1图像；

第2图像取得部，其取得包含具有特定波段中的信息的被摄体像的图像，作为第2图像，所述第2图像比所述第1图像针对病变部具有更高的视觉辨认性；

关注候选区域检测部，其根据所述第2图像内的像素的特征量，检测所述第2图像内的应该关注的区域的候选即关注候选区域；

可靠度计算部，其计算表示所检测到的所述关注候选区域是关注区域的确定程度的可靠度；以及

显示方式设定部，其进行根据计算出的所述可靠度设定输出图像的显示方式的处理，其中，所述显示方式设定部进行提高与所述第2图像内的所述关注区域对应的所述第1图像内的对应关注区域的视觉辨认性的显示方式设定处理。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述显示方式设定部包括加工部，该加工部根据计算出的所述可靠度和所述第1图像，进行所述第1图像的加工处理，

所述显示方式设定部通过进行所述加工处理，设定所述输出图像的显示方式。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述加工部进行提高与判断为所述可靠度高的所述关注候选区域对应的所述第1图像内的对应关注区域的视觉辨认性的加工处理。

4.根据权利要求2所述的图像处理装置，其特征在于，

作为所述加工处理，所述加工部进行所述第1图像的转换处理。

5.根据权利要求2所述的图像处理装置，其特征在于，

作为所述加工处理，所述加工部进行将所述第2图像的所述关注区域的部分的图像即部分图像与所述第1图像相关联的处理。

6.根据权利要求2所述的图像处理装置，其特征在于，

所述加工部包括区域选出部，该区域选出部根据所述可靠度，从所述关注候选区域检测部检测到的所述关注候选区域中选出所述关注区域。

7.根据权利要求6所述的图像处理装置，其特征在于，

所述区域选出部根据优先度，从所述关注区域中选出警告区域。

8.根据权利要求7所述的图像处理装置，其特征在于，

根据所述可靠度、像素的特征量和应该关注的程度中的至少一个信息，设定所述优先度。

9.根据权利要求7所述的图像处理装置，其特征在于，

所述区域选出部保持与所述警告区域的上限数有关的信息，在预测为所述警告区域超过所述上限数的情况下，不将超过该上限数的量的所述关注区域设定为所述警告区域。

10.根据权利要求9所述的图像处理装置，其特征在于，

所述加工部包括区域加工部，

所述区域加工部进一步保持与所述警告区域的加工处理的优先度有关的信息，从所述加工处理的优先度高的警告区域起依次进行加工处理。

11.根据权利要求1所述的图像处理装置，其特征在于，

所述可靠度计算部根据检测到的所述关注候选区域的尺寸，计算所述可靠度。

12.根据权利要求1所述的图像处理装置，其特征在于，

所述可靠度计算部根据检测到的所述关注候选区域内的像素的特征量，计算所述可靠度。

13.根据权利要求1所述的图像处理装置，其特征在于，

所述关注候选区域检测部包括：

局部区域设定部，其将所述第2图像分割成多个局部区域；以及

特征量计算部，其使用所述多个局部区域的各局部区域内的像素的信息，计算所述各局部区域的特征量，

所述关注候选区域检测部根据计算出的所述各局部区域的特征量，检测所述关注候选区域。

14.根据权利要求1所述的图像处理装置，其特征在于，

所述关注候选区域检测部包括：

局部区域设定部，其将所述第1图像分割成多个局部区域；以及

特征量计算部，其使用与所述多个局部区域的各局部区域内的像素对应的第2图像内的像素的信息，计算所述各局部区域的特征量，

所述关注候选区域检测部根据计算出的所述各局部区域的特征量，检测所述关注候选区域。

15.根据权利要求13所述的图像处理装置，其特征在于，

所述关注候选区域检测部包括分类部，该分类部按照每个局部区域对计算出的所述各局部区域的特征量与给定阈值进行比较，根据比较结果将多个局部区域分类为多个群组，

所述关注候选区域检测部检测包含被分类为所述多个群组中的至少一个群组的局部区域和与该局部区域相邻的局部区域群的区域，作为所述关注候选区域。

16.根据权利要求1所述的图像处理装置，其特征在于，

所述关注候选区域检测部包括特征量计算部，该特征量计算部使用所述第2图像中包含的像素的信息，计算各像素的特征量，

所述关注候选区域检测部根据计算出的所述各像素的特征量，检测应该关注的关注像素，将至少包含检测到的所述关注像素的区域检测为关注候选区域。

17.根据权利要求16所述的图像处理装置，其特征在于，

所述关注候选区域包含检测到的所述关注像素和从非关注像素中选择出的像素即选择非关注像素，

所述非关注像素是所述第2图像中包含的像素，是未检测为所述关注像素的像素。

18.根据权利要求17所述的图像处理装置，其特征在于，

所述关注候选区域检测部选择所述选择非关注像素，以使得由所述关注像素和所述选择非关注像素构成的所述关注候选区域形成规定图形。

19.根据权利要求4所述的图像处理装置，其特征在于，

所述加工部进行提高与判断为所述可靠度高的所述关注候选区域对应的所述第1图像内的所述对应关注区域的视觉辨认性的颜色转换处理。

20.根据权利要求4所述的图像处理装置，其特征在于，

所述加工部包括区域选出部，该区域选出部根据所述可靠度，从所述关注候选区域检测部检测到的所述关注候选区域中选出所述关注区域，并在所述第1图像内选出与所选出的所述关注区域对应的对应关注区域，

所述加工部对所述对应关注区域进行颜色转换处理。

21.根据权利要求20所述的图像处理装置，其特征在于，

所述加工部通过进行所述对应关注区域内包含的像素的颜色和目标颜色的加权相加处理，进行所述颜色转换处理。

22.根据权利要求20所述的图像处理装置，其特征在于，

所述加工部通过进行将位于所述对应关注区域周缘的像素的颜色转换为目标颜色的处理，进行所述颜色转换处理。

23.根据权利要求20所述的图像处理装置，其特征在于，

所述加工部包括关注信息设定部，该关注信息设定部对检测到的所述关注候选区域设定表示应该关注的程度的关注信息，

所述加工部根据所设定的所述关注信息所表示的关注程度，对在所述颜色转换处理时使用的颜色进行变更。

24.根据权利要求4所述的图像处理装置，其特征在于，

所述加工部进行提高与判断为所述可靠度高的所述关注候选区域对应的所述第1图像内的所述对应关注区域的视觉辨认性的亮度转换处理。

25.根据权利要求4所述的图像处理装置，其特征在于，

所述加工部包括区域选出部，该区域选出部根据所述可靠度，从所述关注候选区域检测部检测到的所述关注候选区域中选出所述关注区域，并在所述第1图像内选出与所选出的所述关注区域对应的对应关注区域，

所述加工部对所述对应关注区域以外的区域进行亮度转换处理。

26.根据权利要求25所述的图像处理装置，其特征在于，

所述加工部通过降低所述对应关注区域以外的区域中包含的像素的亮度，进行所述亮度转换处理。

27.根据权利要求5所述的图像处理装置，其特征在于，

作为提高与判断为所述可靠度高的所述关注候选区域对应的所述第1图像内的所述对应关注区域的视觉辨认性的处理，所述加工部进行将所述第2图像的所述关注候选区域的所述部分图像与所述第1图像相关联的处理。

28.根据权利要求5所述的图像处理装置，其特征在于，

所述加工部包括区域选出部，该区域选出部根据所述可靠度，从所述关注候选区域检测部检测到的所述关注候选区域中选出所述关注区域，并在所述第1图像内选出与所选出的所述关注区域对应的对应关注区域，

所述加工部进行在所述第1图像的附近显示所述第2图像的所述关注区域的所述部分图像的处理。

29.根据权利要求5所述的图像处理装置，其特征在于，

所述加工部包括区域选出部，该区域选出部根据所述可靠度，从所述关注候选区域检测部检测到的所述关注候选区域中选出所述关注区域，并在所述第1图像内选出与所选出的所述关注区域对应的对应关注区域，

所述加工部进行将所述第2图像的所述关注区域的所述部分图像置换为所述第1图像的所述对应关注区域的部分图像的处理。

30.根据权利要求1所述的图像处理装置，其特征在于，

所述图像处理装置包括对应部，该对应部根据识别所述第1图像的第1识别信息和识别所述第2图像的第2识别信息，将所述第1图像与所述第2图像相对应。

31.根据权利要求30所述的图像处理装置，其特征在于，

所述第1图像取得部通过使用了白色光源的摄像而取得所述第1图像，

所述第2图像取得部通过使用了具有所述特定波段的光源的摄像而取得所述第2图像，

所述第1识别信息是对所述第1图像进行摄像的定时的信息，

所述第2识别信息是对所述第2图像进行摄像的定时的信息，

所述对应部将对所述第1图像进行摄像的定时和对所述第2图像进行摄像的定时在时间上接近的所述第1图像与所述第2图像相对应。

32.根据权利要求1所述的图像处理装置，其特征在于，

所述特定波段是比所述白色光的波段窄的波段。

33.根据权利要求32所述的图像处理装置，其特征在于，

所述第1图像和所述第2图像是对活体内进行了拍摄的活体内图像，

所述活体内图像中包含的所述特定波段是被血液中的血红蛋白吸收的波长的波段。

34.根据权利要求33所述的图像处理装置，其特征在于，

所述波段为390纳米～445纳米或530纳米～550纳米。

35.根据权利要求1所述的图像处理装置，其特征在于，

所述第1图像和所述第2图像是对活体内进行了拍摄的活体内图像，

所述活体内图像中包含的所述特定波段是荧光物质发出的荧光的波段。

36.根据权利要求35所述的图像处理装置，其特征在于，

所述特定波段是490纳米～625纳米的波段。

37.根据权利要求1所述的图像处理装置，其特征在于，

所述第1图像和所述第2图像是对活体内进行了拍摄的活体内图像，

所述活体内图像中包含的所述特定波段是红外光的波段。

38.根据权利要求37所述的图像处理装置，其特征在于，

所述波段是790纳米～820纳米或905纳米～970纳米的波段。

39.根据权利要求1所述的图像处理装置，其特征在于，

所述第2图像取得部根据所取得的所述第1图像生成所述第2图像。

40.根据权利要求39所述的图像处理装置，其特征在于，

所述第2图像取得部包括信号提取部，该信号提取部从所取得的所述第1图像中提取白色光波段中的信号，

所述第2图像取得部根据提取出的所述信号，生成包含所述特定波段中的信号的所述第2图像。

41.根据权利要求40所述的图像处理装置，其特征在于，

所述第2图像取得部包括矩阵数据设定部，该矩阵数据设定部根据所述白色光波段中的信号，设定用于计算所述特定波段中的信号的矩阵数据，

所述第2图像取得部使用所设定的所述矩阵数据，根据所述白色光波段中的信号计算所述特定波段中的信号，生成所述第2图像。

42.一种电子设备，其特征在于，该电子设备包括权利要求1所述的图像处理装置。

43.一种内窥镜系统，其特征在于，该内窥镜系统包括：

第1光源，其对活体内的被摄体照射白色光；

第2光源，其对活体内的被摄体照射特定波段的光；

第1图像取得部，其通过所述第1光源的照射，取得包含具有白色光波段中的信息的被摄体像的图像，作为第1活体内图像；

第2图像取得部，其通过所述第2光源的照射，取得包含具有特定波段中的信息的被摄体像的图像，作为第2活体内图像，所述第2活体内图像比所述第1活体内图像针对病变部具有更高的视觉辨认性；

关注候选区域检测部，其根据所述第2活体内图像内的像素的特征量，检测所述第2活体内图像内的关注区域的候选即关注候选区域；

可靠度计算部，其计算表示所检测到的所述关注候选区域是所述关注区域的确定程度的可靠度；

显示方式设定部，其进行根据计算出的所述可靠度设定输出图像的显示方式的处理，其中，所述显示方式设定部进行提高与所述第2活体内图像内的所述关注区域对应的所述第1活体内图像内的对应关注区域的视觉辨认性的显示方式设定处理；以及

显示部，其按照所设定的所述显示方式显示所述输出图像。

44.一种图像处理装置，其特征在于，该图像处理装置包括：

第1图像取得部，其取得包含具有白色光波段中的信息的被摄体像的图像，作为第1图像；

第2图像取得部，其取得包含具有特定波段中的信息的被摄体像的图像，作为第2图像，所述第2图像比所述第1图像针对病变部具有更高的视觉辨认性；

关注区域检测部，其根据所述第2图像内的像素的特征量，检测应该关注的区域即关注区域；以及

显示方式设定部，其进行在与所述第2图像内的所述关注区域对应的所述第1图像内的对应关注区域中显示警告区域的处理，该警告区域发出与所述关注区域的检测结果有关的信息。

45.一种图像处理装置的控制方法，其特征在于，

取得包含具有白色光波段中的信息的被摄体像的图像，作为第1图像；

取得包含具有特定波段中的信息的被摄体像的图像，作为第2图像，所述第2图像比所述第1图像针对病变部具有更高的视觉辨认性；

根据所述第2图像内的像素的特征量，检测所述第2图像内的应该关注的区域的候选即关注候选区域；

计算表示所检测到的所述关注候选区域是关注区域的确定程度的可靠度；以及

进行根据计算出的所述可靠度设定输出图像的显示方式的处理，其中，进行提高与所述第2图像内的所述关注区域对应的所述第1图像内的对应关注区域的视觉辨认性的显示方式设定处理。

46.一种图像处理装置的控制方法，其特征在于，

取得包含具有白色光波段中的信息的被摄体像的图像，作为第1图像；

取得包含具有特定波段中的信息的被摄体像的图像，作为第2图像，所述第2图像比所述第1图像针对病变部具有更高的视觉辨认性；

根据所述第2图像内的像素的特征量，检测应该关注的区域即关注区域；以及

进行在与所述第2图像内的所述关注区域对应的所述第1图像内的对应关注区域中显示警告区域的处理，该警告区域发出与所述关注区域的检测结果有关的信息。