CN103501681B - 图像处理装置以及内窥镜系统 - Google Patents

Abstract

内窥镜系统(1)具有光源装置(4)、CCD(2)、视频处理器(7)以及观察监视器(5)，视频处理器(7)具备：频带分解处理部(111)，其对由CCD(2)拍摄得到的信号以多个空间频带进行分解处理而生成多个频带图像；强调处理部(112)，其根据强调量对所选择的频带图像进行强调处理，该强调量是针对以从多个频带图像中选择出的频带图像的波长频带或者空间频带为轴而形成的特征空间内的被检体内的观察对象分布的区域而设定的；以及颜色变换处理部(113)，其对包含进行了强调的所选择的两个以上的频带图像在内的多个频带图像，进行用于调整色调的颜色变换处理。

Description

图像处理装置以及内窥镜系统

技术领域

本发明涉及一种图像处理装置以及内窥镜系统，特别是涉及一种用于显示在被检体内拍摄得到的医用图像的图像处理装置以及内窥镜系统。

背景技术

以往，在医疗领域中，进行使用内窥镜的低侵入的各种检查、手术。手术师在体腔内插入内窥镜，观察由设置在内窥镜插入部的前端部的摄像装置拍摄得到的被摄体，能够根据需要使用插入到处置器具通道内的处置器具对病变部进行处置。使用内窥镜的手术不需要开腹等，因此具有患者的身体负担小这种优点。

内窥镜装置构成为包含内窥镜、与内窥镜相连接的图像处理装置以及观察监视器。通过设置于内窥镜插入部的前端部的摄像元件来拍摄病变部，在监视器中显示其图像。手术师一边观察监视器所显示的图像一边能够进行诊断或者需要的处置。

近来，还开发出了也使用窄频带光来显示被检体的生物体组织的表面下的毛细血管的内窥镜装置。这种内窥镜装置照射规定的窄频带的照明光，从其反射光得到各窄频带图像，或者照射白色光的照明光，对其反射光的图像进行光谱估计处理而得到规定的窄频带图像，来显示毛细血管。

另外，例如，如日本特开2000-148987号公报所示，还提出了以下图像处理装置：为了能够清楚地观察粘膜表面的细微结构或者微妙的色调变化等，从RGB图像中提取出期望的频率成分，变更提取出的频率成分的信号水平的大小。

并且，对于内窥镜装置例如还提出了以下红外内窥镜装置：将在波长接近805nm的近红外光处具有吸收峰的特性的吲哚花青绿(ICG)作为药剂注入到患者的血液中，从光源装置将波长接近805nm和接近930nm的红外光分时照射到被摄体，从而能够观察内部的血管。

但是，在上述以往的这些装置中，无法使生物体组织表面下的任意深度处的血管等图像化。

在生物体组织的表面下要图像化的血管中，存在处于粘膜的表层附近的病变附近的血管、处于粘膜的较深位置的较粗的血管、粘膜下肿瘤等各种深度的血管、病变部等对象，但是无法使生物体组织表面下的任意深度位置的这种对象等比其它深度的血管等更强调而图像化。

例如，使用内窥镜来切开剥离存在病变部的粘膜下层的内窥镜粘膜下层剥离术(以下称为ESD(EndoscopicSubmucosalDissection))等中，还要避免电手术刀等切开组织中的较粗的血管，组织表面下的任意位置处的生物体信息是重要的。

另外，在上述红外内窥镜装置的情况下，必须将吲哚花青绿(ICG)作为药剂注入到患者的血液中，生物体组织表面下的血管的描绘并不简单，并且由于照明光的波长为近红外光的波长，因此还存在图像中的血管变得不清楚这种问题。

如上所述，在以往的装置中，关于要图像化的血管等，不具有生物体组织表面下的深度方向的任意性，无法仅强调期望深度的血管等来图像化。

因此，本发明的目的在于提供一种能够对生物体组织表面下的期望深度的要图像化的血管等进行强调来图像化的图像处理装置以及内窥镜系统。

发明内容

本发明的一个方式的图像处理装置具备：图像输入部，其输入在被检体内拍摄得到的医用图像；频带分解处理部，其对上述医用图像以多个波长频带或者多个空间频带进行分解处理而生成多个频带图像；强调处理部，其根据强调量对从上述频带分解处理部生成的上述多个频带图像中选择的两个以上的频带图像进行强调处理，该强调量是针对特征空间内的上述被检体内的观察对象分布的区域而设定的，该特征空间是以所选择的上述两个以上的频带图像的波长频带或者空间频带为轴而形成的空间或者投影该空间得到的其它空间；以及颜色变换处理部，其对进行上述强调处理之前的上述多个频带图像或者包含由上述强调处理部进行了强调的所选择的上述两个以上的频带图像在内的上述多个频带图像进行用于调整色调的颜色变换处理。

本发明的一个方式的内窥镜系统具备：照明部，其对被检体照射具有多个波长频带的光；摄像部，其对由上述照明部照射到上述被检体的光的返回光进行拍摄；频带分解处理部，其对由上述摄像部拍摄得到的信号以多个空间频带进行分解处理而生成多个频带图像；强调处理部，其根据强调量对从上述频带分解处理部生成的上述多个频带图像中选择的两个以上的频带图像进行强调处理，该强调量是针对特征空间内的上述被检体内的观察对象分布的区域而设定的，该特征空间是以所选择的上述两个以上的频带图像的波长频带或者空间频带为轴而形成的空间或者投影该空间得到的其它空间；颜色变换处理部，其对进行上述强调处理之前的上述多个频带图像或者包含由上述强调处理部进行了强调的所选择的上述两个以上的频带图像在内的上述多个频带图像进行用于调整色调的颜色变换处理；显示信号输出部，其将从上述强调处理部或者上述颜色变换处理部输出的上述频带图像作为显示信号而输出；以及显示部，其根据来自上述显示信号输出部的上述显示信号来进行显示。

附图说明

图1是表示本发明的实施方式所涉及的内窥镜系统的结构的结构图。

图2是表示本发明的实施方式所涉及的旋转滤波器14的结构的图。

图3是用于说明本发明的实施方式所涉及的窄频带观察中的整体处理的流程的图。

图4是用于说明本发明的实施方式所涉及的从多个波长图像生成多个频带的图像、对所生成的该多个频带的图像进行强调处理等的处理的图。

图5是用于说明本发明的实施方式所涉及的包含进行强调处理的区域的特征空间的图。

图6是表示本发明的实施方式所涉及的使用极坐标设定的强调表的例子的图。

图7是本发明的实施方式所涉及的强调系数表的设定处理的流程图。

图8是用于说明本发明的实施方式所涉及的强调多个区域的情况的图。

图9是用于说明本发明的实施方式所涉及的使用多个颜色变换矩阵的例子的图。

图10是用于说明本发明的实施方式所涉及的强调期望深度的血管这一情况的图。

图11是用于说明本发明的实施方式所涉及的从多个波长图像生成多个频带的图像、针对所生成的该多个频带的图像对多个期望深度的对象进行强调处理等的处理的图。

图12是用于说明本发明的实施方式的变形例所涉及的将图5中的三轴投影为两轴而形成两个特征空间的情况的图。

图13是用于说明本发明的实施方式的变形例3所涉及的将图5中的三轴投影为两轴而形成两个特征空间的情况的图。

图14是表示本发明的实施方式的变形例4所涉及的、某一波长λ1、λ2的两轴的二维特征空间CSc内的区域R和伪像AF的图。

图15是表示本发明的实施方式的变形例4所涉及的、将图14的特征空间CSc投影到其它特征空间CSd时的区域R和伪像AF的图。

具体实施方式

下面，参照附图说明本发明的实施方式。

(结构)

图1是表示本实施方式所涉及的内窥镜系统的结构的结构图。

如图1所示，本实施方式的内窥镜系统1包括：电子内窥镜3，其作为插入到体腔内拍摄体腔内组织的生物体图像信息获取单元而具有作为摄像元件的CCD2；光源装置4，其将照明光提供给电子内窥镜3；以及视频处理器7，其对来自电子内窥镜3的CCD2的摄像信号进行信号处理，将内窥镜图像显示在观察监视器5中。内窥镜系统1具有通常光观察模式和窄频带光观察模式这两个模式。此外，在以下说明中，内窥镜系统1的通常光观察模式与以往的通常光观察模式相同，因此简单地说明通常光观察模式的结构，主要说明窄频带光观察模式。

CCD2构成对由照明单元照射到被检体的光的返回光进行拍摄的摄像部或者摄像单元。

光源装置4构成为具备：氙气灯11，其作为照明部发出照明光(白色光)；热线截止滤波器12，其切断白色光的热线；光圈装置13，其对经由热线截止滤波器12的白色光的光量进行控制；作为频带限制单元的旋转滤波器14，其使照明光成为面顺序光；聚光透镜16，其使经由旋转滤波器14的面顺序光会聚在配置于电子内窥镜3内的光导件15的入射面；以及控制电路17，其对旋转滤波器14的旋转进行控制。氙气灯11、旋转滤波器14以及光导件15构成对被检体照射照明光的照射部或者照射单元。

此外，如图1中虚线所示，光源装置4也可以构成为包含具有发光二极管群11a的发光部11A，其中，该发光二极管群11a由出射期望的波长、例如出射与第一滤波器群对应的RGB的各波长、与第二滤波器群对应的接近540nm、接近600nm、接近630nm的各波长的多个发光二极管(LED)构成。

例如，在图1中，代替氙气灯11、热线截止滤波器12、光圈装置13以及旋转滤波器14等，在光源装置4中设置以虚线表示的发光部11A。并且，在光源装置4中设置有驱动电路11b，该驱动电路11b根据各模式以规定的定时驱动发光部11A的各发光二极管。具有多个LED11a的发光部11A从电源10接收电源，在来自控制电路17的控制信号的控制下，通过驱动电路11b被控制并驱动。

并且，发光部11A也可以使用出射规定的多个窄频带光的激光二极管(LD)。因此，光源装置4构成对被检体照射具有多个波长频带的光的照明部。

图2是表示旋转滤波器14的结构的图。如图2所示，作为波长频带限制部或者波长频带限制单元的旋转滤波器14构成为圆盘状，形成以中心为旋转轴的结构，具有两个滤波器群。在旋转滤波器14的外周侧，作为第一滤波器群，沿着周向配置构成用于输出通常观察用的光谱特性的面顺序光的滤波器组的R(红)滤波器部14r、G(绿)滤波器部14g、B(蓝)滤波器部14b。

在旋转滤波器14的内周侧，作为第二滤波器群，沿着周向配置使三个规定的窄频带波长的光透过的两个滤波器14-540、14-600、14-630。

滤波器14-540构成为作为窄频带光使波长接近540nm的光透过。滤波器14-600构成为作为窄频带光使波长接近600nm的光透过。滤波器14-630构成为作为窄频带光使波长接近630nm的光透过。

此外，滤波器14-540也可以作为窄频带光使波长接近460nm的光或者波长接近415nm的光透过。

另外，滤波器也可以不是三个，可以是两个，也可以是四个以上。在两个的情况下，例如能够实现波长540nm与600nm的组合、波长540nm与630nm的组合或者波长460nm与600nm的组合。在四个的情况下，例如能够实现波长460nm、540nm、600nm以及630nm的组合。

在本实施方式中，作为窄频带光，使用可见区域的红色频带且血红蛋白吸光特性急剧衰减的波长接近600nm和波长接近630nm的光。在此，“接近”在波长接近600nm的情况下意味着中心波长为600nm且宽度以波长600nm为中心而例如具有20nm(即波长600nm的前后的波长590nm至610nm)的范围的分布的窄频带光。对于其它波长的波长630nm和后述的波长540nm也相同。

旋转滤波器14配置在从作为照明光的出射部的氙气灯11到CCD2的摄像面的光路上，进行限制以使照明光的多个波长频带中的至少两个波长频带变窄。

而且，控制电路17对用于使旋转滤波器14旋转的电动机18进行控制来对旋转滤波器14的旋转进行控制。

在电动机18上连接支架19a，在小齿轮19b上连接未图示的电动机，将支架19a安装成与小齿轮19b螺纹结合。控制电路17通过对与小齿轮19b相连接的电动机的旋转进行控制，能够使旋转滤波器14在箭头d示出的方向上移动。因此，控制电路17根据后述的用户的模式切换操作来选择第一滤波器群或者第二滤波器群。

此外，从电源部10对与氙气灯11、光圈装置13、旋转滤波器电动机18以及小齿轮19b相连接的电动机(未图示)提供电力。

作为图像处理装置的视频处理器7构成为具备作为CCD驱动器的CCD驱动电路20、放大器22、处理电路23、A/D变换器24、白平衡电路(以下称为W.B)25、选择器100、图像处理部101、选择器102、γ校正电路26、放大电路27、强调电路28、选择器29、同时化存储器30、31、32、图像处理电路33、D/A变换器34、35、36、定时发生器(以下称为T.G)37、控制电路200以及作为显示图像生成单元的合成电路201。

CCD驱动电路20驱动设置于电子内窥镜3的CCD2，输出与旋转滤波器14的旋转同步的面顺序的摄像信号。另外，放大器22对经由设置于电子内窥镜3的前端的对物光学系统21通过CCD2拍摄体腔内组织而得到的面顺序的摄像信号进行放大。

处理电路23对经由放大器22的面顺序的摄像信号进行相关双采样和噪声去除等。A/D变换器24将经由处理电路23的面顺序的摄像信号变换为数字信号的面顺序的图像信号。

W.B25对通过A/D变换器24数字化的面顺序的图像信号例如以图像信号的G信号为基准进行增益调整以使图像信号的R信号与图像信号的B信号的明亮度相等而执行白平衡处理。

选择器100将来自W.B25的面顺序的图像信号分配至图像处理部101内的各部而输出。

输入来自电子内窥镜3的摄像信号而进行处理的放大器22、处理电路23、A/D变换器24、W.B25以及选择器100构成输入在被检体内拍摄得到的医用图像的图像输入部。

图像处理部101是将来自上述选择器100的通常光观察用的RGB的图像信号或者窄频带光观察用的两个图像信号变换为显示用的图像信号的图像信号处理部或者图像信号处理单元。图像处理部101根据基于模式信号的来自控制电路200的选择信号SS，将通常光观察模式时和窄频带光观察模式时的图像信号输出到选择器102。

选择器102将来自图像处理部101的通常光观察用图像信号和窄频带光观察用图像信号的面顺序的图像信号依次输出到γ校正电路26和合成电路201。

γ校正电路26对来自选择器102或者合成电路201的面顺序的图像信号实施γ校正处理。放大电路27对在γ校正电路26中进行了γ校正处理的面顺序的图像信号进行放大处理。强调电路28对在放大电路27中进行了放大处理的面顺序的图像信号实施轮廓强调处理。选择器29和同时化存储器30、31、32用于使来自强调电路28的面顺序的图像信号同时化。

图像处理电路33读出同时化存储器30、31、32所存储的面顺序的各图像信号，进行运动图像颜色偏差校正处理等。D/A变换器34、35、36将来自图像处理电路33的图像信号变换为RGB的模拟影像信号而输出到观察监视器5。从光源装置4的控制电路17对T.G37输入与旋转滤波器14的旋转同步的同步信号，将各种定时信号输出到上述视频处理器7内的各电路。从选择器102至D/A变换器34、35、36为止的电路构成将从图像处理部101输出的后述的频带图像作为显示信号输出的显示信号输出部。而且，观察监视器5构成根据来自该显示信号输出部的显示信号进行显示的显示部。

另外，在电子内窥镜3中设置有用于切换通常光观察模式和窄频带光观察模式的模式切换开关41，该模式切换开关41的输出被输出到视频处理器7内的模式切换电路42。视频处理器7的模式切换电路42将控制信号输出到调光控制参数切换电路44和控制电路200。调光电路43根据来自调光控制参数切换电路44的调光控制参数和经由处理电路23的摄像信号，对光源装置4的光圈装置13进行控制而进行适当的明亮度控制。

视频处理器7内的各电路执行与所指定的模式相应的规定的处理。执行与通常光观察模式和窄频带光观察模式各自相应的处理，在观察监视器5中显示通常光观察用图像或者窄频带光观察图像。

(整体的处理流程)

接着，简单说明本实施方式中的窄频带观察的整体流程。

图3是用于说明本实施方式中的窄频带观察的整体的处理流程的图。

手术师将内窥镜的插入部插入到体腔内，在通常观察模式下，使内窥镜插入部的前端部位于病变部附近。当确认处置对象的病变部时，手术师为了观察在粘膜下深度d的位置分布的较粗的、例如直径为1mm～2mm的血管61，操作模式切换开关41，将内窥镜系统1切换为窄频带观察模式。在此，血管61为观察对象，是在生物体粘膜的深度方向上存在的对象物。

在窄频带观察模式下，内窥镜系统1的控制电路17控制与小齿轮19b相连接的电动机使旋转滤波器14的位置移动以从光源装置4出射透过了第二滤波器群的光。并且，控制电路200也对视频处理器7内的各种电路进行控制以进行用于窄频带波长观察的图像处理。

如图3所示，在窄频带模式下，来自照明光产生部51的窄频带波长的照明光从内窥镜3的插入部的前端部出射，透过粘膜层，照射到在粘膜下层和固有肌层上分布的血管61。在此，照明光产生部51构成为包含光源装置4、旋转滤波器14以及光导件15等，从内窥镜插入部的前端出射照明光。通过旋转滤波器14的旋转，波长接近540nm的窄频带光、波长接近600nm的窄频带光以及波长接近630nm的窄频带光交替地从光源装置4出射，照射到被摄体。

波长接近540nm的窄频带光、波长接近600nm的窄频带光以及波长接近630nm的窄频带光的反射光分别被作为CCD2的反射光接收部52接收。CCD2输出各个反射光的摄像信号，经由放大器22等提供给选择器100。选择器100根据来自T.G37的规定的定时，保持各波长的图像(以下称为波长图像)，提供给图像处理部101。在此，三个波长图像(波长接近540nm的图像(以下称为λ1图像)、波长接近600nm的图像(以下称为λ2图像)以及波长接近630nm的图像(以下称为λ3图像))提供给图像处理部101。

由图像处理部101处理了的图像信号被输出到选择器102，之后进行γ校正等处理，在观察监视器5中显示被摄体图像。

(图像处理部的结构)

图像处理部101具有图3示出的频带分解处理部111、强调处理部112以及颜色变换处理部113。在此，对图像处理部101输入三个波长图像，实施频带分解处理、强调处理以及颜色变换处理而输出各波长图像。

(1)频带分解处理(空间频率分割处理)

频带分解处理部111通过空间频率分割处理对各波长图像进行空间频率分割处理。图4是用于说明从多个波长图像生成多个频带的图像、对所生成的该多个频带的图像进行强调处理等的处理的图。

如图4所示，频带分解处理部111将λ1图像通过空间频率解析、例如空间频率分割处理分割为N个(N为1以上的自然数)空间频带的图像(以下称为频带图像)。同样地，频带分解处理部111将λ2图像和λ3图像也分别分割为N个频带图像。即，频带分解处理部111对m个(m为两个以上的自然数)的波长图像分别生成一个或者两个以上的N个频带图像。在此，m为3，从λ1图像、λ2图像以及λ3图像这三个窄频带图像生成3×N个频带图像。

此外，在N为1的情况下，生成三个频带图像。此时，也可以将波长图像直接作为频带图像来实施接下来的强调处理。

因而，频带分解处理部111以多个波长频带对医用图像进行分解处理或者针对医用图像的每个波长频带以多个空间频带进行分解处理，频带分解处理部111构成生成多个频带图像的频带分解处理单元或者空间频率分割处理单元。

在此，N个空间频带为空间频率fr1、fr2、···、frN的频带。以下，以将λ1图像的空间频率fr1的频带图像设为λ1(1)图像、将λ1图像的空间频率fr2的频带图像设为λ1(2)图像的方式，将λm图像的空间频率frk(k为1～N中的任一个)的频带图像设为λm(k)图像。

例如，通过对各波长图像进行使用了与各空间频率frk对应的掩模的空间频率滤波处理来生成各频带图像。

(2)强调处理

强调处理部112对从频带分解处理部111中生成的多个频带图像中选择的一个或者两个以上的频带图像执行强调处理。图4示出选择由一点划线的框包围的频带图像λ1(2)、λ2(2)和λ3(2)来进行强调处理的情况。

强调处理是强调所选择的各频带图像的处理，是通过将各频带图像的各像素的像素值乘以规定的强调系数等的处理来进行的。在此，使用保持针对各像素值的强调系数的表TBL(参照图1)，根据该表数据来强调各频带图像。

图5是用于说明包含进行强调处理的区域的特征空间的图。

此外，在此，说明由三个窄频带光的波长轴形成的特征空间CS的例子，但是特征空间也可以是从多个窄频带光中选择的两个波长轴的特征空间或者如后述的图11所示那样是四个以上的波长轴的特征空间。并且，特征空间也可以是对窄频带光的波长轴添加了空间频率轴的多轴的特征空间或者仅由多个空间频率轴构成的特征空间。

在图5中，用虚线表示的区域R示出由各波长λ1、λ2、λ3的三个轴构成的特征空间CS中的、期望深度的血管图像的像素分布。期望深度的血管是要观察的对象，是存在于生物体粘膜的深度方向上的对象物。即，存在于图5示出的特征空间CS的区域R内的像素值的图像与某一期望深度d的血管的图像对应。而且，用于强调显示该血管的、针对存在于区域R内的像素的强调系数根据特征空间CS内的位置不同而不同。

在图5中，点i示出区域R内的与某一像素值数据对应的点，点i的从原点起的矢量示出为点矢量IV。例如，对于各强调系数α，以根据点矢量IV相对于与特征空间CS内的区域R对应的基准矢量RV所形成的角度θ不同而不同的方式预先设定。为了强调区域R的像素，以与基准矢量RV所形成的角度θ越大则强调系数越小的方式设定各强调系数α。即，对特征空间CS内的规定的分布数据设定基准矢量RV，通过对特征空间CS内的观察对象计算角度位移量来设定强调量。

通过控制电路200来设定强调系数。在此，根据向未图示的处理器7的操作面板或者键盘等的输入，将作为强调量的强调系数数据作为表数据存储到图像处理部101的表TBL，由此设定强调系数。强调系数数据由用户决定。

因此，控制电路200和操作面板构成强调量设定部，该强调量设定部用于对特征空间内的期望深度的观察对象所分布的区域设定强调量。而且，根据由该强调量设定部设定的强调量，对所选择的两个以上的频带图像进行强调处理。

此外，也可以对由各波长λ1、λ2、λ3这三个轴构成的特征空间CS内的点的坐标进行极坐标变换，用极坐标来规定强调系数α。在该情况下，在图5中，根据顶点角θ和方位角来规定极坐标。

图6是表示使用极坐标设定的强调表的例子的图。强调系数表TBL是基于相对于基准矢量RV的像素值的位置的极坐标的表。表TBL保持作为极坐标的由顶点角θ和方位角决定的强调量的数据。在图6中，α(x、y)表示与方位角和顶点角θy对应的强调系数。

在图4的情况下，选择频带图像λ1(2)、λ2(2)、λ3(2)而实施强调处理。

频带图像λ1(2)、λ2(2)、λ3(2)的各图像帧内的各像素映射到图5的特征空间CS内的某一位置。例如，在设映射到特征空间CS内的某一像素所对应的点i的矢量IV与基准矢量RV所形成的角度为θ的情况下，针对各频带图像的像素，要强调的角度范围为0≤θ≤±(π/2)，特别是设为包含区域R内的像素的范围，在该范围以外和θ≥±(π/2)的区域内不进行强调，以这种方式设定强调系数α。即，在图5中，当将与基准矢量RV正交的平面设为RP时，针对相对于特征空间内的平面RP处于基准矢量RV侧的像素进行强调处理，针对相对于特征空间内的平面RP并非处于基准矢量RV侧的像素不进行强调处理。

例如根据以下式决定使用于强调处理的针对像素的强调系数α。αi表示与特征空间内的点i有关的强调系数。

αi＝((π/2)-θ)r···式(1)

在此，r为任意的实数。

关于针对特征空间CS内的区域R内的各点的强调系数α，也可以在进行强调处理时针对每个点从式(1)通过运算求得，乘以与点i对应的像素的像素值等，但是，在此，如上所述为了高速地进行强调处理而针对特征空间CS内的每个点从上述式(1)预先算出强调系数α，作为强调系数表TBL存储到图像处理部101内的存储器内，在图像处理部101的强调处理部112进行强调处理时使用该强调系数表TBL的数据来对像素值进行乘法运算等。

在此，说明强调系数表TBL的设定。

图7是强调系数表的设定处理的流程图。用户根据组织表面的深度来设定、即选择特征空间CS的两个以上的轴和区域(S1)。在图5的例子中，设定λ1图像的波长540nm的波长λ1、λ2图像的波长600nm的波长λ2以及λ3图像的波长630nm的波长λ3的轴和由三个轴形成的特征空间CS内的区域R。特征空间CS的轴的设定根据生物体组织表面下的期望深度d的观察对象不同而不同。

因此，S1的处理构成关于由频带分解处理部111分解为多个的波长频带或者多个空间频带，根据被检体内的观察对象从多个频带选择任意的频带而形成特征空间的特征空间形成单元。

用户决定与所设定的区域有关的强调系数(S2)。在图5的例子中，根据上述式(1)来计算并决定区域R内的各点的强调量。

用户将在S2中计算出并决定的各强调系数存储设定到强调系数表TBL(S3)。

在以上处理中，当由用户指定特征空间和进行强调处理的区域时，用户通过使用个人计算机等执行S1～S3的处理，能够决定强调系数并设定到强调系数表TBL。

如上所述，各像素的强调量设定到强调系数表TBL。

在图4的情况下，使用所设定的强调系数表TBL，对为了强调期望深度的血管等而选择的频带图像λ1(2)、λ2(2)以及λ3(2)中的、上述特征空间CS内的区域R的像素实施强调处理。

三个波长图像(λ1图像、λ2图像、λ3图像)还包含伪像AF、背景粘膜BM的图像，但是，如上所述，仅强调期望区域的图像，因此不强调伪像AF、背景粘膜BM的图像。图5示出伪像AF的区域。例如，伪像AF是在切开并剥离组织时产生的组织损伤部(黑色区域等)的区域。

即，通过制作与区域R对应的强调系数表TBL以除去这种伪像AF、背景粘膜BM等的区域而仅强调区域R，由此强调频带图像λ1(2)、λ2(2)以及λ3(2)。

此外，在图5的例子中，制作出强调系数表TBL以仅强调区域R，但是也可以制作多个强调系数表以强调上述特征空间CS内的多个区域。

图8是用于说明强调多个区域的情况下的图。在图8中，设定两个区域R1、R2，对该两个区域R1、R2设定强调系数。在图8中，对两个区域R1、R2分别设定基准矢量RV1、RV2。在各个区域中决定强调系数，预先设定到强调系数表TBL1、TBL2。

如图8所示，仅强调区域R1和R2，越是与两个基准矢量RV1、RV2的角度大的像素值则强调系数越小，因此伪像的图像的区域AF、背景粘膜的图像的区域BM的强调减弱。

另外，也可以设定多个伪像来设定区域R的强调系数。如图8所示，示出能够设定两个伪像AF、AF1而以不强调这种伪像的方式设定强调系数。在图8中，伪像AF1例如为靛胭脂等色素的区域。

对于图5和图8示出的特征空间CS和区域R、R1、R2，分别与粘膜下的期望深度处的血管等相应地根据不同的观察对象来决定。因此，用户与要强调的粘膜下的期望深度处的血管等相应地预先制作与特征空间和区域对应的强调系数表以能够强调粘膜下的任意深度的血管等。这样，当指定粘膜下的要强调的深度的血管等时，用户选择对应的强调表，能够进行对期望深度的血管等进行强调的强调处理。

而且，以不强调特征空间CS内生物体内的血管、背景粘膜以及其它对象的方式设定强调量。

如上所述，强调处理部112构成强调处理单元，该强调处理单元根据强调量对所选择的两个以上的频带图像进行强调处理，该强调量是针对以从频带分解处理部111生成的多个频带图像中选择的两个以上的频带图像的波长频带或者空间频带为轴而形成的特征空间内的、被检体内的观察对象所分布的区域设定的。

(3)颜色变换处理

在对所选择的频带图像进行强调处理之后，颜色变换处理部113进行处理，对3×N个频带图像(还包含成为强调处理的对象的频带图像)实施颜色变换处理。在此，颜色变换处理部113中的颜色变换处理是调整色调的处理，调整各频带图像的色调以使色调成为与在通常观察模式中在白色光下显示的白色光观察图像的整体色调类似的色调。

另外，也可以对任意的对象进行提高与背景粘膜的对比度的颜色调整。

除此以外，例如使用颜色变换矩阵来进行颜色变换处理部113中的颜色变换处理。此外，也可以使用颜色变换表来进行颜色变换处理部113中的颜色变换处理。

另外，颜色变换处理部113也可以使用多个颜色变换矩阵来进行颜色变换。图9是用于说明使用多个颜色变换矩阵的例子的图。

图9是表示将各波长图像分割为六个频带而使用多个颜色变换矩阵的例子的图。例如，使用用于低空间频率的颜色变换矩阵1对空间频率fr1的频带图像群(频带图像λ1(1)、λ2(1)以及λ3(1))的色调进行变换，使用用于中间空间频率的颜色变换矩阵2对空间频率fr2和fr3的频带图像群(频带图像λ1(2)、λ2(2)、··λ3(3))的色调进行变换，使用用于高空间频率的颜色变换矩阵3对其它频带图像群(频带图像λ1(4)、λ2(4)、··λ3(6))的色调进行变换等，也可以使用多个颜色变换矩阵。

此外，颜色变换矩阵例如为3×3的正方矩阵，例如在日本专利第3607857号公报等进行了公开。

因而，各频带图像在进行了强调处理之后进行颜色变换处理，或者不进行强调处理而进行颜色变换处理。其结果，生成进行了颜色变换处理(和强调处理和颜色变换处理)的3×N个频带图像(以下称为处理后频带图像)。

在图4中，以将进行了颜色变换处理等的λ1(1)图像设为λ1(1)’图像、将进行了颜色变换的λ1图像设为λ1(2)’图像，以这种方式，将进行了颜色变换处理的λm(k)图像示出为λm(k)’图像。

而且，针对每个波长图像，对处理后频带图像进行积分而生成三个波长图像(以下称为积分波长图像)。生成作为波长接近540nm的图像的λ1图像的积分波长图像(以下称为λ1’图像)、作为波长接近600nm的图像的λ2图像的积分波长图像(以下称为λ2’图像)以及作为波长接近630nm的图像的λ3图像的积分波长图像(以下称为λ3’图像)。

即，图像处理部101从3×N个处理后频带图像生成按每个波长相加、即积分的λ1’图像、λ2’图像以及λ3’图像。

三个图像(λ1’图像、λ2’图像以及λ3’图像)经由选择器102等被提供给观察监视器5的RGB的各通道。其结果，在观察监视器5的画面上显示强调了期望深度的血管等的显示图像。

图10是用于说明强调了期望深度的血管的情况的图。如图10所示，以往，如图像DS1所示那样，生物体组织表面下的深部血管不清楚，但是根据上述内窥镜系统，如图像DS2所示，强调该血管而清楚地进行显示。

此外，在上述例子中，在对所选择的频带图像进行强调处理之后进行颜色变换处理，但是，也可以在对全部频带图像进行颜色变换处理之后，对所选择的频带图像进行强调处理而生成处理后频带图像。因此，颜色变换处理部113构成颜色变换处理单元，该颜色变换处理单元对进行强调处理之前的多个频带图像或者包含由强调处理单元进行了强调的所选择的两个以上的频带图像在内的多个频带图像进行用于调整色调的颜色变换处理。

能够提供一种通过进行以上那样的图像处理能够强调生物体组织的表面下的期望深度的要图像化的血管等而图像化的图像处理装置和内窥镜系统。

以上，说明了从三个波长图像生成N个频带图像而强调显示一个对象的例子，但是还能够通过如下那样设定特征空间和区域来选择并强调显示各种期望深度的对象。

图11是用于说明从多个波长图像生成多个频带的图像、针对所生成的该多个频带的图像对多个期望深度的对象进行强调处理等处理的图。

如图11所示，频带分解处理部111通过空间频率解析、例如通过空间频率分割将λ1图像分割为N个(N为1以上的自然数)空间频带的图像(以下称为频带图像)。同样地，频带分解处理部111将从λ2图像至λM图像(M为2以上的自然数)分别分割为N个频带图像。即，频带分解处理部111针对M个波长的图像分别生成N个频带图像。

这样，设为从M×N个频带图像中存在要强调显示的深度的三个对象。例如，设为要强调显示粘膜的表面下的深部血管、粘膜表层的凹陷图案以及粘膜表层的毛细血管。

通过对用一点划线表示的频带图像λ2(2)～λM(2)的图像群TG1进行乘以规定的强调系数的处理，能够强调显示深部血管，通过对用一点划线表示的频带图像λ3(N)～λM(N)的图像群TG2进行乘以规定的强调系数的处理，能够强调显示粘膜表层的凹陷图案，通过对用一点划线表示的频带图像λ1(N)和λ2(N)的图像群TG3进行乘以规定的强调系数的处理，能够强调显示粘膜表层的毛细血管。

用户对每个对象的多个频带图像设定特征空间以及各特征空间内的区域，并且，如上所述，制作各区域内的强调系数表。例如，用户将用于强调显示深部血管的特征空间设为与用图像群TG1表示的频带图像λ2(2)～λM(2)对应的(M-1)轴的多维空间，设定该多维空间内的深部血管的区域。而且，制作与该区域有关的强调系数表TBL1。

同样地，用户将用于强调显示粘膜表层的凹陷图案的特征空间设为与用图像群TG2表示的频带图像λ3(N)～λM(N)对应的(M-2)轴的多维空间，设定该多维空间内的粘膜表层的凹陷图案的区域。而且，制作与该区域有关的强调系数表TBL2。

同样地，用户将用于强调显示粘膜表层的毛细血管的特征空间设为与用图像群TG3表示的频带图像λ1(N)和λ2(N)对应的两轴的二维空间，设定该二维空间内的粘膜表层的毛细血管的区域。而且，制作与该区域有关的强调系数表TBL3。

如上所述，用户预先设定与期望的对象有关的特征空间和频带图像，预先制作对应的强调系数表。而且，三个强调系数表被存储到图像处理部101的存储器。此外，也可以将表TBL1～TBL3汇总为一个表。

当用户选择要强调显示的对象并指示强调显示时，从控制电路200将包含与要强调显示的对象对应的强调系数表的选择信号的选择信号SS提供给图像处理部101，在图像处理部101中执行上述那样的处理，要强调的该对象在观察监视器5的画面上被强调显示。

例如，当指示深部血管的强调显示时，在频带分解处理部111中，λ1～λM图像分别被分割为N个频带图像。强调处理部112参照强调系数表TBL1，对根据指示而深部血管的强调显示被选择的、由图像群TG1表示的频带图像λ2(2)～λM(2)执行强调处理。颜色变换处理部113将强调处理过的频带图像λ2(2)～λM(2)包括在内对N×M个频带图像执行用于调整色调的颜色变换处理，输出针对每个波长积分得到的λ1’图像、λ2’图像、···、λm’图像。

另外，当指示粘膜表层的凹陷图案的强调显示时，在频带分解处理部111中，λ1～λM图像分别被分割为N个频带图像。强调处理部112参照强调系数表TBL2，对根据指示而粘膜表层的凹陷图案的强调显示被选择的、由图像群TG2表示的频带图像λ3(N)～λM(N)执行强调处理。颜色变换处理部113将强调处理过的频带图像λ3(N)～λM(N)包括在内对N×M个频带图像执行用于调整色调的颜色变换处理，输出针对每个波长积分得到的λ1’图像、λ2’图像、···、λm’图像。

并且，当指示粘膜表层的毛细血管的强调显示时，在频带分解处理部111中，λ1～λM图像分别被分割为N个频带图像。强调处理部112参照强调系数表TBL3，对根据指示而粘膜表层的毛细血管的强调显示被选择的、由图像群TG3表示的频带图像λ1(N)和λ2(N)执行强调处理。颜色变换处理部113将强调处理过的频带图像λ1(N)和λ2(N)包括在内对N×M个频带图像执行用于调整色调的颜色变换处理，输出针对每个波长积分得到的λ1’图像、λ2’图像、···、λm’图像。此外，在要强调深部血管、凹陷图案、表层血管全部的情况下，能够利用全部的表TBL1～TBL3。

如上所述，将多个波长图像分别分解为多个频带图像，根据期望的对象来设定特征空间并且设定对象的区域，设定与各区域有关的强调系数。而且，通过指定或者选择期望的对象，能够仅强调该对象而显示在观察监视器5上。

而且，关于生物体组织的表面下要图像化的对象，针对处于粘膜表层附近的病变附近的血管、处于粘膜的深位置的较粗的血管、粘膜下肿瘤等各种深度的血管、病变部等生物体组织表面下的各种深度位置处的这种对象等，与其它深度的血管等相比能够更进一步强调而图像化，并且，还能够通过组合了放大内窥镜的观察来实现腺开口部的对比度的提高。结果是，也能够缩短手术师的手术时间。

接着，说明本实施方式的变形例。

(变形例1)

在上述实施方式中，为了得到多个窄频带光的反射光，使用出射多个窄频带光的光源装置，但是也可以对被摄体照射白色光，通过光谱估计处理来从其反射光得到多个波长图像。例如，在图4的例子中，λ1图像、λ2图像以及λ3图像也可以通过光谱估计处理来生成。

(变形例2)

在上述实施方式中，光源装置依次出射多个窄频带光，但是，光源装置也可以使来自白色光的光源灯的光经由规定的干涉滤波器而出射规定的多个窄频带光，将多个窄频带光同时照射到被检体，经由设置于摄像元件的受光面的滤色器对来自被摄体的反射光进行同时拍摄，在摄像元件的输出过程中得到多个波长图像。

(变形例3)

在上述实施方式中，如图5所示设定三轴的特征空间内的区域R和基准矢量RV，在该特征空间内设定强调系数，但是也可以将三维特征空间例如投影到二维特征空间，在该二维特征空间内设定区域和基准矢量。

图12和图13是用于说明将图5中的三轴投影到两轴而形成了两个特征空间的情况下的图。图12是表示在以波长λ1和λ2为轴的特征空间设定区域R和基准矢量RV的情况下的图。图13是表示在以波长λ2和λ3为轴的特征空间设定区域R和基准矢量RV的情况下的图。

将三维特征空间投影到两个特征空间而分割为两个特征空间，在分割得到的两个特征空间中的每个特征空间内设定基准矢量。而且，对所设定的基准矢量设定强调系数，在设为特征空间CSa内的任意点i的矢量Iva与基准矢量RVa所形成的角度为θa且特征空间CSb内的相同点i的矢量IVb与基准矢量RVb所形成的角度为θb时，也可以通过以下式(2)设定强调系数αi。

αi＝(((π/2)-θa)((π/2)-θb))r···式(2)

(变形例4)

在上述实施方式中，在多个波长或者频带的轴的空间内设定区域R，设定相对于基准矢量RV的强调量，但是也可以将该空间投影到其它空间，在所投影的空间内设定强调系数。

图14是表示某一波长λ1、λ2的两轴的二维特征空间CSc内的区域R和伪像AF的图。图15是表示将图14的特征空间CSc投影到其它特征空间CSd内时的区域R和伪像AF的图。

在图14中，区域R与伪像AF重叠而难以设定强调系数，但是在图15中，在投影到由与基准矢量RV正交的轴CA1和与基准矢量RV平行的轴CA2形成的空间而得到的特征空间CSd中，观察对象的区域R的分布和伪像AF的分布分布在相互不同的区域，容易设定强调系数。

因此，也可以在投影到与波长轴的空间或者频带频率轴的空间不同的特征空间而得到特征空间中设定强调量。

如上所述，根据上述实施方式和各变形例，能够提供一种能够强调生物体组织的表面下的期望深度的要图像化的血管等而进行图像化的图像处理装置和内窥镜系统。结果是，还能够缩短治疗时间。

并且，在白色光观察中，还能够提高可视困难的粘膜下肿瘤的出现率。

本发明并不限定于上述实施方式，在不改变本发明的宗旨的范围内能够进行各种变更、改变等。

本申请是以2011年9月20日在日本申请的特愿2011-204953号为优先权要求的基础而申请的，上述公开内容被引用于本申请的说明书、权利要求书中。

Claims (14)

1.一种图像处理装置，其特征在于，具备：

图像输入部，其输入在被检体内拍摄得到的医用图像；

频带分解处理部，其对于上述医用图像对多个波长频带图像中的每个波长频带图像进行分解处理以分解为多个空间频带图像而生成多个频带图像；

强调量设定部，其针对特征空间内的上述被检体内的观察对象分布的区域设定强调量，该特征空间是以从上述频带分解处理部生成的上述多个频带图像中与上述被检体内的观察对象相应地选择的两个以上的频带图像的波长频带或者空间频带为轴而形成的空间或者投影该空间得到的其它空间；

强调处理部，其根据由上述强调量设定部设定的强调量对所选择的上述两个以上的频带图像进行强调处理；以及

颜色变换处理部，其对包含由上述强调处理部进行了强调的所选择的上述两个以上的频带图像在内的上述多个频带图像进行用于调整色调的颜色变换处理；以及

图像生成部，其对由上述颜色变换处理部进行了颜色变换处理的多个频带图像，按波长图像进行积分来生成图像。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述观察对象是粘膜表面下的深部血管、粘膜表层的凹陷图案或者粘膜表层的毛细血管。

3.根据权利要求1所述的图像处理装置，其特征在于，

上述强调量设定部通过将上述强调量作为表数据存储到表来设定上述强调量。

4.根据权利要求3所述的图像处理装置，其特征在于，

上述表数据是针对各频带图像的各像素的像素值的强调系数。

5.根据权利要求3所述的图像处理装置，其特征在于，

上述强调量设定部设定多个上述观察对象分布的区域，

上述表是针对所设定的每个区域来设置的。

6.根据权利要求3所述的图像处理装置，其特征在于，

针对每个上述区域设置的上述表是能够选择的。

7.根据权利要求1所述的图像处理装置，其特征在于，

上述医用图像是通过光谱估计处理生成的图像。

8.根据权利要求2所述的图像处理装置，其特征在于，

上述强调量设定部根据角度位移量来设定强调量，该角度位移量是针对上述特征空间内的上述被检体内的存在于生物体粘膜的深度方向的血管分布的区域设定一个或者两个以上的基准矢量以及设定从上述特征空间内的原点到上述血管分布的区域内的规定像素值数据的点矢量，根据上述基准矢量与上述点矢量所形成的角度而计算出的。

9.根据权利要求8所述的图像处理装置，其特征在于，

上述强调处理部仅对如下像素进行强调处理，该像素是以上述特征空间内与上述基准矢量正交并且包含上述特征空间内的原点的平面为基准而处于上述基准矢量侧的像素。

10.根据权利要求1所述的图像处理装置，其特征在于，

上述强调量设定部设定上述强调量，使得在上述特征空间内不对生物体内的血管、背景粘膜以及其它对象进行强调。

11.根据权利要求1所述的图像处理装置，其特征在于，

上述频带分解处理部中的上述分解处理是空间频率滤波处理。

12.一种内窥镜系统，其特征在于，具备：

照明部，其对被检体照射具有多个波长频带的光；

摄像部，其对由上述照明部照射到上述被检体的光的返回光进行拍摄；

频带分解处理部，其从由上述摄像部拍摄得到的信号生成多个波长频带图像，并且针对该多个波长频带图像中的每个波长频带图像以多个空间频带进行分解处理而生成多个频带图像；

强调量设定部，其针对特征空间内的上述被检体内的存在于生物体粘膜的深度方向的血管分布的区域设定强调量，该特征空间是以从上述频带分解处理部生成的上述多个频带图像中选择的两个以上的频带图像的波长频带或者空间频带为轴而形成的空间或者投影该空间得到的其它空间；

强调处理部，其根据由上述强调量设定部设定的强调量对所选择的上述两个以上的频带图像进行强调处理；

颜色变换处理部，其对包含由上述强调处理部进行了强调的所选择的上述两个以上的频带图像在内的上述多个频带图像进行用于调整色调的颜色变换处理；

图像生成部，其对由上述颜色变换处理部进行了颜色变换处理的多个频带图像，按波长图像进行积分来生成图像；

显示信号输出部，其将从上述图像生成部输出的积分图像作为显示信号而输出；以及

显示部，其根据来自上述显示信号输出部的上述显示信号来进行显示。

13.根据权利要求12所述的内窥镜系统，其特征在于，

上述照明部按时间序列或者同时照射具有上述多个波长频带的光。

14.根据权利要求12所述的内窥镜系统，其特征在于，

上述频带分解处理部对从拍摄得到的上述信号进行光谱估计处理而得到的多个波长频带图像进行分解处理。