CN107306491B - 图像处理装置、图像处理方法以及记录介质 - Google Patents

Abstract

图像处理装置具有：窄带图像取得部，其取得拍摄了管腔内的窄带图像；白色光图像取得部，其取得拍摄了管腔内的白色光图像；以及合成图像生成部，其通过根据被摄体的粘膜下的深度将窄带图像的信息合成到白色光图像中，来生成显示用的合成图像。

Description

图像处理装置、图像处理方法以及记录介质

技术领域

本发明涉及对图像实施图像处理的图像处理装置、图像处理方法和记录介质。

背景技术

窄带光的吸收/散射特性因其波长而不同，在短波长的窄带图像中显现出粘膜下表层的微细血管等，在长波长的窄带图像中显现出粘膜下深部的血管等。由于这些是在白色光图像中难以显现的构造，所以对一并具有窄带图像和白色光图像这两者的特征的图像能够进行更详细的观察。在这样的背景下，作为能够进行利用了两者特征的观察的方法，已知有如下的技术：针对利用白色光拍摄出的图像，赋予对利用窄带光拍摄出的图像进行了特定处理而得到的结果，生成一并具有两个图像的特征的图像(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2012-125461号公报

发明内容

发明要解决的课题

但是，由于在窄带图像中还显现有与白色光图像相同的构造，所以在上述专利文献1所记载的技术中，存在在白色光图像中拍摄出的构造外观发生改变的问题。例如，在短波长的窄带图像中除粘膜下表层的微细血管以外，还显现有位于到粘膜表面的深度比粘膜下表层的微细血管更深的位置的中层的血管。该血管还显现在白色光图像中，所以在单纯赋予了窄带图像的信息的情况下，已经在白色光图像中显现的血管的颜色发生变动，成为妨碍医生的观察的主要原因。

本发明正是鉴于上述情况而完成的，其目的在于，提供一种能够生成一并具有白色光图像和窄带图像的特征的图像，并且能够不改变原本在白色光图像中拍摄出的构造外观而赋予窄带图像的信息的图像处理装置、图像处理方法和记录介质。

用于解决问题的手段

为了解决上述课题并达成目的，本发明的图像处理装置的特征在于，具有：窄带图像取得部，其取得拍摄了管腔内的窄带图像；白色光图像取得部，其取得拍摄了所述管腔内的白色光图像；以及合成图像生成部，其通过根据被摄体的粘膜下的深度将所述窄带图像的信息合成到白色光图像中，来生成显示用的合成图像。

本发明的图像处理方法的特征在于，包含：窄带图像取得步骤，取得拍摄了管腔内的窄带图像；白色光图像取得步骤，取得拍摄了所述管腔内的白色光图像；以及合成图像生成步骤，通过根据被摄体的粘膜下的深度将所述窄带图像的信息合成到白色光图像中，来生成显示用的合成图像。

本发明的计算机可读取的记录介质，其记录了能够执行的程序，其特征在于，所述程序使计算机执行以下步骤：窄带图像取得步骤，取得拍摄了管腔内的窄带图像；白色光图像取得步骤，取得拍摄了所述管腔内的白色光图像；以及合成图像生成步骤，通过根据被摄体的粘膜下的深度将所述窄带图像的信息合成到白色光图像中，来生成显示用的合成图像。

发明效果

根据本发明，通过根据被摄体的粘膜下的深度将窄带图像的信息合成到白色光图像中，来生成显示用的合成图像，所以能够生成一并具有白色光图像和窄带图像的特征的图像，并且能够不改变原本在白色光图像中拍摄出的构造外观而赋予窄带图像的信息。

附图说明

图1是示出本发明的实施方式1的图像处理装置的功能结构的框图。

图2是示出本发明的实施方式1的图像处理装置进行的处理的概要的流程图。

图3是示出本发明的实施方式2的图像处理装置的功能结构的框图。

图4是示出本发明的实施方式2的图像处理装置进行的处理的概要的流程图。

图5是示出本发明的实施方式2的图像处理装置具有的合成图像生成部进行的处理的概要的流程图。

具体实施方式

以下，说明用于实施本发明的方式(以下称作“实施方式”)。

(实施方式1)

图1是示出本发明的实施方式1的图像处理装置的功能结构的框图。该图所示的图像处理装置1具有运算部2和存储部3。

运算部2具有：窄带图像取得部21，其取得多个窄带图像；白色光图像取得部22，其取得白色光图像；以及合成图像生成部23，其通过将窄带图像的信息合成到白色光图像中，生成显示用的合成图像。

窄带图像取得部21例如取得中心波长为λ(nm)的窄带图像。在将粘膜表层的微细血管的信息添加到白色光图像的情况下，优选应用中心波长为415(nm)左右的窄带图像。另外，该情况下的中心波长的值不必限于415(nm)，也可以是其附近的值。此外，本实施方式1当然还能够应用于除血管以外的粘膜下的被摄体。以下，将以波长λ(nm)为中心波长的窄带图像记作[λ]图像。

窄带图像取得部21例如通过向活体的管腔内照射发出窄带光的LED(LightEmitting Diode：发光二极管)，取得窄带图像。另外，取得窄带图像的方法未必限于此，例如也可以通过对白色光图像进行分光推定，来取得窄带图像。

白色光图像取得部22例如取得由被导入到活体并观察活体内的内窥镜使用白色光源而拍摄出的管腔内图像，作为白色光图像。该白色光图像是在各像素位置处具有针对R(红)、G(绿)、B(蓝)的各波长成分的像素值的彩色图像。另外，这里所说的内窥镜可以是镜体型的内窥镜，当然也可以是胶囊型的内窥镜。

合成图像生成部23通过将窄带图像的信息合成到白色光图像中，生成显示用的合成图像。例如，在[415]图像的情况下，合成图像生成部23依照以下的式(1)，计算B成分。

[数1]

B＝w(415，depth)·I([415])+(1-w(415，depth))·baseB …(1)

这里，式(1)的右边的w(415，depth)是中心波长415(nm)、粘膜下的深度depth处的权重，I([415])是[415]图像的强度，baseB是白色光图像的B成分。深度depth通过应用例如由事先使用机械学习而生成的识别器进行识别的方法而得到。另外，合成的方法未必限于式(1)。例如，也可以将I([415])合成到G成分。此外，也可以替代单纯合成I([415])，而合成其频率信息。在合成频率信息的情况下，例如可以设从[415]图像提取出的频率成分为Freq([415])，依照以下的式(2)，计算B成分。

[数2]

B＝w(415，depth)·Freq([415])+baseB …(2)

权重w(415，depth)被定义为被摄体的粘膜下的深度depth越小(浅)则越大的函数。权重w(λ、depth)的信息可以预先存储到存储部3中，在合成图像生成部23生成合成图像时进行参照即可。

在应用[415]图像作为窄带图像的情况下，合成图像生成部23通过除了使用根据式(1)计算的B成分以外还使用白色光图像取得部22取得的白色光图像的R成分和G成分，生成显示用的合成图像，作为显示图像进行输出。

运算部2使用CPU(Central Processing Unit：中央处理器)或各种运算电路等硬件构成，通过读入存储部3存储的各种程序，进行对构成图像处理装置1的各个部的指示和数据传送等，统一控制图像处理装置1整体的动作。

存储部3存储了上述权重w(λ、depth)的信息。此外，存储部3除了存储图像处理装置1取得的管腔内图像的图像数据以外，还存储用于使图像处理装置1动作并使图像处理装置1执行各种功能的程序、以及在该程序的执行中使用的数据等。具体而言，存储部3存储了本实施方式的图像处理程序、及在该图像处理中使用的阈值等各种参数。

存储部3由ROM(Read Only Memory：只读存储器)或RAM(Random Access Memory：随机存取存储器)等各种IC存储器、内置或利用数据通信端子连接的硬盘、或CD-ROM等信息记录装置及其读取装置等来实现。

存储部3存储的图像处理程序等各种程序还能够记录到计算机可读取的记录介质中。此外，各种程序向存储部3或记录介质的记录可以在将计算机或记录介质作为产品出货时进行，也可以通过借助通信网络的下载进行。这里所说的通信网络例如由现有的公共线路网、LAN(Local Area Network：局域网)、WAN(Wide Area Network：广域网)等来实现，没有特别限制有线、无线。

具有以上结构的图像处理装置1可以使用1个计算机来实现，也可以使用多个计算机来实现。在后者的情况下，还能够一边经由通信网络进行数据的收发，一边相互协作地进行处理。另外，这里所说的计算机能够由通用的个人计算机或服务器等构成。

图2是示出图像处理装置1进行的处理的概要的流程图。首先，窄带图像取得部21取得窄带图像(步骤S1)。窄带图像取得部21例如取得上述的[415]图像。

接着，白色光图像取得部22取得白色光图像(步骤S2)。白色光图像取得部22例如取得内窥镜使用白色光源而拍摄出的管腔内图像，作为白色光图像。

然后，合成图像生成部23通过将窄带图像的信息合成到白色光图像中，生成显示用的合成图像(步骤S3)。例如在[415]图像的情况下，合成图像生成部23利用事先使用机械学习而生成的识别器来取得深度depth的信息，依照该深度depth的信息和存储部3存储的权重w(415，depth)的信息(参照式(1))，计算B成分，通过使用该B成分、及白色光图像的R成分和G成分，生成合成图像。

根据以上所说明的本发明的实施方式1，通过根据被摄体的粘膜下的深度将窄带图像的信息合成到白色光图像中，来生成显示用的合成图像，所以能够生成一并具有白色光图像和窄带图像的特征的图像，并且能够不改变原本在白色光图像中拍摄出的构造外观而赋予窄带图像的信息。

此外，根据本实施方式1，通过使用深度识别来控制窄带图像和白色光图像的合成，能够防止在白色光图像中显现的构造外观的变化，提供更适合观察的图像。

另外，在本实施方式1中，作为合成对象的窄带图像的数量是任意的。例如，除上述[415]图像以外，还能够进一步使用中心波长为600(nm)的窄带图像([600]图像)来生成显示用的合成图像。[600]图像中包含粘膜下深层的粗血管的信息。在该情况下，合成图像生成部23依照以下的式(3)，计算R成分。

[数3]

R＝w(600，depth)·I([600])+(1-w(600，depth))·baseR …(3)

式(3)的右边的权重w(600，depth)是中心波长600(nm)、粘膜下的深度depth处的权重，在看作深度depth的函数时，是与式(1)中的权重w(415，depth)不同的函数。具体而言，权重w(600，depth)被定义为深度depth越大(深)则越大的函数。在该情况下，合成图像生成部23通过除了使用依照式(1)、(3)分别计算出的B成分、R成分以外，还使用白色光图像取得部22取得的白色光图像的G成分，来生成合成图像。另外，在该情况下，合成的方法不必限于式(1)、(3)。

(实施方式2)

图3是示出本发明的实施方式2的图像处理装置的功能结构的框图。该图所示的图像处理装置4具有运算部5和存储部3。以下，对与实施方式1的图像处理装置1的运算部2具有的结构部位相同的结构部位，标注相同标号进行说明。

运算部5具有：窄带图像取得部51，其取得多个窄带图像；白色光图像取得部52，其根据多个窄带图像，取得白色光图像；以及合成图像生成部53，其通过将窄带图像的信息合成到白色光图像中，来生成显示用的合成图像。

窄带图像取得部51取得中心波长分别为415nm、460nm、540nm、600nm和630nm的5个窄带图像[415]图像、[460]图像、[540]图像、[600]图像和[630]图像，作为多个窄带图像。窄带图像取得部21例如通过依次向活体的管腔内照射发出各窄带光的LED，取得窄带图像。另外，还能够利用上述的5个中心波长的附近的值来分别设定5个窄带图像的中心波长。

白色光图像取得部52具有窄带图像合成部521，该窄带图像合成部521通过合成相当于R、G、B的各波段的窄带图像，生成与白色光图像对应的图像。具体而言，窄带图像合成部521计算[415]图像和[460]图像的强度的加权平均，作为白色光图像的B成分。此外，窄带图像合成部521计算[600]图像和[630]图像的强度的加权平均，作为白色光图像的R成分。此外，窄带图像合成部521将[540]图像的强度作为G成分。对于加权平均的权重，优选根据各窄带光的发光强度设定成符合白色光中的相当于各窄带光的波段的分光强度。

合成图像生成部53具有深度相关特征量计算部531，该深度相关特征量计算部531计算窄带图像的强度的比率(相对强度)，作为与深度具有相关的特征量。具体而言，深度相关特征量计算部531按照每个像素，计算[415]图像和[540]图像中的强度的比率I([540])/I([415])、及[540]图像和[600]图像中的强度的比率I([540])/I([600])。在图像中存在表层的微细血管的情况下，在[415]图像中显现出较强的吸光变化，所以[415]图像中的该区域的强度降低。另一方面，如果是中层的血管，则在[415]图像和[540]图像的双方中显现有吸光变化，所以该区域中的强度在两个图像中均降低。因此，如果是表层的血管，则相比中层的血管，I([540])/I([415])的值容易相对增大。同样，如果是深层的血管，则相比中层的血管，I([540])/I([600])的值容易增大。因此，能够将这些比率视作与深度具有相关的特征量。

合成图像生成部53根据深度相关特征量计算部531计算出的特征量，生成合成图像。合成图像生成部53使用以下所示的式(4)、(5)，求出合成后的B成分和R成分。

[数4]

式(4)、(5)的右边的权重w(x)是根据2个窄带光的强度的比率x而设定的量，比率x越大，则具有越大的值。在本实施方式2中，也设为权重w(x)是存储在存储部3中的。另外，可以单独设定[415]图像用的权重和[600]图像用的权重。

这样，在本实施方式2中，通过利用2个窄带光的强度的比率x根据被摄体的粘膜下的深度而发生变化的情况来控制合成的方法，选择性地合成在白色光图像中难以显现的信息。

图4是示出图像处理装置4进行的处理的概要的流程图。首先，窄带图像取得部41取得窄带图像(步骤S11)。窄带图像取得部41例如取得上述的5个窄带图像([415]图像、[460]图像、[540]图像、[600]图像、[630]图像)。

接着，白色光图像取得部52根据窄带图像，取得白色光图像(步骤S12)。具体而言，窄带图像合成部521通过合成相当于R、G、B各波段的窄带图像，取得相当于白色光图像的图像。

然后，合成图像生成部53通过将窄带图像的信息合成到白色光图像中，生成显示用的合成图像(步骤S13)。图5是示出合成图像生成部53进行的处理的概要的流程图。以下，参照图5说明合成图像生成部53的处理。

合成图像生成部53针对全部像素执行以下进行说明的步骤S131～S133的处理。首先，在步骤S131中，深度相关特征量计算部531计算[415]图像和[540]图像中的强度的比率I([540])/I([415])、及[540]图像和[600]图像中的强度的比率I([540])/I([600])(步骤S131)。

接着，合成图像生成部53根据比率I([540])/I([415])，将[415]图像合成到白色光图像中(步骤S132)。具体而言，合成图像生成部53依照式(4)，计算B成分。

然后，合成图像生成部53根据比率I([540])/I([600])，将[600]图像合成到白色光图像中(步骤S133)。具体而言，合成图像生成部53依照式(5)，计算R成分。另外，合成图像生成部53可以按照相反的顺序进行步骤S132和步骤S133，也可以并列进行。

在合成图像生成部53针对全部像素结束了处理后，图像处理装置1结束一系列的处理。

根据以上所说明的本发明的实施方式2，与实施方式1同样，通过根据被摄体的粘膜下的深度将窄带图像的信息合成到白色光图像中，生成显示用的合成图像，所以能够生成一并具有白色光图像和窄带图像的特征的图像，并且能够不改变原本在白色光图像中拍摄出的构造外观而赋予窄带图像的信息。

此外，根据本实施方式2，通过根据与深度具有相关的特征量来控制窄带图像和白色光图像的合成，能够防止在白色光图像中显现的构造外观的变化，提供更适合观察的图像。

另外，在本实施方式2中示出了通过窄带图像的合成来生成白色光图像的方法，但例如也可以分别将[630]图像、[540]图像、[460]图像作为白色光图像的R成分、G成分、B成分。

此外，在本实施方式2中示出了作为窄带图像中的信息对强度进行合成的方法，但合成的信息不限于强度，例如也可以是频率成分。并且，窄带图像不必限于这2个种类，例如也可以仅使用[415]图像的信息。

此外，在本实施方式2中，例如还能够使用相当于R、G、B中的任意一方的波段所包含的2个窄带光。在该情况下，能够针对2个窄带光使用相同的权重。

在此之前说明了用于实施本发明的方式，但是本发明不应该仅被上述实施方式1、2限定。即，本发明可包含这里未记载的各种各样的实施方式等。

标号说明

1、4：图像处理装置；2、5：运算部；3：存储部；21、51：窄带图像取得部；22、52：白色光图像取得部；23、53：合成图像生成部；521：窄带图像合成部；531：深度相关特征量计算部。

Claims (7)

1.一种图像处理装置，其特征在于，具有：

窄带图像取得部，其取得拍摄了管腔内的窄带图像，所述窄带图像具有规定的波段；

白色光图像取得部，其取得拍摄了所述管腔内的白色光图像；以及

合成图像生成部，其通过根据由所述窄带图像的被摄体的粘膜下的深度和所述窄带图像的波段的中心波长定义的权重，将所述窄带图像的信息合成到所述白色光图像中，来生成显示用的合成图像，

在所述窄带图像的波段是可见光的蓝色成分的情况下，所述权重被定义为所述粘膜下的深度越浅则越大的值，

在所述窄带图像的波段是可见光的红色成分的情况下，所述权重被定义为所述粘膜下的深度越深则越大的值。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述合成图像生成部具有深度相关特征量计算部，该深度相关特征量计算部计算与所述深度具有相关性的特征量。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述窄带图像取得部取得中心波长互不相同的多个窄带图像，

所述特征量是不同的所述窄带图像之间的相对强度。

4.根据权利要求1所述的图像处理装置，其特征在于，

所述被摄体是血管。

5.根据权利要求1所述的图像处理装置，其特征在于，

所述白色光图像取得部具有窄带图像合成部，该窄带图像合成部通过将分别相当于可见光的红色成分、绿色成分、蓝色成分的波段的窄带图像合成，来取得相当于白色光图像的图像。

6.一种图像处理装置的工作方法，其特征在于，包含：

窄带图像取得步骤，窄带图像取得部取得拍摄了管腔内的窄带图像，所述窄带图像具有规定的波段；

白色光图像取得步骤，白色光图像取得部取得拍摄了所述管腔内的白色光图像；以及

合成图像生成步骤，合成图像生成部通过根据由所述窄带图像的被摄体的粘膜下的深度和所述窄带图像的波段的中心波长定义的权重，将所述窄带图像的信息合成到所述白色光图像中，来生成显示用的合成图像，

在所述窄带图像的波段是可见光的蓝色成分的情况下，所述权重被定义为所述粘膜下的深度越浅则越大的值，

在所述窄带图像的波段是可见光的红色成分的情况下，所述权重被定义为所述粘膜下的深度越深则越大的值。

7.一种计算机可读取的记录介质，其记录了能够执行的程序，其特征在于，所述程序使计算机执行以下步骤：

窄带图像取得步骤，取得拍摄了管腔内的窄带图像，所述窄带图像具有规定的波段；

白色光图像取得步骤，取得拍摄了所述管腔内的白色光图像；以及

合成图像生成步骤，通过根据由所述窄带图像的被摄体的粘膜下的深度和所述窄带图像的波段的中心波长定义的权重，将所述窄带图像的信息合成到所述白色光图像中，来生成显示用的合成图像，

在所述窄带图像的波段是可见光的蓝色成分的情况下，所述权重被定义为所述粘膜下的深度越浅则越大的值，

在所述窄带图像的波段是可见光的红色成分的情况下，所述权重被定义为所述粘膜下的深度越深则越大的值。

Images