CN101175433A - 生物体观测装置 - Google Patents

生物体观测装置 Download PDF

Info

Publication number
CN101175433A
CN101175433A CNA200680016225XA CN200680016225A CN101175433A CN 101175433 A CN101175433 A CN 101175433A CN A200680016225X A CNA200680016225X A CN A200680016225XA CN 200680016225 A CN200680016225 A CN 200680016225A CN 101175433 A CN101175433 A CN 101175433A
Authority
CN
China
Prior art keywords
image
signal
spectroscopy scheme
observation apparatus
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200680016225XA
Other languages
English (en)
Other versions
CN100591262C (zh
Inventor
后野和弘
天野正一
高桥智也
大岛睦巳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Publication of CN101175433A publication Critical patent/CN101175433A/zh
Application granted granted Critical
Publication of CN100591262C publication Critical patent/CN100591262C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明提供一种生物体观测装置,该生物体观测装置具有:彩色图像信号生成部,其对第一摄像信号或第二摄像信号进行信号处理,生成彩色图像信号,所述第一摄像信号是利用多个宽频带的波长透过特性的滤光器拍摄被白色光的照明光照明的被检体而得到的,所述第二摄像信号是在覆盖可见区域的面顺次照明光的照明下而拍摄到的;分光图像信号生成部,其根据第一或第二摄像信号,通过对彩色图像信号进行信号处理,生成与窄频带的图像信号对应的分光图像信号;以及变换显示分光图像信号时的显示颜色的显示颜色变换部等中的特性变更设定部、用于进行切换和/或确认包括所显示的图像在内的信息的指示操作的界面部等中的一个。

Description

生物体观测装置
技术领域
本发明涉及生物体观测装置,该生物体观测装置利用拍摄生物体而得到的彩色图像信号,通过信号处理生成与模拟窄频带滤光器对应的分光图像信号,在监视器上显示为分光图像。
背景技术
以往,作为生物体观测装置,广泛使用照射照明光来得到体腔内的内窥镜图像的内窥镜装置。这种内窥镜装置中,使用具有摄像单元的电子内窥镜,该摄像单元使用光导等将从光源装置发出的照明光导入到体腔内,借助其返光拍摄被摄体,该内窥镜装置通过视频处理器对来自摄像单元的摄像信号进行信号处理,从而在观察监视器上显示内窥镜图像,以观察患部等观察部位。
在内窥镜装置中进行通常的生物体组织观察时,作为一种方式,利用光源装置发出可见光区域的白色光,经由例如RGB等的旋转滤光器(rotating-filter),对被摄体照射面顺次光,利用视频处理器将该面顺次光所产生的返光同步化以进行图像处理,从而得到彩色图像。并且,在内窥镜装置中进行通常的生物体组织观察时,作为其它方式,在内窥镜的摄像单元的摄像面的前表面上配置色卡(color chip),利用光源装置发出可见光区域的白色光,借助色卡将该白色光所产生的返光按照各颜色成分分离以进行拍摄,并利用视频处理器进行图像处理,从而得到彩色图像。
根据所照射的光的波长的不同,生物体组织对光的吸收特性以及散射特性也有所不同,因此,例如在日本特开2002-95635号公报中提出了一种窄频带光内窥镜装置,其将离散的分光特性的窄频带的RGB面顺次光作为可见光区域的照明光照射到生物体组织,得到生物体组织的希望深部的组织信息。
并且,日本特开2003-93336号公报中提出了一种窄频带光内窥镜装置,其对可见光区域的照明光所产生的图像信号进行信号处理,生成离散的分光图像,得到生物体组织的希望深部的组织信息。
上述日本特开2003-93336号公报中记载的装置进行如下处理:不使用光学上窄频带的带通滤光器,而是根据以宽频带的波段拍摄到的彩色图像信号(或又称为生物体信号)进行基于(相当于模拟的窄频带带通滤光器的)矩阵运算的电运算处理,从而生成在使用窄频带带通滤光器的情况下得到的分光图像信号。
但是,该日本特开2003-93336号公报所记载的装置中,若想要观察的生物体组织不同,则其分光反射特性不同,存在如下缺点:所生成的分光图像信号变动等,所生成的分光图像信号的精度下降等。
例如,在将食道粘膜或者胃或大肠的粘膜作为观察对象的情况下,由于两者的粘膜组织的种类不同(例如,食道粘膜为重层扁平上皮,胃为单层圆柱上皮),因此,分光反射特性不同,存在所生成的分光图像信号变动等缺点。
并且,上述日本特开2003-93336号公报所记载的装置中,还存在如下缺点:不能变更在显示单元或显示输出装置上显示输出分光图像信号时的色调。
如上所述,日本特开2003-93336号公报所记载的装置虽具有可以从彩色图像信号电生成分光图像信号的优点,但是,还是希望装配能够进一步提高操作性的界面单元等,以便将分光图像信号变换成用户希望的色调或适当的色调来进行表示,或者切换彩色图像信号(通常图像信号)和分光图像信号来进行显示等。
而且,日本特开2003-93336号公报所记载的装置仅将所得到的分光图像输出到监视器。因此,在日本特开2003-93336号公报所记载的装置中,不仅显示于监视器的图像有可能不是适合于观察生物体组织的希望深部的组织信息的色调的图像,而且也很难把握与血液中的血红蛋白浓度等生物体所具有的生物体功能信息之间的关联。
发明内容
本发明正是鉴于上述问题而完成的,其目的在于,提供一种生物体观测装置,该生物体观测装置具有根据彩色图像信号电生成分光图像信号的功能,此外,在生物体的组织等不同的情况下也能够生成适当对应的分光图像信号,或者能够提高与观察分光图像等有关的操作性。
并且,本发明的目的在于,提供一种生物体观测装置,该生物体观测装置能够根据通过信号处理得到的分光图像信号计算与生物体的血液相关的生物体功能信息,并能够有利于提高诊断能力。
本发明的第一方式的生物体观测装置,其特征在于,所述生物体观测装置具有:
彩色图像信号生成部,其对第一摄像信号或第二摄像信号进行信号处理,生成用于在显示装置上显示为彩色图像的彩色图像信号,所述第一摄像信号是利用第一摄像装置拍摄被白色光的照明光照明的被检体而得到的,该第一摄像装置具备多个宽频带的波长透过特性的滤光器,所述第二摄像信号是利用第二摄像装置拍摄被覆盖可见区域的互不相同的多个宽频带的波段的面顺次照明光照明的被检体而得到的;
分光图像信号生成部,其根据所述第一摄像信号或所述第二摄像信号,通过对用于生成所述彩色图像信号的颜色信号或所述彩色图像信号进行信号处理,生成与窄频带的图像信号对应的分光图像信号,该窄频带的图像信号是拍摄被窄频带的波段的照明光照明的被检体时得到的;
显示颜色变换部,其针对所述分光图像信号变换作为分光图像显示于显示装置上时的显示颜色;以及
特性变更设定部、显示颜色变更设定部和界面部中的至少一个,所述特性变更设定部用于变更设定所述分光图像信号生成部中的所述分光图像信号的生成特性,所述显示颜色变更设定部用于变更设定所述颜色变换部的显示颜色,所述界面部用于进行切换和/或确认包括显示于显示装置上的图像在内的信息的指示操作。
通过上述构成,具有根据彩色图像信号电生成分光图像信号的功能,此外,还能够提高操作性,使得可变更分光图像的显示颜色,或通过与生物体组织等对应的变更来对应所生成的分光图像信号的特性,或进行对显示于显示装置上的图像的确认等。
本发明的第二方式的生物体观测装置,其特征在于,所述生物体观测装置具有:
通常图像信号生成部,其对第一摄像信号或第二摄像信号进行信号处理,生成用于在显示装置上显示为彩色通常图像的通常图像信号,所述第一摄像信号是利用第一摄像装置拍摄被白色光的照明光照明的被检体而得到的,所述第一摄像装置具备多个宽频带的波长透过特性的滤光器,所述第二摄像信号是利用第二摄像装置拍摄被覆盖可见区域的互不相同的多个宽频带的波段的面顺次照明光照明的被检体而得到的;
分光图像信号生成部,其根据所述第一摄像信号或所述第二摄像信号,通过对用于生成所述彩色图像信号的颜色信号或所述彩色图像信号进行信号处理,从而生成与窄频带的图像信号对应的分光图像信号,所述窄频带的图像信号是拍摄被窄频带的波段的照明光照明的被检体时得到的;以及
生物体功能信息计算部,其根据所述分光图像信号,计算将所述被检体作为生物体时与生物体的血液相关的生物体功能信息。
通过上述构成,能够与分光图像信号一起计算与生物体的血液相关的生物体功能信息。
附图说明
图1是表示本发明的实施例1的根据彩色图像信号制作分光图像信号时的信号的流程的概念图。
图2是表示本发明的实施例1的分光图像信号的积分运算的概念图。
图3是表示本发明的实施例1的电子内窥镜装置的外观的外观图。
图4是表示图3的电子内窥镜装置的构成的框图。
图5是表示图4的斩波器(chopper)的外观的外观图。
图6是表示图4的CCD的摄像面上配置的滤光器的排列的图。
图7是表示图6的滤光器的分光灵敏度特性的图。
图8是表示图4的矩阵运算部的构成的构成图。
图9是表示本发明的实施例1的光源的光谱的光谱图。
图10是表示本发明的实施例1的生物体的反射光谱的光谱图。
图11是表示通过图4的电子内窥镜装置观察到的生物体组织的层方向结构的图。
图12是说明从图4的电子内窥镜装置发出的照明光到达生物体组织的层方向的状态的图。
图13是表示白色光的各波段的分光特性的图。
图14是表示图13的白色光产生的各波段图像的第一图。
图15是表示图13的白色光产生的各波段图像的第二图。
图16是表示图13的白色光产生的各波段图像的第三图。
图17是表示图8的矩阵运算部所生成的分光图像的分光特性的图。
图18是表示图17的各分光图像的第一图。
图19是表示图17的各分光图像的第二图。
图20是表示图17的各分光图像的第三图。
图21是表示图4的颜色调节部的构成的框图。
图22是说明图21的颜色调节部的作用的图。
图23是表示图4的颜色调节部的变形例的构成的框图。
图24是表示图17的分光图像的第一变形例的分光特性的图。
图25是表示图17的分光图像的第二变形例的分光特性的图。
图26是表示图17的分光图像的第三变形例的分光特性的图。
图27是表示切换到分光图像观察模式时、手动进行系数切换的动作的流程图。
图28是表示利用集中控制器或声音输入来进行系数切换的变形例的电子内窥镜装置的构成的框图。
图29是表示在内窥镜等中设置ID存储器时的电子内窥镜装置的构成的框图。
图30是通过采用图29的构成时的装置侧的组合来进行系数切换的动作的流程图。
图31是表示图30的动作中进一步显示观察模式时的动作的一部分的流程图。
图32是表示在示出通常图像和分光图像时还明确示出观察模式的例的图。
图33是采用图29的构成时在切换观察模式的同时还变更设定参数的动作的流程图。
图34是图33的变形例的一部分的动作的流程图。
图35是表示本发明的实施例2的电子内窥镜装置中的颜色调节部周边部的构成的框图。
图36是表示实施例2的变形例中的颜色调节部周边部的构成的框图。
图37是表示本发明的实施例3的电子内窥镜装置的构成的框图。
图38是表示矩阵运算部的构成的框图。
图39是用于说明实施例3的动作的流程图。
图40是表示实施例3的变形例中的动作的一部分的流程图。
图41是表示本发明的实施例4的电子内窥镜装置的构成的框图。
图42是表示图41的色调判断部的构成例的框图。
图43是表示实施例4的变形例的动作的一部分的流程图。
图44是表示CCD的电子快门进行的电荷累积时间的说明图。
图45是更具体表示CCD的电子快门进行的电荷累积时间的说明图。
图46是表示本发明的实施例5的电子内窥镜装置的构成的框图。
图47是表示实施例5的通常图像或分光图像在显示监视器上的显示例的图。
图48是表示变形例的通常图像或分光图像在显示监视器上的显示例的图。
图49是表示本发明的实施例6的滤光器的排列的图。
图50是表示图49的滤光器的分光灵敏度特性的图。
图51是表示本发明的实施例7的电子内窥镜装置的构成的框图。
图52是表示图51的矩阵运算部的构成的结构图。
图53是表示图51的颜色调节部的构成的框图。
图54是表示图51的颜色调节部的变形例的构成的框图。
图55是表示图51的生物体功能运算部的构成的框图。
图56是表示在监视器上的显示例的图。
图57是表示本发明的实施例8的矩阵运算部的构成的框图。
图58是表示本发明的实施例9的电子内窥镜装置的构成的框图。
图59是表示图58的CCD的电荷累积时间的图。
图60是表示本发明的实施例10的CCD的电荷累积时间的图。
图61是表示本发明的实施例11的滤光器的排列的图。
图62是表示图61的滤光器的分光灵敏度特性的图。
图63是本发明的变形例中的矩阵运算时的流程图。
具体实施方式
下面,参见附图说明本发明的实施例。
(实施例1)
参见图1~图34,说明本发明的实施例1。
在本发明的实施例1中的作为生物体观测装置的电子内窥镜装置中,从照明用光源向作为被检体的生物体照射照明光,利用作为摄像部的固体摄像元件接收根据该照射光被生物体反射的光,进行光电转换而生成摄像信号,由该摄像信号生成宽频带的彩色图像信号,并且,通过信号处理,由该彩色图像信号生成与光学波长为窄频带的图像信号对应的分光图像信号。
下面,在说明本发明的实施例1之前,先说明作为本发明的基础的矩阵计算方法。此处,矩阵是指从为生成彩色图像(下面又称为通常图像)而取得的彩色图像信号生成分光图像信号时使用的预定系数。
并且,接着该矩阵的说明,对用于求出更准确的分光图像信号的校正方法、提高所生成的分光图像信号的S/N的S/N改善方法进行说明。另外,关于该校正方法、S/N改善方法,可以根据需要来使用。而且,下面向量和矩阵用粗字体或“”(例如,矩阵A表示为A的粗字体或者“A”),除此之外不进行字符修饰进行标记。
(矩阵计算方法)
图1是表示由彩色图像信号(此处,为了便于说明设为R·G·B,但如后述的实施例所述,在补色型固体摄像元件中,可以是G·Cy·Mg·Ye的组合)生成与光学波长窄频带的图像对应的分光图像信号时的信号的流程的概念图。
首先,电子内窥镜装置对R·G·B的各个彩色灵敏度特性进行数值数据化。此处,R·G·B的彩色灵敏度特性是指,使用白色光的光源,拍摄白色的被摄体时分别得到的相对于波长的输出的特性。
另外,R·G·B的各个彩色灵敏度特性以简略化的曲线图的方式示于各图像数据的右侧。并且,将此时的R·G·B的彩色灵敏度特性分别设为n维的列向量“R”·“G”·“B”。
接着,电子内窥镜装置对想要提取的用于分光图像的窄频带带通滤光器F1·F2·F3(电子内窥镜装置了解能够有效提取结构的滤光器的特性作为预见信息。该滤光器的特性是指,将大致590nm~大致610nm、大致530nm~大致550nm、大致400nm~大致430nm的波段分别设为通过频带)的特性进行数值数据化。
另外,此处“大致”是指波长包括±10nm左右的概念。将此时的滤光器的特性分别设为n维的列向量“F1”·F2”·“F3”。根据所得到的数值数据,求出将以下关系近似的最佳的系数组。即,只要求出满足下式的矩阵的要素即可。
R G B a 1 a 2 a 3 b 1 b 2 b 3 c 1 c 2 c 3 = F 1 F 2 F 3 · · · ( 1 )
上面的最优化命题的解可以以如下数学方式求得。将表示R·G·B的彩色灵敏度特性的矩阵设为“C”,将表示想要提取的窄频带带通滤光器的分光特性的矩阵设为“F”,将执行主成分分析或正交展开(或者正交变换)时要求出的系数矩阵设为“A”,则得到下式:
C=(R  G  B) A = a 1 a 2 a 3 b 1 b 2 b 3 c 1 c 2 c 3 F=(F1  F2  F3)    …(2)
因此,(1)式所示的命题相当于求出满足以下关系的矩阵“A”。
CA=F  …(3)
此处,作为表示分光特性的光谱数据的点列数n,满足n>3的关系,因此,(3)式不是作为一元联立方程式的解,而是作为线性最小二乘法的解来求出。即,只要从(3)式求解伪逆矩阵即可。若将矩阵“C”的转置矩阵设为“tC”,则(3)式如下:
tCCA=tCF  …(4)
tCC”为n×n的正方矩阵,因此,(4)式可以看作是对系数矩阵“A”的联立方程式,其解如下:
A=(tCC)-1tCF  …(5)
对于由(5)式求出的系数矩阵“A”,电子内窥镜装置通过进行(3)式左边的变换,能够使想要提取的窄频带带通滤光器F1·F2·F3的特性近似。以上是对成为本发明的基础的矩阵计算方法的说明。
使用以上述方式计算出的矩阵,后述的矩阵运算部436由彩色图像信号生成分光图像信号。
采用上述方式利用矩阵运算部436等进行信号处理(从RGB的宽频带带通滤光器),从而计算出的窄频带带通滤光器F1·F2·F3相当于分光图像信号,因此,在后述的实施例中将F1·F2·F3用作分光图像信号。
而且,作为分光图像信号的F1·F2·F3相当于通过电信号处理生成的窄频带带通滤光器,因此为了明确显示该分光特性的特征,有时也使用模拟窄频带带通滤光器。
(校正方法)
下面,说明用于求出更准确的分光图像信号的校正方法。
在上述矩阵计算方法的说明中,CCD等固体摄像元件接收的光束完全是白色光(可见区域中,全部的波长强度相同)时,能够更准确地应用。即,在RGB的输出均相同的情况下,成为最佳近似。
但是,在实际的内窥镜观察下,照明的光束(光源的光束)不完全是白色光,生物体的反射光谱也不都是一样的,因此,固体摄像元件接收的光束也不是白色光(由于带有颜色,因此RGB值也不相同)。
因此,在实际的处理中,为了更准确地解出(3)式所示的命题,除了RGB的彩色灵敏度特性之外,优选考虑照明光的分光特性、生物体的反射特性。
此处,将彩色灵敏度特性分别设为R(λ)、G(λ)、B(λ),将照明光的分光特性的一例设为S(λ),将生物体的反射特性的一例设为H(λ)。另外,该照明光的分光特性以及生物体的反射特性不必一定是进行检查的装置、被检体的特性,也可以是例如预先取得的一般的特性。
若使用这些系数,则校正系数kR·kG·kB如下:
kR=(∫S(λ)×H(λ)×R(λ)dλ)-1
kG=(∫S(λ)×H(λ)×G(λ)dλ)-1
kB=(∫S(λ)×H(λ)×B(λ)dλ)-1   …(6)
若将灵敏度校正矩阵设为“K”,则可以以如下方式得到。
K = k R 0 0 0 k C 0 0 0 k B · · · ( 7 )
因此,对于系数矩阵“A”,对(5)式施加(7)式的校正,则得到如下状态。
At=KA=K(tCC)-1tCF    …(8)
并且,在实际进行最优化时,利用当作为目标的滤光器的分光灵敏度特性(图1中的F 1·F2·F3)为负时图像显示上为0(即,仅使用滤光器的分光灵敏度特性之中具有正灵敏度的部分)的情况,附加允许最优化的灵敏度分布的一部分为负的情况。电子内窥镜装置为了从较宽的分光灵敏度特性生成窄频带的分光灵敏度特性,如图1所示,在作为目标的F1·F2·F3的特性上附加负的灵敏度特性,从而能够生成将具有灵敏度的频带近似的成分。
(S/N的改善方法)
接着,说明提高所生成的分光图像信号的S/N以及精度的方法。通过对上述的处理方法附加该S/N比的改善方法,能够进一步解决下面的课题。
(i)若假设前述的矩阵计算方法中的原始信号(R·G·B)的某一个处于饱和状态,则处理方法中的滤光器F1~F3的特性有可能与能够有效提取作为观察对象的部分的结构的滤光器的特性(理想特性)有较大不同(R·G·B之中,仅利用2个信号生成滤光器F1~F3的情况下,该2个原始信号均需要处于不饱和状态)。
(ii)从彩色图像信号变换为分光图像信号时,从宽频带的滤光器生成窄频带滤光器,因此,发生灵敏度劣化,所生成的分光图像信号的成分也减小,S/N变差。
该S/N的改善方法是指,如图2所示,在通常图像(一般的彩色图像)的1场(field)(1帧)中分几次(例如n次,n为2以上的整数)照射照明光(可以在每次照射时改变照射强度。图2中,示出I0~In。另外,这可以仅通过照明光的控制来实现。)。
从而,电子内窥镜装置能够减小1次的照射强度,能够抑制RGB信号均分别达到饱和状态。并且,分割成几次的图像信号在后级进行n张的加法运算。从而,电子内窥镜装置能够增大信号成分,提高S/N。图2中,累加部438a~438c起到改善S/N的画质调节部的作用。
以上是对成为本发明的基础的矩阵运算方法、可以与矩阵运算方法共同实施的用于求出正确的分光图像信号的校正方法、提高所生成的分光图像信号的S/N的方法的说明。
此处,说明上述的矩阵计算方法的变形例。
(矩阵计算方法的变形例)
将彩色图像信号设为R,G,B,将要估计的分光图像信号设为FI,F2,F3。另外,更严谨地说,彩色图像信号R,G,B等是图像上的位置x,y的函数,因此,例如应将R标记为R(x,y),但此处省略。
以估计出从R,G,B计算F1,F2,F3的3×3的矩阵“A”为目标。若估计出“A”,则可采用以下的(9)式,由R,G,B计算F1,F2,F3(矩阵标记为F1,F2,F3)。
F 1 F 2 F 3 = A R G B · · · ( 9 )
此处,定义以下的数据表述。
被检体的分光特性:
H(λ)、「H」=(H(λ1),H(λ2),…,H(λn))t
λ为波长,t表示矩阵运算中的转置。同样地,
照明光的分光特性:
S(λ)、「S」=(S(λ1),S(λ2),…,S(λn))t
CCD的分光灵敏度特性:
J(λ)、「J」=(J(λ1)J(λ2),…J(λn))t
进行分色的滤光器的分光特性:原色的情况下
R(λ)、「R」=(R(λ1),R(λ2),…,R(λn))t
G(λ)、「G」=(G(λ1),G(λ2),…,G(λn))t
B(λ)、「B」=(B(λ1),B(λ2),…,B(λn))t
“R”、“G”、“B”如(10)式所示,利用矩阵“C”汇总成1个。
C = R G B · · · ( 10 )
利用矩阵如下表述图像信号R,G,B、分光信号F1,F2,F3。
P = R G B , Q = F 1 F 2 F 3 · · · ( 11 )
图像信号“P”通过下式计算。
P=CSJH  …(12)
在此,将用于求出“Q”的分色滤光器设为“F”,则与(12)式相同,
Q=FSJH  …(13)
此处,作为重要的第一假设,若假设此时被检体的分光反射率能够以基本的3个分光特性的线性和来表现,则(12)式和(13)式中的“H”可以如下表述。
H≈DW  …(14)
此处,“D”是列向量上具有3个基本光谱D1(λ)、D2(λ)、D3(λ)的矩阵,“W”是表示D1(λ)、D2(λ)、D3(λ)作用于“H”的权重系数。众所周知,被检体的色调没有较大变动的情况下,该近似成立。
将(14)式代入到(12)式中,得到下式。
P=CSJH=CSJDW=MW  …(15)
此处,3×3的矩阵“M”表示将矩阵“CSJD”的计算结果汇总成1个的矩阵。
同样地,将(14)式代入到(13)式,得到下式。
Q=FSJH=FSJDW=M′W…(16)
相同地,“M′”表示将矩阵“FSJD”的计算结果汇总成1个的矩阵。
最后,从(15)式和(16)式消去“W”,得到下式。
Q=M′M-1P    …(17)
“M-1”表示矩阵“M”的逆矩阵。最后,“M′M-1”为3×3的矩阵,成为估计目标的矩阵“A”。
此处,作为重要的第二假设,假设在利用带通滤光器进行分色的情况下,能够将其波段内的被检体的分光特性近似为1个数值。即,
H=(h1,h2,h3)t    …(18)
用于分色的带通并不是完全的带通,还可以考虑在其它频带上也具有灵敏度的情况,在该假设成立的情况下,若将(15)式、(16)式中的“W”考虑为上述“H”,则最后能够估计出与(17)式相同的矩阵。
接着,参见图3说明本发明的生物体观测装置的实施例1的电子内窥镜装置的具体构成。另外,以下所示的其它实施例中也可以采用相同的构成。
如图3所示,电子内窥镜装置100具有电子内窥镜(简称为内窥镜)101、内窥镜装置主体105、作为显示装置的显示监视器106。并且,内窥镜101主要由如下部分构成:插入部102,其插入到被检体的体内;前端部103,其设置于该插入部102前端;以及弯曲操作部104,其设置在该插入部102的与前端侧相反一侧,用于操作或指示前端部103侧的弯曲动作等。
在内窥镜装置主体105中对内窥镜101所取得的被检体内部等的图像进行预定的信号处理,在显示监视器106上显示处理后的图像。
接着,参见图4,详细说明内窥镜装置主体105。另外,图4是电子内窥镜装置100的框图。
如图4所示,内窥镜装置主体105主要由如下部分构成:作为照明部的光源部41,其发出照明光;控制部42,其进行该光源部41和以下的主体处理装置43的控制;以及主体处理装置43,其进行生成通常图像的信号处理和生成分光图像的信号处理。控制部42和主体处理装置43构成信号处理控制部,该信号处理控制部控制所述光源部41和/或作为摄像部的CDD 21的动作,向作为显示装置的显示监视器106输出摄像信号。
另外,在本实施例中,说明在作为1个单元的内窥镜装置主体105内具有光源部41和进行图像处理等的主体处理装置43的情况,但是,它们也可以作为独立单元以连接以及可装卸的方式构成。并且,生物体观测装置可以由内窥镜101、光源部41以及主体处理装置43构成,但不限于此。例如,生物体观测装置也可由光源部41和主体处理装置43构成,或者仅由主体处理装置43构成。
光源部41与控制部42和内窥镜101连接。该光源部41根据来自控制部42的信号,以预定光量进行白色光(也包括并不完全是白色光的情况)的照射。并且,光源部41具有作为白色光源的灯15、用于调节光量的斩波器16、以及用于驱动斩波器16的斩波器驱动部17。
如图5所示,斩波器16具有如下构成:以点17a为中心,在预定半径r的圆盘状的结构体上沿圆周方向设置有具有预定长度的切口部。该中心点17a与设置于斩波器驱动部17上的旋转轴连接。即,斩波器16以中心点17a为中心进行旋转运动。并且,在每个预定的半径上设置有多个该切口部。图5中,该切口部在半径r0~半径ra之间,最大长度=2πr×θ0度/360度、宽度=r0-ra。并且,同样地在半径ra~半径rb之间,最大长度=2πra×2θ1度/360度、宽度=ra-rb;在半径rb~半径rc之间,最大长度=2πrb×2θ2度/360度、宽度=rb-rc(各个半径设为r0>ra>rb>rc)。
另外,斩波器16中的切口部的长度、宽度为一例,不应该限于本实施例。
并且,斩波器16在该切口部的大致中央具有沿半径方向延伸的突起部160a。另外,控制部42在借助该突起部160a遮蔽了光时切换帧,从而将在1帧前和1帧后照射的光的间隔设到最小限度,将被检体的运动等所引起的模糊设到最小限度。
而且,如图4中的箭头所示,斩波器驱动部17构成为可以在相对于灯15的方向上移动。
即,控制部42能够改变图5所示的斩波器16的旋转中心17a与灯发出的光束(虚线圆所示)之间的距离R。例如,在图5所示的状态下,距离R相当小,因此照明光量处于小的状态。通过增大距离R(使斩波器驱动部17远离灯15),能够使光束通过的切口部变长,照射时间增长,控制部42能够增大照明光量。
如上所述,电子内窥镜装置中,在新生成的分光图像有可能作为S/N不足,以及生成分光图像所需的RGB信号的某一信号处于饱和状态的情况下不能进行正确的运算,因此需要控制照明光量。由斩波器16和斩波器驱动部17负责该光量调节。
并且,经由连接器11可自由装卸地与光源部41连接的内窥镜101在前端部103上具有物镜19和CCD等固体摄像元件21(下面简称为CCD),该物镜19用于形成光学像,该CCD 21配置物镜19的成像位置而进行光电转换。本实施例中的CCD是单板式(用于同步式电子内窥镜的CCD),具有原色型的色透过滤光器(简称为滤光器)。另外,图6表示配置于CCD的摄像面上的滤光器的排列。而且,图7表示图6的滤光器中的RGB的各个分光灵敏度特性。
如图7所示的RGB滤光器具有使可见区域的R、G、B波段分别以宽频带透过的分光特性。
并且,如图4所示,插入部102具有:光导14,其将从光源部41照射的光引导到前端部103;信号线,其用于将利用CCD得到的被检体的图像传送到主体处理装置43;以及钳子通道28,其用于进行处置;等等。另外,用于向钳子通道28插入钳子的钳子口29设置于操作部104附近。
而且,主体处理装置43与光源部41同样地经由连接器11与内窥镜101连接。主体处理装置43具备用于驱动CCD 21的CCD驱动电路431。
此外,主体处理装置43具有生成亮度信号的亮度信号处理系统和生成宽频带的颜色信号的颜色信号处理系统,作为用于得到通常图像的信号电路系统。
亮度信号处理系统具有:轮廓校正部432,其与CCD 21连接,进行轮廓校正;以及亮度信号处理部434,其根据轮廓校正部432所校正的数据,生成亮度信号。
而且,颜色信号处理系统具有:采样保持电路(S/H电路:sample holdcircuit)433a~433c,其与CCD 21连接,进行CCD 21所得到的信号的采样等,生成作为宽频带的颜色信号(或者彩色图像信号)的RGB信号;以及颜色信号处理部435,其与S/H电路433a~433c的输出端连接,进行与颜色信号对应的处理。
而且,主体处理装置43上设置有通常图像生成部437,该通常图像生成部437由亮度信号处理系统和颜色信号处理系统的输出生成1个彩色通常图像,作为在可见区域拍摄到的彩色图像。此外,从通常图像生成部437经由切换部439向显示监视器106上输送Y信号、R-Y信号、B-Y信号作为彩色通常图像信号。
另一方面,作为用于得到分光图像的分光图像生成单元即信号电路系统,设置有矩阵运算部436,该矩阵运算部436由上述生成RGB信号的S/H电路433a~433c的输出信号生成分光图像信号F1,F2,F3。该矩阵运算部436对RGB信号进行预定的矩阵运算。
矩阵运算是指使用与系数矩阵相当的运算系数对彩色图像信号彼此进行加法运算处理等、并将通过上述的矩阵计算方法(或其变形例)求出的矩阵相乘的处理。该矩阵运算部436由R、G、B彩色图像信号生成窄频带的分光图像信号F1,F2,F3。
另外,本实施例中,作为该矩阵运算的方法,说明使用了电子电路处理(由使用了电子电路的硬件进行的处理)的方法,但如后所述的实施例,也可以采用使用了数值数据处理(由使用了程序的软件进行的处理)的方法。并且,在实施时还可以将这些方法组合起来。
图8表示矩阵运算部436的电路图。RGB信号分别经由电阻组31-1a、31-2a、31-3a~31-1c、31-2c、31-3c以及多路转换器33-1a、33-2a、33-3a~33-1c、33-2c、33-33c输入到放大器32a~32c。
电阻组31-1a、31-2a、…、31-3c分别由电阻值不同的电阻r1、r2、…、rn构成(图8中仅示出部分符号r1、r2、…、m)。而且,通过多路转换器33-1a、33-2a、…、33-3c分别选择一个电阻。
这些多路转换器33-1a、33-2a、…·、33-3c例如通过用户在设置于前面面板等上的构成系数设定切换单元的操作面板441(参见图4)等上进行切换操作或选择操作,经由系数控制部442确定电阻组31-1a、31-2a、…、31-3c的要选择的电阻。由用户进行操作的操作面板441还具有如下功能:切换(选择)用于进行信号处理的主体处理装置43的观察模式,用户进行观察模式的状态确认等的界面单元。
另外,观察模式(观察图像模式)的选择还包括:选择显示监视器106上显示的图像的功能;以及主体处理装置43上的信号处理系统的功能,该功能用于通过信号处理生成至少与该图像对应的影像信号(图像信号)。
即,作为观察模式选择了彩色通常图像(简称为通常图像)观察模式时,切换部439进行切换,以便在显示监视器106上显示通常图像,并且通常图像处理系统处于动作状态,以便生成与该通常图像对应的通常图像信号。该情况下的通常图像处理系统相当于图4中的轮廓校正部432、亮度信号处理部434、颜色信号处理部435、通常图像生成部437。
并且,作为观察模式选择了分光图像观察模式时,切换部439进行切换,以便在显示监视器106上显示分光图像,并且,分光图像处理系统处于动作状态,以便生成与该分光图像对应的分光图像信号。该情况下的分光图像处理系统相当于图4中的系数控制部442、LUT 443、矩阵运算部436、累加部438a~438c、颜色调节部440。
另外,CCD驱动电路431、S/H电路433a~433c在两个观察模式下共同维持动作状态。也可以由控制部42进行控制,以便根据上述观察模式的选择,使与所选择的观察模式对应的信号处理系统处于动作状态。或者,还可以始终使两个信号处理系统维持在动作状态。
该情况下,观察模式的选择动作与显示监视器106上显示的图像(观察图像)的选择获得相同结果。但是,如后所述,有时在选择(切换)观察模式的同时变更进行将照明光量控制在目标值时的参数值(或者目标值)更好。
而且,用户可以通过设置于内窥镜101的操作部上的内窥镜开关141进行选择操作。该内窥镜开关141也形成有用于进行系数切换的系数设定切换单元、或用户切换(选择)观察模式等的界面单元。
操作面板441等上设置有多个选择开关(或切换按钮)441a,该多个选择开关441a与例如要进行观察的被检体的种类、观察部位、生物体组织的组织型(组织的形式种类)等对应。并且,通过用户操作选择开关441a,选择开关441a向系数控制部442输出与被检体的种类、观察部位、生物体组织的组织型等对应的指示信号。
如图4所示,该系数控制部442上连接有作为运算系数存储单元的LUT 443,该LUT 443中存储有用于确定矩阵运算部436的矩阵运算特性或矩阵运算结果的运算系数(简称为系数)。而且,系数控制部442根据操作面板441的选择开关441a等进行的指示信号,从LUT 443读出与被检体的种类等对应的系数,发送到矩阵运算部436。
即,LUT 443中与被检体的分光特性(分光反射率特性)的种类、更具体地说与作为被检体的生物体的粘膜组织的分光反射率特性的种类对应地存储有多个系数443a。即,该系数443a是与生物体的粘膜组织的种类等对应的生物体用系数。
而且,矩阵运算部436利用从LUT 443读出并发送来的系数443a进行矩阵运算。采用这种方式,在被检体的种类、生物体组织的组织型等不同的情况下,与实际上使用光学窄频带带通滤光器拍摄的(取得)的光学窄频带的图像信号或分光图像信号的情况相比,能够抑制精度下降,进行生成(基于信号处理的模拟光学的)分光图像信号的运算。
如上所述,在本实施例中,矩阵运算部436经由系数控制部442与存储有多个系数443a的LUT 443连接。而且,用户可以通过操作面板441等的操作经由系数控制部442变更设定(切换设定)矩阵运算部436的矩阵运算中实际使用的系数,可以变更设定所生成的分光图像信号F1,F2,F3的特性。即,系数控制部442和LUT 443具有特性变更设定单元的功能,该特性变更设定单元变更设定通过分光图像信号生成单元生成的分光图像信号的特性。
矩阵运算部436的输出被分别输入到累加部438a~438c,通过累加部438a~438c分别进行积分运算,生成分光图像信号∑F1~∑F3。分光图像信号∑F1~∑F3被输入到颜色调节部440,颜色调节部440以后述的构成进行颜色调节运算。该颜色调节部440分别生成由分光图像信号∑F1~∑F3进行色调调节的作为分光图像信号的分光通道图像信号Rnbi、Gnbi、Bnbi。
并且,来自通常图像生成部437的彩色图像信号(又称为生物体信号)、或来自颜色调节部440的分光通道图像信号Rnbi、Gnbi、Bnbi经由切换部439分别输出到显示监视器106的R通道、G通道、B通道(有时简称为Rch、Gch、Bch),以R,G,B的显示颜色显示在显示监视器106上。因此,颜色调节部440具有显示颜色变换单元的功能,该显示颜色变换单元变换由显示监视器106模拟彩色显示分光图像信号∑F1~∑F3时的显示颜色。而且,还具有显示颜色调节单元或颜色调节单元的功能,通过进行切换该显示颜色变换单元进行显示颜色变换时使用的系数等的变更设定,调节显示颜色。关于颜色调节部440,如下补充说明。
如上所述,分光图像信号∑F1~∑F3借助颜色调节部440进行包括显示颜色变换在内的(显示)颜色调节处理,成为分光通道图像信号Rnbi、Gnbi、Bnbi,分别输出到显示监视器106的R通道、G通道、B通道。若不对分光图像信号∑F1~∑F3进行(显示)颜色变换,分别输出到显示监视器的R通道、G通道、B通道(分配显示颜色),则成为固定的色调,用户不能选择或变更色调。
本实施例中,可以如上所述设置包括颜色变换在内的颜色调节单元,从而以用户所期望的色调来进行模拟彩色显示。并且,通过进行颜色变换或颜色调节,能够在更容易辨认的状态下进行模拟彩色显示。另外,由上述的说明可知,分光通道图像信号Rnbi、Gnbi、Bnbi用于明确显示被分别输出到显示监视器106的R通道、G通道、B通道。因此,将这些信号总称为分光图像信号。另外,如后述的实施例7所示,若着眼于监视器侧的模拟彩色显示,则还可以将分光通道图像信号Rnbi、Gnbi、Bnbi称为彩色通道图像信号。另外,对于颜色调节部440的构成将在后面叙述。
该颜色调节部440与具有作为显示颜色变更设定单元或界面单元的功能的操作面板441、内窥镜开关141等连接。而且,用户等可以通过操作面板441、内窥镜开关141等进行用于颜色调节的显示颜色变更设定的操作(更具体地说是系数的切换设定操作)。如后所述,可以通过来自操作面板441等的信号,经由构成颜色调节部440的系数变更电路64(参见图21)切换进行显示颜色变换的3×3矩阵电路61的系数。
另外,切换部439用于切换通常图像和分光图像,并且还可以切换显示分光图像彼此。即,医生等用户从通常图像信号、分光通道图像信号Rnbi、Gnbi、Bnbi选择操作输出到显示监视器106的信号,从而切换部439选择(切换)被选择操作的信号,输出到显示监视器106。
该切换部439与操作面板441、内窥镜开关141连接,用户可以操作它们而简单地切换或选择通常图像和分光图像。因此,根据本实施例,能够提高操作性。另外,如图4所示,构成为使键盘451的指示输入输入到控制部42。而且,该指示输入为切换指示时,控制部42与该切换指示对应地进行切换部439的切换控制等。
并且,还可以采用可同时在显示监视器106显示任意2个以上图像的构成。关于与之相关的构成,利用图46等在后面叙述。
尤其是可以同时显示通常图像和分光通道图像(又称为分光图像)时,能够简单地对比进行通常观察的通常图像和分光图像,在考虑了各个图像的特征(通常图像的特征在于其色调接近通常的肉眼观察而易于进行观察。分光图像的特征在于能够观察到通常图像中不能观察到的预定血管等)的基础上进行观察,从而非常有利于诊断。
接着,参见图4详细说明本实施例的电子内窥镜装置100的动作。
另外,下面首先说明观察通常图像时的动作,然后说明观察分光图像时的动作。
首先,说明光源部41的动作。根据来自控制部42的控制信号,斩波器驱动部17被设定在预定位置,使斩波器16旋转。来自灯15的光束通过斩波器16的切口部,借助聚光透镜汇聚在作为光纤束的光导14的入射端,该光导14设置在位于内窥镜101和光源部41之间的连接部上的连接器11内。
汇聚后的光束通过光导14,从设置于前端部103的未图示的照明光学系统照射到被检体的体内。所照射的光束在被检体内反射,经由物镜19,在具备滤光器的CCD 21中按照图6所示的各个滤光器收集信号。通过CCD 21按照各个滤光器收集到的信号(摄像信号)并行地输入到上述的亮度信号处理系统和颜色信号处理系统。
按照各个滤光器收集到的信号以每个像素进行相加之后输入到亮度信号系统的轮廓校正部432,进行轮廓校正后,输入到亮度信号处理部434。亮度信号处理部434中生成亮度信号,输入到通常图像生成部437。
并且,另一方面,通过CCD 21按照各个滤光器收集到的信号按照各个滤光器输入到S/H电路433a~433c,分别生成R·G·B信号,作为宽频带的多个颜色信号。此外,利用颜色信号处理部435对R·G·B信号进行针对颜色信号的信号处理之后,在通常图像生成部437中由所述亮度信号和颜色信号生成作为彩色图像信号的Y信号、R-Y信号、B-Y信号,经由切换部439,在显示监视器106上彩色显示被检体的通常图像。
另外,如图4所示,还可以采用如下结构:对于来自通常图像生成部437的输出信号和来自颜色调节部440的输出信号,共用切换部439的输出端,输入到显示监视器106的R通道、G通道、B通道。采用共用所述输出端的结构的情况下,可以在切换部439内内置变换电路439a(参见图4),该变换电路439a将来自通常图像生成部437的输出信号、即Y信号、R-Y信号、B-Y信号变换成R、G、B信号。
也可以采用如下构成:不内置该变换电路439a,而将来自通常图像生成部437的输出信号输入到显示监视器106的Y/色差信号输入端,将来自颜色调节部440的输出信号输入到显示监视器106的R通道、G通道、B通道。下面的说明中,为了便于说明,说明如下情况:即使对于来自通常图像生成部437的输出信号也从切换部439输出时,经由共用的R通道、G通道、B通道输入到显示监视器106。
接着,说明观察分光图像时的动作。另外,关于进行与通常图像的观察相同的动作的部分,在此省略说明。
操作者通过操作与内窥镜装置主体105连接的内窥镜开关141、键盘451等,从而进行从通常图像观察分光图像的指示。此时,控制部42变更光源部41以及主体处理装置43的控制状态。
具体地说,根据需要,控制部42变更从光源部41照射的光量。如上所述,不希望来自CCD 21的输出信号达到饱和状态,因此,与观察通常图像时相比,减小照明光量。并且,控制部42也可以将光量控制成不使来自CCD21的输出信号处于饱和状态,并在不饱和的范围内改变照明光量。
并且,作为由控制部42变更对主体处理装置43的控制内容的例子,将从切换部439输出的信号从通常图像生成部437的输出切换到颜色调节部440的输出,即切换到分光通道图像信号Rnbi、Gnbi、Bnbi。
并且,S/H电路433a~433c的输出被输入到矩阵运算部436,在矩阵运算部436中进行放大/加法处理,从而生成窄频带的分光图像信号F1,F2,F3。这些分光图像信号F1,F2,F3与各个频带对应地输出到累加部438a~438c。
即使在利用斩波器16减小了照明光量的情况下,也可以在累加部438a~438c中进行保存/累加,从而如图2所示提高信号强度。并且,能够通过累加部438a~438c分别从分光图像信号F1,F2,F3得到提高了S/N的、累加的分光图像信号∑F1,∑F2,∑F3。
下面,叙述本实施例中的具体的矩阵运算部436的矩阵处理。本实施例中,想要由图7中实线所示的RGB滤光器的分光灵敏度特性,制作接近图7所示的理想的窄频带带通滤光器F1~F3(此处,将各个透过波段设为F1:590nm~620nm、F2:520nm~560nm、F3:400nm~440nm)的带通滤光器(下面称为模拟带通滤光器)时,通过前述的(1)式~(5)式所示的内容,使得以下的矩阵成为最佳矩阵。
A = 0.625 - 3.907 - 0.05 - 3.097 0.631 - 1.661 0.036 - 5.146 0.528 · · · ( 19 )
此外,通过(6)式和(7)式所示的内容进行校正,则得到以下的校正系数。
K = 1 0 0 0 1.07 0 0 0 1.57 · · · ( 20 )
另外,使用如下的预见信息:(6)式所示的光源的光谱S(λ)如图9所示、(7)式所示的要关注的生物体的反射光谱H(λ)如图10所示。
因此,矩阵运算部436所进行的处理数学上与以下的矩阵运算为同值。
A ′ = KA = 1 0 0 0 1.07 0 0 0 1.57 0.625 - 3.907 - 0.05 - 3.097 0.631 - 1.661 0.036 - 5.146 0.528
= 0.625 - 3.907 - 0.050 - 3.314 0.675 - 1.777 0.057 - 8.079 0.829 · · · ( 21 )
通过进行该矩阵运算,能够得到模拟滤光器特性(图7中表示为模拟F1~模拟F3的特性)。即,上述的矩阵处理中,使用以上述方式预先生成的模拟带通滤光器(矩阵),对彩色图像信号制作分光图像信号。
如下说明使用该模拟滤光器特性生成的内窥镜图像的示意例。
如图11所示,体腔内组织51大多具有例如沿深度方向不同的血管等的吸收体分布结构。在粘膜表层附近主要分布有较多毛细血管52,并且,在比该层深的中层上除了毛细血管之外还分布有比毛细血管粗的血管53,进而在深层上分布有更粗的血管54。
另一方面,光对体腔内组织51的深度方向的侵入深度取决于光的波长。而且,如图12所示,包括可见区域的照明光为蓝(B)色光这类波长短的光时,由于生物体组织中的吸收特性以及散射特性,光只能侵入到表层附近,在到达表层的深度范围内被吸收、散射,可观测到从表面发出的光。
并且,在为波长比蓝(B)色光长的绿(G)色光时,侵入到蓝(B)色光所侵入的范围更深的地方,在该范围内被吸收、散射,观测到从表面发出的光。此外,对于波长比绿(G)色光长的红(R)色光,光到达更深的范围。
体腔内组织51的通常观察时的RGB光如图13所示,各波段以宽频带重叠,因此,
(1)在借助B频带光利用CCD 21拍摄到的摄像信号中拍摄到图14所示的具有包含较多浅层上的组织信息的浅层以及中层组织信息的波段图像,
(2)并且,在借助G频带光利用CCD 21拍摄到的摄像信号中拍摄到图15所示的具有包含较多中层上的组织信息的浅层以及中层组织信息的波段图像,
(3)而且,在借助R频带光利用CCD 21拍摄到的摄像信号中拍摄到图16所示的具有包含较多深层上的组织信息的中层以及深层组织信息的波段图像。
此外,利用内窥镜装置主体105对这些RGB摄像信号进行信号处理,从而作为内窥镜图像可以得到希望或自然的颜色再现的内窥镜图像。
上述的矩阵运算部436的矩阵处理中,使用以上述方式预先生成的模拟带通滤光器特性的矩阵,对彩色图像信号制作分光图像信号。
并且,用户操作操作面板441等,经由系数控制部442读出LUT 443中存储的系数443a,利用矩阵运算部436变更设定矩阵运算的特性,从而能够变更上述模拟带通滤光器特性。
例如,通过变更设定系数443a,可以将特性设定成,作为利用矩阵运算部436生成的模拟带通滤光器特性,更高精度地生成浅层侧的模拟带通滤光器特性,而不生成其他模拟带通滤光器特性。即,能够与特征量对应地通过系数443a设定所要生成的模拟带通滤光器特性的波段波长(的中央)值。
因此,系数443a具有生物体特征量用系数的功能,该生物体特征量用系数用于生成增强从生物体组织表面起在深度方向上分布的血管结构等的特征量的分光图像信号。
即,本实施例中的分光图像信号生成单元及其特性变更设定部主要具有如下两大优点。
用户根据生物体的分光反射特性进行(包括切换的)变更设定,以使用适当的(作为生物体用系数的)系数443a,从而针对不同的分光反射特性的生物体组织,能够得到高精度的分光图像信号。
并且,希望利用特定的窄频带波长(N)有效观察容易观察(观测)的生物体部分时,用户进行变更设定,以使用增强与该窄频带波长(N)对应的分光图像信号(或抑制其他窄频带波长的分光图像信号)来生成的系数443a,从而能够在S/N良好的状态下观察该生物体部分。
另一方面,使用图17所示的可提取希望的深层组织信息的离散且窄频带的分光特性的模拟带通滤光器F1~F3,得到分光图像信号F1~F3。模拟带通滤光器F1~F3如图17所示,各波段未重叠,因此,
(4)在模拟带通滤光器F3产生的分光图像信号F3中拍摄到图18所示的具有浅层上的组织信息的波段图像,并且,
(5)在模拟带通滤光器F2产生的分光图像信号F2中拍摄到图19所示的具有中层上的组织信息的波段图像,而且,
(6)在模拟带通滤光器F1产生的分光图像信号F1中拍摄到图20所示的具有深层上的组织信息的波段图像。
接着,针对将这样得到的分光图像信号F1~F3累加的分光图像信号∑F1~∑F3,颜色调节部440将分光图像信号F1分配给分光通道图像信号Rnbi,将分光图像信号F2分配给分光通道图像信号Gnbi,将分光图像信号F3分配给分光通道图像信号Bnbi。而且,分光通道图像信号Rnbi、Gnbi、Bnbi分别经由切换部439输出到显示监视器106的R,G,B通道Rch、Gch、Bch。
如图21所示,颜色调节部440由颜色变换处理电路440a构成,该颜色变换处理电路440a具有:作为显示颜色变换单元的3×3矩阵电路61;设置于3×3矩阵电路61前后的3组LUT 62a,62b,62c,63a,63b,63c;以及作为显示颜色变更设定单元的系数变更电路64,其变更LUT62a,62b,62c,63a,63b,63c的表数据和3×3矩阵电路61的矩阵系数。
通过LUT 62a,62b,62c按照各波段数据对输入到颜色变换处理电路440a的分光图像信号F1~F3进行反γ校正和非线性的对比度变换处理等。
然后,利用3×3矩阵电路61进行颜色变换之后,通过后级的LUT63a,63b,63c进行γ校正和适当的灰度变换处理。
可以利用变更系数等的系数变更电路64变更这些LUT62a,62b,62c,63a,63b,63c的表数据和3×3矩阵电路61的矩阵系数。系数变更电路64内存储有多种矩阵系数64a作为颜色变换(颜色调节)用系数,该矩阵系数64a在利用3×3矩阵电路61进行矩阵运算时使用。
并且,3×3矩阵电路61使用经由系数变更电路64选择出的矩阵系数64a进行矩阵运算,从而进行与所使用的矩阵系数64a对应的颜色变换。
而且,系数变更电路64进行的矩阵系数变更根据来自操作面板441、例如设置在内窥镜101的操作部等上的内窥镜开关141中的系数设定用开关(或色调变更设定用开关)141b(参见图4)的控制信号或切换信号。
此外,系数变更电路64内的矩阵系数64a中,作为如下说明的生物体所具有的特征量,包括例如能够以容易识别血管构造的色调进行显示的血管用矩阵系数64b。而且,用户可以通过操作系数设定用开关141b从系数变更电路64选择该血管用矩阵系数64b。
另外,用户可以通过操作系数设定用开关141b,使系数变更电路64变更3×3矩阵电路61中使用的矩阵系数64a,除此之外,还可以输出用于变更LUT 62a,62b,62c,63a,63b,63c的表数据的控制信号。
接收到控制信号的系数变更电路64从预先存储于颜色调节部440内的多种矩阵系数64a等数据中调出适当的数据,利用该数据改写当前的电路系数。
接着,叙述具体的颜色变换处理内容。式(22)示出颜色变换式的一例。
R nbi G nbi B nbi = 1 0 0 0 1 0 0 0 1 F 1 F 2 F 3 · · · ( 22 )
基于该式(22)的处理是指以波长短的顺序向分光通道图像信号Rnbi、Gnbi、Bnbi(若在显示监视器a106中显示,则为R通道、G通道、B通道)分配分光图像信号F1~F3的颜色变换。
以这些分光通道图像信号Rnbi、Gnbi、Bnbi所产生的彩色图像进行观察的情况下,得到例如图22所示的图像。粗血管位于深的位置,反映出分光图像信号F3,作为显示颜色,显示为蓝色系的图案。位于中层附近的血管网较强地反应出分光图像信号F2,所以作为显示颜色,显示为红色系的图案。
此外,血管网内存在于粘膜表面附近的部分作为显示颜色显示为黄色系的图案。
尤其是该粘膜表面附近的图案的变化对于早期病变的发现鉴别诊断来说很重要。但是,黄色系的图案与背景粘膜之间的对比度较弱,存在视觉辨认性低的倾向。
于是,为了更加清楚地再现该粘膜表面附近的图案,进行式(23)所示的变换是很有效的。
R nbi G nbi B nbi = 1 0 0 0 ω G ω B 0 0 1 F 1 F 2 F 3 · · · ( 23 )
基于该式(23)的处理是将分光图像信号F1以一定比率混合到分光图像信号F2中,将所生成的数据重新设为分光G通道图像信号Gnbi的变换例。若采用该变换,可以更加明确血管网等吸收散射体根据深度位置而有所不同的情况。因此,经由系数变更电路64调节矩阵系数64a,从而用户可以调节显示颜色,以得到喜欢的显示效果。
这样的动作如下。
与用户进行的操作面板441或设置于内窥镜101的操作部上的内窥镜开关141中的模式切换开关141c(参见图4)联动地,在颜色调节部440(颜色变换处理电路440a)内以贯穿动作将矩阵系数64a设定为默认值。
此处,贯穿动作是指,3×3矩阵电路61上搭载单位矩阵、LUT62a,62b,62c,63a,63b,63c上搭载非变换表的状态。默认值是指作为矩阵系数64a赋予例如ωG=0.2、ωB=0.8这样的设定值。
并且,用户操作操作面板441或对例如设置于内窥镜101的操作部上的内窥镜开关141设置的系数设定用开关141b,从系数变更电路64选择血管用矩阵系数64b。而且,作为3×3矩阵电路61的矩阵系数,变更设定成上述设定值ωG=0.2、ωB=0.8到ωG=0.4、ωB=0.6等。LUT62a,62b,62c,63a,63b,63c中根据需要应用反γ校正表、γ校正表。
另外,本实施例的颜色变换处理电路440a以通过由3×3矩阵电路61构成的矩阵运算器进行颜色变换的例子示出,但不限于此,也可以利用数值运算处理器(CPU)或LUT构成颜色变换处理单元。
例如,在上述实施例中,通过以3×3矩阵电路61为中心的构成示出了颜色变换处理电路440a,但是如图23所示,即使采用与各波段对应的三维LUT 71置换颜色变换处理电路440a,也能得到同样的效果。
该情况下,系数变更电路64进行如下动作:根据来自操作面板441或设置于内窥镜101的操作部的内窥镜开关141等上的系数设定用开关141b的控制信号,变更存储于LUT 71内的表数据71a的内容(图23中,在一个LUT 71内示出表数据71a,但其它LUT 71中也同样存储有表数据71a)。而且,图23的颜色变换处理电路440a进行与变更设定后的表数据71a对应的颜色变换处理。
表数据71a内存储有例如以容易辨认作为生物体的特征量的血管构造以及生物体粘膜构造等的色调来显示的血管用以及生物体粘膜用数据。
另外,模拟带通滤光器F1~F3的滤光器特性不限于可见光区域,作为模拟带通滤光器F1~F3的第一变形例,可以将滤光器特性设为例如图24所示的离散的分光特性且窄频带的滤光器。为了变更成这样的滤光器特性,用户只要对设置于操作面板441等的选择开关441a等进行操作,变更矩阵运算部436中的运算系数即可。
另外,图24(以下的图25、图26中也相同)中作为通过矩阵运算部436生成的分光图像信号F1~F3,如图7所示的模拟带通滤光器那样示出分光特性。
该第一变形例的滤光器特性适合于如下情况:为了观察生物体表面的凹凸和极深层附近的吸收体,将F3设定在近紫外线区域,将F1设定在近红外区域,从而得到在通常观察中无法得到的图像信息。即,如图24所示,通过近红外区域的F1能够得到生物体的深层侧的光学图像信息,且通过近紫外区域的F3能够得到生物体表面的凹凸构造的图像信息。
而且,作为模拟带通滤光器F1~F3的第二变形例,如图25所示,可以替代模拟带通滤光器F2,设置滤光器特性在短波段相近的2个模拟带通滤光器F3a、F3b。该情况适合于,利用该附近的波段只能侵入到生物体的极表层附近的特性,将与吸收特性相比散射特性的微小的差异影像化。可以想象在医学上用于伴随早期癌症等粘膜表层附近的细胞排列混乱所致的疾病的识别诊断。
此外,作为模拟带通滤光器F1~F3的第三变形例,如图26所示,可以利用矩阵运算部436生成可提取希望的层组织信息的离散的分光特性的2波段的窄频带的滤光器特性的2个模拟带通滤光器F2、F3。
在图26的模拟带通滤光器F2、F3的情况下,颜色调节部440在窄频带的分光图像观察时的图像的彩色化中,进行分光通道图像信号Rnbi←分光图像信号F2、分光通道图像信号Gnbi←分光图像信号F3、分光通道图像信号Bnbi←分光图像信号F3的颜色变换,输出到显示监视器106的RGB三通道Rch,Gch,Bch。
即,针对分光图像信号F2和分光图像信号F3,颜色调节部440通过以下的式(24)生成分光图像信号(Rnbi、Gnbi、Bnbi),该分光图像信号(Rnbi、Gnbi、Bnbi)输出到显示监视器106的RGB三通道,在显示监视器106上以RGB进行彩色显示。
R nbi G nbi B nbi = h 11 h 12 h 21 h 22 h 31 h 32 F 1 F 3 · · · ( 24 )
例如,设为h11=1、h12=0、h21=0、h22=1.2、h31=0、h32=0.8。
该情况下的颜色调节部440的系数切换动作等的说明将在实施例2中后述。
医生等用户根据所要观察的生物体的种类、特征等手动进行用于生成分光图像信号的矩阵运算部436的系数设定(系数切换),如上所述观察本实施例的生物体表面时的动作的流程图如图27所示。
若接通电源,则控制部42等处于动作状态,作为初始设定,如步骤S1所示,控制各部以处于通常观察模式的动作状态。
并且,如步骤S2所示,处于等待观察模式的切换指示的状态。若由医生从操作面板441等发出观察模式的切换指示,则如步骤S3所示,控制部42进行切换到分光图像观察模式的动作状态的控制。
而且,在进行了切换到分光图像观察模式的动作状态的控制时,如步骤S44所示,控制部42控制成例如在显示监视器106上显示作为切换时的分光图像观察模式设定的系数的信息。作为该步骤S4中的切换时的系数的信息显示的内容,显示例如切换时设定的分光图像观察模式时的矩阵运算部436中设定的系数的信息。
然后,在下一步骤S5中,控制部42对用户确认是否进行系数切换(选择)。
而且,用户(医生)判断是否根据实际观察的被检体的特征、种类、更具体地说生物体粘膜的特征、种类等进行切换。进行切换时,如步骤S6所示,根据被检体的种类、更具体地说生物体粘膜的组织型等手动地进行切换系数的操作之后,与不进行切换的情况一起进入到步骤S7。
这样实际观察的生物体粘膜可以根据食道粘膜、胃粘膜、大肠粘膜等要观察部位的名称等、种类进行切换,也可以根据它们的组织型(即,构成要观察的生物体粘膜的上皮的名称、种类)等作为观察对象的部分的分光反射率的特性、种类等进行切换。
例如,食道粘膜的上皮组织为重层扁平上皮,胃或大肠粘膜被单层圆柱上皮覆盖,所以它们的基本分光特性不同。因此,若将使用由食道粘膜的分光反射率数据的集合估计的基本分光特性计算出的用于估计分光图像的矩阵用在大肠检查中,则难以得到期望的结果。
为了获得高精度的分光图像,需要使用与生物体粘膜的种类或组织型对应的基本分光特性来进行该矩阵运算,在实际的观察中优选使用适当的矩阵运算。
而且,本实施例中,医生操作作为构成界面单元的系数设定切换单元的、例如进行设置于操作面板441等上的矩阵运算部436的系数切换或系数选择的选择开关441b(参见图4)。
通过该操作,从LUT 443读出与观察对象的分光特性对应的系数443a,切换成能够利用该系数443a进行适当的矩阵运算。
该步骤S7中,控制部42处于等待观察模式的切换指示的状态。而且,若医生进行了切换指示的操作,则控制部42返回到步骤S1,切换到通常图像观察模式。然后,重复上述的处理。另外,在上述步骤S5中切换系数时,显示与被检体的种类对应的切换(选择)项目、与生物体特征对应的切换(选择)等的項目,用户可以容易地根据该项目切换设定成与更易于适当观察生物体粘膜的种类或血管等的分光特性对应的系数。
根据这样的本实施例,利用通常的电子内窥镜图像(通常图像)的彩色图像信号,通过电信号处理生成模拟窄频带滤光器。从而,本实施例不使用用于分光图像的光学窄频带带通滤光器,而是能够通过由系数设定切换单元进行的系数设定、系数切换等,适当获得具有血管行走图案等希望深部的组织信息的分光图像,并且,能够根据分光图像适当设定颜色调节部440的颜色变换的系数。
并且,本实施例可以实现活用窄频带的分光图像观察时的侵入度信息这样的特征的表现方法,能够有效地分离生物体组织的表面附近希望深部的组织信息、更具体地说为血管行走图案等来进行视觉辨认。
并且,尤其是为3波段的分光图像的情况下,颜色调节部440将例如相当于415nm的图像分配到显示监视器106的颜色通道Bch,将例如相当于445nm的图像分配到颜色通道Gch,将例如相当于500nm的图像分配到颜色通道Rch时,根据本实施例,能够得到如下的图像效果。
(a)生物体组织的最表层的表皮或者粘膜以低彩度的颜色再现,最表层的毛细血管以低亮度、即暗线再现,从而能够得到最表层的毛细血管的高视觉辨认性。
(b)同时,位于比毛细血管深的位置的血管在色相方向上向蓝色方向旋转而再现,因此,更容易与最表层的毛细血管进行区别。
并且,根据所述通道的分配方法,在大肠内窥镜检查中,在通常观察下以黄色调观测到的残渣和胆汁以红色调再现。
另外,后述的实施例2中的颜色调节部440中,在2波段的分光图像的情况下也能获得大致相同的效果。
图28示出本实施例的第一变形例的电子内窥镜装置100。
在实施例1的电子内窥镜装置100中,能够由操作面板441等操作基于矩阵运算部436的系数的切换设定,然而在本变形例中能够由与控制部42连接的作为界面单元的集中控制器461进行操作。
并且,本变形例中,主体105上连接有传声器462,将基于用户声音的系数切换指示作为电信号接收,并且主体105内设置有声音识别电路463。而且,通过声音识别电路463对从传声器462输入的来自用户的声音信号进行声音识别,将该声音识别结果输入到控制部42。
而且,控制部42根据基于用户的集中控制器461、传声器462的声音的系数切换等指示信号,按照LUT 443中存储的系数443a由矩阵运算部436适当进行矩阵运算。另外,本变形例(以及下一变形例)中,控制部42构成为兼具图4的系数控制部442的功能。当然,还可以从控制部42经由系数控制部442进行系数切换。
此外,还可以将集中控制器461等用于进行观察模式的切换操作或接通电源时启动的观察模式的选择操作等的界面。除此之外,还可以设置未图示的脚踏开关等界面。
而且,作为生物体观测装置的具体例的电子内窥镜装置100可以采用图29所示的第二变形例那样的构成。图29所示的第二变形例的电子内窥镜装置100中,内窥镜101内的例如连接器11内设置有ID存储器161,主体105中的例如光源部41内设置有ID存储器162。
此外,分别存储于ID存储器161和ID存储器162中的ID信息在例如接通电源时输入到控制部42。控制部42进行如下控制:按照实际组合构成的电子内窥镜装置100中的内窥镜101等构成要素,根据电子内窥镜装置100侧的构成要素,自动将矩阵运算部436的系数的切换设定设为适当的设定。
该情况下的动作如图30的流程图。图30所示的动作,基本上是在图27所示的动作中在步骤S3和S4之间进行步骤S8所示的处理。
步骤S3中,切换到分光图像观察模式之后的下一步骤S8中,控制部42读取内窥镜101的ID存储器161、光源部41的ID存储器162的信息。并且,控制部42与各信息中被内窥镜101采用的CCD 21的彩色摄像特性或光源部41的灯15的种类、发光波长特性(分光特性)等对应地,从LUT 443读出适合于由矩阵运算部436进行运算的系数。而且,控制部42将该系数发送到矩阵运算部436,进行系数的自动切换设定。
另外,图29所示的LUT 443中(除了图4所示的系数443a之外)存储有多个系数443b,该多个系数443b与CCD 21的彩色摄像特性或光源部41的灯15的种类、发光波长特性(分光特性)等对应。
然后,进入到与图27的下一步骤S4相当的步骤S4′的处理。在该步骤S4′中,控制部42控制成进行系数的信息显示,该系数是在切换时与(默认或之前的选择中)设定的观察对象物对应地设定的。该步骤S4′之后的处理与图27的情况相同。
根据本变形例,实际连接使用的内窥镜101上安装的CCD 21的滤光器的分光特性因内窥镜101的种类或个体差而不同的情况下、或者分光特性因光源部41内作为光源的灯15的种类(例如,发光的分光特性不同的卤灯或氙灯等的种类)、个体差而不同的情况下,也能够减少这些差异的影响而得到可靠性高的分光图像。
另外,不具有ID存储器161等的情况下,可以手动切换设定成适当的系数。并且,也可以准备自动进行系数的切换设定模式和手动进行系数的切换设定模式,由用户选择进行,而与有无ID存储器161等无关。
并且,本变形例中说明了自动切换设定由矩阵运算部436进行矩阵运算时的系数的模式,然而也可以同样地自动设定颜色调节部440中进行颜色调节或颜色变换时的系数。这样的话,构成电子内窥镜装置100的内窥镜101等的组合相同的情况下,能够自动设定成相同的色调状态。而且,在矩阵运算部436和颜色调节部440中,也可以通过ID存储器161、162的ID信息等自动设定各系数。
另外,内窥镜装置主体105内置有光源部41的情况下,控制部42也可以仅利用内窥镜101侧的ID信息自动设定系数。当然,即使在内窥镜装置主体105内置有光源部41的情况下,也可以考虑光源部41内的灯15的分光特性,自动设定矩阵运算部436进行矩阵运算时的系数。
另外,图27或图30的处理中,如图31所示,还可以在设定或切换设定观察模式的情况下进一步明确显示该观察模式。
图31的例子中,在最初的步骤S1′中,控制部42如步骤S1所示设定通常图像观察模式。并且,控制部42进行明确显示该观察模式的控制。
例如,控制部42控制成,如图32(A)在显示监视器106上显示的通常图像的显示区域的例如下面显示NI,该NI明确表示处于通常图像观察模式或正在显示通常图像。控制部42也可以控制成显示NormalImaging或通常图像等,以替代利用NI进行文字信息的显示。
并且,在与步骤S3相当的步骤S3′中也同样地切换到分光图像观察模式的情况下,控制部42进一步明确显示该观察模式。
例如,控制部42控制成,如图32(B)所示在分光图像的显示区域的例如下面显示NBI,该NBI明确表示分光图像。控制部42还可以控制成显示Narrow Band Imaging或分光图像等以替代NBI的显示。
通过采用这种方式,用户能够更可靠地确认实际设定的观察模式。
并且,如图32(C)所示,还可以进行如下控制:在通常图像的情况下不显示NI等;仅在分光图像的情况下显示NBI。
而且,图32(A)~图32(C)中示出在显示监视器5上明确显示观察模式的例子,但在操作面板441上明确显示观察模式,从而形成用户能够确认观察模式的状态的界面单元。
例如,如图32(D)所示设置LED 91,以便在操作面板441上明确显示观察模式(此处为分光图像观察模式)。控制部42进行如下控制:在通常图像观察模式时熄灭该LED 91;在分光图像观察模式时点亮该LED 91。
另外,更优选在LED 91的附近显示NBI的字符等,该NBI的字符表示该LED 91有无点亮是否为分光图像观察模式。
并且,图32(E)所示的例子中,操作面板441上设置有LED 92,该LED 92点亮NBI的字符本身或点亮字符以外的周围。而且,还可以通过控制部92进行如下控制:例如,如上所述在通常图像观察模式时熄灭LED 92;在分光图像观察模式时点亮LED 92。
此外,在图32(F)所示的例子中,在操作面板441上设置有LED 93,该LED 93点亮NBI的字符本身或点亮字符以外的周围。而且,控制部42还可以进行如下控制:根据观察模式分色进行点亮(显示),例如,在通常图像观察模式时如表示熄灭状态那样使LED 93以例如绿色点亮;在分光图像观察模式时使LED 93以白色点亮等。另外,此处说明了在作为界面单元的操作面板441上显示观察模式的信息或观察图像的信息的例子,然而也可以在键盘及其他界面单元上显示观察模式等的信息。
在采用图29所示的构成的情况下,也可以如图33所示利用写入到内窥镜101的ID存储器161等中的信息,与观察模式的切换联动地设定适合于各观察模式的系数。
若接通电源,则控制部42在最初的步骤S11中读取内窥镜101的ID存储器161、光源部41的ID存储器162的信息。
并且,在下一步骤S12中,控制部42判断是否已设定接通电源时的观察模式。该观察模式的设定信息存储于例如控制部42内的未图示的非易失性存储器中。另外,用户若利用键盘451设定接通电源时启动的观察模式,则控制部42将该设定信息存储到非易失性存储器中。
而且,控制部42读取该设定信息,在预先设定的观察模式下启动。并且,未进行设定的情况下,例如在通常图像观察模式下启动。
因此,在步骤S12中,控制部42判断出已设定接通电源时的观察模式的情况下,在接下来的步骤S13中,判断已设定的观察模式是否为通常图像观察模式。
而且,设定为通常图像观察模式的情况下以及步骤S12中未设定接通电源时的观察模式的情况下,进入到步骤S14a,控制部42将电子内窥镜装置100设定为通常图像观察模式后启动。
并且,设定为通常图像观察模式的情况下,控制部42设定与该观察模式对应的参数(系数)。即,如步骤S15a所示,与对应于该观察模式的参数联动地进行设定。
例如,控制部42根据观察模式控制光源部41的光量,该情况下,变更目标值或可变设定目标值的参数,以使希望控制光量的该目标值(基准值)适合于观察模式。
另外,控制光量的情况下,亮度的平均值或峰值的任意一个都可用于控制光量时,可以由用户选择进行光量控制的种类。并且,控制部42在其内部的非易失性存储器等中以通常图像观察和分光图像观察单独地存储例如轮廓增强的种类、灰度变换的种类、颜色涂布(painting)的种类等各种参数的设定值等的信息,控制部42还自动切换模式切换时观察模式所需的参数以外的其他参数的设定条件。
控制部42通过进行这样的控制,以适当的亮度、适合于诊断的色调、适当的轮廓状态等显示通常图像。
设定该参数之后,步骤S 16a中,控制部42处于等待观察模式的切换指示的状态。而且,若进行观察模式的切换指示,则转移到步骤S14b。
并且,步骤S13中,接通电源时的观察模式的设定不是通常图像观察模式的情况下,转移到步骤S14b,控制部42设定为分光图像观察模式。并且,如下一步骤S15b所示,控制部42与对应于该观察模式的参数联动地进行设定。
该情况下,控制部42将光量控制成适合于分光图像观察模式的目标值,并且,如图30的步骤S8所示,根据CCD 21的滤光器等的分光特性,切换设定由矩阵运算部436进行的矩阵运算的系数。
该情况下,分光图像观察模式下的目标值被设定为低于通常图像观察模式时的目标值的值。
而且,为了能够适当地计算出分光图像信号,控制部42使用上述目标值等参数控制光量,以便将不饱和的R,G,B信号输入到矩阵运算部436,并且,与滤光器等的分光特性对应地切换系数,以便矩阵运算部436能够适当地计算出分光图像信号。即,控制部42能够进行适当的信号处理。并且,控制部42还可以将上述轮廓增强等其他参数设定为适合于分光图像观察的值。
设定该参数之后,步骤S16b中,控制部42处于等待观察模式的切换指示的状态。而且,若进行观察模式的切换指示,则转移到步骤S14a。
根据本变形例,能够在与用户的设定对应的观察模式下启动接通电源时启动的观察模式。并且,能够与观察模式的切换联动地,顺利地设定各种参数,以便在适合于切换后的观察模式的状态下进行图像显示或信号处理,而无需由用户进行设定作业。因此,根据本变形例,能够提高操作性。
另外,图33的动作说明中,以用户利用接通电源前设定的信息来设定接通电源时启动的观察模式为例进行了说明,但如以下说明那样,例如也可以在接通电源时输入特定的按键,从而设定接通电源时启动的观察模式。
该情况下的动作的一部分示于图34的流程图。例如,在已接通电源的情况下,控制部42进行与图33的步骤S11相同的处理。然后,如步骤S18所示,控制部42以预定时间判断是否操作了预先设定的预定的按键输入,以选择接通电源时启动的观察模式。
并且,用户在想要选择接通电源时启动的观察模式时,操作键盘451等上的、预先设定的预定按键,进行按键输入。
而且,判断为已进行预定的按键输入的情况下,如步骤S19所示,控制部42进行如下控制:显示选择接通电源时启动的观察模式的选择用画面。
控制部42例如显示在通常图像观察模式或分光图像模式的哪一个模式下启动的选择用画面,使用户求出其选择。
然后,与图33的步骤S13大致相同,控制部42判断所选择的观察模式是否为通常图像模式。另一方面,在步骤S18的判断处理中判断为未操作预定按键的情况下,转移到图33的步骤S14a。之后的处理与图33相同。
根据本变形例,在启动时用户可以选择设定观察模式。通过上述按键操作,成为可选择观察模式的状态,然而作为其变形例,也可以通过预先操作的按键,确定接通电源时启动的观察模式。
在上述(包括变形例的)实施例1中,说明了适当地切换用于估计分光图像的矩阵运算部436中的矩阵运算的构成,然而如下面的实施例2所示,还可以适当地切换颜色调节单元的运算系数。
(实施例2)
接着,参见图35说明本发明的实施例2。图35表示实施例2的电子内窥镜装置中的颜色调节部的周边部的构成。本实施例是如下的具体例:在实施例1的图4的构成中,使用例如2个分光图像信号∑F2,∑F3,由颜色调节部440适当进行颜色调节。因此,本实施例中,不设置图4中的累加部438a,而是根据2个分光图像信号∑F2,∑F3生成彩色显示在显示监视器5上的分光通道图像信号。
本实施例中,作为适当切换颜色调节单元的运算系数的方法的具体例,使用从累加部43 8b、438c输出的2个分光图像信号∑F2,∑F3,按照如下方式适当进行分光图像的彩色显示。
例如,使用中心波长为约415nm和约540nm的分光图像(分光通道图像),将消化管粘膜作为被检体,在显示监视器5上作为模拟彩色图像显示分光图像。
作为将分光图像分配到(显示监视器106的)彩色通道的方法,可以考虑如下优选示例:考虑显示监视器5上的视觉辨认性,将540nm的分光通道图像输出到显示监视器106的R通道,将415nm的分光通道图像输出到G和B通道,在进行该输出调节之后进行显示。
该情况下,固定R通道的输出(信号增益),调节G和B通道的输出(信号增益),从而能够根据食道粘膜或大肠粘膜这样的分光反射率特性不同的被检体的生物体粘膜的上皮组织等的种类,调节分光彩色图像的颜色。关于该情况下的颜色调节部440的构成,图35中示出采用3个可变增益放大器Ar,Ag,Ab的示例。
例如,若将输出到显示监视器5的R、G、B通道的输出信号设为R,G,B,将415nm分光图像设为b,将540nm分光图像设为g,则成为如下设定:
R=k1*g、G=k2*b、B=k3*b。
其中,k1,k2,k3为加权系数。
例如,观察大肠粘膜的情况下,设定为k1>k2>k3;观察食道粘膜的情况下,设定为k1>k2′>k3′,且k2>k2′。
图35的例子中,根据希望观察的生物体粘膜的种类,在LUT 191内存储有增益控制数据,该增益控制数据相当于预先规定可变增益放大器Ar,Ag,Ab的增益的系数。并且,从该LUT 191输出的增益控制数据被施加给增益控制端,从而控制被施加了该增益控制数据的可变增益放大器Ar,Ag,Ab的增益。
该图35中,LUT 191内存储有例如用于大肠的增益控制数据191a或用于食道的增益控制数据191b等,用户通过对操作面板441的选择开关441a等进行操作,能够对LUT 191施加选择用于大肠的增益控制数据191a或用于食道的增益控制数据191b的选择信号(控制信号)。并且,通过该选择信号,LUT 191能够将对应的增益控制数据施加给可变增益放大器Ar,Ag,Ab。
根据这样构成的本实施例,想要观察食道粘膜的情况下,通过选择用于食道的增益控制数据191b,从而能够以白色再现重层扁平上皮,上皮内的毛细血管的视觉辨认性良好。
并且,想要观察大肠粘膜的情况下,用户通过选择用于大肠的增益控制数据191a,能够在视觉辨认性良好的状态下显示息肉或粘膜表面的微细图案。因此,根据本实施例,能够在视觉辨认性良好的状态下在作为观察对象的粘膜表面上显示微细构造等生物体的特征量。
另一方面,还可以进行如下变换:在想要以更高的对比度再现粘膜深部的血管的情况下,将反映该血管的g分光图像以一定比率等相加在b分光图像上,在G通道中再现。图36示出该情况下的构成例的一部分。
图36采用如下构成:在图35的构成中,g分光图像还经由乘法器192输入到可变增益放大器Ag。并且,从LUT 191向该乘法器192输入乘法系数。
该情况下,例如在LUT 191内存储的上述用于大肠的增益控制数据191a的情况下,该乘法系数为0(该情况下,作用与图35的情况相同),选择了用于以更高的对比度再现更深部侧的血管的用于大肠的增益控制数据(图中略称为大肠(2))191a′的情况下,该乘法系数例如被设定为m(0<m<1)。
而且,用户通过选择信号选择了用于大肠的增益控制数据191a的情况下,能够在容易视觉辨认大肠的毛细血管或微细图案的状态下、即在微细图案增强模式下进行观察。选择了用于大肠的增益控制数据191a′的情况下,能够在容易以高对比度视觉辨认粘膜深部侧的血管的状态下、即在深层血管增强模式下进行观察。
这样,准备多个用于切换颜色调节的颜色调节单元的模式,能够利用预定的用户界面切换使用,从而可以在容易视觉辨认分光图像的状态下,进行(即适当的模拟)彩色显示。
另外,本实施例中,说明了颜色调节部440使用2个分光图像信号∑F2,∑F3适当进行颜色调节的具体例,然而颜色调节部440也可以使用3个分光图像信号∑F1,∑F2,∑F3进行颜色调节。
(实施例3)
接着,参见图37~图40说明本发明的实施例3。
本实施例中,在观察分光图像的分光图像观察模式下,处于预先设定的条件时,进行强制地切换到通常图像观察模式的控制。更具体地说,分光图像的亮度达到为了判别较暗的图像而预先设定的阈值以下的情况下,控制部42进行如下控制:切换切换部439,以切换到通常图像观察模式。
图37所示的实施例3的电子内窥镜装置100采用如下结构:在图4的内窥镜装置100中,例如从矩阵运算部436输出的分光图像信号F1、F2、F3被输入到亮度判断部171,与预先设定的亮度水平的阈值Vth比较,将比较结果(判断结果)的信号输出到控制部42。
例如,亮度判断部171进行如下的条件判断(比较判断):例如1帧的3个分光图像信号的绝对值的总和信号是否在用于判断较暗图像状态而设定的阈值Vth以下。而且,亮度判断部171将其比较结果的信号输出到控制部42。符合该条件的情况下,控制部42控制切换部439的切换,并进行将观察模式强制地切换到通常图像观察模式的控制。
并且,实施例1中,如图8所示,矩阵运算部436利用电阻组31-1a等以硬件方式构成,然而本实施例中,例如如图38所示,通过该矩阵运算数值数据处理(基于使用程序的软件的处理)来进行。
图38所示的矩阵运算部436具有用于存储RGB各个彩色图像信号的图像存储器50。并且,具有系数寄存器151,该系数寄存器151中作为数值数据存储有式(21)所示的矩阵“A′”的各个值。
系数寄存器151和图像存储器50与乘法器53a~53i连接,而且,乘法器53a、53d、53g与乘法器54a连接,乘法器54a的输出被输入到图4的累加部438a。
并且,乘法器53b、53e、53h与乘法器54b连接,其输出被输入到累加部438b。而且,乘法器53c、53f、53i与乘法器54c连接,其输出被输入到累加部438c。
作为本实施例的动作,所输入的RGB图像数据临时存储在图像存储器50中。接着,通过保存在预定存储装置(未图示)中的运算程序,利用乘法器将来自系数寄存器151的矩阵“A′”的各系数与存储于图像存储器50的RGB图像数据相乘。
另外,图38示出利用乘法器53a~53c将R信号和各矩阵系数相乘的例子。并且,如图38所示,利用乘法器53d~53f将G信号和各矩阵系数相乘,利用乘法器53g~53i将B信号和各矩阵系数相乘。
对于分别与矩阵系数相乘后的数据,在乘法器54a中与乘法器53a、53d、53g的输出相乘,在乘法器54b中与乘法器53b、53e、53h的输出相乘,在乘法器54c中与乘法器53c、53f、53i的输出相乘。
乘法器54a的输出被发送到累加部438a。并且,乘法器54b、乘法器54c的输出分别被发送到累加部438b、438c。
并且,系数寄存器151与图4的系数控制部442连接,若选择了观察部位,则系数控制部442从LUT 443读出与该观察部位对应的矩阵系数,存储到系数寄存器151内。而且,使用该矩阵系数,通过系数寄存器151进行适合于观察部位的矩阵运算处理,生成分光图像信号F1,F2,F3。
采用该矩阵运算部436的情况下,能够与实施例1同样地得到可清楚显示血管图案的分光图像。
并且,本实施例中,不像实施例1那样通过硬件进行矩阵处理,而是采用软件来进行矩阵处理,因此,例如能够在无需变更硬件的情况下进行各矩阵系数的变更等。
并且,对于矩阵系数,仅以结果的值进行存储,即不是作为矩阵“A′”而是按照S(λ)、H(λ)、R(λ)、G(λ)、B(λ)进行存储,根据需要进行运算,从而求出矩阵“A′”来使用的情况下,可以仅变更其中的1个要素,从而方便性提高。例如,可以仅变更照明光的分光特性S(λ)等。其他构成与实施例1或实施例1的变形例的构成相同。
接着,参见图39说明通过本实施例中的亮度判断部171的判断结果来切换观察模式的动作。
若接通电源,则控制部42等处于动作状态,作为初始设定,如步骤S21所示进行如下控制:使得处于通常观察模式的动作状态。
并且,如步骤S22所示,处于等待观察模式的切换指示的状态。若由医生等用户从操作面板441等发出观察模式的切换指示,则如步骤S23所示,控制部42进行切换到分光图像观察模式的动作状态的控制。
这样,生成通过矩阵运算部436进行矩阵运算后的分光图像信号F1,F2,F3。通过累加部438a~438c累加这些分光图像信号F1,F2,F3,经由颜色调节部440调节色调,成为分光通道图像信号Rnbi、Gnbi、Bnbi,通过切换部439施加给显示监视器106的R通道、G通道、B通道,在显示监视器106的显示面上彩色显示分光图像。
若处于该分光图像观察模式,则矩阵运算部436的输出信号被输入到用于判断亮度的亮度判断部171,如步骤S24所示,亮度判断部171进行判断该分光图像是否在所设定的阈值Vth以下的动作。
并且,在不满足该条件的情况下,在下一步骤S25中,控制部42判断是否有观察模式的切换指示。而且,在没有该观察模式的切换指示的情况下,返回到步骤S24,进行亮度的判断处理。
另一方面,步骤S25中,在有观察模式的切换指示的情况下,如步骤S6所示,控制部42进行切换到通常观察模式的动作状态的控制。
并且,本实施例中,在步骤S24的判断处理中,当通过亮度判断部171判断为检测到的亮度达到阈值Vth以下时,进入到步骤S26。而且,在该步骤S26中,控制部42即使在未进行观察模式的切换指示的情况下,也进行切换到通常观察模式的动作状态的控制。
在进行切换到该通常观察模式的控制之后,返回到步骤S22的处理,继续进行上述的处理。
如上所述,分光图像观察模式中,当各图像的1帧的亮度为阈值Vth以下的情况下,难以通过分光图像识别出血管构造等,因此,通过在装置侧强制地切换到通常观察图像,从而能够成为容易观察的图像,无需医生进行切换操作。因此,根据本实施例,操作性有所提高。
另外,作为本实施例的变形例,还可以形成系数设定切换单元,当亮度判断部171的亮度大于阈值Vth,没有暗到切换到通常图像观察模式程度的情况下,该系数设定切换单元根据该情况下的画面(场景)的亮度例如切换颜色调节部440的色调系数。
图40示出该情况下的动作的一部分。此处,作为简单例,说明阈值Vth以上的2个亮度水平的情况,但在3个以上的亮度水平的情况下,也同样能够应用。将划分2个亮度的阈值设为Vth2。
图39的步骤S24中,当亮度为阈值Vth以上时,如步骤S27所示,亮度判断部171进一步判断该亮度是否为第二阈值Vth2以下。
并且,大于该阈值Vth2的情况下,与图39的情况相同,进入到步骤S25(此处,为了简化假定设定为适合于大于阈值Vth2的情况的色调)。
另一方面,当前的亮度小于阈值Vth2的情况下,如步骤S28所示,控制部42显示是否切换到适合于亮度的系数,等待用户判断是否进行切换。并且,当选择了切换时,如步骤S29所示,控制部42进行取为适合于该亮度的色调系数的系数切换,然后,进入到步骤S25。而且,没有选择切换的情况下,也进入到步骤S25。其他处理与图39的情况相同。
根据本变形例,能够根据场景的亮度以适当的色调进行显示。例如,与较亮时的色调的情况相比,在较暗的情况下,例如以提高彩度的方式切换系数。通过采用这种方式,即使在亮度下降的情况下,也能够维持由较亮的色调容易地视觉辨认生物体的特征量的功能。
此外,还可以采用如下构成:预先选择根据场景的亮度值切换其色调系数进行显示的色调模式,由用户选择了该色调模式的情况下,可自动地根据场景的亮度值切换其色调系数进行显示。
另外,本实施例中采用了由分光图像判断其亮度的构成,然而也可以采用如下方式:由通常图像的亮度估计分光图像的亮度,当达到某一阈值以下时切换到通常观察模式。
本实施例中,分光图像的亮度达到与较暗的图像状态对应的预定值以下时,切换到通常观察模式,然而也可以采用以下的实施例4的方式。
(实施例4)
接着,参见图41~图43说明本发明的实施例4。图41示出本发明的实施例4的电子内窥镜装置100的构成。对于本实施例的电子内窥镜装置100,在图37的构成中,替代亮度判断部171而具备用于判断色调的色调判断部172。
并且,本实施例中具备面顺次方式的光源部41B,而未采用实施例1等中使用的同步式光源部41。
该光源部41B在灯15的前面设有光圈25,在光圈25的更前面设置有RGB滤光器23。并且,光圈25与光圈控制部24连接。而且,光源部41B根据来自光圈控制部24的控制信号,借助光圈25限制从灯15照射的光束中的透过的光束,并改变光量。并且,RGB旋转滤光器23与RGB旋转滤光器控制部26连接,以预定的旋转速度旋转。
作为本实施例中的光源部41B的动作,从灯15输出的光束被光圈25限制成预定的光量,透过光圈25后的光束经由RGB滤光器每隔预定的时间,作为R·G·B各自的照明光、即R·G·B的面顺次照明光从光源部41B输出。并且,R·G·B的面顺次照明光经由光导14照射到被检体内,其反射光被CCD 21接收。
该情况下的CCD 21是没有设置滤光器的单色CCD 21,该CCD 21所得到的信号(摄像信号)根据所照射的时间,利用设置于内窥镜装置主体105的切换部(未图示)进行分配,分别输入到S/H电路433a~433c。
即,从光源部41照射了经由R滤光器的R照明光的情况下,CCD 21所得到的信号被输入到S/H电路433a。另外,采用设置有滤光器的CCD21的情况下,如图37所示,可以采用同步式光源部41。
并且,如图42所示,上述色调判断部172具有:(第一)色相/彩度设定部173,其设定与想要检测的色调对应的色调范围;以及色相/彩度判断部174,其判断是否符合通过该色相/彩度设定部173设定的色调范围的条件。
该情况下,由色相/彩度设定部173设定的色调范围可从键盘451及其他装置经由控制部42输入,由用户等进行设定。并且,来自矩阵运算部436的分光图像信号F1、F2、F3被输入到色相/彩度判断部174。而且,色相/彩度判断部174判断这些信号是否包含在通过色相/彩度设定部173设定的色调范围内,将其判断结果输出到控制部42。
控制部42根据判断结果控制切换部439的切换等。
例如,在以1帧中检测到预定面积以上的、输入到色调判断部172的当前的分光图像信号的色调在通过该色调判断部172内的色相/彩度判断部174判断出的色调范围内的情况时,色相/彩度判断部174将表示处于该色调范围内的判断信号输出到控制部42。
这样,控制部42进行如下控制:强制地切换到通常图像观察模式,且切换切换部439,向显示监视器5输出相当于通常图像的彩色图像信号。
并且,本实施例中,该色调判断部172上设置有第二色相/彩度设定部175。该第二色相/彩度设定部175从键盘451等经由控制部42登记希望检测的色调。
并且,还可以根据实际取得的分光图像信号数据登记设定与希望检测的色调对应的色调范围。
即,存在希望检测的典型的分光图像信号数据时,通过键盘451等的取得指示,经由控制部42将该图像数据输入到第二色相/彩度设定部175中。该情况下,也可以根据需要对该数据进行加工,以设定用于检测与其接近的色调的的色调范围。而且,用户能够在(第一)色相/彩度设定部173或第二色相/彩度设定部175的想要优先的色调范围内进行色调判断。
采用这种方式,能够在第二色相/彩度设定部175中登记有各种色调。
接下来说明本变形例的动作。本变形例中,替代在图39的步骤S24中判断所检测到的亮度是否在阈值Vth以下,而通过色调判断部172判断是否在1帧画面中已检测到一定面积以上的、检测到的色调位于预定色调范围的情况。
并且,当检测到一定值以上的处于预定色调范围的情况时,控制部42进行如下控制:强制地从分光图像观察模式切换到通常观察模式。除此之外的动作与图39中说明的情况相同。
根据本实施例,在成为与分光图像观察模式相比更优选通常图像观察模式的预定色调的情况下,能够强制地设定为通常图像观察模式。例如,在分光信号彩色图像中,在进行大肠内窥镜检查的情况下,若残留有剩余食物或大便等所谓残渣,则该残渣类似于出血颜色那样显示为红色。这是由于,残渣较强地吸收蓝色光,较强地反射绿色光。通常,在进行大肠内窥镜检查之前,作为前处置而清洗大便等。
但是,根据大肠的状态,有时不能完全清洗干净或残留有相当量的残渣。
该情况下,若还采用分光彩色图像,则有时难以确保适合于检查的状态的视场,在这样的情况下,优选强制地返回到显示已看习惯的通常图像的通常图像观察模式。
本实施例中,在该情况下,在信号处理控制单元内设置上述那样的色调检测单元,更具体地说例如设置检测色相和彩度的单元。而且,判断为残渣占画面上的一定以上的面积时,进行将观察模式切换单元返回到(或切换到)通常观察模式的控制。
另外,作为本实施例的变形例,也可以对上述第二色相/彩度设定部175设定多个色调、或想要检测的色调,在分光图像观察模式中检测到其中一个时,控制部42进行使其返回到通常观察模式的控制。除上述的残渣之外,如存在大量胆汁而不能将生物体组织的粘膜作为分光图像适当地观察的情况、或者由于色差分散而使该色素的色调给分光图像带来较大影响的情况那样,在这类不适合分光图像观察模式的情况下,优选强制地返回到通常图像观察模式。
图43示出该情况下的动作的一部分。图43为对图39的步骤S24的判断处理部分进行变更后的处理。
另外,在开始该动作之前,用户借助来自键盘451等的指示操作,在第二色相/彩度设定部175中登记例如残渣、胆汁、典型例的色素分散引起的已着色的色素的色调数据,作为想要检测的色调。
并且,在检测到预定量以上的例如基于这些残渣、胆汁、色素的色调的任意一个的情况下,用户选择使其返回到通常观察模式的设定模式。与图39的步骤S23相同地切换到分光图像观察模式之后,色调判断部172处于监视是否已成为预定色调的状态。即,如步骤S24a所示,判断当前的分光图像的色调是否为残渣的色调,若判断为一定面积以上为残渣的色调,则如步骤S26所示,控制部42强制地切换到通常图像观察模式。
并且,在当前的分光图像的色调不是残渣的色调的情况下,进入到步骤S24b,判断是否为胆汁的色调,若判断为一定面积以上为胆汁的色调,则如步骤S26所示,控制部42强制地切换到通常图像观察模式。
而且,在当前的分光图像的色调不是胆汁的色调的情况下,进入到步骤S24c,判断是否为由色素着色后的色调,若判断为一定面积以上为由色素着色后的色调,则如步骤S26所示,控制部42强制地切换到通常图像观察模式。
此外,在当前的分光图像的色调不是由色素着色后的色调的情况下,进入到步骤S25,控制部42处于等待观察模式的切换指示的状态。
根据本变形例,能够在为不适合以分光图像观察模式进行观察的色调的情况下,强制地切换到通常图像观察模式,能够省去用户进行切换的麻烦。因此,根据本变形例,操作性有所提高。
并且,在上述的实施例中,为了避免RGB彩色信号饱和,对照明光量(来自光源部的光量)进行控制/调节。相对于此,还存在调节(利用)CCD的电子快门的方法。
在CCD中,在一定时间内累积与入射的光强度成正比的电荷,将该电荷量设为信号。所谓的电子快门相当于累积该电荷的电荷累积时间。通过调节基于该电子快门的电荷累积时间,能够调节电荷的累积量、即信号量。即,如图44所示,通过得到依次改变电荷累积时间的状态下的RGB彩色图像,能够得到与控制照明光量的情况相同的分光图像。
另外,图44中示出面顺次照明的情况。该情况下,上侧示出R,G,B的照明状态,下段示出基于电子快门的电荷累积时间。
即,照明光量的控制用于获得通常图像,在得到分光图像时,通过改变基于电子快门的电荷累积时间,可以避免RGB彩色信号饱和。
另外,电子快门还可用于同步式的情况。
并且,作为本变形例的变形例,还可以采用如下方式。
该变形例与实施例4相同地利用面顺次方式,并且,活用了该优点。通过对基于电子快门控制的电荷累积时间进行加权,能够简化分光图像数据的生成。即,本变形例中具有CCD驱动电路431,该CCD驱动电路431能够改变CCD 21的电荷累积时间。
作为本变形例的动作,如图45所示,经由RGB旋转滤光器23分别照射照明光时,改变CCD 21中的基于电子快门的电荷累积时间。此处,将照明光分别为R·G·B时的CCD 21的电荷累积时间设为tdr、tdg、tdb(另外,图45中,B的彩色图像信号没有设定累积时间,因此省略tdb)。
例如,对于进行(21)式所示的矩阵处理时的F3模拟滤光器图像,根据由通常内窥镜得到的RGB图像,进行下述的运算,
F3=-0.050R-1.777G+0.829B…(25)
因此,将图43中的按照各个RGB的基于电子快门控制的电荷累积时间如下设定即可:
tdr:tdg:tdb=0.050:1.777:0.829…(26)
并且,在矩阵部中,将仅反转R和G成分后的信号和B成分相加。由此,能够得到与实施例3相同的分光图像。
根据本实施例,能够与实施例4相同地得到清楚显示有血管图案的分光图像。并且,本实施例中,与实施例4同样地在彩色图像信号的制作中利用了面顺次方式,并且,能够使用电子快门按照每个彩色图像信号而使电荷累积时间不同,因此,在矩阵运算部436中,仅进行加法运算、差分处理即可,可以将处理简化。
(实施例5)
下面,参见图46~图48说明本发明的实施例5。图46表示本发明的实施例5的电子内窥镜装置100。本实施例的电子内窥镜装置100采用如下构成:例如,在图4的电子内窥镜装置100中,部分变更主体处理装置43的构成,例如还能够在显示监视器106上同时显示通常观察图像和分光图像。如以下说明的那样设置有显示状态控制单元或显示控制单元,其除了能够切换显示一方图像之外,例如还能够变更尺寸而显示双方。
如图46所示,例如从颜色信号处理部435输出的颜色信号R′、G′、B′被输入到重叠部181,颜色信号R′、G′、B′通过重叠部181与累加部438a~438c的输出信号∑F1~∑F3重叠。重叠后的信号以R″、G″、B″表示。信号R″、G″、B″被输入到白平衡电路182,从白平衡电路182输出为白平衡调节后的信号Rwb,Gwb,Bwb。
另外,在图46中,如实线所示将累加部438a~438c的输出信号∑F1~∑F3输入到重叠部181,然而也可以如双点划线所示,在成为通过颜色调节部440进行颜色调节的信号之后,输入到重叠部181。
这些信号Rwb,Gwb,Bwb被输入到γ校正电路183,成为γ校正后的信号Rγ,Gγ,Bγ,输入到第一颜色变换电路184,变换成亮度信号Y和色差信号R-Y,B-Y。
并且,亮度信号Y借助增强电路185增强轮廓而成为亮度信号Yeh,该亮度信号Yeh与色差信号R-Y、B-Y一起被输入到第二颜色变换电路186,通过该第二颜色变换电路186进行颜色变换,生成颜色信号R,G,B。
而且,颜色信号R,G,B被输入到显示监视器106的R,G,B的各通道,在显示监视器106上显示对应的图像。
在本实施例的例如重叠部181中内置有:选择电路,其仅选择一方信号进行输出;以及放大/缩小电路181a,其进行放大/缩小。此外,控制部42根据来自用户操作的键盘451及其他装置的显示控制信号,从重叠部181仅输出一方信号。另外,在显示监视器106上显示所选择的一方图像。
并且,重叠部181根据该显示控制信号,进行放大/缩小从颜色信号处理部435输出的颜色信号R′、G′、B′或累加部438a~438c的输出信号∑F1~∑F3的图像尺寸的调节,将两个图像重叠进行输出。采用这种方式,在本实施例中形成对显示于显示监视器106上的图像等进行控制的显示状态控制单元或显示控制单元。
例如,在图46的显示监视器106上示出同时显示两个图像的例子,其中,来自从颜色信号处理部435输出的颜色信号R′、G′、B′侧的通常图像以保持原有的尺寸进行显示,相对于此,来自累加部438a~438c的输出信号∑F1~∑F3侧的分光图像以调节成小尺寸的状态进行显示。
并且,本实施例中,如图47、图48所示,在图像附近明确显示用于确认的信息,以便能够确认实际显示于显示监视器106上的图像是通常图像还是分光图像。即,设置如下的观察模式显示单元:在显示与各观察模式对应的图像的情况下,在与该观察模式对应的图像附近显示该观察模式或图像的种类。另外,本实施例中的矩阵运算部(图46中略称为MX运算部)436′内置有图4中的系数控制部442和LUT 443的功能。
其他构成例如与图4的构成相同。图32中说明了通过切换观察模式来择一选择一个观察模式的情况,然而本实施例还对应于同时选择2个观察模式、同时显示通过2个观察模式得到的图像的情况。
图47示出通过由用户选择控制观察模式或显示方法而显示在显示监视器106上的图像显示例。
图47(A)和图47(B)分别示出在显示监视器106上仅显示通常图像或仅显示分光图像的情况。该情况下,例如采用与图32(A)和图32(B)相同的显示方式。
并且,图47(C)示出以大尺寸显示通常图像,将分光图像设为小尺寸而重叠显示两个图像的情况。即,示出在父画面上显示通常图像、在子画面上显示分光图像的画中画方式显示的例子。
图47(D)示出切换图47(C)中的通常图像和分光图像的尺寸进行显示的情况。
采用这种方式,根据本实施例,能够同时显示通常图像和分光图像,因此,用户的选择项进一步拓宽,操作性有所提高。
并且,本实施例中,即使在仅显示一方图像的情况下,也能够根据显示监视器106的分辨率等进行放大显示,因此,即使在显示监视器106的显示面的分辨率等不同的情况下,也能够以适当的大小进行显示。而且,在各图像的例如下方显示该图像的观察模式或图像的种类,以便用户能够容易确认。在此,以NI明确表示通常图像的情况,以NBI明确表示分光图像的情况。
另外,图47中说明了通常的显示监视器106的情况,但例如还可以在具有横长的显示面的显示监视器上进行显示。
图48(A)示出在具有横长的显示面的显示监视器106上同时显示通常图像和分光图像的情况。该情况下,通过调节显示尺寸,也能够如图48(A)所示以较大的尺寸进行显示。
并且,如图48(B)所示,也可以准备2个显示监视器106A、106B,分别显示通常图像和分光图像。而且,还可以切换该显示。
而且,要显示的分光图像可以仅选择一个波长进行显示,也可以像实施例2等那样,使用2个或3个分光图像进行模拟彩色显示。
此外,作为本实施例中的观察模式的显示例,说明了在显示2个观察模式的图像双方的情况下也以容易确认的方式进行显示的例子,然而在仅显示一方的观察模式的图像的情况下,也可以如图32(D)~图32(F)。
另外,作为同时显示通常图像和分光图像时的构成,不限于图46的构成,例如,在图4的构成中,替代选择一方图像的切换部439,采用选择一方图像并合成(重叠)两个图像的图46的重叠部181,由此能够得到大致相同的作用效果。
(实施例6)
图49和图50涉及本发明的实施例6,图49是表示滤光器的排列的图,图50是表示图49的滤光器的分光灵敏度特性的图。
实施例6与实施例1基本相同,因此,仅说明不同之处,对于相同的构成赋予相同符号,省略说明。
本实施例与实施例1的主要不同之处在于设置在CCD 21上的滤光器。实施例1中如图6所示使用RGB原色型滤光器,相对于此,本实施例中使用补色型滤光器。
该补色型滤光器的排列如图49所示,由G、Mg、Ye、Cy的各要素构成。另外,原色型滤光器的各要素与补色型滤光器的各要素的关系为Mg=R+B、Cy=G+B、Ye=R+G。
该情况下,读出CCD 21的全部像素,对来自各滤光器的图像进行信号处理或图像处理。并且,对于原色型滤光器的(1)式~(8)式以及(19)式~(21)式,变形为补色型滤光器时,成为以下的(27)式~(33)式。其中,作为目标的窄频带的带通滤光器的特性相同。
G Mg Cy Ye a 1 a 2 a 3 b 1 b 2 b 3 c 1 c 2 c 3 d 1 d 2 d 3 = F 1 F 2 F 3 · · · ( 27 )
C=(G Mg Cy Ye) A = a 1 a 2 a 3 b 1 b 2 b 3 c 1 c 2 c 3 d 1 d 2 d 3 F =(F1  F2  F3)    …(28)
kG=(∫S(λ)×H(λ)×G(λ)dλ)-1
kMg=(∫S(λ)×H(λ)×Mg(λ)dλ)-1
kCy=(∫S(λ)×H(λ)×Cy(λ)dλ)-1
kYe=(∫S(λ)×H(λ)×Ye(λ)dλ)-1    …(29)
K = k G 0 0 0 0 k Mg 0 0 0 0 k Cy 0 0 0 0 k Ye · · · ( 30 )
A = - 0.413 - 0.678 4.385 - 0.040 - 3.590 2.085 - 0.011 - 2.504 - 1.802 0.332 3.233 - 3.310 · · · ( 31 )
K = 1 0 0 0 0 0.814 0 0 0 0 0.730 0 0 0 0 0.598 · · · ( 32 )
A ′ = KA = 1 0 0 0 0 0.814 0 0 0 0 0.730 0 0 0 0 0.598 - 0.413 - 0.678 4.385 - 0.040 - 3.590 2.085 - 0.011 - 2.504 - 1.802 0.332 3.233 - 3.310
= - 4.013 - 0.678 4.385 - 0.033 - 2.922 1.697 - 0.008 - 1.828 - 1.315 - 0 . 109 1.933 - 1.979 · · · ( 33 )
并且,图50示出使用补色型滤光器时的分光灵敏度特性、作为目标的带通滤光器以及通过上述(27)式~(33)式求出的模拟带通滤光器的特性。
另外,使用补色型滤光器的情况下,自不必说,图4所示的S/H电路是分别针对G·Mg·Cy·Ye进行的,而不是分别针对R·G·B进行的。
而且,即使在使用补色型滤光器的情况下,也能够应用式(9)~(18)所示的矩阵估计方法。该情况下,补色型滤光器的数量为4个时,以式(14)假设的生物体分光反射率能够用3个基本分光特性近似的部分为4个或4个以下。因此,与此相对应,用于运算估计矩阵的维数由3变为4。
根据本实施例,能够与实施例1相同地得到清楚显示有血管图案的分光图像。并且,本实施例中,能够享受使用补色型滤光器时的优点。
另外,本发明可以以各种方式组合上述实施例来使用,并且,还可以在不脱离本发明宗旨的范围内进行变形。
例如,对于已经说明的全部实施例,在临床中可以按照其它定时由操作者亲自制作新的模拟带通滤光器并应用于临床。即,如实施例1所示,也可以在图4中的控制部42上设置能够运算/计算矩阵系数的设计部(未图示)。
由此,也可以重新设计模拟带通滤光器,其适合于通过经由图4所示的在内窥镜主体105上设置的键盘451输入条件而得到操作者想要知道的分光图像。该情况下,在图4中的矩阵运算部436中,设定对计算出的矩阵系数(相当于(19)式和(31)式的矩阵“A”的各要素)施加校正系数(相当于(20)式和(32)式的矩阵“K”的各要素)后的最终矩阵系数(相当于(21)式和(33)式的矩阵“A′”的各要素),由此能够即时应用于临床。
另外,上述的各实施例等中,生成分光图像信号的情况下,作为根据由CCD 21拍摄到的摄像信号生成的彩色图像信号,主要说明了被称为颜色信号的RGB信号的情况,然而也可以根据由亮度信号和色差信号构成的彩色图像信号生成分光图像信号。
另外,在上述的各实施例等中,以如下情况为例进行了说明:通过内窥镜101的光导14来引导来自光源部31的照明光,从光导14的前端面向作为被检体的例如生物体组织等照射(引导后的)照明光,从而对被检体进行照明。
本发明不限于此,例如还可以在内窥镜101的前端部103配置发光二极管(略称为LED),利用从该LED照射的照明光照明被检体。即,该情况下,成为光源部或照明部设置在内窥镜101上的例子。
(实施例7)
接着,参见图1~图3、图51、图5~图7、图52、图9~图20、图53、图22、图54、图55、图56,说明本发明的实施例7。图51是表示图3的电子内窥镜装置的构成的框图,图52是表示图51的矩阵运算部的构成的结构图,图53是表示图51的颜色调节部的构成的框图,图54是表示图51的颜色调节部的变形例的构成的框图,图55是表示生物体功能运算部的构成的框图,图56是表示在监视器上的显示例的图。
本实施例的目的在于,提供一种生物体观测装置,能够与生物体组织的期望深部的组织信息联动地显示生物体功能信息,对提高诊断能力作出贡献,其中,所述生物体组织的期望深部的组织信息是基于通过信号处理得到的分光图像的信息。
本实施例7的图1和图2、矩阵计算方法、校正方法、S/N的改善方法、矩阵计算方法的变形例已在实施例1的导入部中有所说明,因此,省略其说明。
接着,本发明的实施例7的电子内窥镜装置的外观上的构成例如与图3相同。
如图3所示,电子内窥镜装置100具有内窥镜101、内窥镜装置主体105、显示监视器106。并且,内窥镜101主要由如下部分构成:插入部102,其插入到被检体的体内;前端部103,其设置在插入部102的前端;以及弯曲操作部104,其设置在插入部102的与前端侧相反一侧,用于指示前端部103的弯曲动作等。
利用内窥镜装置主体105对由内窥镜101取得的被检体的图像进行预定的信号处理,在显示监视器106中显示处理后的图像。
接着,参见图51详细说明内窥镜装置主体105。另外,图51是同步式的电子内窥镜装置100的框图。
如图51所示,内窥镜装置主体105主要由作为照明部的光源部41、控制部42、以及主体处理装置43构成。控制部42和主体处理装置43构成信号处理控制部,该信号处理控制部控制上述光源部41和/或作为摄像部的CCD 21的动作,向作为显示装置的显示监视器106输出影像信号。
本实施例成为如下构成:在图4所示的实施例1中,不设置操作面板441、系数控制部442、LUT 443、键盘451,而设置生物体功能运算部450。来自累加部438a、438b、438c的输出信号输入到该生物体功能运算部450,该生物体功能运算部450生成表示生物体功能的指标的信息,输出到切换部439。下面,更详细地说明内窥镜装置主体105的构成。
另外,本实施例中说明在作为1个单元的内窥镜装置主体105内具有光源部41和进行图像处理等的主体处理装置43的情况,但是这些光源部41和主体处理装置43也可以作为独立于内窥镜装置主体105的单元,以可装卸的方式构成。
光源部41与控制部42和内窥镜101连接,根据来自控制部42的信号,以预定光量进行白色光(也包括并不完全是白色光的情况)的照射。并且,光源部41具有作为白色光源的灯15、用于调节光量的斩波器16、以及用于驱动斩波器16的斩波器驱动部17。
斩波器16是图5所示的构成,在实施例1中已对其构成和动作进行了说明,因此,在此省略说明。
另外,光源部41可以通过控制灯15的电流来调节光量,而不是通过斩波器的光量控制来调节光量。即,设置用于控制灯15的电流的电流控制装置,该电流控制装置根据来自控制部42的指令,控制流到灯15的电流,使得RGB的任何彩色图像信号都不处于饱和状态。由此,对用于使灯15发光的电流进行控制,所以其光量根据该电流的大小而变化。
在这样采用灯15的电流控制时的电子内窥镜装置中,也能够得到清楚显示有血管图案等的分光图像。并且,与使用斩波器的光量控制方法相比,基于灯15的电流控制的光量控制方法具有控制方法简单的优点。
并且,经由连接器11与光源部41连接的内窥镜101在前端部103上具有物镜19和CCD等固体摄像元件21(下面简称为CCD)。本实施例中的CCD是单板式(用于同步式电子内窥镜的CCD)、原色型。另外,图6表示配置于CCD的摄像面上的滤光器的排列。而且,图7表示图6的滤光器中的RGB的各个分光灵敏度特性。
并且,如图51所示,插入部102具有:光导14,其将从光源部41照射的光引导到前端部103;信号线,其用于将利用CCD得到的被检体的图像传送到主体处理装置43;以及钳子通道28,其用于进行处置;等等。另外,用于向钳子通道28插入钳子的钳子口29设置于操作部104附近。
而且,主体处理装置43与光源部41同样地经由连接器11与内窥镜101连接。在主体处理装置43上设置有用于驱动CCD 21的CCD驱动电路431。此外,主体处理装置43具有亮度信号处理系统和颜色信号处理系统,作为用于得到通常图像的信号电路系统。
亮度信号处理系统具有:轮廓校正部432,其与CCD 21连接,进行轮廓校正;以及亮度信号处理部434,其根据轮廓校正部432校正后的数据生成亮度信号。而且,颜色信号处理系统具有:采样保持电路(S/H电路)433a~433c,其与CCD 21连接,进行由CCD 21得到的信号的采样等,生成RGB信号;以及颜色信号处理部435,其与S/H电路433a~433c的输出连接,用于生成颜色信号。
而且,主体处理装置43设置有通常图像生成部437,该通常图像生成部437根据亮度信号处理系统的输出和所述颜色信号处理系统的输出生成1个通常图像,从通常图像生成部437经由切换部439向显示监视器106输送Y信号、R-Y信号、B-Y信号。
另一方面,作为用于得到分光图像的信号电路系统,设置有矩阵运算部436,该矩阵运算部436被输入S/H电路433a~433c的输出信号(RGB信号),对RGB信号进行预定的矩阵运算。矩阵运算是指对彩色图像信号彼此进行加法运算处理等、并将通过上述矩阵计算方法(或其变形例)求出的矩阵相乘的处理。
另外,本实施例中,作为该矩阵运算的方法,说明了使用电子电路处理(由使用电子电路的硬件进行的处理)的方法,但如后所述的实施例,也可以采用使用数值数据处理(由使用程序的软件进行的处理)的方法。并且,在实施时还可以将这些方法组合起来。
图52表示矩阵运算部436的电路图。RGB信号分别经由电阻组31a~31c输入到放大器32a~32c。
各个电阻组具有分别连接RGB信号的多个电阻,各个电阻的电阻值为与矩阵系数对应的值。即,成为如下结构:借助各个电阻改变RGB信号的放大率,利用放大器进行加法运算(也可以是减法运算)。
各个放大器32a~32c的输出成为矩阵运算部436的输出。即,该矩阵运算部436进行所谓的加权加法运算处理。另外,也可以将此处使用的各个电阻的电阻值设为可变。
矩阵运算部436的输出被分别输入到累加部438a~438c,进行积分运算之后,各个分光图像信号∑F1~∑F3被发送到颜色调节部440和生物体功能运算部450。
颜色调节部440对分光图像信号∑F1~∑F3进行后述的颜色调节运算,分别生成作为进行色调运算后的分光图像信号的分光通道图像信号Rnbi、Gnbi、Bch,发送到切换部439。另外,本实施例中,在图51中没有明确示出显示监视器106的R、G、B通道,但是分光通道图像信号Rnbi、Gnbi、Bch被分别输出到显示监视器106的R、G、B通道。因此,作为着眼于显示监视器106上的显示颜色的表现,还可以将分光通道图像信号Rnbi、Gnbi、Bch称为输出到显示监视器106的R、G、B通道的彩色通道图像信号。
并且,本实施例中的生物体功能运算部450根据分光图像信号∑F1~∑F3,通过运算等计算表示生物体功能的指标、更具体地说与生物体的血液中的具有氧代谢功能的血红蛋白的浓度相关的值(血红蛋白指数;IHb),作为生物体功能信息。并且,生物体功能运算部450根据计算出的IHb值生成模拟图像(模拟彩色图像或灰度图像)等生物体功能图像(包含在生物体功能信息中),发送到切换部439。另外,对于颜色调节部440和生物体功能运算部450的构成在后面叙述。
另外,切换部439用于在显示监视器106上切换显示通常图像、分光图像、生物体功能图像(生物体功能信息),还可以进行分光图像彼此的切换显示。即,操作者可以从通常图像、分光通道图像信号Rnbi、Gnbi、Bnbi的分光通道图像、生物体功能图像中进行选择并显示。而且,还可以构成为可通过切换部439将任意2个以上的图像同时显示到显示监视器106上。
尤其是可以在显示监视器106上同时显示通常图像、分光通道图像、生物体功能图像的情况下,用户能够简单地相对于进行一般观察的通常图像来对比分光通道图像和生物体功能图像。而且,用户能够在考虑通常图像和分光通道图像各自的特征(通常图像的特征在于色度接近通常的肉眼观察而易于进行观察。分光通道图像的特征在于能够观察到通常图像中不能观察到的预定血管等)的基础上进行观察。因此,本实施例非常有利于诊断。
接着,参见图51详细说明本实施方式的电子内窥镜装置100的动作。
另外,下面首先说明观察通常图像时的动作,然后说明观察分光图像时的动作。
首先,说明光源部41的动作,根据来自控制部42的控制信号,斩波器驱动部17被设定在预定位置,使斩波器16旋转。来自灯15的光束通过斩波器16的切口部,借助聚光透镜汇聚在作为光纤束的光导14的入射端,该光导14设置在位于内窥镜101和光源部41之间的连接部上的连接器11内。
汇聚后的光束通过光导14,从设置于前端部103的照明光学系统照射到被检体的体内。所照射的光束在被检体内反射,经由物镜19在CCD21中按照图6所示的各个滤光器收集信号。
收集到的信号被并行地输入到上述亮度信号处理系统和颜色信号处理系统。按照各个滤光器收集到的信号按照每个像素相加之后输入到亮度信号系统的轮廓校正部432,进行轮廓校正后,输入到亮度信号处理部434。在亮度信号处理部434中生成亮度信号,所生成的亮度信号被输入到通常图像生成部437。
并且,另一方面,利用CCD 21收集到的信号按照各个滤光器输入到S/H电路433a~433c,分别生成R·G·B信号。此外,利用颜色信号处理部435对R·G·B信号进行颜色信号处理之后,在通常图像生成部437中根据所述亮度信号和颜色信号生成Y信号、R-Y信号、B-Y信号。Y信号、R-Y信号、B-Y信号经由切换部439输出到显示监视器106,在显示监视器106上显示被检体的通常图像。
接着,说明观察分光图像时的动作。另外,关于进行与通常图像的观察相同的动作的部分,在此省略说明。
操作者通过对设置于主体105上的键盘或设置于内窥镜101的操作部104上的开关等进行操作,从而进行从通常图像观察分光图像的指示。此时,控制部42变更光源部41以及主体处理装置43的控制状态。
具体地说,控制部42根据需要变更从光源部41照射的光量。如上所述,不希望来自CCD 21的输出达到饱和状态,因此与观察通常图像时相比,控制部42在观察分光图像时减小照明光量。并且,控制部42也可以控制成不使来自CCD的输出信号处于饱和状态,并在不饱和的范围内改变照明光量。
并且,作为由控制部42进行的对主体处理装置43的控制变更,将从切换部439输出的信号从通常图像生成部437的输出切换到颜色调节部440的输出。
并且,S/H电路433a~433c的输出被矩阵运算部436进行放大/加法运算处理,根据各自的频带输出到累加部438a~438c,进行累加处理后输出到颜色调节部440。即使在利用斩波器16减小照明光量的情况下,也可以由累加部438a~438c进行保存/累加,由此如图2所示提高信号强度,并能够得到提高S/N后的分光图像。
下面叙述本实施例的具体的矩阵运算部436的矩阵处理。本实施例中,想要根据图7中实线所示的RGB滤光器的分光灵敏度特性,制作接近图7所示的理想的窄频带带通滤光器F1~F3(此处,将各个透过波段设为F1:590nm~620nm、F2:520nm~560nm、F3:400nm~440nm)的带通滤光器(下面称为模拟带通滤光器)时,通过前述的(1)式~(5)式所示的内容,使得以下的矩阵成为最佳矩阵。
式19
A = 0.625 - 3.907 - 0.05 - 3.097 0.631 - 1.661 0.036 - 5.146 0.528 · · · ( 19 )
此外,通过(6)式和(7)式所示的内容进行校正,则得到以下的校正系数。
K = 1 0 0 0 1.07 0 0 0 1.57 · · · ( 20 )
另外,使用如下的预见信息:(6)式所示的光源的光谱S(λ)如图9所示、(7)式所示的要关注的生物体的反射光谱H(λ)如图10所示。
因此,由矩阵运算部436进行的处理在数学上与以下的矩阵运算同值。
A ′ = KA = 1 0 0 0 1.07 0 0 0 1.57 0.625 - 3.907 - 0.05 - 3.097 0.631 - 1.661 0.036 - 5.146 0.528
= 0.625 - 3.907 - 0.050 - 3.314 0.675 - 1.777 0.057 - 8.079 0.829 · · · ( 21 )
通过进行该矩阵运算,能够得到模拟滤光器特性(图7中表示为滤光器模拟F1~F3的特性)。即,在上述矩阵处理中,使用以上述方式预先生成的模拟带通滤光器(矩阵),对彩色图像信号制作分光图像信号。
以下说明使用该模拟滤光器特性生成的内窥镜图像的一例。
如图11所示,体腔内组织51大多具有例如沿深度方向不同的血管等的吸收体分布结构。在粘膜表层附近主要分布有较多毛细血管52,并且,在比该层深的中层上除了毛细血管之外还分布有比毛细血管粗的血管53,在更深层上分布有更粗的血管54。
另一方面,光对体腔内组织51的深度方向的侵入深度取决于光的波长,如图12所示,包括可见区域的照明光为蓝(B)色光这类波长短的光时,由于生物体组织中的吸收特性以及散射特性,光只能侵入到表层附近,在到达表层的深度范围内被吸收、散射,可观测到从表面发出的光。并且,包括可见区域的照明光为波长比蓝(B)色光长的绿(G)色光时,侵入到比蓝(B)色光侵入的范围更深的地方,在该范围内被吸收、散射,可观测到从表面发出的光。此外,对于波长比绿(G)色光长的红(R)色光,光到达更深的范围。
体腔内组织51的通常观察时的RGB光如图13所示,各波段重叠,因此,
(1)在借助B频带光利用CCD 21拍摄到的摄像信号中拍摄到图14所示的具有包含较多浅层上的组织信息的浅层以及中层组织信息的波段图像,
(2)并且,在借助G频带光利用CCD 21拍摄到的摄像信号中拍摄到图15所示的具有包含较多中层上的组织信息的浅层以及中层组织信息的波段图像,
(3)而且,在借助R频带光利用CCD 21拍摄到的摄像信号中拍摄到图16所示的具有包含较多深层上的组织信息的中层以及深层组织信息的波段图像。
此外,利用内窥镜装置主体105对这些RGB摄像信号进行信号处理,从而作为内窥镜图像可以得到希望或自然的颜色再现的内窥镜图像。
上述的矩阵运算部436的矩阵处理中,使用以上述方式预先生成的模拟带通滤光器(矩阵),对彩色图像信号制作分光图像信号。
例如,使用图17所示的可提取希望的深层组织信息的离散且窄频带的分光特性的模拟带通滤光器F1~F3,得到分光图像信号F1~F3。模拟带通滤光器F1~F3如图17所示,各波段未重叠,因此,
(4)在模拟带通滤光器F3产生的分光图像信号F3中拍摄到图18所示的具有浅层上的组织信息的波段图像,并且,
(5)在模拟带通滤光器F2产生的分光图像信号F2中拍摄到图19所示的具有中层上的组织信息的波段图像,而且,
(6)在模拟带通滤光器F1产生的分光图像信号F1中拍摄到图20所示的具有深层上的组织信息的波段图像。
接着,针对这样得到的分光图像信号F1~F3,作为最单纯的颜色变换的例,颜色调节部440将分光图像信号F1分配给(输出到显示监视器106的R通道的)分光通道图像信号Rnbi,将分光图像信号F2分配给(输出到显示监视器106的G通道的)分光通道图像信号Gnbi,将分光图像信号F3分配给(输出到显示监视器106的B通道的)分光通道图像信号Bnbi,经由切换部439输出到显示监视器106。
如图53所示,颜色调节部440由颜色变换处理电路440a构成,该颜色变换处理电路440a具有:3×3矩阵电路61;设置于3×3矩阵电路61前后的3组LUT 62a,62b,62c,63a,63b,63c;以及系数变更电路64,其变更LUT 62a,62b,62c,63a,63b,63c的表数据和3×3矩阵电路61的系数。
利用LUT 62a,62b,62c按照各个波段数据对输入到颜色变换处理电路440a的分光图像信号F1~F3进行反γ校正和非线性的对比度变换等。
然后,利用3×3矩阵电路61进行颜色变换之后,利用后级的LUT63a,63b,63c进行γ校正和适当的灰度变换处理。
可以利用系数变更电路64变更这些LUT 62a,62b,62c,63a,63b,63c的表数据和3×3矩阵电路61的系数。
系数变更电路64执行的变更根据来自设置于内窥镜101的操作部等上的处理变换开关(未图示)的控制信号来进行。
接收到这些控制信号的系数变更电路63从预先存储于颜色调节部440内的系数数据调出适当的数据,利用该数据改写当前的电路系数。
接着,叙述具体的颜色变换处理内容。式(22)示出颜色变换式的一例。
R nbi G nbi B nbi = 1 0 0 0 1 0 0 0 1 F 1 F 2 F 3 · · · ( 22 )
基于该式(22)的处理是指作为分别输出到显示监视器106的R、G、B各彩色通道的分光通道图像信号Rnbi、Gnbi、Bnbi,将分光图像信号F1~F3以波长短的顺序分配的颜色变换。
这样,在利用彩色图像观察与分光通道图像信号Rnbi、Gnbi、Bnbi对应的分光通道图像的情况下,例如成为图22所示的图像。粗血管位于深的位置,反映出分光图像信号F3,作为显示颜色,显示为蓝色系的图案。位于中层附近的血管网较强地反映出分光图像信号F2,因此,作为显示颜色(彩色图像),显示为红色系的图案。血管网内存在于粘膜表面附近的部分表现为黄色系的图案。
另外,颜色变换处理电路440a利用由3×3矩阵电路61构成的矩阵运算器进行颜色变换,但是不限于此,也可以利用数值运算处理器(CPU)或LUT构成颜色变换处理单元。
例如,在上述实施例中,通过以3×3矩阵电路61为中心的构成来示出颜色变换处理电路440a,但是如图54所示,即使利用与各波段对应的三维LUT 71来置换颜色变换处理电路440a,也能得到同样的效果。该情况下,系数变更电路64进行如下动作:根据来自设置于内窥镜101的操作部等上的处理变换开关(未图示)的控制信号,变更表的内容。
另一方面,对于分光通道图像的观察图像,操作者通过对设置于主体105上的键盘或设置于内窥镜101的操作部104上的开关等进行操作,向生物体功能运算部450发出运算指示时,使用分光图像信号F1~F3中2个波段图像信息,利用图55所示的IHb值计算电路450a运算IHb值。
在现有的IHb值运算中使用式(34),但该式利用了G波段图像较强地反映出血液信息的情况。
另一方面,若使滤光器窄频带化,则在B图像上较强地反映出表面上的毛细血管。因此,B图像和G图像中血液存在的深度不同,B反映出表层位置的信息,G反映出更深层位置的信息。
IHb=32×Log2(R/G)  …(34)
从而,在生物体功能运算部450中,将相当于R频带的分光图像信号F1用作R信号,将相当于G频带的分光图像信号F2用作G信号,将相当于B频带的分光图像信号F3用作B信号。而且,通过来自操作开关等的指示来切换设置于IHb计算电路450a上的选择器451的动作,由此,生物体功能运算部450切换式(34)所示的基于G信息的粘膜中层的IHb值和式(35)所示的基于B信息的粘膜表层的IHb值进行运算。
由此,用户能够分离生物体组织的组织表面附近的希望深部的组织信息进行确认。
IHb=32×Log2(R/B)  …(35)
具体地说,如图55所示,IHb计算电路450a由选择器451、除法器452、对数变换部453、乘法器454构成。将作为R信号的分光图像信号F1、由选择器451选择出的作为G信号的分光图像信号F2、或作为B信号的分光图像信号F3输入到除法器452,利用除法器452计算出R/G或R/B。
除法器452的输出被输入到对数变换部453,利用对数变换部453使用ROM上的变换表等进行对数变换。进行对数变换后的信号通过乘法器454与预定系数相乘,计算出每个像素的IHb值。
并且,根据运算出的每个像素的IHb值来生成模拟彩色图像等,模拟彩色图像等经由切换部439输出到显示监视器106。例如,如图5 5所示,在显示监视器106上,画面左侧显示有通常的彩色图像106A,画面右侧显示有基于分光通道图像的观察图像106C,在观察图像106B的下部显示有基于IHb值的生物体功能图像106C。
这样,在显示监视器106上同时显示通常图像、颜色变换成适合于观察希望深部的组织信息的色调的观察图像、以及基于与该观察图像对应的组织的IHb值的生物体功能信息。并且,根据本实施例,能够提高医生的诊断能力。
例如,通过基于式(22)的颜色变换处理,将分光图像信号F2分配给分光通道图像信号Gnbi(显示监视器106的G通道),在红色系图案的观察图像中显示位于中层附近的血管网,同时根据分光图像信号F1,F2的G信息计算粘膜中层的IHb值,显示生物体功能图像。通过该显示,医生能够容易地把握血红蛋白分布引起的血液动态的变化。
此时,存在于粘膜表面附近的血管网在观察图像中表现为黄色系的图案,黄色系的图案与背景粘膜之间的对比度较弱,存在视觉辨认性下降的倾向。粘膜表面附近的图案的变化对于早期病变的发现鉴别诊断来说特别重要。
因此,如下所述的情况成为有效:为了更加清楚地再现观察图像上的粘膜表面附近的图案,进行以下的式(23)所示的变换,并且根据分光图像信号F1,F3的B信息计算粘膜表层的IHb值,显示生物体功能图像。
R nbi G nbi B nbi = 1 0 0 0 ω G ω B 0 0 1 F 1 F 2 F 3 · · · ( 23 )
基于该式(23)的处理是将分光图像信号F1以某一定比率混合到分光图像信号F2中,将所生成的数据重新设为分光通道图像信号Gnbi的变换例,可以更加明确血管网等吸收散射体根据深度位置而有所不同的情况。
因此,通过系数变更电路64调节矩阵系数,从而用户可以调节显示效果。其动作如下:与设置于内窥镜101的操作部上的模式切换开关(未图示)联动地在图像处理单元内以贯穿动作将矩阵系数设定为默认值。
此处,贯穿动作是指,3×3矩阵电路61上搭载单位矩阵、LUT62a,62b,62c,63a,63b,63c上搭载非变换表的状态。默认值是指对矩阵系数赋予例如ωG=0.2、ωB=0.8这样的设定值。
而且,用户对内窥镜101的操作部等进行操作,将该系数调节成ωG=0.4、ωB=0.6等。LUT 62a,62b,62c,63a,63b,63c中根据需要应用反γ校正表、γ校正表。
另外,还可以在生物体功能运算部450上设置IHb计算电路450a和运算部,该运算部用于运算图像整体的IHb的平均值、IHb的标准方差、IHb的尖度等特征量,将这些数值与基于IHb值的生物体功能图像一起显示到显示监视器106的画面上。
这样根据本实施例,利用用于生成通常的电子内窥镜图像(通常图像)的彩色图像信号,生成模拟的窄频带滤光器,从而不使用用于分光图像的光学波长为窄频带的带通滤光器,也能够得到具有血管图案等的希望深部的组织信息的分光图像。
并且,在本实施例中,根据分光图像设定颜色调节部440的颜色变换处理电路440a的参数,从而可以实现活用窄频带的分光图像观察时的侵入深度信息这样的特征的表现方法,能够有效分离生物体组织的组织表面附近的希望深部的组织信息进行确认。
而且,根据本实施例,在同一显示监视器上除了通常彩色图像之外还同时显示适合于观察的色调的观察图像、基于IHb值的模拟图像等的生物体功能信息,从而能够容易地把握例如淤血状态等。因此,无需像以往那样频繁切换各种图像,在本实施例中能够容易地比较对照各图像,具有提高诊断能力的效果。
(实施例8)
图57是表示本发明的实施例8的矩阵运算部的构成的框图。
实施例8与实施例7基本相同,因此,仅说明与实施例7的不同之处,对于相同的构成赋予相同符号,省略其说明。
本实施例与实施例7的主要不同之处在于矩阵运算部436。在实施例7中,通过电子电路、即所谓的硬件处理来进行矩阵运算,但在本实施例中,通过数值数据处理(基于使用程序的软件的处理)来进行该矩阵运算。
图57示出本实施例的矩阵运算部436的具体构成。该矩阵运算部436具有图像存储器50,该图像存储器50存储有RGB各自的彩色图像信号。并且,具有系数寄存器151,该系数寄存器151中存储有式(21)所示的矩阵“A′”的各值作为数值数据。
系数寄存器151和图像存储器50与乘法器53a~53i连接,而且乘法器53a、53d、53g与乘法器54a连接,乘法器54a的输出与图51中的累加部438a连接。并且,乘法器53b、53e、53h与乘法器54b连接,其输出与累加部438b连接。而且,乘法器53c、53f、53i与乘法器54c连接,其输出与累加部438c连接。
作为本实施例的动作,所输入的RGB图像数据暂时存储在图像存储器50中。接着,通过保存在预定存储装置(未图示)的运算程序,利用乘法器将来自系数寄存器151的矩阵“A′”的各系数和图像存储器50中存储的RGB图像数据相乘。
另外,图57中示出利用乘法器53a~53c将R信号和各矩阵系数相乘的例子。并且,如图57所示,利用乘法器53d~53f将G信号和各矩阵系数相乘,利用乘法器53g~53i将B信号和各矩阵系数相乘。对于分别与矩阵系数相乘后的数据,利用乘法器54a将乘法器53a、53d、53g的输出相乘,利用乘法器54b将乘法器53b、53e、53h的输出相乘,并且,利用乘法器54c将乘法器53c、53f、53i的输出相乘。
乘法器54a的输出被发送到累加部438a。并且,乘法器54b、乘法器54c的输出被分别发送到累加部438b、438c。
根据本实施例,能够与实施例7相同地得到清楚显示有血管图案的分光图像,并且能够显示与该分光观察图像相关的生物体功能信息。
并且,在本实施例中,不是如实施例7那样通过硬件进行矩阵处理,而是使用软件进行矩阵处理,因此,例如能够迅速地与各矩阵系数的变更等对应。
而且,对于矩阵系数,仅以结果的值进行存储,即不是作为矩阵“A′”而是按照S(λ)、H(λ)、R(λ)、G(λ)、B(λ)进行存储,根据需要进行运算从而求出矩阵“A′”来使用的情况下,可以仅变更其中的1个要素,从而方便性提高。例如,可以仅变更照明光的分光特性S(λ)等。
(实施例9)
图58和图59涉及本发明的实施例9,图58是表示电子内窥镜装置的构成的框图,图59是表示图58的CCD的电荷累积时间的图。
实施例9与实施例7的构成基本相同,因此仅说明与实施例7的不同之处,对于相同构成要素赋予相同符号,省略其说明。
本实施例与实施例7的不同之处在于光源部41和CCD 21。实施例7中,CCD 21上设置有图6所示的滤光器,通过该滤光器生成彩色摄像信号,相对于这种所谓的同步式,本实施例采用以RGB的顺序照射照明光来生成彩色摄像信号的面顺次式的CCD 21。
如图58所示,本实施例的光源部41中,在灯15的前面设置有光圈25,在光圈25的更前面设置有RGB滤光器23。并且,光圈25与光圈控制部24连接,根据来自光圈控制部24的控制信号,限制从灯15照射的光束中的透过的光束并改变光量。并且,RGB旋转滤光器23与RGB旋转滤光器控制部26连接,以预定的旋转速度旋转。
作为本实施例的光源部41的动作,从灯15输出的光束被光圈25限制成预定的光量,透过光圈25的光束经由RGB滤光器23,每隔预定的时间,作为R·G·B各自的照明光从光源部41输出。
并且,各个照明光在被检体内反射,被CCD 21接收。CCD 21得到的信号根据所照射的时间,利用设置于内窥镜装置主体105的切换部(未图示)进行分配,分别输入到S/H电路433a~433c。
即,从光源部41经由R滤光器照射照明光的情况下,CCD 21得到的信号将被输入到S/H电路433a。另外,其它动作与实施例7相同,因此,此处省略说明。
根据本实施例,能够与实施例7相同地得到清楚显示有血管图案的分光观察图像,并且能够显示与该分光观察图像相关的生物体功能信息。
并且,本实施例中,与实施例7有所不同,能够享受由所谓的面顺次方式带来的优点。另外,该优点例如可举出后述的实施例10的优点。
并且,上述的实施例中,为了避免RGB彩色信号的饱和,控制/调节照明光量(来自光源部的光量)。相对于此,还有调节CCD的电子快门的方法。CCD中在一定时间内累积与入射的光强度成正比的电荷,将该电荷量设为信号。所谓的电子快门相当于累积该电荷的电荷累积时间。
通过调节该电子快门,能够调节电荷的累积量、即信号量。因此,如图59所示,通过在依次改变电荷累积时间的状态下得到RGB彩色图像,从而能够得到与控制照明光量的情况相同的分光图像。
即,在上述的各个实施例中,照明光量的控制用于得到通常图像,在得到分光图像时,通过改变电子快门,可以避免RGB彩色信号饱和。
(实施例10)
图60是表示本发明的实施例10的CCD的电荷累积时间的图。
实施例10与实施例9的构成基本相同,因此仅说明与实施例9的不同之处,对于相同的构成要素赋予相同符号,省略其说明。
本实施例主要与实施例9同样地利用了面顺次方式,并且,活用了其优点。通过对实施例9中的基于电子快门控制的电荷累积时间进行加权,能够简化分光图像数据的生成。
即,本实施例中具有CCD驱动电路431,该CCD驱动电路431能够改变CCD 21的电荷累积时间。另外,其它构成与实施例9相同,所以在此省略说明。
作为本实施例的动作,如图60所示,经由RGB旋转滤光器23分别照射照明光时,CCD驱动电路431改变CCD 21中的基于电子快门的电荷累积时间。
此处,将照明光分别为R·G·B时的CCD 21的电荷累积时间设为tdr、tdg、tdb(另外,图60中,B的彩色图像信号没有设置累积时间,因此省略tdb)。例如,对于进行(21)式所示的矩阵处理时的F3模拟滤光器图像,根据由通常内窥镜得到的RGB图像,进行下述运算,
F3=-0.050R-1.777G+0.829B…(25)
因此,将图60中的按照各个RGB的基于电子快门控制的电荷累积时间如下设定即可,
tdr:tdg:tdb=0.050:1.777:0.829…(26)
并且,在矩阵部中,将仅反转R和G成分后的信号和B成分相加。由此,能够得到与实施例7~实施例9相同的分光图像。
根据本实施例,能够与实施例9相同地得到清楚显示有血管图案的分光观察图像,并且能够显示与该分光观察图像相关的生物体功能信息。而且,在本实施例中,与实施例9相同地在彩色摄像信号的制作中利用了面顺次方式,并且能够使用电子快门使每个彩色摄像信号的电荷累积时间不同,因此,在矩阵运算部436中仅进行加法运算、差分处理即可,可以将处理简化。
(实施例11)
图61和图62涉及本发明的实施例11,图61是表示滤光器的排列的图,图62是表示图61的滤光器的分光灵敏度特性的图。
实施例11与实施例7基本相同,因此仅说明与实施例7的不同之处,对于相同的构成要素赋予相同符号,省略其说明。
本实施例与实施例7的主要不同之处在于设置在CCD 21上的滤光器。在实施例7中,如图6所示使用RGB原色型滤光器,相对于此,本实施例中使用补色型滤光器。
该补色型滤光器的排列如图61所示,由G、Mg、Ye、Cy的各要素构成。另外,原色型滤光器的各要素与补色型滤光器的各要素的关系为Mg=R+B、Cy=G+B、Ye=R+G。
该情况下,内窥镜装置主体105读出CCD 21的全部像素,对来自各滤光器的图像进行信号处理或图像处理。并且,对于原色型滤光器的(1)式~(8)式以及(19)式~(21)式,变形为补色型滤光器时,成为以下的(27)式~(33)式。其中,作为目标的窄频带的带通滤光器的特性相同。
G Mg Cy Ye a 1 a 2 a 3 b 1 b 2 b 3 c 1 c 2 c 3 d 1 d 2 d 3 = F 1 F 2 F 3 · · · ( 27 )
C=(G Mg Cy Ye) A = a 1 a 2 a 3 b 1 b 2 b 3 c 1 c 2 c 3 d 1 d 2 d 3 F=(F1 F2 F3)  …(28)
kG=(∫S(λ)×H(λ)×G(λ)dλ)-1
kMg=(∫S(λ)×H(λ)×Mg(λ)dλ)-1
kCy=(∫S(λ)×H(λ)×Cy(λ)dλ)-1
kYe=(∫S(λ)×H(λ)×Ye(λ)dλ)-1    …(29)
K = k G 0 0 0 0 k Mg 0 0 0 0 k Cy 0 0 0 0 k Ye · · · ( 30 )
A = - 0.413 - 0.678 4.385 - 0.040 - 3.590 2.085 - 0.011 - 2.504 - 1.802 0.332 3.233 - 3.310 · · · ( 31 )
K = 1 0 0 0 0 0.814 0 0 0 0 0.730 0 0 0 0 0.598 · · · ( 32 )
A ′ = KA = 1 0 0 0 0 0.814 0 0 0 0 0.730 0 0 0 0 0.598 - 0.413 - 0.678 4.385 - 0.040 - 3.590 2.085 - 0.011 - 2.504 - 1.802 0.332 3.233 - 3.310
= - 0.413 - 0.678 4.385 - 0.033 - 2.922 1.697 - 0.008 - 1.828 - 1.315 0.109 1.933 - 1.979 . . . ( 33 )
并且,图62示出使用补色型滤光器时的分光灵敏度特性、作为目标的带通滤光器以及通过上述(27)式~(33)式求出的模拟带通滤光器的特性。
另外,使用补色型滤光器的情况下,自不必说,图51所示的S/H电路是分别针对G·Mg·Cy·Ye进行的,而不是分别针对R·G·B进行的。
而且,即使在使用补色型滤光器的情况下,也能够应用式(9)~(18)所示的矩阵估计方法。该情况下,补色型滤光器的数量为4个时,以式(14)假设的生物体分光反射率能够用3个基本分光特性近似的部分为4个或4个以下。因此,与此相对应,用于运算估计矩阵的维数由3变为4。
根据本实施例,能够与实施例7相同地得到清楚显示有血管图案的分光图像,并且,能够显示与该分光观察图像相关的生物体功能信息。并且,本实施例中,能够享受使用补色型滤光器时的优点。
以上,对本发明的各实施例进行了说明,但本发明可以以各种方式组合上述实施例来使用,并且还可考虑在不脱离本发明宗旨的范围内进行变形。
例如,对于已经说明的全部实施例,还可以在临床中按照其它定时由操作者亲自制作新的模拟带通滤光器并应用于临床。即,如实施例7所示,在图51中的控制部42上设置能够运算/计算矩阵系数的设计部(未图示)。
由此,经由图3所示的设置在内窥镜装置主体105上的键盘输入条件,从而可以重新设计适合于得到操作者想要知道的分光图像的模拟带通滤光器。并且,在图51中的矩阵运算部436中,设定对计算出的矩阵系数(相当于(19)式和(31)式的矩阵“A”的各要素)施加校正系数(相当于(20)式和(32)式的矩阵“K”的各要素)后的最终矩阵系数(相当于(21)式和(33)式的矩阵“A′”的各要素),从而能够即时应用于临床。
图63表示到应用于临床为止的流程。详细说明该流程,首先,操作者经由键盘等输入作为目标的带通滤光器的信息(例如波段等)。由此,与已经存储于预定存储装置等中的光源·CCD的滤光器的特性等一起计算出矩阵“A′”,如图61所示,作为光谱图,将基于该矩阵“A′”的运算结果(模拟带通滤光器)与作为目标的带通滤光器的特性一起显示在监视器上。
操作者确认到该运算结果之后使用新制作的矩阵“A′”时,进行其设定,使用该矩阵“A′”生成实际的内窥镜图像。并且,与此同时,新制作的矩阵“A′”存储到预定的存储装置中,可以根据操作者的预定操作再次使用。
由此,操作者可以不采用既有的矩阵“A′”,而根据自己的经验等生成新的带通滤光器,尤其是在用于研究的情况下,能够得到较高的效果。
本发明不限于上述的实施例,在不改变本发明的宗旨的范围内可以进行各种变更、改变等。
产业上的可利用性
通过电信号处理根据彩色图像信号(生物体信号)生成分光图像信号(分光信号),并设置色调的调节单元或系数切换单元,因此,即使在希望观察的生物体组织不同的情况下,也能够确保高可靠性的状态,并能够在操作性良好的状态下进行图像显示。
本申请是以2005年5月12日在日本申请的特愿2005-140379号、2005年5月12日在日本申请的特愿2005-140383号为优先权主张的基础而提出的,上述的公开内容被引用在本申请说明书、权利要求书以及附图中。

Claims (35)

1.一种生物体观测装置,其特征在于,所述生物体观测装置具有:
彩色图像信号生成部,其对第一摄像信号或第二摄像信号进行信号处理,生成用于在显示装置上显示为彩色图像的彩色图像信号,所述第一摄像信号是利用第一摄像装置拍摄被白色光的照明光照明的被检体而得到的,该第一摄像装置具备多个宽频带的波长透过特性的滤光器,所述第二摄像信号是利用第二摄像装置拍摄被覆盖可见区域的互不相同的多个宽频带的波段的面顺次照明光照明的被检体而得到的;
分光图像信号生成部,其根据所述第一摄像信号或所述第二摄像信号,通过对用于生成所述彩色图像信号的颜色信号或所述彩色图像信号进行信号处理,生成与窄频带的图像信号对应的分光图像信号,该窄频带的图像信号是拍摄被窄频带的波段的照明光照明的被检体时得到的;
显示颜色变换部,其针对所述分光图像信号变换作为分光图像显示于显示装置上时的显示颜色;以及
特性变更设定部、显示颜色变更设定部和界面部中的至少一个,所述特性变更设定部用于变更设定所述分光图像信号生成部中的所述分光图像信号的生成特性,所述显示颜色变更设定部用于变更设定所述显示颜色变换,所述界面部用于进行切换和/或确认包括显示于显示装置上的图像在内的信息的指示操作。
2.根据权利要求1所述的生物体观测装置,其特征在于,所述显示颜色变更设定部具有:系数存储部,其存储有用于变更所述显示颜色变换的特性的多个变换用系数;以及系数切换设定部,其用于变换利用所述显示颜色变换部进行显示颜色变换时使用的变换用系数、即切换设定变换用系数。
3.根据权利要求1所述的生物体观测装置,其特征在于,所述生物体观测装置具有光源部,该光源部用于产生利用所述第一摄像装置或所述第二摄像装置进行拍摄时使用的所述照明光。
4.根据权利要求1所述的生物体观测装置,其特征在于,所述第一摄像装置或所述第二摄像装置设置于内窥镜中,具有可自由装卸地连接所述内窥镜的连接部。
5.根据权利要求1所述的生物体观测装置,其特征在于,所述特性变更设定部根据与所述第一摄像装置或所述第二摄像装置以及光源部的至少一方对应的信息,自动或手动地利用所述特性变更设定部来变更设定所述生成特性,所述光源部用于产生利用所述第一摄像装置或所述第二摄像装置进行拍摄时使用的所述照明光。
6.根据权利要求1所述的生物体观测装置,其特征在于,所述分光图像信号生成部具有系数存储部,该系数存储部存储用于变更所述分光图像信号的生成特性的多个系数,所述特性变更设定部是针对所述系数存储部切换设定用于变更设定所述生成特性的系数的系数切换设定部。
7.根据权利要求6所述的生物体观测装置,其特征在于,存储于所述系数存储部的所述多个系数包括多个生物体用系数,该多个生物体用系数与对应于作为所述被检体的生物体的分光反射特性的种类、生物体中的观察对象部位的名称、或生物体的粘膜组织的种类对应。
8.根据权利要求6所述的生物体观测装置,其特征在于,存储于所述系数存储部的所述多个系数包括多个特征量用系数,该多个特征量用系数用于与作为所述被检体的生物体中的多个不同的特征量对应地变更所述分光图像信号的生成特性。
9.根据权利要求2所述的生物体观测装置,其特征在于,存储于所述系数存储部的所述多个变换用系数包括与作为所述被检体的生物体中的分光反射特性不同的多个特征量对应的特征量用系数。
10.根据权利要求8所述的生物体观测装置,其特征在于,所述特征量用系数被设定为生成所述分光图像信号的血管用系数,所述分光图像信号用于观测从所述生物体表面向深度方向分布的血管构造。
11.根据权利要求9所述的生物体观测装置,其特征在于,所述特征量用系数被设定为用于设定所述分光图像信号的显示颜色的血管用系数,所述分光图像信号用于观测从所述生物体表面向深度方向分布的血管构造。
12.根据权利要求1所述的生物体观测装置,其特征在于,所述生物体观测装置还具有亮度判断部,该亮度判断部判断所述分光图像信号中的亮度是否在基准值以下,根据所述亮度判断部的判断结果,切换所述分光图像信号的生成特性。
13.根据权利要求1所述的生物体观测装置,其特征在于,所述生物体观测装置还具有亮度判断部,该亮度判断部在所述分光图像信号中的亮度在基准值以下时输出判断信号,借助所述判断信号,将显示于所述显示装置上的图像强制地从所述分光图像切换到所述彩色图像。
14.根据权利要求1所述的生物体观测装置,其特征在于,所述生物体观测装置还具有色调判断部,该色调判断部判断所述分光图像信号是否与预定色调值相应,根据所述色调判断部的判断结果,切换所述分光图像信号的生成特性。
15.根据权利要求1所述的生物体观测装置,其特征在于,所述生物体观测装置还具有特定色调值检测部,该特定色调值检测部检测所述分光图像信号的色调值是在所述被检体中存在用于染色的色素、残渣以及胆汁中的至少一个时的特定色调值的情况,当利用所述特定色调值检测部检测到的特定色调值在预定量以上的情况下,将显示于显示装置上的所述分光图像强制地切换到所述彩色图像。
16.根据权利要求1所述的生物体观测装置,其特征在于,所述特性变更设定部具有光源种类/分光特性检测部,该光源种类/分光特性检测部检测安装在产生所述照明光的光源部上的光源的种类以及分光特性的不同的至少一方,根据所述光源种类/分光特性检测部的检测结果,变更所述分光图像信号的生成特性。
17.根据权利要求1所述的生物体观测装置,其特征在于,所述界面部具有显示状态控制部,该显示状态控制部控制显示于所述显示装置上的所述彩色图像和所述分光图像的至少一方的显示状态。
18.根据权利要求17所述的生物体观测装置,其特征在于,所述显示状态控制部具有显示选择部,该显示选择部选择如下的至少一方的显示,即,同时显示所述显示装置所显示的所述彩色图像和所述分光图像的两方图像、以及仅显示所述彩色图像和所述分光图像中的一方图像。
19.根据权利要求17所述的生物体观测装置,其特征在于,所述显示状态控制部具有图像尺寸变更部,该图像尺寸变更部对所述彩色图像信号和/或分光图像信号变更显示于显示装置上时的图像尺寸,将利用所述图像尺寸变更部变更后的图像尺寸的彩色图像信号和/或分光图像信号输出到显示装置上。
20.根据权利要求1所述的生物体观测装置,其特征在于,所述生物体观测装置具有观察图像模式设定部,该观察图像模式设定部具有:观察图像选择部,为了将所述彩色图像和所述分光图像的一方的图像作为由用户进行观察的观察图像显示于所述显示装置上,所述观察图像选择部进行将所述一方的图像显示于所述显示装置上的选择;以及控制部,其将所述彩色图像信号生成部或所述分光图像信号生成部控制在动作状态,以便至少生成利用所述观察图像选择部选择出的一方的图像。
21.根据权利要求19所述的生物体观测装置,其特征在于,当所述生物体观测装置接通电源时,所述观察图像模式设定部根据来自所述观察图像选择部的选择操作,将显示于所述显示装置上的观察图像设定为所述彩色图像或所述分光图像。
22.根据权利要求19所述的生物体观测装置,其特征在于,所述观察图像模式设定部与所述彩色图像或所述分光图像的选择联动地切换信号处理部和光源部的至少一方的参数,所述信号处理部包括用于将所述彩色图像或所述分光图像输出到所述显示装置的所述彩色图像信号生成部和分光图像信号生成部,所述光源部产生所述照明光。
23.根据权利要求1所述的生物体观测装置,其特征在于,所述观察图像模式设定部具有观察图像信息显示部,该观察图像信息显示部显示与显示于所述显示装置上的观察图像相关的信息。
24.根据权利要求23所述的生物体观测装置,其特征在于,所述观察图像信息显示部在所述显示装置上明确显示所述显示装置所显示的观察图像是所述彩色图像或分光图像的哪个图像。
25.根据权利要求23所述的生物体观测装置,其特征在于,所述观察图像信息显示部在所述界面部上明确显示所述显示装置所显示的观察图像是所述彩色图像或分光图像的哪个图像,所述界面部设置于生物体观测装置上,用于由用户进行指示操作。
26.一种生物体观测装置,其特征在于,所述生物体观测装置具有:
通常图像信号生成部,其对第一摄像信号或第二摄像信号进行信号处理,生成用于在显示装置上显示为彩色通常图像的通常图像信号,所述第一摄像信号是利用第一摄像装置拍摄被白色光的照明光照明的被检体而得到的,所述第一摄像装置具备多个宽频带的波长透过特性的滤光器,所述第二摄像信号是利用第二摄像装置拍摄被覆盖可见区域的互不相同的多个宽频带的波段的面顺次照明光照明的被检体而得到的;
分光图像信号生成部,其根据所述第一摄像信号或所述第二摄像信号,通过对用于生成所述彩色图像信号的颜色信号或所述彩色图像信号进行信号处理,生成与窄频带的图像信号对应的分光图像信号,所述窄频带的图像信号是拍摄被窄频带的波段的照明光照明的被检体时得到的;以及
生物体功能信息计算部,其根据所述分光图像信号,计算将被检体作为生物体时与生物体的血液相关的生物体功能信息。
27.根据权利要求26所述的生物体观测装置,其特征在于,所述生物体功能信息计算部将计算出的所述生物体功能信息输出到显示装置。
28.根据权利要求26所述的生物体观测装置,其特征在于,所述生物体观测装置还包括颜色调节部,该颜色调节部针对所述分光图像信号调节作为分光图像显示于所述显示装置上时的显示颜色。
29.根据权利要求26所述的生物体观测装置,其特征在于,所述生物体观测装置具有光源部,该光源部用于产生利用所述第一摄像装置或所述第二摄像装置进行拍摄时使用的所述照明光。
30.根据权利要求26所述的生物体观测装置,其特征在于,所述第一摄像装置或所述第二摄像装置设置于内窥镜中,具有可自由装卸地连接所述内窥镜的连接部。
31.根据权利要求26所述的生物体观测装置,其特征在于,所述生物体功能信息是作为表示血液中含有的血红蛋白浓度的指标的血红蛋白指数。
32.根据权利要求28所述的生物体观测装置,其特征在于,所述生物体功能信息是作为表示血液中含有的血红蛋白浓度的指标的血红蛋白指数。
33.根据权利要求31所述的生物体观测装置,其特征在于,所述血红蛋白指数根据红色波段的分光图像信号与绿色波段的分光图像信号之比的对数进行计算。
34.根据权利要求31所述的生物体观测装置,其特征在于,所述血红蛋白指数根据红色频带的分光信号与蓝色频带的分光信号之比的对数进行计算。
35.根据权利要求31所述的生物体观测装置,其特征在于,所述生物体功能信息计算部根据所述分光图像信号生成所述血红蛋白指数的图像信息,将所生成的所述图像信息输出到显示装置。
CN200680016225A 2005-05-12 2006-03-14 生物体观测装置 Expired - Fee Related CN100591262C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005140379A JP2006314557A (ja) 2005-05-12 2005-05-12 生体観測装置
JP140379/2005 2005-05-12
JP140383/2005 2005-05-12

Publications (2)

Publication Number Publication Date
CN101175433A true CN101175433A (zh) 2008-05-07
CN100591262C CN100591262C (zh) 2010-02-24

Family

ID=37535760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680016225A Expired - Fee Related CN100591262C (zh) 2005-05-12 2006-03-14 生物体观测装置

Country Status (2)

Country Link
JP (1) JP2006314557A (zh)
CN (1) CN100591262C (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102188226A (zh) * 2010-03-19 2011-09-21 富士胶片株式会社 电子内窥镜系统、电子内窥镜处理器和获取血管信息的方法
CN102197984A (zh) * 2010-03-26 2011-09-28 富士胶片株式会社 电子内视镜系统及其处理器单元、和获得血管信息的方法
CN102316785A (zh) * 2009-05-12 2012-01-11 奥林巴斯医疗株式会社 被检体内摄像系统以及被检体内导入装置
CN102440754A (zh) * 2010-10-12 2012-05-09 富士胶片株式会社 内窥镜装置
CN102440755A (zh) * 2010-10-12 2012-05-09 富士胶片株式会社 内窥镜
CN102727157A (zh) * 2011-04-01 2012-10-17 富士胶片株式会社 内窥镜装置
CN102883650A (zh) * 2010-06-25 2013-01-16 奥林巴斯医疗株式会社 内窥镜装置
CN103200858A (zh) * 2011-07-07 2013-07-10 奥林巴斯医疗株式会社 光学测定装置
CN103533878A (zh) * 2011-09-22 2014-01-22 奥林巴斯医疗株式会社 医疗设备
CN108227173A (zh) * 2016-12-22 2018-06-29 阿诺德和里克特电影技术公司 电子显微镜
CN109310279A (zh) * 2016-06-16 2019-02-05 索尼公司 信息处理设备、信息处理方法、程序和医疗观察系统
CN109310305A (zh) * 2016-09-02 2019-02-05 Hoya株式会社 内窥镜系统及特征量计算方法
CN112019682A (zh) * 2019-05-30 2020-12-01 精工爱普生株式会社 显示方法、显示装置以及信息系统
CN112639899A (zh) * 2018-10-31 2021-04-09 欧姆龙株式会社 电气机器、通信装置及通信系统
CN113474710A (zh) * 2019-02-14 2021-10-01 大日本印刷株式会社 医疗设备用颜色修正装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7671993B2 (en) * 2007-01-25 2010-03-02 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Methods and apparatus for estimating the intensity of one spectrum of light in a mixed light, in response to the sensed intensities of one or more other spectrums of light in the mixed light
JP5389380B2 (ja) 2008-05-28 2014-01-15 オリンパス株式会社 信号処理システム及び信号処理プログラム
JP4717103B2 (ja) * 2008-07-18 2011-07-06 オリンパス株式会社 信号処理システム及び信号処理プログラム
JP5087529B2 (ja) * 2008-12-01 2012-12-05 オリンパス株式会社 識別処理装置、識別処理プログラム及び識別処理方法
JP5649947B2 (ja) * 2010-12-21 2015-01-07 富士フイルム株式会社 光計測システムおよび光計測システムの作動方法
JP5639464B2 (ja) * 2010-12-21 2014-12-10 富士フイルム株式会社 光計測システムおよび光計測システムの作動方法
US8639013B2 (en) * 2011-08-17 2014-01-28 General Electric Company System and methods for generating a brightfield image using fluorescent images
JP6504913B2 (ja) * 2015-05-20 2019-04-24 花王株式会社 皮膚毛細血管の観察方法
CN112969030B (zh) 2015-06-17 2023-04-28 松下知识产权经营株式会社 摄像装置
CN106331442B (zh) * 2015-07-02 2021-01-15 松下知识产权经营株式会社 摄像装置
WO2017056784A1 (ja) * 2015-09-30 2017-04-06 オリンパス株式会社 撮像装置、内視鏡および内視鏡システム
JP2017187471A (ja) * 2016-03-31 2017-10-12 パナソニックIpマネジメント株式会社 撮像装置
CN108209867B (zh) 2016-12-15 2022-03-18 松下知识产权经营株式会社 摄像装置
JP7197134B2 (ja) 2019-03-12 2022-12-27 株式会社日立ハイテクサイエンス 蛍光光度計および観測方法
WO2021181508A1 (ja) * 2020-03-10 2021-09-16 オリンパス株式会社 内視鏡システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3559755B2 (ja) * 2000-07-27 2004-09-02 オリンパス株式会社 内視鏡装置
JP3607857B2 (ja) * 2000-07-27 2005-01-05 オリンパス株式会社 内視鏡装置
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102316785A (zh) * 2009-05-12 2012-01-11 奥林巴斯医疗株式会社 被检体内摄像系统以及被检体内导入装置
CN102316785B (zh) * 2009-05-12 2014-10-08 奥林巴斯医疗株式会社 被检体内摄像系统以及被检体内导入装置
CN102188226B (zh) * 2010-03-19 2014-12-31 富士胶片株式会社 电子内窥镜系统、电子内窥镜处理器和获取血管信息的方法
CN102188226A (zh) * 2010-03-19 2011-09-21 富士胶片株式会社 电子内窥镜系统、电子内窥镜处理器和获取血管信息的方法
CN102197984A (zh) * 2010-03-26 2011-09-28 富士胶片株式会社 电子内视镜系统及其处理器单元、和获得血管信息的方法
CN102883650A (zh) * 2010-06-25 2013-01-16 奥林巴斯医疗株式会社 内窥镜装置
CN102440754A (zh) * 2010-10-12 2012-05-09 富士胶片株式会社 内窥镜装置
CN102440755A (zh) * 2010-10-12 2012-05-09 富士胶片株式会社 内窥镜
CN102440754B (zh) * 2010-10-12 2015-05-20 富士胶片株式会社 内窥镜装置
CN102727157A (zh) * 2011-04-01 2012-10-17 富士胶片株式会社 内窥镜装置
CN103200858B (zh) * 2011-07-07 2015-05-20 奥林巴斯医疗株式会社 光学测定装置
CN103200858A (zh) * 2011-07-07 2013-07-10 奥林巴斯医疗株式会社 光学测定装置
CN103533878B (zh) * 2011-09-22 2016-01-20 奥林巴斯株式会社 医疗设备
CN103533878A (zh) * 2011-09-22 2014-01-22 奥林巴斯医疗株式会社 医疗设备
US11107571B2 (en) 2016-06-16 2021-08-31 Sony Corporation Information processing apparatus, information processing method, program, and medical observation system
CN109310279A (zh) * 2016-06-16 2019-02-05 索尼公司 信息处理设备、信息处理方法、程序和医疗观察系统
CN109310305B (zh) * 2016-09-02 2022-03-11 Hoya株式会社 内窥镜系统及特征量计算方法
CN109310305A (zh) * 2016-09-02 2019-02-05 Hoya株式会社 内窥镜系统及特征量计算方法
CN108227173B (zh) * 2016-12-22 2021-09-28 阿瑞医疗有限公司 电子显微镜
CN108227173A (zh) * 2016-12-22 2018-06-29 阿诺德和里克特电影技术公司 电子显微镜
CN112639899A (zh) * 2018-10-31 2021-04-09 欧姆龙株式会社 电气机器、通信装置及通信系统
CN112639899B (zh) * 2018-10-31 2023-05-26 欧姆龙株式会社 电气机器、通信装置及通信系统
CN113474710A (zh) * 2019-02-14 2021-10-01 大日本印刷株式会社 医疗设备用颜色修正装置
CN113474710B (zh) * 2019-02-14 2023-10-27 大日本印刷株式会社 医疗设备用颜色修正装置、医疗用图像显示系统和记录介质
CN112019682A (zh) * 2019-05-30 2020-12-01 精工爱普生株式会社 显示方法、显示装置以及信息系统

Also Published As

Publication number Publication date
CN100591262C (zh) 2010-02-24
JP2006314557A (ja) 2006-11-24

Similar Documents

Publication Publication Date Title
CN100591262C (zh) 生物体观测装置
CN101163438B (zh) 生物体观测装置和用于生物体观测装置的信号处理装置
AU2006245251B2 (en) Biometric instrument
JP4409523B2 (ja) 生体観測装置
CN101152073B (zh) 电子内窥镜装置
US7850599B2 (en) Endoscope apparatus
JP5191090B2 (ja) 内視鏡装置
CN105266750B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
JP4270634B2 (ja) 内視鏡装置
EP1527729B1 (en) Image processing apparatus
JP4315489B2 (ja) 内視鏡装置
CN105212885B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
CN105310633B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
JP2003000536A (ja) 電子内視鏡装置
WO2008020499A1 (fr) dispositif endoscope et son procédé de traitement
WO2006120795A1 (ja) 生体観測装置
JPH06315477A (ja) 生体撮像装置、及び血液情報演算処理回路
JP5334952B2 (ja) 画像処理装置
JP2006341075A (ja) 生体観測装置用信号処理装置
RU2378976C2 (ru) Устройство обработки сигналов для устройства, предназначенного для биологических наблюдений
JP2002345734A (ja) 内視鏡装置
JP2009039561A (ja) 内視鏡装置
JP2005342234A (ja) 内視鏡装置
JP2003135392A (ja) 電子内視鏡装置
JPH01101966A (ja) 経内視鏡分光診断装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151118

Address after: Tokyo, Japan, Japan

Patentee after: Olympus Corporation

Address before: Tokyo, Japan

Patentee before: Olympus Medical Systems Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100224

Termination date: 20180314