CN105101861B

CN105101861B - 荧光观察装置

Info

Publication number: CN105101861B
Application number: CN201480016558.7A
Authority: CN
Inventors: 石原康成
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2013-03-29
Filing date: 2014-03-03
Publication date: 2017-05-24
Anticipated expiration: 2034-03-03
Also published as: WO2014156493A1; JPWO2014156493A1; EP2979611A4; JP6391562B2; US10219701B2; US20160007856A1; EP2979611A1; CN105101861A

Abstract

本发明的荧光观察装置(1)具有：光源(3)，其对被摄体(X)照射白色光和激励光；荧光图像生成部(62)和白色光图像生成部(61)，它们分别生成被摄体(X)的荧光图像(G2)和彩色的白色光图像(G1)；条件设定部(63)，其针对构成白色光图像(G1)的多个颜色成分图像分别设定权重；以及合成部(64)，其对加上了荧光图像(G2)的至少1个颜色成分图像与其他的颜色成分图像赋予由条件设定部(63)设定的权重来进行合成，条件设定部(63)以使针对与荧光图像(G2)相加的颜色成分图像的权重大于针对其他的颜色成分图像的权重的方式根据白色光图像的颜色成分图像来设定各权重。

Description

荧光观察装置

技术领域

本发明涉及荧光观察装置。

背景技术

以往，公知有一种荧光观察装置，该荧光观察装置获取对活体内的组织的形态进行拍摄而得到的白色光图像以及对来自病变部的荧光进行拍摄而得到的荧光图像，并且使荧光图像内的荧光区域重叠地显示在白色光图像上(例如，参照专利文献1和2。)。根据这种装置，由于将病变部作为荧光区域显示在白色光图像上，因此能够容易地掌握组织与病变部的位置关系。

现有技术文献

专利文献

专利文献1：日本特许第4533673号公报

专利文献2：日本特开2005-204958号公报

发明内容

发明要解决的课题

在专利文献1中，通过将荧光图像的灰度值分配给构成彩色的白色光图像的红色成分图像、绿色成分图像、蓝色成分图像中的任意一个，而将荧光区域作为红色、绿色或者蓝色的区域显示在白色光图像上。这种情况下，存在如下优点：由于在荧光区域重叠的区域中，白色光图像包含原来的灰度值的信息即组织的形态的信息，因此也能够观察组织的形态。但是，存在如下问题：因作为荧光区域的背景的组织的色调，在白色光图像上难以得到荧光区域的充分的辨认性。另一方面，在专利文献2中，通过假彩色填充白色光图像内的荧光区域。这种情况下，荧光区域的辨认性良好，但是存在会妨碍使用了白色光图像的组织的形态的观察的问题。

本发明是鉴于上述情况而完成的，目的在于提供一种荧光观察装置，能够在不妨碍被摄体的形态的观察的情况下，使荧光图像内的荧光区域始终以良好的辨认性显示在白色光图像上。

用于解决课题的手段

为了达成上述目的，本发明提供以下的手段。

本发明提供一种荧光观察装置，该荧光观察装置具有：光源，其对被摄体照射白色光和激励光；荧光图像生成部，其通过来自该光源的所述激励光的照射对所述被摄体中产生的荧光进行拍摄而生成荧光图像；白色光图像生成部，其通过来自所述光源的所述白色光的照射对从所述被摄体返回的返回光进行拍摄而生成彩色的白色光图像；条件设定部，其针对构成所述白色光图像的多个颜色成分图像分别设定权重；以及合成部，其将所述荧光图像加在所述多个颜色成分图像中的至少1个上，对与该荧光图像相加的颜色成分图像和其他的颜色成分图像赋予由所述条件设定部设定的权重来进行合成，所述条件设定部根据所述白色光图像的所述颜色成分图像设定权重，并且以使针对与所述荧光图像相加的颜色成分图像的权重大于针对所述其他的颜色成分图像的权重的方式设定针对所述多个颜色成分图像的权重。

根据本发明，由白色光图像生成部获取通过来自光源的白色光的照射而对被摄体的形态进行拍摄而得到的白色光图像，由荧光图像生成部获取通过来自光源的激励光的照射而对来自被摄体的病变部的荧光进行拍摄而得到的荧光图像。并且，由合成部将荧光图像加在构成白色光图像的颜色成分图像中的任意一个，由此合成了将病变部作为荧光区域显示在白色光图像上的合成图像。

这种情况下，根据白色光图像的颜色成分对颜色成分图像赋予由条件设定部设定的权重，由该颜色成分图像生成合成图像。即，对与荧光图像相加的颜色成分图像赋予更大的权重，对其他的颜色成分图像赋予更小的权重，由此，在合成图像中，相对于其他的颜色成分强调荧光区域的显示颜色成分。这样，依赖于白色光图像的颜色成分对构成合成图像的颜色成分图像的加权进行设定，由此能够使荧光区域始终以良好的辨认性显示在白色光图像上。此外，由于合成图像在显示荧光区域的位置上还包含白色光图像的灰度值、即被摄体的形态的信息，因此也能够进行病变部的形态的观察。

在上述发明中，也可以是，所述白色光图像中的所述其他的颜色成分图像的灰度值越大，则所述条件设定部将与所述荧光图像相加的颜色成分图像的权重设定得越大，并且/或者将所述其他的颜色成分图像的权重设定得越小。

由此，在合成图像中，荧光区域的显示颜色成分以外的颜色成分越多，越进一步强调显示颜色成分，并且/或者越进一步抑制显示颜色成分以外的颜色成分。由此，能够在合成图像中更有效地强调荧光区域。

在上述发明中，也可以是，所述条件设定部除了根据所述白色光图像的颜色成分图像还根据所述荧光图像的灰度值来设定所述权重，所述荧光图像的灰度值越大，将与所述荧光图像相加的颜色成分图像的权重设定得越大，并且/或者将所述其他的颜色成分图像的权重设定得越小。

由此，荧光图像的灰度值越大，在合成图像中越进一步强调显示颜色成分，并且/或者越进一步抑制显示颜色以外的颜色成分。由此，能够在合成图像中更有效地强调荧光区域。

在上述发明中，也可以是，所述合成部只对在所述荧光图像中具有规定的阈值以上的灰度值的区域赋予所述权重。

由此，能够去除荧光图像中的微弱的荧光及噪声，选择性地提取病变部并作为荧光区域显示在合成图像上。此外，在其他的区域中，能够保持原样地显示出准确地显示被摄体的色调的白色光图像。

在上述发明中，也可以是，该荧光观察装置具有计算所述荧光图像的灰度值的平均值及其灰度值的标准偏差的荧光图像分析部，所述条件设定部根据由所述荧光图像分析部计算出的所述灰度值的平均值与标准偏差的和来设定所述规定的阈值。

由此，由于规定的阈值伴随着荧光图像的整体的明亮度的变动而进行变动，因此能够将病变部作为荧光区域而准确地提取出，并显示在合成图像上。

在上述发明中，也可以是，该荧光观察装置具有通过使所述荧光图像除以所述白色光图像来校正所述荧光图像的灰度值的荧光图像校正部，所述荧光图像分析部使用由所述荧光图像校正部校正后的荧光图像来计算所述平均值和所述标准偏差。

由此，得到如下的荧光图像：去除依赖于观察距离和观察角度的荧光图像的灰度值的变化，更准确地反映出在被摄体中产生的荧光的原本的强度。通过使用该校正后的荧光图像，能够计算出更准确的平均值和标准偏差。

在上述发明中，也可以是，该荧光观察装置具有通过使所述荧光图像除以所述白色光图像来校正所述荧光图像的灰度值的荧光图像校正部，所述合成部和所述条件设定部将由所述荧光图像校正部校正后的荧光图像用作所述荧光图像。

由此，能够在合成图像中显示出更准确地反映了在被摄体中发出荧光的区域及其荧光的强度的荧光区域。

在上述发明中，也可以是，该荧光观察装置具有根据所述白色光图像的所述颜色成分图像来选定与所述荧光图像相加的颜色成分图像的强调成分确定部。

由此，能够根据白色光图像所具有的颜色成分更适当地选定并确定强调成分，能够提高合成图像中的荧光区域的辨认性。

发明效果

根据本发明，实现了如下效果：能够在不妨碍被摄体的形态的观察的情况下，使荧光图像内的荧光区域始终以良好的辨认性显示在白色光图像上。

附图说明

图1是本发明的第1实施方式的荧光观察装置的整体结构图。

图2是说明图1的图像处理单元的处理的流程图。

图3是本发明的第2实施方式的荧光观察装置的整体结构图。

图4是说明图3的图像处理单元的处理的流程图。

图5是示出图3的荧光观察装置的显示部的显示的一例的图。

图6是本发明的第3实施方式的荧光观察装置的整体结构图。

图7是说明图6的图像处理单元的处理的流程图。

图8是本发明的第4实施方式的荧光观察装置的整体结构图。

具体实施方式

〔第1实施方式〕

以下，参照图1和图2对本发明的第1实施方式的荧光观察装置1进行说明。

本实施方式的荧光观察装置1是内窥镜装置，如图1所示，其具有：细长的插入部2，其用于插入到体内；光源3；照明单元4，其从插入部2的前端2a向被摄体X照射来自该光源3的激励光和白色光(参照光)；摄像单元5，其设置于插入部2的前端2a，获取被摄体X的图像信息S1、S2；图像处理单元6，其配置于插入部2的基端侧，对由摄像单元5获取的图像信息S1、S2进行处理；以及显示部7，其显示由该图像处理单元6处理后的图像G3。

光源3具有：氙灯31；滤镜32，其从由该氙灯31发出的光中切出激励光和白色光；以及耦合透镜33，其对由滤镜32切出的激励光和白色光进行会聚。滤镜32选择性地透射与激励光和白色光对应的、波段400nm至740nm的光。即，在本实施方式中，近红外光(例如波段700nm至740nm)被用作激励光。

照明单元4具有：光导纤维41，其配置于插入部2的长度方向的大致全长范围；以及照明光学系统统42，其设置于插入部2的前端2a。光导纤维41对耦合透镜33所会聚的激励光和白色光进行引导。照明光学系统统42使由光导纤维41引导来的激励光和白色光扩散，并向与插入部2的前端2a相对的被摄体X照射。

摄像单元5具有：物镜51，其对来自被摄体X的光进行会聚；分色镜52，其反射该物镜51所会聚的光中的激励光和荧光，透射具有比激励光波长短的波长的白色光(波段400nm至700nm、返回光)；2个会聚透镜54、53，它们分别对该分色镜52所反射的荧光和透过分色镜52的白色光进行会聚；彩色CCD那样的摄像元件55，其对会聚透镜53所会聚的白色光进行拍摄；以及高灵敏度单色CCD或者彩色CMOS那样的摄像元件56，其对会聚透镜54所会聚的荧光进行拍摄。图中，标号57是激励光截止滤波器，其选择性地透射分色镜52所反射的光中的荧光(例如，波段760nm至850nm)，并遮断激励光。

为了观察微弱的荧光，作为摄像元件56也可以使用能够得到更高灵敏度的特殊的摄像元件，例如EMCCD(电子倍增型CCD)或者ICCD(图像增强器CCD)。此外，也可以使用单色CCD，通过在元件内进行将多个像素的灰度值相加的合并处理而实现高灵敏度的摄像。

根据具有这种波长特性的滤镜32、分色镜52以及激励光截止滤波器57的组合，例如通过将针对CEA(Carcinoembryonic Antigen：癌胚抗原)的抗体(Anti-CEA抗体)被荧光色素Cy7(GE Healthcare公司制)标记了的药剂(Anti-CEA-Cy7)投放到被摄体X并进行观察，能够同时获取后述的白色光图像G1和荧光图像G2。CEA被公知为癌中特异性表现的蛋白质。由此，能够将癌病变部分获取为荧光图像G2。

图像处理单元6具有：白色光图像生成部61，其根据摄像元件55所获取的白色光图像信息S1生成白色光图像G1；荧光图像生成部62，其根据摄像元件56所获取的荧光图像信息S2生成荧光图像G2；条件设定部63，其对构成白色光图像G1的各颜色成分图像设定权重；以及合成部64，其通过使荧光图像G2与白色光图像G1的颜色成分图像中的任意一个相加而生成合成图像G3。

下式(1)一般表示构成白色光图像G1的3个颜色成分图像与构成合成图像G3的3个颜色成分图像的关系。在式(1)中，R'、G'以及B'是合成图像G3的各像素的红色(R)成分、绿色(G)成分以及蓝色(B)成分的灰度值，R、G以及B是白色光图像G1的各像素的R成分、G成分以及B成分的灰度值，F是荧光图像G2的各像素的灰度值，r、g以及b是系数，S_R、S_G以及S_B是相对于灰度值F的阈值。在F≤Si(这里，i＝r、g、b)的情况下，设F-Si＝0。此外，根据式(1)的计算，在R'、G'以及B'中的任意一个小于零的情况下，将其值设定为零。

【数式1】

R′(x，y)＝R(x，y)+r(x，y)×(F(x，y)-S_R(x，y))

G′(x，y)＝G(x，y)+g(x，y)×(F(x，y)-S_G(x，y))···(1)

B′(x，y)＝B(x，y)+b(x，y)×(F(x，y)-S_B(x，y))

这里，x、y表示与白色光图像G1以及荧光图像G2的图像上的位置对应的坐标。此外，在以下所示的式(2)至(18)中，各变量也是按照每个坐标(x，y)设定的值，但是为了避免式子变得复杂，省略(x，y)的表示。例如，将R(x，y)、F(x，y)仅表示为R、F。

在本实施方式中，由于作为被摄体X的活体组织的色调包含较多R成分，因此合成图像G3中的荧光区域Y的显示颜色优选为绿色。因此，优选生成如下的图像：进行强调与荧光区域Y对应的白色光图像G1的G成分图像这样的加权，而在合成图像G3中的荧光区域Y与其以外的区域之间强调了绿色的对比度。

因此，以下，列举生成对与荧光区域Y对应的白色光图像G1的G成分进行了强调的合成图像G的情况为例进行说明。

合成部64将荧光图像G2的各像素的灰度值与阈值S_G进行比较，将具有比阈值S_G大的灰度值F的荧光区域Y与白色光图像G1的G成分图像相加。

此外，优选在合成图像G3的生成中，关于白色光图像G1的R成分和B成分，将荧光图像G2的各像素的灰度值F与阈值S_R、S_B进行比较，提取具有比阈值S_R、S_B大的灰度值F的区域，并对提取出的区域赋予负的权重。该权重由系数r、g、b和阈值S_R、S_G、S_B确定，这些系数和阈值由条件设定部63设定。

这样，对于R成分较多的白色光图像G1的灰度值，优选合成在白色光图像G1的G成分的灰度值上加上由荧光图像G2的荧光区域Y的灰度值F、系数g以及阈值S_G确定的值并且从白色光图像G1的R成分、B成分的灰度值中减去由荧光图像G2的灰度值F、系数r、b以及阈值S_R、S_B确定的值而得到的图像，生成合成图像G3。

合成部64和条件设定部63使用由下式(2)设定的系数r、g、b和阈值S_R、S_G、S_B进行处理。即，R成分和B成分越大，则条件设定部63将阈值S_R、S_B设定得越小。由此，合成部64在与荧光区域Y大致相同的区域中使用灰度值被部分降低的R成分图像和B成分图像来生成合成图像G3。

【数式2】

S_G＝1000

···(2)

r＝-1

g＝1

b＝-1

另外，在式(2)中，将各图像G1、G2、G3的动态范围假定为12比特，即，各灰度值R、G、B、R'、G'、B'、F由数值0至4095表示，阈值S_R、S_B依赖于灰度值R或者B而在1000至2000之间变化。

下面，对这样构成的荧光观察装置1的作用进行说明。

要想使用本实施方式的荧光观察装置1观察作为被摄体X的体内的活体组织，需要事先对被摄体X投放聚集于病变部Z的荧光物质。然后，向体内插入插入部2且使其前端2a与被摄体X相对配置，通过光源3的动作将激励光和白色光从插入部2的前端2a照射到被摄体X。

在被摄体X中，包含在病变部Z中的荧光物质被激励光激励而发出荧光，并且在被摄体X的表面上反射白色光。从被摄体X发出的荧光和反射的白色光的一部分返回到插入部2的前端2a，由物镜51会聚。

物镜51所会聚的光中的白色光透过分色镜52，由会聚透镜53会聚，并作为白色光图像信息S1被摄像元件55获取。另一方面，物镜51所会聚的荧光被分色镜52反射，由激励光截止滤波器57去除激励光，由会聚透镜54会聚，并作为荧光图像信息S2被摄像元件56获取。各摄像元件55、56所获取的图像信息S1、S2被发送到图像处理单元6。

在图2中示出对图像处理单元6的图像处理进行说明的流程图。

在图像处理单元6中，将白色光图像信息S1输入到白色光图像生成部61而生成白色光图像G1，将荧光图像信息S2输入到荧光图像生成部62而生成荧光图像G2(步骤S1)。将白色光图像G1发送到条件设定部63和合成部64，将荧光图像G2发送到合成部64。

在合成部64中，通过将荧光图像G2中的具有规定的阈值S_G以上的灰度值的荧光区域Y分配给白色光图像G1的G成分图像，而生成用绿色显示荧光区域Y的合成图像G3(步骤S3)，在显示部7中显示所生成的合成图像G3(步骤S4)。

这里，在条件设定部63中，根据白色光图像G1的各像素的颜色成分来设定阈值S_R、S_B(步骤S2)，将所设定的阈值S_R、S_B发送到合成部64。在合成部64中，在白色光图像G1的R成分图像和B成分图像中，根据阈值S_R、S_B提取出与荧光区域Y大致相同的区域，基于提取出的区域的颜色成分和灰度值F而赋予负的权重，在灰度值降低之后，用于合成图像G3的生成。

这样，根据本实施方式，在合成图像G3的荧光区域Y中，由于作为背景的被摄体X的红色和蓝色越强，则越强地抑制该红色和蓝色，因此相对于红色和蓝色相对地强调作为荧光区域Y的显示颜色的绿色。由此，能够始终以容易辨认的鲜明的绿色显示表示病变部Z的荧光区域Y。尤其能够通过抑制作为绿色的补色的红色，而有效地强调绿色。此外，能够在合成图像G3的荧光区域Y以外的区域中，保持原样地显示准确地再现了被摄体X的颜色及形态的信息的白色光图像G1。

另外，在本实施方式中，依赖于白色光图像G1的颜色成分而使阈值S_R、S_B变动，但也可以取而代之，例如如下式(3)所示，依赖于白色光图像G1的颜色成分而使系数r、b变动。这样，也能够通过调整对R成分图像以及B成分图像赋予的负的权重的大小而得到相同的效果。

【数式3】

S_R＝1000

S_G＝1000

S_B＝1000

···（３）

g＝1

此外，在本实施方式中，也可以组合式(2)和式(3)，同时使阈值S_R、S_B和系数r、b这双方变动。

此外，在本实施方式中，将灰度值的动态范围假定为12bit进行了说明，但不限于此，例如在8bit或16bit的情况下，也能够进行相同的处理。即，在上述式(2)、(3)中，也可以代替常数4095，在8bit时使用255、在16bit时使用65535。

如果进行上述式(2)那样的处理，例如在荧光区域Y内的某坐标位置处的白色光图像G1的R、G、B的各灰度为(R，G，B)＝(3000，1000，500)、荧光图像G2的灰度值F为2000时，由于(S_R，S_G，S_B)＝(1267，1000，1878)，因此(R'，G'，B')＝(2267，2000，377)···(A)。即，根据荧光图像G2的灰度值，白色光图像G1的G成分的灰度值增加，R成分和B成分的灰度值降低，由此得到强调了G成分的合成图像G3。此外，由于合成图像G3中的R成分和B成分的灰度值反映出白色光图像G1中的R成分和B成分的灰度值，因此在合成图像G3中也留存被摄体X的形态的信息。

另一方面，阈值S_R、S_B是不依赖于白色光图像G1的R成分和B成分的灰度值的常数值，如果设为由数式(2)确定的最大值2000，则(S_R，S_G，S_B)＝(2000，1000，2000)、(R'，G'，B')＝(3000，2000，500)···(B)。这种情况下，在合成图像G3中，由于G成分根据荧光图像G2的灰度值而增加、R成分和B成分相对于G成分相对较高，因此如果与(A)相比，则所强调的G成分的辨认性较差。

另一方面，阈值S_R、S_B是不依赖于白色光图像G1的R成分和B成分的灰度值的常数值，如果设为由数式(2)确定的最小值1000，则(S_R，S_G，S_B)＝(1000，1000，1000)、(R'，G'，B')＝(2000，2000，0)···(C)。这种情况下，在合成图像G3中，由于G成分与R成分和B成分相比，其灰度值较高，因此如果与(A)和(B)相比，则所强调的G成分的辨认性优异。但是，由于合成图像G3的R成分与(A)相比，其灰度值变低，合成图像G3的B成分变为零，因此会丢失白色光图像G1的B成分的信息。因此，合成图像G3中反映的被摄体X的形态的信息量比(A)差。

因此，根据白色光图像G1的颜色成分使阈值S_R、S_G、S_B的值适当变化的(A)情况与阈值S_R、S_G、S_B的值始终固定的(B)和(C)情况相比，能够在合成图像G3中呈现出更适当的图像，确保反映了荧光图像G2的信息的G成分的辨认性，且尽量留存被摄体X的形态的信息。

在以下所述的其他实施方式和变形例中，也具有与本实施方式所述的内容相同的效果。

另外，在上述计算中，以将小数部分的值全部舍去的方式进行处理。

此外，在本实施方式中，系数r、b为负数，但是只要是满足g＞r、b这样的关系的数，则系数r、b也可以是正数或零。这样，也能够得到相同的效果。

接下来，对条件设定部63和合成部64的处理的变形例进行说明。

(第1实施方式的第1变形例)

在第1变形例中，条件设定部63取代依赖于白色光图像G1的颜色成分来设定针对R成分图像和B成分图像的负的权重，而依赖于白色光图像G1的颜色成分来设定针对G成分图像的正的权重。

具体而言，如下式(4)所示，在白色光图像G1中R成分和B成分的灰度值越大，则条件设定部63将阈值S_G设定得越小。

由此，能够增大作为荧光区域Y而加在白色光图像G1上的灰度值，在合成图像G3中强调荧光区域Y的绿色。此外，根据式(4)，在合成图像G3的荧光区域Y中，由于灰度值F越大，越降低R成分和B成分的灰度值，因此能够进一步有效地强调荧光区域Y的绿色。

【数式4】

S_R＝1000

S_B＝1000

···(4)

r＝-1

g＝1

b＝-1

在本变形例中，也可以代替式(4)，而如下式(5)所示依赖于白色光图像G1的颜色成分使系数g发生变动。

【数式5】

S_R＝1000

S_G＝1000

S_B＝1000

r＝-1 ···(5)

b＝-1

此外，在本变形例中，可以任意地组合式(2)、(3)、(4)以及(5)。例如，如下式(6)所示，也可以依赖于白色光图像G1的颜色成分使系数r、g、b和阈值S_R、S_G、S_B同时变动。

【数式6】

···(6)

(第1实施方式的第2变形例)

在第2变形例中，条件设定部63取代使用各颜色成分的灰度值，而如下式(7)所示，使用应该强调的G成分的灰度值与应该降低的R成分和B成分的灰度值的比，来设定系数r、g、b和阈值S_R、S_G、S_B。式(7)中的R_G、B_G由式(8)定义。式(8)中的N_RG和N_BG由下式(9)定义。Max[R/G]表示所有像素的R/G中的最大值，Max[B/G]表示所有像素的B/G中的最大值。

由此，由于根据R成分图像和B成分图像相对于G成分图像的相对的灰度值来设定权重，因此能够针对白色光图像G1的颜色成分更适当地设定各颜色成分图像的权重。

【数式7】

···(7)

【数式8】

···(8)

【数式9】

···(9)

(第1实施方式的第3变形例)

在第3变形例中，条件设定部63取代依赖于白色光图像G1的R成分和B成分来设定权重，而依赖于白色光图像G1的G成分来设定权重。

具体而言，如下式(10)所示，条件设定部63以G成分的灰度值越小则针对G成分图像的正的权重越大并且针对R成分图像和B成分图像的负的权重越大的方式对系数r、g、b和阈值S_R、S_G、S_B进行设定。

这样，在合成图像G3的荧光区域Y中也能够有效地强调绿色。

【数式10】

〔第2实施方式〕

接下来，对本发明的第2实施方式的荧光观察装置100进行说明。

如图3所示，在本实施方式的荧光观察装置100主要在如下方面与第1实施方式不同，图像处理单元6还具有荧光图像分析部65，该荧光图像分析部65根据荧光图像G2的灰度值的分布来计算该灰度值的平均值m和标准偏差σ，条件设定部63使用由荧光图像分析部65计算出的平均值m和标准偏差σ来设定阈值S_R、S_B、S_G。因此，在本实施方式中主要对荧光图像分析部65和条件设定部63进行说明，对与第1实施方式共通的结构标注相同标号并省略说明。

荧光图像分析部65计算荧光图像G2整体或者规定的一部分的关心区域(ROI)中的灰度值的分布，根据计算出的分布来计算荧光图像G2的灰度值的平均值m和标准偏差σ，将得到的平均值m和标准偏差σ输出到条件设定部63。

如下式(11)所示，条件设定部63根据从荧光图像分析部65输入的灰度值的平均值m与标准偏差σ的和来计算阈值S_R、S_B、S_G。这里，ci和di(其中，i＝r、g、b)是依赖于R成分的灰度值和B成分的灰度值而变动的系数，由下式(12)定义。

【数式11】

S_R＝c_Rm+d_Rσ

S_G＝c_Gm+d_Gσ

S_B＝c_Bm+d_Bσ

···(11)

g＝1

b＝-1

【数式12】

c_G＝1

···(12)

d_G＝1

在式(12)中，系数c_R、c_B在0.5至1.5之间变化，且R成分和B成分的灰度值越大，则系数c_R、c_B越小。系数d_R、d_B在1至1.5之间变化，且R成分和B成分的灰度值越大，则系数d_R、d_B越小。因此，在白色光图像G1中红色和蓝色越强，则阈值S_R、S_B越小，针对R成分图像和B成分图像的负的权重越大。

接下来，对这样构成的荧光观察装置100的作用进行说明。

根据本实施方式的荧光观察装置100，在生成白色光图像G1和荧光图像G2(步骤S1)之前，与第1实施方式同样地进行。所生成的荧光图像G2被发送到荧光图像分析部65。如图4所示，在荧光图像分析部65中，计算荧光图像G2的灰度值F的分布，根据该分布计算灰度值F的平均值m和标准偏差σ(步骤S5)。接下来，在条件设定部63中，使用这些平均值m和标准偏差σ来设定阈值S_R、S_G、S_B(步骤S2')。在步骤S3中，根据式(1)，使用在步骤S2'中设定的阈值S_R、S_G、S_B来生成合成图像G3。

图5示出本实施方式的显示部7的显示的一例，示出了合成图像G3(上部)和荧光图像G2的灰度值F的直方图(下部)。在直方图中显示阈值S_R、S_G、S_B。根据平均值m和标准偏差σ计算出的阈值S_R、S_G、S_B根据灰度值F的分布的变化而变化，在荧光图像G2整体的亮度增加的情况下，阈值S_R、S_G、S_B变大。

这样，根据本实施方式，阈值S_R、S_G、S_B除了依赖于白色光图像G1的颜色成分，还依赖于荧光图像G2整体的灰度值的变化而变化。因此，在因插入部2的前端2a与被摄体X之间的观察距离或观察角度等观察条件的变化而引起荧光图像G2整体的亮度发生变化时，阈值S_R、S_G、S_B也变更为更适当的值。由此，从荧光图像G2中更准确地提取荧光区域Y，并且更适当地设定赋予R成分图像和B成分图像的负的权重的大小。因此，在合成图像G3中，能够显示更准确的荧光区域Y，并且能够更适当地强调荧光区域Y。

另外，在本实施方式中对根据荧光图像G2的灰度值来强调G成分的处理进行了说明，但即使在想要强调R成分或者B成分的情况下，也可以使用与本实施方式所述的方法相同的方法。

(第2实施方式的变形例)

接下来，对本实施方式的条件设定部63和合成部64的处理的变形例进行说明。

在本变形例中，条件设定部63取代依赖于白色光图像G1的颜色成分来设定针对R成分图像和B成分图像的负的权重，而依赖于白色光图像G1的颜色成分来设定针对G成分图像的正的权重。

具体而言，如下式(13)所示，条件设定部63以在白色光图像G1中R成分和B成分的灰度值越大则阈值S_G越小的方式将系数c_G、d_G设定得较小。

由此，增大作为荧光区域Y而加在白色光图像G1上的灰度值，能够在合成图像G3中强调荧光区域Y的绿色。此外，根据式(13)，由于在合成图像G3的荧光区域Y中R成分和B成分被抑制，因此能够更有效地强调荧光区域Y的绿色。

【数式13】

c_R＝1

d_R＝1

···(13)

c_B＝1

d_B＝1

在本变形例中，条件设定部63也可以组合式(12)和式(13)，如下式(14)所示，依赖于白色光图像G1的颜色成分而使系数c_R、c_G、c_B、d_R、d_G、d_B同时变动。

由此，能够更有效地强调荧光区域Y的绿色。

【数式14】

〔第3实施方式〕

接下来，对本发明的第3实施方式的荧光观察装置200进行说明。

本实施方式的荧光观察装置200将第2实施方式的荧光观察装置100进行了变形，主要在如下的方面与第2实施方式不同，如图6所示，图像处理单元6还具有使用白色光图像G1来校正荧光图像G2的灰度值的荧光图像校正部66，荧光图像分析部65使用由荧光图像校正部66校正后的荧光图像G2'来计算平均值m'和标准偏差σ'。因此，在本实施方式中，主要对荧光图像校正部66和荧光图像分析部65进行说明，关于与第1和第2实施方式共通的结构省略说明。

荧光图像校正部66使从荧光图像生成部62输入的荧光图像G2的各像素的灰度值除以从白色光图像生成部61输入的白色光图像G1的各像素的灰度值，由此生成将灰度值校正后的荧光图像(以下，称为校正荧光图像。)G2'，并将所生成的校正荧光图像G2'输出到荧光图像分析部65。

这里，荧光图像校正部66根据下式(15)，针对各像素使荧光图像G2的灰度值F除以白色光图像G1的R成分的灰度值，由此计算校正荧光图像G2'的灰度值F'。在式(15)中，N_FR是由下式(16)定义的值，是使灰度值F除以灰度值R而得到的商中的最大值。

【数式15】

【数式16】

荧光图像分析部65使用校正荧光图像G2'来取代荧光图像G2，而计算灰度值F'的平均值m'和标准偏差σ'。

条件设定部63使用平均值m'和标准偏差σ'来取代平均值m和标准偏差σ，根据式(11)和式(12)来计算阈值S_R、S_G、S_B。

合成部64根据下式(17)来取代式(1)，即，使用校正荧光图像G2'来取代荧光图像G2，而计算合成图像G3的各颜色成分图像的各像素的灰度值R'G'B'。

【数式17】

R′＝R+r(F′-SR)

G′＝G+g(F′-S_G) ···(17)

B′＝B+b(F′-S_B)

接下来，对这样构成的荧光观察装置200的作用进行说明。

根据本实施方式的荧光观察装置200，在生成白色光图像G1和荧光图像G2(步骤S1)之前，与第1实施方式同样地进行。所生成的白色光图像G1和荧光图像G2被发送到荧光图像校正部66。如图7所示，在荧光图像校正部66中通过使荧光图像G2除以白色光图像G1而生成校正荧光图像G2'(步骤S6)。接下来，在荧光图像分析部65中，计算校正荧光图像G2'的灰度值F'的分布，根据该分布来计算灰度值F'的平均值m'和标准偏差σ'(步骤S5')。接下来，在条件设定部63中，使用平均值m'和标准偏差σ'，与第2实施方式的步骤S2'同样地设定阈值S_R、S_G、S_B(步骤S2”)。

这样，根据本实施方式，在荧光图像分析部65和合成部64中，使用校正荧光图像G2'来取代荧光图像G2。使用白色光图像G1将灰度值归一化后的校正荧光图像G2'是去除了依赖于观察距离或观察角度等观察条件的差异的灰度值的变化、更准确地反映了从被摄体X的各位置发出的荧光的原本的强度的图像。通过使用这种校正荧光图像G2'，能够在合成图像G3中显示出更准确地反映了在被摄体X中发出荧光的区域及其荧光的强度的荧光区域Y。

〔第4实施方式〕

接下来，对本发明的第4实施方式的荧光观察装置300进行说明。

如图8所示，本实施方式的荧光观察装置300主要在如下的方面与与第1至第3实施方式不同，图像处理单元6还具有强调成分确定部67，该强调成分确定部67确定强调R、G、B成分中的哪个，即确定对哪个颜色成分赋予更大的权重，条件设定部63根据强调成分确定部67的确定结果来设定系数r、g、b和阈值S_R、S_B、S_G。因此，在本实施方式中，主要对强调成分确定部67、荧光图像校正部66以及荧光图像分析部65进行说明，关于与第1和第2实施方式共通的结构省略说明。

强调成分确定部67根据白色光图像G1的各像素的颜色成分，按照每个像素确定应该强调的颜色成分，并将针对各像素的确定结果输出到条件设定部63。例如，在白色光图像G1的G成分的灰度值为规定的阈值以上的情况下，强调成分确定部67将G成分确定为强调成分、将R成分和B成分确定为非强调成分，在白色光图像G1的G成分的灰度值小于规定的阈值的情况下，强调成分确定部67将B成分确定为强调成分，将R成分和G成分确定为非强调成分。

条件设定部63以针对由强调成分确定部67确定的强调成分的权重大于针对非强调成分的权重的方式对系数r、g、b和阈值S_R、S_B、S_G进行设定。例如，对于强调成分为G成分的像素，条件设定部63使用式(2)，对于强调成分为R成分的像素，条件设定部63使用在式(2)中将R与G交换后的式子，对于强调成分为B成分的像素，条件设定部63使用在式(2)中将B与G交换后的式子，针对各像素设定系数r、g、b和阈值S_R、S_B、S_G。

根据本实施方式，在白色光图像G1的G成分为规定的阈值以上的情况下，将G成分用作强调成分，能够生成荧光区域Y的辨认性良好的合成图像G3。另一方面，在G成分小于阈值的情况下，由于G成分的灰度值较小，因此将G成分以外的成分(B成分或者R成分)选择为强调成分的话，能够生成进一步提高了荧光区域Y的辨认性的合成图像G3。这样，能够根据白色光图像G1的各位置的颜色成分更适当地选择并确定强调成分。由此，能够提高合成图像G3中的荧光区域Y的辨认性。

另外，在本实施方式中，强调成分确定部67根据G成分的大小来确定强调成分和非强调成分，但也可以取而代之，根据2个颜色成分的比，例如G成分与B成分的比来确定强调成分和非强调成分。

此外，在上述的第1至第4实施方式中，列举将荧光图像G2分配给G成分图像来生成合成图像G3的情况为例进行了说明，但供荧光图像G2分配的颜色成分图像可以适当变更。即，也可以将荧光图像G2分配给R成分图像或者B成分图像，也可以分割荧光图像G2而分配给多个成分图像。

例如，如果列举第1实施方式为例进行说明，则也可以像下式(18)那样对式(2)进行变形。

由此，由赋予了负的权重的R成分图像和G成分图像以及赋予了正的权重的B成分图像生成合成图像G3。由此，能够在合成图像G3的荧光区域Y中，相对于R成分和G成分强调作为荧光区域Y的显示颜色的B成分。

【数式18】

···(18)

此外，上述的第1至第4实施方式也可以适当任意地组合来实施。

此外，在上述的第1至第4实施方式中，将各图像G1、G2、G2'、G3的动态范围假定为12bit来进行说明，但是该动态范围不限于12bit，可以适当变更。例如，在使用16bit的图像的情况下，只要在各式(2)至(18)中将4095替换成65535即可。

此外，上述的式(2)至(18)中使用的数值(-1、0.5、1、500、1000)是一例，可以适当变更。

此外，在上述的第1至第4实施方式中，条件设定部63使赋予各颜色成分图像的权重连续地变化，但也可以取而代之，使权重阶段性地变化。例如如果列举式(2)为例进行说明，则也可以将阈值S_R、S_B定义为灰度值R、B的阶段函数。

标号说明

1、100、200、300：荧光观察装置；2：插入部；3：光源；4：照明单元；5：摄像单元；6：图像处理单元；7：显示部；31：氙灯；32：滤镜；33：耦合透镜；41：光导纤维；42：照明光学系统；51：物镜；52：分色镜；53、54：会聚透镜；55、56：摄像元件；57：激励光截止滤波器；61：白色光图像生成部；62：荧光图像生成部；63：条件设定部；64：合成部；65：荧光图像分析部；66：荧光图像校正部；67：强调成分确定部；G1：白色光图像；G2：荧光图像；G2'：校正荧光图像；G3：合成图像；X：被摄体；Y：荧光区域；Z：病变部。

Claims

1.一种荧光观察装置，该荧光观察装置具有：

光源，其对被摄体照射白色光和激励光；

荧光图像生成部，其通过来自该光源的所述激励光的照射对所述被摄体中产生的荧光进行拍摄而生成荧光图像；

白色光图像生成部，其通过来自所述光源的所述白色光的照射对从所述被摄体返回的返回光进行拍摄而生成彩色的白色光图像；

条件设定部，其针对构成所述白色光图像的多个颜色成分图像分别设定权重；以及

合成部，其将所述荧光图像加在所述多个颜色成分图像中的至少1个上，对与该荧光图像相加的颜色成分图像和其他的颜色成分图像赋予由所述条件设定部设定的权重来进行合成，

所述条件设定部根据所述白色光图像的所述颜色成分图像设定权重，并且以使针对与所述荧光图像相加的颜色成分图像的权重大于针对所述其他的颜色成分图像的权重的方式设定针对所述多个颜色成分图像的权重；

所述白色光图像中的所述其他的颜色成分图像的灰度值越大，则所述条件设定部将与所述荧光图像相加的颜色成分图像的权重设定得越大。

2.根据权利要求1所述的荧光观察装置，其中，

所述白色光图像中的所述其他的颜色成分图像的灰度值越大，则所述条件设定部将所述其他的颜色成分图像的权重设定得越小。

3.根据权利要求1所述的荧光观察装置，其中，

所述条件设定部除了根据所述白色光图像的颜色成分图像还根据所述荧光图像的灰度值来设定所述权重，所述荧光图像的灰度值越大，则将与所述荧光图像相加的颜色成分图像的权重设定得越大。

4.根据权利要求1或3所述的荧光观察装置，其中，

所述条件设定部除了根据所述白色光图像的颜色成分图像还根据所述荧光图像的灰度值来设定所述权重，所述荧光图像的灰度值越大，则将所述其他的颜色成分图像的权重设定得越小。

5.根据权利要求1所述的荧光观察装置，其中，

所述合成部只对在所述荧光图像中具有规定的阈值以上的灰度值的区域赋予所述权重。

6.根据权利要求5所述的荧光观察装置，其中，

该荧光观察装置具有计算所述荧光图像的灰度值的平均值及其灰度值的标准偏差的荧光图像分析部，

所述条件设定部根据由所述荧光图像分析部计算出的所述灰度值的平均值与标准偏差的和来设定所述规定的阈值。

7.根据权利要求6所述的荧光观察装置，其中，

该荧光观察装置具有通过使所述荧光图像除以所述白色光图像来校正所述荧光图像的灰度值的荧光图像校正部，

所述荧光图像分析部使用由所述荧光图像校正部校正后的荧光图像来计算所述平均值和所述标准偏差。

8.根据权利要求1所述的荧光观察装置，其中，

所述合成部和所述条件设定部将由所述荧光图像校正部校正后的荧光图像用作所述荧光图像。

9.根据权利要求1所述的荧光观察装置，其中，

该荧光观察装置具有根据所述白色光图像的所述颜色成分图像来选定与所述荧光图像相加的颜色成分图像的强调成分确定部。