CN111989023A - 内窥镜系统及使内窥镜系统工作的方法 - Google Patents

内窥镜系统及使内窥镜系统工作的方法 Download PDF

Info

Publication number
CN111989023A
CN111989023A CN201980026603.XA CN201980026603A CN111989023A CN 111989023 A CN111989023 A CN 111989023A CN 201980026603 A CN201980026603 A CN 201980026603A CN 111989023 A CN111989023 A CN 111989023A
Authority
CN
China
Prior art keywords
image
image data
light
band
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980026603.XA
Other languages
English (en)
Other versions
CN111989023B (zh
Inventor
千叶亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of CN111989023A publication Critical patent/CN111989023A/zh
Application granted granted Critical
Publication of CN111989023B publication Critical patent/CN111989023B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy

Abstract

本发明提供一种可以生成并呈现更高画质且更多种类的特殊光图像的技术。本公开提供的内窥镜系统通过使用G1图像数据(通过照射524±3nm～582±3nm的光而得到的图像数据)、该G1图像数据以外的R1图像数据(通过照射630±3nm～700±3nm的光而得到的图像数据)、B1图像数据(452±3nm～502±3nm)、R2图像数据(通过照射582±3nm～630±3nm的光而得到的图像数据)、G2图像数据(通过照射502±3nm～524±3nm的光而得到的图像数据)、及B2图像数据(通过照射420±3nm～452±3nm的光而得到的图像数据)中的至少一个图像数据进行图像处理而生成特殊光图像(图7)。

Description

内窥镜系统及使内窥镜系统工作的方法
技术领域
本公开涉及一种内窥镜系统及使内窥镜系统工作的方法。
背景技术
若使用具备光谱图像摄影功能的内窥镜装置(光谱内窥镜装置)，则能够得到与消化器官的粘膜等活体组织的光谱特性相关的信息(例如反射光谱)。已知该活体组织的反射光谱反映了作为测定对象的活体组织的表层附近所含的物质的种类及浓度的信息。具体而言，已知根据活体组织的反射光谱计算得到的吸收是构成该活体组织的多种物质的吸收线性地叠加而成的。
另外，已知病变处的活体组织的组成、成分量与健康处的活体组织不同。大量的现有研究中报道了，特别是以癌症等为代表的病变处的异常与血液的状态、尤其是全血量及氧饱和度的状态关系密切。在此，利用所关注的两个活体组织具有的可见区域的光谱特征量来对这两个活体组织进行定性和定量，这是光谱分析化学领域中常用的方法。因此，可以将包含病变处的活体组织的血液的光谱特性与仅健康处的活体组织的光谱特性比较，从而推测活体组织中是否包含任何病变处。
关于如上所述的光谱内窥镜装置，例如，专利文献1中公开了：“一种活体观察装置(1)，用于通过简易的构成来观察多种特殊光，其具备：照明部(3，7)，向活体组织照射照明光，所述照明光包含R、G、B的每个区域的光；摄像部(8)，由照明光在活体组织(X)上的反射光获取图像信号；窄频光生成部(F1，F2)，配置于照明部(3，7)或摄像部(8)，生成两个窄频的光，这两个窄频是在照明光的波段内的构成照明光的R、G、B中的至少一个波段中间隔着该波段的中心波长而位于两侧的两个窄频；及图像生成部(18)，基于摄像部(8)获取两个以上的窄频的反射光而形成的两个以上的图像信号来生成图像”(摘要)。
现有技术文献
专利文献
专利文献1：WO2016/151672号公报
发明内容
发明想要解决的课题
近年来，作为光谱内窥镜装置，为了应对各种各样的使用形式，期望其可以生成并观察多种特殊光图像。
然而，根据专利文献1的光谱内窥镜装置，除普通图像之外，仅生成三种特殊光图像，不能应对近来想要观察多种特殊光图像的需求。另外，也期望生成更高画质的特殊光图像。
本公开是鉴于这样的状况而完成的，提供一种可以生成并呈现更高画质且更多种类的特殊光图像的技术。
用于解决课题的手段
为了解决上述课题，本实施方式提供一种内窥镜系统，其可以在向活体组织照射白光并获取图像的普通观察模式、及向活体组织照射特定波长范围的光并获取图像的特殊观察模式下工作，具备：
照明部，向活体组织照射照明光，所述照明光至少包含第1波段的R、第2波段的G、第3波段的B、第4波段的R、第5波段的G、及第6波段的B的光；
摄像部，基于通过向所述活体组织照射所述照明光而产生的来自所述活体组织的反射光来生成图像数据；
图像处理部，从所述摄像部获取所述图像数据，并进行规定的图像处理；及
显示部，将通过所述图像处理部的所述规定的图像处理所生成的图像显示在屏幕上，
至少所述第2波段、所述第3波段、所述第5波段、及所述第6波段的带宽的边界由等吸收点的波长规定，所述等吸收点的透射率恒定，不依赖于氧饱和度，
所述第2波段的带宽内包含除作为带宽的边界的等吸收点以外的等吸收点，所述第6波段是比所述第3波段更短的波段，所述第5波段是比所述第2波段更短的波段，所述第4波段是比所述第1波段更短的波段，
所述图像数据包含与所述第1波段的R的光对应的R1图像数据、与所述第2波段的G的光对应的G1图像数据、与所述第3波段的B的光对应的B1图像数据、与所述第4波段的R的光对应的R2图像数据、与所述第5波段的G的光对应的G2图像数据、及与所述第6波段的B的光对应的B2图像数据，
所述图像处理部通过使用所述G1图像数据、除该G1图像数据以外的所述R1图像数据、所述B1图像数据、所述R2图像数据、所述G2图像数据、及所述B2图像数据中的至少一个图像数据进行图像处理来生成特殊光图像。
与本公开相关的更多特征将由本说明书的叙述、附图而明了。另外，本公开通过元素及多种元素的组合、以及后文的详细的叙述与所附加的权利要求书中的方案来达成并实现。
需要理解，本说明书的叙述仅是典型的示例，并不在任意意义上限定保护范围或应用例。
发明效果
根据本公开，可以生成并呈现更高画质且更多种类的特殊光图像。
附图说明
图1是示出本实施方式的内窥镜系统1的示意构成例的图。
图2是示出上述光谱特性及获取宽频图像(G1图像)时所使用的第1光学滤光片的波段的图。
图3是示出上述光谱特性及获取B2图像、G2图像、及R2图像时所使用的第2光学滤光片的波段的图。
图4是示出上述光谱特性及获取窄频图像(G3图像)时所使用的第3光学滤光片的波段的图。
图5是对波长区域W2内的血液的透射光量(纵轴)与氧饱和度(横轴)的关系进行绘制而成的图表。
图6是对波长区域W4～W6内的血液的透射光量(纵轴)与氧饱和度(横轴)的关系进行绘制而成的图表。
图7是示出本实施方式的分析处理部230的内部构成例的图。
图8是用于对生成每个深度的血管走向图像(血管结构主体：Depth Profile)的处理进行说明的流程图。
图9是示出对On chip滤光片的RGB值(图9的上部：(Rs、Gs、Bs))执行矩阵转换运算，从而生成校正RGB值(RGB_related_values)的处理的过程的图。
图10是示出通过血管走向图像生成处理(图8)所生成的观察部位的血管走向图像的例子的图。图10的A示出观察部位的可见光图像例。图10的B为B2图像(照射波段420±3nm～452±3nm的光而得到的图像)，示出了位于距观察部位较浅的部位的血管的形态的图像例。图10的C为G1图像(照射波段524±3nm～582±3nm的光而得到的图像)，示出了位于距观察部位中等深度的部位的血管的形态的图像例。图10的D为R1图像(照射波段630±3nm～700±3nm的光而得到的图像)，示出了位于距观察部位更深的部位的血管的形态的图像例。
图11是用于对本实施方式的特征区域确定处理的详细内容进行说明的流程图。
图12是用于对求得消除了散射光的影响的血红蛋白浓度(血液浓度)的原理进行说明的图；
图13是示出现有的氧饱和度计算表例(图13的A)与本实施方式的氧饱和度计算表例(图13的B)的图。
图14是示出通过特征区域确定处理(图11)所生成的观察部位的各特征区域图像的例子的图。图14的A示出观察部位的可见光图像例。图14的B示出观察部位中血液浓度(Hb浓度)为规定Hb值以上的部位(血流多的部位)的图像例。图14的C示出观察部位中氧饱和度为规定％以下的部位(氧消耗量多的部位)的图像例。图14的D示出观察部位中血液浓度(Hb浓度)为规定Hb值以上且氧饱和度为规定％以下的部位(血流多但氧量少的部位)的图像例。
图15是用于对本实施方式的血液透明化处理的详细内容进行说明的流程图。
图16是示出通过血液透明化处理得到的血液透明化图像的例子的图。图16的A示出观察部位的通常的RGB输出图像例。图16的B示出设置了G1图像的减法参数时的血液透明化图像的例子(例如，能够将减法参数设为-0.2)。图16的C示出将G1图像的减法参数设为0时的血液透明化图像的例子。图16的D示出更大地设置G1图像的减法参数时的血液透明化图像的例子(例如，能够将减法参数设置为-0.5)。
图17是示出配置第1及第2滤光片、第1及第2摄像元件(第1及第2固态摄像元件：例如，CMOS传感器等)的例子的图。
图18是示出配置第3滤光片、及拍摄通过第3滤光片的光的第3摄像元件(第3固态摄像元件：例如，CMOS传感器)的例子的图。
图19是使用三板棱镜代替分束器的例子的图。
图20是示出用于获取窄频(narrow)图像(由波长546±3～570±3nm的光形成的图像)的第3光学滤光片(图20的A：相当于图4所示的光学滤光片)、及用于获取宽频(wide)图像(由波长524±3～582±3nm的光形成的图像)的第1光学滤光片(图20的B：相当于图2所示的光学滤光片)的图。
图21是用于对下述情况进行说明的图：在从光源射出的光被分束器分光的情况下，在射入各摄像元件的阶段，光量减少至25％左右。
图22是用于说明变形例5的原理的图。
图23是示出变形例5的光学元件的构成例。
具体实施方式
<内窥镜系统的构成>
图1是示出本实施方式的内窥镜系统1的示意构成例的图。如图1所示，内窥镜系统1具备电镜(内窥镜装置)100、处理器200、及显示器300。
处理器200具备系统控制器202、时序控制器204、图像处理部220、灯208及光学滤光片装置260。系统控制器202执行存储器212中存储的各种程序，从而综合控制内窥镜系统1整体。另外，系统控制器202与操作面板214连接。系统控制器202根据用户从操作面板214输入的指示变更内窥镜系统1的各工作及用于各工作的参数。时序控制器204向内窥镜系统1内的各处理部输出时钟脉冲，时钟脉冲调节各部分的工作的定时。
灯208被灯电源触发器206启动后，射出照射光L。灯208例如为氙气灯、卤素灯、汞灯、金属卤化物灯等高亮度灯或LED(Light Emitting Diode)。照射光L主要是指具有从可见光区域扩展至不可见的红外光区域的光谱的光(或至少包含可见光区域的白光)。
在灯208与聚光透镜210之间配置有光学滤光片装置260。光学滤光片装置260具备滤光片驱动部264、及安装于滤光片驱动部264的光学滤光片262。滤光片驱动部264被配置为使光学滤光片262可以在照射光L的光路上的位置(实线)与偏离光路的位置(虚线)之间沿与光路正交的方向滑动。需要说明的是，滤光片驱动部264的构成不限定于上述的构成，例如，也可以采用如下构成：通过使光学滤光片262如旋转滤光片装置那样绕偏离光学滤光片262的重心的转动轴转动而在照射光L的光路上插拔光学滤光片262。关于光学滤光片262的详细内容，将在后文叙述。
本实施方式的内窥镜系统1配置为可以在下述三个工作模式下工作：普通观察模式，即将从灯208射出的白光直接用作(或者，除去红外成分及/或紫外成分后)照明光(普通光Ln)来进行内窥镜观察；特殊观察模式，即将使白光通过光学滤光片262(或者，进一步除去红外成分及/或紫外成分)而得到的滤光片光Lf用作照明光来进行内窥镜观察；及基线测定模式，其用于获取在特殊观察模式下所使用的校正值。普通观察模式下，光学滤光片262配置于偏离光路的位置，特殊观察模式下，光学滤光片262配置在光路上。
通过光学滤光片装置260后的照射光L(滤光片光Lf或普通光Ln)被聚光透镜210聚光于LCB(Light Carrying Bundle)102的射入端面，并导入LCB102内。
导入LCB102内的照射光L在LCB102内传播，从配置在电镜100的前端的LCB102的射出端面射出，并经由配光透镜104照射于拍摄对象。从被照射光L所照射的拍摄对象返回的光经由对物透镜106在固态摄像元件108的受光面上形成光学影像。
固态摄像元件108为例如具有拜尔型像素配置的单板式彩色CCD(Charge CoupledDevice)图像传感器。固态摄像元件108将由受光面上的各像素成像的光学影像作为与光量相应的电荷累积，从而生成图像信号(图像数据)并输出。固态摄像元件108具备所谓的片上彩色滤光片，该所谓的片上彩色滤光片是红色的光透射的R滤光片、使绿色的光透射的G滤光片、及使蓝色的光透射的B滤光片直接形成在固态摄像元件108的各受光元件上而成的。固态摄像元件108所生成的图像信号中包含由安装有R滤光片的受光元件拍摄的图像信号R、由安装有G滤光片的受光元件拍摄的图像信号G、及由安装有B滤光片的受光元件拍摄的图像信号B。
需要说明的是，固态摄像元件108不限定于CCD图像传感器，也可以替换为CMOS(Complementary Metal Oxide Semiconductor)图像传感器或其它种类的摄像装置。
如图1所示，电镜100在与处理器200的连接部内具备驱动信号处理部110。图像信号在场周期内从固态摄像元件108输入驱动信号处理部110。驱动信号处理部110对从固态摄像元件108输入的图像信号施加规定的处理之后，将其输出给处理器200的图像处理部220。
另外，驱动信号处理部110还访问存储器112并读取电镜100的固有信息。记录于存储器112的电镜100的固有信息中包含例如固态摄像元件108的像素数及灵敏度、可工作的场速率、型号等。驱动信号处理部110将从存储器112中读取的固有信息输出至系统控制器202。
系统控制器202基于电镜100的固有信息进行各种运算，从而生成控制信号。系统控制器202使用所生成的控制信号控制处理器200内的各种处理部的工作及定时，以进行适合连接于处理器200的电镜的处理。
时序控制器204按照系统控制器202的定时控制向驱动信号处理部110提供时钟脉冲。驱动信号处理部110按照从时序控制器204提供的时钟脉冲在一定的定时驱动控制固态摄像元件108，其中，该定时与在处理器200侧所处理的影像的场速率同步。
图像处理部220对由驱动信号处理部110在一个场周期内所输入的图像信号施加补色、矩阵运算、Y/C分离等规定的信号处理之后，生成用于显示于显示器的屏幕数据，并将所生成的用于显示于显示器的屏幕数据转换为规定的视频格式信号。转换成的视频格式信号输入显示器300。由此，拍摄对象的图像被显示于显示器300的显示屏幕。
另外，图像处理部220具备分析处理部230。分析处理部230在例如特殊观察模式下，基于所获取的图像信号R(Red)、G(Green)、B(Blue)进行光谱分析处理，并计算与作为拍摄对象的活体组织中的氧饱和度具有相关性的指标的值，从而生成用于可视地显示计算结果的图像数据。需要说明的是，关于分析处理部230的内部构成例，将在后文叙述(参见图7)。
如上所述，本实施方式的内窥镜系统1被配置为在下面的三种模式下工作：普通观察模式，即不使用光学滤光片262，将从灯208射出的白光(普通光Ln)用作照明光；特殊观察模式，即将使白光通过光学滤光片262而得到的滤光片光Lf用作照明光来进行光谱分析；及基线测定模式，其用于获取用于特殊观察的校正值。各模式的切换通过通过用户对电镜100的操作部或处理器200的操作面板214的操作来进行。
普通观察模式下，系统控制器202控制光学滤光片装置260使光学滤光片262从光路上偏离，并向拍摄对象照射普通光Ln以进行摄像。接着，根据需要对由摄像元件108拍摄的图像数据施加图像处理，然后将其转换为视频信号，并显示于显示器300。
特殊观察模式及基线测定模式下，系统控制器202控制光学滤光片装置260将光学滤光片262配置在光路上，并对拍摄对象照射滤光片光Lf以进行摄像。并且，特殊观察模式下，基于由摄像元件108拍摄的图像数据进行后述的分析处理(不同深度血管走向图像生成处理、特征区域确定处理、血液透明化处理等)。
基线测定模式是指如下模式：在进行实际内窥镜观察之前，将非彩色扩散板或标准反射板等颜色基准板作为拍摄对象，利用滤光片光Lf照明以进行摄像，从而获得用于特殊观察模式的标准化处理的数据。
基线测定模式下使用滤光片光Lf所拍摄的三原色的图像数据R(x，y)，G(x，y)，B(x，y)分别作为基线图像数据BLR(x，y)、BLG(x，y)、BLB(x，y)存储于分析处理部230的内部存储器。需要说明的是，R(x，y)、G(x，y)、B(x，y)及BLR(x，y)、BLG(x，y)、BLB(x，y)分别是像素(x，y)的图像数据及基线图像数据的值。另外，像素(x，y)由水平方向的坐标x及垂直方向的坐标y确定。
<光学滤光片的构成(带宽)>
图2～图4是示出活体组织的光谱特性与本实施方式的特殊观察模式下使用的光学滤光片的带宽的关系的图。图2是示出上述光谱特性与获取宽频图像(G1图像)时使用的第1光学滤光片的波段的图。图3是示出上述光谱特性与获取B2图像、G2图像、及R2图像时使用的第2光学滤光片的波段的图。图4是示出上述光谱特性与获取窄频图像(G3图像)时使用的第3光学滤光片的波段的图。需要说明的是，将以下所示的各波长区域的值带有“中心波长±3”的幅度而显示是因为考虑了光学滤光片制造时产生的误差。因此，需要注意，该制造时的误差(±3)的值为一例，如果该误差变大，则该“幅度”的值进一步增大。另外，下面，各等吸收点处的波长值具有±3(一例)的幅度的理由是因为氧化血红蛋白与还原血红蛋白的各光谱的交差变缓。
(i)第1光学滤光片(图2)
第1光学滤光片是具备透射波长452±3～502±3nm的光(蓝光)的第1区域、透射波长524±3～582±3nm的光(绿光)的第2区域、及透射波长630±3～700±3nm的光(红光)的第3区域的光学滤光片。
第1区域相当于血红蛋白的透射光谱等吸收点(血红蛋白的透射光谱为氧化血红蛋白与还原血红蛋白的浓度的和恒定的双成分系的分光光谱，因此，透射光谱等吸收点是指吸收(透射率)的恒定，不依赖于各成分的浓度比(氧饱和度)的点)E2(452±3nm)与等吸收点E3(502±3nm)之间的波段，提供用于生成氧饱和度信息的蓝光数据。
第2区域相当于等吸收点E4(524±3nm)与等吸收点E7(582±3nm)之间的波段。第2区域在等吸收点E4与等吸收点E7之间进一步包含等吸收点E5(546±3nm)与等吸收点E6(570±3nm)，能够从等吸收点E5与E6的之前的图像数据中获得更多的氧饱和度的信息。为了获取等吸收点E5与E6之间的图像数据，使用第3光学滤光片(图5)。
第3区域不包含等吸收点，几乎没有光的吸收(透光率高)，提供用于生成氧饱和度信息的红光数据。
(ii)第2光学滤光片(图3)
第2光学滤光片是具备透射波长420±3～452±3nm的光(蓝光)的第4区域、透射波长502±3～524±3nm的光(绿光)的第5区域、及透射波长582±3～615±3nm的光(红光)的第6区域的光学滤光片。
第4区域相当于等吸收点E1(420±3nm)与等吸收点E2(452±3nm)之间的波段，提供用于生成氧饱和度信息的蓝光数据。第5区域相当于等吸收点E3(502±3nm)与等吸收点E4(524±3nm)之间的波段。第6区域相当于从等吸收点E7(582±3nm)至波长630±3nm之间的波段。
(iii)第3光学滤光片(图4)
第3光学滤光片是具备透射波长380±3～420±3nm的光(蓝光)的第7区域、透射波长546±3～570±3nm的光(绿光)的第8区域、及透射波长720±3～800±3nm的光(红光)的第9区域的光学滤光片。
第7区域相当于波长380±3nm与等吸收点E1(420±3nm)之间的波长区域，提供用于生成氧饱和度信息的蓝光数据。第8区域相当于等吸收点E5(546±3nm)与等吸收点E6(570±3nm)之间的波段。第9区域不包含等吸收点，几乎没有光的吸收(透光率高)，提供用于获取深层部信息的红光数据。
若使用第3光学滤光片，则可以获取等吸收点E5及E6之间的图像数据。由于该波段为光源的光的水平很高的带宽，因此，能够获得很多与氧饱和度(StO2)相关的信息。但是，若使用该波段的图像数据，则后述的氧饱和度指标值的动态范围狭窄，因此，解像度低，有时难以准确地求得氧饱和度。本实施方式中提出了，扩大氧饱和度指标值的动态范围，提高解像度，精确地求得氧饱和度(后述)。
(iv)等吸收点的特征
在相邻的等吸收点之间，吸收根据氧饱和度的增加而单调增加或减少。另外，在相邻的等吸收点之间，血红蛋白的吸收A相对于氧饱和度大致呈线性变化。图5是对波长区域W2内的血液的透射光量(纵轴)与氧饱和度(横轴)的关系进行绘制而成的图表。需要说明的是，纵轴的透射光量是在波长区域W2的整个区域内进行积分而得到的值。由图5的图表可知，在波长区域W2内，血红蛋白的吸收相对于氧饱和度大致呈线性减少。需要说明的是，在相邻的波长区域W1内，血红蛋白的吸收相对于氧饱和度呈线性增加。具体而言，透光率准确来说是符合贝尔朗伯定律(Beer-Lambert Law)的变化量，但在20nm～80nm左右内的一定程度较狭窄的波长区域内，可以看做大致线性的变化。
另外，若着眼于从等吸收点E4至E7的波长区域(即，波长区域W4～W6的连续波长区域)，则在波长区域W4及W6内，血液的吸收根据氧饱和度的增加而单调增加，但在波长区域W5内，则相反，血液的吸收根据氧饱和度的增加单调减少。然而，本发明人发现，波长区域W5内的血液的吸收的减少量与波长区域W4及W6内的血液的吸收的增加量的和大致相等，作为波长区域W7整体，血液的吸收大致恒定，不依赖于氧饱和度。
图6是对波长区域W4～W6内的血液的透射光量(纵轴)与氧饱和度(横轴)的关系进行绘制而成的图表。需要说明的是，纵轴的透射光量是在波长区域W4～W6的整个区域内进行乘分而得到的值。透射光量的平均值为0.267(任意单位)，标准偏差为1.86×10-5。由图6的图表可知，在整个波长区域W4～W6内，血液的透射光量大致恒定，不依赖于氧饱和度。
另外，如图2～图4所示，在约630±3nm以上(特别是650nm以上)的波长区域内，血红蛋白的吸收少，即使氧饱和度产生变化，透光率也几乎不变。另外，在白光源使用氙气灯的情况下，在波长750±3nm以下(特别是720nm以下)的波长区域内，可以得到足够大的白光源的光量。因此，能够将例如650±3～720±3nm的波长区域作为没有血红蛋白的吸收的透明区域，并将其用作透射光量的标准的波长区域。本说明书中，可以将波长650±3nm～波长720±3nm的波长区域定义为波长区域WR。
如上所述可知，波长区域W2内的血红蛋白的吸收AW2相对于氧饱和度的增加呈线性减少。由于波长区域W4～W6内的血红蛋白的吸收AW4-6可以看做恒定值，不依赖于氧饱和度，因此，以吸收AW4-6为标准的吸收AW2的值提供了反应氧饱和度的指标。具体而言，可以通过由下式(1)定义的指标X来表示氧饱和度。
X＝AW2-AW4-6···(1)
因此，若预先通过实验或计算获取氧饱和度与指标X的定量关系，则能够由指标X的值来推测氧饱和度(StO2)。需要说明的是，如上所述，在本实施方式中，进行了多方努力，以扩大氧饱和度指标值的动态范围，提高解像度，精确地求得氧饱和度。
<分析处理部的内部构成例>
图7是示出本实施方式的分析处理部230的内部构成例的图。分析处理部230具备：图像获取部2301，获取电镜100拍摄的图像；校正运算部2302，矫正图像获取部2301获取的图像的RGB值；血管走向图像生成部2303，使用由校正运算部2302校正后的各波段的图像来生成血管走向图像；特征区域确定处理部2304，计算相对血红蛋白浓度和氧饱和度，确定血液浓度高且氧饱和度低的特征区域；透明化处理部2305，生成使血液透明化的图像(血液透明化图像)；显示处理部2306，生成用于将所生成的各图像、相关信息显示在显示器300的屏幕上的显示数据；及内部存储器2307，储存参数及各种数据或暂时储存从电镜100接收到的数据等。从图像获取部2301至显示处理部2306的各个处理部例如能够由程序构成。在该情况下，作为处理器的图像处理部220或者分析处理部230从存储器212或其它储存设备(图1中未示出)读取用于实现各个处理部的程序，并在内部存储器2307中展开，由此能够实现各个处理部。各处理部也可以构成为模块。
本实施方式的电镜100例如具备两个以上固态摄像元件(CMOS图像传感器)108。在使用第1光学滤光片来拍摄与之对应的波长区域的图像的情况下，使用一个固态摄像元件，在使用第2光学滤光片来拍摄与之对应的波长区域的图像的情况下，使用另一个固态摄像元件。图像获取部2301获取每个固态摄像元件所拍摄并经由驱动信号处理部110发送来的图像。即，图像获取部2301通过第1光学滤光片获取波段452±3nm～502±3nm的B1图像、波段524±3nm～582±3nm的G1图像、及波段630±3nm～700±3nm的R1图像。另外，图像获取部2301通过第2光学滤光片获取波长区域420±3nm～452±3nm的B2图像、波段502±3nm～524±3nm的G2图像、及波段582±3nm～630±3nm的R2图像。此外，图像获取部2301获取校正用图像(白色图像)，该校正用图像在校正RGB值时用作标准。
校正运算部2302进行矩阵运算处理(例如，使用用于颜色校正的彩色矩阵，该彩色矩阵具有与氧饱和度的波长的相关性高的系数)，即，例如，使用图像获取部2301所获取的校正用图像将由CMOS图像传感器中的On Chip滤光片获取的RGB值四舍五入为与滤光片输出的相关性高的数值。
血管走向图像生成部2303将由校正运算部2302得到的校正后的各波段的图像中的B2图像(波段420±3nm～452±3nm的图像)作为表示距表面较浅的部分的血管的图像，将G1图像(波段524±3nm～582±3nm的图像：宽频图像)作为表示距表面中等深度的部分的血管的图像，将R1图像(波段630±3nm～700±3nm的图像)作为表示距表面较深部分的血管的图像，从而生成各深度部位的血管走向图像。
特征区域确定处理部2304计算B1图像与G1图像的比率、及表示血液浓度的Hb(血红蛋白)浓度，将这些应用于预先准备的氧饱和度指标表(参见图13的B)，从而计算氧饱和度。
为了改善不能通过血液来进行检查(诊断)及确认手术部位这一状况，透明化处理部2305使用血液的没有吸收的波长范围的信息来生成图像。由此确保伴有出血的部位的组织的可见性。具体而言，透明化处理部2305は，针对各个像素，将G1图像(波段524±3nm～582±3nm的图像)、G2图像(波段502±3nm～524±3nm的图像)、及R1图像(波段582±3nm～630±3nm的图像)进行线性组合(a1×G1图像的像素值+a2×G2图像的像素值+a3×R1图像的像素值)，从而生成血液透明化图像。
显示处理部2306将各血管走向图像、确定了特征区域的图像、及血液透明化图像转换为符合显示器300的格式的形式并生成显示用数据发送至显示器300。
<血管走向图像生成处理>
图8是用于对生成每个深度的血管走向图像(血管结构主体：Depth Profile)的处理进行说明的流程图。在此，将各步骤的工作主体采用图像获取部2301、校正运算部2302、血管走向图像生成部2303、及显示处理部2306，但在这些主体由程序实现的情况下，也可以将工作主体理解为分析处理部230或图像处理部220(以下，也可以称为处理器)。另外，在此，作为固态摄像元件108，使用两个具备On Chip滤光片的CMOS图像传感器。
(i)步骤101
图像获取部2301获取第1RGB图像及第2RGB图像、以及校正用图像，其中，第1RGB图像及第2RGB图像是由电镜100拍摄到的图像。第1RGB图像包含波段452±3nm～502±3nm的B1图像、波段524±3nm～582±3nm的G1图像、及波段630±3nm～700±3nm的R1图像。另外，第2RGB图像包含波长区域为420±3nm～452±3nm的B2图像、波段502±3nm～524±3nm的G2图像、及波段582±3nm～630±3nm的R2图像。此外，校正用图像是校正第1RGB图像及第2RGB图像的RGB值时分别用作标准的校正用图像(白色图像)。
(ii)步骤102
校正运算部2302进行矩阵运算处理(例如，使用用于颜色校正的彩色矩阵，该彩色矩阵具有与氧饱和度的波长的相关性高的系数)，即，例如，使用图像获取部2301所获取的校正用图像将由CMOS图像传感器上的On Chip滤光片获取的第1及第2RGB图像各自的RGB值四舍五入为与滤光片输出的相关性高的数值。On Chip滤光片具有波段重叠的部位，因此可能不能输出适当的RGB值。因而，用与氧饱和度的波长的相关性高的系数来校正由On Chip滤光片获取的RGB值(例如，3×3的矩阵运算)，从而实现适当的带宽分离。
具体而言，如图9所示，对On chip滤光片的RGB值(图9的上侧：(Rs、Gs、Bs))执行矩阵转换运算，生成校正RGB值(RGB_related_values)。在以后的处理中，使用校正RGB值作为RGB值。
(iii)步骤801
血管走向图像生成部2303生成内窥镜的观察部位的较浅部位的血管、较深部位的血管、及两者中间处的血管的图像(血管走向图像：也称为Depth Profile)。这是一种利用深度方向的可见信息因观察波长而不同这一点来生成图像的处理。短波长图像用于得到观察部位的表面附近的血管及组织的信息，波长越长，得到位于距观察部位的表面越深的部位的血管及组织的信息。步骤801中，使这些信息可见，从而生成血管的相对深度的信息。
用短波长的光观察组织时，在距观察部位表面较浅的部位光会达到饱和。因此，较深部位的信息(例如，血管的数据)消失，进而选择性地观察较浅部位的信息(血管信息)。因此，通过显示照射波段420±3nm～452±3nm的光而得到的B2图像，能够确认观察部位的较浅部位的血管的形态(走向状态)。需要说明的是，即使使用B1图像，也能够生成距观察部位表面较浅部位的血管图像。
用中波长的光观察组织时，在距观察部位表面中等深度部位光会达到饱和。因此，较深部位的信息(例如，血管的数据)消失，进而选择性地观察中等深度部位的信息(血管信息)。因此，通过显示照射波段524±3nm～582±3nm的光而得到的G1图像，能够确认观察部位的中等深度部位的血管的形态(走向状态)。
用长波长的光观察组织时，光到达距观察部位表面更深的部位。因此，可以选择性观察距观察部位表面较深部位的信息(血管信息)。因此，通过显示照射波段630±3nm～700±3nm的光而得到的R1图像，能够确认距观察部位更深部位的血管的形态(走向状态)。
(iv)步骤802
显示处理部2306将B2图像、G1图像、及R1图像分别转换为在显示器300上显示图像时所使用的格式，并将转换后的数据发送至显示器300。显示器300从分析处理部230的显示处理部2306接收与B2图像、G1图像、及R1图像相对应的数据，并将各个图像显示在屏幕上。
<血管走向图像的例子>
图10是示出通过血管走向图像生成处理(图8)所生成的观察部位的血管走向图像的例子的图。图10的A示出观察部位的可见光图像例。图10的B为B2图像(照射波段420±3nm～452±3nm的光而得到的图像)，示出了位于距观察部位表面较浅的部位的血管的形态的图像例。图10的C为G1图像(照射波段524±3nm～582±3nm的光而得到的图像)，示出了位于距观察部位表面中等深度的部位的血管的形态的图像例。图10的D为R1图像(照射波段630±3nm～700±3nm的光而得到的图像)，示出了位于距观察部位表面更深部位的血管的形态的图像例。
综上所述，通过生成B2图像、G1图像、及R1图像，能够获取观察部位的各深度的资料，可以有效且快速地对被检查者进行检查及诊断。
<特征区域确定处理>
图11是用于对本实施方式的特征区域确定处理的详细内容进行说明的流程图。在此，各步骤的工作主体采用图像获取部2301、校正运算部2302、特征区域确定处理部2304、及显示处理部2306，在这些主体由程序实现的情况下，也可以将工作主体理解为分析处理部230或图像处理部220(以下，也称为处理器)。另外，在此，作为固态摄像元件108，使用两个具备On Chip滤光片的CMOS图像传感器。需要说明的是，步骤101及102与图8相同，故不予赘述。
(i)步骤1101
特征区域确定处理部2304计算观察部位的相对血红蛋白浓度。将粘膜的光谱信息所包含的元素作为氧化血红蛋白、还原血红蛋白、散射光，并计算各元素的比率，由此得到血红蛋白浓度(血液浓度)。在没有散射光的情况下，如图12的A所示，基线几乎水平，因此，相对血红蛋白浓度(血液浓度)能够由从基线至G1(wide)的位移Hb＝G1/R1来表示(R1表示基线)。但是，实际上会加入散射光的元素，因此，如图12的B所示，基线不会呈水平，而是具有斜度(基线较顿)。如图12的C所示，散射的光谱特性能够由普通的RGB的各光谱特性的组合来表示。因此，通过利用RGB的线性组合重现光谱特性而制成基线，能够计算将散射光考虑在内的相对血红蛋白浓度。公式(2)是计算将散射光考虑在内时的相对血红蛋白浓度是使用的公式，可知，公式(2)中只要确定了最佳(能够重现光谱特性)系数α、β、及γ即可。图12的B的光谱特性中的具有倾度的基线能够仅由G1和R1重现，因此，在图12的B(图12的C)的例子中，能够设为α＝0、β＝γ＝1。
[数学式1]
Figure BDA0002728115900000151
通过进行如上所述的运算，特征区域确定处理部2304能够计算出观察部位的各部位处的相对血红蛋白浓度。
(ii)步骤1102
特征区域确定处理部2304计算氧饱和度。求取氧饱和度时，特征区域确定处理部2304计算B1/G1，并将步骤901中计算出的相对Hb浓度的值与B1/G1的值与预先准备的氧饱和度计算表(图13的B)对照，以检查由一对Hb浓度与B1/G1所表示的点相当于百分之几的氧饱和度，由此能够求得氧饱和度。
目前，通过由一对Hb浓度与G1/G3所表示的点求得了氧饱和度，但如图13的A所示，在Hb浓度较低时，氧饱和度0％～100％的特性的解像度不佳。因此，在使用目前的G1/G3的情况，不能精确地计算出氧饱和度。另一方面，在本实施方式中使用了B1/G1，因此，如图13的B所示，氧饱和度0％～100％的特性的解像度得到改善。因此，如果使用B1/G1，则可以精确地求得氧饱和度。
(iii)步骤1103
特征区域确定处理部2304基于步骤1101及1102中求得的相对血红蛋白浓度值及氧饱和度来确定观察部位中相对血红蛋白浓度(血液浓度)为规定Hb值以上且氧饱和度为规定％以下的部位。
确定相对血红蛋白浓度(血液浓度)为规定Hb值以上且氧饱和度为规定％以下的部位表示确定例如患癌的部位。在癌症部位，产生了大量新生血管，该血管不断为癌细胞输送营养及氧，癌细胞不断成长。因此，在癌症部位，血流多(血液浓度高)，氧消耗量多，因此氧饱和度低。因而，通过确定高血流且低氧的部位，能够确定可能已患癌的部位，从而提高癌症诊断(发现癌症)的效率。
并且，特征区域确定处理部2304生成用红色及黄色(红色的部位的浓度更高)表示高血液浓度(高Hb浓度)的部位的观察部位图像，生成用浅蓝色表示低氧饱和度的部位的观察部位图像，并用黄绿色表示高血液浓度(高Hb浓度)且低氧饱和度的部位的观察部位图像。
(iv)步骤1104
显示处理部2306将步骤1103中生成的观察部位的特征区域图像分别转换为在显示器300显示图像时使用的格式，并将转换后的数据发送至显示器300。显示器300从分析处理部230的显示处理部2306接收与各特征区域图像相对应的数据，变将各个特征区域图像显示在屏幕上。
<特征区域图像的例子>
图14是示出通过特征区域确定处理(图11)所生成的观察部位的各特征区域图像的例子的图。图14的A示出观察部位的可见光图像例。图14的B示出观察部位中血液浓度(Hb浓度)为规定Hb值以上的部位(血流多的部位)的图像例。图14的C示出观察部位中氧饱和度为规定％以下的部位(氧消耗量多的部位)的图像例。图14的D示出观察部位中血液浓度(Hb浓度)为规定Hb值以上且氧饱和度为规定％以下的部位(血流多但氧量少的部位)的图像例。
综上所述，通过本实施方式的特征区域确定处理，能够精确地确定观察部位中的各特征区域(例如，三种：血流多的部位、氧消耗量多的部位、及血流多但氧量少的部位)并将该各区域显示显示屏幕上，因此，医生等内窥镜操作者可以高效地进行诊断及诊察。通过生成B2图像、G1图像、及R1图像，能够获取观察部位的各深度的资料，可以有效且快速地对被检查者进行检查及诊断。
<透明化处理>
图15是用于对本实施方式的血液透明化处理的详细内容进行说明的流程图。在此，各步骤的工作主体采用图像获取部2301、校正运算部2302、透明化处理部2305、及显示处理部2306，但在这些主体由程序实现的情况下，也可以将工作主体理解为分析处理部230或图像处理部220(以下，也可以称为处理器)。另外，在此，作为固态摄像元件108，使用两个具备On Chip滤光片的CMOS图像传感器。需要说明的是，步骤101及102与图8相同，故不予赘述。
血液透明化处理利用血液的没有吸收的波长范围的信息生成观察部位的显示用图像，由此能够在确保组织的可见性的同时进行伴随出血的手术。
(i)步骤1501
透明化处理部2305为B_Channel、G_Chennel、及R_Channel分别分配图像数据(摄像数据在步骤102中校正后的值)，由此生成使血液透明化的图像(血液透明化图像)。通常，将RGB的各区域的输入信号用相同区域的颜色输出。即，为波段425±3nm～452±3nm的B图像分配B_Channel(蓝色)，为波段500±3nm～525±3nm的G图像分配G_Chennel(绿色)，为波段600±3nm～630±3nm的R图像分配R_Channel(红色)。在该情况下，由于血液由红色显示，因此，指出了观察部位的可见性变差这一课题。
另一方面，在本实施方式中，透明化处理部2305将各波长区域的输入信号用不同波长区域的颜色输出。具体而言は，透明化处理部2305直接将波段502±3nm～524±3nm的G2图像分配给B_Channel(蓝色)，将波段582±3nm～630±3nm的R2图像分配给G_Chennel，将波段630±3nm～700±3nm的R1图像分配给R_Channel，并且调节波段524±3nm～582±3nm的G1图像的G_Chennel的输出值(使G1图像与减法参数(0.05～0.5)相乘，从而线性组合其它的图像)以生成血液透明化图像。
(ii)步骤1502
显示处理部2306将步骤1501中生成的观察部位的血液透明化图像转换为在显示器300上显示图像时使用的格式，并将转换后的数据发送至显示器300。显示器300从分析处理部230的显示处理部2306接收与血液透明化图像相对应的数据，并将血液透明化图像显示在屏幕上。
<血液透明化图像的例子>
图16是示出通过血液透明化处理得到的血液透明化图像的例子的图。图16的A示出观察部位的通常的RGB输出图像例。图16的B示出设置了G1图像的减法参数时的血液透明化图像的例子(例如，能够将减法参数设为-0.2)。图16的C示出将G1图像的减法参数设为0时的血液透明化图像的例子。图16的D示出更大地设置G1图像的其它减法参数时的血液透明化图像的例子(更大地设置减法参数时的例子：通常，可以将减法参数设置为-0.5。
如图16的B所示，来自血液的图像信号变得非常弱，血液被透明化，其它部位的颜色也自然地重现。
图16的C使G1图像的减法为0倍。在该情况下，血液的图像信息虽然会变小，但多少会有残留。
图16的D示出了过度进行了G1图像的减法时的血液透明化图像，通过更大地进行减法(例如，可以设置为0.5倍的减法)，本来显示为白色的区域变红。
综上所述，在本实施方式的血液透明化处理中，使用6个波段的数据(B1图像、G1图像、R1图像、B2图像、G2图像、及R2图像)(DRI中使用3个波段的数据)。另外，由于使参数系数乘以G1图像并进行减法，因此，能够减少血液的图像信息，能够精细地调节输出图像。因此，能够吸收多个固态摄像元件(CMOS图像传感器)的On Chip滤光片的颜色的差异。
此外，在本实施方式中，能够基于6个波段的数据同时获得血液透明化图像以外的信息(上述的血管走向图像及特征区域图像等)。因此，无需根据待获取的图像的种类来执行时间序列切换处理。
<变形例>
(1)变形例1
在上述的实施方式中，示出了在光源侧配置第1～第3光学滤光片的例子，但不限定于此，也可以在摄像部侧配置第1～第3滤光片。
图17示出了配置第1及第2滤光片、以及第1及第2摄像元件(第1及第2固态摄像元件：例如，CMOS传感器等)的例子。射入相机镜头的光由成像光学系统成像后分为两个，分别通过第1光学滤光片及第2光学滤光片，并通过第1摄像元件及第2摄像元件分别获取上述的第1RGB图像(B1图像，G1图像、及R1图像)和第2RGB图像(B2图像、G2图像、及R2图像)。如此一来，能够实时地同时获取第1及第2RGB图像，因此具有如下优点：即使使用6个波段，图像获取及运算也不会产生时间延迟，也不会产生图像移位。需要说明的是，成像光学系统只要在光路上即可，也可以配置于分束器的后方(以下的变形例中也相同)。
(2)变形例2
图18是示出进一步配置第3滤光片、及配设通过第3滤光片的光的第3摄像元件(第3固态摄像元件：例如，CMOS传感器)的例子的图。在该情况下，也同样能够实时地同时获取三种RGB图像，因此具有如下优点：使用9个波段也不会产生图像获取及运算的时间延迟或图像位移。
(3)变形例3
图19是使用三板棱镜代替分束器的例子的图。在三板棱镜中，由二向色镜构成棱镜的界面，通过单纯的半透射将图像的光量分割为三份。摄像元件的功能及构成与图17及18中所示的元件相同。使用三板棱镜的利点在于：摄像元件作为三板式的相机能够精密调节现有的构成后利用，因此容易实现。
(4)变形例4
图20是示出用于获取窄频(narrow)图像(由波长546±3～570±3nm的光形成的图像)的第3光学滤光片(图20的A：相当于图4所示的光学滤光片)、及用于获取宽频(wide)图像(由波长524±3nm～582±3nm的光形成的图像)的第1光学滤光片(图20的B：相当于图2所示的光学滤光片)的图。窄频图像和宽频图像用于计算图20的B所示的C的部位处的活体组织的光谱特性的变化程度(特性的弯曲：光谱特性的特征)。该活体组织的光谱特性的变化程度能够通过宽频图像除以窄频图像(宽频图像/窄频图像)来求得。该值是会受到血液浓度、氧饱和度的影响的变化量，因此在由该变化程度求得氧饱和指标值时，需要利用血液浓度进行换算。需要说明的是，具有变化程度较大时，氧饱和度高，变化程度较小是，氧饱和度低的特征。
宽频图像和窄频图像可以通过在上述的变形例1中所示的滤光片和摄像元件的配置例(图17)中使用第3光学滤光片(图20的A)和第1光学滤光片(图20的B)来获取。然而，在图17的构成例中，通过分束器(例如，分光为50％的分束器)使光量分别变为50％，再通过各光学滤光片变为50％。即，图21示出了所照射的光(100％光量)与通过分束器及各光学滤光片减少光量的光之间的关系，由图21可知，从光源射出的光的量在射入各摄像元件的阶段变为25％程度。在该情况下，用于获取窄频图像的波段(波段为546±3nm～570±3nm，因此带宽为24±6nm)与用于获取宽频图像的波段(波段为524±3nm～582±3nm，因此带宽为58±6nm)相比为一半以下。因此，窄频图像变为与宽频图像相比较暗的图像。若直接执行上述运算(宽频图像/窄频图像)，则会影响运算精度。关于这一点，由于变形例1的构成中使用了两个摄像元件，因此无需以相同的曝光时间获取图像。因而，通过使拍摄窄频图像的摄像元件的曝光时间比拍摄宽频图像的摄像元件的曝光时间更长，能够消除由波段的差引起的光量差。例如，能够将拍摄窄频图像的摄像元件的曝光时间设置为拍摄宽频图像的摄像元件的曝光时间的2～2.5倍。需要说明的是，拍摄窄频图像的摄像元件的曝光时间例如也可以在初始设置时设为拍摄宽频图像的摄像元件的曝光时间的2倍，在实际获取窄频图像和宽频图像之后进行调节以使其达到最佳状态。
(5)变形例5
变形例5提出了使用波段具有相互补充(互补)关系(也称为嵌套关系)的第1光学滤光片(参见图2)和第2光学滤光片(参见图3)时的光学滤光片与两个摄像元件的配置例。图22是用于说明变形例5的原理的图，图23是示出变形例5的光学元件的构成例的图。
光学滤光片(例如，第1光学滤光片(参见图2))例如蒸镀数十层薄膜(例如，蒸镀60层)而实现了所需的滤光片特性，本发明人验证了未透射第1光学滤光片的光会发生什么。结果，原本认为会被第1光学滤光片的蒸镀膜吸收，但如图22所示可知，未透射的光全部被该第1光学滤光片反射。因而，本发明人设计了形成所需的光学滤光片(例如，第1光学滤光片(图2))的层来代替分束器的分割膜。
即，如图23所示，光学元素的配置构成具备：具有第1光学滤光片(图2及图20的B)作为分割膜的分束器、拍摄透射分束器后的光(透射第1光学滤光片后的光)的第1摄像元件(例如，CMOS传感器)、对被分束器反射后的光(透射第1光学滤光片后的光以外的波长区域的光)进行滤光的第2光学滤光片(参见图3：具有透射420±3nm～452±3nm的光、502±3nm～524±3nm的光、及582±3nm～630±3nm的光的特性)、及拍摄透射第2光学滤光片后的光的第2摄像元件(例如，CMOS传感器)。通过采用这样的构成，能够高效地利用波长区域具有相互补充关系的光来执行各个运算(例如，氧饱和度运算、血管走向图像生成处理、血液透明化处理等)，而无需通过分束器进行分光以将光减少至50％。
(6)需要说明的是，在变形例1～5中，来自活体组织的反射光被分束器或棱镜等的光学元件分开并射入各摄像元件，作为这些光学元件的配置构成，它们可以不设于电镜100的前端部(图1中，摄像元件108配置于电镜100的前端部)，而设于靠近操作部的部位或者处理器200的内部。在该情况下，来自内窥镜镜体100的前端的上述反射光被光纤等引导至分束器或棱镜等光学元件。
<实施方式的总结>
(1)综上所述，在本实施方式中，向活体组织照射光的波段形成嵌套的RGB的光(第1波段(630±3nm～700±3nm)的R、第2波段(524±3nm～582±3nm)的G、第3波段(452±3nm～502±3nm)的B、第4波段(582±3nm～630±3nm)的R、第5波段(502±3nm～524±3nm)的G、及第6波段(420±3nm～452±3nm)的B的光而获取图像，使用该图像进行规定的图像处理，并显示由此所生成的图像。其中，第2波段、第3波段、所述第5波段、及所述第6波段的带宽的边界由等吸收点的波长规定，其中，等吸收点的透射率恒定，不依赖于氧饱和度。接着，使用与第2波段相对应的G1图像数据、及该G1图像数据以外的与第1波段相对应的R1图像数据、与第3波段相对应的B1图像数据、与第4波段相对应的R2图像数据、与第5波段相对应的G2图像数据、及与第6波段相对应的B2图像数据中的至少一个图像数据来进行图像处理，由此生成特殊光图像。如此一来，可以提高特殊光图像的画质。
具体而言，使用B2图像数据，生成距活体组织的表面第1深度的位置(较浅位置)的第1血管图像，使用G1图像数据生成比第1深度更深的第2深度的位置(中间深度位置)的第2血管图像，使用R1图像数据生成比第2深度更深的第3深度的位置(最深位置)的第3血管图像。通过这样发挥各获取图像的特征来生成图像，可以生成与各种用途相对应的图像。
在求取氧饱和度时，目前是使用G1图像除以照射波段546±3nm～570±3nm的光而得到的图像而获得的值，而在本实施方式中，使用了B1图像数据/G1图像数据的值。如此一来，能够提高氧饱和度指标值(表)的解像度，因此，能够精确地求得活体组织的氧饱和度(参见图13)。需要说明的是，能够用G1图像数据除以B1图像数据、G1图像数据及R1图像数据的线性组合来计算消除了散射光的影响的相对血红蛋白浓度。
另外，也可以在活体组织中，确定满足血红蛋白浓度为第1阈值以上且氧饱和度低于第2阈值这一特征条件的部位，生成特征图像，该特征图像采用将满足该特征条件的部位与此外的部位开的显示形式，并将该特征图像显示在屏幕上。如此一来，确定癌细胞活动的可能性较高的部位(患癌的可能性较高的部位)，从而可以进一步精确地检查该部位，因此，能够更准确地对被检查者进行诊断。
此外，本实施方式的内窥镜系统将G2图像数据分配给Blue波长区域，将R2图像数据分配给Green波长区域，由此能够降低来自活体组织的表面所附着的血液的图像数据的水平，以生成使血液透明化的血液透明化图像。通过将该血液透明化图像显示在屏幕上，即使在被检查者的活体组织中存在出血的部位的情况下，医师也能够在能见度良好的状态下继续治疗。
需要说明的是，本实施方式的内窥镜系统也可以至少包含生成R1图像数据、G1图像数据、及B1图像数据的第1摄像元件、及生成R2图像数据、G2图像数据、及B2图像数据的第2摄像元件。
另外，虽然在本实施方式中，使用滤光片生成各波段的光，但不限定于此，也可以不使用滤光片，而使用射出上述各波段的光的激光光源装置(LED光源装置)来获取各波段的图像数据(R1～B2图像数据)。
此外，也可以进一步使用各RGB图像数据来生成特殊图像，其中，各RGB图像数据是照射通过第3光学滤光片(图4)得到的各波段的光而得到的。如此一来，能够更多种类的观察形式。
(2)根据本实施方式(变形例4)，通过基于宽频光的图像和基于窄频光的图像来对活体组织的光谱特性的窄频内的变化程度(特性的弯曲程度)进行运算并输出。此时，由于窄频光与宽频光之间具有光量差(窄频光较暗)，因此，所设置的两个摄像元件(CMOS传感器)的曝光时间中设有差异。即，设置拍摄窄频光的摄像元件的曝光时间比拍摄宽频光的摄像元件的曝光时间更长(约2倍～2.5倍左右)。如此一来，可以降低窄频光与宽频光之间所存在的光量差导致的运算误差。需要说明的是，宽频光是波长区域524±3nm～582±3nm的光，窄频光是波长区域546±3nm～570±3nm的光。
(3)根据本实施方式(变形例5)，在光学元件(分束器)中设有光学滤光片(上述第1光学滤光片(参见图2))的层来代替光分割膜的光分割膜。在该情况下，在通过向活体组织照射照明光而产生的来自活体组织的反射光中，作为规定波长区域组的光的第1波长区域光(452±3nm～502±3nm的光，524±3nm～582±3nm的光、及630±3nm～700±3nm的光)被光学滤光片的层透射。另一方面，作为规定波长区域组以外的波长组的光的第2波长区域光(400±3nm～452±3nm的光、502±3nm～524±3nm的光、及582±3nm～630±3nm的光)被光学滤光片的层反射。并且，第1摄像部(CMOS传感器)基于第1波长区域光生成第1图像数据，第2摄像部(其它的CMOS传感器)基于第2波长区域光生成第2图像数据。此外，图像处理部基于第1图像数据及所述第2图像数据执行规定的图像处理(例如，氧饱和度运算、血管走向图像生成处理、血液透明化处理等)。图像处理结果被显示于显示器300的显示屏幕。
<本公开的特定事项>
(1)特定事项1
一种内窥镜系统，其可以在向活体组织照射白光并获取图像的普通观察模式、及向活体组织照射特定波长范围的光并获取图像的特殊观察模式下工作，具备：
照明部，向活体组织照射照明光，上述照明光至少包含第1波段的R、第2波段的G、第3波段的B、第4波段的R、第5波段的G、及第6波段的B的光；
摄像部，基于通过向所述活体组织照射所述照明光而产生的来自所述活体组织的反射光来生成图像数据；
图像处理部，从所述摄像部获取所述图像数据，并进行规定的图像处理；
显示部，将通过所述图像处理部的所述规定的图像处理所生成的图像显示在屏幕上，
至少所述第2波段、所述第3波段、所述第5波段、及所述第6波段的带宽的边界由等吸收点的波长规定，所述等吸收点的透射率恒定，不依赖于氧饱和度，
所述第2波段的带宽内包含除作为带宽的边界的等吸收点以外的等吸收点，所述第6波段是比所述第3波段更短的波段，所述第5波段是比所述第2波段更短的波段，所述第4波段是比所述第1波段更短的波段，
所述图像数据包含与所述第1波段的R的光对应的R1图像数据、与所述第2波段的G的光对应的G1图像数据、与所述第3波段的B的光对应的B1图像数据、与所述第4波段的R的光对应的R2图像数据、与所述第5波段的G的光对应的G2图像数据、及与所述第6波段的B的光对应的B2图像数据，
所述图像处理部通过使用所述G1图像数据、除该G1图像数据以外的所述R1图像数据、所述B1图像数据、所述R2图像数据、所述G2图像数据、及所述B2图像数据中的至少一个图像数据进行图像处理来生成特殊光图像。
(2)特定事项2
根据特定事项1，其中，
所述第1波段为630±3nm～700±3nm，
所述第2波段为524±3nm～582±3nm，
所述第3波段为452±3nm～502±3nm，
所述第4波段为582±3nm～630±3nm，
所述第5波段为502±3nm～524±3nm，
所述第6波段为420±3nm～452±3nm，
452±3nm、502±3nm、524±3nm、及582±3nm为所述等吸收点的波长。
(3)特定事项3
根据特定事项1或2，其中，
所述图像处理部执行下述处理：
使用所述B2图像数据生成距所述活体组织的表面第1深度的位置的第1血管图像；
使用所述G1图像数据生成比所述第1深度更深的第2深度的位置的第2血管图像；
使用所述R1图像数据生成比所述第2深度更深的第3深度的位置的第3血管图像。
(4)特定事项4
根据特定事项1～3的任一项，其中，
所述图像处理部通过用所述G1图像数据至少除以所述R1图像数据来计算表示血液浓度的血红蛋白浓度，并基于该血红蛋白浓度的值与所述B1图像数据/所述G1图像数据的值求得所述活体组织的氧饱和度。
(5)特定事项5
根据特定事项4，其中，
所述图像处理部在所述活体组织中确定满足所述血红蛋白浓度为第1阈值以上且所述氧饱和度低于第2阈值这一特征条件的部位，并生成特征图像，所述特征图像采用将满足该特征条件的部位与其它部位区分开的显示形式，
所述显示部将所述特征图像显示在屏幕上。
(6)特定事项6
根据特定事项4或5，其中，
所述图像处理部通过用所述G1图像数据除以所述B1图像数据、所述G1图像数据及所述R1图像数据的线性组合来计算消除了散射光的影响的相对血红蛋白浓度，并使用该相对血红蛋白浓度求得所述氧饱和度。
(7)特定事项7
根据特定事项1～6的任一项中，其中，
所述图像处理部将所述G2图像数据分配给Blue波长区域，将所述R2图像数据分配给Green波长区域，由此降低来自所述活体组织的表面上所附着的血液的图像数据的水平，从而生成使所述血液透明化的血液透明化图像，
所述显示部将所述血液透明化图像显示在屏幕上。
(8)特定事项8
根据特定事项7中，其中，
所述图像处理部进一步用所述G1图像数据乘以规定的减法参数，将分配给所述Blue波长区域的所述G2图像数据、分配给所述Green波长区域的所述R2图像数据、及乘以所述减法参数后的所述G1图像数据线性组合，从而生成所述血液透明化图像。
(9)特定事项9
根据特定事项1～8的任一项，其中，
所述摄像部包含生成所述R1图像数据、所述G1图像数据、及所述B1图像数据的第1摄像元件、及生成所述R2图像数据、所述G2图像数据、及所述B2图像数据的第2摄像元件。
(10)特定事项10
一种内窥镜系统，其可以在向活体组织照射白光并获取图像的普通观察模式、及向活体组织照射特定波长范围的光并获取图像的特殊观察模式下工作，具备：
照明部，向活体组织照射照明光；
光学元件，分割通过向所述活体组织照射所述照明光而产生的来自所述活体组织的反射光，并至少输出第1反射光及第2反射光；
第1光学滤光片，透射所述第1反射光中的第1组的波长区域的光；
第2光学滤光片，透射所述第2反射光中的第2组的波长区域的光，所述第2组的波长区域包含所述第1组的部分波长区域；
第1摄像部，基于所述第1组的波长区域的光生成与规定波长区域的光对应的第1图像数据；
第2摄像部，基于所述第2组的波长区域的光，生成与包含在所述规定波长区域内且比所述规定区域窄的波长区域的光对应的第2图像数据；
图像处理部，通过用所述第1图像数据除以所述第2图像数据，运算比所述规定波长区域窄的波长区域内的所述活体组织的光谱特性的特征；及
输出部，输出所述图像处理部的运算结果，
设置所述第2摄像部的曝光时间比所述第1摄像部的曝光时间长。
(11)特定事项11
根据特定事项10，其中，
所述第1图像数据是与波长区域为从524±3nm至582±3nm的光对应的宽频图像数据，
所述第2图像数据是与波长区域为从546±3nm至570±3nm的光对应的窄频图像数据。
(12)特定事项12
根据特定事项10或11，其中，
所述图像处理部运算从546±3nm至570±3nm的所述活体组织的光谱特性的变化程度。
(13)特定事项13
根据特定事项10～12的任一项，其中，
设置所述第2摄像部的曝光时间比所述第1摄像部的曝光时间长2倍以上。
(14)特定事项14
一种内窥镜系统，其可以在向活体组织照射白光并获取图像的普通观察模式、及向活体组织照射特定波长范围的光并获取图像的特殊观察模式下工作，具备：
照明部，向活体组织照射照明光；
光学元件，使用光学滤光片的层代替光分割膜，利用所述光学滤光片的层透射第1波长区域光，利用所述光学滤光片的层反射第2波长区域光，并输出所述第1波长区域光及所述第2波长区域光，其中，所述第1波长区域光是通过向所述活体组织照射所述照明光而产生的来自所述活体组织的反射光中的规定波长区域组的光，所述第2波长区域光是除所述规定波长区域组以外的波长组的光；
第1摄像部，基于所述第1波长区域光生成与所述规定波长区域组的光对应的第1图像数据；
第2摄像部，基于所述第2波长区域光生成与所述规定波长区域组以外的波长组的光对应的第2图像数据；
图像处理部，基于所述第1图像数据及所述第2图像数据执行规定的图像处理；及
输出部，输出所述图像处理部的运算结果。
(15)特定事项15，
根据权利要求14，其中，
所述第1波长区域光与所述第2波长区域光是波长组存在互补关系的光。
(16)特定事项16，
根据特定事项14或15，其中，
所述光学滤光片具有透射452±3nm～502±3nm的光、524±3nm～582±3nm的光、及630±3nm～700±3nm的光的特性。
(17)特定事项17
根据特定事项14，其中，
进一步具备：
校正光学滤光片，透射所述第2波长区域光的部分光，
所述第2摄像部基于透射所述校正光学滤光片后的光来生成所述第2图像数据。
(18)特定事项18
根据特定事项17，其中，
所述校正光学滤光片具有透射420±3nm～452±3nm的光、502±3nm～524±3nm的光、及582±3nm～630±3nm的光的特性。
(19)特定事项19
一种使内窥镜系统在向活体组织照射特定波长范围的光并获取图像的特殊观察模式下工作的方法，包括：
照明部向活体组织照射照明光，所述照明光至少包含第1波段的R、第2波段的G、第3波段的B、第4波段的R、第5波段的G、及第6波段的B的光；
摄像部基于通过向所述活体组织照射所述照明光而产生的来自所述活体组织的反射光生成图像数据；
图像处理部从所述摄像部获取所述图像数据，并执行规定的图像处理；及
显示部将通过所述图像处理部的所述规定的图像处理所生成的图像显示在屏幕上，
至少所述第2波段、所述第3波段、所述第5波段、及所述第6波段的带宽的边界由等吸收点的波长规定，等吸收点的透射率恒定，不依赖于氧饱和度，
所述第2波段的带宽内包含除作为带宽的边界的等吸收点以外的等吸收点，所述第6波段是比所述第3波段更短的波段，所述第5波段是比所述第2波段更短的波段，所述第4波段是比所述第1波段更短的波段，
所述图像数据包含与所述第1波段的R的光对应的R1图像数据、与所述第2波段的G的光对应的G1图像数据、与所述第3波段的B的光对应的B1图像数据、与所述第4波段的R的光对应的R2图像数据、与所述第5波段的G的光对应的G2图像数据、及与所述第6波段的B的光对应的B2图像数据，
生成所述图像数据时，所述图像处理部通过使用所述G1图像数据、除该G1图像数据以外的所述R1图像数据、所述B1图像数据、所述R2图像数据、所述G2图像数据、及所述B2图像数据中的至少一个图像数据进行图像处理来生成特殊光图像。
(20)特定事项20
根据特定事项19，其中，
所述第1波段为630±3nm～700±3nm，
所述第2波段为524±3nm～582±3nm，
所述第3波段为452±3nm～502±3nm，
所述第4波段为582±3nm～630±3nm，
所述第5波段为502±3nm～524±3nm，
所述第6波段为420±3nm～452±3nm，
452±3nm，502±3nm，524±3nm、及582±3nm为所述等吸收点的波长。
(21)特定事项21
根据特定事项19或20，其中，
所述图像处理部生成所述规定的图像处理包括：
所述图像处理部使用所述B2图像数据生成距所述活体组织的表面第1深度的位置的第1血管图像；
所述图像处理部使用所述G1图像数据生成比所述第1深度更深的第2深度的位置的第2血管图像；
所述图像处理部使用所述R1图像数据生成比所述第2深度更深的第3深度的位置的第3血管图像。
(22)特定事项22
根据特定事项19～21，其中，
所述图像处理部进行所述规定的图像处理包括：
所述图像处理部通过用所述G1图像数据至少除以所述R1图像数据来计算表示血液浓度的血红蛋白浓度；
所述图像处理部基于所述血红蛋白浓度的值与所述B1图像数据/所述G1图像数据的值求得所述活体组织的氧饱和度。
(23)特定事项23
根据特定事项22，其中，
所述图像处理部进行所述规定的图像处理包括：
所述图像处理部在所述活体组织中确定满足所述血红蛋白浓度为第1阈值以上且所述氧饱和度低于第2阈值这一特征条件的部位；及
所述图像处理部生成特征图像，所述特征图像采用将满足所述特征条件的部位与其它部位区分开的显示形式，
所述显示部将所述特征图像显示在屏幕上。
(24)特定事项24
根据特定事项22或23，其中，
所述图像处理部通过用所述G1图像数据除以所述B1图像数据、所述G1图像数据及所述R1图像数据的线性组合来计算消除了散射光的影响的相对血红蛋白浓度，并使用该相对血红蛋白浓度求得所述氧饱和度。
(25)特定事项25
根据特定事项19～24的任一项，其中，
所述图像处理部进行所述规定的图像处理包括：
所述图像处理部将所述G2图像数据分配给Blue波长区域，将所述R2图像数据分配给Green波长区域，由此降低来自所述活体组织的表面上所附着的血液的图像数据的水平，从而生成使所述血液透明化的血液透明化图像，
所述显示部将所述血液透明化图像显示在屏幕上。
(26)特定事项26
根据特定事项25，其中，
所述图像处理部进行所述规定的图像处理包括：
所述图像处理部用所述G1图像数据乘以规定的减法参数，将分给所述Blue波长区域的所述G2图像数据、分配给所述Green波长区域的所述R2图像数据、及乘以所述减法参数后的所述G1图像数据线性组合，从而生成所述血液透明化图像。
(27)特定事项27
根据特定事项19～26的任一项，其中，
所述摄像部包含第1摄像元件、及第2摄像元件，
所述第1摄像元件生成所述R1图像数据、所述G1图像数据、及所述B1图像数据，所述第2摄像元件生成所述R2图像数据、所述G2图像数据、及所述B2图像数据。
符号说明
1 内窥镜系统
100 电镜
108 固态摄像元件
110 驱动信号处理部
200 处理器
202 系统控制器
204 时序控制器
208 灯
220 图像处理部
230 分析处理部
260 光学滤光片装置
262 光学滤光片
264 滤光片驱动部
300 显示器
2301 图像获取部
2302 校正运算部
2303 血管走向图像生成部
2304 特征区域确定处理部
2306 显示处理部
2307 内部存储器。

Claims (27)

1.一种内窥镜系统，其可以在向活体组织照射白光并获取图像的普通观察模式、及向活体组织照射特定波长范围的光并获取图像的特殊观察模式下工作，具备：
照明部，向活体组织照射照明光，所述照明光至少包含第1波段的R、第2波段的G、第3波段的B、第4波段的R、第5波段的G、及第6波段的B的光；
摄像部，基于通过向所述活体组织照射所述照明光而产生的来自所述活体组织的反射光来生成图像数据；
图像处理部，从所述摄像部获取所述图像数据，并进行规定的图像处理；及
显示部，将通过所述图像处理部的所述规定的图像处理所生成的图像显示在屏幕上，
至少所述第2波段、所述第3波段、所述第5波段、及所述第6波段的带宽的边界由等吸收点的波长规定，所述等吸收点的透射率恒定，不依赖于氧饱和度，
所述第2波段的带宽内包含除作为带宽的边界的等吸收点以外的等吸收点，所述第6波段是比所述第3波段更短的波段，所述第5波段是比所述第2波段更短的波段，所述第4波段是比所述第1波段更短的波段，
所述图像数据包含与所述第1波段的R的光对应的R1图像数据、与所述第2波段的G的光对应的G1图像数据、与所述第3波段的B的光对应的B1图像数据、与所述第4波段的R的光对应的R2图像数据、与所述第5波段的G的光对应的G2图像数据、及与所述第6波段的B的光对应的B2图像数据，
所述图像处理部通过使用所述G1图像数据、除该G1图像数据以外的所述R1图像数据、所述B1图像数据、所述R2图像数据、所述G2图像数据、及所述B2图像数据中的至少一个图像数据进行图像处理来生成特殊光图像。
2.根据权利要求1中所述的内窥镜系统，其中，
所述第1波段为630±3nm～700±3nm，
所述第2波段为524±3nm～582±3nm，
所述第3波段为452±3nm～502±3nm，
所述第4波段为582±3nm～630±3nm，
所述第5波段为502±3nm～524±3nm，
所述第6波段为420±3nm～452±3nm，
452±3nm、502±3nm、524±3nm、及582±3nm为所述等吸收点的波长。
3.根据权利要求1或2所述的内窥镜系统，其中，
所述图像处理部执行下述处理：
使用所述B2图像数据生成距所述活体组织的表面第1深度的位置的第1血管图像；
使用所述G1图像数据生成比所述第1深度更深的第2深度的位置的第2血管图像；
使用所述R1图像数据生成比所述第2深度更深的第3深度的位置的第3血管图像。
4.根据权利要求1～3中任一项所述的内窥镜系统，其中，
所述图像处理部通过用所述G1图像数据至少除以所述R1图像数据来计算表示血液浓度的血红蛋白浓度，并基于该血红蛋白浓度的值与所述B1图像数据/所述G1图像数据的值求得所述活体组织的氧饱和度。
5.根据权利要求4所述的内窥镜系统，其中，
所述图像处理部在所述活体组织中确定满足所述血红蛋白浓度为第1阈值以上且所述氧饱和度低于第2阈值这一特征条件的部位，并生成特征图像，所述特征图像采用将满足该特征条件的部位与其它部位区分开的显示形式，
所述显示部将所述特征图像显示在屏幕上。
6.根据权利要求4或5所述的内窥镜系统，其中，
所述图像处理部通过用所述G1图像数据除以所述B1图像数据、所述G1图像数据及所述R1图像数据的线性组合来计算消除了散射光的影响的相对血红蛋白浓度，并使用该相对血红蛋白浓度求得所述氧饱和度。
7.根据权利要求1～6中任一项所述的内窥镜系统，其中，
所述图像处理部将所述G2图像数据分配给Blue波长区域，将所述R2图像数据分配给Green波长区域，由此降低来自所述活体组织的表面上所附着的血液的图像数据的水平，从而生成使所述血液透明化的血液透明化图像，
所述显示部将所述血液透明化图像显示在屏幕上。
8.根据权利要求7中任一项所述的内窥镜系统，其中，
所述图像处理部进一步用所述G1图像数据乘以规定的减法参数，将分配给所述Blue波长区域的所述G2图像数据、分配给所述Green波长区域的所述R2图像数据、及乘以所述减法参数后的所述G1图像数据线性组合，从而生成所述血液透明化图像。
9.根据权利要求1～8中任一项所述的内窥镜系统，其中，
所述摄像部包含生成所述R1图像数据、所述G1图像数据、及所述B1图像数据的第1摄像元件、及生成所述R2图像数据、所述G2图像数据、及所述B2图像数据的第2摄像元件。
10.一种内窥镜系统，其可以在向活体组织照射白光并获取图像的普通观察模式、及向活体组织照射特定波长范围的光并获取图像的特殊观察模式下工作，具备：
照明部，向活体组织照射照明光；
光学元件，分割通过向所述活体组织照射所述照明光而产生的来自所述活体组织的反射光，并至少输出第1反射光及第2反射光；
第1光学滤光片，透射所述第1反射光中的第1组的波长区域的光；
第2光学滤光片，透射所述第2反射光中的第2组的波长区域的光，所述第2组的波长区域包含所述第1组的部分波长区域；
第1摄像部，基于所述第1组的波长区域的光生成与规定波长区域的光对应的第1图像数据；
第2摄像部，基于所述第2组的波长区域的光，生成与包含在所述规定波长区域内且比所述规定区域窄的波长区域的光对应的第2图像数据；
图像处理部，通过用所述第1图像数据除以所述第2图像数据，运算比所述规定波长区域窄的波长区域内的所述活体组织的光谱特性的特征；及
输出部，输出所述图像处理部的运算结果，
设置所述第2摄像部的曝光时间比所述第1摄像部的曝光时间长。
11.根据权利要求10所述的内窥镜系统，其中，
所述第1图像数据是与波长区域为从524±3nm至582±3nm的光对应的宽频图像数据，
所述第2图像数据是与波长区域为从546±3nm至570±3nm的光对应的窄频图像数据。
12.根据权利要求10或11所述的内窥镜系统，其中，
所述图像处理部运算从546±3nm至570±3nm的所述活体组织的光谱特性的变化程度。
13.根据权利要求10～12中任一项所述的内窥镜系统，其中，
设置所述第2摄像部的曝光时间比所述第1摄像部的曝光时间长2倍以上。
14.一种内窥镜系统，其可以在向活体组织照射白光并获取图像的普通观察模式、及向活体组织照射特定波长范围的光并获取图像的特殊观察模式下工作，具备：
照明部，向活体组织照射照明光；
光学元件，使用光学滤光片的层代替光分割膜，利用所述光学滤光片的层透射第1波长区域光，利用所述光学滤光片的层反射第2波长区域光，并输出所述第1波长区域光及所述第2波长区域光，其中，所述第1波长区域光是通过向所述活体组织照射所述照明光而产生的来自所述活体组织的反射光中的规定波长区域组的光，所述第2波长区域光是除所述规定波长区域组以外的波长组的光；
第1摄像部，基于所述第1波长区域光生成与所述规定波长区域组的光对应的第1图像数据；
第2摄像部，基于所述第2波长区域光生成与所述规定波长区域组以外的波长组的光对应的第2图像数据；
图像处理部，基于所述第1图像数据及所述第2图像数据执行规定的图像处理；及
输出部，输出所述图像处理部的运算结果。
15.根据权利要求14所述的内窥镜系统，其中，
所述第1波长区域光与所述第2波长区域光是波长组存在互补关系的光。
16.根据权利要求14或15所述的内窥镜系统，其中，
所述光学滤光片具有透射452±3nm～502±3nm的光、524±3nm～582±3nm的光、及630±3nm～700±3nm的光的特性。
17.根据权利要求14所述的内窥镜系统，其中，进一步具备：
校正光学滤光片，透射所述第2波长区域光的部分光，
所述第2摄像部基于透射所述校正光学滤光片后的光来生成所述第2图像数据。
18.根据权利要求17所述的内窥镜系统，其中，
所述校正光学滤光片具有透射420±3nm～452±3nm的光、502±3nm～524±3nm的光、及582±3nm～630±3nm的光的特性。
19.一种使内窥镜系统在向活体组织照射特定波长范围的光并获取图像的特殊观察模式下工作的方法，包括：
照明部向活体组织照射照明光，所述照明光至少包含第1波段的R、第2波段的G、第3波段的B、第4波段的R、第5波段的G、及第6波段的B的光；
摄像部基于通过向所述活体组织照射所述照明光而产生的来自所述活体组织的反射光生成图像数据；
图像处理部从所述摄像部获取所述图像数据，并执行规定的图像处理；及
显示部将通过所述图像处理部的所述规定的图像处理所生成的图像显示在屏幕上，
至少所述第2波段、所述第3波段、所述第5波段、及所述第6波段的带宽的边界由等吸收点的波长规定，等吸收点的透射率恒定，不依赖于氧饱和度，
所述第2波段的带宽内包含除作为带宽的边界的等吸收点以外的等吸收点，所述第6波段是比所述第3波段更短的波段，所述第5波段是比所述第2波段更短的波段，所述第4波段是比所述第1波段更短的波段，
所述图像数据包含与所述第1波段的R的光对应的R1图像数据、与所述第2波段的G的光对应的G1图像数据、与所述第3波段的B的光对应的B1图像数据、与所述第4波段的R的光对应的R2图像数据、与所述第5波段的G的光对应的G2图像数据、及与所述第6波段的B的光对应的B2图像数据，
生成所述图像数据时，所述图像处理部通过使用所述G1图像数据、除该G1图像数据以外的所述R1图像数据、所述B1图像数据、所述R2图像数据、所述G2图像数据、及所述B2图像数据中的至少一个图像数据进行图像处理来生成特殊光图像。
20.根据权利要求19所述的方法，其中，
所述第1波段为630±3nm～700±3nm，
所述第2波段为524±3nm～582±3nm，
所述第3波段为452±3nm～502±3nm，
所述第4波段为582±3nm～630±3nm，
所述第5波段为502±3nm～524±3nm，
所述第6波段为420nm～450nm，
452±3nm，502±3nm，524±3nm、及582±3nm为所述等吸收点的波长。
21.根据权利要求19或20所述的方法，其中，
所述图像处理部生成所述规定的图像处理包括：
所述图像处理部使用所述B2图像数据生成距所述活体组织的表面第1深度的位置的第1血管图像；
所述图像处理部使用所述G1图像数据生成比所述第1深度更深的第2深度的位置的第2血管图像；
所述图像处理部使用所述R1图像数据生成比所述第2深度更深的第3深度的位置的第3血管图像。
22.根据权利要求19～21中任一项所述的方法，其中，
所述图像处理部进行所述规定的图像处理包括：
所述图像处理部通过用所述G1图像数据至少除以所述R1图像数据来计算表示血液浓度的血红蛋白浓度；
所述图像处理部基于所述血红蛋白浓度的值与所述B1图像数据/所述G1图像数据的值求得所述活体组织的氧饱和度。
23.根据权利要求22所述的方法，其中，
所述图像处理部进行所述规定的图像处理包括：
所述图像处理部在所述活体组织中确定满足所述血红蛋白浓度为第1阈值以上且所述氧饱和度低于第2阈值这一特征条件的部位；及
所述图像处理部生成特征图像，所述特征图像采用将满足所述特征条件的部位与其它部位区分开的显示形式，
所述显示部将所述特征图像显示在屏幕上。
24.根据权利要求22或23所述的方法，其中，
所述图像处理部通过用所述G1图像数据除以所述B1图像数据、所述G1图像数据及所述R1图像数据的线性组合来计算消除了散射光的影响的相对血红蛋白浓度，并使用该相对血红蛋白浓度求得所述氧饱和度。
25.根据权利要求19～24中任一项所述的方法，其中，
所述图像处理部进行所述规定的图像处理包括：
所述图像处理部将所述G2图像数据分配给Blue波长区域，将所述R2图像数据分配给Green波长区域，由此降低来自所述活体组织的表面上所附着的血液的图像数据的水平，从而生成使所述血液透明化的血液透明化图像，
所述显示部将所述血液透明化图像显示在屏幕上。
26.根据权利要求25所述的方法，其中，
所述图像处理部进行所述规定的图像处理包括：
所述图像处理部用所述G1图像数据乘以规定的减法参数，将分配给所述Blue波长区域的所述G2图像数据、分配给所述Green波长区域的所述R2图像数据、及乘以所述减法参数后的所述G1图像数据线性组合，从而生成所述血液透明化图像。
27.根据权利要求19～26中任一项所述的方法，其中，
所述摄像部包含第1摄像元件、及第2摄像元件，
所述第1摄像元件生成所述R1图像数据、所述G1图像数据、及所述B1图像数据，所述第2摄像元件生成所述R2图像数据、所述G2图像数据、及所述B2图像数据。
CN201980026603.XA 2018-08-31 2019-08-30 内窥镜系统及使内窥镜系统工作的方法 Active CN111989023B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-163667 2018-08-31
JP2018163667 2018-08-31
PCT/JP2019/034087 WO2020045619A1 (ja) 2018-08-31 2019-08-30 内視鏡システム、および内視鏡システムを動作させる方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410165370.4A Division CN117918771A (zh) 2018-08-31 2019-08-30 内窥镜系统及使内窥镜系统工作的方法

Publications (2)

Publication Number Publication Date
CN111989023A true CN111989023A (zh) 2020-11-24
CN111989023B CN111989023B (zh) 2024-02-02

Family

ID=69643644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980026603.XA Active CN111989023B (zh) 2018-08-31 2019-08-30 内窥镜系统及使内窥镜系统工作的方法

Country Status (5)

Country Link
US (2) US11885954B2 (zh)
JP (2) JP7287969B2 (zh)
CN (1) CN111989023B (zh)
DE (1) DE112019004271T5 (zh)
WO (1) WO2020045619A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6392486B1 (ja) * 2017-02-01 2018-09-19 オリンパス株式会社 内視鏡システム
WO2023276158A1 (ja) * 2021-07-02 2023-01-05 オリンパスメディカルシステムズ株式会社 内視鏡プロセッサ、内視鏡装置及び診断用画像表示方法
WO2024057990A1 (ja) * 2022-09-16 2024-03-21 ソニーグループ株式会社 撮像装置及び医療用観察システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050014995A1 (en) * 2001-11-09 2005-01-20 David Amundson Direct, real-time imaging guidance of cardiac catheterization
JP2013063097A (ja) * 2011-09-15 2013-04-11 Fujifilm Corp 内視鏡システム及び光源装置
JP2015177812A (ja) * 2014-03-18 2015-10-08 オリンパス株式会社 生体観察システム
JP2016022043A (ja) * 2014-07-17 2016-02-08 Hoya株式会社 生体組織中の生体物質の濃度分布を示す画像を生成する方法
US20160058274A1 (en) * 2014-09-03 2016-03-03 Hoya Corporation Image capturing system and electronic endoscope system

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS533012U (zh) 1976-06-25 1978-01-12
JP2810718B2 (ja) 1989-05-09 1998-10-15 オリンパス光学工業株式会社 内視鏡装置
JP2011125404A (ja) * 2009-12-15 2011-06-30 Olympus Corp 光制御装置、制御装置、光学スコープ及び光走査型光学装置
JP5541914B2 (ja) * 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
JP5489806B2 (ja) 2010-03-24 2014-05-14 オリンパス株式会社 蛍光内視鏡装置
JP5395725B2 (ja) * 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP2012016545A (ja) 2010-07-09 2012-01-26 Fujifilm Corp 内視鏡装置
JP5303012B2 (ja) 2010-12-15 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5704998B2 (ja) * 2011-04-06 2015-04-22 キヤノン株式会社 光音響装置およびその制御方法
JP5816511B2 (ja) 2011-10-04 2015-11-18 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP5690790B2 (ja) 2012-09-21 2015-03-25 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
CA2894133C (en) 2013-03-15 2016-11-01 Synaptive Medical (Barbados) Inc. Surgical imaging systems
CN105324064B (zh) * 2013-05-30 2017-10-27 Hoya株式会社 生成示出生物组织中生物物质浓度分布图像的方法和装置
JP6336098B2 (ja) * 2015-03-17 2018-06-06 オリンパス株式会社 生体観察システム
JPWO2016151672A1 (ja) 2015-03-20 2018-01-11 オリンパス株式会社 生体観察装置
JP2016192985A (ja) * 2015-03-31 2016-11-17 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
EP3354188A4 (en) 2015-09-24 2019-04-17 Olympus Corporation ENDOSCOPE DEVICE
US10420457B2 (en) 2015-09-24 2019-09-24 Hoya Corporation Analyzing apparatus
JP2017148392A (ja) 2016-02-26 2017-08-31 Hoya株式会社 計算システム
JP6570484B2 (ja) 2016-07-04 2019-09-04 Hoya株式会社 分析装置
JP2018027272A (ja) 2016-08-19 2018-02-22 ソニー株式会社 撮像システム
JP6342598B1 (ja) 2016-11-01 2018-06-13 オリンパス株式会社 画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050014995A1 (en) * 2001-11-09 2005-01-20 David Amundson Direct, real-time imaging guidance of cardiac catheterization
JP2013063097A (ja) * 2011-09-15 2013-04-11 Fujifilm Corp 内視鏡システム及び光源装置
JP2015177812A (ja) * 2014-03-18 2015-10-08 オリンパス株式会社 生体観察システム
JP2016022043A (ja) * 2014-07-17 2016-02-08 Hoya株式会社 生体組織中の生体物質の濃度分布を示す画像を生成する方法
US20160058274A1 (en) * 2014-09-03 2016-03-03 Hoya Corporation Image capturing system and electronic endoscope system
CN105380587A (zh) * 2014-09-03 2016-03-09 Hoya株式会社 图像采集系统和电子内窥镜系统

Also Published As

Publication number Publication date
US20210228068A1 (en) 2021-07-29
CN111989023B (zh) 2024-02-02
WO2020045619A1 (ja) 2020-03-05
JP7287969B2 (ja) 2023-06-06
US11885954B2 (en) 2024-01-30
US20240111145A1 (en) 2024-04-04
DE112019004271T5 (de) 2021-05-27
JP2023099754A (ja) 2023-07-13
JPWO2020045619A1 (ja) 2021-03-11

Similar Documents

Publication Publication Date Title
US11224335B2 (en) Image capturing system and electronic endoscope system
WO2017145529A1 (ja) 計算システム
JP5466182B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
JP5616304B2 (ja) 電子内視鏡システム及び電子内視鏡システムの作動方法
CN105615894B (zh) 分析装置以及分析方法
US20240111145A1 (en) Endoscope system
JP6467562B2 (ja) 内視鏡システム
JP5752423B2 (ja) 分光計測システムおよび分光計測システムの作動方法
WO2017119239A1 (ja) 内視鏡装置
JP6615369B2 (ja) 内視鏡システム
JP2021035549A (ja) 内視鏡システム
JP6284451B2 (ja) 内視鏡装置
WO2018043728A1 (ja) 内視鏡システム及び特徴量算出方法
JP4712505B2 (ja) 電子内視鏡装置
CN117918771A (zh) 内窥镜系统及使内窥镜系统工作的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant