CN107072488B - 分析装置 - Google Patents

分析装置 Download PDF

Info

Publication number
CN107072488B
CN107072488B CN201680002955.8A CN201680002955A CN107072488B CN 107072488 B CN107072488 B CN 107072488B CN 201680002955 A CN201680002955 A CN 201680002955A CN 107072488 B CN107072488 B CN 107072488B
Authority
CN
China
Prior art keywords
image data
index
light
oxygen saturation
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680002955.8A
Other languages
English (en)
Other versions
CN107072488A (zh
Inventor
千叶亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of CN107072488A publication Critical patent/CN107072488A/zh
Application granted granted Critical
Publication of CN107072488B publication Critical patent/CN107072488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明一实施方式所涉及的分析装置,其具备:光源装置;拍摄元件,其拍摄被光源装置产生的光照明的生物体组织并生成彩色图像数据;指标计算部,其基于彩色图像数据,计算表示生物体组织的特征量Q的指标X;特征量取得部,其基于指标X,取得特征量Q,特征量取得部具备贡献度计算部,所述贡献度计算部基于彩色图像数据中所含的至少2色的单色图像数据,计算出散射对生物体组织的光谱特性的贡献度C,特征量取得部基于指标X及贡献度C,取得特征量Q。

Description

分析装置
技术领域
本发明涉及基于拍摄了生物体组织的图像而取得表示生物体组织中的生物体物质的浓度的指标的分析装置。
背景技术
已知有具备根据内窥镜图像的色彩信息对作为被摄体的生物体组织中的生物体物质(例如血红蛋白)的浓度进行定量的功能的内窥镜装置。这种内窥镜装置的一例记载于国际公开第2014/192781号(以下称作“专利文献1”。)。
专利文献1中记载的内窥镜装置中,基于分别使用血红蛋白的550nm附近的吸收带内的两种波长域的照明光拍摄到的两个内窥镜图像的色彩信息,计算表示总血红蛋白量的指标和表示氧饱和度SatO2的指标。
发明内容
生物体组织的图像的颜色受生物体组织引起的照明光的散射的影响。但是,专利文献1所记载的内窥镜装置中,在各指标的计算中,未考虑到起因于散射的光谱特性的变化。因此,存在如下问题:指标的计算结果根据散射的强度而变动(即,算出的指标值中包含起因于散射的误差)。
本发明是鉴于上述情况而创立的,其目的在于,提供一种补偿起因于散射的指标值的误差,可以取得精度更高的指标值的分析装置。
本发明一实施方式所涉及的分析装置,其具备:光源装置;拍摄元件,其拍摄被光源装置产生的光照明的生物体组织并生成彩色图像数据;指标计算部,其基于彩色图像数据,计算表示生物体组织的特征量Q的指标X;特征量取得部,其基于指标X,取得特征量Q,特征量取得部具备贡献度计算部,所述贡献度计算部基于彩色图像数据中所含的至少2色的单色图像数据,计算出将散射对生物体组织的光谱特性的贡献的程度数值化了的贡献度C,特征量取得部基于指标X及贡献度C,取得特征量Q。
根据该结构,能够降低起因于散射的误差,能够取得精度更高的指标值。
所述分析装置中,也可以如下构成,彩色图像数据为RGB彩色图像数据,贡献度计算部计算贡献度C,作为彩色图像数据中的R单色图像数据相对于G或B单色图像数据的比。
另外,所述分析装置中,也可以如下构成,贡献度计算部具备存储单元,所述存储单元保持有表示特征量Q、指标X以及贡献度C的关系的信息,特征量取得部基于信息、指标X及贡献度C,取得特征量Q。
另外,所述分析装置中,也可以如下构成,信息是表示特征量Q、指标X以及贡献度C的关系的数值表或函数。
另外,所述分析装置中,也可以如下构成,信息表示指标X、贡献度C及特征量Q的多个组,特征量取得部选择多个组中最接近基于彩色图像数据计算指标X及贡献度C所得的值的组,取得所选择的组的特征量Q。
另外,所述分析装置中,也可以如下构成,信息表示指标X、贡献度C及特征量Q的多个组,特征量取得部选择多个组中与由彩色图像数据得到的指标X及贡献度C的组相邻的2组,通过以下数式1计算特征量Q:
【数1】
其中,
X是基于彩色图像数据计算出的指标,
Qa是所选择的2组的一方的特征量,
Xa是所选择的2组的一方的指标,
Qb是所选择的2组的另一方的特征量,
Xb是所选择的2组的另一方的指标。
另外,所述分析装置中,也可以如下构成,光源装置切换产生用于计算指标X的特殊光和大致白色的普通光,贡献度计算部基于在普通光的照明下对生物体组织进行拍摄而得到的彩色图像数据,计算贡献度C。
另外,所述分析装置中,也可以如下构成,特殊光包含:第一特殊光,其具有在生物体组织中所含的第一及第二生物体物质具有吸收的第一波长域进行分布的连续光谱;第二特殊光,其具有在第一波长域内的第二波长域进行分布的连续光谱,光源装置切换产生第一特殊光、第二特殊光、普通光,指标计算部基于在第一特殊光的照明下对生物体组织进行拍摄而得到的第一特殊观察图像数据G1、和在第二特殊光的照明下对生物体组织进行拍摄而得到的第二特殊观察图像数据G2,计算指标X。
另外,所述分析装置中,也可以如下构成,彩色图像数据是RGB彩色图像数据,第一特殊观察图像数据G1及第二特殊观察图像数据G2分别是G单色图像数据。
另外,所述分析装置中,也可以如下构成,特征量Q是生物体组织中所含的第一及第二生物体物质的摩尔浓度比。
另外,所述分析装置中,也可以如下构成,第一生物体物质为氧化血红蛋白,第二生物体物质为还原血红蛋白,摩尔浓度比为氧饱和度。
另外,所述分析装置中,也可以如下构成,具备浓度比分布图像生成部,所述浓度比分布图像生成部基于特征量Q,生成表示生物体组织中的第一及第二生物体物质的摩尔浓度比的分布的浓度比分布图像。
另外,所述分析装置中,也可以如下构成,特征量Q是生物体组织中所含的生物体物质的浓度。
另外,所述分析装置中,也可以如下构成,具备浓度分布图像生成部,所述浓度分布图像生成部基于特征量Q,生成表示生物体组织中所含的生物体物质的浓度的分布的浓度分布图像。
另外,所述分析装置中,也可以如下构成,特征量Q为生物体组织中的总血红蛋白量。
另外,所述分析装置中,也可以如下构成,具备前端部设置有拍摄元件的内窥镜。
附图说明
图1是血红蛋白的550nm附近的吸收光谱。
图2是本发明实施方式的内窥镜装置的框图。
图3是内置于拍摄元件的彩色滤光片的透过光谱。
图4是旋转滤光片的外观图。
图5是表示本发明实施方式的图像生成处理的流程图。
图6是说明光谱特性中的散射的影响的、生物体组织的光谱特性的模拟结果。
图7是表示散射的贡献率C和在白色光的照明下拍摄到的R、G及B数字图像数据的关系的曲线图。
图8是对每一真的氧饱和度SatO2描绘散射的贡献率C和指标X的关系的图。
图9是表示基于指标X取得氧饱和度SatO2的处理的步骤的流程图。
图10是说明使用图8的曲线图,通过加权平均取得氧饱和度SatO2的方法的图。
图11是通过本发明实施方式的内窥镜装置生成的图像信息的显示例,(a)是氧饱和度分布图像的二维显示例,(b)是氧饱和度分布图像的三维显示例。
图12是用于决定修正系数k的校准线的例子。
具体实施方式
以下,参照附图说明本发明的实施方式。
以下说明的本发明的实施方式的内窥镜装置是基于在波长域不同的光的照明下拍摄到的多个图像,定量分析被摄体的生物体信息(例如氧饱和度SatO2)并将分析结果图像化显示的装置。在以下说明的氧饱和度SatO2的定量分析中,利用血液的光谱特性(即血红蛋白的光谱特性)根据氧饱和度SatO2连续变化的性质。
(血红蛋白的光谱特性及氧饱和度的计算原理)
在说明本发明实施方式的内窥镜装置的详细结构之前,说明血红蛋白的光谱特性和本实施方式的氧饱和度SatO2的计算原理。
图1表示550nm附近的血红蛋白的吸收光谱。血红蛋白在550nm附近具有源自卟啉的强吸收带。血红蛋白的吸收光谱根据氧饱和度SatO2(全血红蛋白中的氧化血红蛋白HbO2所占的比例)变化。图1中的实线的波形是氧饱和度SatO2为100%的情况下的(即氧化血红蛋白HbO2的)吸收光谱,长虚线的波形是氧饱和度SatO2为0%的情况下的(即还原血红蛋白Hb的)吸收光谱。另外,短虚线是其中间的氧饱和度SatO2(10、20、30、…90%)的血红蛋白(氧化血红蛋白HbO2和还原血红蛋白Hb的混合物)的吸收光谱。
如图1所示,在上述的550nm附近的吸收带,氧化血红蛋白HbO2和还原血红蛋白Hb(也称作脱氧化血红蛋白。)具有互不相同的峰值波长。具体而言,氧化血红蛋白HbO2具有波长542nm附近的吸收峰值P1和波长576nm附近的吸收峰值P3。另一方面,还原血红蛋白Hb在556nm附近具有吸收峰值P2。图1是各成分(氧化血红蛋白HbO2、还原血红蛋白Hb)的浓度的和为一定的2成分的吸收光谱,因此,出现不取决于各成分的浓度(即氧饱和度SatO2)而吸收为一定的等吸收点E1、E2、E3、E4。在以下的说明中,将由等吸收点E1和E2夹持的波长区域称作波长域R1,将由等吸收点E2和E3夹持的波长区域称作波长域R2,将由等吸收点E3和E4夹持的波长区域称作波长域R3。另外,将由等吸收点E1和E4夹持的波长区域(即将波长域R1、R2及R3合并起来的区域)称作波长域R0。
如图1所示,在相邻的等吸收点间,相对于氧饱和度SatO2,吸收单调增加或减少。另外,在相邻的等吸收点间,血红蛋白的吸收相对于氧饱和度SatO2,大致线性变化。
具体而言,波长域R1、R3的血红蛋白的吸收AR1、AR3相对于氧化血红蛋白HbO2的浓度(或氧饱和度SatO2)线性单调增加,波长域R2的血红蛋白的吸收AR2相对于还原血红蛋白Hb的浓度(1-氧饱和度SatO2)线性单调增加。因此,通过以下数式2定义的指标X相对于氧化血红蛋白HbO2的浓度(或氧饱和度SatO2)线性单调增加。
【数2】
X=(AR1+AR3)-AR2
上述的数式2是通过相对于氧饱和度SatO2的增减的举动不同的带域间的吸收的差分来定义指标X的数式,但如果具有与氧饱和度SatO2的单调的(更优选为线性的)定量的关系,则也可以通过其它数式定义指标X。例如,如以下数式3所示,相对于氧饱和度SatO2单调增加的吸收AR1、AR3的和、和相对于氧饱和度SatO2单调减少的吸收AR2的比率也相对于氧饱和度SatO2线性单调增加,因此,成为氧饱和度SatO2好的指标。
【数3】
X=(AR1+AR3)/AR2
因此,如果预先实验上取得氧饱和度SatO2和指标X的定量的关系,则可以根据指标X的值计算氧饱和度SatO2
(内窥镜装置的结构)
图2是本发明实施方式的内窥镜装置1的框图。本实施方式的内窥镜装置1具备电子内窥镜100、处理器200及监视器300。电子内窥镜100及监视器300可装卸地与处理器200连接。另外,在处理器200中内置有光源部400及图像处理部500。
电子内窥镜100具有被插入体腔内的插入部110。在电子内窥镜100的内部设置有遍及大致全长延伸的导光件131。导光件131的一端部(前端部131a)配置于插入部110的前端部(插入前端部111)的附近,导光件131的另一端部(基端部131b)与处理器200连接。内置于处理器200的光源部400具备生成光量大的白色光WL的光源灯430。作为光源灯430,例如使用氙灯、金属卤化物灯、LED灯、卤素灯等。通过光源部400生成的照明光IL入射至导光件131的基端部131b,通过导光件131被导向至其前端部131a并从前端部131a射出。在电子内窥镜100的插入前端部111设置有与导光件131的前端部131a对向配置的配光透镜132,从导光件131的前端部131a射出的照明光IL通过配光透镜132照明插入前端部111的附近的生物体组织T。
另外,在插入前端部111设置有物镜光学系统121及拍摄元件141。被生物体组织T的表面反射、散射的光的一部分(返回光)入射至物镜光学系统121并聚光,在拍摄元件141的受光面成像。本实施方式的拍摄元件141是其受光面具备彩色滤光片141a的彩色图像拍摄用的CCD(Charge Coupled Device,电耦合器件)图像传感器,但也可以使用CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)图像传感器等其它种类的拍摄元件。彩色滤光片141a为将使红色的光通过(透过)的R滤光片、使绿色的光通过的G滤光片、使蓝色的光通过的B滤光片排列并直接形成于拍摄元件141的各受光元件上的、所谓的集成滤光片(オンチップフィルタ)。彩色滤光片141a的R、G、B各滤光片具有图3所示的光谱特性。即,本实施方式的R滤光片是使比波长约570nm长的波长的光通过的滤光片,G滤光片是使波长约470nm~620nm的光通过的滤光片,B滤光片是使比波长约530nm短的波长的光通过的滤光片。
拍摄元件141被控制为与后述的信号处理电路550同步驱动,周期性(例如以1/30秒间隔)输出与在受光面上成像的像对应的拍摄信号。从拍摄元件141输出的拍摄信号经由线缆142送入处理器200的图像处理部500。
图像处理部500具备A/D变换电路510、暂时存储存储器520、控制器530、视频存储器540及信号处理电路550。A/D变换电路510将从电子内窥镜100的拍摄元件141输入的拍摄信号进行A/D变换,输出得到的数字图像数据。从A/D变换电路510输出的数字图像数据被送入暂时存储存储器520存储。
数字图像数据中包含由安装有R滤光片的受光元件拍摄到的R数字图像数据、由安装有G滤光片的受光元件拍摄到的G数字图像数据及由安装有B滤光片的受光元件拍摄到的B数字图像数据。本说明书中,也将R数字图像数据、G数字图像数据及B数字图像数据称作单色图像数据(R单色图像数据、G单色图像数据及B单色图像数据)。
控制器530对存储于暂时存储存储器520的单数或多个数字图像数据进行处理,生成一个显示用图像数据,并将其送入视频存储器540。例如,控制器530基于由单一数字图像数据生成的显示用图像数据、将多个数字图像数据的图像排列的显示用图像数据、或多个数字图像数据对每一像素(x,y)生成生物体组织T的反射光谱,使用该反射光谱生成识别显示正常部和病变部的显示用图像数据、及表示与特定的像素(x,y)对应的生物体组织T的反射光谱的曲线图的显示用图像数据等,并将该显示用图像数据存储于视频存储器540。信号处理电路550基于存储于视频存储器540中的显示用图像数据生成并输出规定形式(例如以NTSC标准或DVI标准为基准的形式)的视频信号。从信号处理电路550输出的视频信号被输入监视器300。然后,将由电子内窥镜100拍摄到的内窥镜图像等显示于监视器300。
这样,处理器200兼备对从电子内窥镜100的拍摄元件141输出的拍摄信号进行处理的作为视频处理器的功能、和将用于照明作为被摄体的生物体组织T的照明光IL向电子内窥镜100的导光件131供给的作为光源装置的功能。
光源部400除具备上述的光源430之外,还具备聚光透镜440、旋转滤光片410、滤光片控制部420及聚光透镜450。从光源430射出的大致平行光的白色光WL被聚光透镜440聚光,在通过了旋转滤光片410后,被聚光透镜450再次聚光,并向导光件131的基端部131b入射。旋转滤光片410可以通过线性导轨等移动单元(未图示)在白色光WL的光路上的应用位置(实线)和光路外的退避位置(虚线)之间移动。
此外,光源部400的结构不限于图2所示的结构。例如,也可以采用光源430产生收敛光的灯。该情况下,例如也可以采用使白色光WL在聚光透镜440的跟前聚光,将其作为扩散光向聚光透镜440入射的结构。另外,也可以采用不使用聚光透镜440而使来自光源430的收敛光在旋转滤光片410的附近聚光的结构。
另外,也可以采用不使用聚光透镜440而将光源430产生的大致平行光直接向旋转滤光片410入射的结构。
另外,在使用产生收敛光的灯的情况下,也可以采用使用准直透镜代替聚光透镜440而以大致平行光的状态将白色光WL入射到旋转滤光片410的结构。例如,在旋转滤光片410使用电介质多层膜滤光片等干渉型的光学滤光片的情况下,通过使大致平行光的白色光WL向旋转滤光片410入射,使白色光WL向光学滤光片的入射角均匀,由此,可以得到更良好的滤光片特性。
另外,光源430也可以采用产生发散光的灯。该情况下,也可以采用使用准直透镜代替聚光透镜440而使大致平行光的白色光WL向旋转滤光片410入射的结构。
旋转滤光片410是具备多个光学滤光片的圆盘型的光学单元,构成为根据其旋转角度(或相位)切换通过波长域。旋转滤光片410的旋转角度被与控制器530连接的滤光片控制部420控制。控制器530经由滤光片控制部420控制旋转滤光片410的旋转角度,由此,切换通过旋转滤光片410向导光件131供给的照明光的光谱。
图4是旋转滤光片410的外观图(主视图)。旋转滤光片410具备大致圆盘状的框架411和四个圆环扇形的光学滤光片415、416、417及418。在框架411的中心轴的周围以等间隔形成有四个圆环扇状的窗414a、414b、414c及414d,在各窗414a、414b、414c及414d分别嵌入光学滤光片415、416、417及418。此外,本实施方式的光学滤光片均为电介质多层膜滤光片,但也可以使用其它方式的光学滤光片(例如将吸收型的光学滤光片或电介质多层膜作为反射膜使用的标准滤光片等)。
另外,在框架411的中心轴上形成有凸台孔(ボス穴)412。在凸台孔412插入并固定滤光片控制部420的输出轴,旋转滤光片410与滤光片控制部420的输出轴一同旋转。
图4表示白色光WL向光学滤光片415入射的状态,当旋转滤光片410向箭头所示的方向旋转时,白色光WL入射的光学滤光片按照415、416、417、418的顺序进行切换,由此,切换通过旋转滤光片410的照明光IL的光谱。
光学滤光片415及416是使550nm带的光选择性通过的光带通滤光片。如图1所示,光学滤光片415构成为使等吸收点E1至E4的波长域(即,波长域R0(也称作“第一照明波长域”。))的光以低损失通过,遮断其以外的波长区域的光。另外,光学滤光片416构成为使等吸收点E2至E3的波长域(即波长域R2(也称作“第二照明波长域”。))的光以低损失通过,遮断其以外的波长区域的光。
如图1所示,波长域R1包含源自氧化血红蛋白HbO2的吸收峰值P1的峰值波长,波长域R2包含源自还原血红蛋白Hb的吸收峰值P2的峰值波长,波长域R3包含源自氧化血红蛋白HbO2的吸收峰值P3的峰值波长。另外,波长域RO包含吸收峰值P1、P2、P3的各峰值波长。
光学滤光片415及416的通过波长域(图1)包含于彩色滤光片141a的G滤光片的通过波长域(图3)。因此,利用通过了光学滤光片415或416的光而形成于拍摄元件141的受光面的像由安装有G滤光片的受光元件进行拍摄,作为G数字图像数据得到。
光学滤光片417被设计为仅使血红蛋白的吸收低的波长域即650nm带(630~650nm)的光选择性通过。光学滤光片417的通过波长域包含于彩色滤光片141a的R滤光片的通过波长域(图3)。因此,通过了光学滤光片417的光的像由安装有R滤光片的受光元件拍摄,作为R数字图像数据得到。使用650nm带的照明光取得的图像数据被用于后述的标准化处理。
另外,光学滤光片418为紫外线截止滤光片,通过了光学滤光片418的照明光IL(即白色光)被用于普通观察像的拍摄。此外,也可以为不使用光学滤光片418而开放了框架411的窗414d的结构。另外,本说明书中,也将通过了光学滤光片415、416或417的照明光称作特殊光(或特殊观察光),也将通过了光学滤光片418的白色光(或宽带域光)称作普通光(或普通观察光)。
在窗414a上,与光学滤光片415重合地安装有减光滤光片(ND滤光片)419。减光滤光片419遍及可见光全域几乎没有波长依存性,可以使照明光IL的光谱几乎不变化而仅降低光量。通过减光滤光片419的使用,通过了光学滤光片415及减光滤光片419的照明光IL的光量被调整为与通过了光学滤光片416的照明光IL的光量同程度。由此,即使在使用通过了光学滤光片415、416的任一个的照明光IL的情况下,也能够以相同的曝光时间进行适当曝光的拍摄。
本实施方式中,作为减光滤光片419,使用孔眼小的金属网。除金属网以外,也可以使用反射型或吸收型等其它方式的减光滤光片。另外,也可以不使用减光滤光片而调整光学滤光片415、416自身的通过率。另外,也可以在窗414c、414d上安装减光滤光片。另外,通过改变窗414a~414d的中心角(即开口面积),也可以调整通过光量。另外,也可以不使用减光滤光片而对所使用的每个光学滤光片调整曝光时间。
在框架411的周缘部形成有贯通孔413。贯通孔413形成于与窗414a和窗414d的边界部相同的旋转位置。在框架411的周围,以包围框架411的周缘部的一部分的方式配置有用于检测贯通孔413的光斩波器422。光斩波器422与滤光片控制部420连接。
本实施方式的内窥镜装置1具有普通观察模式、光谱分析(氧饱和度分布图像显示)模式、基线测定模式及校准模式这四个动作模式。各动作模式通过用户操作进行切换。普通观察模式是使用通过了光学滤光片418的白色光拍摄彩色图像的动作模式。光谱分析模式是基于使用分别通过了光学滤光片415、416及417的照明光拍摄到的数字图像数据进行光谱分析,显示生物体组织中的生物体分子的分布图像(例如氧饱和度分布图像)的模式。基线测定模式是在进行实际的内窥镜观察之前(或进行之后),将无彩色的扩散板(磨砂玻璃等)或标准反射板等的色基准板作为被摄体,使用分别通过了光学滤光片415、416及417的照明光进行拍摄,取得用于后述的标准化处理的数据的模式。校准模式是对已知氧饱和度SatO2等的特性的标准试样进行光谱分析,以消除分析结果和标准试样的特性的基准量(或理论值)的差异的方式调整参数(后述的修正系数k)的处理。
在普通观察模式中,控制器530控制移动单元,使旋转滤光片410从适用位置向退避位置移动。此外,在普通观察模式以外的动作模式下,旋转滤光片410被配置于适用位置。另外,在旋转滤光片410不具有移动单元的情况下,控制器530控制滤光片控制部420,使旋转滤光片410在白色光WL向光学滤光片418入射的位置静止。而且,将通过拍摄元件141拍摄到的数字图像数据在根据需要实施了图像处理后,变换成视频信号并显示于监视器300。
在光谱分析模式中,控制器530控制滤光片控制部420,使旋转滤光片410一边以一定的转速旋转驱动,一边依次进行基于通过了光学滤光片415、416、417及418的照明光的生物体组织T的拍摄。然后,基于使用各光学滤光片415、416及417取得的数字图像数据,生成表示生物体组织中的生物体分子的分布的图像,生成将其与使用光学滤光片418取得的普通观察图像排列的显示画面,进而变换成视频信号并显示于监视器300。
在光谱分析模式下,滤光片控制部420基于光斩波器422检测贯通孔413的时序,检测旋转滤光片410的旋转的相位,将其与从控制器530供给的时序信号的相位进行比较,调整旋转滤光片410的旋转的相位。来自控制器530的时序信号与拍摄元件141的驱动信号同步。因此,旋转滤光片410与拍摄元件141的驱动同步,以大致一定的转速旋转驱动。具体而言,旋转滤光片410的旋转被控制为在每次通过拍摄元件141进行1图像量(R、G、B的3帧)的拍摄时,切换白色光WL入射的光学滤光片415~418(窗414a~d)。
在基线测定模式下,控制器530一边控制滤光片控制部420使旋转滤光片410旋转,一边依次进行基于通过了光学滤光片415、416及417的照明光IL的色基准板的拍摄。使用通过了光学滤光片415、416的照明光IL拍摄到的G数字图像数据分别作为基线图像数据BL415(x,y)、BL416(x,y)被存储于控制器530的内部存储器531。另外,使用通过了光学滤光片417的照明光IL拍摄到的R数字图像数据作为基线图像数据BL417(x,y)被存储于控制器530的内部存储器531。
接着,对在光谱分析模式下通过图像处理部500执行的图像生成处理进行说明。此外,图像处理部500因为如后述计算本发明实施方式的指标X,所以也被称作“指标计算部”。另外,图像处理部500因为如后述基于指标X取得生物体组织的特征量即氧饱和度SatO2及总血红蛋白量,所以也被称作“特征量取得部”。图5是表现图像生成处理(包含指标计算处理及特征量取得处理。)的流程图。
在选择了光谱分析模式的情况下,如上述,滤光片控制部420以一定的转速旋转驱动旋转滤光片410。而且,从光源部400依次供给分别通过了光学滤光片415、416、417、418的照明光IL,依次进行使用了各照明光IL的拍摄(处理S1)。具体而言,将使用通过了光学滤光片415的照明光IL拍摄到的G数字图像数据G415(x,y)、使用通过了光学滤光片416的照明光IL拍摄到的G数字图像数据G416(x,y)、使用通过了光学滤光片417的照明光IL拍摄到的R数字图像数据R417(x,y)以及使用通过了光学滤光片(紫外线截止滤光片)418的照明光IL(白色光)拍摄到的R数字图像数据R418(x,y)、G数字图像数据G418(x,y)及B数字图像数据B418(x,y)存储于控制器530的内部存储器532。
接着,图像处理器部500执行像素选择处理S2,像素选择处理S2通过使用在处理S1中取得的R数字图像数据R418(x,y)、G数字图像数据G418(x,y)及B数字图像数据B418(x,y)来选择作为以下的分析处理(处理S3-S8)的对象的像素。对于不包含血液的部位或组织的颜色主要受除血红蛋白外的物质影响的部位,即使根据像素的色彩信息来计算氧饱和度SatO2或血流量也无法获得有意义的值,成为简单的噪声。当计算这种噪声并将其提供给医生时,不仅干扰医生的诊断,而且还产生向图像处理器部500施加无用的负载而降低处理速度的不利影响。因此,本实施方式的图像生成处理构成为选择适合于分析处理的像素(即,该色彩信息适于血红蛋白的光谱学特征的像素),仅对所选像素进行分析处理。
在像素选择处理S2中,仅选择以下数式4、数式5及数式6的条件全部充足的像素作为分析处理的对象像素。
【数4】
R418(x,y)/B418(x,y)>a1
【数5】
R418(x,y)/B418(x,y)>a2
【数6】
R418(x,y)/B418(x,y)>a3
在此,a1、a2、a3是正的常数。
上述三个条件式基于血液的彩色图像中各色成分的值的大小关系(G成分<B成分<R成分)设定。此外,也可以仅使用上述三个条件式中的一个或两个(例如,着眼于血液特有的红色,仅使用数式5及数式6)进行像素选择处理S2。
接着,图像处理部500进行标准化处理。本实施方式的标准化处理包含用于修正内窥镜装置1自身的特性(例如光学滤光片的透过率或拍摄元件的受光灵敏度)的第一标准化处理S3、用于修正作为被摄体的生物体组织T的表面状态及照射光IL对生物体组织T的入射角的差异引起的反射率的变动的第二标准化处理S4。
在标准化处理中,图像处理部500根据使用通过了光学滤光片415的照明光IL取得的G数字图像数据G415(x,y)、使用通过了光学滤光片417的照明光IL取得的R数字图像数据R417(x,y)及基线图像数据BL415(x,y)、BL417(x,y),通过以下的数式7计算标准化反射率SR415(x,y)。此外,通过各数字图像数据G415(x,y)、R417(x,y)分别除以对应的基线图像数据BL415(x,y)、BL417(x,y),移除依赖于内窥镜装置1的特性的要素(装置函数)(第一标准化处理S3)。另外,通过G数字图像数据G415(x,y)除以R数字图像数据R417(x,y),修正生物体组织T的表面状态及照明光IL向生物体组织T的入射角的差异引起的反射率的变动(第二标准化处理S4)。
【数7】
同样,通过以下的数式8计算标准化反射率SR416(x,y)。
【数8】
生物体组织T相对于通过了光学滤光片415、416的照明光IL的吸收A415(x,y)、A416(x,y)分别通过以下的数式9、10计算(处理S5)。
【数9】
A415(x,y)=-log[SR415(x,y)]
【数10】
A416(x,y)=-log[SR416(x,y)]
此外,吸收A415(x,y)及A416也可以分别通过以下的数式11、12近似计算。
【数11】
A415(x,y)=-SR415(x,y)
【数12】
A416(x,y)=-SR416(x,y)
另外,也可以省略上述的标准化处理(处理S3、S4)而简易地进行光谱分析。该情况下,吸收A415(x,y)及A416(x,y)根据以下的数式13、14计算。
【数13】
A415(x,y)=-logG415(x,y)
【数14】
A416(x,y)=-logG416(x,y)
另外,该情况下,吸收A415(x,y)及A416(x,y)也可以分别通过以下数式15、16近似计算。
【数15】
A415(x,y)=-G415(x,y)
【数16】
A416(x,y)=-G416(x,y)
另外,根据图1所示的血红蛋白的吸收波长域R1、R2、R3和光学滤光片415、416的通过波长域的关系表明,在生物体组织T相对于波长域R1、R2、R3的吸收AR1(x,y)、AR2(x,y)、AR3(x,y)、和生物体组织T相对于通过了光学滤光片415、416的照明光IL的吸收A415(x,y)、A416(x,y)之间有以下的数式17、18所示的关系。
【数17】
AR1(x,y)+AR3(x,y)=A415(x,y)-kA416(x,y)
【数18】
AR2(x,y)=kA416(x,y)
因此,指标X(数式2)通过以下的数式19表示。
【数19】
X(x,y)=[AR1(x,y)+AR3(x,y)]-AR2(x,y)
=[A415(x,y)-kA416(x,y)]-kA416(x,y)
=A415(x,y)-2kA416(x,y)
另外,指标X(数式3)也通过以下的数式20表示。
【数20】
在此,k是常数(修正系数)。光学滤光片415和416因为通过波长域的宽度显著不同,所以通过两者的光量的差异也大。因此,如上述,以即使切换光学滤光片也能够在相同的曝光时间得到适当曝光的方式在通过光量大的光学滤光片415上重合减光滤光片419,调整光量。其结果,使用光学滤光片415取得的吸收A415(x,y)和使用光学滤光片416取得的吸收A416(x,y)之间的定量的关系被打破。另外,光学滤光片415、416的通过波长域内的通过率并非为100%,根据个体具有不同的通过损失。另外,在光学滤光片415、416的通过波长域也有误差。因此,即使不使用减光滤光片419,吸收A415(x,y)和吸收A416(x,y)的定量关系上也包含一定的误差。修正系数k修正吸收A415(x,y)和吸收A416(x,y)的定量关系的误差。取得修正系数k的方法后述。此外,在未进行该修正的情况下,将修正系数k设为1。
进而,如果使用数式9、10及数式7、8整理数式19,则得到以下的数式21。
【数21】
因此,可以使用数式21,根据G数字图像数据G415(x,y)、G416(x,y)、R数字图像数据R417(x,y)及基线图像数据BL415(x,y)、BL416(x,y)、BL417(x,y)计算指标X的值(处理S6)。
另外,指标X也可以根据以下的数式22近似求出
【数22】
接着,图像处理部500基于在处理S6中取得的指标X(x,y)对各像素(x,y)进行取得氧饱和度SatO2(x,y)的处理S7(图5)。在处理S7中,对满足规定条件的像素进行取得修正了散射引起的误差的氧饱和度SatO2(x,y)的处理,对于不满足规定条件的(即通过修正反而有分析结果的精度降低的可能性)像素进行取得包含起因于散射的误差的未修正的氧饱和度SatO2(x,y)的处理。
在说明处理S7的具体的步骤之前,说明起因于指标X中所含的散射引起的误差。
图6是通过模拟计算得到的生物体组织的光谱特性(反射光谱),表示光谱特性中的散射的影响。消化管内壁等的生物体组织的反射光谱除了受到构成生物体组织的成分引起的吸收的波长特性(具体而言为氧化血红蛋白HbO2及还原血红蛋白Hb的吸收光谱特性)影响之外,还受到散射的波长特性影响。图6(a)是完全没有散射的情况下(散射的贡献率C为0%的情况下)的反射光谱,图6(c)是完全没有血红蛋白引起的吸收的情况下(散射的贡献率C为100%的情况下)的反射光谱,图6(b)是散射相对于反射光谱的贡献和血红蛋白的吸收的贡献程度相同的情况下(散射的贡献率C为50%的情况下)的反射光谱。生物体组织的反射光谱与图6(b)接近。在此,散射的贡献率C是表示生物体组织的光谱特性中的散射的贡献程度(贡献度)的参数的一种。散射的贡献度是在光谱特性的模拟计算中使用的、与散射体的浓度相关的参数,是与散射项相乘所得的参数。本实施方式中的散射的贡献率C是表示生物体组织的光谱特性中的起因于散射的成分所占的比例的参数。
如图6所示,生物体组织的光谱特性根据散射的强度(贡献率C)而变化,因此,基于生物体组织的光谱特性计算出的指标X也可以根据散射的强度而值发生变化。即,处理S6中算出的指标X包含起因于散射的误差。为了得到精度更高的分析结果,需要修正起因于散射的误差。
如图6(c)所示,散射的光谱特性呈相对于波长单调增加的波形。因此,通过拍摄元件141的B、G、R滤光片(图6(c)中虚线表示各滤光片的透过光谱的概况)的散射光的光量按顺序增大,它们的比例(例如,通过R滤光片的散射光的光量相对于通过G滤光片的散射光的光量的比例)不取决于散射的强度而为大致一定。另外,图6(b)中代表性的生物体组织的反射光谱在长波长范围观察时,也具有与图6(c)的散射光的光谱近似的、与波长一同缓慢增加的波形。就生物体组织的反射光谱的倾斜而言,散射越少,其越小(接近图6(a)的波形的倾斜),散射越多其越大(接近图6(c)的波形的倾斜)。因此,可以根据分别通过两个不同颜色的滤光片的光的光量的比率,例如G滤光片的通过光量(G数字图像数据的值)和R滤光片的通过光量(R数字图像数据的值)的比率概算散射的强度。
图7是表示通过基于实验值的模拟计算得到的、散射的贡献率C、和R数字图像数据R418、G数字图像数据G418及B数字图像数据B418的值的关系的曲线图。根据图7,就相对于散射的贡献率C的灵敏度(图7的曲线图的倾斜)而言,R数字图像数据R418最高,G数字图像数据G418最低。因此,R数字图像数据R418除以G数字图像数据G418而标准化的值成为散射的贡献率C好的指标。因此,在本实施方式中,通过以下的数式23计算散射的贡献率C。
【数23】
C(x,y)=R418(x,y)/G418(x,y)
此外,B数字图像数据B418相对于散射的贡献率C的灵敏度也与G数字图像数据G418的灵敏度没有大差别,因此,R数字图像数据R418除以B数字图像数据B418所得的值也被作为贡献率C使用。
图8是对每一真(即不含起因于散射的误差的)氧饱和度SatO2描绘散射的贡献率C和通过处理S5(图5)计算出的指标X的关系的图。图8所示的定量关系可以通过模拟计算或实验取得。图8的曲线图中,选择与描绘从生物体组织的图像数据得到的指标X及散射的贡献率C的组的点最近的曲线,取得与所选择的曲线对应的氧饱和度SatO2,由此,可以得到修正了起因于散射的误差的氧饱和度SatO2的近似值。
在本实施方式中,图8所示的定量关系通过模拟计算及实验预先取得,例如,作为数值表或函数被保存于控制器530的非易失性存储器532中。
接着,说明处理S7的具体的步骤。
图9是表示氧饱和度取得处理(特征量取得处理)S7的步骤的流程图。
在处理S7中,首先,判定R数字图像数据R418、G数字图像数据G418及B数字图像数据B418的值是否适于起因于散射的误差的修正(处理S71)。具体而言,判定下述数式24、25所示的两个条件式是否成立。
【数24】
b1<C(x,y)=R418(x,y)/G418(x,y)<b2
【数25】
R418(x,y)+G418(x,y)+B418(x,y)>b3
在此,b1、b2、b3是阈值(正的常数)。
在贡献率C过小的情况或相反过大的情况下,被判断为R数字图像数据R418或G数字图像数据G418的可靠性低,因此,数式24是用于将上述情况从基于贡献率C的散射的修正的对象中除去的式。
另外,在图像暗的情况下,被判断为各像素值(R数字图像数据R418及G数字图像数据G418)的可靠性低,因此,数式25是规定亮度的下限的式。此外,代替数式25,也可以仅使用例如G数字图像数据G418通过以下数式26设定亮度的下限。
【数26】
G418(x,y)>b’3
在此,b3’是阈值(正的常数)。
在数式24及数式25(或数式26)的两个条件都成立的情况下(S71:是),进入处理S72~73,取得修正了散射的影响的氧饱和度SatO2。另外,在任一方都不成立的情况下(S71:否),进入处理S74,取得包含起因于散射的误差的未修正的氧饱和度SatO2
在处理S72中,关于各像素(x,y),通过上述的数式23计算贡献率C(x,y)。
在处理S73中,使用图8所示的定量关系,基于处理S72中得到的散射的贡献率C(x,y)、和处理S5中得到的指标X(x,y),取得修正了起因于散射的误差的血红蛋白的氧饱和度SatO2(x,y)。具体而言,在将处理S72中得到的散射的贡献率C(x,y)和处理S5中得到的指标X(x,y)的对(C,X)绘制于图8的曲线图中时,选择与绘制的点(C,X)最近的曲线,将与所选择的曲线对应的氧饱和度SatO2(x,y)作为该像素(x,y)中的氧饱和度SatO2(x,y)取得。
此外,在本实施方式的处理S73中,如上述,取得与和图8的曲线图上绘制的点(C,X)最近的曲线对应的氧饱和度SatO2,但本发明不限于该结构。例如,也可以在图8的曲线图上选择与点(C,X)相邻的(即将点(C,X)夹在中间的)一对曲线,对与各曲线对应的氧饱和度SatO2计算根据点(C,X)和各曲线的距离进行了加权的加权平均,取得该加权平均值作为像素(x,y)的氧饱和度SatO2
参照图10,说明通过加权平均取得氧饱和度SatO2的方法的具体例。在图10的例子中,分析处理中得到的点(C,X)位于表示氧饱和度SatO2为40%的情况下的贡献率C和指标X的关系的曲线A、和氧饱和度SatO2为50%的情况下的曲线B之间。在贡献率C中,曲线A的指标为Xa,在曲线B的指标为Xb的情况下,与点(C,X)对应的氧饱和度SatO2(修正了起因于散射的误差的值)通过以下数式27的加权平均进行计算。
【数27】
在此,[SatO2]a为与曲线A对应的氧饱和度SatO2(40%),[SatO2]b为与曲线B对应的氧饱和度SatO2(50%)。
另外,在控制器530的非易失性存储器532中存储有预先通过实验取得的未考虑到散射的影响的、表示血红蛋白的氧饱和度SatO2和指标X的值的定量关系的数值表(或函数)。在处理S74中,控制器530参照该数值表(或函数)取得与处理S5中得到的指标X的值对应的氧饱和度SatO2(x,y)。
在控制器530的非易失性存储器532中存储有表示氧饱和度SatO2(x,y)和显示色(像素值)的关系的数值表(或函数)。而且,在处理S8(图5)中,控制器530参照该数值表(或函数)取得表示与处理S7中得到的氧饱和度SatO2(x,y)对应的显示色的像素值。
另外,控制器530根据使用通过了光学滤光片(紫外线截止滤光片)418的照明光IL(白色光)拍摄到的R数字图像数据R418(x,y)、G数字图像数据G418(x,y)及B数字图像数据B418(x,y),生成普通观察图像数据。
图11表示控制器530生成的图像数据的显示例。图11(a)是通过上述处理S8生成的氧饱和度分布图像数据(二维显示)的显示例。另外,图11(b)是以将氧饱和度SatO2作为垂直轴的三维曲线图的形式生成的氧饱和度分布图像数据(三维显示)的显示例。此外,图11是观察用橡皮筋压迫中指的近端指间关节附近的状态下的右手的图。表示的是在距右中指的压迫部远端侧,通过利用压迫阻碍血流,由此氧饱和度SatO2降低的情况。
进而,控制器530根据所生成的氧饱和度分布图像数据及普通观察图像数据,生成在一个画面上并排显示普通观察图像和氧饱和度分布图像的画面数据,并将其存储于视频存储器540。此外,控制器530根据用户操作,生成仅显示氧饱和度分布图像的显示画面、仅显示普通观察图像的显示画面、在氧饱和度分布图像和/或普通观察图像上叠加显示患者的ID信息和观察条件等附带信息的显示画面等各种显示画面。
接着,对在校准模式下决定修正系数k的方法进行说明。在本实施方式中,将指标X的理论计算值和实测值进行比较,以实测值成为最接近理论计算值的值的方式决定修正系数k的值。
图12表示用于决定本发明实施方式的修正系数k的校准线的例子。图12(a)是一般的校准线之一例,横轴取指标X的理论值,纵轴取通过上述分析处理取得的指标X的实测值。黑圈是实测值的绘制图,虚线Ma是通过最小平方方法拟合实测值的直线。另外,实线表示得到如理论值的实测值的情况下的绘制图即基准线Ref。
指标X的实测值通过使用了已知氧饱和度SatO2的生物体组织(例如血液)的试样的分析处理取得。另外,由数式19定义的指标X的理论值使用实际使用的光学滤光片415及416的透过光谱和血液的反射光谱(或吸收光谱)计算。具体而言,指标X的理论值例如通过使将光学滤光片415(光学滤光片416)的透过光谱和血液的反射光谱相乘并积分所得的值作为吸收A415(吸收A416),根据数式19计算。
基准线Ref和实测值Ma的偏差被作为与相对于基准线Ref的虚线Ma的倾斜表现。不能得到充分的灵敏度的现象,所谓的虚线Ma的斜度变缓的现象是因为通过使用减光滤光片419而数式19中的吸收A415(x,y)和吸收A416(x,y)之间的定量的关系被打破。通过选择适当的值作为修正系数k,修正使用减光滤光片419所引起的误差,可以使指标X的实测值相对于理论值成为误差少且具有高的相关的状态。
图12(b)是校准线的变形例。图12(b)的校准线中,横轴取试样的氧饱和度,纵轴取指标X。黑圈是实测值的绘制图,虚线Mb是通过最小平方方法拟合实测值的直线。另外,实线Ref表示理论计算值。此外,试样的氧饱和度是通过理想的光谱测定法正确地测定出的值。该校准线是从图12(a)的校准线变更了横轴的标尺,其实质上是等效的,具有容易掌握与氧饱和度的值的关系的优点。
此外,虽然使用上述校准线决定修正系数k的方法是使用氧饱和度SatO2不同的多个试样的分析结果的方法,但也可以仅使用一个试样的分析结果来决定修正系数k。
另外,着眼于血红蛋白的吸收波长域R1、R2、R3(即光学滤光片415的通过波长域),根据氧饱和度SatO2的变化,各波长域R1、R2、R3的吸收AR1(x,y)、AR2(x,y)、AR3(x,y)发生变化,但它们的和Y(数式28所示)大致一定。另外,该吸收的和Y与生物体组织中的总血红蛋白量(氧化血红蛋白HbO2和还原血红蛋白Hb的浓度之和)成比例,因此,将其用作表示总血红蛋白量的指标是合理的。
【数28】
Y(x,y)=AR1(x,y)+AR2(x,y)+AR3(x,y)=A415
此外,与上述的处理S7相同,可以使用数值表及函数从指标Y取得总血红蛋白量的值。另外,与处理S72~73相同,也可以基于散射的贡献率C,取得修正了散射影响的总血红蛋白量的值。
已知的是,在恶性肿瘤组织中,通过血管新生,总血红蛋白量大于正常的组织,此外,氧代谢显著,因此,氧饱和度SatO2低于正常的组织。因此,控制器530也可以提取通过数式28计算出的表示总血红蛋白量的指标Y大于规定的基准值(第一基准值)且通过数式19等计算出的表示氧饱和度SatO2的指标X小于规定的基准值(第二基准值)的像素,生成例如对于普通观察图像数据的对应的像素进行了强调显示处理的病变部强调图像数据,并将病变部强调图像与普通观察图像及/或氧饱和度分布图像一同(或单独)显示于监视器300。
作为强调显示处理,例如有使该像素的像素值增加的处理、使色相变化的处理(例如增加R成分而加强偏红的处理、或使色相仅旋转规定角度的处理)、使该像素闪烁(或者使色相周期性变化)的处理。另外,也可以为将这些处理的两个以上组合的处理。
另外,也可以为控制器530基于例如来自指标X(x,y)的平均值的偏差和来自指标Y(x,y)的平均值的偏差,代替病变部强调图像数据而计算表示恶性肿瘤的概率的指标Z(x,y),生成以指标Z作为像素值的图像数据(恶性概率图像数据)的结构。
(第一变形例)
接着,说明上述的本发明实施方式的第一变形例。
在上述的实施方式中,如数式2所示,不对各波长域R1、R2、R3的吸收AR1、AR2、AR3进行加权(其中,以各波长域的增减一致的方式调整了符号后)而进行加法运算,计算指标X。与之相对,本变形例中,在计算指标X时,通过对各波长域的吸收AR1、AR2、AR1进行加权,使指标X相对于氧饱和度SatO2的变化的灵敏度提高。
如图1所示,在波长域R2中,与波长域R1、R3相比,吸光度相对于氧饱和度SatO2的变化的变动幅度大。因此,通过将对于波长域R2的吸收AR2的加权设定得大,可以提高指标X相对于氧饱和度SatO2的变化的灵敏度。
具体而言,对吸收AR2施加2倍的加权,通过以下数式29计算指标X。
【数29】
另外,指标X也可以通过以下数式30近似求出。
【数30】
此外,在上述的第一变形例中,将吸收AR2的加权相对于吸收ARR1、AR3的比例设为2倍,但该比例可以适宜变更为其它值(例如1.5倍或2.4倍等),以得到适宜的灵敏度或噪声量。另外,在将数式29一般化而将吸收AR1、AR3的加权设为w1,将吸收AR2的加权设为w2时,可以通过数式31记述指标X。
【数31】
X(x,y)=w1×[AR1(x,y)+AR3(x,y)]-w2×AR2(x,y)
=w1·[A415(x,y)-kA416(x,y)]-w2·k·A416(x,y)
=w1·A415(x,y)-k·(w1+w2)·A416(x,y)
=-w1·log[SR415(x,y)]+k·(w1+w2)·log[SR416(x,y)]
另外,指标X也可以通过以下数式32近似求出。
【数32】
(第二变形例)
接着,说明本发明实施方式的第二变形例。
在上述的实施方式中,如数式2所示,根据随着氧饱和度SatO2的增大而吸收增大的波长域R1、R3的吸收AR1、AR3的和、与随着氧饱和度SatO2的增大而吸收减少的波长域R2的吸收AR2的差分,计算指标X。与之相对,在本变形例中,通过吸收AR1、AR3的和与吸收AR2的比率来计算指标X。
具体而言,通过以下数式33计算指标X。
【数33】
另外,指标X也可以通过以下数式34近似求出。
【数34】
另外,也可以对相对于氧饱和度SatO2具有正的相关的波长域R1、R3的吸收的和AR1+AR3赋予加权w1,对具有负的相关的波长域R2的吸收AR2赋予加权w2,通过以下数式35或数式36来计算指标X。
【数35】
【数36】
另外,波长域R1、R3的吸收AR1、AR3与氧化血红蛋白HbO2的浓度(即氧饱和度SatO2)成比例,波长域R2的吸收AR2与还原血红蛋白Hb的浓度(即1-SatO2)成比例,因此,根据数式33的第一行得到以下数式37。
【数37】
在此,DSat(x,y)是像素(x,y)中的氧饱和度SatO2
因此,通过数式37计算出的指标X随着DSat(x,y)(氧饱和度SatO2)增加并接近1,指标函数性增大,成为灵敏度好的指标。
(第三变形例)
接着,对本发明实施方式的第三变形例进行说明。
在上述的实施方式中,在第二标准化处理S4中,进行通过使用通过了光学滤光片417的650nm带的照明光IL拍摄到的R数字图像数据R417(x,y)进行除法运算的处理,但本发明不限于该结构。例如,在第二标准化处理中,也可以采用通过使用通过了光学滤光片418(或者也可以是不具有波长依存性的减光滤光片或者简单的透明的窗)的照明光IL拍摄到的R、G、B的各数字图像数据的和进行除法运算的结构。
该情况下,标准化反射率SR415(x,y)、SR416(x,y)分别通过数式38、39进行计算。
【数38】
【数39】
在此,基线图像数据BLR418(x,y)、BLG418(x,y)及BLB418(x,y)是在通过了光学滤光片418的照明光IL的照明下拍摄色基准板得到的R数字图像数据R418(x,y)、G数字图像数据G418(x,y)及B数字图像数据B418(x,y)。
以上是本发明的实施方式的说明,但本发明不限于上述结构,在本发明的技术思想的范围内可以进行各种变形。
在上述实施方式中,计算以百分率表示散射对生物体组织的光谱特性带来影响的程度(贡献度)的贡献率C,但本发明不限于该结构,也可以使用表示散射的贡献度的其它指标(例如表示5阶段水准的1~5的整数值)。
另外,在上述实施方式中,从指标X(或指标Y)和散射的贡献率C取得不含散射引起的误差的(严格来说是降低误差的)氧饱和度SatO2(或总血红蛋白量),也可以基于散射的贡献率C来修正指标X(或指标Y)。
另外,在上述实施方式中,基于R数字图像数据R418(x,y)和G数字图像数据G418(x,y)、或R数字图像数据R418(x,y)和B数字图像数据B418(x,y)的2色的单色图像数据计算散射的贡献率C,但本发明不限于该结构。例如,也可以为基于R数字图像数据R418(x,y)、G数字图像数据G418(x,y)及B数字图像数据B418(x,y)的3色的单色图像数据,例如通过最小平方方法或加权平均计算来计算贡献率C的结构。另外,例如也可以仅根据R数字图像数据R418(x,y)来计算贡献率C。
另外,在上述实施方式中,将本发明适用于生物体组织中的血红蛋白的浓度分布的分析,但也可以将本发明适用于使生物体组织的颜色变化的其它生物体物质(例如激素等分泌物)的浓度分布的分析。
另外,在上述实施方式中,用于氧饱和度SatO2的指标X及总血红蛋白量的指标Y的取得的数式是一例,也可以为通过其它计算步骤或方法来取得各指标的结构。
另外,在上述实施方式中,基于指标X的值,从数值表或函数取得氧饱和度SatO2的值,进而乘以规定的常数,计算氧饱和度分布图像的像素值,但本发明不限于该结构。指标X是相对于氧饱和度SatO2单调增加的数值,因此,也可以将指标X的值直接(或乘以规定的常数)用作氧饱和度分布图像的像素值。
另外,对本实施方式的拍摄元件141为其前面具备R、G、B的原色系彩色滤光片的彩色图像拍摄用的拍摄元件进行了说明,但本发明不限于该结构,例如也可以使用具备Y、Cy、Mg、G的互补色系彩色滤光片的彩色图像拍摄用的拍摄元件。
另外,对本实施方式的拍摄元件141为具备集成的彩色滤光片141a的彩色图像拍摄用的拍摄元件进行了说明,但本发明不限于该结构,例如也可以为使用黑白图像拍摄用的拍摄元件且具备所谓的帧连续型(面順次方式)彩色滤光片的结构。另外,彩色滤光片141a不限于集成的结构,可以配置在光源430至拍摄元件141的光路中。
另外,在上述实施方式中,使用旋转滤光片410,但本发明不限于该结构,也可以使用可切换通过波长域的其它方式的波长可变滤光片。
另外,在上述实施方式中,采用将旋转滤光片410设置于光源侧,相对于照射光IL进行滤光的结构,但本发明不限于该结构,也可以为将旋转滤光片410设置于拍摄元件侧(例如物镜光学系统121和拍摄元件131之间)而将来自被摄体的返回光滤色的结构。
另外,在上述实施方式中,在光谱分析模式中,采用使旋转滤光片410一边以一定的转速旋转一边以规定的时间间隔进行拍摄的结构,但本发明不限于该结构,例如,也可以为使旋转滤光片410的旋转位置以规定的时间间隔阶段性变化,在旋转滤光片410为静止的状态下进行拍摄的结构。
另外,在上述实施方式中,作为产生照明用的宽带域光的光源,使用氙灯等白色光源,但也可以使用产生遍及所使用的各光学滤光片的通过波长域全域具有充分的光量的非白色的宽带域光的光源。
另外,例如,也可以设置分别产生R、G、B的各波长域的光的原色光源,将各原色光源所产生的光进行了合波的光作为白色光WL使用。该情况下,除G原色光源以外,还可以使用激光等窄带域光源。另外,作为G原色光源,使用产生至少遍及第一照明波长域(图1所示的波长域RO)的全域具有充分的光量的宽带域光的光源。
另外,在上述实施方式中,光学滤光片415的通过波长域RO包含吸收峰值P1、P2及P3这三个峰值波长,但也可以为仅包含第一照明波长域相邻的两个吸收峰值(具体而言为吸收峰值P1及P2或吸收峰值P2及P3)的结构。
另外,在上述实施方式中,使用透过型的光学滤光片,但也可以使用反射通过波长域的反射型的光学滤光片。
另外,在上述实施方式中,为将本发明适用于作为数码相机的一方式的电子内窥镜装置的例子,但也可以将本发明适用于使用其它种类的数码相机(例如数字单反相机或数码摄像机)的系统。例如,如果将本发明适用于静态数码相机,则可以进行体表组织的观察及开颅手术时的脑组织的观察(例如脑血流量的迅速检查)。

Claims (10)

1.一种分析装置,其特征在于,具备:
光源装置;
拍摄元件,其拍摄被所述光源装置产生的光照明的生物体组织并生成彩色图像数据;
指标计算部,其基于所述彩色图像数据,计算表示所述生物体组织的特征量Q的指标X;
特征量取得部,其基于所述指标X,取得所述特征量Q,
所述特征量取得部具备贡献度计算部,所述贡献度计算部基于所述彩色图像数据中所含的至少2色的单色图像数据,计算出将散射对所述生物体组织的光谱特性的贡献的程度数值化了的贡献度C,
所述特征量取得部基于所述指标X及所述贡献度C,取得所述特征量Q,
所述特征量Q包括所述生物体组织中的氧饱和度和所述生物体组织中的总血红蛋白量中的至少一个,
所述彩色图像数据为RGB彩色图像数据,
所述贡献度计算部计算所述贡献度C,为所述彩色图像数据中的R单色图像数据相对于G或B单色图像数据的比,
所述光源装置切换产生用于计算所述指标X的特殊光和大致白色的普通光,
所述贡献度计算部基于在所述普通光的照明下对所述生物体组织进行拍摄而得到的彩色图像数据,计算所述贡献度C,
所述特殊光包含:
第一特殊光,其具有在所述生物体组织中所含的第一及第二生物体物质具有吸收的第一波长域进行分布的连续光谱;
第二特殊光,其具有在所述第一波长域内的第二波长域进行分布的连续光谱,
所述光源装置切换产生所述第一特殊光、所述第二特殊光、所述普通光,
所述指标计算部基于在所述第一特殊光的照明下对所述生物体组织进行拍摄而得到的第一特殊观察图像数据G1、和在所述第二特殊光的照明下对所述生物体组织进行拍摄而得到的第二特殊观察图像数据G2,计算所述指标X。
2.根据权利要求1所述的分析装置,其特征在于,
所述贡献度计算部具备存储单元,所述存储单元保持有表示所述特征量Q、所述指标X以及所述贡献度C的关系的信息,
所述特征量取得部基于所述信息、所述指标X及所述贡献度C,取得所述特征量Q。
3.根据权利要求2所述的分析装置,其特征在于,
所述信息是表示所述特征量Q、所述指标X以及所述贡献度C的关系的数值表或函数。
4.根据权利要求3所述的分析装置,其特征在于,
所述信息表示所述指标X、所述贡献度C及所述特征量Q的多个组,
所述特征量取得部选择所述多个组中最接近基于所述彩色图像数据计算所述指标X及所述贡献度C所得的值的组,取得所选择的所述组的特征量Q。
5.根据权利要求3所述的分析装置,其特征在于,
所述信息表示所述指标X、所述贡献度C及所述特征量Q的多个组,
所述特征量取得部选择所述多个组中与由所述彩色图像数据得到的所述指标X及所述贡献度C的组相邻的2组,
通过以下数式1计算所述特征量Q:
【数1】
其中,
X是基于所述彩色图像数据计算出的指标,
Qa是所选择的所述2组的一方的特征量,
Xa是所选择的所述2组的一方的指标,
Qb是所选择的所述2组的另一方的特征量,
Xb是所选择的所述2组的另一方的指标。
6.根据权利要求1所述的分析装置,其特征在于,
所述彩色图像数据是RGB彩色图像数据,
所述第一特殊观察图像数据G1及所述第二特殊观察图像数据G2分别是G单色图像数据。
7.根据权利要求1所述的分析装置,其特征在于,
在所述特征量Q包括所述生物体组织中的氧饱和度的情况下,所述氧饱和度是所述生物体组织中所含的氧化血红蛋白及还原血红蛋白的摩尔浓度比。
8.根据权利要求7所述的分析装置,其特征在于,
具备浓度比分布图像生成部,所述浓度比分布图像生成部基于所述氧饱和度,生成表示氧饱和度的分布的浓度比分布图像。
9.根据权利要求1所述的分析装置,其特征在于,
在所述特征量Q包括所述生物体组织中的总血红蛋白量的情况下,所述分析装置具备浓度分布图像生成部,所述浓度分布图像生成部基于所述总血红蛋白量,生成表示总血红蛋白量的分布的浓度分布图像。
10.根据权利要求1所述的分析装置,其特征在于,
具备前端部设置有所述拍摄元件的内窥镜。
CN201680002955.8A 2015-09-24 2016-09-16 分析装置 Active CN107072488B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015186553 2015-09-24
JP2015-186553 2015-09-24
PCT/JP2016/077465 WO2017051779A1 (ja) 2015-09-24 2016-09-16 分析装置

Publications (2)

Publication Number Publication Date
CN107072488A CN107072488A (zh) 2017-08-18
CN107072488B true CN107072488B (zh) 2019-04-19

Family

ID=58386498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680002955.8A Active CN107072488B (zh) 2015-09-24 2016-09-16 分析装置

Country Status (5)

Country Link
US (1) US10420457B2 (zh)
JP (2) JP6195328B2 (zh)
CN (1) CN107072488B (zh)
DE (1) DE112016000119B4 (zh)
WO (1) WO2017051779A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10939801B2 (en) 2017-03-31 2021-03-09 Hoya Corporation Electronic endoscope system
CN110740678B (zh) 2017-06-13 2023-01-13 奥林巴斯株式会社 内窥镜系统及被摄体的评价方法
JP7287969B2 (ja) * 2018-08-31 2023-06-06 Hoya株式会社 内視鏡システム、および内視鏡システム作動方法
WO2020095312A1 (en) * 2018-11-11 2020-05-14 Jerusalem College Of Technology Method for measurements of oxygenated and de-oxygenated hemoglobin concentration
EP3982813A1 (en) * 2019-06-13 2022-04-20 Boston Scientific Scimed, Inc. Methods and apparatus to detect bleeding vessels
CN113729942B (zh) * 2021-10-08 2023-03-24 重庆市急救医疗中心 基于混合现实技术的血肿清除设备智能定位装置及导航系统
CN113729859B (zh) * 2021-10-08 2023-03-24 重庆市急救医疗中心 血肿抽取系统、导航系统及血肿边界判断方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103006238A (zh) * 2013-01-07 2013-04-03 天津大学 一种测量血氧饱和度的方法
WO2015077684A1 (en) * 2013-11-22 2015-05-28 Duke University Colposcopes having light emitters and image capture devices and associated methods

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS532984A (en) 1976-06-30 1978-01-12 Shimadzu Corp Blood pressure measuring system
JP4663083B2 (ja) * 2000-09-11 2011-03-30 オリンパス株式会社 内視鏡装置
US20090204009A1 (en) * 2008-02-07 2009-08-13 Los Alamos National Security Medical device system and related methods for diagnosing abnormal medical conditions based on in-vivo optical properties of tissue
JP5302984B2 (ja) 2011-01-12 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
WO2012097294A1 (en) * 2011-01-13 2012-07-19 Ultrasonic Medical Mapping, Llc Non-imaging low frequency ultrasonic testing and diagnostic evaluation system
JP5419931B2 (ja) * 2011-07-04 2014-02-19 富士フイルム株式会社 内視鏡システム、光源装置、及び内視鏡システムの作動方法
JP5911496B2 (ja) * 2011-09-05 2016-04-27 富士フイルム株式会社 内視鏡システム及びそのプロセッサ装置並びに内視鏡システムの作動方法
JP5331860B2 (ja) * 2011-09-15 2013-10-30 富士フイルム株式会社 内視鏡システム及び光源装置
JP5568584B2 (ja) * 2012-03-12 2014-08-06 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP2013240401A (ja) 2012-05-18 2013-12-05 Hoya Corp 電子内視鏡装置
CN105324064B (zh) 2013-05-30 2017-10-27 Hoya株式会社 生成示出生物组织中生物物质浓度分布图像的方法和装置
JP6099529B2 (ja) * 2013-09-11 2017-03-22 富士フイルム株式会社 内視鏡システム、プロセッサ装置及び光源装置並びに作動方法
CN103750829A (zh) * 2014-01-16 2014-04-30 清华大学 一种多参数生理指征检测装置
JP6010571B2 (ja) * 2014-02-27 2016-10-19 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
JP6039639B2 (ja) * 2014-02-27 2016-12-07 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法
JP6356051B2 (ja) 2014-11-21 2018-07-11 Hoya株式会社 分析装置及び分析装置の作動方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103006238A (zh) * 2013-01-07 2013-04-03 天津大学 一种测量血氧饱和度的方法
WO2015077684A1 (en) * 2013-11-22 2015-05-28 Duke University Colposcopes having light emitters and image capture devices and associated methods

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Intraoperative visualization of cerebral oxygenation using hyperspectral image data: a two-dimensional mapping method;Megumu Mori等;《International Journal of Computer Assisted Radiology and Surgery》;20140416;第9卷(第6期);第1059-1072页

Also Published As

Publication number Publication date
JP6195328B2 (ja) 2017-09-13
JP2018000975A (ja) 2018-01-11
US10420457B2 (en) 2019-09-24
DE112016000119T5 (de) 2017-06-08
JP6783721B2 (ja) 2020-11-11
JPWO2017051779A1 (ja) 2017-09-28
CN107072488A (zh) 2017-08-18
DE112016000119B4 (de) 2020-07-23
WO2017051779A1 (ja) 2017-03-30
US20180064320A1 (en) 2018-03-08

Similar Documents

Publication Publication Date Title
CN107072488B (zh) 分析装置
CN105615894B (zh) 分析装置以及分析方法
JP6356122B2 (ja) 生体組織中の生体物質の濃度分布を示す画像を生成する装置の作動方法及び装置
US10925527B2 (en) Endoscope apparatus
CN110840379A (zh) 图像采集系统和电子内窥镜系统
CN109561808B (zh) 分析装置
CN109310305B (zh) 内窥镜系统及特征量计算方法
JP6284451B2 (ja) 内視鏡装置
WO2018043726A1 (ja) 内視鏡システム
JP6783168B2 (ja) 内視鏡システム及び分析装置
CN109788893B (zh) 内窥镜系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant