CN103476320A - 诊断系统 - Google Patents
诊断系统 Download PDFInfo
- Publication number
- CN103476320A CN103476320A CN2012800159534A CN201280015953A CN103476320A CN 103476320 A CN103476320 A CN 103476320A CN 2012800159534 A CN2012800159534 A CN 2012800159534A CN 201280015953 A CN201280015953 A CN 201280015953A CN 103476320 A CN103476320 A CN 103476320A
- Authority
- CN
- China
- Prior art keywords
- image
- pathological changes
- image data
- spectral
- desired value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/1459—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
- A61B5/4222—Evaluating particular parts, e.g. particular organs
- A61B5/4238—Evaluating particular parts, e.g. particular organs stomach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Signal Processing (AREA)
- Endocrinology (AREA)
- Gastroenterology & Hepatology (AREA)
- Physiology (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
一种诊断系统,包括:光谱成像装置、图像处理装置以及显示器,其中,所述光谱成像装置捕捉在体腔中预定波长区域内的光谱图像,并获得光谱图像数据;所述图像处理装置获得所述光谱图像数据,从所述光谱图像数据确定表示具有高病变可能性的区域的指标值,并且基于所述指标值生成并输出提取的病变图像;在所述显示器上显示所述提取的病变图像。对于所述光谱图像的每个像素,所述图像处理装置进行所述光谱图像数据为标准变量以及氧合血红蛋白的光吸收特性和还原血红蛋白的光吸收特性为预测变量的多重回归分析,并且基于所述氧合血红蛋白和所述还原血红蛋白的浓度来确定所述指标值。
Description
技术领域
本发明涉及一种诊断系统,其构造为显示在活体组织中极有可能是病变的区域的图像。
背景技术
目前,已经提出了具有分光计功能的电子内窥镜,例如在第JP2004-321792A号日本专利临时公布中所描述的。通过使用这样的电子内窥镜,可以获得诸如消化器官(例如,胃或直肠)的黏膜的活体组织的光谱特性(对于每个频率的光吸收特性的分布)。众所周知,物质的光谱特性反应有关包含在作为观测目标的活体组织的表层附近的成分的类型或密度的信息,其在属于分析化学的学术框架的领域中建立。在该领域中同样已知的是,包含复合材料的物质的光谱特性为通过叠加构成所述复合材料的基本成分的光谱特性而获得的信息。
病变的活体组织可以包括具有罕有包含在健康的活体组织中的化学结构的物质。因此,包含病变的活体组织的光谱特性不同于仅包含健康区域的活体组织的光谱特性。由于健康区域与病变的光谱特性如上所述,彼此间是不相同的,因此可以通过将健康区域的光谱特性与病变的光谱特性进行比较来判断活体组织是否包含病变。
发明内容
如上所述,已经进行了研究以利用从活体获得的体内光谱特性的差别来确定在活体组织中病变的存在。然而,已知的研究并没有提出任何实际的诊断方法来生成用于确定在活体组织中何处存在由病变引起的光谱特性上的变化的图像,和在将病变与周围组织进行比较时识别病变的位置和程度。
本发明的制定是为了解决以上描述的问题。即是说,本发明的目的是提供一种诊断系统,其构造为显示极可能是病变的区域的图像。
为了实现以上描述的目标,根据本发明的诊断系统包括光谱成像装置、图像处理装置以及显示器,其中,所述光谱成像装置捕捉在体腔中预定波长范围内的光谱图像,并获得光谱图像数据;所述图像处理装置获得所述光谱图像数据,从所述光谱图像数据确定表明极有可能是病变的区域的指标值,并且基于所述指标值生成并输出提取的病变图像;在所述显示器上显示所述提取的病变图像。所述图像处理装置对所述光谱图像的每个像素进行所述光谱图像为因变量以及氧合血红蛋白和脱氧血红蛋白各自的光吸收特性为自变量的多重回归分析,并且基于所述氧合血红蛋白和所述脱氧血红蛋白各自的浓度来确定所述指标值。
作为所述光谱图像数据为因变量以及所述氧合血红蛋白和所述脱氧血红蛋白的光吸收特性为自变量的多重回归分析的结果,本发明的发明人发现利用所述氧合血红蛋白的光吸收特性、所述脱氧血红蛋白的光吸收特性和光散射的影响能够说明所述光谱图像数据,并且发现在病变处所述氧合血红蛋白的浓度高于在健康区域所述氧合血红蛋白的浓度。本发明利用前文提到的特性,并且构造为对所述光谱图像的每个像素进行所述光谱图像数据为因变量以及所述氧合血红蛋白和所述脱氧血红蛋白的光吸收特性为自变量的多重回归分析,以基于所述氧合血红蛋白和所述脱氧血红蛋白的浓度来确定所述指标值,并且基于确定的指标值在所述显示器上输出提取的病变图像。因此,根据前文提到的构造,可以通过在所述显示器上显示作为提取的病变图像的所述氧合血红蛋白的浓度不同于周围区域的氧合血红蛋白浓度的区域来协助检测和诊断病变。
所述图像处理装置可以配置为确定作为所述指标值的在所述氧合血红蛋白的浓度和所述脱氧血红蛋白的浓度之间的比值。利用该构造,可以精确地判断哪个区域极有可能是病变。
所述图像处理装置可以配置为根据所述指标值对所述光谱图像的每个像素指定预定颜色来生成所述提取的病变图像。所述图像处理装置还可以包括比较装置和二进制图像生成装置,其中所述比较装置将所述指标值与预定阈值进行比较,所述二进制图像生成装置基于由所述比较装置进行的比较的结果来生成二进制图像。还可以从所述二进制图像生成所述提取的病变图像。利用该构造,可以容易地将所述病变与所述健康区域区别开。
所述图像处理装置可以构造为通过综合具有蓝色、绿色和红色波段的所述光谱图像数据的数据来生成彩色图像,并且输出所述彩色图像。此外,在所述显示器上,所述彩色图像和所述提取的病变图像可以并排显示。利用该构造,通过活体组织的所述彩色图像和所述提取的病变图像之间的比较可以容易地确定哪个区域极有可能是病变,所述活体组织的光谱图像由所述光谱成像装置来捕捉。
所述图像处理装置可以构造为从具有为所述氧合血红蛋白和所述脱氧血红蛋白的吸收波段的500nm到590nm波段的所述光谱图像数据的数据来确定所述指标值。利用该构造,可以更快及更准确地计算多重回归系数。
优选地,所述预定波长范围可以从400nm到800nm,并且所述光谱图像可以包括在每个1nm到10nm的预定波长范围捕捉的多个图像。
如上所述,根据本发明,由于显示了极有可能是病变的区域的图像,因此可以缩短用于诊断的时间,并且容易确认和识别需要进行手术的区域。
附图说明
图1为显示根据本发明的实施方案的诊断系统1的框图。
图2为显示从根据本发明的实施方案的诊断系统1获得的胃黏膜的光谱图像数据的图表。图2A显示对应于胃黏膜的病变的像素的光谱,以及图2B显示对应于胃黏膜的健康区域的像素的光谱。
图3为显示血红蛋白的吸收特性的图表。
图4为显示对图2中示出的胃黏膜的光谱图像数据进行多重回归分析的结果的图表。图4A显示对对应于图2A中示出的胃黏膜的病变的像素的光谱进行多重回归分析的结果,以及图4B显示对对应于图2B中示出的胃黏膜的健康区域的像素的光谱进行多重回归分析的结果。
图5为显示从对图2中示出的胃黏膜的光谱图像数据进行多重回归分析获得的多重回归系数P1和P2的实例的图表。
图6为显示从对图2中示出的胃黏膜的光谱图像数据进行多重回归分析获得的多重回归系数P1和P2的实例的图表。
图7为显示通过本发明的实施方案中的图像处理单元500执行的图像生成处理的流程图。
图8为显示通过图7中示出的图像生成处理在图像显示装置300上显示的彩色图像和提取的病变图像的示意图。
具体实施方式
在下文中,参考附图描述根据本发明的实施方案。图1为根据本发明的实施方案的诊断系统1的框图。根据实施方案的诊断系统1生成指示图像,在诊断诸如胃或直肠的消化器官的疾病时,医生参考所述指示图像。诊断系统1具有电子内窥镜100、用于电子内窥镜的处理器200,以及图像显示装置300。在用于电子内窥镜的处理器200中,安置有光源单元400和图像处理单元500。
电子内窥镜100具有待插入体腔内的插入管110,并且在插入管110的顶端部分(插入管顶端部分)111处设置目标光学系统121。通过安置在插入管顶端部分111中的摄像装置141的光接收表面上的目标光学系统121来形成插入管顶端部分111周围的活体组织T的图像。
摄像装置141周期性地(例如,以1/30秒的间隔)输出对应于在光接收表面上形成的图像的图像信号。由摄像装置141输出的图像信号经由电缆142传输至用于电子内窥镜的处理器200的图像处理单元500。
图像处理单元500具有A/D转换电路510、暂时存储器520、控制器530、视频存储器540以及信号处理电路550。A/D转换电路510对经由电缆142从电子内窥镜100的摄像装置141传输的图像信号执行A/D转换,以输出数字图像数据。从A/D转换电路510输出的数字图像数据传输至并存储在暂时存储器520。控制器530处理存储在暂时存储器520中的一块或多块图像数据,以生成一块显示图像数据,并且将显示图像数据传输至视频存储器540。例如,控制器530生成显示图像数据并且将它们存储在视频存储器540中,诸如从图像数据块生成的显示图像数据、在其中布置并显示多块图像数据的显示图像数据、在其中通过对多块图像数据进行图像处理而获得图像的显示图像数据、或者在其中显示作为图像处理结果而获得的图表的显示图像数据。信号处理电路550将存储在视频存储器540中的显示图像数据转换为具有预定格式(例如,NTSC格式)的视频信号,并且输出该视频信号。从信号处理电路550输出的视频信号输入至图像显示装置300。因此,通过电子内窥镜100捕捉的内窥镜图像显示在图像显示装置300上。
导光管131设置在电子内窥镜100中。导光管131的顶端部分131a布置为靠近插入管顶端部分111,并且导光管131的近端部分131b连接至用于电子内窥镜的处理器200。用于电子内窥镜的处理器200在其中包括光源单元400(后面描述),光源单元400具有生成大量白光的光源430(例如氙灯)。由光源单元400生成的光入射在导光管131的近端部分131b上。入射在导光管131的近端部分131b上的光经过导光管131被引导至顶端部分131a,并且从顶端部分131a发射。透镜132设置在电子内窥镜100的插入管顶端部分111中的导光管131的顶端部分131a的附近。从导光管131的顶端部分131a发射的光穿过透镜132,并且照明靠近插入管顶端部分111的活体组织T。
如上所述,用于电子内窥镜的处理器200既具有作为处理从电子内窥镜100的摄像装置141输出的图像信号的视频处理器的功能,也具有作为将照明光供应至电子内窥镜100的导光管131以照明靠近电子内窥镜100的插入管顶端部分111的活体组织T的光源装置的功能。
在该实施方案中,用于电子内窥镜的处理器200的光源单元400包括光源430、准直透镜440、分光滤光器410、滤光器控制单元420以及聚焦透镜450。从光源430发射的白光被准直透镜440转换为准直光束,穿过分光滤光器410,之后通过聚焦透镜450入射在导光管131的近端部分131b上。分光滤光器410为圆板类型的滤光器,其将来自于光源430的白光分解为预定波长(例如,选择波长)的光,并且根据其旋转角度来选择并输出具有波长为400nm、405nm、410nm、…、800nm的窄带宽(大约5nm的带宽)的光。分光滤光器410的旋转角度受连接至控制器530的滤光器控制单元420的控制。由于控制器530经由滤光器控制单元420控制分光滤光器410的旋转角度,具有预定波长的光入射在导光管131的近端部分131b上,并且照明靠近插入管顶端部分111的活体组织T。之后,从活体组织T反射的光汇聚在如上所述的摄像装置141的光接收表面上,并且图像信号经由电缆142传输至图像处理单元500。
图像处理单元500为以5nm的波长间隔从经由电缆142获得的活体组织T的图像获得多个光谱图像的装置。具体而言,当分光滤光器410选择并输出具有中心波长为400nm、405nm、410nm、…、800nm的窄带宽光(大约5nm的带宽)时,获得具有各自波长的光谱图像。
图像处理单元500具有处理由分光滤光器410获得的多个光谱图像以生成彩色图像或提取的病变图像(后面描述)的功能。之后图像处理单元500控制图像显示装置300来显示经处理的光谱图像和提取的病变图像。
此处,作为分光滤光器410,利用传输类型衍射光栅的分光滤光器(诸如法布里-珀罗滤光器)或众所周知的光谱图像捕捉方法能够被用于获得光谱分散的光。
如上所述,在实施方案中的图像处理单元500具有通过利用多个具有不同波长的光谱图像来提取具有高病变可能性的区域来生成提取的病变图像的功能。在下文中,说明了生成提取的病变图像的功能。
首先,说明提取具有高病变可能性的区域以及作为由在本发明的实施方案中的图像处理单元500生成的提取的病变图像的基础的指标值的原理。图2表示通过本发明的实施方案中的诊断系统1获得的胃黏膜的光谱图像数据,并且每个波形表示在光谱图像中的特定像素的光谱(即,对于每个波长的亮度值)。图2A表示对应于胃黏膜的病变的像素的光谱,并且图2B表示对应于胃黏膜的健康区域的像素的光谱。此处,为了便于说明,对图2中示出的健康区域和病变的每个像素的光谱应用标准化处理。具体而言,由于摄像装置141的每个像素因照明光与目标(活体组织T)之间的角度差异以及插入管顶端部分111(图1)与活体组织T之间的距离差异而接收不同量的光,因此校正这些光量差异的影响。
如图2所示,胃黏膜的光谱具有(与胃黏膜是健康区域或病变无关)基本上M形的特性,具有在500nm到590nm的波长延伸的谷。然而,像素的光谱可变性对于病变高于对于健康区域,并且像素的光谱对于病变不同于对于健康区域之处在于其具有在大约540nm和570nm的波长处的两个谷。因此,可以通过分析光谱图像的每个像素的光谱来识别健康区域和病变。然而,由于健康区域和病变通常位于紧挨着彼此的地方,因此难以通过光谱的形状清楚地识别健康区域和病变之间的界限。出于该原因,如下面所说明的,本发明的发明人找到了一种构造,其利用从对光谱图像数据的多重回归分析得到的多重回归系数来定量地识别健康区域和病变。
图3为显示血红蛋白的光吸收特性的图表。实线表示氧合血红蛋白的光吸收特性,并且虚线表示脱氧血红蛋白的光吸收特性。如图3所示,氧合血红蛋白和脱氧血红蛋白的共同之处在于它们吸收具有在500nm到590nm之间的波长的光(即,在500nm到590nm之间的波长吸收特性增加),而不同之处在于脱氧血红蛋白在大约560nm波长具有一个峰,然而氧合血红蛋白在大约540nm和570nm波长具有两个峰。本发明的发明人将注意力集中在这种特性差异上,并且利用图2中示出的胃黏膜的光谱图像数据为因变量以及氧合血红蛋白和脱氧血红蛋白的光吸收特性为自变量进行多重回归分析。结果,本发明的发明人发现,利用氧合血红蛋白和脱氧血红蛋白的光吸收特性能够说明胃黏膜的光谱图像数据,并且发现如果在病变处氧合血红蛋白的浓度大于在健康区域处氧合血红蛋白的浓度,则可以基于氧合血红蛋白的多重回归系数来定量识别健康区域和病变。此外,本发明的实施方案构造为使得通过使用二维光谱信息,除了在一个点(像素)处的光谱特性的绝对估计之外,还能够对周围区域进行相对估计。即使在由于组织、构造、个体差异以及在活体中病变的状态的影响而难以进行绝对估计时,该构造也能够使病变的检测具有较高的准确度。
通常,使用如下面的表达式(1)的比尔-朗伯定律来表示从本发明的实施方案获得的光谱图像数据的测量模型。
(表达式1)
在表达式(1)中,A为介质(活体组织T)的吸收系数、I0为光在进入介质前的辐射强度、I为在介质中运行距离d的光的强度、ε为摩尔光吸收系数、C为摩尔浓度,以及λ为光的波长。如果介质具有n种类型的光吸收物质,则以下面的表达式(2)表示吸收系数。
(表达式2)
即是说,在介质具有n种类型的光吸收物质的情况下,吸收系数A表达为对于每种物质的吸收特性的和。如下面的表达式(3)所示,利用图2中示出的胃黏膜的光谱数据为因变量以及氧合血红蛋白和脱氧血红蛋白的光吸收特性为自变量进行多重回归分析。
(表达式3)
在表达式(3)中,Χ是对于胃黏膜的光谱图像的一个像素的数据,并且表示通过照射中心波长为400nm到800nm的光,以5nm的波长间隔捕捉的光谱图像的亮度值。值α为对于每5nm捕捉的400nm到800nm波长的氧合血红蛋白的光吸收特性,并且值b为对于以5nm的波长间隔捕捉的400nm到800nm波长的脱氧血红蛋白的光吸收特性。之后,通过求解表达式(3)进行多重回归分析,以得到多重回归系数P1和P2。
图4为表示对图2中示出的胃黏膜的光谱图像数据进行多重回归分析的结果的图表。图4A为显示在竖直轴被转换为吸收特性之后,对对应于图2A中示出的胃黏膜的病变的像素的光谱进行多重回归分析的结果的图表,并且图4B为显示在竖直轴被转换为吸收特性之后,对对应于图2B中示出的胃黏膜的健康区域的像素的光谱进行多重回归分析的结果的图表。在图4A和图4B中,实线表示对于胃黏膜的光谱图像数据的数据序列,虚线表示对于多重回归分析的结果的数据序列,并且点划线表示对于在多重回归分析之后的残差(即,多重回归分析的结果与光谱图像数据之间的差异)的数据序列。如图4所示,与是健康区域或者病变无关,在图2中的每个波形(即,在光谱图像中的特定像素的光谱)实质上能够通过氧合血红蛋白和脱氧血红蛋白的光吸收特性的结合来表示。此处,作为在实施方案中获得的光谱图像数据的测量模型,当光入射在活体组织T上时,散射的光被纳入考虑,而附加的散射光在公式3中被忽略。通过执行如上所述的多重回归分析,证明了利用基本上没有残差的氧合血红蛋白和脱氧血红蛋白的光吸收特性的结合能够说明在光谱图像中的预定像素的光谱。
图5为显示从对图2中示出的胃黏膜的光谱图像数据进行多重回归分析获得的多重回归系数P1和P2的第一实例的图表。图6为表示从对图2中示出的胃黏膜的光谱图像数据进行多重回归分析获得的多重回归系数P1和P2的第二实例的图表。在图5和图6中由框T指示的范围表明对应于病变的像素的多重回归系数P1和P2,并且由框N指示的范围表明对应于健康区域的像素的多重回归系数P1和P2。在图5示出的实例中,可以观察到,对应于病变的像素的多重回归系数P1和P2的离差大于对应于健康区域的像素的多重回归系数P1和P2的离差,并且对应于病变的像素的多重回归系数P1和P2大于对应于健康区域的像素的多重回归系数P1和P2。此处,根据表达式3,多重回归系数P1为表示氧合血红蛋白的量(即浓度)的参数,并且多重回归系数P2为表示脱氧血红蛋白的量的参数。因此,结果表明,从图5中示出的实例中的病变检测到高于从健康区域检测到的氧合血红蛋白和脱氧血红蛋白的量。此外,在图6示出的实例中,可以观察到对于病变的像素的多重回归系数P1和P2的离差大于对于健康区域的像素的多重回归系数P1和P2的离差,并且对于病变的像素的多重回归系数P1大于对于健康区域的像素的多重回归系数P1。如以上所说明的,根据本发明的发明人的实验,可以观察到图5和图6中示出的两个趋势。此外,根据之前的研究,可以知道在诸如癌症的病变中,氧合血红蛋白和脱氧血红蛋白的量的和(对应于检测到的血量的总和)以及脱氧血红蛋白与氧合血红蛋白的比值大于在健康区域中的。因此,如图5所示,实例示出了多重回归系数P1和P2的和以及多重回归系数P2与多重回归系数P1的比值在病变中变得更大,总体上占主导。因此,在该实施方案中,利用下面的表达式(4)来得到多重回归系数P1和P2的比值R,并且该比值被用作指标值来识别病变和健康区域。根据实施方案的图像处理单元500从该指标值生成提取的病变图像。
(表达式4)
R=P1/P2
在下文中,说明了通过在实施方案中的图像处理单元500执行的图像生成处理。图7为通过实施方案的图像处理单元500执行的图像生成处理的流程图,并且图8显示了通过如图7示出的图像生成处理生成并在图像显示装置300上显示的彩色图像以及提取的病变图像。图像生成处理是生成彩色图像和提取的病变图像以及在图像显示装置300上显示的常规程序。这种常规程序在诊断系统1接通电源的时刻执行。
当常规程序开始时,执行步骤S1。在步骤S1中,图像处理单元500传输用于控制滤光器控制单元420的控制信号,以获得光谱图像。当接收控制信号时,滤光器控制单元420控制分光滤光器410的旋转角,以便顺序地选择具有440nm、405nm、410nm、…、800nm波长的窄带宽(大约5nm的带宽)的光。图像处理单元500捕捉在每个波长获得的光谱图像,并将光谱图像存储在暂时存储器520中。之后,程序进行到步骤S2。
在步骤S2中,从在步骤S1中获得的光谱图像提取具有中心波长为435nm、545nm和700nm的三个图像,并且生成一块彩色图像数据,其中中心波长为435nm的图像被存储为蓝色平面、中心波长为545nm的图像被存储为绿色平面,并且中心波长为700nm的图像被存储为红色平面。如上所述,从波长为435nm的蓝色光谱图像、波长为545nm的绿色光谱图像以及波长为700nm的红色光谱图像获得彩色图像数据,对等效于来自正常观测的内窥镜图像的彩色图像也是如此。之后,图像处理单元500将生成的彩色图像数据传输至视频存储器540,并且在图像显示装置300的屏幕的左侧显示彩色图像(图8)。之后,程序进行到步骤S3。
在步骤S3中,确认在执行步骤S1和S2期间,是否通过使用用于电子内窥镜的处理器200的操作单元(未示出)发生指定提取的病变图像的生成的触发输入。当没有发生触发输入时(S3:否),则程序进行到步骤S1以再次获得光谱图像。即是说,除非发生触发输入,从光谱图像获得的彩色图像被顺序更新,并且连续地显示在图像显示装置300上。另一方面,当在执行步骤S1和S2期间发生触发输入时(S3:是),程序进行到步骤S4。
在步骤S4中,对在步骤S1中获得的光谱图像执行多重回归分析。具体而言,利用表达式(3)计算对于在步骤S1中获得的光谱图像中的所有像素的多重回归系数P1和P2。之后,程序进行到步骤S5。
在步骤S5中,利用表达式(4)计算对于在步骤S4中得到的每个像素的多重回归系数P1和P2的指标值(比值R)。之后,程序进行到步骤S6。
在步骤S6中,利用在步骤S5中获得的对于每个像素的指标值生成提取的病变图像。具体而言,根据对于每个像素的指标值对每个像素指定预定颜色,以形成提取的病变图像。在该实施方案中,具有等于或小于0.6的指标值(比值R)的像素被判断为健康区域并且指定为蓝色,具有大于0.6且等于或小于1.0的指标值的像素被判断为在健康区域和病变之间的界限并且指定为绿色,并且具有大于1的指标值的像素被判断为病变并且指定为红色。因此生成的提取的病变图像显示在图像显示装置300的屏幕的右侧(图8)。通过显示提取的病变图像(其根据指标值进行颜色编码)和在图像显示装置300的屏幕上紧挨着的内窥镜图像的彩色图像,诊断系统1的用户通过将提取的病变图像与彩色图像进行比较,能够识别在彩色图像上的哪些区域是病变。之后,程序进行到步骤S7。
在步骤S7中,图像处理单元500在图像显示装置300上显示询问是否重新生成提取的病变图像的消息,并且同时接受来自于用于电子内窥镜的处理器200的操作单元(未示出)的输入。当诊断系统1的用户在操作单元上选择重新生成提取的病变图像(S7:是),程序返回至步骤S1。另一方面,当对于预定的时间周期(例如,几秒)没有做出用于重新生成提取的病变图像的输入(S7:否),程序进行到步骤S8。
在步骤S8中,图像处理单元500在图像显示装置300上显示询问是否终止显示提取的病变图像的消息,并且同时接受来自于用于电子内窥镜的处理器200的操作单元(未示出)的输入。当诊断系统1的用户在操作单元上选择终止显示提取的病变图像(S8:是),常规程序终止。另一方面,当对于预定的时间周期(例如,几秒)没有做出显示提取的病变图像的输入(S8:否),程序进行至步骤S7。
如上所述,通过利用图像处理单元500执行由在图7中的流程图示出的常规程序,对估计病变的位置有用的提取的病变图像显示在图像显示装置300上。在前文提到的方法中,通过将具有高病变可能性的区域显示为提取的病变图像,医生能够通过识别病变的位置或区域以及通过与它们周围的组织进行比较来进行诊断。
如上所述,在该实施方案中,利用表达式(4),从多重回归系数P1和P2计算对于每个像素的指标值(比值R),并且通过指标值确定具有高病变可能性的区域(像素)。然而,本发明不限于上述的构造。例如,可以利用多重回归系数P1的大小作为指标值来确定具有高病变可能性的区域(像素)。
此外,在该实施方案中,图像处理单元500构造为利用以5nm的波长间隔在400nm到800nm的波长范围获得的光谱图像数据进行多重回归分析,但是本发明不限于该构造。例如,波长范围可以设置地更窄,包括为氧合血红蛋白和脱氧血红蛋白的吸收波段的500nm到590nm波段,并且需要标准波长来标准化每个像素。图像处理单元500还可以构造为仅利用从为氧合血红蛋白和脱氧血红蛋白的吸收波段的500nm到590nm波段获得的光谱图像进行多重回归分析。只要能够识别对应于病变的像素的光谱和对应于健康区域的像素的光谱,本发明就不需要构造为以5nm的波长间隔获得光谱图像数据。例如,用于获得光谱图像数据的波长间隔可在1nm到10nm的范围进行选择。
在该实施方案中,本发明构造为使得图像处理单元500对光谱图像的每个像素指定预定颜色以获得提取的病变图像,但本发明不限于该构造。例如,本发明可以构造为将指标值和预定阈值进行比较,如果指标值大于阈值(即,检测到大量的氧合血红蛋白),则确定病变的可能性较高,并且提取对应的像素以形成提取的病变图像。更具体地,将每个像素的指标值与预定阈值进行比较,如果指标值高于预定阈值,则指定“1”给像素,或者如果指标值小于预定阈值,则指定“0”给像素,以形成二维的二进制图像。
Claims (7)
1.一种诊断系统,包括:
光谱成像装置,所述光谱成像装置捕捉在体腔中预定波长范围内的光谱图像,并获得光谱图像数据;
图像处理装置,所述图像处理装置接收所述光谱图像数据,从所述光谱图像数据确定表明极有可能是病变的区域的指标值,并且基于所述指标值生成并输出提取的病变图像;以及
显示器,在所述显示器上显示所述提取的病变图像,
其中,所述图像处理装置对所述光谱图像的每个像素进行所述光谱图像数据为因变量以及氧合血红蛋白和脱氧血红蛋白各自的光吸收特性为自变量的多重回归分析,并且基于所述氧合血红蛋白和所述脱氧血红蛋白各自的浓度来确定所述指标值。
2.根据权利要求1所述的诊断系统,其中所述图像处理装置确定作为所述指标值的在所述氧合血红蛋白的浓度和所述脱氧血红蛋白的浓度之间的比值。
3.根据权利要求1或2所述的诊断系统,其中所述图像处理装置通过根据所述指标值对所述光谱图像的每个像素指定预定颜色来生成所述提取的病变图像。
4.根据权利要求1或2所述的诊断系统,
其中所述图像处理装置包括:
比较装置,所述比较装置将所述指标值与预定阈值进行比较;以及
二进制图像生成装置,所述二进制图像生成装置基于由所述比较装置进行的比较的结果来生成二进制图像,以及
其中基于所述二进制图像来生成所述提取的病变图像。
5.根据权利要求1到4中任一项所述的诊断系统,
其中,所述图像处理装置通过综合具有蓝色、绿色和红色波段的光谱图像数据的数据来生成彩色图像,并且输出所述彩色图像,
其中,在所述显示器上,所述彩色图像和所述提取的病变图像彼此紧挨着显示。
6.根据权利要求1到5中任一项所述的诊断系统,其中所述处理装置从具有为所述氧合血红蛋白和所述脱氧血红蛋白的吸收波段的500nm到590nm波段的光谱图像数据的数据来确定所述指标值。
7.根据权利要求1到6中任一项所述的诊断系统,
其中,所述预定波长范围为从400nm到800nm,以及
所述光谱图像包括在每个1nm到10nm的预定波长范围捕捉的多个图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011072216 | 2011-03-29 | ||
JP2011-072216 | 2011-03-29 | ||
PCT/JP2012/053093 WO2012132571A1 (ja) | 2011-03-29 | 2012-02-10 | 診断システム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103476320A true CN103476320A (zh) | 2013-12-25 |
Family
ID=46930335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012800159534A Pending CN103476320A (zh) | 2011-03-29 | 2012-02-10 | 诊断系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140010424A1 (zh) |
EP (1) | EP2692275A4 (zh) |
JP (1) | JPWO2012132571A1 (zh) |
CN (1) | CN103476320A (zh) |
WO (1) | WO2012132571A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108463760A (zh) * | 2016-01-19 | 2018-08-28 | 索尼奥林巴斯医疗解决方案公司 | 医疗用光源装置和医疗用观察系统 |
CN109788893A (zh) * | 2016-10-14 | 2019-05-21 | Hoya株式会社 | 内窥镜系统 |
CN112717282A (zh) * | 2021-01-14 | 2021-04-30 | 重庆翰恒医疗科技有限公司 | 一种光诊疗装置及全自动光诊疗系统 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9183427B2 (en) | 2011-09-29 | 2015-11-10 | Hoya Corporation | Diagnostic system |
JP2013240401A (ja) * | 2012-05-18 | 2013-12-05 | Hoya Corp | 電子内視鏡装置 |
JP2014230647A (ja) * | 2013-05-29 | 2014-12-11 | Hoya株式会社 | 表示装置、表示方法および表示プログラム |
JP2017000836A (ja) * | 2016-09-27 | 2017-01-05 | Hoya株式会社 | 電子内視鏡装置 |
JP6968357B2 (ja) * | 2017-03-24 | 2021-11-17 | 株式会社Screenホールディングス | 画像取得方法および画像取得装置 |
JP6960773B2 (ja) * | 2017-05-26 | 2021-11-05 | 池上通信機株式会社 | 撮像画像処理システム |
CN113554578B (zh) * | 2021-07-23 | 2024-05-31 | 奥比中光科技集团股份有限公司 | 一种光谱图像的确定方法、装置、终端和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5001556A (en) * | 1987-09-30 | 1991-03-19 | Olympus Optical Co., Ltd. | Endoscope apparatus for processing a picture image of an object based on a selected wavelength range |
JP2002345733A (ja) * | 2001-05-29 | 2002-12-03 | Fuji Photo Film Co Ltd | 撮像装置 |
JP2009068940A (ja) * | 2007-09-12 | 2009-04-02 | Canon Inc | 測定装置 |
JP2009131617A (ja) * | 2007-11-09 | 2009-06-18 | Fujifilm Corp | 撮像システム、撮像方法、およびプログラム |
US20100056928A1 (en) * | 2008-08-10 | 2010-03-04 | Karel Zuzak | Digital light processing hyperspectral imaging apparatus |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7603166B2 (en) * | 1996-09-20 | 2009-10-13 | Board Of Regents University Of Texas System | Method and apparatus for detection of vulnerable atherosclerotic plaque |
JP2793989B2 (ja) * | 1996-09-30 | 1998-09-03 | オリンパス光学工業株式会社 | 内視鏡用光源装置の回転フィルタ |
NL1012943C2 (nl) * | 1999-08-31 | 2001-03-01 | Tno | Detector en beeldvormende inrichting voor het bepalen van concentratieverhoudingen. |
WO2001037717A2 (en) * | 1999-11-26 | 2001-05-31 | Applied Spectral Imaging Ltd. | System and method for functional brain mapping |
JP4663083B2 (ja) * | 2000-09-11 | 2011-03-30 | オリンパス株式会社 | 内視鏡装置 |
US7294102B2 (en) | 2003-04-14 | 2007-11-13 | Pentax Corporation | Method and apparatus for providing depth control or z-actuation |
CA2631564A1 (en) * | 2004-11-29 | 2006-06-01 | Hypermed, Inc. | Medical hyperspectral imaging for evaluation of tissue and tumor |
US20080009748A1 (en) * | 2006-05-16 | 2008-01-10 | The Regents Of The University Of California | method and apparatus for the determination of intrinsic spectroscopic tumor markers by broadband-frequency domain technology |
JP5280026B2 (ja) * | 2007-09-14 | 2013-09-04 | 富士フイルム株式会社 | 画像処理装置および内視鏡システム |
-
2012
- 2012-02-10 CN CN2012800159534A patent/CN103476320A/zh active Pending
- 2012-02-10 EP EP12764519.0A patent/EP2692275A4/en not_active Withdrawn
- 2012-02-10 US US14/006,775 patent/US20140010424A1/en not_active Abandoned
- 2012-02-10 JP JP2013507237A patent/JPWO2012132571A1/ja active Pending
- 2012-02-10 WO PCT/JP2012/053093 patent/WO2012132571A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5001556A (en) * | 1987-09-30 | 1991-03-19 | Olympus Optical Co., Ltd. | Endoscope apparatus for processing a picture image of an object based on a selected wavelength range |
JP2002345733A (ja) * | 2001-05-29 | 2002-12-03 | Fuji Photo Film Co Ltd | 撮像装置 |
JP2009068940A (ja) * | 2007-09-12 | 2009-04-02 | Canon Inc | 測定装置 |
JP2009131617A (ja) * | 2007-11-09 | 2009-06-18 | Fujifilm Corp | 撮像システム、撮像方法、およびプログラム |
US20100056928A1 (en) * | 2008-08-10 | 2010-03-04 | Karel Zuzak | Digital light processing hyperspectral imaging apparatus |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108463760A (zh) * | 2016-01-19 | 2018-08-28 | 索尼奥林巴斯医疗解决方案公司 | 医疗用光源装置和医疗用观察系统 |
CN109788893A (zh) * | 2016-10-14 | 2019-05-21 | Hoya株式会社 | 内窥镜系统 |
CN112717282A (zh) * | 2021-01-14 | 2021-04-30 | 重庆翰恒医疗科技有限公司 | 一种光诊疗装置及全自动光诊疗系统 |
CN112717282B (zh) * | 2021-01-14 | 2023-01-10 | 重庆翰恒医疗科技有限公司 | 一种光诊疗装置及全自动光诊疗系统 |
Also Published As
Publication number | Publication date |
---|---|
US20140010424A1 (en) | 2014-01-09 |
JPWO2012132571A1 (ja) | 2014-07-24 |
EP2692275A1 (en) | 2014-02-05 |
EP2692275A4 (en) | 2014-09-17 |
WO2012132571A1 (ja) | 2012-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103476320A (zh) | 诊断系统 | |
US10117582B2 (en) | Medical hyperspectral imaging for evaluation of tissue and tumor | |
JP6204314B2 (ja) | 電子内視鏡システム | |
US20130245411A1 (en) | Endoscope system, processor device thereof, and exposure control method | |
US9113787B2 (en) | Electronic endoscope system | |
US9183427B2 (en) | Diagnostic system | |
US20130012794A1 (en) | Rapid multi-spectral imaging methods and apparatus and applications for cancer detection and localization | |
US20160324405A1 (en) | Electronic endoscope device | |
US11885954B2 (en) | Endoscope system | |
US20140163389A1 (en) | In vivo detection of eosinophils | |
CN103167822B (zh) | 诊断系统 | |
JP2014230647A (ja) | 表示装置、表示方法および表示プログラム | |
JP2013048646A (ja) | 診断システム | |
JP6650919B2 (ja) | 診断システム及び情報処理装置 | |
Waterhouse et al. | Flexible Endoscopy: Multispectral Imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20131225 |