CN103167822B - 诊断系统 - Google Patents
诊断系统 Download PDFInfo
- Publication number
- CN103167822B CN103167822B CN201180048357.1A CN201180048357A CN103167822B CN 103167822 B CN103167822 B CN 103167822B CN 201180048357 A CN201180048357 A CN 201180048357A CN 103167822 B CN103167822 B CN 103167822B
- Authority
- CN
- China
- Prior art keywords
- spectrum
- image data
- spectrum picture
- image
- indicatrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001228 spectrum Methods 0.000 claims abstract description 66
- 230000003595 spectral effect Effects 0.000 claims abstract description 43
- 230000003902 lesion Effects 0.000 claims description 38
- 210000001519 tissue Anatomy 0.000 description 21
- 238000000034 method Methods 0.000 description 19
- 230000014509 gene expression Effects 0.000 description 13
- 210000002784 stomach Anatomy 0.000 description 12
- 238000010606 normalization Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000007170 pathology Effects 0.000 description 6
- 102000001554 Hemoglobins Human genes 0.000 description 4
- 108010054147 Hemoglobins Proteins 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000664 rectum Anatomy 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241001062009 Indigofera Species 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001156 gastric mucosa Anatomy 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
- A61B5/4222—Evaluating particular parts, e.g. particular organs
- A61B5/4238—Evaluating particular parts, e.g. particular organs stomach
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
- A61B5/4261—Evaluating exocrine secretion production
- A61B5/4283—Evaluating exocrine secretion production gastrointestinal secretions, e.g. bile production
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Gastroenterology & Hepatology (AREA)
- Optics & Photonics (AREA)
- Physiology (AREA)
- Endocrinology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
一种诊断系统具有:光谱图像拍摄装置,所述光谱图像拍摄装置用于在体腔中在预定波长范围内拍摄光谱图像,并且获得光谱图像数据;图像处理装置,所述图像处理装置用于获得所述光谱图像数据,并从所述光谱图像数据计算对为病变部位的可能性较高的区域进行指示的指标值;以及监视器,所述监视器用于显示指标值。对于所述光谱图像中的每个坐标,所述图像处理装置计算指标值,所述指标值为在整个预定波长范围的光谱图像的亮度的累积值与特定波段的光谱图像的亮度的比率。
Description
技术领域
本发明涉及一种诊断系统,该诊断系统生成对在活组织中具有病变部分的可能性较高的区域进行指示的指标。
背景技术
近来,已经提出具有光谱仪功能的电子内窥镜,例如在日本专利临时公开No.2007-135989A中所描述的。通过应用这种内窥镜,可以获得活组织的光谱特性(关于频率的光吸收率分布),比如消化器官的黏膜,例如胃或直肠。众所周知,物质的光谱特性反映了关于包含在作为观察目标的活组织的表层附近的成分的类型或密度的信息,其建立在属于分析化学的学术框架的领域中。在该领域中还众所周知的是,组成复合组织的物质的光谱特性反映了通过对组成复合组织的基本成分的光谱特性进行叠加而获得的信息。
存在一种具有化学结构的物质很少包含在活体组织的健康部分中,而包含在活组织中的病变部分中的情况。因此,包含病变部分的活组织的光谱特性不同于仅包含健康部分的活组织的光谱特性。由于健康部分和病变部分的光谱特性如上所述的彼此不同,因此通过比较健康部分和病变部分的光谱特性来判断活组织是否包含病变部分变得可行。
发明内容
如上所述,通过获得在活组织中的光谱信息,从光谱特性来判断在活体中病变部分的存在变得可行。然而,用于通过存在于活组织中的病变部分所引起的光谱特性做出判断,并从而确定病变部分的位置和区域的方法并没有被提出。
本发明致力于解决上述问题。也即,本发明的目的是提供一种用于生成有助于判断在活组织中病变部分的区域的指标的诊断系统。
为实现上述目标,根据本发明的诊断系统包括:光谱图像拍摄装置,所述光谱图像拍摄装置在体腔中在预定波长范围之内拍摄光谱图像,并且获得光谱图像数据;图像处理装置,所述图像处理装置获得所述光谱图像数据,并从所述光谱图像数据计算对具有病变部分的可能性较高的区域进行指示的指标;以及监视器,在所述监视器上显示所述指标。对于所述光谱图像中的每个坐标,所述图像处理装置计算在所述预定波长范围之内的所有光谱图像的强度值的累积值与在特定波段中的光谱图像的强度值之间的比率,作为所述指标。
如上所述,对于在活组织中病变部分的光谱特性,在特定波段中的强度不同于健康部分的强度。然而,很难保持生物材料的反射角度为常数。因此,对于从光谱图像数据获得的光谱,总光量根据照明光到材料的照明角度而变化。出于该原因,根据本发明,首先获得光谱图像的图像像素的强度值的累积值,并且基于该累积值归一化图像像素的强度值。获得特定图像像素的目标波段的光谱强度与特定图像像素的强度值的累积强度之间的比率,并且由照明光与材料的照明角度引起的强度值的波动得以纠正。通过该过程获得的指标指示了特定波段的光谱特性与整个波长范围的光谱特性的比率。例如,具有较大比率的区域表示目标波长范围的强度分量较大,也即,光谱特性的变化相对于其他区域突出。此外,当光谱特性针对病变部分的改变为已知时,该区域表示为待注明为病变部分的区域。当二维区域的光谱信息可用时,通过对图像像素的每一个进行如上所述的处理,获取病变信息作为区域诊断的结果变得可行。
优选的是,可以操作所述图像处理装置以在监视器上显示指标图,所述指标图为所述指标的图形表示。
应用该构造,可以通过参考所述指标图,容易地判断出哪个区域具有病变部分的可能性较高。
通过结合所述光谱图像数据的蓝色、绿色和红色波段的数据,所述图像处理装置可以生成彩色图像数据;并且所述彩色图像数据和所述指标图并排布置,并显示在所述监视器上。
应用该构造,可以通过对由所述光谱图像拍摄装置拍摄的活组织的彩色图像和所述指标图进行比较,容易地判断出哪个区域具有病变部分的可能性较高。
优选的是,所述特定波段是其最大波长小于550nm到590nm的血红蛋白吸收波段的波段。例如,所述特定波段为480nm到520nm。
如上所述,根据本发明,可以获得有助于判断在活组织中病变的存在区域的指标。
附图说明
图1为显示根据本发明的实施方案的诊断系统的方框图。
图2为显示在胃黏膜的图像中多图像像素的光谱的曲线图。图2(a)为显示胃黏膜的健康部分的光谱的实例的曲线图,而图2(b)是为显示胃黏膜的病变部分的光谱的实例的曲线图。
图3为显示在执行图2中所示的光谱的归一化处理之后所获得的光谱的实例的曲线图。
图4为说明用于执行指标图的表示的程序的流程图,该程序通过根据本发明的实施方案的诊断系统的光谱图像处理单元来执行。
图5显示了根据实例的指标图。
具体实施方式
下面,将参考所附附图来描述根据本发明的实施方案。
图1为根据实施方案的诊断系统1的方框图。根据实施方案的诊断系统1被配置为生成待由医生参考的指标图像,用于诊断消化器官(比如胃或直肠)的疾病。诊断系统1包括电子内窥镜100、用于电子内窥镜的处理器200和图像显示装置300。在用于电子内窥镜的处理器200中,容纳有光源单元400和图像处理单元500。
电子内窥镜100包括待插入体腔的插入管110和设置在插入管110的尖端部分(插入管尖端部分)111的目标光学系统121。通过容纳在插入管尖端部分111中的摄像器件141的光接收表面上的目标光学系统121来形成围绕插入管尖端部分111的活组织T的图像。
摄像器件141定期地(例如,间隔1/30秒)输出对应于形成在光接收表面上的图像的图像信号。由摄像器件141输出的图像信号经由电缆142被传输到用于电子内窥镜的处理器200的图像处理单元500。
图像处理单元500包括AD转换电路510、暂时存储器520、控制器530、视频存储器540和信号处理电路550。AD转换电路510对从电子内窥镜100的摄像器件141经由电缆142传输的图像信号执行AD转换以输出数字图像数据。从AD转换电路510输出的数字图像数据被传输到暂时存储器520并被存储在暂时存储器520中。控制器530对存储在暂时存储器520中的一段或多段图像数据进行处理以生成一段显示图像数据,并将该显示图像数据传输到视频存储器540。例如,控制器530产生了从图像数据段生成的显示图像数据,并将该显示图像数据存储在视频存储器540中,在该显示图像数据中布置并显示了多个图像数据段,或者在该显示图像数据中显示了通过使多个图像数据段经图像处理而获得的图像和作为图像处理的结果而获得的曲线图。信号处理电路550将存储在视频存储器540中的显示图像数据转换为具有预定格式(例如,NTSC格式)的视频信号,并输出该视频信号。从信号处理电路550输出的视频信号输入到图像显示装置300。因此,由电子内窥镜100所拍摄的内窥镜图像显示在图像显示装置300上。
导光管131设置在电子内窥镜100中。导光管131的尖端部分131a布置为接近插入管尖端部分111,并且导光管131近端部分131b连接到用于电子内窥镜的处理器200。用于电子内窥镜的处理器200在其中包括具有产生大量白光的光源430的光源单元400(稍后描述),例如氙灯。由光源单元400所产生的光入射到导光管131的近端部分131b上。已经进入导光管131的近端部分131b的光穿过导光管131被引导到尖端部分131a,并从尖端部分131a射出。在电子内窥镜100的插入管尖端部分111中的导光管131的尖端部分131a的附近设置有透镜132。从导光管131的尖端部分131a射出的光穿过透镜132,并且照亮靠近插入管尖端部分111的活组织T。
如上所述,用于电子内窥镜的处理器200既具有作为视频处理器的功能,又具有作为光源装置的功能,该视频处理器处理从电子内窥镜100的摄像器件141输出的图像信号,该光源装置提供照亮靠近电子内窥镜100的插入管尖端部分111到电子内窥镜100的导光管131的活组织T的照明光。
在该实施方案中,用于电子内窥镜的处理器200的光源单元400包括光源430、准直透镜440、光谱滤光器410、滤光器控制单元420和聚光透镜450。从光源430射出白光由准直透镜440转换成准直光束,穿过光谱滤光器410,然后穿过聚光透镜450入射到导光管131的近端部分131b上。光谱滤光器410是将源自光源430的白光分解为预定波长(即选择波长)的光的圆板类型的滤光器,并且根据其旋转角度来选择并输出400nm、405nm、410nm、…、800nm的窄带光(约5nm的带宽)。光谱滤光器410的旋转角度由连接到控制器530的滤光器控制单元420来控制。由于控制器530经由滤光器控制单元420来控制光谱滤光器410的旋转角度,预定波长的光入射到导光管131的近端部分131b上,并且照亮靠近插入管尖端部分111的活组织T。然后,从活组织T反射的光聚集到如上所述的摄像器件141的光接收表面上,并且图像信号经由电缆142传输到图像处理单元500。
图像处理单元500配置为这样一种装置,该装置以间隔5nm的波长经由电缆142从获得的活组织T的图像中获得多个光谱图像。具体而言,当光谱滤光器410选择并输出中心波长为400nm、405nm、410nm、…、800nm的窄带光(约5nm的带宽)时,获得各自波长的光谱图像。
图像处理单元500具有处理由光谱滤光器410生成的多个光谱图像的功能,并且具有生成对病变部分的位置进行指示的彩色图像或指标图像的功能,如下文中所述。然后,图像处理单元500控制图像显示装置300来显示已处理的光谱图像。
应当注意,作为光谱滤光器410,例如可以应用法布里-珀罗滤光器或应用透射型衍射光栅的滤光器。
如上所述,通过应用具有不同波长的多个光谱图像,根据该实施方案的图像处理单元500具有生成对具有病变部分的可能性较高的区域的位置进行指示的指标图像的功能。下面,对指标图生成功能进行说明。
首先,对以其为基础,通过根据该实施方案的图像处理单元500生成指标图的指标进行说明。图2为表示在胃黏膜的图像中多图像像素的光谱的曲线图。具体而言,图2(a)表示对应于胃黏膜的健康部分的图像像素的光谱,而图2(b)表示对应于胃黏膜的病变部分的图像像素的光谱。如图2所示,无论该光谱是健康部分还是病变部分,胃黏膜图像的光谱在600nm到700nm的波长具有大峰值(第一峰值)并且具有中心波长为500nm的小峰值(第二峰值)。
如图2所示,能够确认,健康部分的图像像素的光谱基本上类似于病变部分的图像像素的光谱。然而,当对二维分布的多个点执行检测时,由于在照明光与对象之间的角度的不同或电子内窥镜100的插入管尖端部分111(图1)到点的距离的不同,对于检测有用的光量根据点而变化。为了纠正光量差异的影响,无论图2中所示的每个光谱的强度值如何,通过用在每个波长的相对强度的信息来代替每个光谱的强度值使得图2中所示的每个光谱被归一化,用于比较。在下面的流程中,执行归一化。在如上所述的归一化中,参考其最大强度在所有的多个样本图像像素中最大的图像像素,获得用于归一化其他图像像素的系数。
我们定义胃粘膜的图像中每个图像像素的光谱为On(λi),其中n表示样本编号。也即,频谱表示在每个二维点的光谱强度。应当注意,在图像像素中,健康部分的图像像素和病变部分的图像像素是混合的。λi表示光谱的每个中心波长,且采用λ1=400nm、λ2=405nm、…、λ81=800nm中的一个值。首先,搜索样本N,其On(λ)的最大值在所有样本中最大。然后,对于n≠N的On(λ),获得满足下面的表达式(1)的常数Kn。
表达式(1)
在该表达式中,K表示通过计算光量差异而被优化的一组系数。在该计算中,使用对数表示来反映物质的化学密度;然而,正常的反射强度也可以被应用到计算中。
经由上述过程,通过对图2所示的光谱进行归一化得到的光谱如图3所示。在图3中,实线表示对应于胃黏膜的健康部分的图像像素的归一化光谱,虚线表示对应于胃黏膜的病变部分的图像像素的归一化光谱。如图3所示,在归一化之后,对于第一峰值,图像像素之间几乎没有不同。另一方面,很明显,对于第二峰值,健康部分的图像像素具有比病变部分的图像像素高的水平。此外,对于在第一峰值和第二峰值之间的波谷(在波长550nm附近)的水平,健康部分的图像像素略高于病变部分的图像像素。也即,在480nm到590nm的波段中,健康部分的图像像素的水平比病变部分的图像像素的水平高。因此,可以理解为能够在中心为480nm到590nm的范围二维地提取光谱水平差。
众所周知,550nm到590nm的波段为血红蛋白吸收波段。换言之,如果在550nm到590nm的波段中一个部分的水平低,则仅该部分具有高密度的血管,并且来自血液的信息得以追踪的可能性很高。出于该原因,在该实施方案中,具有最大波长小于血红蛋白的吸收波段的范围,例如在波长500nm附近的范围(480nm到520nm),被用为指示病变部分的新标记。也即,分别定义的480nm到520nm的波段和血红蛋白的吸收波段的两段信息被应用,因此提供了更详细和更可靠的诊断支持信息。
也即,根据实施方案的诊断系统1应用中心为480nm到520nm的波段中的水平作为指示病变部分的标记,并且生成对具有病变部分的可能性较高的区域的位置进行指示的指标图。因此,可以基于包含病变部分的各种类型的特征变化的光谱性质信息来提供诊断支持信息。
然而,应当注意,上述的归一化处理具有较重的处理负荷,并且在内窥镜观察期间,很难在显示作为实时移动的图像的指标的同时,执行归一化处理。出于该原因,在该实施方案中,归一化处理被简化并且在极短的时段内获得指标。
如图2所示,对于趋于均值的内窥镜图像的每个图像像素的强度值的贡献,第一峰值附近的分量的贡献为主导,而趋于均值的第二峰值附近的分量的贡献较低。因此,通过计算在第二峰值附近的强度值与在由光谱图像获得的内窥镜图像中的图像像素的强度值的累积值的比率而获得的数据作为指标,该指标指示了对于在所上所述的归一化光谱(将Kn乘以每个图像像素的强度值)中500nm波长附近的强度值的情况下,具有病变部分的可能性较高的区域的位置。在该实施方案中,通过用第二峰值附近的强度值去除图像像素的强度值的累积值而获得的数据用作指示具有病变部分的可能性较高的区域的位置的指标。也即,基于光谱图像,通过根据以下表达式(2)进行计算,从坐标(x,y)的图像像素的强度值OI(x,y,λ)获得坐标(x,y)的指标Oo(x,y)。
表达式(2)
与表达式(1)相同,在上述表达式(2)中,λi是光谱中的每个中心波长,并采用λ1=400nm、λ2=405nm、…、λ81=800nm中的一个值。“ma”和“mb”是满足ma≤mb的自然数,并且适当地选择“ma”和“mb”以使波段λma到λmb被包含在第二峰值附近的波段中。M是适当定义的系数,以使Oo(x,y)落在适当的范围(例如,从0到1的范围)之内(也即,以使Oo(x,y)的最大值成为适当的值)。如上所述,因为从表达式(2)获得的Oo(x,y)是通过用第二峰值附近的强度值去除内窥镜图像的图像像素的强度的累积值而定义的值,因此具有从表达式(2)获得的较大Oo(x,y)的坐标(x,y)被假定为具有病变部分的可能性较高的区域。
下面,对通过根据实施方案的诊断系统1生成指标图的流程进行说明。图4为说明根据实施方案的由图像处理单元500执行的用于生成指标图并在图像显示装置300上显示指标图的程序的流程图。该程序在图像处理单元500上电时得以执行。
当程序启动时,执行步骤S1。在步骤S1中,图像处理单元500显示(图像显示装置300)请求输入待与用于生成指标图的强度值的累积值(表达式(2)右侧的分子)相比较的下限为λma和上限为λmb的波段的消息,并接受λma和λmb的输入。当通过图像处理单元500的输入单元(未示出)(例如键盘)输入λma和λmb时,流程继续到步骤S2。
在步骤S2中,图像处理单元500传输用于控制滤光器控制单元420的控制信号以获得光谱图像。当接收到控制信号时,滤光器控制单元420控制光谱滤光器410的旋转角度,以便依次选择400、405、410、…、800nm的窄带(带宽约为5nm)光。图像处理单元500拍摄在每个波长获得的光谱图像并且将该光谱图像存储在暂时存储器520中。然后,该流程继续到步骤S3。
在步骤S3中,从步骤S2中获得的光谱图像中提取具有中心波长为435nm、545nm和700nm的三个图像,并且生成一段彩色图像数据,其中中心波长为435nm的图像被存储在蓝色平面中,中心波长为545nm的图像被存储在绿色平面中,并且中心波长为700nm的图像被存储在红色平面中。如上所述,彩色图像数据从435nm的蓝色波长的光谱图像、545nm的绿色波长的光谱图像和700nm的红色波长的光谱图像获得,并且该彩色图像数据为等效于用于正常观测的内窥镜图像的彩色图像。然后,图像处理单元500将生成的彩色图像数据传输到视频存储器540,并且在图像显示装置300的屏幕的左侧显示该彩色图像。
在步骤S4中,通过在步骤S2和S3的执行期间对图像处理单元500的输入单元的应用来检查指定指标图的生成的触发输入是否发生。当该触发输入未发生(S4:否),流程继续到步骤S2以再次获得光谱图像。也即,除非发生触发输入,从光谱图像获得的彩色图像得以持续地更新并且连续显示在图像显示单元300上。另一方面,当在执行步骤S2和S3期间发生触发输入(S4:是),流程继续到步骤S5。
在步骤S5中,从在步骤S1输入的λma和λmb和在步骤S2获得的光谱图像,应用表达式(2)生成指标。然后,流程继续到步骤S6。
在步骤S6中,以图形方式显示在步骤S5生成的指标的指标图被显示在图像显示装置300的屏幕的右侧。因此,在图像显示装置300的屏幕上,内窥镜图像的彩色图像和指标图并排布置。因此,通过在彩色图像和指标图之间进行比较,诊断系统1的用户能够判断彩色图像中的哪些区域是病变部分。然后,流程继续到步骤S7。
在步骤S7中,图像处理单元500显示询问是否要在图像显示装置300上再次生成指标图的消息,并且通过输入单元接收输入。当诊断系统1的用户通过操作输入单元来选择再次生成指标图时(S7:是),流程返回到步骤S1。另一方面,当在预定的时间段内(例如若干秒)没有做出再次生成指标图的输入(S7:否)时,流程继续到步骤S8。
在步骤S8中,图像处理单元500显示询问是否要在图像显示装置300上终止指标图的显示的消息,并且通过输入单元接收输入。当诊断系统1的用户通过操作输入单元来选择终止指标图的显示(S8:是),程序终止。另一方面,当在预定的时间段内(例如若干秒)没有做出用于显示指标图的输入时(S8:否),流程继续到步骤S7。
如上所述,通过经由图像处理单元500来执行由图4中的流程图所示的程序,被作为参考以用于估计病变部分的位置的指标图连同内窥镜图像的彩色图像一起显示在图像显示装置300上。
如上所述,在该实施方案中,诊断系统1的用户的手动输入波段(λma、λmb)作为对病变部分的标记。然而,本发明并不限于上述构造。作为对病变部分的标记的波段可以被设置为固定值(例如,480nm到520nm,或500nm)。
在该实施方案中,从不同波长的光谱图像获得图像像素的强度值的累积值和在第二峰值附近的强度值,并且被用作对具有病变部分的可能性较高的区域的位置进行指示的指标。然而,本发明并不限于这样的构造。表达式(2)的分子(也即,图像像素的强度值的累积值)不需要特定波长的光谱图像的数据,并且可以通过应用某种类型的单色图像的强度信息做出计算。因此,代替用于获得图像像素的强度值的累积值的处理,在撤消光谱滤光器140之后可以通过白光获得图像像素的强度值。如果摄像器件141在其前侧具有颜色滤光器,可以布置R(红色)-GY(灰色)-G(绿色)-B(蓝色)拜耳阵列的颜色滤光器以代替典型的R(红色)-G(绿色)-G(绿色)-B(蓝色)拜耳阵列,并且在撤消光谱滤光器140之后,可以应用通过GY(灰色)滤光器获得的强度信息。应用该构造,由于不需要获得不同波长的光谱图像的图像像素的强度值的累积值,因此可以简单并高速地执行表达式(2)的计算处理。
实例
下面,显示了应用根据该实施方案的诊断系统1的胃黏膜的诊断的实例。图5为通过映射经由根据实施方案的诊断系统1,由对内窥镜图像的光谱图像进行处理而获得的指标Oo(x,y)而定义的指标图。应当注意,为获得指标Oo(x,y),上述表达式(2)的λma和λmb设置为500nm。
如图5所示,在该实例中,指标图表示为等值线图,并且具有高指标Oo(x,y)的区域(也即,具有病变部分的可能性较高的区域)表示为低密度(也即,更白)并且将在等值线图中处于更高的位置。因此,可以从指标图估计病变部分的位置。
在该实例中,指标图表示为等值线图;然而,本发明并不限于上述构造。例如,病变部分的位置可以通过层次(也即,每个坐标(x,y)的强度正比于Oo(x,y)的指标图)来简单表示,或者在显示在图像显示装置300上的彩色图像上,在Oo(x,y)超过预定阈值的区域,标记(例如框)可以进行叠加,而不应用指标图。
Claims (4)
1.一种诊断系统,包括:
光谱图像拍摄装置,所述光谱图像拍摄装置在体腔中利用由活组织反射的光来拍摄光谱图像,并且获得在预定波长范围之内的光谱图像数据;
图像处理装置,所述图像处理装置获得所述光谱图像数据,同时转换在预定波长范围之内的窄带光的波长,并从所述光谱图像数据计算对具有病变部分的可能性高的区域进行指示的指标;以及
监视器,在所述监视器上显示所述指标,
输入装置,所述输入装置接收来自用户的输入,
其中,对于所述光谱图像中的每个坐标,所述图像处理装置计算在所述预定波长范围中的所有光谱图像的强度值的累积值与在特定波长范围内特定波段中的光谱图像的强度值的累积值之间的比率,作为所述指标,
其中,基于来自用户的输入,所述输入装置将特定波段设置在480nm到520nm的范围内,
其中所述光谱图像拍摄装置以5nm的间隔持续地转换窄带光的波长。
2.根据权利要求1所述的诊断系统,
其中,操作所述图像处理装置以在监视器上显示指标图,所述指标图为所述指标的图形表示。
3.根据权利要求2所述的诊断系统,
其中:
通过结合所述光谱图像数据的蓝色、绿色和红色波段的数据,所述图像处理装置生成彩色图像数据;以及
所述彩色图像数据和所述指标图并排布置,并显示在所述监视器上。
4.根据权利要求1至3的任一项所述的诊断系统,其中所述预定波长范围为400nm到800nm。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010227295A JP5737899B2 (ja) | 2010-10-07 | 2010-10-07 | 診断システム |
JP2010-227295 | 2010-10-07 | ||
PCT/JP2011/070216 WO2012046530A1 (ja) | 2010-10-07 | 2011-09-06 | 診断システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103167822A CN103167822A (zh) | 2013-06-19 |
CN103167822B true CN103167822B (zh) | 2016-09-07 |
Family
ID=45927527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180048357.1A Active CN103167822B (zh) | 2010-10-07 | 2011-09-06 | 诊断系统 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9468381B2 (zh) |
JP (1) | JP5737899B2 (zh) |
CN (1) | CN103167822B (zh) |
DE (1) | DE112011103387B4 (zh) |
GB (1) | GB2498491B (zh) |
WO (1) | WO2012046530A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9183427B2 (en) | 2011-09-29 | 2015-11-10 | Hoya Corporation | Diagnostic system |
JP6257926B2 (ja) * | 2013-05-31 | 2018-01-10 | Hoya株式会社 | 波長可変光バンドパスフィルタモジュール、波長可変光源装置及び分光内視鏡装置 |
WO2016185733A1 (ja) | 2015-05-21 | 2016-11-24 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
EP3533382A4 (en) | 2016-10-27 | 2019-12-04 | Fujifilm Corporation | ENDOSCOPIC SYSTEM |
JP6968357B2 (ja) * | 2017-03-24 | 2021-11-17 | 株式会社Screenホールディングス | 画像取得方法および画像取得装置 |
JP6960773B2 (ja) * | 2017-05-26 | 2021-11-05 | 池上通信機株式会社 | 撮像画像処理システム |
KR102393661B1 (ko) * | 2017-12-22 | 2022-05-02 | 한국전기연구원 | 다중 영상 내시경 시스템, 그 영상 제공 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101188965A (zh) * | 2005-06-08 | 2008-05-28 | 奥林巴斯医疗株式会社 | 内窥镜装置和图像处理装置 |
CN101461706A (zh) * | 2007-12-19 | 2009-06-24 | 坎通斯比特阿劳股份有限公司 | 用于分析和处理荧光图像的方法 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5042494A (en) * | 1985-11-13 | 1991-08-27 | Alfano Robert R | Method and apparatus for detecting cancerous tissue using luminescence excitation spectra |
US5078150A (en) * | 1988-05-02 | 1992-01-07 | Olympus Optical Co., Ltd. | Spectral diagnosing apparatus with endoscope |
US5467767A (en) * | 1991-11-25 | 1995-11-21 | Alfano; Robert R. | Method for determining if tissue is malignant as opposed to non-malignant using time-resolved fluorescence spectroscopy |
JP2002500907A (ja) * | 1998-01-26 | 2002-01-15 | マサチユセツツ・インスチチユート・オブ・テクノロジイ | 蛍光画像化用内視鏡 |
JP2001070229A (ja) * | 1999-07-02 | 2001-03-21 | Asahi Optical Co Ltd | 内視鏡装置 |
JP3881142B2 (ja) * | 1999-11-02 | 2007-02-14 | 富士フイルムホールディングス株式会社 | 蛍光表示方法および装置 |
EP1097670B1 (en) | 1999-11-02 | 2010-10-27 | FUJIFILM Corporation | Apparatus for displaying fluorescence information |
US20020138008A1 (en) | 2000-01-13 | 2002-09-26 | Kazuhiro Tsujita | Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images |
JP4298151B2 (ja) * | 2000-01-13 | 2009-07-15 | 富士フイルム株式会社 | 蛍光画像表示方法および装置 |
US7123756B2 (en) * | 2001-04-27 | 2006-10-17 | Fuji Photo Film Co., Ltd. | Method and apparatus for standardized fluorescence image generation |
JP4202671B2 (ja) * | 2001-04-27 | 2008-12-24 | 富士フイルム株式会社 | 規格化画像生成方法および装置 |
JP2003000528A (ja) | 2001-06-27 | 2003-01-07 | Fuji Photo Film Co Ltd | 蛍光診断画像生成方法および装置 |
JP4311607B2 (ja) * | 2002-05-27 | 2009-08-12 | 富士フイルム株式会社 | 蛍光診断情報生成方法および装置 |
US20040064053A1 (en) * | 2002-09-30 | 2004-04-01 | Chang Sung K. | Diagnostic fluorescence and reflectance |
JP4199510B2 (ja) | 2002-09-30 | 2008-12-17 | Hoya株式会社 | 診断補助用装置 |
JP4373726B2 (ja) | 2003-07-23 | 2009-11-25 | Hoya株式会社 | 自家蛍光観察装置 |
JP4225864B2 (ja) * | 2003-08-22 | 2009-02-18 | オリンパス株式会社 | 内視鏡装置 |
DE102004016435B4 (de) * | 2004-03-31 | 2009-05-28 | Imedos Gmbh | Verfahren zur spektralphotometrischen Ermittlung der Sauerstoffsättigung des Blutes in optisch zugänglichen Blutgefäßen |
JP4744279B2 (ja) * | 2005-11-24 | 2011-08-10 | オリンパスメディカルシステムズ株式会社 | 電子内視鏡装置 |
JP4727374B2 (ja) * | 2005-09-30 | 2011-07-20 | 富士フイルム株式会社 | 電子内視鏡装置 |
JP2007135989A (ja) | 2005-11-21 | 2007-06-07 | Olympus Corp | 分光内視鏡 |
JP2009039280A (ja) * | 2007-08-08 | 2009-02-26 | Arata Satori | 内視鏡システム及び内視鏡システムを用いた被写体の検出方法 |
JP4575474B2 (ja) * | 2008-06-11 | 2010-11-04 | 国立大学法人東京工業大学 | 生体組織識別装置および方法 |
JP5117353B2 (ja) * | 2008-11-07 | 2013-01-16 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
CN102595996B (zh) | 2009-10-29 | 2015-11-25 | Hoya株式会社 | 辅助诊断仪 |
-
2010
- 2010-10-07 JP JP2010227295A patent/JP5737899B2/ja active Active
-
2011
- 2011-09-06 WO PCT/JP2011/070216 patent/WO2012046530A1/ja active Application Filing
- 2011-09-06 GB GB1308158.3A patent/GB2498491B/en active Active
- 2011-09-06 DE DE112011103387.7T patent/DE112011103387B4/de active Active
- 2011-09-06 CN CN201180048357.1A patent/CN103167822B/zh active Active
- 2011-09-06 US US13/877,979 patent/US9468381B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101188965A (zh) * | 2005-06-08 | 2008-05-28 | 奥林巴斯医疗株式会社 | 内窥镜装置和图像处理装置 |
CN101461706A (zh) * | 2007-12-19 | 2009-06-24 | 坎通斯比特阿劳股份有限公司 | 用于分析和处理荧光图像的方法 |
Also Published As
Publication number | Publication date |
---|---|
GB201308158D0 (en) | 2013-06-12 |
GB2498491A (en) | 2013-07-17 |
JP2012080939A (ja) | 2012-04-26 |
WO2012046530A1 (ja) | 2012-04-12 |
DE112011103387T5 (de) | 2013-10-24 |
JP5737899B2 (ja) | 2015-06-17 |
CN103167822A (zh) | 2013-06-19 |
US20130197371A1 (en) | 2013-08-01 |
DE112011103387B4 (de) | 2017-03-09 |
US9468381B2 (en) | 2016-10-18 |
GB2498491B (en) | 2016-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103167822B (zh) | 诊断系统 | |
US11033175B2 (en) | Endoscope system and operation method therefor | |
US6821245B2 (en) | Compact fluorescence endoscopy video system | |
CN103826524B (zh) | 诊断系统 | |
US20120190922A1 (en) | Endoscope system | |
CN102727217B (zh) | 血液信息测量方法和设备 | |
EP2638843A1 (en) | Endoscope system, processor device thereof, and exposure control method | |
CN103732116B (zh) | 内窥镜系统、处理器设备和操作内窥镜系统的方法 | |
CN102894948A (zh) | 内窥镜系统及其控制方法 | |
JP7289296B2 (ja) | 画像処理装置、内視鏡システム及び画像処理装置の作動方法 | |
CN102753080B (zh) | 荧光内窥镜装置 | |
CN103476320A (zh) | 诊断系统 | |
CN104486983A (zh) | 电子内窥镜设备 | |
CN110087528B (zh) | 内窥镜系统以及图像显示装置 | |
JP2810718B2 (ja) | 内視鏡装置 | |
JP2021035549A (ja) | 内視鏡システム | |
US12020420B2 (en) | Endoscope system, method for activating endoscope system, and image processing apparatus | |
CN116269160A (zh) | 内窥镜系统、医用导管、图像处理方法及计算机存储介质 | |
CN113038868A (zh) | 医疗图像处理系统 | |
JP2013048646A (ja) | 診断システム | |
JP2001145599A (ja) | 内視鏡用画像処理方法及び内視鏡用画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Shinjuku, Shinjuku, Japan, 6, 1, 10, No. 1, Shinjuku, Tokyo, Japan Applicant after: HOYA Corporation Applicant after: Kyushu University Address before: Japan Tokyo Shinjuku fall two chome 7 No. 5 Applicant before: HOYA Corporation Applicant before: Kyushu University |
|
COR | Change of bibliographic data | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |