CN104010558B - 荧光观察装置、荧光观察方法以及荧光观察装置的工作方法 - Google Patents

荧光观察装置、荧光观察方法以及荧光观察装置的工作方法 Download PDF

Info

Publication number
CN104010558B
CN104010558B CN201280063656.7A CN201280063656A CN104010558B CN 104010558 B CN104010558 B CN 104010558B CN 201280063656 A CN201280063656 A CN 201280063656A CN 104010558 B CN104010558 B CN 104010558B
Authority
CN
China
Prior art keywords
fluorescence
region
monitoring apparatus
exclusion
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280063656.7A
Other languages
English (en)
Other versions
CN104010558A (zh
Inventor
志田裕美
石原康成
竹腰聪
久保圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN104010558A publication Critical patent/CN104010558A/zh
Application granted granted Critical
Publication of CN104010558B publication Critical patent/CN104010558B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

对从病变部产生的荧光与从病变部以外的部位产生的荧光进行区分，进行仅针对从病变部产生的荧光的观察。本发明提供一种荧光观察装置(1)，其具有：向被检体(A)照射激励光的光照射部(3、9)；荧光分布取得部(17、20)，其取得通过来自该光照射部(3、9)的激励光的照射而在被检体(A)中产生的荧光的强度分布；以及非对象区域排除部(16)，其将通过该荧光分布取得部(17、20)取得的荧光的强度分布中，排除由于在病变部内的浓度比其他部位低的特定活体成分而使特定波段的光谱发生了变化的区域排除。

Description

荧光观察装置、荧光观察方法以及荧光观察装置的工作方法
技术领域
本发明涉及荧光观察装置、荧光观察方法以及荧光观察装置的工作方法。
背景技术
以往，已知如下技术：在所取得的荧光图像中的像素的亮度值超过规定的级别的情况下，通过声音或标记等通知患部(例如，参照专利文献1)。
由此，能够进行基于荧光观察的病变部的提取和通知，防止漏掉病变部。
在先技术文献
专利文献
专利文献1：日本专利第4587811号公报
发明内容
发明要解决的课题
然而，在专利文献1的观察装置中，只要荧光图像的像素的亮度值超过规定的级别就会被检测到。因此，存在还将配置在癌的周围的例如肝脏等脏器检测出来的不良情况。即，荧光观察是如下进行的：在投放了特别聚集在癌这样的肿瘤部上的荧光药剂后，照射激励光，使荧光药剂产生荧光。此时，荧光药剂不仅在癌处，也在肝脏等进行代谢的较大脏器中聚集而同样地产生荧光。因而存在以下不良情况：即便肿瘤部产生荧光，来自该肿瘤部的荧光也被埋没于从肝脏等较大组织发出的荧光中，从而漏掉肿瘤部。
本发明就是鉴于上述情况而完成的，其目的在于提供荧光观察装置、荧光观察方法以及荧光观察装置的工作方法，能够将从病变部产生的荧光与从病变部以外的部位产生的荧光区分开，进行仅针对从病变部产生的荧光的观察。
解决课题的手段
为了达成上述目的，本发明提供以下的手段。
本发明的第1方式是荧光观察装置，其具有：光照射部，其向被检体照射激励光；荧光分布取得部，其取得通过来自该光照射部的所述激励光的照射而在所述被检体中产生的荧光的强度分布；以及非对象区域排除部，其在由该荧光分布取得部取得的荧光强度分布中，排除由于病变部内的浓度比其他部位低的特定活体成分而使特定波段的光谱发生了变化的区域。
根据本发明的第1方式，在从光照射部向被检体照射激励光后，存在于被检体内的荧光物质被激励而发出荧光。对于发出的荧光，通过荧光分布取得部取得其强度分布，由非对象区域排除部排除由于病变部内的浓度较低的特定活体成分而使特定波段的光谱发生了变化的区域。由此，能够取得去除了病变部以外发出荧光的区域后的荧光的强度分布。
作为病变部内浓度较低的特定的活体成分，例如可举出血红蛋白或β胡萝卜素、胶原蛋白或维生素等。在肝脏的情况下，由于存在大量毛细血管因而血红蛋白浓度较高。血红蛋白对600nm以下的波段具有吸收特性，因此从肝脏发出的荧光通过血红蛋白的吸收，在600nm以下的波段(特定波段)的强度大幅降低。因此，在非对象区域排除部中将包含600nm以下的波段的强度降低的像素的区域排除，由此，能够从荧光强度分布中将肝脏的区域排除，能够取得来自病变部的荧光分布的荧光强度分布。
本发明的第2方式是荧光观察装置，其具有：光照射部，其向被检体照射激励光和参照光；荧光图像取得部，其对通过来自该光照射部的所述激励光的照射而在所述被检体中产生的荧光进行拍摄，取得荧光图像；参照图像取得部，其对通过来自所述光照射部的所述参照光的照射而从所述被检体返回的返回光进行拍摄，取得参照图像；归一化荧光图像生成部，其将由所述荧光图像取得部取得的荧光图像除以由所述参照图像取得部取得的参照图像，从而生成归一化后的荧光图像；以及非对象区域排除部，其在由该归一化荧光图像生成部生成的归一化后的荧光图像中，排除由于病变部内的浓度比其他部位低的特定活体成分而使特定波段的光谱发生了变化的区域。
根据本发明的第2方式，将由荧光图像取得部取得的荧光图像除以由参照图像取得部取得的参照图像。由此，将基于从光照射部到被检体的距离、角度的差的荧光强度的变动归一化，能够获得客观性更高的荧光强度分布。
在上述第1和第2方式中，还可以具有：提取部，其在由所述非对象区域排除部排除的区域以外的区域内，提取具有规定的阈值以上的荧光强度的特定区域；以及显示部，其重叠显示由该提取部提取出的特定区域和由参照图像取得部取得的参照图像。这种情况下，在第1方式中，所述光照射部向被检体照射激励光和参照光，还具有参照图像取得部，该参照图像取得部对通过来自所述光照射部的所述参照光的照射而从所述被检体返回的返回光进行拍摄，取得参照图像。
由此，通过提取部从产生荧光的区域去除病变部以外的区域，并且提取具有规定的阈值以上的荧光强度的特定区域。将所提取出的特定区域在显示部中与参照图像重叠显示。由此，在通过参照图像表示的被检体的形态的特征中，能够明确病变部的位置。
在上述第1和第2方式中，还可以具有判定部，该判定部判定在通过所述非对象区域排除部排除的区域以外的区域中是否存在具有规定的阈值以上的荧光强度的特定区域。
由此，判定部能够判定有无特定区域，判定病变部的存在。
在具有上述判定部的结构中，还可以具有通知部，在由所述判定部判定为存在所述特定区域的情况下，或者由所述判定部判定为不存在所述特定区域的情况下，该通知部通知该情况。
由此，通过通知部通知存在特定区域或不存在特定区域的情况，观察者能够容易地识别是否存在病变部。
上述第1和第2方式中，也可以是，所述荧光分布取得部或所述荧光图像取得部具有将多个像素呈矩阵状排列而成的摄像元件，具有区域设定部，在针对该摄像元件的间隔1列以上或间隔1行以上的各像素，排除由于病变部内的浓度比其他部位低的特定活体成分而使特定波段的光谱发生了变化的区域，并在所排除的区域以外的区域内提取出具有规定的阈值以上的荧光强度的像素后，该区域设定部设定包含所提取出的像素及其周围的多个像素的小区域，所述非对象区域排除部针对由所述区域设定部设定的全部所述小区域，排除由于病变部内的浓度比其他部位低的特定活体成分而使特定波段的光谱发生了变化的区域，所述提取部针对全部所述小区域提取所述特定区域。
由此，并非针对所有的像素进行特定区域的提取，而是针对每个小区域进行特定区域的提取，因此能够缩短提取所需时间，迅速进行显示。
本发明的第3方式是荧光观察方法，其包含以下步骤：照射步骤，向被检体照射激励光；取得步骤，对通过该照射步骤照射激励光而得到的荧光进行拍摄，取得荧光图像；排除步骤，在通过该取得步骤取得的荧光图像中，排除由于病变部内的浓度比其他部位低的特定活体成分而使特定波段的光谱发生了变化的区域；以及提取步骤，在通过该排除步骤排除的区域以外的区域内，提取具有规定的阈值以上的荧光强度的特定区域。
上述第3方式中，也可以是，在所述取得步骤中，通过将多个像素呈矩阵状排列而成的摄像元件取得所述荧光图像，具有设定步骤，在针对所述摄像元件的间隔1列以上或间隔1行以上的各像素，排除由于病变部内的浓度比其他部位低的特定活体成分而使特定波段的光谱发生了变化的区域，并在所排除的区域以外的区域内提取出具有规定的阈值以上的荧光强度的像素后，在该设定步骤中设定包含所提取出的像素及其周围的多个像素的小区域，在所述排除步骤中，针对由通过所述设定步骤设定的全部小区域，排除由于病变部内的浓度比其他部位低的特定活体成分而使特定波段的光谱发生了变化的区域。
本发明的第4发明是荧光观察装置的工作方法，其通过所述荧光观察装置执行如下步骤：取得步骤，对通过该照射步骤照射激励光而得到的荧光进行拍摄，取得荧光图像；排除步骤，在通过该取得步骤取得的荧光图像中，排除由于病变部内的浓度比其他部位低的特定活体成分而使特定波段的光谱发生了变化的区域；以及提取步骤，在通过该排除步骤排除的区域以外的区域内，提取具有规定的阈值以上的荧光强度的特定区域。
上述第4方式中，也可以是，在所述取得步骤中，通过将多个像素呈矩阵状排列而成的摄像元件取得所述荧光图像，具有设定步骤，在针对所述摄像元件的间隔1列以上或间隔1行以上的各像素，排除由于病变部内的浓度比其他部位低的特定活体成分而使特定波段的光谱发生了变化的区域，并在所排除的区域以外的区域内提取出具有规定的阈值以上的荧光强度的像素后，在该设定步骤中设定包含所提取出的像素及其周围的多个像素的小区域，在所述排除步骤中，针对由通过所述设定步骤设定的全部小区域，排除由于病变部内的浓度比其他部位低的特定活体成分而使特定波段的光谱发生了变化的区域。
发明的效果
根据本发明，可获得如下效果：能够对从病变部产生的荧光与从病变部以外的部位产生的荧光进行区分，进行仅对于从病变部产生的荧光的观察。
附图说明
图1是表示本发明的第1实施方式的荧光观察装置的整体结构图。
图2是说明图1的荧光观察装置的处理的流程图。
图3是表示图1的荧光观察装置的激励光和产生的荧光的波长特性、荧光滤光器的透射率特性和血红蛋白的吸收特性的曲线图。
图4是表示图1的荧光观察装置取得的荧光图像、高亮度图像、白色光图像和合成图像的一例的图。
图5是表示本发明的第2实施方式的荧光观察装置的整体结构图。
图6是说明图5的荧光观察装置的处理的流程图。
图7是表示图5的荧光观察装置的激励光和产生的荧光的波长特性、荧光滤光器的透射率特性、血红蛋白的吸收特性以及彩色CCD的波长特性的曲线图。
图8是表示本发明的第3的实施方式的荧光观察装置的整体结构图。
图9是说明图8的荧光观察装置的处理的流程图。
图10A是说明图8的荧光观察装置的区域设定部的高亮度像素的检测处理的图。
图10B是说明图8的荧光观察装置的区域设定部的小区域的设定处理的图。
图11是表示图1的荧光观察装置的第1变形例的整体结构图。
图12是表示图1的荧光观察装置的第2变形例的整体结构图。
图13是表示图1的荧光观察装置的第3变形例的整体结构图。
图14是表示图1的荧光观察装置的第4变形例的整体结构图。
图15是表示图1的荧光观察装置的第5变形例的整体结构图。
具体实施方式
以下参照附图说明本发明的第1实施方式的荧光观察装置1。
首先，本实施方式的荧光观察装置1为内窥镜，如图1所示，具有插入活体内的插入部2、与该插入部2连接的光源部3和图像处理部4、显示通过该图像处理部4生成的图像的监视器(显示部)5。
光源部(光照射部)3具有：射出宽波段的白色光的氙灯6；选择从该氙灯6发出的白色光或从该白色光切出的规定的波段(400nm到500nm)的激励光中的任意一方的滤光器部7；使由该滤光器部7选择的白色光或激励光会聚并射入插入部2的聚光透镜8。滤光器部7例如是将在从400nm到500nm范围内具有高透射率的激励滤光器7a与空孔7b交替地配置于氙灯6的光轴上的转台，使白色光与激励光分时地交替射入插入部2。
插入部2具有使来自光源部3的光从前端朝被检体A射出的照明光学系统(光照射部)9、以及对来自被检体A的返回光进行拍摄的摄影光学系统10。
照明光学系统9具有：光导线缆11，其沿着插入部2的长度方向配置，将来自光源部3的光引导至插入部2的前端；照明透镜12，其使通过该光导线缆11引导来的光扩散并向被检体A照射。
摄影光学系统10具有使来自被检体A的返回光会聚的物镜13、将由该物镜13会聚的返回光分支为2部分的分离器14、对由该分离器14分支出的返回光的一方进行拍摄的彩色CCD(参照光图像取得部)15、使另一方射入的荧光滤光器(非对象区域排除部)16、对透射过该荧光滤光器16的荧光进行拍摄的单色CCD(荧光分布取得部、荧光图像取得部)17。图中，符号18为聚光透镜。
分离器14例如将通过物镜13会聚的返回光中的90％向单色CCD17侧分支，将剩余的10％向彩色CCD15侧分支。
在本实施方式中，如图3所示，荧光滤光器16具有使550nm±10nm的波段的光通过、且遮断其他波段的光的透射率特性。
图像处理部4具有：白色光图像生成部(参照光图像取得部)19，其根据通过彩色CCD15取得的白色光图像信息生成白色光图像(参照图像)；荧光图像生成部(荧光分布取得部、荧光图像取得部)20，其根据通过单色CCD17取得的荧光图像信息生成荧光图像；高亮度像素提取部(提取部、判定部)21，其从通过荧光图像生成部20生成的荧光图像中，提取具有超过规定的阈值的亮度值的像素；以及图像合成部22，其在由白色光图像生成部19生成的白色光图像上合成由高亮度像素提取部21提取出的像素的荧光图像。
此外，图像处理部4中设有定时控制部23，对滤光器部7和2个CCD15、17同步地进行控制。即，定时控制部23与将滤光器部7设定为空孔7b的定时同步地进行基于彩色CCD15的拍摄，与将滤光器部7设定为激励滤光器7a的定时同步地进行基于单色CCD17的拍摄。
以下说明如上构成的本实施方式的荧光观察装置1的作用。
使用本实施方式的荧光观察装置1，进行前列腺等脏器的观察时，如图2所示，使光源部3工作，将分时地产生的白色光与激励光交替提供到插入部2(步骤S1)。射入到插入部2的白色光和激励光经由照明光学系统9的光导线缆11被引导至插入部2的前端，通过照明透镜12扩散并向被检体A照射。
在被检体A的表面反射并返回的反射光和被检体A内的荧光物质被激励光激励而产生的荧光作为返回光而被物镜13会聚，并被分离器14分支，分别通过聚光透镜18会聚、通过彩色CCD15和单色CCD17拍摄。
由彩色CCD15取得的白色光图像信息被输入到白色光图像生成部19，在此生成白色光图像。此外，由单色CCD17取得的荧光图像信息被输入到荧光图像生成部20，在此生成荧光图像(步骤S2)。
在这种情况下，如图4所示，白色光图像是通过对在被检体A的表面反射而返回的反射光进行拍摄得到的，因此成为表示被检体A的外表面的形态特征的图像。另一方面，荧光图像是在被检体A内存在荧光物质的部分产生的，因此通过预先提供特别聚集在癌等肿瘤上的荧光色素，成为在癌组织中亮度较高的图像。
然而，在肝脏那样的较多血液集中的脏器中，也会代谢特别聚集在癌组织上的荧光色素也会代谢而使该荧光色素残留于该处，当被照射激励光会发出荧光。
在本实施方式中，使通过分离器14而向单色CCD17侧分支的返回光射入荧光滤光器16，从而仅使550nm±10nm的波段的荧光通过荧光滤光器16并被单色CCD17拍摄。
该550nm±10nm的波段是产生基于血红蛋白的吸收的波段，因而在存在血液的情况下不会得到期望的荧光强度。因此，在荧光强度小于规定的阈值的情况下，能够判定为是来自癌组织以外的肝脏等脏器的荧光，在为规定的阈值以上的情况下，能够判定为是来自癌组织的荧光。
因此，在本实施方式中，图像处理部4内的高亮度像素提取部21针对通过荧光图像生成部20生成的荧光图像，依次选择像素(步骤S3)，判定是否具有超过规定的阈值的亮度值(步骤S4)，在超过阈值的情况下，作为高亮度像素而提取(步骤S5)。然后，判定是否对于所有像素进行了提取(步骤S6)，在对于所有的像素的提取结束的情况下，图像合成部22将所提取出的像素的荧光图像与白色光图像合成(步骤S7)。
由此，能够在表示观察范围的形态特征的白色光图像上重叠表示癌组织等的荧光图像而在监视器5中进行显示(步骤S8)。从该合成图像上去除了来自癌组织以外的脏器等的荧光，具有能够相对于肝脏等明确进行区分而明确示出癌组织位置的优点。
另外，在本实施方式中，设置荧光图像生成部20生成荧光图像，将该荧光图像中的由具有超过规定的阈值的强度的像素构成的荧光图像合成于白色光图像上，然而，也可以并非如此，而是不设置荧光图像生成部20，将从单色CCD17发送来的荧光信息依次与规定的阈值比较，构成由具有超过规定的阈值的强度的像素构成的区域。
接着，以下参照附图说明本发明的第2实施方式的荧光观察装置1’。
在本实施方式的荧光观察装置1’的说明中，对于结构上与上述第1实施方式的荧光观察装置1相同的部位赋予相同符号并省略说明。
如图5所示，本实施方式的荧光观察装置1’采用彩色CCD(荧光分布取得部、荧光图像取得部)30作为荧光拍摄用的摄像元件，并且如图7所示，采用具有550nm以上的透射频带的滤色器作为荧光滤光器31。彩色CCD30例如是所谓的拜尔方式，采用的是将分别配置有透射红色波段的光的1个滤光器、透射绿色波段的光的2个滤光器和透射蓝色波段的光的1个滤光器的2行2列的4个像素作为单位像素群而重复排列的结构。
此外，在本实施方式中，图像处理部4具有：高亮度像素提取部32，其在由荧光图像生成部20生成的荧光图像中提取所述各单位像素群中的绿色和红色的合计亮度值超过第1阈值SH1的高亮度像素；非对象区域排除部33，其在由该高亮度像素提取部32提取出的单位像素群中提取绿色的亮度值超过第2阈值SH2的像素。
根据如上构成的本实施方式的荧光观察装置1’，针对在被检体A中产生的荧光，通过荧光滤光器31遮断比550nm小的波段的光，通过彩色CCD30仅对550nm以上的波段的荧光进行拍摄。关于射入到彩色CCD30中的光，如图6所示，在高亮度像素提取部32中，在按照每个单位像素群计算出射入到具有绿色滤光器和红色滤光器的像素的光的合计强度之后，将该合计强度IGR与第1阈值SH1比较(步骤S41)。提取合计强度IGR超过第1阈值SH1的单位像素群作为高亮度像素(步骤S51)。
进而，在非对象区域排除部33中，将射入到在高亮度像素提取部32提取为高亮度像素的各单位像素群中的具有绿色滤光器的像素中的光的强度IG与第2阈值SH2比较(步骤S42)。绿色光的强度IG比第2阈值SH2小的区域即是产生基于血红蛋白的吸收的区域，能够判定为是癌组织以外的脏器等非对象区域，因而在非对象区域排除部33将该区域排除(步骤S52)。
这样，根据本实施方式的荧光观察装置1’，在被检体A中产生的荧光中的绿色和红色的波段的荧光的合计强度IGR比第1阈值SH1高的区域构成最终与白色光图像合成的高亮度区域，因此在观察微弱的荧光量的荧光观察时，具有能够降低噪声、进行高精度观察的优点。
另外，在本实施方式的荧光观察装置1’中，首先，将绿色和红色波段的荧光的合计强度IGR与第1阈值SH1比较，提取合计强度IGR比第1阈值SH1高的像素，接下来，从所提取出的像素中排除绿色波段的荧光的强度IG比第2阈值SH2低的像素。也可以并非如此，而是构成为，并行或者以任意的顺序进行将绿色和红色波段的荧光的合计强度IGR与第1阈值SH1比较的处理以及将绿色波段的荧光的强度IG与第2阈值SH2比较的处理，提取绿色和红色波段的荧光的合计强度IGR比第1阈值SH1高、并且绿色波段的荧光的强度IG比第2阈值SH2高的像素作为高亮度区域。
接着，参照附图说明本发明的第3实施方式的荧光观察装置1’’。
在本实施方式的说明中，对结构上与上述第1、第2实施方式的荧光观察装置1、1’相同的部位赋予相同符号并省略说明。
本实施方式的荧光观察装置1’’与第1、第2实施方式的荧光观察装置1、1’的不同之处在于，如图8所示，高亮度像素提取部在从由荧光图像生成部生成的荧光图像中提取高亮度的像素时，不对于呈矩阵状排列的所有像素进行提取。
本实施方式的荧光观察装置1’’具有设定作为高亮度像素的候选的小区域的区域设定部34，高亮度像素提取部32仅针对通过区域设定部34设定的作为候选的小区域进行高亮度的像素的提取。
更具体而言，如图9所示，区域设定部34进行以下处理：针对通过荧光图像生成部20生成的荧光图像，间隔2行进行高亮度的像素的提取(步骤S10)；设定以所提取的所有高亮度的像素为中心的、例如由7行7列的像素群构成的小区域(步骤S11)；对所设定的小区域进行与第1实施方式或第2实施方式同样的高亮度像素的提取(步骤S3至S6)。
这里，假设彩色CCD(摄像元件)30的像素间距约为3μm，希望提取的癌组织C的大小最小为4行4列的大小。因而，如图10A所示，当提取出一行的一个像素作为高亮度的像素(斜线所示的像素)时，即使该癌组织C为最小的大小，在以所提取的像素为中心的7行7列的像素群中也包含癌组织C。因此，如图10B所示，通过将该小区域(斜线所示的区域)设定为候选，能够不遗漏地检测到所有的癌组织C。
在步骤S10中，区域设定部34针对以构成彩色CCD30的2行2列的单位像素群P的行作为1行、间隔2行选择出的行的各单位像素群P，提取最初由荧光图像生成部20生成的荧光图像中的、所述各单位像素群P的绿色和红色的合计亮度超过第1阈值的高亮度像素，接下来，从所提取出的高亮度像素中排除绿色的亮度比第2阈值低的像素。
这样，如图10A中斜线所示，在提取出任意一个单位像素群P的情况下，如图10B中斜线所示，将以该单位像素群P为中心的7行7列的49个单位像素群P设定为提取对象的小区域。对间隔2行的各行的所有单位像素群P实施该作业。
由此，如图10B所示，提取出包含全部癌组织C的比该癌组织C大的小区域，因此对该小区域再次提取绿色和红色的合计亮度IGR超过第1阈值SH1的高亮度像素，接下来，从所提取的高亮度像素中，排除绿色的亮度IG比第2阈值SH2低的像素。
如上，根据本实施方式的荧光观察装置1’’，并非对全部像素进行是否为高亮度像素的判定，而是仅对已确认到癌组织C的存在的小区域进行高亮度像素的提取，因此能够减轻图像处理的负担，能够顺畅进行合成图像的实时显示。由此，能够提升观察便利性，提升癌组织的检测效率和精度。
尤其在初始的癌组织C的情况下，在拍摄范围内存在的癌组织C很微小，因而在对所有像素实施图像处理的情况下，浪费较多。对此，根据本实施方式，在间隔2行进行癌组织C的有无的判定之后，对于判定为存在癌组织C的区域详细进行高亮度像素的提取，因而浪费较少，能够实现处理的负担减轻。
另外，在本实施方式中，间隔2行进行高亮度像素的提取，然而也可以按照像素间距和希望检测的癌组织C等的大小，间隔任意的行数进行提取。此外，还可以并非间隔2行进行提取，而是间隔2列进行提取。
在上述各实施方式中，分时地将白色光和激励光向被检体A照射，同时生成作为参照图像的白色光图像和荧光图像，然而也可以并非如此，而是同时生成参照图像和荧光图像。
例如图11所示，光源部3具有从由氙灯6发出的白色光中切取激励光的激励滤光器7a以代替滤光器部7，图像处理部4中省略了定时控制部23。在该结构中，彩色CCD15对在被检体A的表面反射而返回的激励光的反射光进行拍摄。将通过彩色CCD15取得的反射光图像信息输入到代替白色光图像生成部19而设置的反射光图像生成部19’，在此生成反射光图像。
由于反射光图像是对在被检体A的表面反射而返回的反射光进行拍摄得到的，因此与白色光图像同样，成为表式被检体A的外表面的形态特征的图像。因此，即使这样取代白色光图像而使用激励光的反射光图像，也能获得与第1至第3实施方式相同的效果。此外，通过同时生成反射光图像和荧光图像，能够提升这些图像的帧率。
此外，在上述各实施方式中，在由荧光图像生成部20生成的荧光图像本身中提取高亮度像素，然而也可以并非如此，而是如图12所示，设置归一化图像生成部35，该归一化图像生成部35将由荧光图像生成部20生成的荧光图像除以由白色光图像生成部19生成的白色光图像，由此生成归一化荧光图像，在归一化荧光图像中提取高亮度像素。由此，将与插入部2相对于被检体A的距离、角度对应的荧光强度的变动归一化，能够根据客观性更高的荧光强度分布，精度良好地检测癌组织。
此外，在上述各实施方式中，如图13所示，还可以具有：由操作者操作的开关等输入部36；切换部37，其根据该输入部36的输入结果，切换是将荧光图像直接重叠于白色光图像上还是将从荧光图像中提取出的高亮度像素重叠于白色光图像上。
此外，也可以是，如图14所示，在根据观察条件在图像处理部4上拆装的插入部2上设置存储有示出该插入部2的种类的识别信息的IC芯片38，并且在图像处理部4侧设置与切换部37连接的IC读取器39，根据由IC读取器39读取的插入部2的识别信息，切换在白色光图像上重叠的荧光图像或高亮度像素。例如当安装了主要用于进行肝脏附近的观察的插入部2时，切换为重叠从荧光图像中提取的高亮度像素，在其他的情况下，切换为重叠荧光图像本身即可。
此外，以上将定时控制部23设置于了图像处理部4，但是，也可以并非如此，而是将将定时控制部23设置于光源部3。
此外，在上述各实施方式中，作为在癌组织等病变部中的浓度比其他部位低的特定的活体成分，举例示出了血液中包含的血红蛋白，但是，也可以使用β胡萝卜素、胶原蛋白或维生素等其他的活体成分来代替。
此外，如图15所示，还可以设置在所取得的荧光图像内存在高亮度像素的情况下通知该情况的通知部40。此外，在荧光图像内不存在高亮度像素的情况下，通知部40也可以通知该情况。通知部40可以通过图像、文字、声音等任意的方法进行通知。
此外，在上述各实施方式中，举例示出了CCD作为图像取得部，取而代之，也可以采用CMOS图像传感器或分光元件这样的其他任意的元件。
符号说明
A 被检体
1、1’、1’’ 荧光观察装置
3 光源部(光照射部)
5 监视器(显示部)
9 照明光学系统(光照射部)
15 彩色CCD(参照光图像取得部)
16 荧光滤光器(非对象区域排除部)
17 单色CCD(荧光分布取得部，荧光图像取得部)
19 白色光图像生成部(参照图像取得部)
20 荧光图像生成部(荧光分布取得部，荧光图像取得部)
21 高亮度像素提取部(判定部，提取部)
30 彩色CCD(荧光分布取得部，荧光图像取得部，摄像元件)
33 非对象区域排除部
34 区域设定部
35 归一化图像生成部(归一化荧光图像生成部)
40 通知部

Claims (12)

1.一种荧光观察装置，其具有：
光照射部，其向被检体照射激励光；
非对象区域排除部，其排除病变部内的浓度比病变部以外的部位的浓度低的特定活体成分的具有吸收特性的波段的荧光强度降低的区域；
荧光分布取得部，其取得通过来自该光照射部的所述激励光的照射而在所述被检体中产生的荧光的强度分布；以及
提取部，其在由该荧光分布取得部取得的荧光强度分布中，在由所述非对象区域排除部排除的区域以外的区域内，提取具有规定的阈值以上的荧光强度的特定区域。
2.根据权利要求1所述的荧光观察装置，其中，
所述光照射部向被检体照射激励光和参照光，
所述荧光观察装置具有：
参照图像取得部，其对通过来自所述光照射部的所述参照光的照射而从所述被检体返回的返回光进行拍摄，取得参照图像；以及
显示部，其重叠显示由该提取部提取出的特定区域和由所述参照图像取得部取得的所述参照图像。
3.根据权利要求2所述的荧光观察装置，其中，
所述荧光分布取得部具有将多个像素呈矩阵状排列而成的摄像元件，
所述荧光观察装置具有区域设定部，在针对该摄像元件的间隔1列以上或间隔1行以上的各像素，排除病变部内的浓度比病变部以外的部位的浓度低的特定活体成分的具有吸收特性的波段的荧光强度降低的区域，并在所排除的区域以外的区域内提取出具有规定的阈值以上的荧光强度的像素后，该区域设定部设定包含所提取出的像素及其周围的多个像素的小区域，
所述非对象区域排除部针对由所述区域设定部设定的全部小区域，排除由于在病变部内的浓度比其他部位低的特定活体成分而使特定波段的光谱发生了变化的区域，
所述提取部针对全部所述小区域提取所述特定区域。
4.根据权利要求1或2所述的荧光观察装置，其中，
所述荧光观察装置具有判定部，该判定部判定在由所述非对象区域排除部排除的区域以外的区域内是否存在具有规定的阈值以上的荧光强度的特定区域。
5.根据权利要求4所述的荧光观察装置，其中，
所述荧光观察装置具有通知部，该通知部在通过所述判定部判定为存在所述特定区域的情况下通知该情况。
6.根据权利要求4所述的荧光观察装置，其中，
所述荧光观察装置具有通知部，该通知部在通过所述判定部判定为不存在所述特定区域的情况下通知该情况。
7.一种荧光观察装置，其具有：
光照射部，其向被检体照射激励光和参照光；
非对象区域排除部，其排除病变部内的浓度比病变部以外的部位的浓度低的特定活体成分的具有吸收特性的波段的荧光强度降低的区域；
荧光图像取得部，其对通过来自该光照射部的所述激励光的照射而在所述被检体中产生的荧光进行拍摄，取得荧光图像；
参照图像取得部，其对通过来自所述光照射部的所述参照光的照射而从所述被检体返回的返回光进行拍摄，取得参照图像；
归一化荧光图像生成部，其将由所述荧光图像取得部取得的荧光图像除以由所述参照图像取得部取得的参照图像，从而生成归一化后的荧光图像；以及
提取部，其在由该归一化荧光图像生成部生成的归一化后的荧光图像中，在由所述非对象区域排除部排除的区域以外的区域内，提取具有规定的阈值以上的荧光强度的特定区域。
8.根据权利要求7所述的荧光观察装置，其具有：
显示部，其重叠显示由该提取部提取出的特定区域和由所述参照图像取得部取得的所述参照图像。
9.根据权利要求8所述的荧光观察装置，其中，
所述荧光图像取得部具有将多个像素呈矩阵状排列而成的摄像元件，
所述荧光观察装置具有区域设定部，在针对该摄像元件的间隔1列以上或间隔1行以上的各像素，排除病变部内的浓度比病变部以外的部位的浓度低的特定活体成分的具有吸收特性的波段的荧光强度降低的区域，并在所排除的区域以外的区域内提取出具有规定的阈值以上的荧光强度的像素后，该区域设定部设定包含所提取出的像素及其周围的多个像素的小区域，
所述非对象区域排除部针对由所述区域设定部设定的全部小区域，排除由于病变部内的浓度比其他部位低的特定活体成分而使特定波段的光谱发生了变化的区域，
所述提取部针对全部所述小区域提取所述特定区域。
10.根据权利要求7或8所述的荧光观察装置，其中，
所述荧光观察装置具有判定部，该判定部判定在由所述非对象区域排除部排除的区域以外的区域内是否存在具有规定的阈值以上的荧光强度的特定区域。
11.根据权利要求10所述的荧光观察装置，其中，
所述荧光观察装置具有通知部，该通知部在通过所述判定部判定为存在所述特定区域的情况下通知该情况。
12.根据权利要求10所述的荧光观察装置，其中，
所述荧光观察装置具有通知部，该通知部在通过所述判定部判定为不存在所述特定区域的情况下通知该情况。
CN201280063656.7A 2011-12-28 2012-12-27 荧光观察装置、荧光观察方法以及荧光观察装置的工作方法 Expired - Fee Related CN104010558B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011289877 2011-12-28
JP2011-289877 2011-12-28
PCT/JP2012/083835 WO2013100030A1 (ja) 2011-12-28 2012-12-27 蛍光観察装置、蛍光観察方法および蛍光観察装置の作動方法

Publications (2)

Publication Number Publication Date
CN104010558A CN104010558A (zh) 2014-08-27
CN104010558B true CN104010558B (zh) 2017-03-01

Family

ID=48697509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280063656.7A Expired - Fee Related CN104010558B (zh) 2011-12-28 2012-12-27 荧光观察装置、荧光观察方法以及荧光观察装置的工作方法

Country Status (4)

Country Link
US (1) US9519967B2 (zh)
JP (1) JP6141196B2 (zh)
CN (1) CN104010558B (zh)
WO (1) WO2013100030A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561626B (zh) * 2011-06-03 2015-12-02 奥林巴斯株式会社 荧光观察装置和荧光观察方法
EP2724657B1 (en) * 2011-06-21 2015-08-05 Olympus Corporation Fluorescence observation system, and method fluorescence image processing
JP5926909B2 (ja) 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
CN104066367B (zh) 2012-01-31 2016-03-30 奥林巴斯株式会社 活体观察装置
MX2014010163A (es) 2012-02-23 2014-09-16 Smith & Nephew Inc Sistema de video endoscopico.
JP6030035B2 (ja) * 2013-09-27 2016-11-24 富士フイルム株式会社 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法
JPWO2015102057A1 (ja) * 2014-01-06 2017-03-23 富士通株式会社 画像処理方法、画像処理システム、およびプログラム
JP6473222B2 (ja) * 2015-03-04 2019-02-20 オリンパス株式会社 画像処理装置、生体観察装置および画像処理装置の制御方法
JP6451494B2 (ja) * 2015-05-19 2019-01-16 株式会社島津製作所 イメージング装置
US9952156B2 (en) * 2015-06-30 2018-04-24 The United States Of America As Represented By The Secretary Of The Navy Native fluorescence imaging direct push probe
JP6762703B2 (ja) * 2015-11-10 2020-09-30 京都府公立大学法人 腫瘍部位の判別のための方法、腫瘍部位の判別装置
JPWO2017199926A1 (ja) * 2016-05-17 2019-10-10 カイロス株式会社 内視鏡装置
CN106308731A (zh) * 2016-08-31 2017-01-11 北京数字精准医疗科技有限公司 一种内窥式多光谱激发成像系统
CN111133359B (zh) * 2017-09-29 2022-12-13 徕卡生物系统成像股份有限公司 二维和三维固定z扫描
JP7281308B2 (ja) 2019-03-07 2023-05-25 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
JP2021132695A (ja) * 2020-02-21 2021-09-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察システムおよび画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489446A (zh) * 2000-12-19 2004-04-14 ������ɽ���� 用于具有多个测量装置的同期荧光和反射测量的方法和设备
CN1520782A (zh) * 2003-02-11 2004-08-18 理查德・沃尔夫有限公司 组织的成像诊断设备
CN101584572A (zh) * 2008-05-22 2009-11-25 富士胶片株式会社 荧光图像获取方法及设备、荧光内窥镜和激发光装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5749830A (en) * 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
CA2318180A1 (en) * 1998-01-26 1999-07-29 Massachusetts Institute Of Technology Fluorescence imaging endoscope
US6343228B1 (en) * 1999-10-19 2002-01-29 The Hong Kong University Of Science And Technology Method and apparatus for fluorescence imaging of tissue
JP3862582B2 (ja) * 2001-06-29 2006-12-27 富士フイルムホールディングス株式会社 蛍光画像取得方法および装置並びにプログラム
US20050027166A1 (en) * 2003-06-17 2005-02-03 Shinya Matsumoto Endoscope system for fluorescent observation
JP4139276B2 (ja) * 2003-06-17 2008-08-27 オリンパス株式会社 電子内視鏡装置及び信号処理装置
JP2008521453A (ja) * 2004-11-25 2008-06-26 オプティスカン・ピーティーワイ・リミテッド エンドスコープ
JP4587811B2 (ja) * 2005-01-11 2010-11-24 オリンパス株式会社 蛍光観察内視鏡装置
JP5114003B2 (ja) * 2005-11-04 2013-01-09 オリンパス株式会社 蛍光内視鏡装置
US20060173358A1 (en) * 2005-01-11 2006-08-03 Olympus Corporation Fluorescence observation endoscope apparatus and fluorescence observation method
US7945077B2 (en) * 2005-11-30 2011-05-17 Lawrence Livermore National Security, Llc Hyperspectral microscope for in vivo imaging of microstructures and cells in tissues
CA2662893A1 (en) * 2006-09-06 2008-03-13 University Health Network Fluorescence quantification and image acquisition in highly turbid media
WO2008109414A2 (en) * 2007-03-02 2008-09-12 Wisconsin Alumni Research Foundation Use of endogenous fluorescence to identify invading metastatic breast tumor cells
JP2008229024A (ja) * 2007-03-20 2008-10-02 Olympus Corp 蛍光観察装置
JP5191329B2 (ja) * 2008-09-19 2013-05-08 富士フイルム株式会社 画像取得装置
JP5393215B2 (ja) * 2009-03-24 2014-01-22 オリンパス株式会社 蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法
JP5443802B2 (ja) * 2009-03-24 2014-03-19 オリンパス株式会社 蛍光観察装置
JP5572326B2 (ja) * 2009-03-26 2014-08-13 オリンパス株式会社 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP5449816B2 (ja) * 2009-03-26 2014-03-19 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
DE102009025662A1 (de) * 2009-06-17 2010-12-23 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Steuern einer mehrfarbigen Ausgabe eines Bilds eines medizinischen Objekts
JP2011104199A (ja) * 2009-11-19 2011-06-02 Fujifilm Corp 内視鏡装置
CN102753079B (zh) * 2010-02-10 2015-06-03 奥林巴斯株式会社 荧光内窥镜装置
CN102274000B (zh) * 2011-05-16 2014-06-11 易定容 窄带多光谱荧光阴道检查装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489446A (zh) * 2000-12-19 2004-04-14 ������ɽ���� 用于具有多个测量装置的同期荧光和反射测量的方法和设备
CN1520782A (zh) * 2003-02-11 2004-08-18 理查德・沃尔夫有限公司 组织的成像诊断设备
CN101584572A (zh) * 2008-05-22 2009-11-25 富士胶片株式会社 荧光图像获取方法及设备、荧光内窥镜和激发光装置

Also Published As

Publication number Publication date
JP6141196B2 (ja) 2017-06-07
US9519967B2 (en) 2016-12-13
CN104010558A (zh) 2014-08-27
JPWO2013100030A1 (ja) 2015-05-11
US20140301617A1 (en) 2014-10-09
WO2013100030A1 (ja) 2013-07-04

Similar Documents

Publication Publication Date Title
CN104010558B (zh) 荧光观察装置、荧光观察方法以及荧光观察装置的工作方法
US9517013B2 (en) Image processing apparatus, microscope system, endoscope system, and image processing method
US8547425B2 (en) Fluorescence observation apparatus and fluorescence observation method
CN107635451B (zh) 用于在可见和红外波长下进行同时成像的方法和装置
CN105231976B (zh) 具有由选择性照射光谱组成的背景手术图像的荧光成像的方法和系统
DE69938493T2 (de) Endoskop zur erfassung von fluoreszenzbilder
CN106901679B (zh) 荧光显微内窥成像系统及荧光显微内窥成像方法
JP6057921B2 (ja) 生体観察装置
CN103491850B (zh) 荧光观察装置及其图像显示方法
CN106901683A (zh) 一种荧光内窥成像系统
CN109310296A (zh) 内窥镜成像装置及方法
CN107708521A (zh) 图像处理装置、内窥镜系统、图像处理方法以及图像处理程序
EP2620092B1 (en) Fluorescence observation device
CN102753080B (zh) 荧光内窥镜装置
US10467747B2 (en) Image analysis apparatus, imaging system, surgery support system, image analysis method, storage medium, and detection system
JP2022189900A (ja) 画像処理装置、内視鏡システム及び画像処理装置の作動方法
CN107072643A (zh) 成像装置
EP3858215A1 (en) Fluorescent observation camera system
CN112566538A (zh) 内窥镜系统
CN103476320A (zh) 诊断系统
CN109640781A (zh) 内窥镜系统
US20170340273A1 (en) Image processing device, living-body observation device, and image processing method
JP2014212876A (ja) 腫瘍領域判別装置及び腫瘍領域判別方法
Raj et al. Enhanced vascular features in porcine gastrointestinal endoscopy using multispectral imaging
KR101325054B1 (ko) 형광 영상을 촬영하는 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151026

Address after: Tokyo, Japan, Japan

Applicant after: Olympus Corporation

Address before: Tokyo, Japan, Japan

Applicant before: Olympus Corporation

Applicant before: Olympus Medical Systems Corp.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170301

Termination date: 20181227

CF01 Termination of patent right due to non-payment of annual fee