CN103987309A - 内窥镜装置 - Google Patents

内窥镜装置 Download PDF

Info

Publication number
CN103987309A
CN103987309A CN201380004188.0A CN201380004188A CN103987309A CN 103987309 A CN103987309 A CN 103987309A CN 201380004188 A CN201380004188 A CN 201380004188A CN 103987309 A CN103987309 A CN 103987309A
Authority
CN
China
Prior art keywords
light
filter
composition
spectral distribution
endoscope apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380004188.0A
Other languages
English (en)
Other versions
CN103987309B (zh
Inventor
武井俊二
道口信行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Publication of CN103987309A publication Critical patent/CN103987309A/zh
Application granted granted Critical
Publication of CN103987309B publication Critical patent/CN103987309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F04POSITIVE - DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS FOR LIQUIDS OR ELASTIC FLUIDS
    • F04CROTARY-PISTON, OR OSCILLATING-PISTON, POSITIVE-DISPLACEMENT MACHINES FOR LIQUIDS; ROTARY-PISTON, OR OSCILLATING-PISTON, POSITIVE-DISPLACEMENT PUMPS
    • F04C2270/00Control; Monitoring or safety arrangements
    • F04C2270/04Force
    • F04C2270/041Controlled or regulated
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1006Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/102Beam splitting or combining systems for splitting or combining different wavelengths for generating a colour image from monochromatic image signal sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Vascular Medicine (AREA)
  • Endoscopes (AREA)

Abstract

内窥镜装置具有:摄像部,其以按照各颜色成分而不同的分光感光度接收伴随着对被摄体照射照明光而产生的包含多个波段成分的返回光并对其进行拍摄;校正处理部,其对摄像部拍摄所述返回光而得到的被摄体的图像中包含的各颜色成分的分光光谱分布实施校正处理;以及图像分离处理部,其根据校正处理的结果,进行按照返回光中包含的各波段成分来分离被摄体的图像的处理。

Description

内窥镜装置
技术领域
本发明涉及内窥镜装置,特别涉及对包含多个波段成分的光进行摄像的内窥镜装置。
背景技术
以往,医疗领域中的内窥镜装置用于被检者的体腔内的观察等用途。具体而言,医疗领域中的内窥镜装置例如构成为具有供给对体腔内的被观察部位进行照射的照明光的光源装置、对伴随着朝向体腔内的被观察部位照射照明光而产生的返回光进行摄像的内窥镜、以及根据被内窥镜摄像的返回光生成被观察部位的图像的图像处理装置。
并且,在具有所述结构的内窥镜装置中,多数采用面顺次式或同时式中的任意一种摄像方式。
具体而言,所述面顺次式的摄像方式例如可以通过如下结构来实现:利用在摄像面上未设置彩色滤镜的摄像元件,对通过对具有多个波段成分的照明光进行时间分割而得到的面顺次光照射到被观察部位时产生的返回光进行摄像。
并且,所述同时式的摄像方式例如可以通过如下结构来实现:利用在摄像面上设有以规定的排列配置了分别具有规定的分光感光度特性的多个微小滤镜而得到的彩色滤镜的摄像元件,对具有多个波段成分的照明光照射到被观察部位时产生的返回光进行摄像。
而且,例如在日本特开2008-036035号公报中公开了采用所述同时式的摄像方式而构成的内窥镜装置。
但是,所述彩色滤镜中包含的各滤镜一般构成为具有如下的分光感光度特性:不仅透射规定的颜色成分的光,还透射从可视域到近红外域的宽带光。
具体而言,例如,一般的拜尔排列的RGB彩色滤镜中包含的R滤镜构成为具有如下的分光感光度特性:不仅透射红色光,还透射蓝色光和绿色光的一部分。因此,在对透射过所述R滤镜的光进行摄像的情况下,不是生成红色的单色图像,而是生成包含红色和红色以外的其他颜色成分的混色图像。
即,在所述同时式的摄像方式中,存在如下课题:由于所述彩色滤镜中包含的各滤镜的分光感光度特性,无法将包含多个颜色成分的图像分离为相互独立的各波段成分的图像。
另一方面,根据日本特开2008-036035号公报,通过将照明光的波段限制为与所述彩色滤镜中包含的各滤镜的分光感光度特性对应的波段来进行照射,尝试解决所述课题。并且,除了这种限制照明光的波段来进行照射的方法以外,例如,通过进行将如上所述生成的混色图像分离为各波段成分独立的图像的图像处理,尝试解决所述课题。
但是,根据以上所述的现有方法,在所述彩色滤镜中包含的各滤镜的分光感光度特性与入射到所述彩色滤镜的返回光的波段组合的情况下,由于根据各颜色成分的信号而得到的波长信息不同,即使实施所述图像处理,也会产生无法适当地将如上所述那样生成的混色图像分离为各波段成分独立的图像的状况,即,所述课题中的至少一部分依然未解决。
本发明是鉴于所述情况而完成的,其目的在于,提供能够将通过同时式的摄像方式进行摄像而得到的包含多个颜色成分的图像适当分离为相互独立的各波段成分的图像的内窥镜装置。
发明内容
用于解决课题的手段
本发明的一个方式的内窥镜装置具有:摄像部,其以按照各颜色成分而不同的分光感光度接收伴随着对被摄体照射照明光而产生的包含多个波段成分的返回光并对其进行拍摄;校正处理部,其对所述摄像部拍摄所述返回光而得到的所述被摄体的图像中包含的各颜色成分的分光光谱分布实施校正处理;以及图像分离处理部,其根据所述校正处理的结果,进行按照所述返回光中包含的各波段成分来分离所述被摄体的图像的处理。
附图说明
图1是示出本发明的实施例的内窥镜装置的主要部分的结构的图。
图2是示出图1的内窥镜装置的彩色滤镜中设置的R滤镜、G滤镜和B滤镜的分光感光度特性的一例的图。
图3是示出归一化后的红色成分RD、绿色成分GD和蓝色成分BD的光谱分布的例子的图。
图4是示出使图3中的红色成分RD和绿色成分GD的光谱分布的形状与蓝色成分BD的光谱分布的形状一致的情况下的例子的图。
图5是示出使用不具有光谱分布校正功能的矩阵进行了图像分离的运算的情况下作为运算结果而得到的光谱分布的一例的图。
图6是示出使用具有光谱分布校正功能的矩阵进行了图像分离的运算的情况下作为运算结果而得到的光谱分布的一例的图。
图7是示出本发明的实施例的第1变形例的内窥镜装置的主要部分的结构的图。
图8是示出使用不具有光谱分布校正功能的矩阵进行了图像分离的运算的情况下作为运算结果而得到的光谱分布的、与图5不同的例子的图。
图9是示出使用具有光谱分布校正功能的矩阵进行了图像分离的运算的情况下作为运算结果而得到的光谱分布的、与图6不同的例子的图。
图10是示出本发明的实施例的第2变形例的内窥镜装置的主要部分的结构的图。
图11是示出图10的内窥镜装置的彩色滤镜中设置的R滤镜、G滤镜、B滤镜和Ye滤镜的分光感光度特性的一例的图。
图12是示出使用不具有光谱分布校正功能的矩阵进行了图像分离的运算的情况下作为运算结果而得到的光谱分布的、与图5和图8不同的例子的图。
图13是示出使用具有光谱分布校正功能的矩阵进行了图像分离的运算的情况下作为运算结果而得到的光谱分布的、与图6和图9不同的例子的图。
具体实施方式
下面,参照附图对本发明的实施方式进行说明。
图1~图6涉及本发明的实施例。图1是示出本发明的实施例的内窥镜装置的主要部分的结构的图。
如图1所示,内窥镜装置1具有:镜体2,其构成为能够插入到被检者的体腔内,并且,对存在于该体腔内的活体组织等被摄体进行摄像并取得图像数据;光源装置3,其构成为将朝向该被摄体射出的照明光供给到镜体2;处理器4,其构成为生成与镜体2所取得的图像数据对应的影像信号并输出;显示装置5,其构成为显示与从处理器4输出的影像信号对应的图像;以及具有作为信息输入部的功能的输入装置6,其能够对处理器4进行与用户操作对应的信息的输入等。并且,在镜体2的内部贯穿插入有光导7,该光导7构成为向镜体2的前端部传送从光源装置3供给的光。
镜体2例如构成为具有细长的插入部的内窥镜,在前端部具有对被摄体射出由光导7传送的照明光的照明光学系统21、对来自该照明光所照明的该被摄体的返回光进行成像的物镜光学系统22、摄像面配置在物镜光学系统22的成像位置的摄像元件23、安装在摄像元件23的摄像面上的彩色滤镜23a、配置在物镜光学系统22与彩色滤镜23a之间的光路上的滤镜切换装置24。
并且,镜体2具有:模式切换开关25,其能够进行内窥镜装置1的观察模式的切换指示;以及存储部26,其预先存储有处理器4的图像处理中使用的规定信息。
摄像元件23构成为,根据从处理器4输出的摄像元件驱动信号进行驱动,从而对被摄体进行摄像,生成与该摄像的被摄体对应的摄像信号,并将其输出到处理器4。
通过在与摄像元件23的各像素对应的位置以拜尔排列(方格状)配置分别具有规定的分光感光度特性(光学特性)的多个R(红)滤镜、G(绿)滤镜和B(蓝)滤镜,形成彩色滤镜23a。另外,在本实施例中,例如,将分别具有图2所示的分光感光度特性的R滤镜、G滤镜和B滤镜设置在彩色滤镜23a中。图2是示出图1的内窥镜装置的彩色滤镜中设置的R滤镜、G滤镜和B滤镜的分光感光度特性的一例的图。
彩色滤镜23a的R滤镜构成为具有如下的分光感光度特性(光学特性):从红色域到近红外域的透射率相对高于其他波段的透射率(参照图2)。即,彩色滤镜23a的R滤镜构成为,后述FL光的波段的透射率相对高于其他波段的透射率。
彩色滤镜23a的G滤镜构成为具有如下的分光感光度特性(光学特性):绿色域的透射率相对高于其他波段的透射率(参照图2)。即,彩色滤镜23a的G滤镜构成为,后述REF光的波段的透射率相对高于其他波段的透射率。
彩色滤镜23a的B滤镜构成为具有如下的分光感光度特性(光学特性):蓝色域的透射率相对高于其他波段的透射率(参照图2)。
滤镜切换装置24构成为,在根据从光源装置3输出的滤镜切换信号检测到内窥镜装置1被切换为白色光观察模式的情况下,进行使激励光截止滤镜24a从物镜光学系统22与彩色滤镜23a之间的光路上退避的动作。并且,滤镜切换装置24构成为,在使激励光截止滤镜24a从物镜光学系统22与彩色滤镜23a之间的光路上退避的情况下,向彩色滤镜23a侧透射经由物镜光学系统22入射的各波段的光。
另一方面,滤镜切换装置24构成为,在根据从光源装置3输出的滤镜切换信号检测到内窥镜装置1被切换为荧光观察模式的情况下,进行将激励光截止滤镜24a插入到物镜光学系统22与彩色滤镜23a之间的光路上的动作。
并且,滤镜切换装置24构成为,在将激励光截止滤镜24a插入到物镜光学系统22与彩色滤镜23a之间的光路上的情况下,向彩色滤镜23a侧仅透射经由物镜光学系统22入射的各波段的光中的与激励光截止滤镜24a的光学特性对应的规定波段的光。具体而言,激励光截止滤镜24a例如构成为具有如下的光学特性:遮断后述NBX光(NBX光的透射率大致被设定为0),并且,大致透射该NBX光以外的波段的光。
模式切换开关25构成为,能够进行用于将内窥镜装置1的观察模式切换为根据手术医生等的操作而从白色光观察模式和荧光观察模式中选择出的任意一个观察模式的指示。
在由非易失性存储器等构成的存储部26中预先存储有在用于取得后述矩阵MAUA的运算处理中使用的规定信息。并且,存储部26构成为,在检测到镜体2和处理器4已连接时,将规定信息输出到处理器4。另外,存储部26中存储的规定信息在后面进行详细说明。
光源装置3具有LED光源部31、LED驱动部32、使LED光源部31中发出的光会聚并将其供给到光导7的会聚光学系统33。
LED光源部31构成为具有发出宽带光即WB光的LED31a、发出窄带光即NBX光的LED31b、发出窄带光即NBR光的LED31c、光学元件31d、光学元件31e。
LED31a例如构成为具有白色LED,能够发出白色光作为WB光。
LED31b构成为能够发出包含荧光探针等规定的荧光物质的激励波长的波段的光作为NBX光。
LED31c构成为能够发出不与NBX光重复的波段的光作为NBR光。
光学元件31d例如由半透半反镜等构成,具有如下的光学特性:向光学元件31e侧透射从LED31a发出的WB光,并且向光学元件31e侧反射从LED31b发出的NBX光。
光学元件31e例如由半透半反镜等构成,具有如下的光学特性:向会聚光学系统33侧透射经由光学元件31d射出的WB光和NBX光,并且向会聚光学系统33侧反射从LED31c发出的NBR光。
LED驱动部32构成为,能够供给用于驱动LED光源部31中设置的各LED的驱动电流。并且,LED驱动部32构成为,根据从处理器4输出的调光信号改变从LED驱动部32供给到LED光源部31的驱动电流的大小,从而能够改变从LED光源部31的各LED发出的光(WB光、NBX光和NBR光)的强度(光量)。进而,LED驱动部32构成为,能够根据从处理器4输出的调光信号使LED光源部31中设置的各LED发光或消光。
处理器4具有预处理部41、A/D转换部42、图像处理部43、D/A转换部44、调光部45、模式切换控制部46、摄像元件驱动部47、滤镜切换控制部48。
预处理部41构成为对从镜体2输出的摄像信号实施信号放大和噪声去除等处理,将实施了该处理后的摄像信号输出到A/D转换部42和调光部45。
A/D转换部42构成为将从预处理部41输出的模拟摄像信号转换为数字图像数据并将其输出到图像处理部43。
图像处理部43构成为具有能够对从A/D转换部42输出的图像数据实施伽马校正和边缘强调等处理的功能。
另一方面,图像处理部43构成为具有光谱分布校正部43a和矩阵运算部43b。
具有作为校正处理部的功能的光谱分布校正部43a根据伴随着镜体2与处理器4的连接而从存储部26输出的规定信息进行后述处理,从而取得具有光谱分布校正功能的矩阵C。
具有作为图像分离处理部的功能的矩阵运算部43b根据伴随着镜体2与处理器4的连接而从存储部26输出的规定信息、以及光谱分布校正部43a取得的矩阵C进行后述处理,从而进行用于取得兼具光谱分布校正功能和图像分离功能的矩阵MAUA的运算处理。并且,矩阵运算部43b应用矩阵MAUA对荧光观察模式下输入到图像处理部43的图像数据进行运算,进而,进行将作为该运算结果而得到的各波段成分的图像数据分配给显示装置5的R通道、G通道和B通道的处理。另外,矩阵运算部43b的处理在后面进行详细说明。
而且,在根据从模式切换控制部46输出的模式切换信号检测到内窥镜装置1被切换为荧光观察模式的情况下,图像处理部43对通过矩阵运算部43b的处理而分配给显示装置5的R、G和B的各颜色通道的图像数据实施伽马校正和边缘强调等处理,将其输出到D/A转换部44。
另一方面,在根据从模式切换控制部46输出的模式切换信号检测到内窥镜装置1被切换为白色光观察模式的情况下,图像处理部43将从A/D转换部42输出的图像数据所包含的各颜色成分分配给显示装置5的R、G和B的各颜色通道,进而,对分配给各颜色通道的图像数据实施伽马校正和边缘强调等处理,将其输出到D/A转换部44。即,根据本实施例的图像处理部43,构成为在内窥镜装置1被切换为白色光观察模式的情况下,不进行使用了矩阵MAUA(基于矩阵运算部43b)的运算处理。
D/A转换部44构成为将从图像处理部43输出的图像数据转换为模拟影像信号并将其输出到显示装置5。
调光部45构成为输出与从预处理部41输出的摄像信号的明亮度对应的调光信号。具体而言,在根据从模式切换控制部46输出的模式切换信号和从预处理部41输出的摄像信号检测到内窥镜装置1被切换为白色光观察模式的情况下,调光部45将用于使LED31b和LED31c消光、并且使LED31a以适于白色光观察模式观察的强度发光的调光信号输出到LED驱动部32。并且,在根据从模式切换控制部46输出的模式切换信号和从预处理部41输出的摄像信号检测到内窥镜装置1被切换为荧光观察模式的情况下,调光部45将用于使LED31a消光、并且使LED31b和LED31c以适于荧光观察模式观察的强度同时发光的调光信号输出到LED驱动部32。
在检测到在模式切换开关25中进行了将内窥镜装置1的观察模式切换为白色光观察模式的指示的情况下,模式切换控制部46将用于进行与白色光观察模式对应的动作的模式切换信号输出到图像处理部43、调光部45、摄像元件驱动部47和滤镜切换控制部48的各部。并且,在检测到在模式切换开关25中进行了将内窥镜装置1的观察模式切换为荧光观察模式的指示的情况下,模式切换控制部46将用于进行与荧光观察模式对应的动作的模式切换信号输出到图像处理部43、调光部45、摄像元件驱动部47和滤镜切换控制部48的各部。
摄像元件驱动部47根据从模式切换控制部46输出的模式切换信号,将在与当前选择出的观察模式对应的定时进行摄像动作、并且使用与当前选择出的观察模式对应的增益生成摄像信号的摄像元件驱动信号输出到摄像元件23。
在根据从模式切换控制部46输出的模式切换信号检测到内窥镜装置1被切换为白色光观察模式的情况下,滤镜切换控制部48将用于进行动作以使得激励光截止滤镜24a从物镜光学系统22与彩色滤镜23a之间的光路上退避的滤镜切换信号输出到滤镜切换装置24。并且,在根据从模式切换控制部46输出的模式切换信号检测到内窥镜装置1被切换为荧光观察模式的情况下,滤镜切换控制部48将用于进行动作以使得激励光截止滤镜24a插入到物镜光学系统22与彩色滤镜23a之间的光路上的滤镜切换信号输出到滤镜切换装置24。
接着,对本实施例的内窥镜装置1的作用进行说明。
手术医生等用户连接内窥镜装置1的各部,进而,通过在接通内窥镜装置1的各部的电源后对模式切换开关25进行操作,将内窥镜装置1的观察模式设定为白色光观察模式。
当检测到在模式切换开关25中进行了将内窥镜装置1的观察模式切换为白色光观察模式的指示时,模式切换控制部46将用于进行与白色光观察模式对应的动作的模式切换信号输出到图像处理部43、调光部45、摄像元件驱动部47和滤镜切换控制部48的各部。
LED驱动部32根据从调光部45输出的调光信号,使LED光源部31的LED31b和LED31c消光,并且使LED31a以适于白色光观察模式观察的强度发光。
然后,通过这种LED驱动部32的动作,在白色光观察模式下,作为从光源装置3供给的照明光的WB光(白色光)经由光导7和照明光学系统21向被摄体射出,向该被摄体射出的WB光的反射光作为来自观察对象部位101的返回光入射到物镜光学系统22。
另一方面,滤镜切换装置24根据从滤镜切换控制部48输出的滤镜切换信号进行动作,以使激励光截止滤镜24a从物镜光学系统22与彩色滤镜23a之间的光路上退避。
因此,在白色光观察模式下,入射到彩色滤镜23a的WB光被分光为R光、G光和B光这3个颜色成分的光,该分光后的3个颜色成分的光由摄像元件23的摄像面接收,进而,从摄像元件23输出对该接收到的3个颜色成分的光进行摄像而得到的摄像信号。
预处理部41对从镜体2输出的摄像信号实施信号放大和噪声去除等处理,将实施了该处理后的摄像信号输出到A/D转换部42。
A/D转换部42将从预处理部41输出的模拟摄像信号转换为数字图像数据并将其输出到图像处理部43。然后,通过这种A/D转换部42的处理,生成包含与摄像元件23的摄像面所接收到的R光、G光和B光的强度对应的红色成分RC、绿色成分GC、蓝色成分BC的图像数据。
在根据从模式切换控制部46输出的模式切换信号检测到内窥镜装置1被切换为白色光观察模式时,图像处理部43将从A/D转换部42输出的图像数据所包含的RC、GC和BC的各颜色成分分配给显示装置5的R、G和B的各颜色通道,进而,对分配给该各颜色通道的图像数据实施伽马校正和边缘强调等处理,将其输出到D/A转换部44。
然后,显示装置5显示与经由D/A转换部44输出的影像信号对应的被摄体的图像。
即,通过在白色光观察模式下进行以上所述的动作等,在显示装置5中显示与白色光观察模式对应的观察图像(彩色图像)。
另一方面,用户在开始以荧光观察模式对观察对象部位101进行观察之前,对被检者(观察对象部位101)投放聚集在癌等病变组织处的荧光探针(荧光物质)。另外,设本实施例中的荧光探针(荧光物质)的激励波长包含在NBX光的波段中。并且,设本实施例中的荧光探针(荧光物质)被NBX光激励时发出不与NBR光重复的波段的荧光。
并且,用户通过一边观察显示装置5中显示的白色光观察模式的观察图像一边进行镜体2的插入操作,将镜体2的前端部配置在被检体内的期望的观察对象部位101的附近。然后,在这种状态下,用户等通过对模式切换开关25进行操作,进行将内窥镜装置1的观察模式切换为荧光观察模式的指示。
当检测到在模式切换开关25中进行了将内窥镜装置1的观察模式切换为荧光观察模式的指示时,模式切换控制部46将用于进行与荧光观察模式对应的动作的模式切换信号输出到图像处理部43、调光部45、摄像元件驱动部47和滤镜切换控制部48的各部。
LED驱动部32根据从调光部45输出的调光信号,使LED光源部31的LED31a消光,并且使LED31b和LED31c以适于荧光观察模式观察的强度同时发光。
然后,通过这种LED驱动部32的动作,在荧光观察模式下,从光源装置3供给的NBX光和NBR光经由光导7和照明光学系统21向观察对象部位101射出。此时,从照明光学系统21射出的NBX光作为激励光发挥作用,从照明光学系统21射出的NBR光作为参照光发挥作用,由此,作为荧光的FL光和作为NBR光的反射光的REF光的混合光作为来自观察对象部位101的返回光入射到物镜光学系统22。
另一方面,滤镜切换装置24根据从滤镜切换控制部48输出的滤镜切换信号进行动作,以使激励光截止滤镜24a插入到物镜光学系统22与彩色滤镜23a之间的光路上。
然后,通过这种滤镜切换装置24的动作,在荧光观察模式下,穿过了激励光截止滤镜24a和彩色滤镜23a的R滤镜后的光、穿过了激励光截止滤镜24a和彩色滤镜23a的G滤镜后的光、穿过了激励光截止滤镜24a和彩色滤镜23a的B滤镜后的光由摄像元件23的摄像面接收,进而,从摄像元件23输出对该接收到的各光进行摄像而得到的摄像信号。
即,摄像元件23和彩色滤镜23a作为摄像部发挥功能,以按照各颜色成分而不同的分光感光度接收伴随着对观察对象部位101照射照明光而产生的包含多个波段成分的返回光并对其进行摄像。
预处理部41对从镜体2输出的摄像信号实施信号放大和噪声去除等处理,将实施了该处理后的摄像信号输出到A/D转换部42。
A/D转换部42将从预处理部41输出的模拟摄像信号转换为数字图像数据并将其输出到图像处理部43。然后,通过这种A/D转换部42的处理,生成包含与摄像元件23的摄像面所接收到的FL光和REF光的强度对应的红色成分RD、绿色成分GD、蓝色成分BD的图像数据。
当根据从模式切换控制部46输出的模式切换信号检测到内窥镜装置1被切换为荧光观察模式时,图像处理部43进行动作,以使得在矩阵运算部43b中实施使用了矩阵MAUA的运算处理。
这里,对取得兼具光谱分布校正功能和图像分离功能的矩阵MAUA的处理的具体例进行说明。另外,假设在内窥镜装置1的观察模式被切换为荧光观察模式之前的任意定时实施作为取得矩阵MAUA的处理的具体例而在以下说明的处理。
在检测到镜体2和处理器4已连接时,作为在用于取得矩阵MAUA的运算处理中使用的规定信息,存储部26例如将表示彩色滤镜23a的各滤镜(R滤镜、G滤镜和B滤镜)的分光感光度特性的信息、以及表示荧光观察模式下从被摄体发出的返回光即FL光和REF光的光谱分布的信息输出到处理器4的图像处理部43。
光谱分布校正部43a根据表示具有彩色滤镜23a的各滤镜(R滤镜、G滤镜和B滤镜)的摄像元件23的分光感光度特性的信息、以及表示荧光观察模式下从被摄体发出的FL光和REF光的光谱分布的信息,取得荧光观察模式下输入到图像处理部43的图像数据所包含的红色成分RD、绿色成分GD和蓝色成分BD的光谱分布。
并且,光谱分布校正部43a利用规定的手法对如上所述那样取得的红色成分RD、绿色成分GD和蓝色成分BD的光谱分布进行归一化。
具体而言,例如,在利用发出具有550nm附近的峰值波长的绿色域的光作为REF光、发出具有660nm附近的峰值波长的红色域的光作为FL光、进而使REF光的峰值波长和FL光的峰值波长中的信号强度的峰值分别为1.0的方法进行归一化的情况下,红色成分RD、绿色成分GD和蓝色成分BD的光谱分布分别如图3所示那样归一化。图3是示出归一化后的红色成分RD、绿色成分GD和蓝色成分BD的光谱分布的例子的图。
根据图3,根据各颜色成分的信号而得到的光谱分布在具有660nm附近的峰值波长的FL光的波段中相互不同。而且,这种各颜色成分间的光谱分布的差异是由于FL光的波段中的摄像元件23(彩色滤镜23a的各滤镜)的各颜色成分的分光感光度具有分别不同的波长分布而产生的。因此,要想适当实施基于矩阵运算部43b的图像分离,需要在实施图像分离的处理之前预先对图3所例示的各颜色成分间的光谱分布的差异进行校正。
因此,光谱分布校正部43a取得按照使归一化后的光谱分布的形状相互一致的方式设定了各系数的3行3列的矩阵C。
具体而言,光谱分布校正部43a例如取得按照使图3所示的各颜色成分的光谱分布的形状成为图4所示的形状的方式设定了各系数的3行3列的矩阵C。图4是示出使图3中的红色成分RD和绿色成分GD的光谱分布的形状与蓝色成分BD的光谱分布的形状一致的情况下的例子的图。
另外,光谱分布校正部43a也可以取得按照使其他2个颜色成分的光谱分布的形状与从红色成分RD、绿色成分GD和蓝色成分BD中选择出的任意1个颜色成分的光谱分布的形状一致的方式设定了各系数的矩阵C,或者,还可以取得按照使红色成分RD、绿色成分GD和蓝色成分BD的光谱分布的形状与规定的形状分别一致的方式设定了各系数的矩阵C。
经由以上所述的光谱分布校正部43a的处理而取得的矩阵C具有如下的光谱分布校正功能:能够进行校正,使得归一化之前的各颜色成分(红色成分RD、绿色成分GD和蓝色成分BD)的光谱分布、即根据荧光观察模式时由摄像元件23的摄像面接收到的FL光和REF光而生成的图像数据的各颜色成分(红色成分RD、绿色成分GD和蓝色成分BD)的光谱分布的形状彼此成为相似形状。
另一方面,矩阵运算部43b根据通过以上所述的光谱分布校正部43a的处理而取得的3行3列的矩阵C、表示彩色滤镜23a的各滤镜(R滤镜、G滤镜和B滤镜)的分光感光度特性的信息、以及表示荧光观察模式下从被摄体发出的FL光和REF光的光谱分布的信息进行以下处理等,由此取得矩阵MAUA。
首先,矩阵运算部43b根据表示彩色滤镜23a的各滤镜(R滤镜、G滤镜和B滤镜)的分光感光度特性的信息以及表示荧光观察模式下从被摄体发出的FL光和REF光的光谱分布的信息,如以下的数学式(1)那样确定与荧光观察模式下输入到图像处理部43的图像数据IRGB所包含的红色成分RD、绿色成分GD和蓝色成分BD的强度对应的矩阵。另外,在以下的数学式(1)中,RFL表示基于经由彩色滤镜23a的R滤镜接收到的FL光的波长成分的红色成分的强度,GFL表示基于经由彩色滤镜23a的G滤镜接收到的FL光的波长成分的绿色成分的强度,BFL表示基于经由彩色滤镜23a的B滤镜接收到的FL光的波长成分的蓝色成分的强度,RREF表示基于经由彩色滤镜23a的R滤镜接收到的REF光的波长成分的红色成分的强度,GREF表示基于经由彩色滤镜23a的G滤镜接收到的REF光的波长成分的绿色成分的强度,BREF表示基于经由彩色滤镜23a的B滤镜接收到的REF光的波长成分的蓝色成分的强度。
I RGB = R FL R REF G FL G REF B FL B REF . . . ( 1 )
这里,在将用于从荧光观察模式下输入到图像处理部43的图像数据所包含的各颜色成分中分离出相互独立的2个颜色成分的图像数据的矩阵设定为MAU、进而将表示分离后的2个颜色成分的图像数据的矩阵设定为S的情况下,以下的数学式(2)和(3)所示的关系成立。
S=MAU·C·IRGB···(2)
1 0 0 1 . . . ( 3 )
而且,矩阵运算部43b通过进行基于上述数学式(2)和(3)的以下的数学式(4)的运算,求出2行3列的矩阵MAU。另外,以下的数学式(4)中的(C·IRGB)+表示3行3列的矩阵C和上述数学式(1)所示的3行2列的矩阵IRGB之积的伪逆矩阵。
MAU = S · ( C · I RGB ) + = M 11 M 12 M 13 M 21 M 22 M 23 . . . ( 4 )
根据使用了经由上述数学式(4)的运算而求出的矩阵MAU的处理,能够从荧光观察模式下输入到图像处理部43的图像数据所包含的各颜色成分中,分离出仅包含基于FL光的波长成分的红色成分FLRD的图像数据。
并且,根据使用了经由上述数学式(4)的运算而求出的矩阵MAU的处理,能够从荧光观察模式下输入到图像处理部43的图像数据所包含的各颜色成分中,分离出仅包含基于REF光的波长成分的绿色成分REFGD的图像数据。
但是,根据使用了经由上述数学式(4)的运算而求出的矩阵MAU的处理,能够分别得到所述红色成分FLRD和绿色成分REFGD的图像数据,另一方面,无法得到蓝色成分的图像数据。因此,本实施例的矩阵运算部43b取得以能够得到具有与所述绿色成分REFGD的图像数据相同的强度的蓝色成分REFBD的图像数据的方式设定了系数的、以下的数学式(5)所示的3行3列的矩阵MAUA。另外,设以下的数学式(5)中的系数M11、M12、M13、M21、M22和M23是与经由上述数学式(4)的运算而求出的2行3列的矩阵MAU中包含的各系数相同的值。
MAUA = M 11 M 12 M 13 M 21 M 22 M 23 M 21 M 22 M 23 . . . ( 5 )
即,矩阵运算部43b根据3行3列的矩阵C、表示彩色滤镜23a的各滤镜(R滤镜、G滤镜和B滤镜)的分光感光度特性的信息、以及表示荧光观察模式下从被摄体发出的FL光和REF光的光谱分布的信息进行以上所述的处理等,从而取得上述数学式(5)所示的矩阵MAUA。
然后,矩阵运算部43b通过应用预先取得的矩阵MAUA对荧光观察模式下输入到图像处理部43的图像数据所包含的红色成分RD、绿色成分GD和蓝色成分BD进行运算,取得以下的数学式(6)所示的、具有与系数M11、M12和M13对应的强度的红色成分FLRD的图像数据、具有与系数M21、M22和M23对应的强度的绿色成分REFGD的图像数据、具有与系数M21、M22和M23对应的强度的蓝色成分REFBD的图像数据。
FLRD REFGD REFBD = M 11 · RD + M 12 · GD + M 13 · BD M 21 · RD + M 22 · GD + M 23 · BD M 21 · RD + M 22 · GD + M 23 · BD . . . ( 6 )
并且,矩阵运算部43b将红色成分FLRD的图像数据分配给显示装置5的R通道,将绿色成分REFGD的图像数据分配给显示装置5的G通道,将蓝色成分REFBD的图像数据分配给显示装置5的B通道。
然后,图像处理部43对通过矩阵运算部43b的处理而分配给显示装置5的R、G和B的各颜色通道的图像数据实施伽马校正和边缘强调等处理,将其输出到D/A转换部44。
然后,显示装置5显示与经由D/A转换部44输出的影像信号对应的被摄体的图像。
即,通过在荧光观察模式下进行以上所述的动作等,在显示装置5中显示与荧光观察模式对应的观察图像(伪彩色图像)。
但是,彩色滤镜23a的R滤镜、G滤镜和B滤镜分别在从可视域到近红外域的宽带中具有透射特性。因此,在本实施例的荧光观察模式时输入到图像处理部43的红色成分RD中,混合存在有基于经由彩色滤镜23a的R滤镜接收到的FL光的波长成分的成分和基于经由彩色滤镜23a的R滤镜接收到的REF光的波长成分的成分。并且,在本实施例的荧光观察模式时输入到图像处理部43的图像数据所包含的绿色成分GD中,混合存在有基于经由彩色滤镜23a的G滤镜接收到的FL光的波长成分的成分和基于经由彩色滤镜23a的G滤镜接收到的REF光的波长成分的成分。因此,假设在将红色成分RD直接分配给显示装置5的R通道、并且将绿色成分GD直接分配给显示装置5的G通道的情况下,产生有时未显示本来期望的色调的观察图像的问题。
而且,根据本实施例,为了消除所述问题,在对显示装置5的R、G和B通道分配颜色成分之前,通过在矩阵运算部43b中进行使用了具有图像分离功能的矩阵MAUA的处理,能够分别得到按照各波段成分而相互独立的图像数据即红色成分FLRD和绿色成分REFGD的图像数据。
并且,根据本实施例,通过使矩阵MAUA兼具光谱分布校正功能和图像分离功能这2个功能,能够得到红色成分FLRD和绿色成分REFGD的图像数据,作为按照各波段成分而相互独立的、并且消除了由于彩色滤镜23a中包含的各滤镜(R滤镜、G滤镜和B滤镜)的分光感光度特性和入射到彩色滤镜23a的返回光(FL光和REF光)的波段的组合而产生的混色的图像数据。
但是,上述数学式(2)和数学式(4)中分别包含的矩阵C例如被设定为具有使各颜色成分的信号间的光谱分布一致的各系数的矩阵,使得矩阵MAUA包含光谱分布校正功能。与此相对,例如在假设矩阵C为单位矩阵的情况下、即假设矩阵MAUA实质上不具有光谱分布校正功能的情况下,通过进行使用了矩阵MAUA的运算,得到具有图5这种光谱分布的各颜色成分的信号的输出值。图5是示出使用不具有光谱分布校正功能的矩阵进行了图像分离的运算的情况下作为运算结果而得到的光谱分布的一例的图。
根据图5的R成分的光谱分布,与作为具有660nm附近的峰值波长的红色域的光的FL光相当的波段成分以外的其他波段成分的输出值几乎未从0附近变动,即,适当分离出FL光的波长成分。
并且,根据图5的G成分(B成分)的光谱分布,在与作为具有550nm附近的峰值波长的绿色域的光的REF光相当的波段成分以外,在与FL光相当的波段成分中也产生明确的输出值的变动,即,可知未适当分离出REF光的波长成分。
另一方面,根据本实施例,通过进行使用了具有光谱分布校正功能的矩阵MAUA的运算,例如得到具有图6这种光谱分布的各颜色成分的信号的输出值。图6是示出使用具有光谱分布校正功能的矩阵进行了图像分离的运算的情况下作为运算结果而得到的光谱分布的一例的图。
根据图6的R成分的光谱分布,与作为具有660nm附近的峰值波长的红色域的光的FL光相当的波段成分以外的其他波段成分的输出值几乎未从0附近变动,即,适当分离出FL光的波长成分。
并且,根据图6的G成分(B成分)的光谱分布,与作为具有550nm附近的峰值波长的绿色域的光的REF光相当的波段成分以外的其他波段成分(与FL光相当的波段成分)中未产生明确的输出值的变动,即,可知也适当分离出REF光的波长成分。
因此,根据本实施例,能够适当将通过同时式的摄像方式得到的包含多个颜色成分的图像分离为相互独立的各波段成分的图像。
另外,本实施例的内窥镜装置1不限于具有以下结构:在镜体2和处理器4已连接时,从存储部26中输出表示彩色滤镜23a的各滤镜(R滤镜、G滤镜和B滤镜)的分光感光度特性的信息以及表示荧光观察模式下从被摄体发出的返回光即FL光和REF光的光谱分布的信息,进而,根据该输出的各信息进行取得矩阵C等的处理。
具体而言,本实施例的内窥镜装置1例如也可以具有如下结构:在存储部26中预先存储有能够识别设于镜体2中的摄像元件23(和彩色滤镜23a)的种类的摄像元件识别信息、以及能够识别与镜体2的观察对应(适合于激励光截止滤镜24a的透射波段)的荧光探针的种类的荧光探针识别信息,并且,在光谱分布校正部43a中存储有根据摄像元件的种类和荧光探针的种类的组合而预先计算出的多个矩阵C。而且,根据这种结构,光谱分布校正部43a能够根据镜体2和处理器4已连接时从存储部26输出的摄像元件识别信息和荧光探针识别信息,简单且高速地从预先计算出的多个矩阵C中取得矩阵MAUA的取得处理中使用的1个矩阵C。
另外,根据本实施例,也可以具有如下结构:通过输入装置6的操作而输入与荧光观察模式下使用的荧光探针有关的信息(例如荧光药剂的名称或识别代码等),(通过光谱分布校正部43a)设定与该输入的荧光探针的信息对应的矩阵C。
并且,根据本实施例,也可以构成为,能够将矩阵MAUA的各系数变更为与输入装置6的输入操作对应的任意值。
并且,根据本实施例,例如也可以具有如下结构:在镜体2构成为能够对具有NBX光的波段中包含的相互大致相同的激励波长、并且具有相互不同的荧光波长的多个荧光探针的荧光像进行摄像的情况下,能够通过输入装置6的操作而输入从该多个荧光探针中选择出的1个荧光探针的信息,进而,根据该输入的荧光探针的信息和所述摄像元件识别信息,(通过光谱分布校正部43a)从预先计算出的多个矩阵C中取得(选择)矩阵MAUA的取得处理中使用的1个矩阵C。
并且,经由上述处理取得的矩阵MAUA适合于对观察对象部位101投放Cy5、Cy5.5、Cy7、ICG和IR-Dye800等具有从红色域到近红外域之间的荧光波长的荧光探针进行观察的情况。但是,例如通过适当变更矩阵MAUA的取得处理的一部分,还能够取得适合于对观察对象部位101投放荧光素等具有绿色域的荧光波长的荧光探针进行观察的情况的矩阵MAUA。另外,在这种情况下,认为FL光是绿色域的光,优选将REF光的波段设定为例如红色域的不与FL光重复的波段。
并且,本实施例例如还能够应用于同时对从投放到观察对象部位101的荧光素发出的绿色域的荧光和从投放到观察对象部位101的ICG发出的近红外域的荧光进行观察的情况、即同时对从投放了具有相互不同的荧光波长的多个荧光探针的被摄体发出的荧光进行观察的情况。
并且,本实施例取得的矩阵C和矩阵MAUA不限于按照适合于作为荧光观察模式下产生的返回光的FL光和REF光的方式设定各系数,例如,也可以按照适合于作为对存在于活体粘膜的表层的毛细血管和存在于比活体粘膜的表层深的位置(以下也称为中层)的血管进行观察的窄带光观察模式下产生的返回光(反射光)的蓝色窄带光和绿色窄带光的方式设定各系数。下面,对这种情况下的具体例进行说明。图7是示出本发明的实施例的第1变形例的内窥镜装置的主要部分的结构的图。另外,下面,为了简便,省略与能够应用内窥镜装置1的所述结构等的部分有关的详细说明,并且,主要对与内窥镜装置1不同的结构等所具有的部分进行说明。
如图7所示,内窥镜装置1A具有从镜体2中除去滤镜切换装置24而构成的镜体2A、将光源装置3的LED光源部31置换为LED光源部311而构成的光源装置3A、从处理器4中除去滤镜切换控制部48而构成的处理器4A。
镜体2A的模式切换开关25构成为,能够进行用于将内窥镜装置1A的观察模式切换为根据手术医生等的操作而从白色光观察模式和窄带光观察模式中选择出的任意一个观察模式的指示。
LED光源部311构成为具有发出宽带光即WB光的LED31a、发出能够对存在于活体粘膜的中层的血管进行观察的光即NBG光的LED31f、发出能够对存在于活体粘膜的表层的毛细血管进行观察的光即NBB光的LED31g、光学元件31h、光学元件31i。
LED31f例如构成为能够发出中心波长被设定为540nm的窄带光作为NBG光。
LED31g例如构成为能够发出中心波长被设定为415nm的窄带光作为NBB光。
光学元件31h例如由半透半反镜等构成,具有如下的光学特性:向光学元件31i侧透射从LED31a发出的WB光,并且向光学元件31i侧反射从LED31f发出的NBG光。
光学元件31i例如由半透半反镜等构成,具有如下的光学特性:向会聚光学系统33侧透射经由光学元件31h射出的WB光和NBG光,并且向会聚光学系统33侧反射从LED31g发出的NBB光。
处理器4A的光谱分布校正部43a根据伴随着镜体2A与处理器4A的连接而从存储部26输出的规定信息进行处理,从而取得具有光谱分布校正功能的矩阵Ca。
处理器4A的矩阵运算部43b根据伴随着镜体2A与处理器4A的连接而从存储部26输出的规定信息、以及光谱分布校正部43a取得的矩阵Ca进行处理,从而进行用于取得兼具光谱分布校正功能和图像分离功能的矩阵MAUB的运算处理。并且,处理器4A的矩阵运算部43b应用矩阵MAUB对窄带光观察模式下输入到图像处理部43的图像数据进行运算,进而,进行将作为该运算结果而得到的各波段成分的图像数据分配给显示装置5的R通道、G通道和B通道的处理。
在根据从模式切换控制部46输出的模式切换信号和从预处理部41输出的摄像信号检测到内窥镜装置1A被切换为白色光观察模式的情况下,处理器4A的调光部45将用于使LED31f和LED31g消光、并且使LED31a以适于白色光观察模式观察的强度发光的调光信号输出到LED驱动部32。并且,在根据从模式切换控制部46输出的模式切换信号和从预处理部41输出的摄像信号检测到内窥镜装置1A被切换为窄带光观察模式的情况下,处理器4A的调光部45将用于使LED31a消光、并且使LED31f和LED31g以适于窄带光观察模式观察的强度同时发光的调光信号输出到LED驱动部32。
在检测到在模式切换开关25中进行了将内窥镜装置1A的观察模式切换为白色光观察模式的指示的情况下,处理器4A的模式切换控制部46将用于进行与白色光观察模式对应的动作的模式切换信号输出到图像处理部43、调光部45和摄像元件驱动部47的各部。并且,在检测到在模式切换开关25中进行了将内窥镜装置1A的观察模式切换为窄带光观察模式的指示的情况下,处理器4A的模式切换控制部46将用于进行与窄带光观察模式对应的动作的模式切换信号输出到图像处理部43、调光部45和摄像元件驱动部47的各部。
接着,对第1变形例的内窥镜装置1A的作用进行说明。另外,由于内窥镜装置1A的观察模式被设定为白色光观察模式的情况下的各部的动作等与内窥镜装置1相同,所以省略说明。
用户通过一边观察显示装置5中显示的白色光观察模式的观察图像一边进行镜体2A的插入操作,将镜体2A的前端部配置在被检体内的期望的观察对象部位101的附近。然后,在这种状态下,用户等通过对模式切换开关25进行操作,进行将内窥镜装置1A的观察模式切换为窄带光观察模式的指示。
在检测到在模式切换开关25中进行了将内窥镜装置1A的观察模式切换为窄带光观察模式的指示时,模式切换控制部46将用于进行与窄带光观察模式对应的动作的模式切换信号输出到图像处理部43、调光部45和摄像元件驱动部47的各部。
LED驱动部32根据从调光部45输出的调光信号,使LED光源部31的LED31a消光,并且使LED31f和LED31g以适于窄带光观察模式观察的强度同时发光。
然后,通过这种LED驱动部32的动作,在窄带光观察模式下,从光源装置3A供给的NBG光和NBB光经由光导7和照明光学系统21向观察对象部位101射出,并且,NBG光的反射光即REG光和NBB光的反射光即REB光的混合光作为来自观察对象部位101的返回光入射到物镜光学系统22。
另一方面,摄像元件23分别接收穿过了彩色滤镜23a的R滤镜后的光、穿过了彩色滤镜23a的G滤镜后的光、穿过了彩色滤镜23a的B滤镜后的光,生成对该接收到的各光进行摄像而得到的摄像信号并输出。
预处理部41对从镜体2A输出的摄像信号实施信号放大和噪声去除等处理,将实施了该处理后的摄像信号输出到A/D转换部42。
A/D转换部42将从预处理部41输出的模拟摄像信号转换为数字图像数据并将其输出到图像处理部43。然后,通过这种A/D转换部42的处理,生成包含与在摄像元件23(的摄像面)中接收到的REG光和REB光的强度对应的红色成分RD1、绿色成分GD1、蓝色成分BD1的图像数据。
在根据从模式切换控制部46输出的模式切换信号检测到内窥镜装置1A被切换为窄带光观察模式时,图像处理部43进行动作,使得在矩阵运算部43b中实施使用了矩阵MAUB的运算处理。
这里,对取得兼具光谱分布校正功能和图像分离功能的矩阵MAUB的处理进行说明。另外,假设在内窥镜装置1A的观察模式被切换为窄带光观察模式之前的任意定时实施取得矩阵MAUB的处理。
在检测到镜体2A和处理器4A已连接时,作为在用于取得矩阵MAUB的运算处理中使用的规定信息,存储部26例如将表示彩色滤镜23a的各滤镜(R滤镜、G滤镜和B滤镜)的分光感光度特性的信息、以及表示窄带光观察模式下从被摄体发出的返回光即REG光和REB光的光谱分布的信息输出到处理器4A的图像处理部43。
光谱分布校正部43a根据表示具有彩色滤镜23a的各滤镜(R滤镜、G滤镜和B滤镜)的摄像元件23的分光感光度特性的信息、以及表示窄带光观察模式下从被摄体发出的REG光和REB光的光谱分布的信息,取得窄带光观察模式下输入到图像处理部43的图像数据所包含的红色成分RD1、绿色成分GD1和蓝色成分BD1的光谱分布。
并且,光谱分布校正部43a利用所述方法(使各峰值波长中的信号强度的峰值分别为1.0的方法)对如上所述那样取得的红色成分RD1、绿色成分GD1和蓝色成分BD1的光谱分布进行归一化。然后,通过进行这种归一化,各颜色成分间的光谱分布的差异显著。
进而,光谱分布校正部43a取得按照使归一化后的光谱分布的形状相互一致的方式设定了各系数的3行3列的矩阵Ca。
经由以上所述的光谱分布校正部43a的处理而取得的矩阵Ca具有如下的光谱分布校正功能:能够进行校正,使得归一化之前的各颜色成分(红色成分RD1、绿色成分GD1和蓝色成分BD1)的光谱分布、即根据窄带光观察模式时摄像元件23的摄像面所接收到的REG光和REB光而生成的图像数据的各颜色成分(红色成分RD1、绿色成分GD1和蓝色成分BD1)的光谱分布的形状彼此成为相似形状。
另一方面,矩阵运算部43b根据通过以上所述的光谱分布校正部43a的处理而取得的3行3列的矩阵Ca、表示彩色滤镜23a的各滤镜(R滤镜、G滤镜和B滤镜)的分光感光度特性的信息、以及表示窄带光观察模式下从被摄体发出的REG光和REB光的光谱分布的信息进行以下处理等,由此取得矩阵MAUB。
首先,矩阵运算部43b根据表示彩色滤镜23a的各滤镜(R滤镜、G滤镜和B滤镜)的分光感光度特性的信息以及表示窄带光观察模式下从被摄体发出的REG光和REB光的光谱分布的信息,如以下的数学式(7)那样确定与窄带光观察模式下输入到图像处理部43的图像数据I’RGB所包含的红色成分RD1、绿色成分GD1和蓝色成分BD1的强度对应的矩阵。另外,在以下的数学式(7)中,RREB表示基于经由彩色滤镜23a的R滤镜接收到的REB光的波长成分的红色成分的强度,GREB表示基于经由彩色滤镜23a的G滤镜接收到的REB光的波长成分的绿色成分的强度,BREB表示基于经由彩色滤镜23a的B滤镜接收到的REB光的波长成分的蓝色成分的强度,RREG表示基于经由彩色滤镜23a的R滤镜接收到的REG光的波长成分的红色成分的强度,GREG表示基于经由彩色滤镜23a的G滤镜接收到的REG光的波长成分的绿色成分的强度,BREG表示基于经由彩色滤镜23a的B滤镜接收到的REG光的波长成分的蓝色成分的强度。
I ′ RGB = R REB R REG G REB G REG B REB B REG . . . ( 7 )
这里,在将用于从窄带光观察模式下输入到图像处理部43的图像数据所包含的各颜色成分中分离出相互独立的2个颜色成分的图像数据的矩阵设定为MAUb、进而将表示分离后的2个颜色成分的图像数据的矩阵设定为S的情况下,以下的数学式(8)和(9)所示的关系成立。
S=MAUb·Ca·I′RGB···(8)
1 0 0 1 . . . ( 9 )
而且,矩阵运算部43b通过进行基于上述数学式(8)和(9)的以下的数学式(10)的运算,求出2行3列的矩阵MAUb。另外,以下的数学式(10)中的(Ca·I’RGB)+表示3行3列的矩阵Ca和上述数学式(7)所示的3行2列的矩阵I’RGB之积的伪逆矩阵。
MAUb = S · ( Ca · I ′ RGB ) + = M 31 M 32 M 33 M 41 M 42 M 43 . . . ( 10 )
根据使用了经由上述数学式(10)的运算而求出的矩阵MAUb的处理,能够从窄带光观察模式下输入到图像处理部43的图像数据所包含的各颜色成分中,分离出仅包含基于REB光的波长成分的蓝色成分REBBD的图像数据。
并且,根据使用了经由上述数学式(10)的运算而求出的矩阵MAUb的处理,能够从窄带光观察模式下输入到图像处理部43的图像数据所包含的各颜色成分中,分离出仅包含基于REG光的波长成分的绿色成分REGGD的图像数据。
但是,根据使用了经由上述数学式(10)的运算而求出的矩阵MAUb的处理,能够分别得到所述蓝色成分REBBD和绿色成分REGGD的图像数据,另一方面,无法得到红色成分的图像数据。因此,第1变形例的矩阵运算部43b例如取得按照能够得到具有与所述绿色成分REGGD的图像数据相同的强度的红色成分RERRD的图像数据的方式设定了系数的、以下的数学式(11)所示的3行3列的矩阵MAUB。另外,设以下的数学式(11)中的系数M31、M32、M33、M41、M42和M43是与经由上述数学式(10)的运算而求出的2行3列的矩阵MAUb中包含的各系数相同的值。
M 31 M 32 M 33 M 31 M 32 M 33 M 41 M 42 M 43 . . . ( 11 )
即,矩阵运算部43b根据3行3列的矩阵Ca、表示彩色滤镜23a的各滤镜(R滤镜、G滤镜和B滤镜)的分光感光度特性的信息、以及表示窄带光观察模式下从被摄体发出的REG光和REB光的光谱分布的信息进行以上所述的处理等,从而取得上述数学式(11)所示的矩阵MAUB。
然后,矩阵运算部43b通过应用预先取得的矩阵MAUB对窄带光观察模式下输入到图像处理部43的图像数据所包含的红色成分RD1、绿色成分GD1和蓝色成分BD1进行运算,取得以下的数学式(12)所示的、具有与系数M31、M32和M33对应的强度的红色成分RERRD的图像数据、具有与系数M31、M32和M33对应的强度的绿色成分REGGD的图像数据、具有与系数M41、M42和M43对应的强度的蓝色成分REBBD的图像数据。
RGRRD REGGD REBBD = M 31 · RD 1 + M 32 · GD 1 + M 33 · BD 1 M 31 · RD + M 32 · GD 1 + M 33 · BD 1 M 41 · RD + M 42 · GD 1 + M 43 · BD 1 . . . ( 12 )
并且,矩阵运算部43b将红色成分RERRD的图像数据分配给显示装置5的R通道,将绿色成分REGGD的图像数据分配给显示装置5的G通道,将蓝色成分REBBD的图像数据分配给显示装置5的B通道。
然后,图像处理部43对通过矩阵运算部43b的处理而分配给显示装置5的R、G和B的各颜色通道的图像数据实施伽马校正和边缘强调等处理,将其输出到D/A转换部44。
然后,显示装置5显示与经由D/A转换部44输出的影像信号对应的被摄体的图像。
即,通过在窄带光观察模式下进行以上所述的动作等,在显示装置5中显示与窄带光观察模式对应的观察图像。
但是,例如在假设上述数学式(8)和数学式(10)中包含的矩阵Ca为单位矩阵的情况下、即假设矩阵MAUB实质上不具有光谱分布校正功能的情况下,通过进行使用了矩阵MAUB的运算,得到具有图8这种光谱分布的各颜色成分的信号的输出值。图8是示出使用不具有光谱分布校正功能的矩阵进行了图像分离的运算的情况下作为运算结果而得到的光谱分布的、与图5不同的例子的图。
根据图8的B成分的光谱分布,在与作为具有415nm附近的峰值波长的蓝色域的光的REB光相当的波段成分以外,在与REG光相当的波段成分中也产生明确的输出值的变动,即,可知未适当分离出REB光的波长成分。
并且,根据图8的G成分的光谱分布,在与作为具有540nm附近的峰值波长的绿色域的光的REG光相当的波段成分以外,在与REB光相当的波段成分中也产生明确的输出值的变动,即,可知未适当分离出REG光的波长成分。
另一方面,根据第1变形例,通过进行使用了具有光谱分布校正功能的矩阵MAUB的运算,例如得到具有图9这种光谱分布的各颜色成分的信号的输出值。图9是示出使用具有光谱分布校正功能的矩阵进行了图像分离的运算的情况下作为运算结果而得到的光谱分布的、与图6不同的例子的图。
根据图9的B成分的光谱分布,与作为具有415nm附近的峰值波长的蓝色域的光的REB光相当的波段成分以外的其他波段成分中未产生明确的输出值的变动,即,适当分离出REB光的波长成分。
并且,根据图9的G成分的光谱分布,与作为具有540nm附近的峰值波长的绿色域的光的REG光相当的波段成分以外的其他波段成分中未产生明确的输出值的变动,即,可知也适当分离出REG光的波长成分。
因此,根据第1变形例,能够适当将通过同时式的摄像方式得到的包含多个颜色成分的图像分离为相互独立的各波段成分的图像。
另一方面,本实施例取得的矩阵C和矩阵MAUA不限于按照适合于作为荧光观察模式下产生的返回光的FL光和REF光的方式设定各系数,例如,也可以按照适合于作为对存在于活体粘膜的中层的血管和存在于比活体粘膜的中层深的位置(以下也称为深层)的粗血管进行观察的深层血管观察模式下产生的返回光(反射光)的红色窄带光和绿色窄带光的方式设定各系数。下面,对这种情况下的具体例进行说明。图10是示出本发明的实施例的第2变形例的内窥镜装置的主要部分的结构的图。另外,下面,为了简便,省略与能够应用内窥镜装置1的所述结构等的部分有关的详细说明,并且,主要对与内窥镜装置1不同的结构等所具有的部分进行说明。
如图10所示,内窥镜装置1B具有从镜体2中除去滤镜切换装置24、并且将镜体2的彩色滤镜23a置换为彩色滤镜23b而构成的镜体2B、将光源装置3的LED光源部31置换为LED光源部312而构成的光源装置3B、从处理器4中除去滤镜切换控制部48而构成的处理器4B。
镜体2B的彩色滤镜23b构成为4原色的彩色滤镜。具体而言,通过在与摄像元件23的各像素对应的位置配置分别具有规定的分光感光度特性(光学特性)的多个R(红)滤镜、G(绿)滤镜、B(蓝)滤镜和Ye(黄)滤镜,形成镜体2B的彩色滤镜23b。另外,在本实施例中,例如,假设在彩色滤镜23b中设有分别具有图11所示的分光感光度特性的R滤镜、G滤镜、B滤镜和Ye滤镜。图11是示出图10的内窥镜装置的彩色滤镜中设置的R滤镜、G滤镜、B滤镜和Ye滤镜的分光感光度特性的一例的图。
彩色滤镜23b的R滤镜与彩色滤镜23a的R滤镜同样,构成为具有如下的分光感光度特性(光学特性):从红色域到近红外域的透射率相对高于其他波段的透射率(参照图11)。
彩色滤镜23b的G滤镜与彩色滤镜23a的G滤镜同样,构成为具有如下的分光感光度特性(光学特性):绿色域的透射率相对高于其他波段的透射率(参照图11)。
彩色滤镜23b的B滤镜与彩色滤镜23a的B滤镜同样,构成为具有如下的分光感光度特性(光学特性):蓝色域的透射率相对高于其他波段的透射率(参照图11)。
彩色滤镜23b的Ye滤镜构成为具有如下的分光感光度特性(光学特性):黄色域的透射率相对高于其他波段的透射率(参照图11)。
镜体2B的模式切换开关25构成为,能够进行用于将内窥镜装置1B的观察模式切换为根据手术医生等的操作而从白色光观察模式和深层血管观察模式中选择出的任意一个观察模式的指示。
LED光源部312构成为具有发出宽带光即WB光的LED31a、发出能够对存在于活体粘膜的中层的血管进行观察的光即NBG光的LED31f、发出能够对存在于活体粘膜的深层的血管进行观察的光即NBR1光的LED31k、发出能够对存在于活体粘膜的深层的血管进行观察的光即NBR2光的LED31m、光学元件31h、光学元件31n、光学元件31p。
LED31f例如构成为能够发出中心波长被设定为540nm的窄带光作为NBG光。
LED31k例如构成为能够发出中心波长被设定为630nm的窄带光作为NBR1光。
LED31m例如构成为能够发出中心波长被设定为650nm的窄带光作为NBR2光。
光学元件31h例如由半透半反镜等构成,具有如下的光学特性:向光学元件31n侧透射从LED31a发出的WB光,并且向光学元件31n侧反射从LED31f发出的NBG光。
光学元件31n例如由半透半反镜等构成,具有如下的光学特性:向光学元件31p侧透射经由光学元件31h射出的WB光和NBG光,并且向光学元件31p侧反射从LED31k发出的NBR1光。
光学元件31p例如由半透半反镜等构成,具有如下的光学特性:向会聚光学系统33侧透射经由光学元件31n射出的WB光、NBG光和NR1光,并且向会聚光学系统33侧反射从LED31m发出的NBR2光。
处理器4B的光谱分布校正部43a根据伴随着镜体2B与处理器4B的连接而从存储部26输出的规定信息进行处理,从而取得具有光谱分布校正功能的矩阵Cb。
处理器4B的矩阵运算部43b根据伴随着镜体2B与处理器4B的连接而从存储部26输出的规定信息、以及光谱分布校正部43a取得的矩阵Cb进行处理,从而进行用于取得兼具光谱分布校正功能和图像分离功能的矩阵MAUC的运算处理。
并且,处理器4B的矩阵运算部43b应用矩阵MAUC对深层血管观察模式下输入到图像处理部43的图像数据进行运算,进而,进行将作为该运算结果而得到的各波段成分的图像数据分配给显示装置5的R通道、G通道和B通道的处理。
在根据从模式切换控制部46输出的模式切换信号和从预处理部41输出的摄像信号检测到内窥镜装置1B被切换为白色光观察模式的情况下,处理器4B的调光部45将用于使LED31f、LED31k和LED31m消光、并且使LED31a以适于白色光观察模式观察的强度发光的调光信号输出到LED驱动部32。并且,在根据从模式切换控制部46输出的模式切换信号和从预处理部41输出的摄像信号检测到内窥镜装置1被切换为深层血管观察模式的情况下,处理器4B的调光部45将用于使LED31a消光、并且使LED31f、LED31k和LED31m以适于深层血管观察模式观察的强度同时发光的调光信号输出到LED驱动部32。
在检测到在模式切换开关25中进行了将内窥镜装置1B的观察模式切换为白色光观察模式的指示的情况下,处理器4B的模式切换控制部46将用于进行与白色光观察模式对应的动作的模式切换信号输出到图像处理部43、调光部45和摄像元件驱动部47的各部。并且,在检测到在模式切换开关25中进行了将内窥镜装置1B的观察模式切换为深层血管观察模式的指示的情况下,处理器4B的模式切换控制部46将用于进行与深层血管观察模式对应的动作的模式切换信号输出到图像处理部43、调光部45和摄像元件驱动部47的各部。
接着,对第2变形例的内窥镜装置1B的作用进行说明。另外,由于内窥镜装置1B的观察模式被设定为白色光观察模式的情况下的各部的动作等与内窥镜装置1相同,所以省略说明。
用户通过一边观察显示装置5中显示的白色光观察模式的观察图像一边进行镜体2B的插入操作,将镜体2B的前端部配置在被检体内的期望的观察对象部位101的附近。然后,在这种状态下,用户等通过对模式切换开关25进行操作,进行将内窥镜装置1B的观察模式切换为深层血管观察模式的指示。
当检测到在模式切换开关25中进行了将内窥镜装置1B的观察模式切换为深层血管观察模式的指示时,模式切换控制部46将用于进行与深层血管观察模式对应的动作的模式切换信号输出到图像处理部43、调光部45和摄像元件驱动部47的各部。
LED驱动部32根据从调光部45输出的调光信号,使LED光源部31的LED31a消光,并且使LED31f、LED31k和LED31m以适于深层血管观察模式观察的强度同时发光。
然后,通过这种LED驱动部32的动作,在深层血管观察模式下,从光源装置3B供给的NBG光、NBR1光和NBR2光经由光导7和照明光学系统21向观察对象部位101射出,并且,NBG光的反射光即REG光、NBR1光的反射光即RERA光、NBR2光的反射光即RERB光的混合光作为来自观察对象部位101的返回光入射到物镜光学系统22。
另一方面,摄像元件23分别接收穿过了彩色滤镜23b的R滤镜后的光、穿过了彩色滤镜23b的G滤镜后的光、穿过了彩色滤镜23b的B滤镜后的光、穿过了彩色滤镜23b的Ye滤镜后的光,生成对该接收到的各光进行摄像而得到的摄像信号并输出。
预处理部41对从镜体2B输出的摄像信号实施信号放大和噪声去除等处理,将实施了该处理后的摄像信号输出到A/D转换部42。
A/D转换部42将从预处理部41输出的模拟摄像信号转换为数字图像数据并将其输出到图像处理部43。然后,通过这种A/D转换部42的处理,生成包含与摄像元件23(的摄像面)所接收到的REG光、RERA光和RERB光的强度对应的红色成分RD2、绿色成分GD2、蓝色成分BD2、黄色成分YeD的图像数据。
当根据从模式切换控制部46输出的模式切换信号检测到内窥镜装置1B被切换为深层血管观察模式时,图像处理部43进行动作,使得在矩阵运算部43b中实施使用了矩阵MAUC的运算处理。
这里,对取得兼具光谱分布校正功能和图像分离功能的矩阵MAUC的处理进行说明。另外,假设在内窥镜装置1B的观察模式被切换为深层血管观察模式之前的任意定时实施取得矩阵MAUC的处理。
在检测到镜体2B和处理器4B已连接时,作为在用于取得矩阵MAUC的运算处理中使用的规定信息,存储部26例如将表示彩色滤镜23b的各滤镜(R滤镜、G滤镜、B滤镜和Ye滤镜)的分光感光度特性的信息、以及表示深层血管观察模式下从被摄体发出的返回光即REG光、RERA光和RERB光的光谱分布的信息输出到处理器4B的图像处理部43。
光谱分布校正部43a根据表示具有彩色滤镜23b的各滤镜(R滤镜、G滤镜、B滤镜和Ye滤镜)的摄像元件23的分光感光度特性的信息、以及表示深层血管观察模式下从被摄体发出的REG光、RERA光和RERB光的光谱分布的信息,取得深层血管观察模式下输入到图像处理部43的图像数据所包含的红色成分RD2、绿色成分GD2、蓝色成分BD2和黄色成分YeD的光谱分布。
并且,光谱分布校正部43a利用所述方法(使各峰值波长中的信号强度的峰值分别为1.0的方法)对如上所述那样取得的红色成分RD2、绿色成分GD2、蓝色成分BD2和黄色成分YeD的光谱分布进行归一化。然后,通过进行这种归一化,各颜色成分间的光谱分布的差异显著。
进而,光谱分布校正部43a取得按照使归一化后的光谱分布的形状相互一致的方式设定了各系数的4行4列的矩阵Cb。
经由以上所述的光谱分布校正部43a的处理而取得的矩阵Cb具有如下的光谱分布校正功能:能够进行校正,使得归一化之前的各颜色成分(红色成分RD2、绿色成分GD2、蓝色成分BD2和黄色成分YeD)的光谱分布、即根据深层血管观察模式下摄像元件23的摄像面所接收到的REG光、RERA光和RERB光而生成的图像数据的各颜色成分(红色成分RD2、绿色成分GD2、蓝色成分BD2和黄色成分YeD)的光谱分布的形状彼此成为相似形状。
另一方面,矩阵运算部43b根据通过以上所述的光谱分布校正部43a的处理而取得的4行4列的矩阵Cb、表示彩色滤镜23b的各滤镜(R滤镜、G滤镜、B滤镜和Ye滤镜)的分光感光度特性的信息、以及表示深层血管观察模式下从被摄体发出的REG光、RERA光和RERB光的光谱分布的信息进行以下处理等,由此取得矩阵MAUB。
首先,矩阵运算部43b根据表示彩色滤镜23b的各滤镜(R滤镜、G滤镜、B滤镜和Ye滤镜)的分光感光度特性的信息以及表示深层血管观察模式中从被摄体发出的REG光、RERA光和RERB光的光谱分布的信息,如以下的数学式(13)那样确定与深层血管观察模式下输入到图像处理部43的图像数据IRGBYe所包含的红色成分RD2、绿色成分GD2、蓝色成分BD2和黄色成分YeD的强度对应的矩阵。另外,在以下的数学式(13)中,RREG表示基于经由彩色滤镜23b的R滤镜接收到的REG光的波长成分的红色成分的强度,GREG表示基于经由彩色滤镜23b的G滤镜接收到的REG光的波长成分的绿色成分的强度,BREG表示基于经由彩色滤镜23b的B滤镜接收到的REG光的波长成分的蓝色成分的强度,YeREG表示基于经由彩色滤镜23b的Ye滤镜接收到的REG光的波长成分的蓝色成分的强度。并且,在以下的数学式(13)中,RRERA表示基于经由彩色滤镜23b的R滤镜接收到的RERA光的波长成分的红色成分的强度,GRERA表示基于经由彩色滤镜23b的G滤镜接收到的RERA光的波长成分的绿色成分的强度,BRERA表示基于经由彩色滤镜23b的B滤镜接收到的RERA光的波长成分的蓝色成分的强度,YeRERA表示基于经由彩色滤镜23b的Ye滤镜接收到的RERA光的波长成分的蓝色成分的强度。并且,在以下的数学式(13)中,RRERB表示基于经由彩色滤镜23b的R滤镜接收到的RERB光的波长成分的红色成分的强度,GRERB表示基于经由彩色滤镜23b的G滤镜接收到的RERB光的波长成分的绿色成分的强度,BRERB表示基于经由彩色滤镜23b的B滤镜接收到的RERB光的波长成分的蓝色成分的强度,YeRERB表示基于经由彩色滤镜23b的Ye滤镜接收到的RERB光的波长成分的蓝色成分的强度。
I RGBYe = R REG R RERA R RERB G REG G RERA G RERB B REG B RERA B RERB Ye REG Ye RERA Ye RERB . . . ( 13 )
这里,在将用于从深层血管观察模式下输入到图像处理部43的图像数据所包含的各颜色成分中分离出相互独立的3个颜色成分的图像数据的矩阵设定为MAUC、进而将表示分离后的3个颜色成分的图像数据的矩阵设定为S’的情况下,以下的数学式(14)和(15)所示的关系成立。
S′=MAUC·Cb·YRGBYe···(14)
S ′ = 1 0 0 0 1 0 0 0 1 . . . ( 15 )
而且,矩阵运算部43b通过进行基于上述数学式(14)和(15)的以下的数学式(16)的运算,求出3行4列的矩阵MAUC。另外,以下的数学式(16)中的(Cb·IRGBYe)+表示4行4列的矩阵Cb和上述数学式(13)所示的4行3列的矩阵I’RGB之积的伪逆矩阵。另外,下述数学式(16)的M51~M54、M61~M64和M71~M74分别表示任意系数。
MAUC = S ′ · ( Cb · I RGBYe ) + = M 51 M 52 M 53 M 54 M 61 M 62 M 63 M 64 M 71 M 72 M 73 M 74 . . . ( 16 )
根据使用了经由上述数学式(16)的运算而求出的矩阵MAUC的处理,能够从深层血管观察模式下输入到图像处理部43的图像数据所包含的各颜色成分中,分离出仅包含与REG光的波长成分对应的颜色成分的第1图像数据ING、仅包含与RERA光的波长成分对应的颜色成分的第2图像数据INR1、仅包含与RERB光的波长成分对应的颜色成分的第3图像数据INR2。
即,矩阵运算部43b根据4行4列的矩阵Cb、表示彩色滤镜23b的各滤镜(R滤镜、G滤镜、B滤镜和Ye滤镜)的分光感光度特性的信息、以及表示深层血管观察模式下从被摄体发出的REG光、RERA光和RERB光的光谱分布的信息进行以上所述的处理等,从而取得上述数学式(16)所示的矩阵MAUC。
然后,矩阵运算部43b通过应用预先取得的矩阵MAUC对深层血管观察模式下输入到图像处理部43的图像数据所包含的红色成分RD2、绿色成分GD2、蓝色成分BD2和黄色成分YeD进行运算,取得仅包含与REG光的波长成分对应的颜色成分的图像数据ING、仅包含与RERA光的波长成分对应的颜色成分的图像数据INR1、仅包含与RERB光的波长成分对应的颜色成分的图像数据INR2。
并且,矩阵运算部43b将如上所述那样取得的图像数据ING、图像数据INR1、图像数据INR2分别分配给显示装置5的任意颜色通道(R、G和B通道)。
然后,图像处理部43对通过矩阵运算部43b的处理而分配给显示装置5的R、G和B的各颜色通道的图像数据实施伽马校正和边缘强调等处理,将其输出到D/A转换部44。
然后,显示装置5显示与经由D/A转换部44而输出的影像信号对应的被摄体的图像。
即,通过在深层血管观察模式下进行以上所述的动作等,在显示装置5中显示与深层血管观察模式对应的观察图像。
但是,例如在假设上述数学式(14)和数学式(16)中包含的矩阵Cb为单位矩阵的情况下、即假设矩阵MAUC实质上不具有光谱分布校正功能的情况下,通过进行使用了矩阵MAUC的运算,得到具有图12这种光谱分布的各颜色成分的信号的输出值。图12是示出使用不具有光谱分布校正功能的矩阵进行图像分离的运算的情况下作为运算结果而得到的光谱分布的、与图5和图8不同的例子的图。
根据图12的图像数据ING的光谱分布,在与作为具有540nm附近的峰值波长的绿色域的光的REG光相当的波段成分以外,在与RERA光和RERB光相当的波段成分中也产生明确的输出值的变动,即,可知未适当分离出REG光的波段成分。
并且,根据图12的图像数据INR1的光谱分布,在与作为具有630nm附近的峰值波长的红色域的光的RERA光相当的波段成分以外,在与REG光和RERB光相当的波段成分中也产生明确的输出值的变动,即,可知也未适当分离出RERA光的波段成分。
并且,根据图12的图像数据INR2的光谱分布,在与作为具有650nm附近的峰值波长的红色域的光的RERB光相当的波段成分以外,在与REG光和RERA光相当的波段成分中也产生明确的输出值的变动,即,可知也未适当分离出RERB光的波段成分。
另一方面,根据第2变形例,通过进行使用了具有光谱分布校正功能的矩阵MAUC的运算,例如得到具有图13这种光谱分布的各颜色成分的信号的输出值。图13是示出使用具有光谱分布校正功能的矩阵进行了图像分离的运算的情况下作为运算结果而得到的光谱分布的、与图6和图9不同的例子的图。
根据图13的图像数据ING的光谱分布,与作为具有540nm附近的峰值波长的绿色域的光的REG光相当的波段成分以外的其他波段成分中未产生明确的输出值的变动,即,适当分离出REG光的波段成分。
并且,根据图13的图像数据INR1的光谱分布,与作为具有630nm附近的峰值波长的红色域的光的RERA光相当的波段成分以外的其他波段成分中未产生明确的输出值的变动,即,可知也适当分离出RERA光的波长成分。
并且,根据图13的图像数据INR2的光谱分布,与作为具有650nm附近的峰值波长的红色域的光的RERB光相当的波段成分以外的其他波段成分中未产生明确的输出值的变动,即,可知也适当分离出RERB光的波长成分。
因此,根据第2变形例,能够适当将通过同时式的摄像方式得到的包含多个颜色成分的图像分离为相互独立的各波段成分的图像。
另外,本发明不限于上述实施例,当然能够在不脱离发明主旨的范围内进行各种变更和应用。
本申请以2012年5月1日在日本申请的日本特愿2012-104831号为优先权主张的基础进行申请,上述公开内容被引用到本申请说明书、权利要求书和附图中。

Claims (9)

1.一种内窥镜装置,其特征在于,该内窥镜装置具有:
摄像部,其以按照各颜色成分而不同的分光感光度接收伴随着对被摄体照射照明光而产生的包含多个波段成分的返回光并对其进行拍摄;
校正处理部,其对所述摄像部拍摄所述返回光而得到的所述被摄体的图像中包含的各颜色成分的分光光谱分布实施校正处理;以及
图像分离处理部,其根据所述校正处理的结果,进行按照所述返回光中包含的各波段成分来分离所述被摄体的图像的处理。
2.根据权利要求1所述的内窥镜装置,其特征在于,
所述校正处理部根据表示所述返回光中包含的所述多个波段成分的光谱分布的信息和表示所述摄像部的分光感光度特性的信息,取得所述被摄体的图像中包含的各颜色成分的光谱分布,进而,设定所述校正处理中使用的校正参数,使得所述取得的各颜色成分的光谱分布彼此成为相似形状。
3.根据权利要求1所述的内窥镜装置,其特征在于,
所述内窥镜装置还具有存储部,该存储部存储有表示所述返回光中包含的所述多个颜色成分的光谱分布的信息和表示所述摄像部的分光感光度特性的信息,
所述校正处理部根据从所述存储部输出的各信息,设定所述校正处理中使用的校正参数。
4.根据权利要求1所述的内窥镜装置,其特征在于,
在所述返回光中包含有与预先投放到作为所述被摄体的活体组织中的荧光物质被所述照明光激励时发出的荧光对应的一个波段成分、以及与通过所述活体组织中的所述照明光的反射而产生的反射光对应的不同于所述一个波段成分的另一个波段成分。
5.根据权利要求1所述的内窥镜装置,其特征在于,
所述内窥镜装置还具有存储部,该存储部存储有与投放到所述活体组织中的荧光物质有关的信息、以及能够识别所述摄像部中包含的摄像元件的类别的信息,
所述校正处理部根据从所述存储部输出的各信息,设定所述校正处理中使用的校正参数。
6.根据权利要求1所述的内窥镜装置,其特征在于,
所述内窥镜装置还具有:信息输入部,其能够输入与投放到所述活体组织中的荧光物质有关的信息;以及存储部,其存储有能够识别所述摄像部中包含的摄像元件的类别的信息,
所述校正处理部根据在所述信息输入部中输入的信息和从所述存储部输出的信息,从预先计算出的多个校正参数中取得所述校正处理中使用的校正参数。
7.根据权利要求1所述的内窥镜装置,其特征在于,
所述摄像部构成为具有:彩色滤镜,其形成为针对多个颜色成分中的每个颜色成分具有不同的分光感光度,其中,该多个颜色成分的数量比所述返回光中包含的波段成分的数量多;以及摄像元件,其在摄像面上安装有所述彩色滤镜。
8.根据权利要求1所述的内窥镜装置,其特征在于,
所述返回光中包含有能够对存在于作为所述被摄体的活体组织的表层的毛细血管进行观察的波段成分、以及能够对存在于比所述活体组织的表层深的位置的中层的血管进行观察的波段成分。
9.根据权利要求1所述的内窥镜装置,其特征在于,
所述返回光中包含有能够对存在于作为所述被摄体的活体组织的中层的血管进行观察的波段成分、以及能够对存在于比所述活体组织的中层深的位置的深层的血管进行观察的波段成分。
CN201380004188.0A 2012-05-01 2013-04-23 内窥镜装置 Active CN103987309B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-104831 2012-05-01
JP2012104831 2012-05-01
PCT/JP2013/061893 WO2013164962A1 (ja) 2012-05-01 2013-04-23 内視鏡装置

Publications (2)

Publication Number Publication Date
CN103987309A true CN103987309A (zh) 2014-08-13
CN103987309B CN103987309B (zh) 2016-06-22

Family

ID=49514362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380004188.0A Active CN103987309B (zh) 2012-05-01 2013-04-23 内窥镜装置

Country Status (5)

Country Link
US (1) US9265406B2 (zh)
EP (1) EP2769665A4 (zh)
JP (1) JP5498626B1 (zh)
CN (1) CN103987309B (zh)
WO (1) WO2013164962A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104523214A (zh) * 2014-12-19 2015-04-22 佛山市南海区欧谱曼迪科技有限责任公司 一种窄带成像内窥镜装置
CN108135454A (zh) * 2015-09-30 2018-06-08 奥林巴斯株式会社 摄像装置、内窥镜以及内窥镜系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5927348B2 (ja) * 2013-10-30 2016-06-01 オリンパス株式会社 内視鏡装置
WO2015093295A1 (ja) * 2013-12-20 2015-06-25 オリンパス株式会社 内視鏡装置
JP6280406B2 (ja) * 2014-03-19 2018-02-14 Hoya株式会社 内視鏡システム
JP6346501B2 (ja) * 2014-06-16 2018-06-20 オリンパス株式会社 内視鏡装置
JP6072374B2 (ja) * 2014-11-20 2017-02-01 オリンパス株式会社 観察装置
CN107635452B (zh) * 2015-06-02 2019-09-13 奥林巴斯株式会社 特殊光内窥镜装置
JP2017093843A (ja) * 2015-11-25 2017-06-01 オリンパス株式会社 内視鏡システム
CN105748029B (zh) * 2016-02-18 2017-09-29 深圳开立生物医疗科技股份有限公司 一种内窥镜成像系统
WO2018229832A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229831A1 (ja) * 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229833A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229834A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
JP6791821B2 (ja) * 2017-08-31 2020-11-25 富士フイルム株式会社 内視鏡システム
WO2019234831A1 (ja) 2018-06-05 2019-12-12 オリンパス株式会社 内視鏡システム
WO2019234829A1 (ja) 2018-06-05 2019-12-12 オリンパス株式会社 内視鏡システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020175993A1 (en) * 2001-05-16 2002-11-28 Olympus Optical Co., Ltd. Endoscope system using normal light and fluorescence
US20050027166A1 (en) * 2003-06-17 2005-02-03 Shinya Matsumoto Endoscope system for fluorescent observation
WO2007045077A1 (en) * 2005-10-17 2007-04-26 Novadaq Technologies Inc. Device for short wavelength visible reflectance endoscopy using broadband illumination
CN101010029A (zh) * 2004-08-30 2007-08-01 奥林巴斯株式会社 内窥镜装置
WO2008015826A1 (en) * 2006-08-03 2008-02-07 Olympus Medical Systems Corp. Endoscope device
WO2011162099A1 (ja) * 2010-06-24 2011-12-29 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2011162111A1 (ja) * 2010-06-25 2011-12-29 オリンパスメディカルシステムズ株式会社 内視鏡装置
CN102309307A (zh) * 2010-07-09 2012-01-11 富士胶片株式会社 内窥镜设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001556A (en) * 1987-09-30 1991-03-19 Olympus Optical Co., Ltd. Endoscope apparatus for processing a picture image of an object based on a selected wavelength range
WO2005031433A1 (en) * 2003-09-26 2005-04-07 Tidal Photonics, Inc. Apparatus and methods relating to color imaging endoscope systems
JP5028008B2 (ja) * 2004-12-08 2012-09-19 オリンパス株式会社 蛍光内視鏡装置
US20090124854A1 (en) * 2007-11-09 2009-05-14 Fujifilm Corporation Image capturing device and image capturing system
DE102009058662A1 (de) * 2009-12-16 2011-06-22 Karl Storz GmbH & Co. KG, 78532 Verfahren zum Prüfen eines optischen Untersuchungssystems

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020175993A1 (en) * 2001-05-16 2002-11-28 Olympus Optical Co., Ltd. Endoscope system using normal light and fluorescence
US20050027166A1 (en) * 2003-06-17 2005-02-03 Shinya Matsumoto Endoscope system for fluorescent observation
CN101010029A (zh) * 2004-08-30 2007-08-01 奥林巴斯株式会社 内窥镜装置
WO2007045077A1 (en) * 2005-10-17 2007-04-26 Novadaq Technologies Inc. Device for short wavelength visible reflectance endoscopy using broadband illumination
WO2008015826A1 (en) * 2006-08-03 2008-02-07 Olympus Medical Systems Corp. Endoscope device
WO2011162099A1 (ja) * 2010-06-24 2011-12-29 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2011162111A1 (ja) * 2010-06-25 2011-12-29 オリンパスメディカルシステムズ株式会社 内視鏡装置
CN102309307A (zh) * 2010-07-09 2012-01-11 富士胶片株式会社 内窥镜设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104523214A (zh) * 2014-12-19 2015-04-22 佛山市南海区欧谱曼迪科技有限责任公司 一种窄带成像内窥镜装置
CN108135454A (zh) * 2015-09-30 2018-06-08 奥林巴斯株式会社 摄像装置、内窥镜以及内窥镜系统
CN108135454B (zh) * 2015-09-30 2020-03-13 奥林巴斯株式会社 摄像装置、内窥镜以及内窥镜系统

Also Published As

Publication number Publication date
EP2769665A1 (en) 2014-08-27
US9265406B2 (en) 2016-02-23
JP5498626B1 (ja) 2014-05-21
CN103987309B (zh) 2016-06-22
WO2013164962A1 (ja) 2013-11-07
US20140267657A1 (en) 2014-09-18
JPWO2013164962A1 (ja) 2015-12-24
EP2769665A4 (en) 2015-08-26

Similar Documents

Publication Publication Date Title
CN103987309A (zh) 内窥镜装置
CN106132276B (zh) 荧光观察内窥镜系统
CN106572792B (zh) 用于多光谱成像的方法和部件
CN103732117B (zh) 内窥镜装置
CN111345903B (zh) 图像处理设备、荧光观察设备及模拟荧光观察设备的方法
CN104066367B (zh) 活体观察装置
KR101022585B1 (ko) 생체 관측 장치
CN105266750B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
US20120154566A1 (en) Image processing device
US10295468B2 (en) Fluorescent image system
CN106132275B (zh) 观察图像取得系统以及观察图像取得方法
CN105310633B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
CN105212885B (zh) 医用图像处理装置及其工作方法、以及内窥镜系统
CN107405056A (zh) 活体观察系统
CN103260500B (zh) 医疗装置
CN105934191B (zh) 荧光观察装置
WO2017154325A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
CN102727157A (zh) 内窥镜装置
CN109640781A (zh) 内窥镜系统
CN107405053A (zh) 内窥镜系统
CN106163367A (zh) 医用图像处理装置及其工作方法以及内窥镜系统
KR102372602B1 (ko) 다파장 광원을 이용한 내시경 시스템
JP2019136555A (ja) 内視鏡光源装置、内視鏡システム、及び内視鏡光源装置の作動方法
WO2016151676A1 (ja) 画像処理装置、画像処理方法および生体観察装置
EP2366326A2 (en) Endoscope image correcting device and endoscope apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151030

Address after: Tokyo, Japan, Japan

Applicant after: Olympus Corporation

Address before: Tokyo, Japan, Japan

Applicant before: Olympus Medical Systems Corp.

C14 Grant of patent or utility model
GR01 Patent grant