CN102949172A - 图像显示方法及设备 - Google Patents

图像显示方法及设备 Download PDF

Info

Publication number
CN102949172A
CN102949172A CN2012102928078A CN201210292807A CN102949172A CN 102949172 A CN102949172 A CN 102949172A CN 2012102928078 A CN2012102928078 A CN 2012102928078A CN 201210292807 A CN201210292807 A CN 201210292807A CN 102949172 A CN102949172 A CN 102949172A
Authority
CN
China
Prior art keywords
image
light
zone
seen
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102928078A
Other languages
English (en)
Other versions
CN102949172B (zh
Inventor
山田英之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102949172A publication Critical patent/CN102949172A/zh
Application granted granted Critical
Publication of CN102949172B publication Critical patent/CN102949172B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2453Optical details of the proximal end
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/1006Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Astronomy & Astrophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

提供了图像显示方法及设备。在用于显示诸如荧光图像的特殊图像的图像显示设备中,以以下方式显示图像:可精确识别特殊图像的光输出部分在待观察区域中的位置,并且该图像精确代表诸如光输出部分的灰度的信息。获得了基于通过以可见光照射待观察区域而从所述待观察区域输出的光的可见图像,和基于通过以不同于所述可见光的波长带的波长带中的特殊光照射所述待观察区域而从所述待观察区域输出的光的特殊图像。通过提取代表可见图像的图像数据的一部分产生提取图像。通过将所产生的提取图像重叠在特殊图像上来产生重叠图像。显示所产生的重叠图像。

Description

图像显示方法及设备
技术领域
本发明涉及用于显示通过以特殊光照射待观察区域而得到的该待观察区域的特殊图像的图像显示方法及设备。
背景技术
通常,用于观察患者体腔内的组织的内窥镜系统广为人知。此外,通过以白光照射患者体腔内的待观察区域来获得这些区域的普通图像以及将这些普通图像显示在监控器屏幕上的电子内窥镜系统被广泛用于实际应用中。
作为这样的内窥镜系统,例如,已经提出了获得自体荧光图像和普通图像、并将这两种图像显示在监控器屏幕上的荧光内窥镜系统。该荧光内窥镜系统通过对利用激励光进行照射而从待观察区域输出的自体荧光的图像进行成像来获得自体荧光图像。
作为荧光内窥镜系统,已经提出了这样的一种系统,其例如通过预先在患者体内注射ICG(吲哚花青绿)、并通过利用激励光照射待观察区域检测患者血管内的ICG的荧光来获得荧光图像。
此处,在上述内窥镜系统中获得的荧光图像不代表整个待观察区域(诸如器官),而是仅代表待观察区域的光输出部分。因此,当仅观察荧光图像时,可以观察到待观察区域的光输出部分,而不能观察到该光输出区域周围的区域。因此,不能识别出该光输出部分位于待观察区域的何处。
为了解决该问题,例如,可以同时显示普通图像和荧光图像。
然而,由于这两个图像单独进行显示,因此仍不能准确识别荧光图像的光输出部分位于普通图像的何处。
因此,例如,日本未审查专利公开第9(1997)-154812号(专利文献1)、日本未审查专利公开第2002-010968号(专利文献2)、日本未审查专利公开第2005-349007号(专利文献3)、日本未审查专利公开第2006-175052号(专利文献4)、以及美国专利申请公开第20070073104号(专利文献5)提出了如下识别荧光图像的光输出部分的位置的方法:将代表普通图像的普通图像信号与代表荧光图像的荧光图像信号组合在一起来生成新的合成图像信号、并基于所述合成图像信号显示合成图像。
此外,日本未审查专利公开第2008-259591号(专利文献6)提出了另一种用于识别荧光图像的光输出部分的位置的方法。在专利文献6中,通过利用激励光照射待观察区域并通过利用包含荧光波长带的照明光照射该待观测区域来观察荧光图像的光输出部分与该光输出部分的背景图像。
但是,如在专利文献1至5中,当通过将普通图像和荧光图像组合在一起来生成合成图像时,存在着由于难以观察荧光图像的光输出部分的灰度(gradient)等而使得不能得到必需的信息的风险。
此外,如在专利文献6中,当以包含荧光波长带的照明光照射待观察区域时,需要额外提供滤光器、光源等。因此,增加了生产成本,并且设备尺寸变大。
发明内容
鉴于前述情况,本发明的一个目的是提供图像显示方法及设备,其显示使得能够准确识别荧光图像的光输出部分在待观察区域中的位置、并且能够准确代表诸如该光输出部分的灰度的信息的图像。本发明的图像显示设备是这样的图像显示设备,其包括:
图像获取单元,其获取基于通过以可见光照射待观察区域而从所述待观察区域输出的光的可见图像,和基于通过以不同于所述可见光的波长带的波长带中的特殊光照射所述待观察区域而从所述待观察区域输出的光的特殊图像;
提取图像产生单元,其通过提取代表所述可见图像的图像数据的一部分来产生提取图像;
重叠处理单元,其通过将由所述提取图像产生单元产生的提取图像重叠在所述特殊图像上来产生重叠图像;以及
显示单元,其对由所述重叠处理单元产生的重叠图像进行显示。
在本发明的图像显示设备中,提取图像产生单元可以通过提取包括在所述可见图像中的至少一个轮廓来产生所述提取图像。
可替换地,提取图像产生单元可以通过提取包括在所述可见图像中的具有预定尺寸或更大尺寸的至少一个封闭区域来产生所述提取图像。
此外,所述显示单元以以下方式进行显示:当代表通过以所述特殊光进行照射而输出光的区域的一部分特殊图像的尺寸大于等于预定阈值时不显示所述重叠图像,而显示未重叠所述提取图像的所述特殊图像。
此外,该设备还可以包括轮廓增强处理单元,其对所述可见图像执行轮廓增强处理,并且所述显示单元可以显示已经进行了轮廓增强处理的可见图像。
所述特殊光可以是激励光。
所述激励光可以是近红外光。
所述可见光可以是白光。
本发明的图像显示方法是包括以下步骤的图像显示方法:
获取基于通过以可见光照射待观察区域而从所述待观察区域输出的光的可见图像,并且获取基于通过以不同于所述可见光的波长带的波长带中的特殊光照射所述待观察区域而从所述待观察区域输出的光的特殊图像;
通过提取代表所述可见图像的图像数据的一部分来产生提取图像;
通过将所产生的提取图像重叠在所述特殊图像上来产生重叠图像;以及
对所产生的重叠图像进行显示。
根据本发明的图像显示方法和设备,通过以可见光照射待观察区域获得可见图像,并且通过以不同于所述可见光的波长带的波长带中的特殊光照射所述待观察区域而获得特殊图像。此外,通过提取代表可见图像的图像数据的一部分来产生提取图像。此外,通过将所产生的提取图像重叠在特殊图像上来产生重叠图像,并且显示所产生的重叠图像。因此,通过观察重叠图像可以准确识别特殊图像的光输出部分位于可见图像的何处。此外,可以显示精确代表诸如光输出部分的灰度的信息的图像。
附图说明
图1是示出利用本发明的图像显示设备的实施例的硬性内窥镜系统的结构的示意图;
图2是示出体腔插入单元的结构的示意图;
图3是示出成像单元的结构的示意图;
图4是示出图像处理设备和光源设备的构造的示意框图;
图5是示出图像处理单元的构造的示意框图;
图6是示出普通图像和荧光图像的示例的示意图;以及
图7是示出普通图像和重叠图像的示例的示意图。
具体实施方式
下文中,将参照附图详细描述利用根据本发明实施例的图像显示设备的硬性内窥镜系统。图1是示出根据本发明一个实施例的硬性内窥镜系统1的结构的示意性外部视图。
如图1所示,本实施例的硬性内窥镜系统1包括光源设备2、硬性内窥镜成像设备10、处理器3、和监控器4(相当于显示单元)。光源设备2输出为白光的普通光以及激励光。硬性内窥镜成像设备10引导从光源设备2输出的普通光和激励光,并利用该普通光和激励光照射待观察区域。此外,硬性内窥镜成像设备10成像基于通过利用普通光进行照射而从待观察区域反射的反射光的普通图像,以及基于通过以激励光进行照射而从所述待观察区域输出的荧光的荧光图像。处理器3对通过利用硬性内窥镜成像设备10进行成像而获得的图像信号进行预定的处理。监控器4基于由处理器3产生的显示控制信号显示待观察区域的普通图像、荧光图像和稍后描述的重叠图像。
如图1所示,硬性内窥镜成像设备10包括体腔插入单元30、和成像单元20。体腔插入单元30插入患者体腔内。成像单元20对待观察区域的已被体腔插入单元30引导的普通图像和荧光图像进行成像。
如图2所示,在硬性内窥镜成像设备10中,体腔插入单元30和成像单元20可附接以及可拆卸地彼此连接。体腔插入单元30包括连接元件30a、插入元件30b、缆线连接开口30c、一个或多个照射窗口30d、和成像窗口30e。
连接元件30a设置在体腔插入单元30(插入元件30b)的端部30X处。成像单元20和体腔插入单元30例如通过将连接元件30a装配到形成于成像单元20侧的开口20a中可附接以及可拆卸地彼此连接。
当对体腔内部进行成像时,将插入元件30b插入体腔。插入元件30b由硬材料制成,并例如具有直径约为5mm的圆柱形状。用于形成待观察区域的图像的透镜组置于插入元件30b的内部。待观察区域的普通图像和荧光图像通过位于另一端30Y处的成像窗口30e进入插入元件30b,并通过透镜组被输出至位于端部30X处的成像单元20侧。
缆线连接开口30c设置在插入元件30b的侧面,并且光缆LC机械连接至缆线连接开口30c。因此,光源设备2和插入元件30b通过光缆LC彼此光学连接。光缆LC由引导普通光和激励光的所谓的束纤维(一束纤维)构成。
一个或多个照射窗口30d设置在体腔插入单元30的另一端部30Y一侧。一个或多个照射窗口30d用于利用已由光缆LC引导的普通光和激励光照射待观察区域。此外,用于将普通光和激励光从缆线连接开口30c引导至一个或多个照射窗口30d的束纤维(未示出)容纳在插入元件30b中。一个或多个照射窗口30d是通过对束纤维的前端进行抛光而形成的。
图3是示出成像单元20的结构的示意图。成像单元20包括第一成像系统和第二成像系统。第一成像系统通过对由体腔插入单元30中的透镜组形成的待观察区域的荧光图像进行成像来产生待观察区域的荧光图像信号。第二成像系统通过对由体腔插入单元30中的透镜组形成的待观察区域的普通图像进行成像来产生待观察区域的普通图像信号。这些成像系统被二向色棱镜21分成两个彼此正交的光轴,其中二向色棱镜21具有反射普通图像而通过荧光图像的光谱特性。
第一成像系统包括激励光截止滤光器(cut filter)22、第一图像形成光学系统23、和高灵敏度成像装置24。激励光截止滤光器22滤除被待观察区域反射且已通过二向色棱镜21、波长小于等于激励光的波长的光。激励光截止滤光器22传递稍后描述的荧光波长范围内的照明光。第一图像形成光学系统23形成已从体腔插入单元30输出并通过二向色棱镜21和激励光截止滤光器22的荧光图像L4的图像。高灵敏度成像装置24对由第一图像形成光学系统23形成的荧光图像L4进行成像。
第二成像系统包括第二图像形成光学系统25和成像装置26。第二图像形成光学系统25形成已从体腔插入单元30输出且被二向色棱镜21反射的普通图像L3的图像。成像装置26对由第二图像形成光学系统25形成的普通图像进行成像。
高灵敏度成像装置24以高灵敏度检测荧光图像L4的波长带中的光,并将该光转换成荧光图像信号,然后输出这些荧光图像信号。在本实施例中,成像单色图像的成像装置用作高灵敏度成像装置24。
成像装置26检测普通图像的波长带中的光,并将该光转换成普通图像信号,然后输出这些普通图像信号。Bayer排列或蜂窝排列的红(R)、绿(G)及兰(B)三原色滤光器或青(C)、品红(M)及黄(Y)CMY混色滤光器设置在成像装置26的成像平面上。
此外,在成像单元20中设置有成像控制单元27。成像控制单元27对从高灵敏度成像装置24输出的荧光图像信号和从成像装置26输出的普通图像信号执行CDS/AGC(相关双采样/自动增益控制)处理和A/D转换处理,并通过缆线5(请参见图1)将处理后的信号输出至处理器3。
如图4所示,处理器3包括普通图像输入控制器31、荧光图像输入控制器32、图像处理单元33、存储器34、视频输出单元35、操作单元36、TG(定时发生器)37、和CPU38。
普通图像输入控制器31和荧光图像输入控制器32中的每一个都包括预定容量的行缓冲器。普通图像输入控制器31针对每一帧临时存储已从成像单元20的成像控制单元27输出的普通图像信号。荧光图像输入控制器32临时存储荧光图像信号。存储于普通图像输入控制器31中的普通图像信号和存储于荧光图像输入控制器32中的荧光图像信号通过总线被存入存储器34中。在该实施例中,普通图像输入控制器31和荧光图像输入控制器32相当于图像获取单元。
图像处理单元33接收从存储器34读取的每一帧的普通图像信号和每一帧的荧光图像信号,并对这些图像信号执行预定的图像处理,然后将处理后的信号输出至总线。图5示出了图像处理单元33的更具体构造。
如图5所示,图像处理单元33包括荧光图像处理单元51、普通图像处理单元52、噪声消除处理单元53、边缘提取单元54和重叠处理单元55。
荧光图像处理单元51对输入的荧光图像信号执行适于荧光图像的预定图像处理,并输出处理后的荧光图像信号。在该实施例中,成像了轮廓较模糊的ICG的荧光图像。因此,荧光图像处理单元51对荧光图像信号执行灰度校正处理和锐化处理。
普通图像处理单元52对输入的普通图像信号执行适于普通图像的预定图像处理,并输出处理后的普通图像信号。
噪声消除处理单元53对输入的普通图像信号执行噪声消除处理。具体地,在该实施例中,噪声消除处理单元53执行用于消除普通图像信号中包含的高频成分噪声的处理。作为这种用于消除高频成分噪声的处理,可以采用已知的技术。例如,可以使用利用中值滤波器的处理。
边缘提取单元54对已经进行了噪声消除处理的普通图像信号进行边缘提取处理。边缘提取单元54通过利用边缘提取处理提取普通图像信号中所包括的器官、血管等的轮廓来产生轮廓提取图像信号。作为边缘提取处理,可以采用已知的技术。例如,可以采用利用拉普拉斯滤波器的处理、利用Canny法的处理等。在该实施例中,前述的噪声消除处理单元53和边缘提取单元54构成提取图像产生单元。
重叠处理单元55通过将边缘提取单元54产生的轮廓提取图像信号放置在已经由荧光图像处理单元51进行了图像处理的荧光图像信号上来产生重叠图像信号。
返回图4,视频输出单元35通过总线接收从图像处理单元33输出的普通图像信号、荧光图像信号和重叠图像信号,并通过对接收到的图像信号执行预定处理来产生显示控制信号。视频输出单元35将显示控制信号输出至监控器4。
操作单元36接收操作者或用户的输入,诸如各种操作指令和控制参数。TG 37输出驱动脉冲信号,以驱动成像单元20中的高灵敏度成像装置24和成像装置26、以及光源设备2中的LD驱动器45(稍后描述)。CPU38控制光源设备。
光源设备2包括普通光源40、聚光透镜42、和二向色镜43。普通光源40输出约400至700nm的宽波长带中的普通光(白光)L1。聚光透镜42聚集从普通光源40输出的普通光L1。二向色镜43通过已被聚光透镜42聚集的普通光L1,并反射激励光L2(稍后描述)。二向色镜43使得普通光L1和激励光L2进入光缆LC的进口端。作为普通光源40,例如,使用了氙灯。此外,在普通光源40和聚光透镜42之间设置挡块(膜片或光圈)41,并且光圈的尺寸(F数)基于来自ALC(自动光控制)48的控制信号进行控制。
光源设备2包括近红外LD光源44、LD驱动器45、聚光透镜46、和反射镜47。近红外LD光源44输出波长为750至830nm的近红外光作为激励光L2。LD驱动器45驱动近红外LD光源44。聚光透镜46对从近红外LD光源44输出的激励光42进行聚光。反射镜47将聚光透镜46聚集的激励光L2反射向二向色镜43。
激励光L2的波长带比普通光的波长带(其为宽波长带)窄。激励光L2不限于前述波长带中的光,而是基于荧光颜料的种类或要激励的自体荧光活体组织的种类进行适当确定。
接下来,将描述根据本实施例的硬性内窥镜系统的动作。
本实施例的硬性内窥镜系统显示通过以激励光进行照射而得到的I CG荧光的荧光图像、以白光进行照射得到的普通图像、以及重叠图像。该重叠图像基于前述的重叠图像信号。首先,将描述显示普通图像和荧光图像的动作。
首先,操作者将体腔插入单元30插入患者体腔,体腔插入单元30的前端被设置在待观察区域附近。
然后,从光源设备2中的普通光源40输出的普通光L1通过聚光透镜42、二向色镜43、和光缆LC进入体腔插入单元30。普通光L1通过体腔插入单元30的照射窗口30d照射待观察区域。同时,从光源设备2中的近红外LD光源44输出的激励光L2通过聚光透镜46、反射镜47、二向色镜43、和光缆LC进入体腔插入单元30。在以普通光L1照射待观察区域的同时,激励光L2通过体腔插入单元30的照射窗口30d照射待观察区域。
此外,对基于通过以普通光L1照射待观察区域而从待观察区域反射的反射光的普通图像进行成像。此外,对基于通过以激励光L2照射待观察区域而从待观察区域输出的荧光的荧光图像进行成像。此处,假设已经预先将ICG引入待观察区域,并对从ICG输出的荧光进行成像。
具体地,当对普通图像进行成像时,基于通过以普通光L1照射待观察区域而从待观察区域反射的反射光的普通图像L3从插入元件30b的前端30Y进入插入元件30b。普通图像L3受插入元件30b中的透镜组的引导,并向成像单元20输出。
进入成像单元20的普通图像L3被二向色棱镜21以直角向成像装置26反射。此外,普通图像L3的图像被第二图像形成光学系统25形成在成像装置26的成像平面上。成像装置26以预定的帧速率顺序对普通图像L3进行成像。
普通图像信号从成像装置26顺序输出,在成像控制单元27中对普通图像信号执行CDS/AGC(相关双采样/自动增益控制)处理和A/D转换处理。处理后的普通图像信号通过缆线5顺序输出至处理器3。
进入处理器3的普通图像信号在被临时存入普通图像输入控制器31中之后被存入存储器34。每一帧的普通图像信号被从存储器34读出,并由图像处理单元33中的普通图像处理单元52对普通图像信号进行预定的图像处理。处理后的普通图像信号顺序输出至视频输出单元35。
视频输出单元35通过对进入视频输出单元35的普通图像信号执行预定的处理来产生显示控制信号。此外,视频输出单元35将每一帧的显示控制信号顺序输出至监控器4。监控器4基于输入的显示控制信号来显示普通图像。
同时,当成像荧光图像时,基于通过以激励光照射待观察区域而从待观察区域输出的荧光的荧光图像L4从插入元件30b的前端30Y进入插入元件30b。荧光图像L4受插入元件30b中的透镜组的引导,并向成像单元20输出。
进入成像单元20的荧光图像L4通过二向色棱镜21和激励光截止滤光器22。此外,荧光图像L4的图像被第一图像形成光学系统23形成在高灵敏度成像装置24的成像平面上。高灵敏度成像装置24以预定的帧速率对荧光图像L4进行成像。
荧光图像信号从高灵敏度成像装置24顺序输出,在成像控制单元27中对荧光图像信号执行CDS/AGC(相关双采样/自动增益控制)处理和A/D转换处理。处理后的荧光图像信号通过缆线5顺序输出至处理器3。
进入处理器3的荧光图像信号在被临时存入荧光图像输入控制器32中之后被存入存储器34。每一帧的荧光图像信号被从存储器34读出,并由图像处理单元33中的荧光图像处理单元51对荧光图像信号进行预定的图像处理。处理后的荧光图像信号顺序输出至视频输出单元35。
视频输出单元35通过对进入视频输出单元35的荧光图像信号执行预定的处理来产生显示控制信号。此外,视频输出单元35将每一帧的显示控制信号顺序输出至监控器4。监控器4基于输入的显示控制信号来显示荧光图像。
图6是示出通过前述动作显示在监控器4上的普通图像和荧光图像的示例的示意图。图6中,以线图代表普通图像。但是,实际的普通图像是彩色图像。
当显示普通图像和荧光图像时,如图6所示,在一些情况中,观察者(用户)想要了解荧光图像的光输出部分位于普通图像的何处(换言之,荧光图像的光输出部分在普通图像中的位置或大概位置)。在这种情况中,观察者利用操作单元36输入用于显示重叠图像的指令。基于该指令显示重叠图像。接下来,将描述显示重叠图像的动作。
具体地,当显示合成图像时,已输入图像处理单元33的普通图像信号被输入至噪声消除处理单元53。在噪声消除处理单元53对普通图像信号执行了噪声消除处理之后,将处理后的普通图像信号输入至边缘提取单元54。此外,边缘提取单元54对已经进行了噪声消除处理的普通图像信号进行边缘提取处理。相应地,产生了轮廓提取图像信号。
如上所述的已经基于普通图像信号产生的轮廓提取图像信号、和已从荧光图像处理单元51输出的荧光图像信号被输入至重叠处理单元55。重叠处理单元55通过将输入的轮廓提取图像信号重叠在输入的荧光图像信号上来产生重叠图像信号。
由重叠处理单元55产生的重叠图像信号被输入至视频输出单元35。视频输出单元35通过对输入的重叠图像信号执行预定的处理来产生显示控制信号。此外,视频输出单元35将每一帧的显示控制信号顺序输出至监控器4。监控器4基于输入的显示控制信号显示重叠图像。图7是示出通过前述动作显示在监控器4上的重叠图像的示例的示意图。图7中,以白色显示基于轮廓提取图像信号显示的轮廓提取图像。然而,轮廓提取图像的实际颜色不限于白色。实际的轮廓提取图像可以以黑色之外的不同颜色进行显示。
在重叠图像中,基于普通图像而产生的轮廓提取图像重叠并显示在荧光图像上。因此,可以立即识别出荧光图像的光输出部分位于普通图像的何处。
在如上所述显示重叠图像时,同时显示的普通图像可以以增强该普通图像的一个或多个轮廓的方式进行显示。具体地,还可以提供轮廓增强处理单元来显示通过对普通图像信号进行轮廓增强处理而使得一个或多个轮廓得到增强的普通图像。轮廓增强处理单元对普通图像信号执行轮廓增强处理,诸如边缘增强处理。因此,可以立即识别出普通图像和已经重叠在荧光图像上的轮廓提取图像之间的对应关系。
此外,在前述实施例的硬性内窥镜系统中,提取了普通图像中所包括的所有轮廓,所提取的轮廓被重叠到荧光图像上。然而,不必提取所有的轮廓。例如,可以仅提取普通图像中某一区域或某些区域(诸如,一个器官)的轮廓以获得轮廓提取图像,并且该轮廓提取图像被重叠在荧光图像上。具体地,可以从普通图像中的所有轮廓中仅提取大于等于预定尺寸的一个或多个闭合区域的轮廓,以产生轮廓提取图像。此外,轮廓提取图像可以重叠在荧光图像上。当将这样的轮廓提取图像重叠在荧光图像上时,可以删除或排除不需要的轮廓,诸如由短线段组成的轮廓或形成小的闭合区域的轮廓。因此,可以在识别出荧光图像的光输出部分的位置的同时更清晰地观察荧光图像的光输出部分。闭合区域不仅利用普通图像中的器官、血管等的一个或多个轮廓来形成,而且利用整个普通图像的轮廓(图6和图7所示的圈)形成。与轮廓提取图像对应的普通图像中的一个或多个轮廓可以以该一个或多个轮廓在此情况中也被增强的方式进行显示。此外,可以以其中至少两个模式可切换的方式来提供不同的显示模式,诸如如上所述的将所有轮廓的轮廓提取图像重叠在荧光图像上的显示模式、将部分轮廓(诸如一个器官的轮廓)的轮廓提取图像重叠在荧光图像上的显示模式、以及显示其上无轮廓提取图像重叠的荧光图像的显示模式。
当在如前述的硬性内窥镜系统中观察ICG的荧光图像时,在向待观察区域引入ICG之后的很短时间段期间,光输出部分很小。然而,当在引入了ICG之后经过了一定时间段时,该ICG的光输出部分的面积变大。因此,该光输出部分位置的识别变得相对容易,并且在一些情况下不必如上所述将轮廓提取图像重叠在荧光图像上。
因此,在前述实施例的硬性内窥镜系统中,可以计算出荧光图像中光输出部分的面积,并且当该面积变得大于等于预定阈值时,可以在不显示轮廓提取图像的情况下来显示荧光图像。因此,可以更清晰地观察荧光图像的光输出部分。作为不显示轮廓提取图像的方法,可以采用其中不产生轮廓提取图像的方法。具体地,不执行噪声消除处理、边缘提取处理和重叠处理中的任一处理。可替换地,可以采用其中产生但不显示轮廓提取图像的方法。
在前述实施例中,通过利用普通光和激励光同时照射待观察区域来同时成像普通图像和荧光图像。然而,本发明的图像显示设备不必以此方式来构造。例如,待观察区域可以以时分方式交替利用普通光和激励光来照射,从而以时分方式成像普通图像和荧光图像。
在前述实施例中,利用第一成像系统成像荧光图像。然而,不必成像荧光图像。可替换地,可以对基于通过利用特殊光照射待观察区域而得到的待观察区域的光吸收特性的图像进行成像。
在前述实施例中,本发明的图像显示设备被应用于硬性内窥镜系统。然而,本发明的图像显示设备的应用不限于硬性内窥镜系统。例如,本发明的图像显示设备可以应用于包括软性内窥镜设备在内的不同类型的内窥镜系统。此外,本发明的图像显示设备不是必须应用于内窥镜系统。本发明的图像显示设备可以应用于不包括插入患者体腔的插入单元的所谓的视频类型的医疗图像成像设备。

Claims (9)

1.一种图像显示设备,包括:
图像获取单元,其获取基于通过以可见光照射待观察区域而从所述待观察区域输出的光的可见图像,和基于通过以不同于所述可见光的波长带的波长带中的特殊光照射所述待观察区域而从所述待观察区域输出的光的特殊图像;
提取图像产生单元,其通过提取代表所述可见图像的图像数据的一部分来产生提取图像;
重叠处理单元,其通过将由所述提取图像产生单元产生的提取图像重叠在所述特殊图像上来产生重叠图像;以及
显示单元,其对由所述重叠处理单元产生的重叠图像进行显示。
2.根据权利要求1所述的图像显示设备,其中,所述提取图像产生单元通过提取包括在所述可见图像中的至少一个轮廓来产生所述提取图像。
3.根据权利要求1或2所述的图像显示设备,其中,所述提取图像产生单元通过提取包括在所述可见图像中的具有预定尺寸或更大尺寸的至少一个闭合区域来产生所述提取图像。
4.根据权利要求1所述的图像显示设备,其中,当代表通过以所述特殊光进行照射而输出光的区域的一部分特殊图像的尺寸大于等于预定阈值时,所述显示单元不显示所述重叠图像,而是显示未重叠所述提取图像的所述特殊图像。
5.根据权利要求1所述的图像显示设备,其中,所述图像显示设备还包括:
轮廓增强处理单元,其对所述可见图像执行轮廓增强处理,
其中,所述显示单元显示已经进行了轮廓增强处理的可见图像。
6.根据权利要求1所述的图像显示设备,其中,所述特殊光是激励光。
7.根据权利要求6所述的图像显示设备,其中,所述激励光是近红外光。
8.根据权利要求1所述的图像显示设备,其中,所述可见光是白光。
9.一种图像显示方法,包括以下步骤:
获取基于通过以可见光照射待观察区域而从所述待观察区域输出的光的可见图像,并且获取基于通过以不同于所述可见光的波长带的波长带中的特殊光照射所述待观察区域而从所述待观察区域输出的光的特殊图像;
通过提取代表所述可见图像的图像数据的一部分来产生提取图像;
通过将所产生的提取图像重叠在所述特殊图像上来产生重叠图像;以及
对所产生的重叠图像进行显示。
CN201210292807.8A 2011-08-16 2012-08-16 图像显示方法及设备 Expired - Fee Related CN102949172B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011177843A JP5385350B2 (ja) 2011-08-16 2011-08-16 画像表示方法および装置
JP2011-177843 2011-08-16

Publications (2)

Publication Number Publication Date
CN102949172A true CN102949172A (zh) 2013-03-06
CN102949172B CN102949172B (zh) 2016-02-10

Family

ID=47712334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210292807.8A Expired - Fee Related CN102949172B (zh) 2011-08-16 2012-08-16 图像显示方法及设备

Country Status (3)

Country Link
US (1) US8933964B2 (zh)
JP (1) JP5385350B2 (zh)
CN (1) CN102949172B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105517482A (zh) * 2013-09-10 2016-04-20 索尼公司 图像处理装置、图像处理方法和程序
CN105637402A (zh) * 2013-10-17 2016-06-01 奥林巴斯株式会社 内窥镜装置
CN105705084A (zh) * 2013-09-20 2016-06-22 国立大学法人旭川医科大学 血管内血流动态的图像处理方法及系统
CN106056594A (zh) * 2016-05-27 2016-10-26 四川桑莱特智能电气设备股份有限公司 一种基于双光谱的可见光图像提取系统与方法
CN106488073A (zh) * 2015-08-27 2017-03-08 弗兰克公司 用于热可见组合的图像和相机的边缘增强
CN109640781A (zh) * 2016-09-06 2019-04-16 奥林巴斯株式会社 内窥镜系统
CN110337259A (zh) * 2017-02-24 2019-10-15 富士胶片株式会社 内窥镜系统、处理器装置及内窥镜系统的工作方法
CN111249625A (zh) * 2020-01-21 2020-06-09 北京泓业致联科技有限公司 一种医用光源装置及系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5844230B2 (ja) * 2011-10-12 2016-01-13 富士フイルム株式会社 内視鏡システム及びその作動方法
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
US20160015469A1 (en) * 2014-07-17 2016-01-21 Kyphon Sarl Surgical tissue recognition and navigation apparatus and method
EP3289961A4 (en) 2015-04-30 2018-12-26 Sony Olympus Medical Solutions Inc. Signal processing device and medical observation system
JP6485275B2 (ja) * 2015-08-03 2019-03-20 株式会社島津製作所 イメージング装置
JP6485284B2 (ja) * 2015-08-25 2019-03-20 株式会社島津製作所 イメージング装置
JP6939000B2 (ja) * 2017-03-23 2021-09-22 株式会社Jvcケンウッド 撮像装置及び撮像方法
EP3619572A4 (en) * 2017-05-01 2020-05-06 Gentex Corporation IMAGING DEVICE WITH SWITCHABLE DAY AND NIGHT MODES
US10835116B2 (en) * 2017-11-16 2020-11-17 Karl Storz Imaging, Inc. Vocal cord stroboscopy
JPWO2019155931A1 (ja) * 2018-02-09 2021-01-28 ソニー株式会社 手術システム、画像処理装置及び画像処理方法
US11419500B2 (en) 2018-03-01 2022-08-23 Shimadzu Corporation Imaging apparatus
JP7272670B2 (ja) * 2018-05-31 2023-05-12 i-PRO株式会社 カメラ装置、画像処理方法およびカメラシステム
US11159749B2 (en) * 2019-12-12 2021-10-26 Karl Storz Imaging, Inc. Infrared imaging system having structural data enhancement
JP7527170B2 (ja) 2020-09-30 2024-08-02 Hoya株式会社 内視鏡及び内視鏡装置
CN114298980A (zh) * 2021-12-09 2022-04-08 杭州海康慧影科技有限公司 一种图像处理方法、装置及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10309281A (ja) * 1997-05-13 1998-11-24 Olympus Optical Co Ltd 蛍光診断装置
US20020026099A1 (en) * 2000-08-25 2002-02-28 Asahi Kogaku Kogyo Kabushiki Kaisha Video endoscope system and illumination optical system
CN1415267A (zh) * 2001-10-18 2003-05-07 韩国电工技术研究院 荧光内窥镜装置和使用该装置在身体内对组织成像的方法
US20040019253A1 (en) * 2002-03-28 2004-01-29 Fuji Photo Film Co., Ltd. Endoscope apparatus
JP2005319116A (ja) * 2004-05-10 2005-11-17 Pentax Corp 蛍光観察内視鏡装置
CN1794783A (zh) * 2004-12-22 2006-06-28 索尼株式会社 图像处理装置、图像处理方法及摄像装置
CN101106936A (zh) * 2005-01-19 2008-01-16 奥林巴斯株式会社 电子内窥镜装置
US20080294105A1 (en) * 2000-07-21 2008-11-27 Olympus Corporation Endoscope device
WO2010066827A1 (en) * 2008-12-11 2010-06-17 Fundació Clinic Per A La Recerca Biomêdica Equipment for infrared vision of anatomical structures and signal processing methods thereof
WO2011004801A1 (ja) * 2009-07-06 2011-01-13 富士フイルム株式会社 内視鏡用照明装置及び内視鏡装置
CN102006818A (zh) * 2008-01-24 2011-04-06 救生外科系统公司 胆总管手术成像系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010968A (ja) 1991-03-11 2002-01-15 Olympus Optical Co Ltd 画像処理装置
JP3525235B2 (ja) 1995-12-06 2004-05-10 松下電器産業株式会社 光診断装置
US8620410B2 (en) * 2002-03-12 2013-12-31 Beth Israel Deaconess Medical Center Multi-channel medical imaging system
JP4190917B2 (ja) * 2002-03-28 2008-12-03 富士フイルム株式会社 内視鏡装置
AU2003248559A1 (en) * 2002-05-22 2003-12-12 Beth Israel Deaconess Medical Center Device for wavelength-selective imaging
WO2005034747A1 (en) * 2003-09-15 2005-04-21 Beth Israel Deaconess Medical Center Medical imaging systems
JP4476033B2 (ja) 2004-06-11 2010-06-09 Hoya株式会社 電子内視鏡用プロセッサ
JP2006175052A (ja) 2004-12-22 2006-07-06 Fuji Photo Film Co Ltd 蛍光画像撮像装置
JP4761899B2 (ja) 2005-09-12 2011-08-31 Hoya株式会社 電子内視鏡システム
JP2008259591A (ja) 2007-04-10 2008-10-30 Hamamatsu Photonics Kk 蛍光観察用光源装置及びそれを用いた蛍光観察装置
WO2011084528A1 (en) * 2009-12-15 2011-07-14 Emory University Office Of Technology Transfer System and method for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
JP2011200367A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp 画像撮像方法および装置
JP5417268B2 (ja) * 2010-06-28 2014-02-12 富士フイルム株式会社 内視鏡システム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10309281A (ja) * 1997-05-13 1998-11-24 Olympus Optical Co Ltd 蛍光診断装置
US20080294105A1 (en) * 2000-07-21 2008-11-27 Olympus Corporation Endoscope device
US20020026099A1 (en) * 2000-08-25 2002-02-28 Asahi Kogaku Kogyo Kabushiki Kaisha Video endoscope system and illumination optical system
CN1415267A (zh) * 2001-10-18 2003-05-07 韩国电工技术研究院 荧光内窥镜装置和使用该装置在身体内对组织成像的方法
US20040019253A1 (en) * 2002-03-28 2004-01-29 Fuji Photo Film Co., Ltd. Endoscope apparatus
JP2005319116A (ja) * 2004-05-10 2005-11-17 Pentax Corp 蛍光観察内視鏡装置
CN1794783A (zh) * 2004-12-22 2006-06-28 索尼株式会社 图像处理装置、图像处理方法及摄像装置
CN101106936A (zh) * 2005-01-19 2008-01-16 奥林巴斯株式会社 电子内窥镜装置
CN102006818A (zh) * 2008-01-24 2011-04-06 救生外科系统公司 胆总管手术成像系统
WO2010066827A1 (en) * 2008-12-11 2010-06-17 Fundació Clinic Per A La Recerca Biomêdica Equipment for infrared vision of anatomical structures and signal processing methods thereof
WO2011004801A1 (ja) * 2009-07-06 2011-01-13 富士フイルム株式会社 内視鏡用照明装置及び内視鏡装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105517482A (zh) * 2013-09-10 2016-04-20 索尼公司 图像处理装置、图像处理方法和程序
US9824443B2 (en) 2013-09-10 2017-11-21 Sony Corporation Image processing device, image processing method, and program
CN105705084A (zh) * 2013-09-20 2016-06-22 国立大学法人旭川医科大学 血管内血流动态的图像处理方法及系统
CN105705084B (zh) * 2013-09-20 2019-07-12 国立大学法人旭川医科大学 血管内血流动态的图像处理方法及系统
CN105637402A (zh) * 2013-10-17 2016-06-01 奥林巴斯株式会社 内窥镜装置
CN106488073A (zh) * 2015-08-27 2017-03-08 弗兰克公司 用于热可见组合的图像和相机的边缘增强
CN106488073B (zh) * 2015-08-27 2019-07-12 弗兰克公司 用于热可见组合的图像和相机的边缘增强
CN106056594A (zh) * 2016-05-27 2016-10-26 四川桑莱特智能电气设备股份有限公司 一种基于双光谱的可见光图像提取系统与方法
CN109640781A (zh) * 2016-09-06 2019-04-16 奥林巴斯株式会社 内窥镜系统
CN110337259A (zh) * 2017-02-24 2019-10-15 富士胶片株式会社 内窥镜系统、处理器装置及内窥镜系统的工作方法
CN111249625A (zh) * 2020-01-21 2020-06-09 北京泓业致联科技有限公司 一种医用光源装置及系统

Also Published As

Publication number Publication date
US8933964B2 (en) 2015-01-13
JP2013039223A (ja) 2013-02-28
CN102949172B (zh) 2016-02-10
US20130044126A1 (en) 2013-02-21
JP5385350B2 (ja) 2014-01-08

Similar Documents

Publication Publication Date Title
CN102949172B (zh) 图像显示方法及设备
US9906739B2 (en) Image pickup device and image pickup method
JP5435796B2 (ja) 画像取得装置の作動方法および画像撮像装置
EP3540494B1 (en) Augmented reality surgical microscope and microscopy method
US20110237895A1 (en) Image capturing method and apparatus
EP2368480B1 (en) Electronic endoscope system and processor unit thereof
WO2015156153A1 (ja) 蛍光観察内視鏡システム
EP3808247B1 (en) Simultaneous visible and fluorescence endoscopic imaging
CN102440760B (zh) 图像获取及显示方法和图像捕获及显示设备
CN112153932B (zh) 光功率分配用连接器及内窥镜系统
WO1999001749A1 (en) Fluorescence imaging system
US20110109761A1 (en) Image display method and apparatus
EP2767212B1 (en) Endoscope system and image generation method
NO20053232L (no) Innretning for skjermvisning av vevsdiagnose.
JP5385176B2 (ja) 画像表示装置の作動方法および画像表示装置
US20120053413A1 (en) Fluorescent endoscopy apparatus
JP2001161696A (ja) 蛍光画像取得方法および装置
JP5570352B2 (ja) 画像撮像装置
JP2012050617A (ja) 画像取得方法および装置
CN217792957U (zh) 内窥镜系统
CN111568549A (zh) 一种具有实时成像功能的可视化系统
JP7281308B2 (ja) 医療用画像処理装置及び医療用観察システム
JP5698619B2 (ja) 内視鏡装置
CN116725458A (zh) 内窥镜系统及内窥镜检测方法
Zeng White Light Endoscopy

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160210

Termination date: 20210816

CF01 Termination of patent right due to non-payment of annual fee