CN102361583B - 图像处理装置、摄像装置、图像处理程序以及图像处理方法 - Google Patents

图像处理装置、摄像装置、图像处理程序以及图像处理方法 Download PDF

Info

Publication number
CN102361583B
CN102361583B CN201080013461.2A CN201080013461A CN102361583B CN 102361583 B CN102361583 B CN 102361583B CN 201080013461 A CN201080013461 A CN 201080013461A CN 102361583 B CN102361583 B CN 102361583B
Authority
CN
China
Prior art keywords
image
look
motion vector
out station
fluoroscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080013461.2A
Other languages
English (en)
Other versions
CN102361583A (zh
Inventor
吉野浩一郎
铃木博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN102361583A publication Critical patent/CN102361583A/zh
Application granted granted Critical
Publication of CN102361583B publication Critical patent/CN102361583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Processing (AREA)

Abstract

作为本发明实施方式之一的图像处理装置(4)具备运动矢量运算部(43)和位置对准处理部(44)。运动矢量运算部(43)计算基于从照射了激励光的观察部位(S)产生的荧光的观察部位(S)的荧光图像与基于来自观察部位(S)的反射光的观察部位(S)的反射光图像之间的运动矢量信息。位置对准处理部(44)根据上述运动矢量信息来校正观察部位(S)的荧光图像与反射光图像之间的被摄体的位置偏移。

Description

图像处理装置、摄像装置、图像处理程序以及图像处理方法
技术领域
本发明涉及图像处理装置、摄像装置、图像处理程序以及图像处理方法，尤其涉及对基于来自被摄体的荧光的荧光图像进行处理的图像处理装置、摄像装置、图像处理程序以及图像处理方法。
背景技术
一直以来，在医疗领域中，当观察被检体的脏器内部时采用内窥镜系统。内窥镜系统一般是将细长形状的挠性插入部插入到患者等被检体的体腔内，经由所插入的挠性插入部向体腔内的生物体组织照射白色光，并利用挠性插入部内的摄像部来接收其反射光，对该生物体组织的白色光图像进行摄像。在该内窥镜系统的显示部上显示该生物体组织的白色光图像。医师等用户通过内窥镜系统的显示部所显示的生物体组织的白色光图像来观察被检体的体腔内。
另一方面，在近年的内窥镜领域中出现了如下这样的内窥镜系统，经由已插入体腔内的挠性插入部对体腔内的生物体组织照射白色光以外的激励光，由挠性插入部内的摄像部接收根据该激励光的照射而从生物体组织产生的自身荧光或药剂荧光，来拍摄该生物体组织的荧光图像(例如参照专利文献1)。另外还出现了如下这样的内窥镜系统，根据从作为被摄体的病变部产生的药剂荧光来拍摄病变部的药剂荧光图像，对所拍摄的药剂荧光图像的亮度进行标准化处理，由此来校正由于从被摄体到摄像部的距离不同而引起的荧光的明暗(例如，参照专利文献2)。此外，该专利文献2所公开的内窥镜系统的图像处理装置依次取得体腔内部中的观察对象部位的药剂荧光图像与自身荧光图像，根据该自身荧光图像来生成标准化用图像，并将该药剂荧光图像的亮度值除以标准化用图像的亮度值，由此对该药剂荧光图像的亮度进行标准化处理。
现有技术文献
专利文献
【专利文献1】日本特开2007-229053号公报
【专利文献2】日本特开2008-183349号公报
发明内容
发明要解决的课题
但是，在上述现有的内窥镜系统中，以互不相同的定时来拍摄在病变部的药剂荧光图像上例示的观察对象的荧光图像和用于荧光图像的标准化处理的标准化用图像，所以在拍摄这两个图像的期间，作为被摄体的生物体组织或体腔内的挠性插入部有可能移动。因此，即使是例如相同体腔内部位的荧光图像以及标准化图像，在所取得的荧光图像与标准化用图像之间也会产生被摄体的位置偏移，结果就存在如下这样的问题点：荧光图像的标准化处理的精度降低，难以正确校正观察对象的荧光图像的亮度。此外，正确校正观察对象的荧光图像的亮度对于利用荧光图像检测体腔内的病变部等异常组织来说是极为重要的。
另一方面，在现有的内窥镜诊断中，主要将作为观察对象的生物体组织等的白色光图像显示到内窥镜系统的显示部上，医师等用户通过该内窥镜系统的显示部所显示的白色光图像来观察被检体的体腔内。另外，在除了这样的白色光图像之外、医师等用户还通过观察对象的荧光图像来荧光观察体腔内部位时，从可进行正确的体腔内部位的荧光观察这样的观点出发，希望重合显示这些同一观察对象的白色光图像和荧光图像。但是，在上述现有的内窥镜系统中，因为以互不相同的定时来拍摄同一观察对象的白色光图像和荧光图像，所以在拍摄这两个图像期间，作为被摄体的生物体组织或体腔内的挠性插入部有可能移动。因此，即使是例如相同体腔内部位的荧光图像以及白色光图像，在所取得的荧光图像与白色光图像之间也会产生被摄体的位置偏移，结果就存在难以正确地重合显示该白色光图像以及荧光图像的同一观察对象(即同一被摄体)这样的问题点。此外，正确地重合显示观察对象的荧光图像以及白色光图像的同一被摄体在利用荧光图像来检测体腔内的病变部等异常组织方面是极为重要的。
本发明是鉴于上述情况而作出的，其目的是提供可通过观察对象的荧光观察来容易地进行荧光观察并且能够提高荧光观察中的观察对象的检测能力的图像处理装置、摄像装置、图像处理程序以及图像处理方法。
解决课题的手段
为了解决上述课题并达成目的，本发明某方式的该图像处理装置具备：运动矢量运算部，其计算基于从照射了激励光的观察部位产生的荧光的上述观察部位的荧光图像与基于来自上述观察部位的反射光的上述观察部位的反射光图像之间的运动矢量信息；以及位置对准处理部，其根据上述运动矢量信息来校正上述荧光图像与上述反射光图像之间的被摄体的位置偏移。
根据此方式的图像处理装置，可防止几乎不包含形状信息的荧光图像与观察部位的反射光图像之间的被摄体的位置偏移，其结果，能够容易地对荧光图像内的观察部位进行荧光观察，并且能够提高基于该观察部位的荧光图像对被检体内的异常组织等荧光发光部位的检测能力。
另外，本发明其它方式的摄像装置具备：光源部，其切换普通光和激励光对观察部位进行照射；反射光摄像部，其接收来自由上述普通光照明的上述观察部位的反射光来拍摄上述观察部位的反射光图像；荧光摄像部，其接收从照射了上述激励光的上述观察部位产生的荧光来拍摄上述观察部位的荧光图像；运动矢量运算部，其计算上述荧光图像与上述反射光图像之间的运动矢量信息；以及位置对准处理部，其根据上述运动矢量信息来校正上述荧光图像与上述反射光图像之间的被摄体的位置偏移。
另外，本发明其它方式的图像处理程序使计算机执行以下过程：运动矢量运算过程，计算基于从照射了激励光的观察部位产生的荧光的上述观察部位的荧光图像与基于来自上述观察部位的反射光的上述观察部位的反射光图像之间的运动矢量信息；以及位置对准处理过程，根据上述运动矢量信息来校正上述荧光图像与上述反射光图像之间的被摄体的位置偏移。
另外，本发明其它方式的图像处理方法包含以下步骤：运动矢量运算步骤，计算基于从照射了激励光的观察部位产生的荧光的上述观察部位的荧光图像与基于来自上述观察部位的反射光的上述观察部位的反射光图像之间的运动矢量信息；以及位置对准处理步骤，根据上述运动矢量信息来校正上述荧光图像与上述反射光图像之间的被摄体的位置偏移。
发明效果
根据本发明的图像处理装置、摄像装置、图像处理程序以及图像处理方法，能够起到如下的效果：可通过观察对象的荧光观察来容易地进行荧光观察，并且可提高荧光观察中的观察对象的检测能力。
附图说明
图1是示意性示出本发明实施方式1的内窥镜装置的一个结构例的框图。
图2是示出旋转滤光片的一个结构例的示意图。
图3是示出旋转滤光片的透过率特性的一例的示意图。
图4是示出本发明实施方式1中的屏障滤光片(barrier filter)的透过率特性的一例的示意图。
图5是示出在反射光摄像部中配置的多个滤色片的分光特性的一例的示意图。
图6是示意性示出本发明实施方式1的图像处理装置的运动矢量运算部的一个结构例的框图。
图7是对本发明实施方式1的图像处理装置的处理过程进行例示的流程图。
图8是对实施方式1中的观察部位的白色光图像与荧光图像的运动矢量计算处理的处理过程进行例示的流程图。
图9是对在运动矢量计算用图像中设定运动矢量测定块的状态进行例示的示意图。
图10是具体说明实施方式1中的观察部位的白色光图像与荧光图像的运动矢量计算处理的示意图。
图11是示出对观察部位的白色光图像与荧光图像进行重叠处理后的图像的一个具体例的示意图。
图12是示意性示出本发明实施方式2的内窥镜装置的一个结构例的框图。
图13是示意性示出本发明实施方式2的图像处理装置的运动矢量运算部的一个结构例的框图。
图14是对实施方式2中的观察部位的白色光图像与荧光图像的运动矢量计算处理的处理过程进行例示的流程图。
图15是具体说明实施方式2中的观察部位的白色光图像与荧光图像的运动矢量计算处理的示意图。
图16是示意性示出本发明实施方式3的内窥镜装置的一个结构例的框图。
图17是示出本发明实施方式3中的屏障滤光片的透过率特性的一例的示意图。
图18是对本发明实施方式3的图像处理装置的处理过程进行例示的流程图。
图19是具体说明实施方式3中的观察部位的荧光图像的位置对准处理以及标准化处理的示意图。
图20是示意性示出本发明实施方式4的内窥镜装置的一个结构例的框图。
图21是具体说明实施方式4的图像处理装置的动作的示意图。
具体实施方式
以下，参照附图说明作为用于实施本发明的优选方式的图像处理装置、摄像装置、图像处理程序以及图像处理方法的实施方式。此外，以下作为本发明的摄像装置的一例，说明拍摄患者等被检体的体腔内图像的内窥镜装置，说明在该内窥镜装置中采用的图像处理装置、图像处理程序以及图像处理方法，但本发明不限于该实施方式。
(实施方式1)
图1是示意性示出本发明实施方式1的内窥镜装置的一个结构例的框图。该实施方式1的内窥镜装置1是本发明的摄像装置的一例，如图1所示具备：向被检体内部的观察部位S照射光的光源装置2；插入被检体的体腔内的细长形状的插入部3；处理观察部位S的图像的图像处理装置4；以及显示图像处理装置4所处理的图像信息的图像显示装置5。
光源装置2发挥对激励荧光药剂的激励光和白色光等普通光进行切换来照射观察部位S的光源部的作用。具体地说，光源装置2具备：白色光源21、使来自白色光源21的射出光大致为平行光的准直透镜22、会聚平行光的会聚透镜23、将到达观察部位S的照射光切换为激励光或普通光的旋转滤光片24、作为旋转滤光片24的驱动源的电动机25以及控制旋转滤光片24的滤光片控制部26。
白色光源21是光源装置2的发光源，根据光源装置2的开关(未图示)操作发出白色光。准直透镜22配置在从白色光源21射出的白色光的光路上，使来自白色光源21的白色光大致为平行光。基于该准直透镜22的平行光在透过旋转滤光片24之后，利用会聚透镜23再次会聚。该会聚透镜23所会聚的光经由插入部3照射到被检体内部的观察部位S。
旋转滤光片24从白色光源21所发出的白色光中提取规定波长频带的光。图2是示出旋转滤光片的一个结构例的示意图。图3是示出旋转滤光片的透过率特性的一例的示意图。此外，在图3中还图示了利用旋转滤光片24提取出的激励光所产生的荧光的强度特性。旋转滤光片24如图2所示具备透过率特性不同的白色光滤光片24a以及激励光滤光片24b。
白色光滤光片24a是使白色光透过的滤光片，如图3所示的波长对透过率的相关线C1那样，具有使400～680nm波长频带的光透过的透过率特性。该白色光滤光片24a使来自白色光源21的白色光作为对观察部位S进行照射的普通光透过。激励光滤光片24b是使激励光透过的滤光片，如图3所示的波长对透过率的相关线C2那样，具有使600～650nm波长频带的光透过的透过率特性。该激励光滤光片24b从来自白色光源21的白色光中提取600～650nm波长频带的光即激励光，并使所提取的激励光透过。
此外，该激励光滤光片24b所提取的激励光具有如下的特性：例如对异常地集中在存在于观察部位S的肿瘤等病变部K上的荧光药剂进行激励，产生660～750nm波长频带的荧光(参照图3所示的相关线C3)。
具有这样的白色光滤光片24a以及激励光滤光片24b的旋转滤光片24通过电动机25的驱动沿周方向进行旋转，由此，依次切换白色光滤光片24a以及激励光滤光片24b，使其位于来自白色光源21的白色光的光路(参照图1所示的光源装置2内的虚线)内。该旋转滤光片24在使白色光滤光片24a位于该光路内的状态下使白色光透过，在使激励光滤光片24b位于该光路内的状态下使激励光透过。即，旋转滤光片24使白色光和激励光交替地透过。
滤光片控制部26控制基于上述旋转滤光片24的旋转而进行的光路内的滤光片切换。具体地说，滤光片控制部26经由旋转轴来控制与旋转滤光片24连接的电动机25的旋转驱动，通过该电动机25的驱动控制来控制旋转滤光片24的旋转驱动。由此，滤光片控制部26以预先设定的时间间隔使白色光滤光片24a和激励光滤光片24b交替地位于上述来自白色光源21的白色光的光路内。这样，滤光片控制部26控制该光路内的旋转滤光片24的滤光片切换。另外，滤光片控制部26根据该电动机25的转速等旋转驱动状态来掌握白色光滤光片24a以及激励光滤光片24b的哪个位于光路内。滤光片控制部26将表示位于该光路内的滤光片(白色光滤光片24a或激励光滤光片24b)的滤光片信息发送到图像处理装置4。
插入部3是可插入被检体的体腔内的细长形状的挠性构造体，根据内窥镜装置1的操作部(未图示)的操作可朝着期望的方向进行弯曲。另外，如图1所示插入部3具有光导纤维31和透镜32，该光导纤维31的基端部侧连接在光源装置2和图像处理装置4上，将来自该光源装置2的射出光向前端部侧导出；该透镜32使光导纤维31所导出的光扩散。另外，插入部3具备：会聚来自观察部位S的反射光或荧光的物镜33、将从该观察部位S会聚的光分支的分光镜34和透过来自观察部位S的荧光并切断激励光的屏障滤光片35。插入部3还具备：拍摄观察部位S的反射光图像的反射光摄像部36和拍摄观察部位S的荧光图像的荧光摄像部37。
光导纤维31采用光纤等来实现，将利用上述光源装置2以规定的时间间隔交替射出的白色光以及激励光依次传播到插入部3的前端部侧。该光导纤维31所依次导出的来自光源装置2的白色光以及激励光经由透镜32依次扩散，并以预先设定的时间间隔交替地照射到被检体内部的观察部位S。
这里，当在该观察部位S内存在预先集中有荧光药剂的病变部K时，照射到该观察部位S的来自光源装置2的激励光对该病变部K的荧光药剂进行激励，产生例如660～750nm波长频带的荧光。另一方面，在对该观察部位S照射来自光源装置2的白色光时，从该观察部位S反射白色光。
物镜33在对观察部位S照射来自光源装置2的白色光时，会聚从该观察部位S反射出的白色光。另一方面，在对观察部位S照射来自光源装置2的激励光时，会聚从该观察部位S产生的荧光(具体地说是从病变部K产生的荧光)和从观察部位S反射的激励光。分光镜34将该物镜33所会聚的来自观察部位S的光中的从观察部位S反射出的白色光或激励光等反射光向反射光摄像部36侧的光路分支，将从观察部位S产生的荧光和来自观察部位S的反射光的一部分向荧光摄像部37侧的光路分支。
屏障滤光片35是用于切断利用分光镜34分支到荧光摄像部37侧光路的来自观察部位S的光所包含的激励光等反射光的滤光片。图4是示出本发明实施方式1中的屏障滤光片的透过率特性的一例的示意图。屏障滤光片35如图4所示的波长对透过率的相关线C4那样，具有使660～750nm波长频带的光透过的透过率特性。该屏障滤光片35切断由分光镜34分支到荧光摄像部37侧光路的来自观察部位S的光中的来自观察部位S的反射光，并且使660～750nm波长频带的光即来自观察部位S的荧光透过。
采用针对受光面内的每个像素配置有滤色片的拜尔型彩色摄像元件来实现反射光摄像部36。图5是示出在反射光摄像部中配置的多个滤色片的分光特性的一例的示意图。反射光摄像部36分别具备多个具有图5所示的透过率特性的红(R)、绿(G)、蓝(B)各滤色片。此外，红色滤色片具有图5所示的波长对透过率的相关线C7那样使580～700nm波长频带的光(R光)透过的透过率特性。绿色滤色片具有图5所示的波长对透过率的相关线C6那样使480～600nm波长频带的光(G光)透过的透过率特性。蓝色滤色片具有图5所示的波长对透过率的相关线C5那样使400～500nm波长频带的光(B光)透过的透过率特性。该反射光摄像部36接收由分光镜34分支到反射光摄像部36侧光路的来自观察部位S的反射光，由此，拍摄作为观察部位S的彩色图像的反射光图像。具体地说，反射光摄像部36在接收到从观察部位S反射出的白色光的情况下，拍摄基于来自该观察部位S的白色光的反射光图像(以下，有时称为观察部位S的白色光图像)。另一方面，反射光摄像部36在接收到从观察部位S反射出的激励光的情况下，在与后述荧光摄像部37所拍摄的观察部位S的荧光图像相同的摄像定时，拍摄基于来自该观察部位S的激励光的反射光图像(以下，有时称为观察部位S的反射激励光图像)。反射光摄像部36每当拍摄观察部位S的白色光图像或反射激励光图像时，将包含所获得的图像信息的图像信号依次发送到图像处理装置4。
采用具有比上述反射光摄像部36高的灵敏度特性的单色摄像元件来实现荧光摄像部37。荧光摄像部37接收由分光镜34分支到荧光摄像部37侧光路的来自观察部位S的荧光、即已透过屏障滤光片35的荧光，由此，拍摄观察部位S的荧光图像。此外，该荧光摄像部37所拍摄的观察部位S的荧光图像中的荧光的明暗根据从作为被摄体的观察部位S到荧光摄像部37的距离进行变化。另外，该荧光摄像部37所拍摄的观察部位S的荧光图像是在与上述反射光摄像部36所拍摄的观察部位S的反射激励光图像相同的定时拍摄的图像，在该观察部位S的荧光图像与反射激励光图像之间，同一被摄体的像素位置一致。荧光摄像部37每当拍摄该观察部位S的荧光图像时，将包含所获得的图像信息的图像信号依次发送到图像处理装置4。
图像处理装置4对上述反射光摄像部36或荧光摄像部37所拍摄的观察部位S的图像信息进行处理，生成图像显示装置5所显示的输出图像。具体地说，图像处理装置4具备：存储基于反射光摄像部36的图像信息的反射光图像存储部41、存储基于荧光摄像部37的图像信息的荧光图像存储部42、计算观察部位S的荧光图像与反射光图像之间的运动矢量信息的运动矢量运算部43、根据该运动矢量信息进行观察部位S的荧光图像与反射光图像的位置对准处理的位置对准处理部44以及生成图像显示装置5所显示的输出图像的输出图像生成部45。
反射光图像存储部41根据上述光源装置2的滤光片控制部26的控制来存储基于反射光摄像部36的图像信息。具体地说，反射光图像存储部41取得滤光片控制部26所发送的滤光片信息，并根据该取得的滤光片信息来识别当前位于光源装置2的光路内的旋转滤光片24的滤光片是白色光滤光片24a以及激励光滤光片24b的哪个。反射光图像存储部41在光源装置2的光路内的滤光片是白色光滤光片24a的情况下，从反射光摄像部36中取得观察部位S的白色光图像的图像信息，在光源装置2的光路内的滤光片是激励光滤光片24b的情况下，从反射光摄像部36中取得观察部位S的反射激励光图像的图像信息。反射光图像存储部41对从该反射光摄像部36取得的观察部位S的各个图像信息进行同时化处理，使各个像素具有RGB三色的彩色图像信息，并依次存储该同时化处理后的白色光图像以及反射激励光图像的各图像信息。
荧光图像存储部42根据上述光源装置2的滤光片控制部26的控制来存储基于荧光摄像部37的图像信息。具体地说，荧光图像存储部42取得由滤光片控制部26发送的滤光片信息，并根据所取得的滤光片信息来识别当前位于光源装置2的光路内的旋转滤光片24的滤光片是白色光滤光片24a以及激励光滤光片24b的哪个。荧光图像存储部42在光源装置2的光路内的滤光片是激励光滤光片24b的情况下，从荧光摄像部37中取得观察部位S的荧光图像的图像信息，并依次存储该取得的图像信息。此外，荧光图像存储部42在光源装置2的光路内的滤光片是白色光滤光片24a的情况下，不从荧光摄像部37中取得图像信息。
运动矢量运算部43计算反射光摄像部36所拍摄的观察部位S的反射光图像与荧光摄像部37所拍摄的观察部位S的荧光图像之间的运动矢量信息。图6是示意性示出本发明实施方式1的图像处理装置的运动矢量运算部的一个结构例的框图。如图6所示，运动矢量运算部43具备：生成运动矢量计算用图像的图像变换部43a、在处理对象图像中设定运动矢量测定块的测定块设定部43b和计算运动矢量信息的运动矢量计算部43c。
图像变换部43a将观察部位S的图像信息变换处理为运动矢量计算用图像。具体地说，图像变换部43a从反射光图像存储部41中读入观察部位S的白色光图像的图像信息。图像变换部43a对所取得的白色光图像的图像信息进行规定的图像变换处理，生成运动矢量计算用图像之一的基准图像。另外，图像变换部43a从反射光图像存储部41中读入观察部位S的反射激励光图像的图像信息。图像变换部43a对所取得的反射激励光的图像信息进行规定的图像变换处理，生成运动矢量计算用图像之一的对象图像。图像变换部43a将与该白色光图像对应的运动矢量计算用图像(基准图像)和与反射激励光图像对应的运动矢量计算用图像(对象图像)发送到测定块设定部43b。
测定块设定部43b在处理对象图像中设定运动矢量测定块。具体地说，测定块设定部43b从图像变换部43a中取得作为运动矢量计算用图像一方的基准图像，在所取得的基准图像上设定规定数的运动矢量测定块。另外，测定块设定部43b从图像变换部43a中取得作为运动矢量计算用图像的另一方的对象图像，以规定数对所取得的对象图像设定与上述基准图像上的测定块的匹配处理对象的像素块。测定块设定部43b将该处理后的各运动矢量计算用图像(基准图像以及对象图像)发送到运动矢量计算部43c。
运动矢量计算部43c计算观察部位S的荧光图像与反射光图像之间的运动矢量信息。具体地说，运动矢量计算部43c从测定块设定部43b中取得作为处理后的各运动矢量计算用图像的基准图像以及对象图像。运动矢量计算部43c采用块匹配法等已知手法来计算该基准图像与对象图像之间的运动矢量信息，该块匹配法检索与该基准图像上的各测定块相关性高的对象图像上的各像素块。这里，该基准图像与反射光摄像部36所拍摄的观察部位S的白色光图像相对应。另一方面，该对象图像对应于反射光摄像部36在与荧光摄像部37所拍摄的观察部位S的荧光图像相同的摄像定时拍摄的观察部位S的反射激励光图像。即，该对象图像和观察部位S的荧光图像之间的与同一被摄体对应的像素位置一致。运动矢量算出部43c计算对应于与该荧光图像同一摄像定时的反射激励光图像的对象图像和对应于该白色光图像的基准图像之间的运动矢量信息，作为该观察部位S的荧光图像与白色光图像之间的运动矢量信息。运动矢量算出部43c将这样算出的运动矢量信息的计算结果发送到位置对准处理部44。
位置对准处理部44进行观察部位S的荧光图像与反射光图像的位置对准处理，校正该荧光图像与反射光图像之间的被摄体的位置偏移。具体地说，位置对准处理部44从反射光图像存储部41中读入反射光摄像部36所拍摄的观察部位S的白色光图像的图像信息，从荧光图像存储部42中读入荧光摄像部37所拍摄的观察部位S的荧光图像的图像信息。另外，位置对准处理部44从运动矢量运算部43中取得上述运动矢量计算部43c所算出的运动矢量信息即该观察部位S的荧光图像与白色光图像之间的运动矢量信息。位置对准处理部44根据所取得的运动矢量信息，使该观察部位S的荧光图像和白色光图像之间的与同一被摄体(例如病变部K等)对应的像素位置对准的位置对准处理。由此，位置对准处理部44校正该荧光图像与白色光图像之间的被摄体的位置偏移。位置对准处理部44将该位置对准处理后的荧光图像以及白色光图像的各图像信息发送到输出图像生成部45。
此外，位置对准处理部44在上述反射光摄像部36与荧光摄像部37的像素数不同的情况下，对基于该荧光摄像部37的荧光图像进行放大处理或缩小处理，使基于该反射光摄像部36的白色光图像与基于荧光摄像部37的荧光图像的像素数一致。位置对准处理部44对这样使像素数一致的状态的荧光图像以及白色光图像执行上述位置对准处理。
输出图像生成部45根据位置对准处理部44进行位置对准处理后的各图像信息，生成图像显示装置5所显示的输出图像。具体地说，输出图像生成部45从位置对准处理部44中取得已进行上述位置对准处理的观察部位S的荧光图像以及白色光图像的各图像信息。输出图像生成部45根据所取得的白色光图像的亮度对该荧光图像的亮度进行标准化处理，生成观察部位S的标准化荧光图像。在此情况下，输出图像生成部45生成从位置对准处理部44中取得的白色光图像的亮度信号图像即标准化用图像。输出图像生成部45根据所生成的标准化用图像的亮度值即已进行上述位置对准处理的观察部位S的白色光图像的亮度值来对该位置对准处理完毕的荧光图像的亮度值进行除法运算。由此，输出图像生成部45对该观察部位S的荧光图像的各个像素的亮度值进行标准化处理，其结果生成观察部位S的标准化荧光图像。此外，该观察部位S的标准化荧光图像是对根据从作为被摄体的观察部位S到荧光摄像部37的距离而变化的荧光明暗进行了校正的荧光图像。因此，在该观察部位S的标准化荧光图像中，作为激励光照射的荧光产生源的病变部K由亮度比较高的像素描绘，而与从观察部位S到荧光摄像部37的距离无关。输出图像生成部45将这样生成的观察部位S的标准化荧光图像与观察部位S的白色光图像发送到图像显示装置5，在图像显示装置5上显示该观察部位S的标准化荧光图像与白色光图像。在此情况下，输出图像生成部45可将该观察部位S的标准化荧光图像以及白色光图像作为各个输出图像信息发送到图像显示装置5，也可以将观察部位S的标准化荧光图像与白色光图像作为已重叠处理的输出图像信息发送到图像显示装置5。
图像显示装置5显示由上述图像处理装置4处理过的图像信息。具体地说，采用CRT显示器或液晶显示器等期望的显示器来实现图像显示装置5。图像显示装置5从图像处理装置4的输出图像生成部45中取得观察部位S的图像信息，并显示基于所取得的图像信息的观察部位S的至少标准化荧光图像。在此情况下，图像显示装置5可一并显示从输出图像生成部45中取得的观察部位S的白色光图像与标准化荧光图像，也可使该观察部位S的白色光图像与观察部位S的标准化荧光图像重叠显示。
接着，对本发明实施方式1的图像处理装置4的动作进行说明。图7是对本发明实施方式1的图像处理装置的处理过程进行例示的流程图。该实施方式1的图像处理装置4执行图7所示的处理过程，在图像显示装置5中显示观察部位S的图像信息。
即，如图7所示，图像处理装置4首先取得观察部位S的图像信息(步骤S101)。在该步骤S101中，反射光图像存储部41在旋转滤光片24的白色光滤光片24a位于光路内的定时、即向观察部位S照射白色光的定时，取得反射光摄像部36所拍摄的观察部位S的白色光图像，并将所取得的白色光图像作为彩色图像信息进行存储。此外，在向该观察部位S照射白色光的定时，荧光图像存储部42不取得图像信息。另一方面，荧光图像存储部42在旋转滤光片24的激励光滤光片24b位于光路内的定时、即对观察部位S照射激励光的定时，取得荧光摄像部37所拍摄的观察部位S的荧光图像，将所取得的荧光图像作为单色图像信息进行存储。另外，在对该观察部位S照射激励光的定时，反射光图像存储部41取得反射光摄像部36所拍摄的观察部位S的反射激励光图像，将所取得的反射激励光图像作为彩色图像信息进行存储。
接着，图像处理装置4计算在步骤S101中取得的观察部位S的白色光图像与荧光图像的运动矢量信息(步骤S102)。在该步骤S102中，运动矢量运算部43从反射光图像存储部41读入观察部位S的白色光图像以及反射激励光图像的各图像信息。运动矢量运算部43计算所读入的观察部位S的白色光图像与反射激励光图像的运动矢量信息，作为步骤S101中的观察部位S的荧光图像与白色光图像之间的运动矢量信息。
接着，图像处理装置4进行步骤S101中的观察部位S的白色光图像与荧光图像的位置对准处理(步骤S103)。在该步骤S103中，位置对准处理部44从反射光图像存储部41取得步骤S101中的观察部位S的白色光图像，从荧光图像存储部42取得步骤S101中的观察部位S的荧光图像。另外，位置对准处理部44取得在步骤S102中运动矢量计算部43c所算出的运动矢量信息。位置对准处理部44根据所取得的运动矢量信息，进行使该观察部位S的荧光图像和白色光图像之间的与同一被摄体对应的像素位置对准的位置对准处理。由此，位置对准处理部44校正该荧光图像与白色光图像之间的被摄体的位置偏移(例如两图像间中的病变部K的位置偏移等)。
然后，图像处理装置4在步骤S103中执行已实施位置对准处理的观察部位S的荧光图像的标准化处理(步骤S104)。在该步骤S104中，输出图像生成部45从位置对准处理部44取得已进行步骤S103中的位置对准处理的观察部位S的荧光图像以及白色光图像。输出图像生成部45计算所取得的白色光图像的亮度信号，根据所计算出的亮度信号来生成该白色光图像的亮度信号图像即标准化用图像。然后，输出图像生成部45将该位置对准处理完毕的荧光图像的亮度值除以所生成的标准化用图像的亮度值，由此，对该荧光图像的各个像素的亮度值进行标准化处理。这样，输出图像生成部45达成该观察部位S的荧光图像的标准化处理。
接着，图像处理装置4进行图像显示装置5所显示的观察部位S的图像信息的输出处理(步骤S105)。在该步骤S105中，输出图像生成部45生成基于步骤S104中的荧光图像的标准化处理的观察部位S的标准化荧光图像。输出图像生成部45将该观察部位S的标准化荧光图像的图像信息作为图像显示装置5所显示的观察部位S的输出图像信息发送到图像显示装置5。其结果，图像显示装置5显示该观察部位S的标准化荧光图像。
这里，该观察部位S的标准化荧光图像是对由于从被摄体即观察部位S到荧光摄像部37的距离不同而导致的荧光明亮度不同进行了校正的荧光图像。图像显示装置5在该观察部位S的标准化荧光图像内利用亮度比较高的像素来显示该观察部位S内的病变部K，而与从观察部位S到荧光摄像部37的距离无关。
此外，在该步骤S105中，输出图像生成部45可将该观察部位S的白色光图像的图像信息与该观察部位S的标准化荧光图像的图像信息一起作为图像显示装置5所显示的观察部位S的输出图像信息发送到图像显示装置5。由此，图像显示装置5可一并显示该观察部位S的标准化荧光图像与白色光图像。
另外，在该步骤S105中，输出图像生成部45可将该观察部位S的标准化荧光图像与白色光图像重叠而成的图像信息作为图像显示装置5所显示的观察部位S的输出图像信息发送到图像显示装置5。在此情况下，输出图像生成部45对应于该标准化荧光图像内的病变部K等关注被摄体的像素，对该白色光图像内的相同关注被摄体(例如病变部K)的像素的信号值进行期望的颜色变换处理，由此，使该白色光图像与标准化荧光图像的图像信息重叠。此外，输出图像生成部45对该白色光图像与标准化荧光图像的重叠图像信息进行任意的γ变换处理、边缘强调处理、放大处理、缩小处理等后处理，将该后处理完毕的重叠图像信息发送到图像显示装置5。
此外，输出图像生成部45对该观察部位S的整个白色光图像不依据图像上的位置而进行一样的任意颜色变换处理，然后，可使该颜色变换处理后的白色光图像与标准化荧光图像的信息重叠。另外，输出图像生成部45可取代该观察部位S的标准化荧光图像，而重叠上述位置对准处理完毕的观察部位S的荧光图像(即标准化处理前的荧光图像)与观察部位S的白色光图像。
在上述步骤S105的处理过程结束之后，图像处理装置4在利用操作部(未图示)进行关断操作等处理结束操作时(步骤S106、是)，结束本处理。另一方面，图像处理装置4在没有进行该处理结束操作时(步骤S106，否)，返回上述步骤S101，反复该步骤S101以后的处理过程。
接着，详细说明在上述步骤S102中图像处理装置4的运动矢量运算部43所执行的观察部位S的白色光图像与荧光图像的运动矢量计算处理。图8是对实施方式1中的观察部位的白色光图像与荧光图像的运动矢量计算处理的处理过程进行例示的流程图。图9是对在运动矢量计算用图像中设定了运动矢量测定块的状态进行例示的示意图。图10是具体说明实施方式1中的观察部位的白色光图像与荧光图像的运动矢量计算处理的示意图。
运动矢量运算部43在执行上述步骤S102中的观察部位S的白色光图像与荧光图像的运动矢量计算处理时，如图8所示，首先生成运动矢量计算用图像(步骤S201)。在该步骤S201中，图像变换部43a从反射光图像存储部41取得上述步骤S101中的观察部位S的白色光图像。图像变换部43a计算所取得的白色光图像的亮度信号，对该算出的亮度信号进行用于使明亮度一致的增益调整处理，生成与该白色光图像对应的亮度信号图像即运动矢量计算用图像之一的基准图像。另外，图像变换部43a从反射光图像存储部41取得上述步骤S101中的观察部位S的反射激励光图像。图像变换部43a计算所取得的反射激励光图像的亮度信号，对所算出的亮度信号进行用于使明亮度一致的增益调整处理，生成与该反射激励光图像对应的亮度信号图像即运动矢量计算用图像之一的对象图像。
此外，采用观察部位S的白色光图像或反射激励光图像的红色分量的像素值R、绿色分量的像素值G和蓝色分量的像素值B，利用亮度信号Y＝0.29×R+0.6×G+0.11×B的式子来计算用于生成该运动矢量计算用图像的亮度信号Y。另外，图像变换部43a可取代计算该亮度信号Y，而从观察部位S的白色光图像或反射激励光图像中仅提取出大量包含激励光的波长频带的R通道的像素值，并对所提取出的R通道的像素值进行增益调整处理，由此可生成运动矢量计算用图像(基准图像以及对象图像)。
接着，运动矢量运算部43对在步骤S201中生成的运动矢量计算用图像设定运动矢量测定块(步骤S202)。在该步骤S202中，测定块设定部43b从图像变换部43a取得作为步骤S201中的运动矢量计算用图像的一方的基准图像Pi，在所取得的基准图像Pi上设定规定数的运动矢量测定块。在此情况下，测定块设定部43b例如图9所示，在该基准图像Pi上以格子状设定32块运动矢量测定块。此外，图9所示的基准图像Pi上的运动矢量测定块的设定状态为一例，测定块设定部43b可在基准图像Pi上将期望数量的运动矢量测定块设定为期望的形状。另一方面，测定块设定部43b从图像变换部43a取得作为步骤S201中的运动矢量计算用图像的另一方的对象图像Pj。测定块设定部43b对所取得的对象图像Pj以规定数设定与上述基准图像Pi上的测定块匹配的匹配处理对象的像素块。
接着，运动矢量运算部43计算与上述步骤S101中的观察部位S的荧光图像相同定时的反射光图像和步骤S101中的观察部位S的白色光图像的运动矢量信息(步骤S203)。
在该步骤S203中，运动矢量计算部43c从测定块设定部43b取得步骤S202中的运动矢量计算用图像即基准图像Pi以及对象图像Pj。运动矢量计算部43c采用块匹配法等已知手法来检索与该基准图像Pi上的任意测定块相关性高的对象图像Pj上的像素块。并且，运动矢量算出部43c计算表示相互相关性高的基准图像Pi上的测定块与对象图像Pj上的像素块之间的相对位置偏移的矢量信息，作为基准图像Pi与对象图像Pj之间的运动矢量信息。运动矢量算出部43c针对该基准图像Pi上的全部测定块计算运动矢量信息，并根据所获得的全部运动矢量信息进行运动矢量信息的平均化处理，计算该基准图像Pi与对象图像Pj之间的代表性的运动矢量信息。运动矢量计算部43c输出所算出的代表性的运动矢量信息作为上述观察部位S的荧光图像与白色光图像之间的运动矢量信息。
具体地说，如图10所示，与上述基准图像Pi对应的观察部位S的白色光图像Pw是在对观察部位S照射白色光的定时T1由反射光摄像部36拍摄的反射光图像。另一方面，与上述对象图像Pj对应的观察部位S的反射激励光图像Pr是在对观察部位S照射激励光的定时T2由反射光摄像部36拍摄的反射光图像。此外，在该定时T2，上述荧光摄像部37拍摄该观察部位S的荧光图像Pf。即，该观察部位S的反射激励光图像Pr以及荧光图像Pf是在相同定时拍摄的图像，基于该反射激励光图像Pr的对象图像Pj和荧光图像Pf之间的与同一被摄体(例如病变部K)对应的像素位置一致。运动矢量计算部43c计算与该定时T1的白色光图像Pw对应的基准图像Pi和与定时T2的反射激励光图像Pr对应的对象图像Pj之间的运动矢量信息。由此，运动矢量计算部43c计算与该反射激励光图像Pr相同定时的荧光图像Pf和白色光图像Pw之间的运动矢量信息。
这里，观察部位S的白色光图像Pw是描绘了观察部位S的彩色图像，其包含观察部位S内的血管构造等形状信息。另一方面，观察部位S的荧光图像Pf是描绘了因激励光照射而产生荧光的病变部K的图像，其未包含观察部位S内的血管构造等形状信息。因此，难以直接算出该白色光图像Pw与荧光图像Pf之间的运动矢量信息。与此相对，运动矢量计算部43c计算同一被摄体的像素位置与该荧光图像Pf一致的反射光图像即包含观察部位S内的血管构造等形状信息的反射激励光图像Pr与白色光图像Pw之间的运动矢量信息。由此，运动矢量运算部43可间接地算出该白色光图像Pw与荧光图像Pf之间的运动矢量信息。
此外，作为根据上述运动矢量算出部43c的块匹配法来检索相关性高的像素块的方法，例如具有利用均方误差SSD及误差的绝对值SAD等的方法。这是求出与上述基准图像Pi上的测定块区域I相关性高的对象图像Pj上的像素块区域I’的方法。通过采用了测定块区域I中的像素位置p的像素电平Lp和像素块区域I’中的像素位置q的像素电平Lq的下式(1)、(2)来分别定义该均方误差SSD以及误差的绝对值SAD，并评价为该值越小相关性越高。
【数式1】
SSD ( I , I ′ ) = Σ p ∈ I , q ∈ I ′ ( Lp - Lq ) 2 . . . . ( 1 )
【数式2】
SAD ( I , I ′ ) = Σ p ∈ I , q ∈ I ′ | | Lp - Lq | | . . . . ( 2 )
在上述步骤S203的处理过程结束之后，运动矢量运算部43返回图7所示的步骤S102。然后，图像处理装置4如上所述进入该步骤S103，执行该步骤S103以后的处理过程。
此外，这样规定了运动矢量信息的白色光图像Pw以及荧光图像Pf利用上述步骤S103中的位置对准处理来校正病变部K等同一被摄体的位置偏移。另外，在上述步骤S104中对与该白色光图像Pw进行了位置对准处理的荧光图像Pf的亮度进行高精度的标准化处理，由此，可正确地校正由于从被摄体即观察部位S到荧光摄像部37的距离不同而引起的荧光图像Pf内的荧光明暗。其结果，输出图像生成部45没有给图像间的被摄体的位置偏移带来影响，就能够高精度地生成描绘了亮度比较高的病变部K的荧光图像Pf即观察部位S的标准化荧光图像，而与从观察部位S到荧光摄像部37的距离无关。另外，输出图像生成部45可通过对已进行该位置对准处理的荧光图像Pf或标准化荧光图像和白色光图像Pw如上所述地进行重叠处理，来如图11所示地显示观察部位S的血管构造并且生成可强调显示病变部K的观察部位S的彩色图像，可在图像显示装置5上显示所生成的彩色图像。
如以上所说明的那样，在本发明的实施方式1中，拍摄基于照射激励光而从观察部位产生的荧光的荧光图像和基于从该观察部位反射出的该激励光的反射激励光图像，计算对该观察部位照射白色光而拍摄的白色光图像与该反射激励光图像之间的运动矢量信息，根据所算出的运动矢量信息来校正该观察部位的荧光图像与白色光图像之间的被摄体的位置偏移，并将该荧光图像除以该校正后的白色光图像，对该荧光图像的亮度进行标准化处理。因此，不会给根据该白色光图像生成的标准化用图像与标准化处理对象的荧光图像之间的被摄体的位置偏移带来影响就能够执行荧光图像的标准化处理，由此，能够提高该荧光图像的标准化处理的精度，来正确地校正观察对象的荧光图像的亮度。其结果，与从被摄体到摄像部的距离无关，可在荧光图像内的亮度比较高的像素中描绘观察部位内的病变部等异常组织，能够提高基于该观察对象的荧光图像对被检体内的异常组织的检测能力。
另外，在该实施方式1中，可采用与几乎不包含形状信息的荧光图像相同的摄像定时的反射激励光图像来间接地计算观察部位的荧光图像与白色光图像之间的运动矢量信息，可根据所算出的运动矢量信息来高精度地校正该观察部位的荧光图像与白色光图像之间的被摄体的位置偏移。因此，能够高精度地对在该荧光图像内描绘的病变部等异常组织与在白色光图像内描绘的同一异常组织进行重叠，其结果，能够彩色显示血管构造等观察部位的体腔内状态并且能够高精度地强调显示病变部等异常组织。
(实施方式2)
接着，说明本发明的实施方式2。在上述实施方式1中，为了计算观察部位S的荧光图像与观察部位S的反射光图像之间的运动矢量信息，而算出与该荧光图像相同定时拍摄的观察部位S的反射激励光图像与观察部位S的白色光图像之间的运动矢量信息，在该实施方式2中，为了算出观察部位S的荧光图像与观察部位S的反射光图像之间的运动矢量信息，而算出隔着该荧光图像以时间序列顺序连续的观察部位S的2个白色光图像之间的运动矢量信息。
图12是示意性示出本发明实施方式2的内窥镜装置的一个结构例的框图。如图12所示，该实施方式2的内窥镜装置101取代上述实施方式1的内窥镜装置1的图像处理装置4而具备图像处理装置104。该实施方式2的图像处理装置104取代上述实施方式1的图像处理装置4的运动矢量运算部43而具备运动矢量运算部143。此外，在此实施方式2内，反射光摄像部36在图7所示的步骤S101中对上述滤光片控制部26以预先设定的时间间隔交替地拍摄观察部位S的白色光图像与反射激励光图像，针对一个观察部位S拍摄隔着1帧的荧光图像以时间序列顺序连续的2帧的白色光图像。另一方面，荧光摄像部37在与该反射光摄像部36所拍摄的反射激励光图像相同的摄像定时拍摄观察部位S的荧光图像。即，以该预先设定的时间间隔交替地拍摄该观察部位S的荧光图像以及白色光图像。其它结构与实施方式1相同，对相同构成部分标注相同符号。
图像处理装置104具备上述反射光图像存储部41、荧光图像存储部42、位置对准处理部44和输出图像生成部45，此外，取代实施方式1的图像处理装置4的运动矢量运算部43而具备运动矢量运算部143。在该图像处理装置104中，反射光图像存储部41依次存储利用上述反射光摄像部36以时间序列顺序连续拍摄的观察部位S的反射激励光图像和白色光图像。具体地说，反射光图像存储部41针对一个观察部位S将1帧的反射激励光图像和隔着该反射激励光图像以时间序列顺序连续的2帧的白色光图像作为彩色图像信息依次存储。此外，图像处理装置104除了该反射光图像存储部41以及运动矢量运算部143的功能以外，具有与上述实施方式1的图像处理装置4同样的功能。
运动矢量运算部143计算隔着观察部位S的荧光图像以时间序列顺序连续的观察部位S的2个反射光图像之间的运动矢量信息，并根据所算出的运动矢量信息和观察部位S的荧光图像以及反射光图像的摄像时间间隔，来算出该观察部位S的荧光图像与反射光图像之间的运动矢量信息。图13是示意性示出本发明实施方式2的图像处理装置的运动矢量运算部的一个结构例的框图。如图13所示，该实施方式2中的运动矢量运算部143具备上述测定块设定部43b，此外，还取代实施方式1中的运动矢量运算部43的图像变换部43a而具备图像变换部143a，取代运动矢量算出部43c而具备运动矢量算出部143c。
图像变换部143a将观察部位S的图像信息变换处理为运动矢量计算用图像。具体地说，图像变换部143a从反射光图像存储部41以时间序列顺序依次读入观察部位S的反射激励光图像和隔着该反射激励光图像连续的2帧白色光图像。图像变换部143a对最初读入的观察部位S的白色光图像的图像信息进行与上述实施方式1中的图像变换部43a同样的图像变换处理，生成运动矢量计算用图像之一的基准图像。另外，图像变换部143a对在该反射激励光图像后读入的观察部位S的白色光图像的图像信息进行与上述实施方式1中的图像变换部43a同样的图像变换处理，并生成运动矢量计算用图像之一的对象图像。图像变换部43a将与该最初的白色光图像对应的运动矢量计算用图像(基准图像)、与后续的白色光图像对应的运动矢量计算用图像(对象图像)以及这两个运动矢量计算用图像之间的反射激励光图像以时间序列顺序发送到测定块设定部43b。
运动矢量计算部143c计算观察部位S的荧光图像与反射光图像之间的运动矢量信息。具体地说，运动矢量算出部143c从测定块设定部43b以时间序列顺序依次取得处理后的各运动矢量计算用图像即基准图像以及对象图像和这两个运动矢量用图像之间的反射激励光图像。运动矢量计算部143c采用块匹配法等已知手法来计算该基准图像与对象图像之间的运动矢量信息，该块匹配法检索与该基准图像上的各测定块相关性高的对象图像上的各像素块。这里，该基准图像以及对象图像分别对应于反射光摄像部36隔着观察部位S的反射激励光图像连续拍摄的观察部位S的2个白色光图像。另一方面，该反射激励光图像是在与荧光摄像部37所拍摄的观察部位S的荧光图像相同的摄像定时由反射光摄像部36拍摄的观察部位S的反射光图像，在该反射激励光图像与荧光图像之间，与同一被摄体对应的像素位置一致。运动矢量算出部143c计算该基准图像与对象图像之间的运动矢量信息、即隔着该反射激励光图像以时间序列顺序连续的观察部位S的2个白色光图像间的运动矢量信息。然后，运动矢量计算部143c根据该算出的运动矢量信息与该观察部位S的各反射光图像(具体地说是最初的白色光图像、反射激励光图像、后续的白色光图像)的摄像时间间隔，最终算出该观察部位S的最初白色光图像与反射激励光图像之间的运动矢量信息。运动矢量计算部143c将这样算出的运动矢量信息的最终计算结果作为观察部位S的荧光图像与白色光图像之间的运动矢量信息发送到位置对准处理部44。
接着，说明本发明实施方式2的图像处理装置104的动作。该实施方式2的图像处理装置104除了观察部位S的白色光图像与荧光图像的运动矢量计算处理以外，与实施方式1的图像处理装置4同样地进行动作。即，图像处理装置104在图7所示的步骤S101～S106的各处理过程中除了步骤S102以外，执行与实施方式1的图像处理装置4同样的处理过程。
图14是对实施方式2中的观察部位的白色光图像与荧光图像的运动矢量计算处理的处理过程进行例示的流程图。图15是具体说明实施方式2中的观察部位的白色光图像与荧光图像的运动矢量计算处理的示意图。
在图像处理装置104执行上述步骤S102中的观察部位S的白色光图像与荧光图像的运动矢量计算处理时，该图像处理装置104的运动矢量运算部143如图14所示，首先生成运动矢量计算用图像(步骤S301)。
在该步骤S301中，图像变换部143a从反射光图像存储部41以时间序列顺序取得上述步骤S101中的观察部位S的反射激励光图像Pr和隔着该反射激励光图像Pr连续的2帧的白色光图像Pw1、Pw2。这里，该观察部位S的反射激励光图像Pr以及白色光图像Pw1、Pw2是在图7所示的步骤S101中由反射光摄像部36拍摄的观察部位S的反射光图像。详细地说如图15所示，白色光图像Pw1是在对观察部位S照射了白色光的定时T1由反射光摄像部36拍摄的观察部位S的反射光图像。反射激励光图像Pr是在该定时T1之后对观察部位S照射了激励光的定时T2由反射光摄像部36拍摄的观察部位S的反射光图像。白色光图像Pw2是在该定时T2之后对观察部位S再次照射了白色光的定时T3由反射光摄像部36拍摄的观察部位S的反射光图像。图像变换部143a计算所取得的白色光图像Pw1的亮度信号，并对该算出的亮度信号进行用于使明亮度一致的增益调整处理，并生成与该白色光图像Pw1对应的亮度信号图像即运动矢量计算用图像之一的基准图像。同样，图像变换部143a计算所取得的后续的白色光图像Pw2的亮度信号，并对所算出的亮度信号进行用于使明亮度一致的增益调整处理，生成与该白色光图像Pw2对应的亮度信号图像即运动矢量计算用图像之一的对象图像。
此外，采用观察部位S的白色光图像Pw1、Pw2的红色分量的像素值R、绿色分量的像素值G和蓝色分量的像素值B，利用亮度信号Y＝0.29×R+0.6×G+0.11×B的式子来计算用于生成该运动矢量计算用图像的亮度信号Y。另外，图像变换部143a取代计算该亮度信号Y，从观察部位S的白色光图像Pw1、Pw2中仅提取包含多个激励光的波长频带的R通道的像素值，对所提取的R通道的像素值进行增益调整处理，由此能够生成运动矢量计算用图像(基准图像以及对象图像)。
接着，运动矢量运算部143与实施方式1中的步骤S202(参照图8)同样地对在步骤S301中生成的运动矢量计算用图像设定运动矢量测定块(步骤S302)，接着，计算隔着上述步骤S101中的观察部位S的荧光图像以时间序列顺序连续的白色光图像间的运动矢量信息(步骤S303)。
在该步骤S303中，运动矢量计算部143c从测定块设定部43b中以时间序列顺序依次取得步骤S302中的各运动矢量计算用图像(即，与白色光图像Pw1、Pw2分别对应的基准图像以及对象图像)和这两个运动矢量用图像之间的反射激励光图像Pr。运动矢量计算部143c与实施方式1的情况同样地采用块匹配法等已知的手法，计算与该白色光图像Pw1对应的基准图像Pi和与后续的白色光图像Pw2对应的对象图像之间的运动矢量信息。运动矢量计算部143c对该基准图像上的全部测定块计算运动矢量信息，并根据所获得的全部运动矢量信息进行运动矢量信息的平均化处理，算出该基准图像与对象图像之间的代表性的运动矢量信息Va。
这里，该运动矢量计算部143c所算出的运动矢量信息Va是隔着上述定时T2的反射激励光图像Pr以时间序列顺序连续的定时T1、T3的白色光图像Pw1、Pw2之间的运动矢量信息。另外，该定时T2的反射激励光图像Pr如上所述是在与荧光摄像部37所拍摄的观察部位S的荧光图像Pf相同的定时拍摄的图像。即，基于该反射激励光图像Pr的对象图像和荧光图像Pf之间的与同一被摄体(例如病变部K)对应的像素位置一致。运动矢量计算部143c根据如上所述那样算出的运动矢量信息Va、观察部位S最初的白色光图像Pw1、反射激励光图像Pr和后续的白色光图像Pw2的各个摄像时间间隔ΔT1、ΔT2，利用下式(3)来最终地算出定时T1的白色光图像Pw1与定时T2的反射激励光图像Pr之间的运动矢量信息Vb。此外，摄像时间间隔ΔT1是拍摄了反射激励光图像Pr的定时T2与拍摄了白色光图像Pw1的定时T1的时间差(T2-T1)。另外，摄像时间间隔ΔT2是拍摄了白色光图像Pw2的定时T3与拍摄了反射激励光图像Pr的定时T2的时间差(T3-T2)。
Vb＝Va×{ΔT1/(ΔT1+ΔT2)}…(3)
例如，在以各个相同的时间间隔拍摄了上述白色光图像Pw1、Pw2以及反射激励光图像Pr时，各摄像时间间隔ΔT1、ΔT2是相同的值，白色光图像Pw1与反射激励光图像Pr之间的运动矢量信息Vb为2个白色光图像Pw1、Pw2之间的运动矢量信息Va的1/2。这样由运动矢量计算部143c最终算出的运动矢量信息Vb是与观察部位S的反射激励光图像Pr相同的定时T2的观察部位S的荧光图像Pf和定时T1的观察部位S的白色光图像Pw1之间的运动矢量信息。
在上述步骤S303的处理过程结束之后，运动矢量运算部143返回图7所示的步骤S102。然后，图像处理装置104与实施方式1的情况下相同，进入步骤S103，执行该步骤S103以后的处理过程。
此外，这样规定了运动矢量信息的白色光图像Pw1以及荧光图像Pf与实施方式1的情况同样地进行位置对准处理，由此，校正病变部K等同一被摄体的位置偏移。另外，与该白色光图像Pw1进行了位置对准处理的荧光图像Pf的亮度与实施方式1的情况同样地进行高精度的标准化处理，由此，能够正确地校正由于从被摄体即观察部位S到荧光摄像部37的距离不同而引起的荧光图像Pf内的荧光明暗。
如以上所说明的那样，在本发明的实施方式2中，针对一个观察部位拍摄荧光图像以及反射激励光图像和隔着该反射激励光图像以时间序列顺序连续的2个白色光图像，根据这2个白色光图像间的运动矢量信息和这些反射激励光图像以及2个白色光图像的各个时间间隔，来计算该反射激励光图像与白色光图像之间的运动矢量信息，其它的结构与实施方式1相同。因此，能够享受与上述实施方式1的情况同样的作用效果，并且即使在由于白色光图像与反射激励光图像的分光特性不同而引起白色光图像与反射激励光图像之间的图像信息大不相同时，也能够不受该白色光图像与反射激励光图像的分光特性不同所造成的影响，而高精度地算出观察部位的白色光图像与荧光图像之间的运动矢量信息。其结果，能够进一步可靠地提高该荧光图像的标准化处理的精度。
(实施方式3)
接着，说明本发明的实施方式3。在上述实施方式1中，将观察部位S的荧光图像除以根据观察部位S的白色光图像生成的标准化用图像，对该荧光图像的亮度进行了标准化处理，但在本实施方式3内，在与观察部位S的白色光图像相同的定时利用荧光摄像部37拍摄基于来自观察部位S的反射光(白色光)的亮度分量图像，将观察部位S的荧光图像除以该亮度分量图像，对该荧光图像的亮度进行标准化处理。
图16是示意性示出本发明实施方式3的内窥镜装置的一个结构例的框图。如图16所示，该实施方式3的内窥镜装置201取代上述实施方式1的内窥镜装置1的图像处理装置4而具备图像处理装置204，取代屏障滤光片35而具备屏障滤光片235，取代荧光摄像部37而具备荧光摄像部237。另外，该实施方式3的图像处理装置204取代上述实施方式1的图像处理装置4的荧光图像存储部42而具备荧光图像存储部242，取代位置对准处理部44而具备位置对准处理部244，取代输出图像生成部45而具备输出图像生成部245。其它的结构与实施方式1相同，对同一构成部分标注同一符号。
屏障滤光片235是用于使由分光镜34分支到荧光摄像部237侧光路的来自观察部位S的光中的、荧光摄像部237所需的波长频带的光透过且切断荧光摄像部237不需要的波长频带的光的滤光片。图17是示出本发明实施方式3中的屏障滤光片的透过率特性的一例的示意图。屏障滤光片235具有如图17所示的波长对透过率的相关线C8、C9那样使400～580nm波长频带的光与660～750nm波长频带的光透过的透过率特性。详细地说，屏障滤光片235使由分光镜34分支到荧光摄像部237侧光路的来自观察部位S的反射光中的400～580nm波长频带的反射光透过，并且切断该波长频带以外的反射光。另外，屏障滤光片235切断由分光镜34分支到荧光摄像部237侧光路的来自观察部位S的荧光以及激励光中的、来自该观察部位S的激励光，并且使660～750nm波长频带的光即来自观察部位S的荧光透过。此外，优选该屏障滤光片235的400～580nm波长频带的反射光的透过率是0.5％左右，660～750nm波长频带的光(荧光)的透过率是80％左右。
采用具有比上述反射光摄像部36高的灵敏度特性的单色摄像元件来实现荧光摄像部237。荧光摄像部237在对观察部位S照射了白色光的定时，接收从该观察部位S反射出的白色光中的透过了屏障滤光片235的400～580nm波长频带的反射光。由此，荧光摄像部237在与上述反射光摄像部36所拍摄的观察部位S的白色光图像相同的摄像定时，拍摄基于该400～580nm波长频带的反射光的观察部位S的反射光图像(以下，称为亮度分量图像)。荧光摄像部237每当拍摄该观察部位S的亮度分量图像时，将包含所获得的图像信息的图像信号依次发送到图像处理装置204。此外，荧光摄像部237除了该亮度分量图像的摄像功能以外，具有与上述实施方式1中的荧光摄像部37同样的功能。
图像处理装置204具备上述反射光图像存储部41以及运动矢量运算部43，此外，取代实施方式1的图像处理装置4的荧光图像存储部42而具备荧光图像存储部242，取代位置对准处理部44而具备位置对准处理部244，取代输出图像生成部45而具备输出图像生成部245。在该图像处理装置204中，反射光图像存储部41对上述反射光摄像部36所拍摄的白色光图像以及反射激励光图像分别进行插值处理，并存储该插值处理后的白色光图像以及反射激励光图像的各个图像信息。此外，图像处理装置204具有与上述实施方式1的图像处理装置4同样的运动矢量运算处理功能。
荧光图像存储部242根据上述光源装置2的滤光片控制部26的控制来存储基于荧光摄像部237的图像信息。具体地说，荧光图像存储部242取得滤光片控制部26所发送的滤光片信息，并根据所取得的滤光片信息来识别当前位于光源装置2的光路内的旋转滤光片24的滤光片是白色光滤光片24a以及激励光滤光片24b的哪个。荧光图像存储部242在光源装置2的光路内的滤光片是白色光滤光片24a的情况下，从荧光摄像部237取得观察部位S的亮度分量图像的图像信息，并依次存储所取得的图像信息。另外，荧光图像存储部242在光源装置2的光路内的滤光片是激励光滤光片24b的情况下，与上述实施方式1的情况相同，从荧光摄像部237取得观察部位S的荧光图像的图像信息，并依次存储所取得的图像信息。
位置对准处理部244进行观察部位S的荧光图像与反射光图像的位置对准处理，并校正该荧光图像与反射光图像之间的被摄体的位置偏移。具体地说，位置对准处理部244从荧光图像存储部242依次读入荧光摄像部237所拍摄的观察部位S的亮度分量图像以及荧光图像的各图像信息。另外，位置对准处理部244从运动矢量运算部43中取得上述运动矢量算出部43c所算出的运动矢量信息即该观察部位S的荧光图像与白色光图像之间的运动矢量信息。位置对准处理部244根据所取得的运动矢量信息，进行使该观察部位S的荧光图像和亮度分量图像之间的与同一被摄体(例如病变部K等)对应的像素位置对准的位置对准处理。由此，位置对准处理部244校正该荧光图像与亮度分量图像之间的被摄体的位置偏移。位置对准处理部244将该位置对准处理后的荧光图像以及亮度分量图像的各图像信息发送到输出图像生成部245。
输出图像生成部245根据位置对准处理部244已进行位置对准处理的各个图像信息，生成图像显示装置5所显示的输出图像。具体地说，输出图像生成部245从位置对准处理部244中取得已进行上述位置对准处理的观察部位S的荧光图像以及亮度分量图像的各图像信息。输出图像生成部245根据所取得的亮度分量图像的亮度对该荧光图像的亮度进行标准化处理，生成观察部位S的标准化荧光图像。在此情况下，输出图像生成部245采用从该位置对准处理部244取得的亮度分量图像，作为用于该荧光图像的标准化处理的标准化用图像。输出图像生成部245将该位置对准处理完毕的荧光图像的亮度值除以该亮度分量图像的亮度值。由此，输出图像生成部245对该观察部位S的荧光图像的各个像素的亮度值进行标准化处理，其结果，生成观察部位S的标准化荧光图像。此外，输出图像生成部245除了该荧光图像的标准化处理功能以外，还具有与上述实施方式1的图像处理装置4的输出图像生成部45同样的功能。
接着，说明本发明实施方式3的图像处理装置204的动作。图18是对本发明实施方式3的图像处理装置的处理过程进行例示的流程图。图19是具体说明实施方式3中的观察部位的荧光图像的位置对准处理以及标准化处理的示意图。以下，参照图18、19来说明该实施方式3的图像处理装置204的动作。
如图18所示，图像处理装置204首先取得观察部位S的图像信息(步骤S401)。在该步骤S401中，反射光图像存储部41与上述步骤S101的情况相同，依次取得在对观察部位S照射了白色光的定时T1由反射光摄像部36拍摄的观察部位S的白色光图像Pw和在对观察部位S照射了激励光的定时T2由反射光摄像部36拍摄的观察部位S的反射激励光图像Pr，并将这些白色光图像Pw以及反射激励光图像Pr作为观察部位S的彩色图像信息进行存储。另一方面，荧光图像存储部242取得在与该白色光图像Pw相同的摄像定时即定时T1由荧光摄像部237拍摄的观察部位S的亮度分量图像Ps，将所取得的亮度分量图像Ps作为单色的反射光图像信息进行存储。另外，荧光图像存储部242取得在与该反射激励光图像Pr相同的摄像定时即定时T2由荧光摄像部237拍摄的观察部位S的荧光图像Pf，并将所取得的荧光图像Pf作为单色图像信息进行存储。
接着，图像处理装置204与图7所示的步骤S101同样，算出步骤S401中的观察部位S的白色光图像Pw与荧光图像Pf之间的运动矢量信息(步骤S402)，接着，进行与该白色光图像Pw相同的定时T1的亮度分量图像Ps和荧光图像Pf的位置对准处理(步骤S403)。此外，在该步骤S402中，图像处理装置204的运动矢量运算部43执行图8所示的步骤S201～S203的处理过程。
在该步骤S403中，位置对准处理部244从荧光图像存储部242取得步骤S401中的观察部位S的亮度分量图像Ps以及荧光图像Pf。另外，位置对准处理部244取得在步骤S402中运动矢量运算部43所算出的白色光图像Pw与反射激励光图像Pr之间的运动矢量信息即白色光图像Pw与荧光图像Pf之间的运动矢量信息。这里，白色光图像Pw以及亮度分量图像Ps是在相同定时T1拍摄的观察部位S的图像信息，该白色光图像Pw和亮度分量图像Ps之间的与同一被摄体(例如病变部K)对应的像素位置一致。另外，反射激励光图像Pr以及荧光图像Pf是在相同定时T2拍摄的观察部位S的图像信息，该反射激励光图像Pr和荧光图像Pf之间的与同一被摄体(例如病变部K)对应的像素位置一致。因此，位置对准处理部244这样从运动矢量运算部43取得的白色光图像Pw与荧光图像Pf之间的运动矢量信息相当于观察部位S的亮度分量图像Ps与荧光图像Pf之间的运动矢量信息。位置对准处理部244根据从该运动矢量运算部43取得的运动矢量信息，进行使观察部位S的亮度分量图像Ps和荧光图像Pf之间的与同一被摄体对应的像素位置对准的位置对准处理。由此，位置对准处理部244校正该亮度分量图像Ps与荧光图像Pf之间的被摄体的位置偏移(例如两图像间的病变部K的位置偏移等)。
然后，图像处理装置204在步骤S403中执行已实施位置对准处理的观察部位S的荧光图像Pf的标准化处理(步骤S404)。在该步骤S404中，输出图像生成部245从位置对准处理部244取得已进行步骤S403中的位置对准处理的观察部位S的亮度分量图像Ps以及荧光图像Pf。输出图像生成部245将所取得的亮度分量图像Ps用作标准化用图像来执行荧光图像Pf的标准化处理。即，输出图像生成部245将该位置对准处理完毕的荧光图像Pf的亮度值除以所取得的亮度分量图像Ps的亮度值，由此，对该荧光图像Pf的各像素的亮度值进行标准化处理。这样，输出图像生成部245达成该观察部位S的荧光图像Pf的标准化处理。
接着，图像处理装置204与图7所示的步骤S105同样，进行图像显示装置5所显示的观察部位S的图像信息的输出处理(步骤S405)。然后，图像处理装置204与图7所示的步骤S106同样，在已进行关断操作等处理结束操作的情况下(步骤S406、是)，结束本处理，在没有进行处理结束操作的情况下(步骤S406，否)，返回上述步骤S401，反复该步骤S401以后的处理过程。
如以上所说明的那样，在本发明的实施方式3中，在对观察部位照射了白色光的定时，拍摄该观察部位的白色光图像与亮度分量图像，根据该观察部位的白色光图像与反射激励光图像之间的运动矢量信息，校正该观察部位的亮度分量图像与荧光图像之间的被摄体的位置偏移，并将该荧光图像的亮度值除以该校正后的亮度分量图像，对该荧光图像的亮度进行标准化处理，其它结构与实施方式1相同。因此，能够享受与上述实施方式1的情况同样的作用效果，并且即使不通过计算观察部位的白色光图像的亮度信号来生成标准化用图像，也能够根据在与观察部位的白色光图像相同的定时拍摄的亮度分量图像的亮度信号，容易地对荧光图像的亮度进行标准化处理。其结果，能够减轻执行该荧光图像的标准化处理时的图像处理装置的负荷并且能够促进处理时间的缩短。
(实施方式4)
接着，说明本发明的实施方式4。在上述实施方式3中，与实施方式1的情况相同，为了算出观察部位S的荧光图像与观察部位S的反射光图像之间的运动矢量信息，而计算在与该荧光图像相同的定时拍摄的观察部位S的反射激励光图像与观察部位S的白色光图像之间的运动矢量信息，不过在该实施方式4中，与上述实施方式2的情况相同，为了算出观察部位S的荧光图像与观察部位S的反射光图像之间的运动矢量信息，而计算隔着该荧光图像以时间序列顺序连续的观察部位S的2个白色光图像之间的运动矢量信息。即，该实施方式4的发明适当组合了上述实施方式2与实施方式3。
图20是示意性示出本发明实施方式4的内窥镜装置的一个结构例的框图。如图20所示，该实施方式4的内窥镜装置301取代上述实施方式3的内窥镜装置201的图像处理装置204而具备图像处理装置304。另外，该实施方式4的图像处理装置304取代上述实施方式3的图像处理装置204的运动矢量运算部43而具备实施方式2中的运动矢量运算部143。其它结构与实施方式3相同，对同一构成部分标注同一符号。
图像处理装置304具备上述反射光图像存储部41、荧光图像存储部242、位置对准处理部244和输出图像生成部245，此外，取代实施方式3的图像处理装置204的运动矢量运算部43而具备运动矢量运算部143。在该图像处理装置304中，反射光图像存储部41依次存储由上述反射光摄像部36以时间序列顺序连续拍摄的观察部位S的反射激励光图像和白色光图像。具体地说，反射光图像存储部41针对一个观察部位S将1帧的反射激励光图像和隔着该反射激励光图像以时间序列顺序连续的2帧的白色光图像作为彩色图像信息依次存储。另一方面，运动矢量运算部143与上述实施方式2的情况同样地发挥功能。此外，图像处理装置304除了该反射光图像存储部41以及运动矢量运算部143的功能以外，还具有与上述实施方式3的图像处理装置204同样的功能。
接着，说明本发明实施方式4的图像处理装置304的动作。图21是具体说明实施方式4的图像处理装置的动作的示意图。该实施方式4的图像处理装置304与实施方式2的情况同样地进行运动矢量计算处理，除了该运动矢量计算处理以外，与实施方式3的图像处理装置204大致同样地进行动作。即，图像处理装置304执行与图18所示的步骤S401～S406大致同样的各个处理过程，在步骤S402中，执行图14所示的步骤S301～S303的各处理过程。以下，参照图21具体说明图像处理装置304的动作。
具体地说，在步骤S401中，图像处理装置304取得在对观察部位S照射了白色光的定时T1由反射光摄像部36拍摄的观察部位S的白色光图像Pw1和由荧光摄像部237拍摄的观察部位S的亮度分量图像Ps1。接着，图像处理装置304取得在对该观察部位S照射了激励光的定时T2由反射光摄像部36拍摄的观察部位S的反射激励光图像Pr和由荧光摄像部237拍摄的观察部位S的荧光图像Pf。然后，图像处理装置304取得在对该观察部位S再次照射了白色光的定时T3由反射光摄像部36拍摄的观察部位S的白色光图像Pw2和由荧光摄像部237拍摄的观察部位S的亮度分量图像Ps2。
此外，在该步骤S401中，反射光图像存储部41以时间序列顺序依次存储该观察部位S的反射激励光图像Pr和隔着反射激励光图像Pr以时间序列顺序连续的2个白色光图像Pw1、Pw2。荧光图像存储部242依次存储与该白色光图像Pw1相同的摄像定时的亮度分量图像Ps1、与该反射激励光图像Pr相同的摄像定时的荧光图像Pf和与该后续的白色光图像Pw2相同的摄像定时的亮度分量图像Ps2。
另一方面，在步骤S402中，图像处理装置304与上述实施方式2的情况同样地执行运动矢量计算处理。即，该图像处理装置304的运动矢量运算部143执行图14所示的步骤S301～S303的各处理过程。该运动矢量运算部143如图15所示，计算定时T1的白色光图像Pw1与定时T3的白色光图像Pw2之间的运动矢量信息Va，根据所算出的运动矢量信息Va与各摄像时间间隔ΔT1、ΔT2，利用上述式子(3)来最终算出定时T1的白色光图像Pw1与定时T2的反射激励光图像Pr之间的运动矢量信息Vb。此外，该运动矢量信息Vb如上所述是与观察部位S的反射激励光图像Pr相同的定时T2的观察部位S的荧光图像Pf和定时T1的观察部位S的白色光图像Pw1之间的运动矢量信息。
然后，图像处理装置304与上述实施方式3的情况相同，进入步骤S403，执行该步骤S403以后的处理过程。在此情况下，如图21所示，位置对准处理部244执行定时T1的亮度分量图像Ps1与定时T2的荧光图像Pf的位置对准处理。输出图像生成部245将荧光图像Pf除以该位置对准处理后的亮度分量图像Ps1，对该荧光图像Pf的亮度进行标准化处理。
此外，在该实施方式4的图像处理装置304中，运动矢量运算部143可根据上述运动矢量信息Va和各摄像时间间隔ΔT1、ΔT2，利用下式(4)，来最终地算出定时T3的白色光图像Pw2与定时T2的反射激励光图像Pr之间的运动矢量信息Vb。
Vb＝Va×{ΔT2/(ΔT1+ΔT2)}…(4)
另外，此时的运动矢量信息Vb是与观察部位S的反射激励光图像Pr相同的定时T2的观察部位S的荧光图像Pf和定时T3的观察部位S的白色光图像Pw2之间的运动矢量信息。
另外，位置对准处理部244可根据基于式子(4)的运动矢量信息Vb，执行定时T3的亮度分量图像Ps2与定时T2的荧光图像Pf的位置对准处理。此外，输出图像生成部245可将荧光图像Pf除以该位置对准处理后的亮度分量图像Ps2，对该荧光图像Pf的亮度进行标准化处理。
如以上所说明的那样，在本发明的实施方式4中，针对一个观察部位拍摄荧光图像以及反射激励光图像和隔着该反射激励光图像以时间序列顺序连续的2个白色光图像，并根据这2个白色光图像间的运动矢量信息和这些反射激励光图像与2个白色光图像的各时间间隔来计算该反射激励光图像与白色光图像之间的运动矢量信息，其它结构与实施方式3相同。因此，能够享受与上述实施方式2的情况相同的作用效果，并且能够享受与上述实施方式3的情况相同的作用效果。
此外，在上述实施方式1～4中说明了基于硬件的图像处理装置的处理过程，但不仅限于此，本发明的图像处理装置可执行基于软件的处理过程。即，可采用存储处理程序的存储部以及执行该存储部内的处理程序的CPU等的计算机来实现上述实施方式1～4的图像处理装置4、104、204、304，图像处理装置内的各构成部可根据该处理程序进行动作。
具体地说，实施方式1的图像处理装置4根据该处理程序执行上述步骤S101～S106的各处理过程，只要在步骤S102中执行上述步骤S201～S203的各处理过程即可。实施方式2的图像处理装置104根据该处理程序执行上述步骤S101～S106的各处理过程，只要在步骤S102中执行上述步骤S301～S303的各处理过程即可。实施方式3的图像处理装置204根据该处理程序执行上述步骤S401～S406的各处理过程，只要在步骤S402中执行上述步骤S201～S203的各处理过程即可。实施方式4的图像处理装置304根据该处理程序来执行上述步骤S401～S406的各处理过程，只要在步骤S402中执行上述步骤S301～S303的各处理过程即可。
另一方面，在上述实施方式1～4中对观察部位S照射白色光来拍摄观察部位S的白色光图像，但不仅限于此，可取代白色光对观察部位S照射R光等单色光，拍摄基于从该观察部位S反射出的单色光的单色光图像。在此情况下，可取代上述观察部位S的白色光，算出观察部位S的单色光图像与荧光图像的运动矢量信息，并根据所算出的运动矢量信息，校正该单色光图像与荧光图像之间的被摄体的位置偏移，将荧光图像除以该校正后的单色光图像，对该荧光图像的亮度进行标准化处理。
另外，在上述实施方式1、2中，计算观察部位S的白色光图像的亮度信号，并根据所算出的亮度信号来生成标准化用图像，但不仅限于此，可计算观察部位S的白色光图像或单色光图像的规定色(例如R通道)的信号值，并根据所算出的规定色的信号值来生成标准化用图像。
此外，在上述实施方式2、4中，针对白色光图像的每次摄像依次算出隔着反射激励光图像以时间序列顺序连续的2个白色光图像之间的运动矢量信息，但不仅限于此，在以相同的时间间隔依次拍摄该观察部位的反射激励光图像以及白色光图像的情况下，可计算一次观察部位S中的最初的白色光图像与接下来的反射激励光图像之间的运动矢量信息，并将所算出的运动矢量信息用作观察部位S中的后续的白色光图像与反射激励光图像之间的运动矢量信息。
另外，在上述实施方式1～4中，将依次切换白色光滤光片24a与激励光滤光片24b的旋转滤光片24内置于光源装置2，并从光源装置2中依次输出基于白色光滤光片24a的白色光和基于激励光滤光片24b的激励光，但不仅限于此，该光源装置2的旋转滤光片24可具有包含上述白色光滤光片24a以及激励光滤光片24b在内的3种以上的滤光片。在此情况下，旋转滤光片24只要根据滤光片控制部26的控制以预先设定的时间间隔依次切换白色光滤光片24a、激励光滤光片24b、剩余的滤光片(未图示)即可。由此，光源装置2除了上述白色光以及激励光之外，还将R光等期望色的单色光等期望波长频带的追加光照射到观察部位S。由此，本发明的图像处理装置还可以取得基于该追加光的图像信息，可将该图像信息用作标准化图像而容易地对观察部位S的荧光图像进行标准化处理。此外，在这样取得追加的图像信息的情况下，可计算该追加的图像信息与观察部位S的白色光图像或荧光图像的运动矢量信息，在进行了该各图像信息的位置对准处理之后，可重叠处理该追加的图像信息与白色光图像或荧光图像。
此外，在上述实施方式1～4中，将用于观察患者等被检体的体腔内的内窥镜装置作为本发明的摄像装置的一例进行了说明，但不仅限于此，本发明的摄像装置可以是用于医疗领域以外的内窥镜装置，也可以是内窥镜装置以外的摄像装置、例如数字照相机或数字摄像机，还可以是带有摄像功能的移动电话等便携型信息终端。另外，本发明的图像处理装置不仅限于存在于上述医疗用内窥镜装置中，还可以存在于用于医疗领域以外的内窥镜装置、数字照相机或数字摄像机等内窥镜装置以外的摄像装置、或者带有摄像功能的移动电话等便携型信息终端的任意一个中。
另外，在上述实施方式1～4中，输出图像生成部发挥如下的图像生成部的作用，即：对由位置对准处理部进行了位置对准处理后的观察部位的荧光图像的亮度进行标准化处理来生成该观察部位的标准化荧光图像，但不仅限于此，上述输出图像生成部还可以发挥如下的图像生成部的作用，即：生成不进行观察部位的荧光图像的标准化处理而对该观察部位的荧光图像内的荧光被摄体和该观察部位的反射光图像内的与上述荧光被摄体相同的被摄体进行重叠处理的输出图像。
具体地说，上述实施方式1、2中的输出图像生成部45从位置对准处理部44中取得已进行上述位置对准处理的观察部位S的荧光图像以及白色光图像的各图像信息，对所取得的位置对准处理完毕的荧光图像与白色光图像的同一被摄体(例如病变部K)进行重叠处理，生成使该同一被摄体重合的荧光图像与白色光图像的重叠图像，作为输出图像信息。在此情况下，输出图像生成部45在图7所示的步骤S104中，取代荧光图像的标准化处理，进行使该位置对准处理完毕的荧光图像与白色光图像的同一被摄体(例如病变部K)重合的重叠处理。然后，输出图像生成部45在图7所示的步骤S105中，生成该位置对准处理完毕的荧光图像与白色光图像的重叠图像。输出图像生成部45将这样生成的观察部位S的重叠图像发送到图像显示装置5，并在图像显示装置5上显示该观察部位S的重叠图像。
具备生成该重叠图像的输出图像生成部45的图像处理装置与上述实施方式1或2的情况相同，可算出几乎不包含形状信息的荧光图像与白色光图像之间的运动矢量信息，并能够根据所算出的运动矢量信息，高精度地校正观察部位的荧光图像与白色光图像之间的被摄体的位置偏移，使该荧光图像与白色光图像的同一被摄体正确重合。由此，能够防止该荧光图像内的病变部等异常组织与白色光图像内的同一异常组织的位置偏移。其结果，能够实现可享受与上述实施方式1或2的情况同样的作用效果且能够容易地对荧光图像内的观察部位进行荧光观察并且可提高基于该观察部位的荧光图像对被检体内的异常组织的检测能力的图像处理装置、摄像装置、图像处理程序以及图像处理方法。
另一方面，上述实施方式3、4中的输出图像生成部245从位置对准处理部244中取得已进行上述位置对准处理的观察部位S的荧光图像以及亮度分量图像的各图像信息与观察部位S的白色光图像的图像信息。输出图像生成部245根据所取得的荧光图像与亮度分量图像的位置对准处理结果，对该观察部位S的荧光图像与白色光图像的同一被摄体(例如病变部K)进行重叠处理。即，输出图像生成部245对在与所取得的亮度分量图像相同的定时拍摄的观察部位S的白色光图像和该位置对准处理完毕的荧光图像的同一被摄体进行重叠处理。输出图像生成部245生成利用该重叠处理使同一被摄体重合的荧光图像与白色光图像的重叠图像作为输出图像信息。在此情况下，输出图像生成部245在图18所示的步骤S404中，取代荧光图像的标准化处理，进行使与该亮度分量图像的位置对准处理完毕的荧光图像和与该亮度分量图像相同的摄像定时的白色光图像的同一被摄体(例如病变部K)重合的重叠处理。然后，输出图像生成部245在图18所示的步骤S405中，生成该位置对准处理完毕的荧光图像与白色光图像的重叠图像。输出图像生成部45将这样生成的观察部位S的重叠图像发送到图像显示装置5，在图像显示装置5上显示该观察部位S的重叠图像。
具备生成该重叠图像的输出图像生成部245的图像处理装置与上述实施方式3或4的情况相同，可计算几乎不包含形状信息的荧光图像与白色光图像之间的运动矢量信息，并根据所算出的运动矢量信息，高精度地校正观察部位的荧光图像与白色光图像之间的被摄体的位置偏移，使该荧光图像与白色光图像的同一被摄体正确地重合。由此，能够防止该荧光图像内的病变部等异常组织与白色光图像内的同一异常组织的位置偏移。其结果，能够实现可享受与上述实施方式3或4的情况相同的作用效果且容易地对荧光图像内的观察部位进行荧光观察并且可提高基于该观察部位的荧光图像对被检体内的异常组织的检测能力的图像处理装置、摄像装置、图像处理程序以及图像处理方法。
产业上的可利用性
如以上这样，本发明的图像处理装置、摄像装置、图像处理程序以及图像处理方法在被检体内部的观察中是有用的，尤其适用于可通过观察对象的荧光观察来容易地进行荧光观察并且可提高荧光观察中的观察对象的检测能力的图像处理装置、摄像装置、图像处理程序以及图像处理方法。
符号说明
1，101，201，301内窥镜装置
2光源装置
3插入部
4，104，204，304图像处理装置
5图像显示装置
21白色光源
22准直透镜
23会聚透镜
24旋转滤光片
24a白色光滤光片
24b激励光滤光片
25电动机
26滤光片控制部
31光导纤维
32透镜
33物镜
34分光镜
35，235屏障滤光片
36反射光摄像部
37，237荧光摄像部
41反射光图像存储部
42，242荧光图像存储部
43，143运动矢量运算部
43a，143a图像变换部
43b测定块设定部
43c，143c运动矢量计算部
44，244位置对准处理部
45，245输出图像生成部
K病变部
Pf荧光图像
Pi基准图像
Pr反射激励光图像
Ps，Ps1，Ps2亮度分量图像
Pw，Pw1、Pw2白色光图像
S观察部位

Claims (13)

1.一种图像处理装置，其特征在于，该图像处理装置具备：
运动矢量运算部，其计算基于从照射了激励光的观察部位产生的荧光的所述观察部位的荧光图像与基于来自所述观察部位的反射光的所述观察部位的反射光图像之间的运动矢量信息；以及
位置对准处理部，其根据所述运动矢量信息来校正所述荧光图像与所述反射光图像之间的被摄体的位置偏移。
2.根据权利要求1所述的图像处理装置，其特征在于，
该图像处理装置还具备图像生成部，该图像生成部对已校正了所述被摄体的位置偏移的所述荧光图像的亮度进行标准化处理，生成所述观察部位的标准化荧光图像。
3.根据权利要求1所述的图像处理装置，其特征在于，
该图像处理装置还具备图像生成部，该图像生成部生成对所述荧光图像内的荧光被摄体和所述反射光图像内的与所述荧光被摄体相同的被摄体进行了重叠处理的输出图像。
4.根据权利要求1所述的图像处理装置，其特征在于，
所述运动矢量运算部计算基于从所述观察部位反射的所述激励光的反射激励光图像与所述反射光图像之间的运动矢量信息，作为所述荧光图像与所述反射光图像之间的运动矢量信息。
5.根据权利要求1所述的图像处理装置，其特征在于，
以预先设定的时间间隔交替地拍摄所述荧光图像以及所述反射光图像，
所述运动矢量运算部计算隔着所述荧光图像以时间序列顺序连续的所述观察部位的2个所述反射光图像之间的运动矢量信息，根据计算出的运动矢量信息与所述时间间隔计算所述荧光图像与所述反射光图像之间的运动矢量信息。
6.根据权利要求2所述的图像处理装置，其特征在于，
所述位置对准处理部根据所述运动矢量信息使所述荧光图像与所述反射光图像的像素位置对准，
所述图像生成部将所述荧光图像的亮度值除以像素位置与所述荧光图像对准的所述反射光图像的亮度值，来生成所述标准化荧光图像。
7.根据权利要求2所述的图像处理装置，其特征在于，
所述位置对准处理部取得在与所述反射光图像相同的定时拍摄的所述观察部位的亮度分量图像，根据所述运动矢量信息使所述亮度分量图像与所述荧光图像的像素位置对准，
所述图像生成部将所述荧光图像的亮度值除以像素位置与所述荧光图像对准的所述亮度分量图像的亮度值，来生成所述标准化荧光图像。
8.根据权利要求3所述的图像处理装置，其特征在于，
所述位置对准处理部取得在与所述反射光图像相同的定时拍摄的所述观察部位的亮度分量图像，根据所述运动矢量信息使所述亮度分量图像与所述荧光图像的像素位置对准，
所述图像生成部对所述荧光图像内的荧光被摄体和所述反射光图像内的与所述荧光被摄体相同的被摄体进行重叠处理，来生成所述输出图像，所述反射光图像是在与所述亮度分量图像相同的定时拍摄的，所述亮度分量图像的像素位置与上述荧光图像对准。
9.根据权利要求2所述的图像处理装置，其特征在于，
所述图像生成部对应于所述荧光图像内的荧光被摄体的像素的信号值，对所述反射光图像内的与所述荧光被摄体相同的被摄体的像素的信号值进行期望的颜色变换处理，对所述反射光图像与所述荧光图像进行重叠处理。
10.根据权利要求3所述的图像处理装置，其特征在于，
所述图像生成部对应于所述荧光图像内的荧光被摄体的像素的信号值，对所述反射光图像内的与所述荧光被摄体相同的被摄体的像素的信号值进行期望的颜色变换处理，对所述反射光图像与所述荧光图像进行重叠处理。
11.根据权利要求1所述的图像处理装置，其特征在于，
所述反射光图像是所述观察部位的单色光图像或白色光图像。
12.一种摄像装置，该摄像装置具备：
光源部，其切换普通光和激励光对观察部位进行照射；
反射光摄像部，其接收来自由所述普通光照明的所述观察部位的反射光来拍摄所述观察部位的反射光图像；
荧光摄像部，其接收从照射了所述激励光的所述观察部位产生的荧光来拍摄所述观察部位的荧光图像；
其特征在于，该摄像装置还具备：
运动矢量运算部，其计算所述荧光图像与所述反射光图像之间的运动矢量信息；以及
位置对准处理部，其根据所述运动矢量信息来校正所述荧光图像与所述反射光图像之间的被摄体的位置偏移。
13.一种图像处理方法，其特征在于，该图像处理方法包含以下步骤：
运动矢量运算步骤，计算基于从照射了激励光的观察部位产生的荧光的所述观察部位的荧光图像与基于来自所述观察部位的反射光的所述观察部位的反射光图像之间的运动矢量信息；以及
位置对准处理步骤，根据所述运动矢量信息来校正所述荧光图像与所述反射光图像之间的被摄体的位置偏移。
CN201080013461.2A 2009-03-26 2010-02-02 图像处理装置、摄像装置、图像处理程序以及图像处理方法 Active CN102361583B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009077562A JP5242479B2 (ja) 2009-03-26 2009-03-26 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
JP2009-077562 2009-03-26
PCT/JP2010/051418 WO2010109950A1 (ja) 2009-03-26 2010-02-02 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法

Publications (2)

Publication Number Publication Date
CN102361583A CN102361583A (zh) 2012-02-22
CN102361583B true CN102361583B (zh) 2014-02-12

Family

ID=42780646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080013461.2A Active CN102361583B (zh) 2009-03-26 2010-02-02 图像处理装置、摄像装置、图像处理程序以及图像处理方法

Country Status (5)

Country Link
US (1) US8767058B2 (zh)
EP (1) EP2412291B1 (zh)
JP (1) JP5242479B2 (zh)
CN (1) CN102361583B (zh)
WO (1) WO2010109950A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
EP2609853A4 (en) * 2010-08-27 2016-03-09 Sony Corp APPARATUS AND METHOD FOR IMAGE PROCESSING
JP5875520B2 (ja) 2010-10-07 2016-03-02 パイロットインキ株式会社 感温変色性色彩記憶性マイクロカプセル顔料
JP5334952B2 (ja) * 2010-12-16 2013-11-06 富士フイルム株式会社 画像処理装置
CN103687529B (zh) * 2011-07-22 2016-05-18 奥林巴斯株式会社 荧光内窥镜装置
JP5926909B2 (ja) * 2011-09-07 2016-05-25 オリンパス株式会社 蛍光観察装置
DE102011122602A1 (de) * 2011-12-30 2013-07-04 Karl Storz Gmbh & Co. Kg Vorrichtung und Verfahren zur endoskopischen Fluoreszenzdetektion
EP2810216B1 (en) * 2012-01-31 2017-11-15 Given Imaging Ltd. System and method for displaying motility events in an in vivo image stream
JP5620932B2 (ja) * 2012-02-14 2014-11-05 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
WO2015002311A1 (ja) * 2013-07-05 2015-01-08 オリンパスメディカルシステムズ株式会社 医療表示装置および内視鏡手術システム
JP6019167B1 (ja) 2015-04-30 2016-11-02 パナソニック株式会社 内視鏡システム及び光源制御方法
JP6484336B2 (ja) * 2015-06-17 2019-03-13 オリンパス株式会社 撮像装置
JP6598549B2 (ja) * 2015-07-23 2019-10-30 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置およびその制御方法
EP3373842A4 (en) * 2015-11-13 2019-06-05 Novadaq Technologies ULC SYSTEMS AND METHOD FOR LIGHTING AND IMAGING A TARGET
JP6654038B2 (ja) 2015-12-22 2020-02-26 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
EP3469420A4 (en) 2016-06-14 2020-02-12 Novadaq Technologies ULC ADAPTIVE IMAGING METHODS AND SYSTEMS FOR IMPROVING LOW LIGHT SIGNALS IN MEDICAL VISUALIZATION
WO2018079116A1 (ja) * 2016-10-27 2018-05-03 富士フイルム株式会社 内視鏡システム
US11216941B2 (en) * 2016-11-04 2022-01-04 Sony Corporation Medical image processing apparatus, medical image processing method, and program
EP3417763A1 (en) * 2017-06-22 2018-12-26 Helmholtz Zentrum München - Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) System for endoscopic imaging
CN107981855A (zh) * 2017-12-29 2018-05-04 深圳开立生物医疗科技股份有限公司 一种血流成像装置及内窥镜
WO2019167623A1 (ja) * 2018-03-02 2019-09-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
JP7134759B2 (ja) * 2018-07-13 2022-09-12 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置及び医療用観察システム
CN112602115A (zh) * 2018-09-06 2021-04-02 索尼公司 医疗系统、信息处理设备和信息处理方法
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US11276148B2 (en) * 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11280737B2 (en) * 2019-06-20 2022-03-22 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11288772B2 (en) * 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
DE102021124010A1 (de) * 2021-09-16 2023-03-16 Xion Gmbh Verfahren und Vorrichtung zur Videoendoskopie mit Fluoreszenzlicht
DE102021130529B3 (de) * 2021-11-22 2023-03-16 Karl Storz Se & Co. Kg Bildgebendes Verfahren zum Abbilden einer Szene und System

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5590170A (en) * 1993-04-12 1996-12-31 Glenbrook Technologies X-ray inspection system
JPH07250804A (ja) * 1994-03-15 1995-10-03 Olympus Optical Co Ltd 蛍光観察装置
US7187810B2 (en) * 1999-12-15 2007-03-06 Medispectra, Inc. Methods and systems for correcting image misalignment
JP2002074330A (ja) * 2000-09-01 2002-03-15 Fuji Photo Film Co Ltd 蛍光診断画像表示装置
JP2002336187A (ja) * 2001-05-18 2002-11-26 Fuji Photo Film Co Ltd 規格化蛍光画像生成方法および装置
JP2003070008A (ja) * 2001-08-28 2003-03-07 Olympus Optical Co Ltd 画像信号処理装置
US7260253B2 (en) * 2002-04-19 2007-08-21 Visiongate, Inc. Method for correction of relative object-detector motion between successive views
JP2004329514A (ja) * 2003-05-07 2004-11-25 Olympus Corp 画像信号処理装置
US7181055B2 (en) * 2003-08-15 2007-02-20 Holger Lange Systems and methods for registering reflectance and fluorescence hyperspectral imagery
DE10357184A1 (de) * 2003-12-08 2005-07-07 Siemens Ag Verfahren zur fusionierten Bilddarstellung
JP5461753B2 (ja) * 2004-07-30 2014-04-02 オリンパス株式会社 内視鏡装置
US8103331B2 (en) * 2004-12-06 2012-01-24 Cambridge Research & Instrumentation, Inc. Systems and methods for in-vivo optical imaging and measurement
DE102005049862A1 (de) * 2005-10-18 2007-04-26 Siemens Ag Verfahren und Vorrichtung zur Bewegungskorrektur bei der Bildgebung des Herzens
JP4818753B2 (ja) * 2006-02-28 2011-11-16 オリンパス株式会社 内視鏡システム
JP2007244746A (ja) * 2006-03-17 2007-09-27 Olympus Medical Systems Corp 観察システム
JP5396004B2 (ja) * 2007-01-31 2014-01-22 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
JP5278854B2 (ja) * 2007-12-10 2013-09-04 富士フイルム株式会社 画像処理システムおよびプログラム
US20090160386A1 (en) 2007-12-25 2009-06-25 Denso Corporation Electric drive device control system and method
JP5545612B2 (ja) * 2009-01-14 2014-07-09 富士フイルム株式会社 画像処理システム、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2010227253A (ja) 2010-10-14
EP2412291B1 (en) 2017-08-30
US8767058B2 (en) 2014-07-01
EP2412291A1 (en) 2012-02-01
JP5242479B2 (ja) 2013-07-24
WO2010109950A1 (ja) 2010-09-30
US20120013773A1 (en) 2012-01-19
EP2412291A4 (en) 2014-03-26
CN102361583A (zh) 2012-02-22

Similar Documents

Publication Publication Date Title
CN102361583B (zh) 图像处理装置、摄像装置、图像处理程序以及图像处理方法
CN102164530B (zh) 荧光观察装置
KR101813909B1 (ko) 선택형 조명 스펙트럼으로 구성된 배경 수술 이미지에 의한 형광 이미징 방법 및 시스템
US8262559B2 (en) Apparatus and method for endoscopic 3D data collection
US9167960B2 (en) Endoscope system, processor device thereof, and image producing method
US9066676B2 (en) Endoscopic image display apparatus
JP2020062437A (ja) 低侵襲手術システム内のカメラ
US20130245411A1 (en) Endoscope system, processor device thereof, and exposure control method
EP1839558A1 (en) Electronic endoscope
CN102869294B (zh) 图像处理装置和荧光观察装置
JP6329715B1 (ja) 内視鏡システムおよび内視鏡
JP7227011B2 (ja) 内視鏡
KR20200019779A (ko) 수술기기 내의 이미지 캡쳐 장치
JP2006212335A (ja) 電子内視鏡
CN103687529A (zh) 荧光内窥镜装置
CN104780825B (zh) 内窥镜系统
JP2009000236A (ja) 画像生成装置
JP2013099464A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法
CN102843952A (zh) 荧光观察装置和荧光图像处理方法
JP4744279B2 (ja) 電子内視鏡装置
JP2015231498A (ja) 内視鏡装置
CN102958417B (zh) 荧光观察装置
JP4716801B2 (ja) 内視鏡撮像システム
JP6368886B1 (ja) 内視鏡システム
JP2011082886A (ja) 狭帯域画像システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant