JP2010227254A - 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 - Google Patents

画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 Download PDF

Info

Publication number
JP2010227254A
JP2010227254A JP2009077563A JP2009077563A JP2010227254A JP 2010227254 A JP2010227254 A JP 2010227254A JP 2009077563 A JP2009077563 A JP 2009077563A JP 2009077563 A JP2009077563 A JP 2009077563A JP 2010227254 A JP2010227254 A JP 2010227254A
Authority
JP
Japan
Prior art keywords
image
light
video signal
white light
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009077563A
Other languages
English (en)
Other versions
JP5572326B2 (ja
Inventor
Hiroshi Suzuki
博 鈴木
Koichiro Yoshino
浩一郎 吉野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2009077563A priority Critical patent/JP5572326B2/ja
Priority to US12/730,289 priority patent/US8451328B2/en
Publication of JP2010227254A publication Critical patent/JP2010227254A/ja
Application granted granted Critical
Publication of JP5572326B2 publication Critical patent/JP5572326B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】簡易な構成で観察対象の蛍光画像の輝度を正確に補正できること。
【解決手段】本発明のある実施の形態において、画像処理装置30は、白色光画像用バッファ32と、蛍光画像用バッファ33と、均一画像生成部35と、補正処理部36とを備える。白色光画像用バッファ32は、カラーフィルタ群25を介して白色光撮像部26が撮像した白色光画像を記憶する。蛍光画像用バッファ33は、蛍光撮像部28による蛍光画像を記憶する。均一画像生成部35は、この白色画像の各映像信号の中から、カラーフィルタ群25のうちの観察部位100内のコントラスト部位における光吸収特性の低い波長帯域の光を透過する特定カラーフィルタに対応する各映像信号を抽出し、この抽出した各映像信号に基づいた均一画像を生成する。補正処理部36は、この均一画像によって蛍光画像用バッファ33内の蛍光画像を補正する。
【選択図】 図1

Description

本発明は、画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法に関し、特に、被写体からの蛍光に基づく蛍光画像を処理する画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法に関するものである。
従来から、医療分野においては、被検体の臓器内部を観察する際に内視鏡装置が用いられている。内視鏡装置は、一般に、患者等の被検体の体腔内に細長形状の可撓性挿入部を挿入し、この挿入した可撓性挿入部を介して体腔内の生体組織に白色光を照射し、その反射光を可撓性挿入部内の撮像部によって受光して、この生体組織の白色光画像を撮像する。かかる生体組織の白色光画像は、この内視鏡装置の表示部に表示される。医師等のユーザは、内視鏡装置の表示部に表示された生体組織の白色光画像を通して、被検体の体腔内を観察する。
一方、近年の内視鏡分野においては、体腔内の生体組織等の観察部位を蛍光観察することが可能な内視鏡装置が登場している。蛍光観察型の内視鏡装置は、一般に、体腔内に挿入した可撓性挿入部を介して体腔内の生体組織に励起光を照射し、これによって生体組織から発生する蛍光に基づいた観察部位の蛍光画像を撮像する。ここで、この観察部位が被検体内部の食道または腸等の管空状の臓器内部位である場合、この観察部位と内視鏡装置の撮像部との撮像距離は均一にならない可能性が高い。このため、かかる観察部位の蛍光画像を内視鏡装置の撮像部が撮像する際に、この撮像部と被写体である観察部位との撮像距離の違いに起因する蛍光の明暗が発生する。なお、かかる蛍光の明暗は、観察部位の蛍光観察において正常な生体組織と異常組織との判別を困難にする。このような問題を解決するために、蛍光観察型の内視鏡装置は、白色光等の光の照射による観察部位からの反射光に基づいた規格化用画像を生成し、この生成した規格化用画像によって観察部位の蛍光画像を除算する規格化処理を行い、これによって、上述した撮像部と観察部位との撮像距離の違いに起因する蛍光の明暗を補正する。その後、蛍光観察型の内視鏡装置は、かかる規格化処理によって輝度値が規格化された蛍光画像を表示部に表示する。医師等のユーザは、かかる蛍光観察型の内視鏡装置の表示部に表示された観察部位の蛍光画像を観察し、この蛍光観察を通して被検体内部の観察部位に病変部等の異常組織が存在するか否か等を診断する。
なお、上述した蛍光観察における観察部位に、明暗のコントラストを形成するコントラスト部位(例えば、生体組織の粘膜表層または深部の血管等)が存在する場合、この観察部位からの反射光に基づいて生成された規格化用画像には、かかるコントラスト部位に対応して周辺画素との輝度差が大きくなる画素部分、すなわちエッジが存在する。かかるエッジを含む規格化用画像によって観察部位の蛍光画像を除算した場合、この規格化用画像内のエッジに対応する各画素の輝度値が蛍光画像の規格化処理に反映されてしまい、これに起因して、観察部位の蛍光画像のS/N比が低下する可能性がある。
このような規格化用画像内のエッジに起因する蛍光画像のS/N比の低下を防止するために、観察部位からの反射光に基づいた規格化用画像にローパスフィルタ処理を施し、このローパスフィルタ処理後の規格化用画像によって観察部位の蛍光画像を除算する装置が提案されている(特許文献1参照)。また、観察部位に近赤外光を照射して観察部位の近赤外光画像を撮像し、この撮像した近赤外光画像の画像信号によって観察部位の蛍光画像の画像信号を除算する装置も提案されている(特許文献2参照)。
特開2002−336187号公報 特開平9−294706号公報
しかしながら、上述した特許文献1に開示された従来技術では、観察部位からの反射光に基づく規格化用画像をローパスフィルタ処理するためのローパスフィルタ回路を装置内部に配置する必要があるため、観察部位の蛍光画像を規格化処理するまでの処理コストが高くなるとともに、回路構成の複雑化および装置規模の増大を招来するという問題がある。また、上述した特許文献2に開示された従来技術では、観察部位内の病変部等の異常組織から蛍光を発生させるための光源の他に、観察部位に近赤外光を照射するための近赤外光源が必要になるため、装置構成が複雑化、大型化するという問題がある。さらには、観察部位の白色光画像(すなわち通常のカラー画像)と蛍光画像とを同時に観察する場合、観察部位に白色光と励起光と近赤外光とを順次切り替えて照射しなければならず、このため、観察部位の蛍光画像を規格化処理するまでの処理が煩雑化するという問題がある。
本発明は、上記事情に鑑みてなされたものであって、簡易な構成で観察対象の蛍光画像の輝度を正確に補正することができる画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明のある態様にかかる画像処理装置は、分光特性の異なる複数のカラーフィルタを介して観察部位からの通常光を受光する通常光撮像部が撮像した前記観察部位の通常光画像の各映像信号を記憶する通常光画像記憶部と、励起光の照射によって前記観察部位から発生した蛍光を受光する蛍光撮像部が撮像した前記観察部位の蛍光画像の各映像信号を記憶する蛍光画像記憶部と、前記通常光画像記憶部に記憶された前記通常光画像の各映像信号の中から、前記複数のカラーフィルタのうちの前記観察部位内のコントラスト部位における光吸収特性の低い波長帯域の光を透過する特定カラーフィルタに対応する各映像信号を抽出し、この抽出した前記各映像信号をもとに、前記特定カラーフィルタに対応する波長帯域成分の均一画像を生成する均一画像生成部と、前記蛍光画像記憶部に記憶された前記蛍光画像の各映像信号を前記均一画像によって補正する補正処理部と、を備えるものである。
この態様にかかる画像処理装置によれば、観察部位内のコントラスト部位における光吸収特性の低い波長帯域の光を照射可能な光源あるいは蛍光画像の補正処理に用いる映像信号をローパスフィルタ処理するための処理回路等の追加構成を必要とせずに、既存のカラーフィルタ群のうちの特定カラーフィルタに対応する波長帯域の映像信号をもとに、観察部位内のコントラスト部位に起因するエッジの発生を抑制して光の照度分布を正確に反映した低コントラストの均一画像を簡易に生成できる。かかる低コントラストの均一画像の各映像信号を用いることによって、血管等のコントラスト部位に起因するエッジの影響を受けることなく、簡易な構成で観察対象の蛍光画像の輝度を正確に補正することができる。この結果、観察部位の撮像距離の違いに起因する蛍光の明暗を高精度に補正した高品質な蛍光画像を簡易に取得することができる。
また、本発明の別の態様にかかる撮像装置は、通常光と励起光とを切り替えて観察部位に照射する光源部と、分光特性の異なる複数のカラーフィルタを有し、前記通常光を照射された前記観察部位からの通常光を前記複数のカラーフィルタを介して受光して前記観察部位の通常光画像を撮像する通常光撮像部と、前記励起光を照射された前記観察部位から発生した蛍光を受光して前記観察部位の蛍光画像を撮像する蛍光撮像部と、前記通常光撮像部が撮像した前記通常光画像の各映像信号の中から、前記複数のカラーフィルタのうちの前記観察部位内のコントラスト部位における光吸収特性の低い波長帯域の光を透過する特定カラーフィルタに対応する各映像信号を抽出し、この抽出した前記各映像信号をもとに、前記特定カラーフィルタに対応する波長帯域成分の均一画像を生成する均一画像生成部と、前記蛍光撮像部が撮像した前記蛍光画像の各映像信号を前記均一画像によって補正する補正処理部と、を備えるものである。
また、本発明の別の態様にかかる画像処理プログラムは、分光特性の異なる複数のカラーフィルタを介して観察部位からの通常光を受光する通常光撮像部が撮像した前記観察部位の通常光画像の各映像信号と、励起光の照射によって前記観察部位から発生した蛍光を受光する蛍光撮像部が撮像した前記観察部位の蛍光画像の各映像信号と、を取得する映像信号取得手順と、前記通常光画像の各映像信号の中から、前記複数のカラーフィルタのうちの前記観察部位内のコントラスト部位における光吸収特性の低い波長帯域の光を透過する特定カラーフィルタに対応する各映像信号を抽出し、この抽出した前記各映像信号をもとに、前記特定カラーフィルタに対応する波長帯域成分の均一画像を生成する均一画像生成手順と、前記蛍光画像の各映像信号を前記均一画像によって補正する補正手順と、をコンピュータに実行させるものである。
また、本発明の別の態様にかかる画像処理方法は、分光特性の異なる複数のカラーフィルタを介して観察部位からの通常光を受光する通常光撮像部が撮像した前記観察部位の通常光画像の各映像信号と、励起光の照射によって前記観察部位から発生した蛍光を受光する蛍光撮像部が撮像した前記観察部位の蛍光画像の各映像信号と、を取得する映像信号取得ステップと、前記通常光画像の各映像信号の中から、前記複数のカラーフィルタのうちの前記観察部位内のコントラスト部位における光吸収特性の低い波長帯域の光を透過する特定カラーフィルタに対応する各映像信号を抽出し、この抽出した前記各映像信号をもとに、前記特定カラーフィルタに対応する波長帯域成分の均一画像を生成する均一画像生成ステップと、前記蛍光画像の各映像信号を前記均一画像によって補正する補正ステップと、を含むものである。
本発明にかかる画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法によれば、簡易な構成で観察対象の蛍光画像の輝度を正確に補正することができるという効果を奏する。
以下、図面を参照して、本発明を実施するための最良の形態である画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法の実施の形態について説明する。なお、以下では、本発明にかかる撮像装置の一例として、患者等の被検体の体腔内の画像を撮像する内視鏡装置を説明し、この内視鏡装置に用いられる画像処理装置、画像処理プログラムおよび画像処理方法を説明するが、この実施の形態によって本発明が限定されるものではない。
(実施の形態1)
図1は、本発明の実施の形態1にかかる内視鏡装置の一構成例を模式的に示すブロック図である。この実施の形態1にかかる内視鏡装置1は、本発明にかかる撮像装置の一例であり、図1に示すように、被検体内部の観察部位100に光を照射する光源装置10と、被検体の体腔内に挿入する細長形状の挿入部20と、観察部位100の画像を処理する画像処理装置30と、画像処理装置30に各種情報を入力する入力装置40と、画像処理装置30によって処理された画像情報を出力する画像出力装置50とを備える。
光源装置10は、蛍光薬剤を励起する励起光と通常光の一例である白色光とを切り替えて観察部位100に照射する光源部として機能する。具体的には、光源装置10は、白色光源11と、白色光源11からの射出光を略平行光にするコリメートレンズ12と、平行光を集光する集光レンズ13と、観察部位100への照射光を励起光または白色光に切り替える回転フィルタ14と、回転フィルタ14の駆動源であるモータ15と、回転フィルタ14を制御するフィルタ制御部16とを備える。
白色光源11は、キセノンランプ等の発光源を用いて実現され、光源装置10のスイッチ(図示せず)の操作に基づいて白色光を発光する。コリメートレンズ12は、白色光源11から射出される白色光の光路上に配置され、白色光源11からの白色光を略平行光にする。このコリメートレンズ12による平行光は、回転フィルタ14を透過した後、集光レンズ13によって集光される。この集光レンズ13によって集光された光は、挿入部20を介して被検体内部の観察部位100に照射される。
回転フィルタ14は、白色光源11によって発光された白色光から所定の波長帯域の光を抽出する。図2は、本発明の実施の形態1における回転フィルタの一構成例を示す模式図である。図3は、実施の形態1における回転フィルタ内に含まれる白色光フィルタの分光特性の一例を示す模式図である。図4は、実施の形態1における回転フィルタ内に含まれる励起光フィルタの分光特性の一例を示す模式図である。なお、図3,4には、白色光源11が発光する白色光の分光特性を例示する波長対強度の相関線C1が図示されている。回転フィルタ14は、図2に示すように、互いに分光特性の異なる白色光フィルタ14aおよび励起光フィルタ14bを備える。
白色光フィルタ14aは、白色光源11によって発光された白色光のうちの所定の波長帯域の白色光を透過させる。具体的には、白色光フィルタ14aは、図3に示す波長対強度の相関線C2のように、50%透過域が420〜650nmである分光透過率を有する。ここで、白色光フィルタ14aの50%透過域とは、白色光フィルタ14aの分光透過率が50%以上になる白色光の波長帯域である。かかる分光透過率を有する白色光フィルタ14aは、白色光源11からの白色光、すなわち図3に示す波長対強度の相関線C1のような分光特性を有する白色光から420〜650nmの波長帯域の白色光を抽出し、この抽出した白色光を、観察部位100に照射する通常光として透過させる。なお、かかる白色光フィルタ14aを透過した白色光の分光特性は、白色光源11からの白色光の分光特性(相関線C1参照)と白色光フィルタ14aの分光透過率(相関線C2参照)とを乗算することによって算出される。
励起光フィルタ14bは、白色光源11によって発光された白色光のうちの所定の波長帯域の励起光を透過させる。具体的には、励起光フィルタ14bは、図4に示す波長対強度の相関線C3のように、50%透過域が660〜670nmである分光透過率を有する。ここで、励起光フィルタ14bの50%透過域とは、励起光フィルタ14bの分光透過率が50%以上になる励起光の波長帯域である。かかる分光透過率を有する励起光フィルタ14bは、白色光源11からの白色光、すなわち図4に示す波長対強度の相関線C1のような分光特性を有する白色光から660〜670nmの波長帯域の光である励起光を抽出し、この抽出した励起光を透過させる。なお、かかる励起光フィルタ14bを透過した励起光の分光特性は、白色光源11からの白色光の分光特性(相関線C1参照)と励起光フィルタ14bの分光透過率(相関線C3参照)とを乗算することによって算出される。
なお、かかる励起光フィルタ14bによって抽出された励起光は、例えば観察部位100に存在する腫瘍等の病変部101に特異的に集積する蛍光薬剤を励起して、例えば690〜710nmの波長帯域の蛍光を発生させる特性を有する。
このような白色光フィルタ14aおよび励起光フィルタ14bを有する回転フィルタ14は、モータ15の駆動によって周方向に回転し、これによって、白色光源11からの白色光の光路(図1に示す光源装置10内の破線参照)内に、白色光フィルタ14aおよび励起光フィルタ14bを順次切り替えて位置させる。かかる回転フィルタ14は、この光路内に白色光フィルタ14aを位置させた状態において420〜650nmの白色光を透過させ、この光路内に励起光フィルタ14bを位置させた状態において、この白色光の波長帯域外である660〜670nmの励起光を透過させる。すなわち、回転フィルタ14は、かかる白色光と励起光とを交互に透過させる。
フィルタ制御部16は、上述した回転フィルタ14の回転による光路内のフィルタ切替を制御する。具体的には、フィルタ制御部16は、回転軸を介して回転フィルタ14と接続されたモータ15の回転駆動を制御し、このモータ15の駆動制御を通じて回転フィルタ14の回転駆動を制御する。これによって、フィルタ制御部16は、上述した白色光源11からの白色光の光路内に白色光フィルタ14aと励起光フィルタ14bとを交互に位置させる。このようにして、フィルタ制御部16は、かかる光路内における回転フィルタ14のフィルタ切替を制御する。また、フィルタ制御部16は、かかるモータ15の回転数等の回転駆動状態をもとに、白色光フィルタ14aおよび励起光フィルタ14bのいずれが光路内に位置しているかを把握する。フィルタ制御部16は、かかる光路内に位置するフィルタ(白色光フィルタ14aまたは励起光フィルタ14b)を示すフィルタ情報を画像処理装置30に送信する。なお、かかるフィルタ制御部16の動作は、後述する画像処理装置30の制御部38によって制御される。
挿入部20は、被検体の体腔内に挿入可能な細長形状の可撓性構造体であり、内視鏡装置1の操作部(図示せず)の操作に基づいて所望の方向に湾曲可能である。また、図1に示すように、挿入部20は、その基端部側が光源装置10と画像処理装置30とに接続され、この光源装置10からの射出光を先端部側に導くライトガイドファイバ21と、ライトガイドファイバ21によって導かれた光を拡散するレンズ22とを備える。また、挿入部20は、観察部位100からの通常光または蛍光を集光する対物レンズ23と、この観察部位100から集光した光を分岐するダイクロイックミラー24と、観察部位100の白色光画像を撮像する白色光撮像部26と、観察部位100の蛍光画像を撮像する蛍光撮像部28とを備える。なお、白色光撮像部26は、分光特性の異なる複数のカラーフィルタからなるカラーフィルタ群25を備える。また、蛍光撮像部28は、観察部位100からの蛍光を透過し励起光を遮断するバリアフィルタ27を備える。
ライトガイドファイバ21は、光ファイバ等を用いて実現され、上述した光源装置10によって交互に射出される白色光および励起光を挿入部20の先端部側に順次伝搬する。かかるライトガイドファイバ21によって順次導かれた光源装置10からの白色光および励起光は、レンズ22によって順次拡散され、その後、被検体内部の観察部位100に交互に照射される。
ここで、この観察部位100内に、予め蛍光薬剤を集積した病変部101が存在する場合、この観察部位100に照射された光源装置10からの励起光は、この病変部101の蛍光薬剤を励起して、例えば690〜710nmの波長帯域の蛍光を発生させる。一方、この観察部位100に光源装置10からの白色光が照射された場合、この観察部位100から通常光の一例である白色光が反射する。
対物レンズ23は、光源装置10からの白色光が観察部位100に照射された場合、この観察部位100から反射した白色光を集光する。一方、光源装置10からの励起光が観察部位100に照射された場合、この観察部位100から発生した蛍光(具体的には病変部101から発生した蛍光)と観察部位100から反射した励起光とを集光する。
ダイクロイックミラー24は、対物レンズ23を透過した観察部位100からの光を白色光撮像部26側と蛍光撮像部28側とに分岐する。詳細には、ダイクロイックミラー24は、上述した対物レンズ23によって集光された観察部位100からの光のうち、660nm未満の波長帯域の光、すなわち観察部位100から反射した白色光(具体的には420〜650nmの白色光)を白色光撮像部26側の光路に分岐する。一方、ダイクロイックミラー24は、660nm以上の波長帯域の光を100%反射する機能を有し、観察部位100から発生した蛍光と観察部位100から反射した励起光とを蛍光撮像部28側の光路に分岐する。なお、観察部位100から反射した励起光の波長帯域は、例えば660〜670nmであり、観察部位100からの蛍光の波長帯域は、例えば690〜710nmである。
カラーフィルタ群25は、分光特性の異なる複数のカラーフィルタからなり、白色光撮像部26の画素毎に観察部位100からの白色光を各色成分の光に分光するとともに、白色光撮像部26の各画素に向けて、これら各色成分の光を透過させる。図5は、実施の形態1における白色光撮像部の受光面に配置されるカラーフィルタ群の一構成例を示す模式図である。図6は、実施の形態1におけるカラーフィルタ群の透過率特性の一例を示す模式図である。カラーフィルタ群25は、例えば図5に示すように、赤色光を透過するカラーフィルタである赤色光フィルタ(R)と、緑色光を透過するカラーフィルタである緑色光フィルタ(G)と、青色光を透過するカラーフィルタである青色光フィルタ(B)とを各々複数含むモザイク状の原色カラーフィルタである。また、カラーフィルタ群25は、2×2のカラーフィルタ集合体を基本単位とし、この基本単位内に赤色光フィルタ、緑色光フィルタおよび青色光フィルタを各々1つ以上含む。
かかるカラーフィルタ群25において、青色光フィルタは、図6に示す波長対透過率の相関線C4のように、400〜500nmの波長帯域の光を透過させる分光透過率を有する。緑色光フィルタは、図6に示す波長対透過率の相関線C5のように、480〜600nmの波長帯域の光を透過させる分光透過率を有する。赤色光フィルタは、図6に示す波長対透過率の相関線C6のように、580〜700nmの波長帯域の光を透過させる分光透過率を有する。なお、かかるカラーフィルタ群25において、青色光フィルタの分光透過率が50%以上になる青色光の波長帯域(青色光フィルタの50%透過域)は430〜480nmである。緑色光フィルタの分光透過率が50%以上になる緑色光の波長帯域(緑色光フィルタの50%透過域)は510〜580nmである。赤色光フィルタの分光透過率が50%以上になる赤色光の波長帯域(赤色光フィルタの50%透過域)は600〜680nmである。
このような構成を有するカラーフィルタ群25は、ダイクロイックミラー24によって白色光撮像部26側の光路に分岐された観察部位100からの白色光のうち、青色光フィルタによって例えば430〜480nmの青色光を抽出し、緑色光フィルタによって例えば510〜580nmの緑色光を抽出し、赤色光フィルタによって例えば600〜680nmの赤色光を抽出する。カラーフィルタ群25内の各青色光フィルタは、白色光撮像部26の青色に対応する各画素に向けて、かかる白色光の青色成分を透過させる。カラーフィルタ群25内の各緑色光フィルタは、白色光撮像部26の緑色に対応する各画素に向けて、かかる白色光の緑色成分を透過させる。カラーフィルタ群25内の各赤色光フィルタは、白色光撮像部26の赤色に対応する各画素に向けて、かかる白色光の赤色成分を透過させる。
なお、カラーフィルタ群25は、上述したように、2×2のカラーフィルタ集合体を基本単位として、この基本単位内に赤色光フィルタ(R)、緑色光フィルタ(G)および青色光フィルタ(B)を各々1つ以上含むものであればよく、そのサイズは、図5に示すような5×5に限定されない。すなわち、カラーフィルタ群25は、白色光撮像部26の受光面に合わせて所望数のカラーフィルタを含む所望サイズのものであってもよい。
白色光撮像部26は、分光特性の異なる各カラーフィルタが受光面内の各画素に配置されたベイヤ型のカラー撮像素子を用いて実現される。具体的には、白色光撮像部26は、赤外光を除去する赤外光カットフィルタ(図示せず)と上述したカラーフィルタ群25とを受光面上に備える。白色光撮像部26の受光部は、例えば2×2の画素集合体を基本単位とし、この基本単位の画素集合体を複数含む画素群によって形成される。この白色光撮像部26の受光部には、かかる基本単位の画素集合体毎に、上述したカラーフィルタ群25における基本単位のカラーフィルタ集合体が配置される。すなわち、白色光撮像部26は、かかる基本単位の画素集合体上に、カラーフィルタ群25における基本単位のカラーフィルタ集合体内の赤色光フィルタ、緑色光フィルタおよび青色光フィルタを各々1つ以上有する。
このような構成を有する白色光撮像部26は、ダイクロイックミラー24によって白色光撮像部26側の光路に分岐された観察部位100からの通常光、すなわち、光源装置10による白色光が観察部位100に照射された際に観察部位100から反射した白色光を、上述したカラーフィルタ群25等を介して受光する。これによって、白色光撮像部26は、観察部位100のカラー画像である白色光画像を撮像する。この場合、白色光撮像部26は、カラーフィルタ群25によってこの白色光から分光された各色成分の通常光を画素群内の各画素によって各々光電変換処理して、観察部位100の白色光画像を構成する各色成分の映像信号を生成する。
ここで、白色光撮像部26の受光部内の画素群には、カラーフィルタ群25内の青色光フィルタが配置された画素である青色画素と、カラーフィルタ群25内の緑色光フィルタが配置された画素である緑色画素と、カラーフィルタ群25内の赤色光フィルタが配置された画素である赤色画素とが各々複数含まれる。かかる白色光撮像部26の画素群において、青色画素は、観察部位100からの白色光のうちの青色光フィルタを透過した青色成分(例えば430〜480nmの波長帯域)の通常光を受光し、この受光した青色成分の通常光を光電変換処理して、観察部位100の青色成分の映像信号(以下、B映像信号という)を生成する。緑色画素は、観察部位100からの白色光のうちの緑色光フィルタを透過した緑色成分(例えば510〜580nmの波長帯域)の通常光を受光し、この受光した緑色成分の通常光を光電変換処理して、観察部位100の緑色成分の映像信号(以下、G映像信号という)を生成する。赤色画素は、観察部位100からの白色光のうちの赤色光フィルタを透過した赤色成分(例えば600〜680nmの波長帯域)の通常光を受光し、この受光した赤色成分の通常光を光電変換処理して、観察部位100の赤色成分の映像信号(以下、R映像信号という)を生成する。白色光撮像部26は、上述したように観察部位100の白色光画像を撮像する都度、この観察部位100の白色光画像を構成する各B映像信号、各G映像信号および各R映像信号を画像処理装置30に順次送信する。
バリアフィルタ27は、励起光カットフィルタを用いて実現され、ダイクロイックミラー24によって蛍光撮像部28側の光路に分岐された観察部位100からの光に含まれる励起光を遮断する。図7は、バリアフィルタの透過率特性の一例を示す模式図である。バリアフィルタ27は、図7に示す波長対透過率の相関線C7のように、690〜710nmの波長帯域の光を透過させる透過率特性を有する。かかるバリアフィルタ27は、ダイクロイックミラー24によって蛍光撮像部28側の光路に分岐された観察部位100からの光のうち、観察部位100から反射した励起光(例えば660〜670nmの波長帯域の励起光)を遮断するとともに、690〜710nmの波長帯域の光である観察部位100からの蛍光を透過させる。
蛍光撮像部28は、白色光撮像部26に比して高い感度特性を有するモノクロ撮像素子を用いて実現され、上述したバリアフィルタ27を受光面上に備える。蛍光撮像部28は、光源装置10による励起光が観察部位100に照射された際、ダイクロイックミラー24によって蛍光撮像部28側の光路に分岐された観察部位100からの蛍光、すなわちバリアフィルタ27を透過した蛍光を受光する。これによって、蛍光撮像部28は、観察部位100の蛍光画像を撮像する。この場合、蛍光撮像部28は、その受光部内の各画素によって観察部位100からの蛍光を光電変換処理し、この結果、観察部位100の蛍光画像を構成する各映像信号を生成する。蛍光撮像部28は、かかる観察部位100の蛍光画像を撮像する都度、この観察部位100の蛍光画像の各映像信号を画像処理装置30に順次送信する。なお、かかる蛍光撮像部28によって撮像された観察部位100の蛍光画像における蛍光の明暗は、被写体である観察部位100と蛍光撮像部28との撮像距離に応じて変化する。
画像処理装置30は、上述した白色光撮像部26または蛍光撮像部28によって撮像された観察部位100の画像情報を処理して、画像出力装置50に出力させる出力画像を生成する。具体的には、図1に示したように、画像処理装置30は、白色光撮像部26または蛍光撮像部28によって撮像された各映像信号をアナログ信号からデジタル信号に変換するA/D変換部31と、白色光撮像部26による白色光画像の各映像信号を一時的に記憶する白色光画像用バッファ32と、蛍光撮像部28による蛍光画像の各映像信号を一時的に記憶する蛍光画像用バッファ33とを備える。また、画像処理装置30は、観察部位100の白色光画像を生成する白色光画像生成部34と、観察部位100の蛍光画像の補正処理に用いる均一画像を生成する均一画像生成部35と、観察部位100の映像信号に基づく均一画像をもとに観察部位100の蛍光画像を補正処理する補正処理部36とを備える。さらに、画像処理装置30は、画像出力装置50に画像情報を出力する出力部37と、かかる画像処理装置30の各構成部を制御する制御部38とを備える。
なお、かかる画像処理装置30において、A/D変換部31は、白色光画像用バッファ32および蛍光画像用バッファ33と接続される。また、A/D変換部31は、上述した白色光撮像部26および蛍光撮像部28と接続される。白色光画像用バッファ32は、白色光画像生成部34および均一画像生成部35と接続される。補正処理部36は、蛍光画像用バッファ33および均一画像生成部35と接続され、出力部37は、白色光画像生成部34および補正処理部36と接続される。また、出力部37は、画像出力装置50と接続される。一方、制御部38は、A/D変換部31、白色光画像生成部34、均一画像生成部35、補正処理部36および出力部37と双方向に接続される。また、制御部38は、上述した光源装置10のフィルタ制御部16および入力装置40と双方向に接続される。
A/D変換部31は、白色光撮像部26または蛍光撮像部28から取得した映像信号をアナログ信号からデジタル信号に変換し、デジタル変換後の映像信号を白色光画像用バッファ32または蛍光画像用バッファ33に送信する。具体的には、A/D変換部31は、上述した光源装置10による白色光が観察部位100に照射された場合、白色光撮像部26から観察部位100の白色光画像の各B映像信号、各G映像信号および各R映像信号を取得する。この場合、A/D変換部31は、取得した白色光画像の各B映像信号、各G映像信号および各R映像信号をデジタル化し、その後、制御部38の制御に基づいて、かかるデジタル変換後の各B映像信号、各G映像信号および各R映像信号を白色光画像用バッファ32に順次送信する。一方、A/D変換部31は、上述した光源装置10による励起光が観察部位100に照射された場合、蛍光撮像部28から観察部位100の蛍光画像の各映像信号を取得する。この場合、A/D変換部31は、取得した蛍光画像の各映像信号をデジタル化し、その後、制御部38の制御に基づいて、かかるデジタル変換後の各映像信号を蛍光画像用バッファ33に順次送信する。
白色光画像用バッファ32は、上述した白色光撮像部26が撮像した観察部位100の通常光画像の各映像信号を記憶する通常光画像記憶部として機能する。具体的には、白色光画像用バッファ32は、A/D変換部31によってデジタル化された白色光画像の各映像信号、すなわち、デジタル変換後の各B映像信号、各G映像信号および各R映像信号をA/D変換部31から取得する。白色光画像用バッファ32は、このA/D変換部31から取得したデジタル変換後の各B映像信号、各G映像信号および各R映像信号を一時的に記憶する。その後、白色光画像用バッファ32は、この一時的に記憶していたデジタル変換後の各B映像信号、各G映像信号および各R映像信号を白色光画像生成部34および均一画像生成部35に適宜送信する。
蛍光画像用バッファ33は、上述した蛍光撮像部28が撮像した観察部位100の蛍光画像の各映像信号を記憶する蛍光画像記憶部として機能する。具体的には、蛍光画像用バッファ33は、A/D変換部31によってデジタル化された蛍光画像の各映像信号を取得し、このA/D変換部31から取得したデジタル変換後の各映像信号を一時的に記憶する。その後、蛍光画像用バッファ33は、この一時的に記憶していたデジタル変換後の各映像信号を補正処理部36に適宜送信する。
白色光画像生成部34は、白色光画像用バッファ32に一時的に記憶された1フレーム分の各映像信号をもとに、観察部位100の白色光画像を生成する。具体的には、白色光画像生成部34は、1フレーム分の白色光画像に相当する単板状態の各B映像信号、各G映像信号および各R映像信号を白色光画像用バッファ32から取得する。白色光画像生成部34は、この取得した単板状態の各B映像信号、各G映像信号および各R映像信号に対して補間処理を行い、これによって、上述した基本単位の画素集合体内の各色成分を合成した3板状態の映像信号を基本単位の画素集合体毎に生成する。白色光画像生成部34は、このように生成した3板状態の各映像信号に対して色変換処理および階調変換処理等を行って、観察部位100の白色光画像を生成する。かかる白色光画像生成部34は、白色光画像用バッファ32から1フレーム分の白色光画像の各映像信号を取得する都度、上述したような画像処理を順次行って、観察部位100の白色光画像を1フレームずつ生成する。白色光画像生成部34は、このように生成した観察部位100の白色光画像の各映像信号を出力部37に順次送信する。
均一画像生成部35は、上述した蛍光撮像部28によって撮像された観察部位100の蛍光画像の各映像信号を補正する補正処理に用いる均一画像を生成する。具体的には、均一画像生成部35は、白色光画像用バッファ32に記憶された観察部位100の白色光画像の各映像信号、例えば1フレーム分の各B映像信号、各G映像信号および各R映像信号を取得する。均一画像生成部35は、この白色光画像用バッファ32から取得した白色光画像の各映像信号の中から、上述したカラーフィルタ群25のうちの観察部位100内のコントラスト部位における光吸収特性の低い波長帯域の光を透過する特定カラーフィルタに対応する各映像信号を抽出する。そして、均一画像生成部35は、このように抽出した各映像信号をもとに、この特定カラーフィルタに対応する波長帯域成分(例えば赤色成分)の均一画像を生成する。均一画像生成部35は、このように生成した均一画像の各映像信号を補正処理部36に順次送信する。
ここで、上述したコントラスト部位とは、観察部位100内において明暗のコントラストを形成する部位である。例えば、観察部位100が体腔内の部位である場合、この観察部位100内のコントラスト部位として、生体組織の粘膜表層の毛細血管または生体組織深部の血管等の微細構造体が例示される。この場合、観察部位100の白色光画像には、かかるコントラスト部位に対応して周辺画素との輝度差が大きくなる画素部分、すなわちエッジが存在する。なお、上述した均一画像生成部35によって生成される均一画像は、赤色成分等の特定カラーフィルタに対応する波長帯域成分による略均一な画像であり、かかるエッジに起因する画像内のコントラストが軽減されている。
補正処理部36は、上述した蛍光撮像部28によって撮像された観察部位100の蛍光画像の各映像信号を補正処理する。具体的には、補正処理部36は、蛍光画像用バッファ33に記憶された観察部位100の蛍光画像の各映像信号と、均一画像生成部35によって生成された観察部位100の均一画像の各映像信号とを取得する。なお、ここでいう観察部位100の均一画像とは、観察部位100の白色光画像の各映像信号のうちの特定の波長帯域成分の各映像信号に基づく均一画像である。補正処理部36は、均一画像生成部35から取得した観察部位100の均一画像の各映像信号によって、この観察部位100の蛍光画像の各映像信号を補正処理する。これによって、補正処理部36は、被写体である観察部位100と蛍光撮像部28との撮像距離に応じて変化する蛍光の明暗を補正した蛍光画像を生成する。かかる補正処理部36によって補正処理された観察部位100の蛍光画像において、励起光照射による蛍光発生源である病変部101は、観察部位100と蛍光撮像部28との撮像距離に関わらず、比較的高い輝度の画素によって描画される。補正処理部36は、かかる補正処理後の蛍光画像の各映像信号を出力部37に順次送信する。
出力部37は、画像出力装置50に観察部位100の画像情報を出力する。具体的には、出力部37は、白色光画像生成部34によって生成された観察部位100の白色光画像の各映像信号と、補正処理部36によって補正処理された観察部位100の蛍光画像の各映像信号とを取得する。出力部37は、制御部38の制御に基づいて、この観察部位100の白色光画像の各映像信号と蛍光画像の各映像信号とを画像出力装置50に順次出力する。これによって、出力部37は、観察部位100の白色光画像と観察部位100の補正処理後の蛍光画像とを画像出力装置50に出力(例えば表示)させる。
制御部38は、画像処理装置30の構成部であるA/D変換部31、白色光画像生成部34、均一画像生成部35、補正処理部36、および出力部37の各動作を制御し、且つ、これらの各構成部間における信号の入出力を制御する。また、制御部38は、上述した光源装置10のフィルタ制御部16および入力装置40を制御する。
具体的には、制御部38は、処理プログラムを記憶する記憶部とこの記憶部内の処理プログラムを実行するコンピュータとを用いて実現される。制御部38は、入力装置40によって入力された設定情報をもとに、観察部位100の白色光画像または蛍光画像を撮像する際の各種撮像条件を設定する。一方、制御部38は、入力装置40によって入力された指示情報に基づいて、上述した回転フィルタ14のフィルタ切替制御を実行するようにフィルタ制御部16を制御する。
また、制御部38は、上述したフィルタ情報をフィルタ制御部16から順次取得する。制御部38は、かかるフィルタ情報をもとに、光源装置10の光路内に現に位置する回転フィルタ14のフィルタが白色光フィルタ14aおよび励起光フィルタ14bのいずれであるかを識別する。制御部38は、光源装置10の光路内のフィルタが白色光フィルタ14aである場合、白色光撮像部26から白色光画像の各映像信号を取得し且つこの白色光画像の各映像信号をデジタル化するようにA/D変換部31を制御する。なお、制御部38は、光源装置10の光路内のフィルタが白色光フィルタ14aではない場合、白色光撮像部26からの映像信号を削除するようにA/D変換部31を制御する。制御部38は、かかるA/D変換部31の制御を通して、光源装置10による観察部位100への白色光の照射タイミングと白色光撮像部26による白色光画像の撮像タイミングとが同期するように白色光撮像部26を制御する。
一方、制御部38は、光源装置10の光路内のフィルタが励起光フィルタ14bである場合、蛍光撮像部28から蛍光画像の各映像信号を取得し且つこの蛍光画像の各映像信号をデジタル化するようにA/D変換部31を制御する。なお、制御部38は、光源装置10の光路内のフィルタが励起光フィルタ14bではない場合、蛍光撮像部28からの映像信号を削除するようにA/D変換部31を制御する。制御部38は、かかるA/D変換部31の制御を通して、光源装置10による観察部位100への励起光の照射タイミングと蛍光撮像部28による蛍光画像の撮像タイミングとが同期するように蛍光撮像部28を制御する。
また、制御部38は、観察部位100に対応する単板状態の各映像信号をもとに観察部位100の白色光画像を生成するように白色光画像生成部34を制御するとともに、この単板状態の各映像信号の中から抽出される特定の波長帯域の各映像信号をもとに観察部位100の均一画像を生成するように均一画像生成部35を制御する。さらに、制御部38は、かかる観察部位100の均一画像によって観察部位100の蛍光画像の各映像信号を補正処理するように補正処理部36を制御する。一方、制御部38は、入力装置40によって入力された指示情報に基づいて、かかる観察部位100の白色光画像の各映像信号と観察部位100の補正処理後の蛍光画像の各映像信号とを画像出力装置50に出力するように出力部37を制御する。制御部38は、かかる出力部37の制御を通して、画像出力装置50による観察部位100の白色光画像および蛍光画像の出力動作を制御する。
入力装置40は、キーボードおよびマウス等の入力デバイスを用いて実現され、医師または看護師等のユーザによる入力操作に対応して画像処理装置30の制御部38に各種情報を入力する。かかる入力装置40によって制御部38に入力される各種情報として、例えば、回転フィルタ14の回転駆動の開始あるいは観察部位100の白色光画像および蛍光画像の出力開始等を制御部38に対して指示する指示情報、観察部位100の白色光画像または蛍光画像を撮像する際の各種設定情報等が挙げられる。なお、入力装置40は、上述した画像処理装置30の電源オンと電源オフとを切り替える電源スイッチを備えてもよい。
画像出力装置50は、上述した画像処理装置30によって処理された画像情報を出力する。具体的には、画像出力装置50は、CRTディスプレイまたは液晶ディスプレイ等の所望のディスプレイを用いて実現される。画像出力装置50は、画像処理装置30の出力部37から観察部位100の画像情報、すなわち白色光画像の各映像信号と補正処理後の蛍光画像の各映像信号とを取得する。画像出力装置50は、この出力部37から取得した各映像信号に基づいた観察部位100の白色光画像と補正処理後の蛍光画像とを表示する。この場合、画像出力装置50は、かかる観察部位100の白色光画像と補正処理後の蛍光画像とを並べて表示してもよいし、かかる観察部位100の白色光画像に補正処理後の蛍光画像を重畳表示してもよい。
つぎに、上述した画像処理装置30の均一画像生成部35について詳細に説明する。図8は、本発明の実施の形態1にかかる画像処理装置の均一画像生成部の一構成例を模式的に示すブロック図である。図8に示すように、均一画像生成部35は、白色光画像の各映像信号の中から特定の波長帯域の映像信号を抽出する信号抽出部35aと、信号抽出部35aによって抽出された映像信号を一時的に記憶するバッファ35bと、信号抽出部35aによって抽出された各映像信号の補間処理を行って上述した均一画像を生成する補間処理部35cとを備える。
信号抽出部35aは、制御部38の制御に基づいて、白色光画像用バッファ32に記憶された白色光画像の各映像信号の中から、上述した白色光撮像部26のカラーフィルタ群25のうちの特定カラーフィルタに対応する各映像信号を抽出する。具体的には、信号抽出部35aは、観察部位100の白色光画像を構成する1フレーム分の各B映像信号、各G映像信号および各R映像信号の中から、カラーフィルタ群25のうちの赤色光フィルタに対応する各R映像信号を抽出する。この場合、信号抽出部35aは、カラーフィルタ群25のうちの青色光フィルタに対応する各B映像信号と緑色光フィルタに対応する各G映像信号とを間引き処理する。ここで、カラーフィルタ群25に含まれる青色光フィルタ、緑色光フィルタおよび赤色光フィルタのうち、赤色光フィルタは、生体組織等の観察部位100内に存在するコントラスト部位(例えば血管等)における光吸収特性が比較的低い波長帯域の光を透過する特定カラーフィルタの一例である。信号抽出部35aは、白色光画像用バッファ32に記憶された観察部位100の白色光画像の各映像信号、すなわち単板状態の各B映像信号、各G映像信号および各R映像信号の中から、かかる特定カラーフィルタである赤色光フィルタに対応する各R映像信号を抽出する。信号抽出部35aは、制御部38の制御に基づいて、このように抽出した単板状態の各R映像信号をバッファ35bに順次送信する。
なお、ここでいう光吸収特性が比較的低い波長帯域の光は、このコントラスト部位における各波長帯域の光の吸収率を比較した場合に相対的に吸収率が低い波長帯域の光である。かかるコントラスト部位における光吸収特性の低い波長帯域の光は、予め設定された閾値未満の吸収率になる波長帯域の光であってもよいし、このコントラスト部位における光吸収特性の平均吸収率未満の吸収率になる波長帯域の光であってもよい。あるいは、かかるコントラスト部位における光吸収特性の低い波長帯域の光は、実験的に規定された任意の波長帯域の光であってもよい。
バッファ35bは、信号抽出部35aによって抽出された特定の波長帯域の各映像信号、すなわち単板状態の各R映像信号を取得し、この信号抽出部35aから取得した単板状態の各R映像信号を一時的に記憶する。その後、バッファ35bは、この一時的に記憶していた単板状態の各R映像信号を補間処理部35cに適宜送信する。
補間処理部35cは、信号抽出部35aによって抽出された特定の波長帯域の各映像信号を補間処理して、上述したカラーフィルタ群25のうちの特定カラーフィルタに対応する波長帯域成分の均一画像を生成する。具体的には、補間処理部35cは、制御部38の制御に基づいて、信号抽出部35aによって抽出された特定の波長帯域の各映像信号である単板状態の各R映像信号をバッファ35bから取得し、この取得した単板状態の各R映像信号の補間処理を行う。かかる各R映像信号の補間処理によって、補間処理部35cは、上述した信号抽出部35aによる各R映像信号の抽出処理の際に間引き処理された各B映像信号および各G映像信号の各空白部分にR映像信号を各々割り当てる。この結果、補間処理部35cは、上述した特定カラーフィルタである赤色光フィルタに対応する1フレーム分の各R映像信号、すなわち、かかる赤色光フィルタに対応する波長帯域成分である赤色成分の均一画像を生成する。補間処理部35cは、制御部38の制御に基づいて、このように生成した均一画像の各映像信号(詳細には各R映像信号)を補正処理部36に順次送信する。
つぎに、上述した画像処理装置30の補正処理部36について詳細に説明する。図9は、本発明の実施の形態1にかかる画像処理装置の補正処理部の一構成例を模式的に示すブロック図である。図9に示すように、補正処理部36は、均一画像の各映像信号のクリップ処理を行うクリップ処理部36aと、このクリップ処理に用いられるクリップ係数を予め記憶する係数記憶部36bと、均一画像の各映像信号に所定の値を一律に加算するオフセット処理を行うオフセット処理部36cとを備える。また、補正処理部36は、均一画像の各映像信号の正規化処理を行う正規化処理部36dと、観察部位100の蛍光画像の各映像信号を規格化処理によって補正する規格化処理部36eと、規格化処理後の蛍光画像のカラー化処理を行うカラー化処理部36fとを備える。補正処理部36は、後述するように、クリップ処理、オフセット処理および正規化処理が済んだ均一画像によって観察部位100の蛍光画像の各映像信号を補正し、この補正処理済みの蛍光画像をカラー化処理する。
クリップ処理部36aは、均一画像生成部35によって生成された均一画像の各映像信号のクリップ処理を行う。具体的には、クリップ処理部36aは、均一画像生成部35から観察部位100の均一画像の各映像信号を取得する。また、クリップ処理部36aは、係数記憶部36bからクリップ係数Kを読み出す。なお、このクリップ係数Kは、クリップ処理において均一画像の各映像信号の信号値と比較される基準信号値として予め設定され、係数記憶部36bに保存される。クリップ処理部36aは、制御部38の制御に基づいて、この取得した均一画像の各画素の映像信号(詳細にはR映像信号)とクリップ係数Kとを各々比較処理し、この比較処理の結果をもとに、この均一画像の各映像信号のクリップ処理を行う。かかるクリップ処理において、クリップ処理部36aは、処理対象の均一画像の各画素のR映像信号値のうち、クリップ係数Kに比して大きいR映像信号値をクリップ係数Kと等しい信号値に置換し、クリップ係数K以下のR映像信号値を均一画像のR映像信号値として維持する。クリップ処理部36aは、かかるクリップ処理後の均一画像の各映像信号をオフセット処理部36cに送信する。
ここで、上述した均一画像の各画素のうち、クリップ係数Kに比して大きいR映像信号値を有する画素は、観察部位100から正反射した光を受光した画素の可能性があり、正反射光を受光した画素である場合、周辺画素に比して過度に大きい輝度値を有する。かかる正反射光の受光画素が均一画像内に含まれる場合、後述する規格化処理部36eによる蛍光画像の規格化処理において、この均一画像内の正反射光の受光画素の映像信号値(輝度値)によって除算された蛍光画像の映像信号値は、極端に小さい値になる。このことは、規格化処理後の蛍光画像全体の視認性を妨げる可能性がある。このことを回避するために、クリップ処理部36aは、上述したように均一画像の各映像信号をクリップ処理し、これによって、この均一画像における正反射光の受光画素とそれ以外の画素との輝度差を軽減する。
オフセット処理部36cは、上述した均一画像の各映像信号に所定の値を一律に加算するオフセット処理を行う。具体的には、オフセット処理部36cは、クリップ処理部36aからクリップ処理後の均一画像の各映像信号を取得する。オフセット処理部36cは、制御部38の制御に基づいて、このクリップ処理後の均一画像の各映像信号に、予め設定された信号値を一律に加算する。これによって、オフセット処理部36cは、かかる均一画像の各画素のR映像信号値を零に比して大きい信号値にし、この結果、後述する規格化処理部36eによる蛍光画像の規格化処理において映像信号の零除算処理が行われることを防止する。オフセット処理部36cは、かかるオフセット処理後の均一画像の各映像信号を正規化処理部36dに送信する。
正規化処理部36dは、上述した均一画像の各映像信号の正規化処理を行う。具体的には、正規化処理部36dは、オフセット処理部36cからオフセット処理後の均一画像の各映像信号を取得する。正規化処理部36dは、制御部38の制御に基づいて、この取得したオフセット処理後の均一画像の各映像信号の信号値を0.0より大きく、1.0以下の範囲の値にする正規化処理を行う。この場合、正規化処理部36dは、このオフセット処理後の均一画像の各画素のR映像信号値の中から最大信号値を抽出し、この抽出した最大信号値によってこれら各画素のR映像信号値を除算する。正規化処理部36dは、かかる正規化処理後の均一画像の各映像信号を規格化処理部36eに送信する。
規格化処理部36eは、観察部位100の蛍光画像の各映像信号を規格化処理によって補正する。具体的には、規格化処理部36eは、正規化処理部36dから正規化処理後の均一画像の各映像信号を取得する。また、規格化処理部36eは、上述した蛍光画像用バッファ33に記憶された観察部位100の蛍光画像の各映像信号を取得する。規格化処理部36eは、制御部38の制御に基づいて、この蛍光画像用バッファ33から取得した観察部位100の蛍光画像の各映像信号をこの正規化処理後の均一画像によって規格化処理する。この場合、規格化処理部36eは、この正規化処理後の均一画像および観察部位100の蛍光画像の間における対応画素毎に、この正規化処理後の均一画像の映像信号(詳細にはR映像信号)によって観察部位100の蛍光画像の映像信号を除算して、この蛍光画像の各画素の輝度を規格化処理する。かかる規格化処理によって、規格化処理部36eは、観察部位100の蛍光画像の各映像信号を補正処理し、この補正処理後の各映像信号に基づいた規格化蛍光画像を生成する。なお、かかる規格化蛍光画像は、規格化処理部36eによる補正処理後の蛍光画像であり、被写体である観察部位100と蛍光撮像部28との撮像距離に応じて変化する蛍光の明暗を補正されている。規格化処理部36eは、かかる観察部位100の規格化蛍光画像の各映像信号をカラー化処理部36fに送信する。
カラー化処理部36fは、上述した規格化処理によって補正された規格化蛍光画像のカラー化処理を行う。具体的には、カラー化処理部36fは、規格化処理部36eから観察部位100の規格化蛍光画像の各映像信号を取得する。カラー化処理部36fは、制御部38の制御に基づいて、この取得した規格化蛍光画像の映像信号に対応する疑似カラー信号を画素毎に算出し、得られた各疑似カラー信号をもとに、この規格化蛍光画像をカラー化処理する。カラー化処理部36fは、かかるカラー化処理後の規格化蛍光画像の各映像信号、すなわち観察部位100の規格化蛍光画像の各疑似カラー信号を出力部37に送信する。
つぎに、本発明の実施の形態1にかかる画像処理装置30の動作について説明する。図10は、本発明の実施の形態1にかかる画像処理装置の処理手順を例示するフローチャートである。この実施の形態1にかかる画像処理装置30は、図10に示される処理手順を実行して、観察部位100の白色光画像およびカラー化処理後の規格化蛍光画像を画像出力装置50に表示させる。
すなわち、図10に示すように、画像処理装置30は、まず、観察部位100の白色光画像および蛍光画像の各映像信号を取得する(ステップS101)。このステップS101において、制御部38は、観察部位100に白色光が照射されたタイミングに白色光撮像部26からの単板状態の映像信号をデジタル化し、観察部位100に励起光が照射されたタイミングに蛍光撮像部28からの単板状態の映像信号をデジタル化するようにA/D変換部31を制御する。かかる制御部38の制御に基づいて、A/D変換部31は、観察部位100に白色光が照射された場合、白色光撮像部26から単板状態のB映像信号、G映像信号およびR映像信号を順次取得し、この白色光撮像部26からの単板状態の各B映像信号、各G映像信号および各R映像信号をデジタル化して白色光画像用バッファ32に送信する。一方、観察部位100に励起光が照射された場合、A/D変換部31は、かかる制御部38の制御に基づいて、蛍光撮像部28から単板状態の映像信号を順次取得し、この蛍光撮像部28からの単板状態の各映像信号をデジタル化して蛍光画像用バッファ33に送信する。
つぎに、画像処理装置30は、ステップS101において白色光撮像部26が撮像した観察部位100の白色光画像を生成する(ステップS102)。このステップS102において、制御部38は、白色光撮像部26からの単板状態の各B映像信号、各G映像信号および各R映像信号に基づいた白色光画像を生成するように白色光画像生成部34を制御する。白色光画像生成部34は、かかる制御部38の制御に基づいて、白色光画像用バッファ32からデジタル化された単板状態の各B映像信号、各G映像信号および各R映像信号を読み出し、この読み出した単板状態の各B映像信号、各G映像信号および各R映像信号をもとに、観察部位100の白色光画像を生成する。
続いて、画像処理装置30は、ステップS101において白色光撮像部26から取得した観察部位100の各映像信号のうち、この観察部位100内のコントラスト部位における光吸収特性が低い波長帯域成分の映像信号を抽出する(ステップS103)。このステップS103において、制御部38は、白色光撮像部26からの単板状態の各B映像信号、各G映像信号および各R映像信号の中から、観察部位100内のコントラスト部位における光吸収率が比較的低い波長帯域の映像信号を抽出するように信号抽出部35aを制御する。信号抽出部35aは、かかる制御部38の制御に基づいて、白色光画像用バッファ32からデジタル化された単板状態の各B映像信号、各G映像信号および各R映像信号を読み出す。次いで、信号抽出部35aは、この読み出した単板状態の各B映像信号、各G映像信号および各R映像信号の中から、上述した特定カラーフィルタに対応する各映像信号(例えば各R映像信号)を抽出する。
つぎに、画像処理装置30は、ステップS103において抽出した単板状態の各映像信号をもとに、観察部位100内のコントラスト部位における光吸収特性が低い波長帯域成分の均一画像を生成する(ステップS104)。このステップS104において、制御部38は、信号抽出部35aによって抽出された特定の波長帯域の各映像信号を補間処理して均一画像を生成するように補間処理部35cを制御する。補間処理部35cは、かかる制御部38の制御に基づいて、上述したカラーフィルタ群25のうちの特定カラーフィルタに対応する単板状態の各映像信号をバッファ35bから読み出す。次いで、補間処理部35cは、この読み出した単板状態の各映像信号の補間処理を行い、これによって、この特定カラーフィルタに対応する波長帯域成分(例えば赤色成分)の均一画像を生成する。
その後、画像処理装置30は、ステップS104において生成した均一画像の各映像信号をクリップ処理する(ステップS105)。このステップS105において、制御部38は、補間処理部35cによって生成された均一画像の各映像信号をクリップ処理するようにクリップ処理部36aを制御する。クリップ処理部36aは、かかる制御部38の制御に基づいて、補間処理部35cから取得した単板状態の各映像信号の信号値(例えば輝度値)と係数記憶部36bから読み出したクリップ係数Kとを各々比較処理する。かかる比較処理の結果に基づいて、クリップ処理部36aは、このクリップ係数Kに比して大きい映像信号値をクリップ係数Kと等しい信号値に置換し、このクリップ係数K以下の映像信号値を均一画像の映像信号値として維持する。
つぎに、画像処理装置30は、ステップS105においてクリップ処理した均一画像の各映像信号をオフセット処理する(ステップS106)。このステップS106において、制御部38は、クリップ処理後の均一画像の各映像信号のオフセット処理を行うようにオフセット処理部36cを制御する。オフセット処理部36cは、かかる制御部38の制御に基づいて、クリップ処理部36aからクリップ処理された単板状態の各映像信号を取得し、この取得した単板状態の各映像信号の信号値に、予め設定された信号値を一律に加算する。
続いて、画像処理装置30は、ステップS106においてオフセット処理した均一画像の各映像信号を正規化処理する(ステップS107)。このステップS107において、制御部38は、オフセット処理後の均一画像の各映像信号の正規化処理を行うように正規化処理部36dを制御する。正規化処理部36dは、かかる制御部38の制御に基づいて、オフセット処理部36cからオフセット処理された単板状態の各映像信号を取得し、この取得した単板状態の各映像信号の信号値の中から最大信号値を抽出し、この抽出した最大信号値によってこれらの各映像信号の信号値を除算する。この結果、かかるオフセット処理後の単板状態の各映像信号の信号値は、0.0より大きく、1.0以下の範囲の値になる。
その後、画像処理装置30は、ステップS107において正規化処理した均一画像の各映像信号をもとに観察部位100の蛍光画像を補正処理する(ステップS108)。このステップS108において、制御部38は、観察部位100の蛍光画像の各映像信号を規格化処理によって補正するように規格化処理部36eを制御する。規格化処理部36eは、かかる制御部38の制御に基づいて、正規化処理部36dから正規化処理された単板状態の各映像信号を取得し、且つ、蛍光画像用バッファ33から観察部位100の蛍光画像に対応する単板状態の各映像信号を読み出す。次いで、規格化処理部36eは、この正規化処理部36dからの単板状態の各映像信号の信号値によって、この蛍光画像用バッファ33からの単板状態の各映像信号の信号値を除算する。この場合、規格化処理部36eは、これら両画像間の対応画素毎に、かかる映像信号の信号値の除算処理を行う。規格化処理部36eは、このように観察部位100の蛍光画像の各画素の輝度を規格化処理して、観察部位100の蛍光画像の各映像信号を補正処理し、この結果、この補正処理後の各映像信号に基づいた規格化蛍光画像を生成する。
つぎに、画像処理装置30は、ステップS108において補正処理した観察部位100の蛍光画像をカラー化処理する(ステップS109)。このステップS109において、制御部38は、規格化処理部36eによって生成された観察部位100の規格化蛍光画像をカラー化処理するようにカラー化処理部36fを制御する。カラー化処理部36fは、かかる制御部38の制御に基づいて、規格化処理部36eから規格化蛍光画像に対応する単板状態の各映像信号を取得し、この取得した単板状態の各映像信号の信号強度をもとに疑似カラー信号を画素毎に算出する。カラー化処理部36fは、このように画素毎に算出した各疑似カラー信号をもとに、この規格化蛍光画像をカラー化処理する。
続いて、画像処理装置30は、画像出力装置50に表示させる観察部位100の白色光画像および蛍光画像の出力処理を行う(ステップS110)。このステップS110において、制御部38は、ステップS102において生成した白色光画像とステップS109においてカラー化処理した規格化蛍光画像とを画像出力装置50に出力するように出力部37を制御する。出力部37は、かかる制御部38の制御に基づいて、白色光画像生成部34から3板状態の各映像信号を取得し、且つ、カラー化処理部36fから規格化蛍光画像の各疑似カラー信号を取得する。出力部37は、この白色光画像生成部34からの3板状態の各映像信号を画像出力装置50に出力し、これによって、かかる3板状態の各映像信号に基づいた観察部位100の白色光画像を画像出力装置50に表示させる。また、出力部37は、この規格化蛍光画像の各疑似カラー信号を画像出力装置50に出力し、これによって、かかる各疑似カラー信号に基づいた観察部位100の規格化蛍光画像を画像出力装置50にカラー表示させる。
なお、このステップS110において、画像出力装置50は、かかる観察部位100の白色光画像とカラー化処理した規格化蛍光画像とを同一画面内に並べて表示してもよいし、こられ両画像を重畳して表示してもよい。
上述したステップS110の処理手順が終了後、画像処理装置30は、所定のオフ操作等の処理終了操作が行われた場合(ステップS111,Yes)、本処理を終了する。この場合、制御部38は、入力装置40によって処理終了の指示情報を入力され、この入力された指示情報に基づいて、画像処理装置30の各構成部の動作を終了させる。一方、画像処理装置30は、かかる処理終了操作が行われていない場合(ステップS111,No)、上述したステップS101に戻り、このステップS101以降の処理手順を繰り返す。この場合、制御部38は、上述したステップS101〜S111の処理手順を行って、画像処理装置30の各構成部を適宜制御する。
つぎに、本発明の実施の形態1にかかる内視鏡装置1の観察部位100内に存在するコントラスト部位が血管である場合を例示して、上述した画像処理装置30の均一画像生成部35および補正処理部36の各動作を具体的に説明する。図11は、観察部位内のコントラスト部位である血管における光吸収特性の一例を示す模式図である。図12は、コントラスト部位である血管における光吸収特性の低い赤色成分の均一画像を生成する状態を説明する模式図である。図13は、画像出力装置に観察部位の白色光画像および規格化蛍光画像をカラー表示する状態を示す模式図である。図14は、規格化蛍光画像のカラー化処理に用いるトーンカーブの一例を示す模式図である。
均一画像生成部35は、観察部位100内のコントラスト部位が血管である場合、図10に示したステップS103、S104において、この血管における光吸収特性が比較的低い波長帯域成分の均一画像を生成する。
具体的には、信号抽出部35aは、観察部位100の白色光画像の画素配列に対応した単板状態の各B映像信号、各G映像信号および各R映像信号を白色光画像用バッファ32から読み出す。次いで、信号抽出部35aは、図12に示すように、かかる単板状態の各B映像信号と各G映像信号と各R映像信号との集合体である映像信号群Swの中から、上述したカラーフィルタ群25のうちの特定カラーフィルタ、すなわち血管における光吸収特性の低い波長帯域の光を透過する赤色光フィルタに対応する各R映像信号を抽出する。
補間処理部35cは、かかる信号抽出部35aによって抽出された単板状態の各R映像信号をバッファ35bから読み出す。補間処理部35cは、この読み出した単板状態の各R映像信号の補間処理を行い、これによって、上述した信号抽出部35aによる各R映像信号の抽出処理の際に間引き処理された各B映像信号および各G映像信号の各空白部分(図12に示す斜線部分を参照)にR映像信号を各々割り当てる。この結果、補間処理部35cは、図12に示すように、コントラスト部位が血管である場合の特定カラーフィルタである赤色光フィルタに対応する1フレーム分の各R映像信号、すなわち赤色成分の均一画像Prを生成する。
ここで、観察部位100内のコントラスト部位である血管は、この血管内に流れるヘモグロビンに起因して、図11に示す波長対光吸収率の相関線C8のように、400nm近傍の波長帯域においてピークを有し且つ600nm以上の波長帯域において光吸収率が相対的に低くなる光吸収特性を有する。すなわち、観察部位100内の血管は、600nm以上の波長帯域の光、例えば、上述したカラーフィルタ群25内の赤色光フィルタによって白色光から抽出される600〜680nmの赤色光を殆ど吸収しない。この場合、信号抽出部35aは、上述した単板状態の映像信号群Swの中から、例えば600〜680nmの波長帯域の各R映像信号を抽出し、補間処理部35cは、かかる信号抽出部35aによって抽出された各R映像信号を補間処理して600〜680nmの赤色成分の均一画像Prを生成する。この結果、補間処理部35cは、観察部位100内の血管に対応して周辺画素との輝度差が大きくなる画素部分であるエッジの発生を抑制して、光の照度分布を正確に反映した低コントラストの均一画像Prを生成することができる。
一方、補正処理部36は、観察部位100内のコントラスト部位が血管である場合、図10に示したステップS108、S109において、観察部位100の蛍光画像の各映像信号を赤色成分の均一画像Prによって補正処理し、その後、この補正処理後の蛍光画像である規格化蛍光画像をカラー化処理する。
具体的には、規格化処理部36eは、観察部位100の蛍光画像の画素配列に対応した単板状態の各映像信号を蛍光画像用バッファ33から読み出し、且つ、上述した赤色成分の均一画像Prの各R映像信号を正規化処理部36dから取得する。なお、かかる均一画像Prの各R映像信号は、図10に示したステップS105〜S107の処理手順において、クリップ処理部36aによってクリップ処理され、オフセット処理部36cによってオフセット処理され、正規化処理部36dによって正規化処理されたものである。規格化処理部36eは、観察部位100の蛍光画像と均一画像Prとの間における対応画素毎に、均一画像PrのR映像信号の信号値(例えば輝度値)によって、この蛍光画像に対応する単板状態の映像信号の信号値(例えば輝度値)を除算する。これによって、規格化処理部36eは、この蛍光画像に対応する単板状態の各映像信号を補正処理し、この補正処理後の各映像信号に基づいた観察部位100の規格化蛍光画像を生成する。
ここで、かかる規格化処理部36eによる蛍光画像の補正処理に用いられる均一画像Prの各R映像信号は、クリップ処理部36aによってクリップ処理されている。このため、規格化処理部36eは、正反射光の受光画素と正反射光以外の受光画素との輝度差が軽減された均一画像Prの各R映像信号によって観察部位100の蛍光画像の各映像信号を補正処理することができる。この結果、規格化処理部36eは、観察部位100からの正反射光の影響を受けることなく蛍光画像の各映像信号を高精度に補正することができる。
また、かかる規格化処理部36eによる蛍光画像の補正処理に用いられる均一画像Prの各R映像信号は、オフセット処理部36cによってオフセット処理されている。このため、規格化処理部36eは、観察部位100の蛍光画像の規格化処理において映像信号の零除算処理を行うことなく、均一画像Prの各R映像信号の信号値によって蛍光画像の各映像信号の信号値を除算することができる。
さらに、かかる規格化処理部36eによる蛍光画像の補正処理に用いられる均一画像Prの各R映像信号は、正規化処理部36dによって正規化処理されている。すなわち、正規化処理後の均一画像Prの各R映像信号の信号値は、0.0より大きく、1.0以下の範囲内の値になる。規格化処理部36eは、かかる正規化処理後の均一画像Prの各R映像信号の信号値によって蛍光画像の各映像信号の信号値を除算することによって、撮像距離が比較的短い蛍光発生部分に対応する画素の輝度値を維持しつつ、撮像距離が比較的長い蛍光発生部分に対応する画素の輝度値を強調することができる。これによって、規格化処理部36eは、被写体である観察部位100と蛍光撮像部28との撮像距離に応じて変化する蛍光の明暗を補正でき、この結果、撮像距離によらず蛍光発生部分に対応する画素の輝度値を強調することができる。
一方、上述した規格化処理部36eによって生成された観察部位100の規格化蛍光画像Pfは、図13に示すように、カラー化処理された後に画像出力装置50に表示される。カラー化処理部36fは、規格化処理部36eから観察部位100の規格化蛍光画像Pfの各映像信号を取得し、この取得した規格化蛍光画像Pfの映像信号の強度に応じて疑似カラー信号を画素毎に算出する。この場合、カラー化処理部36fは、図14に示す各色成分の映像信号のトーンカーブC9〜C11をもとに、この規格化蛍光画像Pfの疑似カラー信号算出処理を行う。具体的には、図14において、トーンカーブC9は、青色成分であるB映像信号に対応するトーンカーブであり、トーンカーブC10は、緑色成分であるG映像信号に対応するトーンカーブであり、トーンカーブC11は、赤色成分であるR映像信号に対応するトーンカーブである。カラー化処理部36fは、かかる各色成分のトーンカーブC9〜C11をもとに、この規格化蛍光画像Pfの映像信号の入力信号値に応じたB映像信号、G映像信号およびR映像信号の各出力信号値を算出する。次いで、カラー化処理部36fは、この算出した各色成分の出力信号値を組み合わせることによって、この規格化蛍光画像Pfの映像信号に対応する疑似カラー信号を算出する。カラー化処理部36fは、この規格化蛍光画像Pfの画素毎に、かかる疑似カラー信号の算出処理を行う。
かかるカラー化処理部36fによる規格化蛍光画像Pfの各疑似カラー信号は、上述した出力部37を介して画像出力装置50に送信される。画像出力装置50は、かかる出力部37から取得した各疑似カラー信号に基づいた観察部位100の規格化蛍光画像Pfをカラー表示する。ここで、規格化蛍光画像Pfは、上述したように、血管等のコントラスト部位に起因するエッジの発生を抑制して光の照度分布を正確に反映した低コントラストの均一画像Prによって各映像信号が補正された蛍光画像である。かかる規格化蛍光画像Pfにおける観察部位100と蛍光撮像部28との撮像距離の違いによる蛍光の明暗は、血管等のコントラスト部位に起因するエッジの影響を受けることなく高精度に補正されている。画像出力装置50は、かかる規格化蛍光画像Pf内に、観察部位100と蛍光撮像部28との撮像距離に関わらず比較的高い輝度の画素によって、この観察部位100内の病変部101を表示する。
なお、画像出力装置50は、上述した出力部37から観察部位100の白色光画像Pwの各映像信号を別途取得し、例えば図13に示すように、同一画面内に観察部位100の白色光画像Pwおよび規格化蛍光画像Pfを並べてカラー表示することができる。医師または看護師等のユーザは、かかる画像出力装置50によって、観察部位100の白色光画像Pwおよび規格化蛍光画像Pfを同時に観察することができる。
以上、説明したように、本発明の実施の形態1では、分光特性の異なるカラーフィルタ群を介して受光した観察部位からの通常光に基づく通常光画像の各映像信号と、励起光の照射によって観察部位から発生した蛍光に基づく蛍光画像の各映像信号とを取得し、この通常光画像の各映像信号の中から、このカラーフィルタ群のうちの観察部位内のコントラスト部位における光吸収特性の低い波長帯域の光を透過する特定カラーフィルタに対応する各映像信号を抽出し、この抽出した各映像信号をもとに、この特定カラーフィルタに対応する波長帯域成分の均一画像を生成し、この生成した均一画像の各映像信号によって観察部位の蛍光画像の各映像信号を補正するように構成した。このため、観察部位内のコントラスト部位における光吸収特性の低い波長帯域の光を照射可能な光源あるいは蛍光画像の補正処理に用いる映像信号をローパスフィルタ処理するための処理回路等の追加構成を必要とせずに、この既存のカラーフィルタ群のうちの特定カラーフィルタに対応する波長帯域の映像信号をもとに、観察部位内のコントラスト部位に起因するエッジの発生を抑制して光の照度分布を正確に反映した低コントラストの均一画像を簡易に生成することができる。かかる低コントラストの均一画像の各映像信号を用いることによって、血管等のコントラスト部位に起因するエッジの影響を受けることなく、簡易な構成で観察対象の蛍光画像の輝度を正確に補正することができる。この結果、観察部位の撮像距離の違いに起因する蛍光の明暗を高精度に補正した高品質な蛍光画像を簡易に取得することができる。
また、この実施の形態1では、クリップ処理によって均一画像の各映像信号値のうちの所定の基準信号値に比して大きい映像信号値をこの基準信号値に置換している。このため、均一画像における正反射光の受光画素と正反射光以外の受光画素との輝度差を軽減することができる。かかるクリップ処理後の均一画像の各映像信号を用いることによって、観察部位からの正反射光の影響を受けることなく蛍光画像の各映像信号を高精度に補正することができる。
さらに、この実施の形態1では、オフセット処理によって均一画像の各映像信号値を零に比して大きい信号値にしている。このため、観察部位の蛍光画像の規格化処理において映像信号の零除算処理を行うことなく、均一画像の各映像信号の信号値によって蛍光画像の各映像信号の信号値を除算することができる。
また、この実施の形態1では、正規化処理によって均一画像の各映像信号値を0.0より大きく、1.0以下の範囲内の信号値にしている。このため、撮像距離が比較的短い蛍光発生部分に対応する画素の輝度値を維持しつつ、撮像距離が比較的長い蛍光発生部分に対応する画素の輝度値を強調することができる。これによって、撮像距離に応じて変化する蛍光の明暗を補正でき、この結果、撮像距離によらず蛍光発生部分に対応する画素の輝度値を強調することができる。
(実施の形態2)
つぎに、本発明の実施の形態2について説明する。上述した実施の形態1では、観察部位100の蛍光画像を補正するための画像情報として、カラーフィルタ群25のうちの赤色光フィルタに対応するR映像信号に基づいた均一画像を生成していたが、この実施の形態2では、白色光撮像部の受光部に配置されたカラーフィルタ群のうちの赤外光フィルタに対応する赤外成分の映像信号(以下、IR映像信号という)に基づいた均一画像を生成している。
図15は、本発明の実施の形態2にかかる内視鏡装置の一構成例を模式的に示すブロック図である。図15に示すように、この実施の形態2にかかる内視鏡装置2は、上述した実施の形態1にかかる内視鏡装置1の光源装置10に代えて光源装置210を備え、ダイクロイックミラー24に代えてハーフミラー224を備え、3色(赤、緑、青)のカラーフィルタ群25に代えて4色(赤外、赤、緑、青)のカラーフィルタ群225を備え、白色光撮像部26に代えて赤外光を受光可能な白色光撮像部226を備え、画像処理装置30に代えて画像処理装置230を備える。また、この光源装置210は、上述した実施の形態1における白色光源11に代えて白色光源211を備え、回転フィルタ14に代えて回転フィルタ214を備える。一方、この画像処理装置230は、上述した実施の形態1にかかる画像処理装置30の白色光画像生成部34に代えて白色光画像生成部234を備え、均一画像生成部35に代えて均一画像生成部235を備える。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
光源装置210は、上述したように白色光源211および回転フィルタ214を備え、赤外の波長帯域を含む広帯域の白色光と蛍光薬剤を励起する励起光とを切替て観察部位100に照射する光源部として機能する。なお、かかる光源装置210は、白色光源211および回転フィルタ214の機能以外、上述した実施の形態1における光源装置10と同様の機能を有する。
白色光源211は、少なくとも赤外光の波長帯域を含む広帯域の白色光を発光可能な光源を用いて実現され、光源装置210のスイッチ(図示せず)の操作に基づいて広帯域(例えば300〜800nmの波長帯域)の白色光を発光する。なお、かかる白色光源211によって発光される白色光は、青色光、緑色光、赤色光および赤外光を含む。
回転フィルタ214は、白色光源211によって発光された白色光から所定の波長帯域の光を抽出する。図16は、本発明の実施の形態2における回転フィルタの一構成例を示す模式図である。図17は、実施の形態2における回転フィルタ内に含まれる白色光フィルタの分光特性の一例を示す模式図である。図18は、実施の形態2における回転フィルタ内に含まれる励起光フィルタの分光特性の一例を示す模式図である。なお、図17,18には、白色光源211が発光する白色光の分光特性を例示する波長対強度の相関線C21が図示されている。図16に示すように、回転フィルタ214は、上述した実施の形態1における白色光フィルタ14aに代えて励起光カット機能を有する白色光フィルタ214aを備える。また、回転フィルタ214は、実施の形態1の場合と同様の励起光フィルタ14bを備える。
白色光フィルタ214aは、白色光源211によって発光された広帯域の白色光のうちの励起光以外の波長帯域の白色光を透過させる。具体的には、白色光フィルタ214aは、図17に示す波長対強度の相関線C22,C23のように、380〜800nmの波長帯域のうちの660〜670nmの波長帯域を除く残りの波長帯域の光を透過させる分光透過率を有する。すなわち、白色光フィルタ214aは、380〜660nmの波長帯域の光と670〜800nmの波長帯域の光とを透過させる分光透過率を有する。かかる分光透過率を有する白色光フィルタ214aは、白色光源211からの白色光、すなわち図17に示す波長対強度の相関線C21のような分光特性を有する白色光の中から、660〜670nmの波長帯域の光である励起光を除去するとともに、この励起光以外の波長帯域の白色光を抽出する。なお、かかる白色光フィルタ214aによって抽出された白色光には、青色成分、緑色成分、赤色成分および赤外成分が含まれる。白色光フィルタ214aは、かかる赤外成分等を含む白色光を観察部位100に照射する通常光として透過させる。なお、かかる白色光フィルタ214aを透過した白色光の分光特性は、白色光源211からの白色光の分光特性(相関線C21参照)と白色光フィルタ214aの分光透過率(相関線C22,C23参照)とを乗算することによって算出される。
なお、かかる回転フィルタ214において、励起光フィルタ14bは、白色光源211によって発光された広帯域の白色光の中から、実施の形態1の場合と同様に660〜670nmの波長帯域の励起光を透過させる。かかる励起光フィルタ14bを透過した励起光の分光特性は、白色光源211からの白色光の分光特性(相関線C21参照)と励起光フィルタ14bの分光透過率(相関線C3参照)とを乗算することによって算出される。
このような白色光フィルタ214aおよび励起光フィルタ14bを有する回転フィルタ214は、実施の形態1の場合と同様にモータ15の駆動によって周方向に回転し、これによって、白色光源211からの白色光の光路(図15に示す光源装置210内の破線参照)内に、白色光フィルタ214aおよび励起光フィルタ14bを順次切り替えて位置させる。かかる回転フィルタ214は、この光路内に白色光フィルタ214aを位置させた状態において、励起光を除き且つ赤外光を含む白色光を透過させ、この光路内に励起光フィルタ14bを位置させた状態において、実施の形態1の場合と同様の励起光を透過させる。すなわち、回転フィルタ214は、かかる赤外光含有の白色光と励起光とを交互に透過させる。
なお、かかる光源装置210によって交互に射出される赤外光含有の白色光および励起光は、実施の形態1の場合と同様に、ライトガイドファイバ21等を介して観察部位100に交互に照射される。
ハーフミラー224は、対物レンズ23を透過した観察部位100からの光を白色光撮像部226側と蛍光撮像部28側とに同様に分岐する。具体的には、ハーフミラー224は、観察部位100に赤外光含有の白色光が照射された場合、この観察部位100から反射した赤外含有の白色光を白色光撮像部226側の光路と蛍光撮像部28側の光路とに分岐する。一方、ハーフミラー224は、観察部位100に励起光が照射された場合、この観察部位100から発生した蛍光と観察部位100から反射した励起光とを白色光撮像部226側の光路と蛍光撮像部28側の光路とに分岐する。
カラーフィルタ群225は、分光特性の異なる4種類のカラーフィルタを複数含み、白色光撮像部226の画素毎に観察部位100からの白色光を各波長成分の光に分光するとともに、白色光撮像部226の各画素に向けて、これら各波長成分の光を透過させる。図19は、実施の形態2における白色光撮像部の受光面に配置されるカラーフィルタ群の一構成例を示す模式図である。図20は、実施の形態2におけるカラーフィルタ群の透過率特性の一例を示す模式図である。カラーフィルタ群225は、例えば図19に示すように、赤色光を透過する赤色光フィルタ(R)と、緑色光を透過する緑色光フィルタ(G)と、青色光を透過する青色光フィルタ(B)と、赤外光を透過するカラーフィルタである赤外光フィルタ(IR)とを各々複数含むモザイク状の原色カラーフィルタである。また、カラーフィルタ群225は、2×2のカラーフィルタ集合体を基本単位とし、この基本単位内に赤色光フィルタ、緑色光フィルタ、青色光フィルタおよび赤外光フィルタを各々含む。
かかるカラーフィルタ群225において、青色光フィルタは、図20に示す波長対透過率の相関線C24のように、400〜500nmの波長帯域の青色光と700nm以上の波長帯域の赤外光とを透過させる分光透過率を有する。緑色光フィルタは、図20に示す波長対透過率の相関線C25のように、480〜600nmの波長帯域の緑色光と700nm以上の波長帯域の赤外光とを透過させる分光透過率を有する。赤色光フィルタは、図20に示す波長対透過率の相関線C26のように、580〜700nmの波長帯域の赤色光と700nm以上の波長帯域の赤外光とを透過させる分光透過率を有する。赤外光フィルタは、図20に示す波長対透過率の相関線C27のように、700nm以上の波長帯域の赤外光を透過させる分光透過率を有する。
なお、かかるカラーフィルタ群225において、青色光フィルタの50%透過域は430〜480nmであり、緑色光フィルタの50%透過域は510〜580nmであり、赤色光フィルタの50%透過域は600〜680nmである。一方、図20における相関線C27に例示される赤外光フィルタの分光透過特性は、相関線C24に例示される青色光フィルタの分光透過特性と相関線C25に例示される緑色光フィルタの分光透過特性と相関線C26に例示される赤色光フィルタとをもとに規定される。すなわち、赤外光フィルタの分光透過率が上昇し始める起点波長は、青色光、緑色光および赤色光の各波長帯域の最長波長側(例えば700nm)に設定され、この設定した起点波長から分光透過率が上昇し始める分光透過特性を有する光学フィルタが、カラーフィルタ群225内の赤外光フィルタとして用いられる。
このような構成を有するカラーフィルタ群225は、ハーフミラー224によって白色光撮像部226側の光路に分岐された観察部位100からの白色光のうち、青色光フィルタによって例えば430〜480nmの青色光と赤外光とを抽出し、緑色光フィルタによって例えば510〜580nmの緑色光と赤外光とを抽出し、赤色光フィルタによって例えば600〜680nmの赤色光と赤外光とを抽出し、赤外光フィルタによって例えば700nm以上の赤外光を抽出する。カラーフィルタ群225内の各青色光フィルタは、白色光撮像部226の各青色画素に向けて、かかる白色光の青色成分および赤外成分を透過させる。カラーフィルタ群225内の各緑色光フィルタは、白色光撮像部226の各緑色画素に向けて、かかる白色光の緑色成分および赤外成分を透過させる。カラーフィルタ群225内の各赤色光フィルタは、白色光撮像部226の各赤色画素に向けて、かかる白色光の赤色成分および赤外成分を透過させる。カラーフィルタ群225内の各赤外光フィルタは、白色光撮像部226の赤外成分に対応する各画素すなわち各赤外画素に向けて、かかる白色光の赤外成分を透過させる。
なお、カラーフィルタ群225は、上述したように、2×2のカラーフィルタ集合体を基本単位として、この基本単位内に赤色光フィルタ(R)、緑色光フィルタ(G)、青色光フィルタ(B)および赤外光フィルタ(IR)を各々含むものであればよく、そのサイズは、図19に示すような5×5に限定されない。すなわち、カラーフィルタ群225は、白色光撮像部226の受光面に合わせて、少なくとも赤外光フィルタを含む所望数のカラーフィルタからなる所望サイズのものであればよい。
白色光撮像部226は、分光特性の異なる各カラーフィルタが受光面内の各画素に配置されたベイヤ型のカラー撮像素子を用いて実現される。具体的には、白色光撮像部226は、赤外光カットフィルタを有しておらず、上述したカラーフィルタ群225を受光面上に備える。白色光撮像部226の受光部は、実施の形態1における白色光撮像部26の場合と同様に、例えば2×2の画素集合体を基本単位とし、この基本単位の画素集合体を複数含む画素群によって形成される。この白色光撮像部226の受光部には、かかる基本単位の画素集合体毎に、上述したカラーフィルタ群225における基本単位のカラーフィルタ集合体が配置される。すなわち、白色光撮像部226は、かかる基本単位の画素集合体上に、カラーフィルタ群225における基本単位のカラーフィルタ集合体内の赤色光フィルタ、緑色光フィルタ、青色光フィルタおよび赤外光フィルタを各々有する。
このような構成を有する白色光撮像部226は、ハーフミラー224によって白色光撮像部226側の光路に分岐された観察部位100からの通常光、すなわち、光源装置210による白色光が観察部位100に照射された際に観察部位100から反射した白色光(赤外光を含む)を、上述したカラーフィルタ群225等を介して受光する。これによって、白色光撮像部226は、観察部位100のカラー画像である白色光画像を撮像する。この場合、白色光撮像部226は、カラーフィルタ群225によってこの白色光から分光された各波長帯域成分(青色成分、緑色成分、赤色成分、赤外成分)の光を画素群内の各画素によって各々光電変換処理して、観察部位100の白色光画像に対応する各波長帯域成分の映像信号を生成する。
ここで、白色光撮像部226の受光部内の画素群には、カラーフィルタ群225内の青色光フィルタが配置された青色画素と、カラーフィルタ群225内の緑色光フィルタが配置された緑色画素と、カラーフィルタ群225内の赤色光フィルタが配置された赤色画素と、カラーフィルタ群225内の赤外光フィルタが配置された画素である赤外画素とが各々複数含まれる。かかる白色光撮像部226の画素群において、青色画素は、観察部位100からの白色光のうちの青色光フィルタを透過した青色成分(例えば430〜480nmの波長帯域)の通常光と例えば700nm以上の波長帯域の赤外光とを受光する。青色画素は、このように受光した青色成分の通常光および赤外光を光電変換処理して、観察部位100のB映像信号、すなわち赤外成分含有の青色成分のB映像信号を生成する。緑色画素は、観察部位100からの白色光のうちの緑色光フィルタを透過した緑色成分(例えば510〜580nmの波長帯域)の通常光と赤外光とを受光する。緑色画素は、このように受光した緑色成分の通常光および赤外光を光電変換処理して、観察部位100のG映像信号、すなわち赤外成分含有の緑色成分のG映像信号を生成する。赤色画素は、観察部位100からの白色光のうちの赤色光フィルタを透過した赤色成分(例えば600〜680nmの波長帯域)の通常光と赤外光とを受光する。赤色画素は、このように受光した赤色成分の通常光および赤外光を光電変換処理して、観察部位100のR映像信号、すなわち赤外成分含有の赤色成分のR映像信号を生成する。赤外画素は、観察部位100からの白色光のうちの赤外光フィルタを透過した赤外光を受光する。赤外画素は、このように受光した赤外光を光電変換処理して、観察部位100の赤外成分の映像信号であるIR映像信号を生成する。白色光撮像部226は、上述したように観察部位100の白色光画像を撮像する都度、この観察部位100の白色光画像に対応する各B映像信号、各G映像信号、各R映像信号および各IR映像信号を画像処理装置230のA/D変換部31に順次送信する。
なお、かかる白色光撮像部226は、光源装置210による励起光が観察部位100に照射された際、ハーフミラー224によって白色光撮像部226側の光路に分岐された観察部位100からの光、すなわち、観察部位100から発生した蛍光と観察部位100から反射した励起光とをカラーフィルタ群225を介して受光する。この場合、白色光撮像部226は、白色光画像の各映像信号の場合と同様に、この受光した観察部位100からの励起光および蛍光を光電変換処理して、励起光および蛍光の各映像信号を生成し、この生成した励起光および蛍光の各映像信号を画像処理装置230のA/D変換部31に順次送信する。しかし、かかる白色光撮像部226によって生成された励起光および蛍光の各映像信号は、画像処理装置230の制御部38の制御に基づいて、A/D変換部31によって削除される。すなわち、かかる白色光撮像部226によって生成された各映像信号のうち、観察部位100に白色光が照射された際の白色光画像に対応する各B映像信号、各G映像信号、各R映像信号および各IR映像信号が、A/D変換部31によるデジタル変換処理後に白色光画像用バッファ32に記憶される。
一方、この実施の形態2において、バリアフィルタ27は、ハーフミラー224によって蛍光撮像部28側の光路に分岐された観察部位100からの光のうち、観察部位100から反射した白色光(赤外光を含む)および励起光を遮断するとともに、観察部位100からの蛍光を透過させる。かかるバリアフィルタ27の作用によって、蛍光撮像部28は、実施の形態1の場合と同様に、バリアフィルタ27を透過した観察部位100からの蛍光を受光する。かかる蛍光撮像部28は、上述したように、観察部位100の蛍光画像を撮像する都度、この観察部位100の蛍光画像の各映像信号を画像処理装置230に順次送信する。
画像処理装置230は、上述したように、実施の形態1にかかる画像処理装置30の白色光画像生成部34に代えて白色光画像生成部234を備え、均一画像生成部35に代えて均一画像生成部235を備える。画像処理装置230は、白色光画像生成部234によって、上述した赤外成分含有の各B映像信号と各G映像信号と各R映像信号とをもとに観察部位100の白色光画像を生成する。また、画像処理装置230は、均一画像生成部235によって、上述したIR映像信号に基づいた均一画像を生成する。なお、画像処理装置230は、かかる白色光画像生成部234および均一画像生成部235の機能以外、上述した実施の形態1にかかる画像処理装置30と同様の機能を有する。
なお、かかる画像処理装置230において、A/D変換部31は、上述した白色光撮像部226から取得した観察部位100の各映像信号のうち、観察部位100に白色光が照射された際の白色光画像に対応する各B映像信号、各G映像信号、各R映像信号および各IR映像信号をデジタル変換後に白色光画像用バッファ32に順次送信する。白色光画像用バッファ32は、かかるA/D変換部31から取得したデジタル変換後の各B映像信号、各G映像信号、各R映像信号および各IR映像信号を一時的に記憶し、その後、これらデジタル変換後の各B映像信号、各G映像信号、各R映像信号および各IR映像信号を白色光画像生成部234および均一画像生成部235に適宜送信する。
白色光画像生成部234は、白色光画像用バッファ32に一時的に記憶された1フレーム分の各映像信号をもとに観察部位100の白色光画像を生成する。具体的には、白色光画像生成部234は、1フレーム分の白色光画像に相当する単板状態の各B映像信号、各G映像信号、各R映像信号および各IR映像信号を白色光画像用バッファ32から取得する。白色光画像生成部234は、この白色光画像用バッファ32から取得した単板状態の各映像信号から赤外成分を除去する赤外成分除去処理を行い、この赤外成分除去処理後の各B映像信号と各G映像信号と各R映像信号とをもとに、観察部位100の白色光画像を生成する。白色光画像生成部234は、白色光画像用バッファ32から1フレーム分の白色光画像の各映像信号を取得する都度、かかる処理を順次行って、観察部位100の白色光画像を1フレームずつ生成する。白色光画像生成部234は、このように生成した観察部位100の白色光画像の各映像信号を出力部37に順次送信する。
均一画像生成部235は、上述した蛍光撮像部28によって撮像された観察部位100の蛍光画像の各映像信号を補正する補正処理に用いる均一画像として、白色光撮像部226によるIR映像信号に基づいた赤外成分の均一画像を生成する。図21は、本発明の実施の形態2にかかる画像処理装置の均一画像生成部の一構成例を模式的に示すブロック図である。図21に示すように、均一画像生成部235は、上述した実施の形態1における均一画像生成部35の信号抽出部35aに代えて信号抽出部235aを備え、補間処理部35cに代えて補間処理部235cを備える。その他の構成は実施の形態1における均一画像生成部35(図8参照)と同じであり、同一構成部分には同一符号を付している。
信号抽出部235aは、制御部38の制御に基づいて、白色光画像用バッファ32に記憶された白色光画像の各映像信号の中から、上述した白色光撮像部226のカラーフィルタ群225のうちの特定カラーフィルタに対応する各映像信号を抽出する。具体的には、信号抽出部235aは、観察部位100の白色光画像に対応する1フレーム分の各B映像信号、各G映像信号、各R映像信号および各IR映像信号中から、カラーフィルタ群225のうちの赤外光フィルタに対応する各IR映像信号を抽出する。
ここで、カラーフィルタ群225に含まれる青色光フィルタ、緑色光フィルタ、赤色光フィルタおよび赤外光フィルタのうち、赤外光フィルタは、生体組織等の観察部位100内に存在するコントラスト部位(例えば血管等)における光吸収特性が比較的低い波長帯域の光を透過する特定カラーフィルタの一例である。さらには、赤外光フィルタは、上述した実施の形態1における特定カラーフィルタである赤色光フィルタに比して、血管等のコントラスト部位における光吸収特性が低い波長帯域の光(すなわち赤外光)を透過する。信号抽出部235aは、白色光画像用バッファ32から取得した単板状態の各B映像信号、各G映像信号、各R映像信号および各IR映像信号の中から、実施の形態2における特定カラーフィルタである赤外光フィルタに対応する各IR映像信号を抽出する。この場合、信号抽出部235aは、カラーフィルタ群225のうちの青色光フィルタに対応する各B映像信号と緑色光フィルタに対応する各G映像信号と赤色光フィルタに対応する各R映像信号とを間引き処理する。信号抽出部235aは、制御部38の制御に基づいて、このように抽出した単板状態の各IR映像信号をバッファ35bに順次送信する。
補間処理部235cは、信号抽出部235aによって抽出された特定の波長帯域の各映像信号を補間処理して、上述したカラーフィルタ群225のうちの特定カラーフィルタに対応する波長帯域成分の均一画像を生成する。具体的には、補間処理部235cは、制御部38の制御に基づいて、信号抽出部235aによって抽出された特定の波長帯域の各映像信号である単板状態の各IR映像信号をバッファ35bから取得し、この取得した単板状態の各IR映像信号の補間処理を行う。かかる各IR映像信号の補間処理によって、補間処理部235cは、上述した信号抽出部235aによる各IR映像信号の抽出処理の際に間引き処理された各B映像信号、各G映像信号および各R映像信号の各空白部分にIR映像信号を各々割り当てる。この結果、補間処理部235cは、上述した特定カラーフィルタである赤外光フィルタに対応する1フレーム分の各IR映像信号、すなわち、かかる赤外光フィルタに対応する波長帯域成分である赤外成分の均一画像を生成する。補間処理部235cは、制御部38の制御に基づいて、このように生成した均一画像の各映像信号(詳細には各IR映像信号)を補正処理部36に順次送信する。
なお、この実施の形態2において、補正処理部36は、上述した各R映像信号に基づいた赤色成分の均一画像の代わりに、かかる補間処理部235cによる赤外成分の均一画像の各IR映像信号を用いて観察部位100の蛍光画像の各映像信号を補正処理する。なお、かかる補正処理部36による蛍光画像の補正処理は、上述したように赤外成分の均一画像の各IR映像信号を用いること以外、実施の形態1の場合と同様である。
つぎに、本発明の実施の形態2にかかる画像処理装置230の動作を具体的に説明する。図22は、観察部位の白色光画像を生成する際の赤外成分除去処理を説明する模式図である。図23は、コントラスト部位である血管における光吸収特性の低い赤外成分の均一画像を生成する状態を説明する模式図である。この実施の形態2にかかる画像処理装置230は、観察部位100の白色光画像を生成する際の動作および均一画像を生成する際の動作以外、上述した実施の形態1にかかる画像処理装置30と同様に動作する。すなわち、画像処理装置230は、図10に示したステップS101〜S111と略同様の各処理手順を実行する。この場合、画像処理装置230は、かかるステップS101〜S111の各処理手順のうちのステップS102〜S104の各処理手順において、上述した実施の形態1の場合と異なる処理を実行する。
上述したステップS102において、画像処理装置230は、赤外成分含有の各B映像信号、各G映像信号および各R映像信号から赤外成分を除去して観察部位100の白色光画像を生成する。具体的には、白色光画像生成部234は、観察部位100の白色光画像の画素配列に対応した単板状態の各B映像信号、各G映像信号、各R映像信号および各IR映像信号を白色光画像用バッファ32から読み出す。なお、かかる単板状態の各B映像信号、各G映像信号および各R映像信号には、上述したように赤外成分が含まれる。白色光画像生成部234は、図22に示すように、かかる単板状態の各B映像信号と各G映像信号と各R映像信号と各IR映像信号との集合体である映像信号群Swに対して赤外成分除去処理を行い、これによって、この映像信号群Swの中から、観察部位100の白色光画像の色表現に不要な波長帯域成分である赤外成分を除去する。
詳細には、かかる映像信号群Swに対する赤外成分除去処理において、白色光画像生成部234は、上述したカラーフィルタ群225内の青色光フィルタの赤外域における分光透過率と赤外光フィルタの分光透過率(図20参照)との比率を算出し、この算出した比率とIR映像信号の信号値との乗算値を単板状態の各B映像信号の信号値から各々減算する。これによって、白色光画像生成部234は、かかる単板状態の各B映像信号から赤外成分を除去する。一方、白色光画像生成部234は、上述したカラーフィルタ群225内の緑色光フィルタの赤外域における分光透過率と赤外光フィルタの分光透過率との比率を算出し、この算出した比率とIR映像信号の信号値との乗算値を単板状態の各G映像信号の信号値から各々減算する。これによって、白色光画像生成部234は、かかる単板状態の各G映像信号から赤外成分を除去する。また、白色光画像生成部234は、上述したカラーフィルタ群225内の赤色光フィルタの赤外域における分光透過率と赤外光フィルタの分光透過率との比率を算出し、この算出した比率とIR映像信号の信号値との乗算値を単板状態の各R映像信号の信号値から各々減算する。これによって、白色光画像生成部234は、かかる単板状態の各R映像信号から赤外成分を除去する。さらに、白色光画像生成部234は、かかる映像信号群Swの中から単板状態の各IR映像信号を除去する。
その後、白色光画像生成部234は、かかる赤外成分除去処理後の映像信号群Swの各映像信号に対して補間処理を行い、これによって、かかる各IR映像信号に対応する各赤外画素(図22に示す斜線部分を参照)の色成分を算出するとともに、上述した基本単位の画素集合体内の各色成分を合成した3板状態の映像信号を基本単位の画素集合体毎に生成する。白色光画像生成部234は、このように生成した3板状態の各映像信号に対して色変換処理および階調変換処理等を行って、観察部位100の白色光画像を生成する。
一方、上述したステップS103,S104において、画像処理装置230の均一画像生成部235は、観察部位100内に存在する血管等のコントラスト部位における光吸収特性が比較的低い波長帯域成分である赤外光を透過する赤外光フィルタに対応する各IR映像信号を抽出し、この抽出した各IR映像信号をもとに赤外成分の均一画像を生成する。
具体的には、ステップS103において、信号抽出部235aは、観察部位100の白色光画像の画素配列に対応した単板状態の各B映像信号、各G映像信号、各R映像信号および各IR映像信号を白色光画像用バッファ32から読み出す。次いで、信号抽出部235aは、図23に示すように、かかる単板状態の各B映像信号と各G映像信号と各R映像信号と各IR映像信号との集合体である映像信号群Swの中から、上述したカラーフィルタ群225のうちの特定カラーフィルタである赤外光フィルタに対応する各IR映像信号を抽出する。なお、かかる特定カラーフィルタとしての赤外光フィルタは、血管等のコントラスト部位における光吸収特性の低い波長帯域の赤外光を透過する。
その後、ステップS104において、補間処理部235cは、かかる信号抽出部235aが抽出した単板状態の各IR映像信号をバッファ35bから読み出す。補間処理部235cは、この読み出した単板状態の各IR映像信号の補間処理を行い、これによって、上述した信号抽出部235aによる各IR映像信号の抽出処理の際に間引き処理された各B映像信号、各G映像信号および各R映像信号の各空白部分(図23に示す斜線部分を参照)にIR映像信号を各々割り当てる。この結果、補間処理部235cは、図23に示すように、実施の形態2における特定カラーフィルタである赤外光フィルタに対応する1フレーム分の各IR映像信号、すなわち赤外成分の均一画像Prを生成する。
ここで、観察部位100内のコントラスト部位の一例である血管は、図11に示したように、400nm近傍の波長帯域においてピークを有し且つ600nm以上の波長帯域において光吸収率が相対的に低くなる光吸収特性を有する。すなわち、観察部位100内の血管は、600nm以上の波長帯域の光を殆ど吸収しない。さらには、かかる光吸収特性を有する血管は、600〜680nmの波長帯域の光、すなわちカラーフィルタ群225内の赤色光フィルタによって白色光から抽出される赤色光に比して、カラーフィルタ群225内の赤外光フィルタによって白色光から抽出される700nm以上の波長帯域の赤外光を吸収し難い。信号抽出部235aは、上述した単板状態の映像信号群Swの中から、血管における光吸収率が一層低い波長帯域の各IR映像信号を抽出し、補間処理部235cは、かかる各IR映像信号を補間処理して赤外成分の均一画像Prを生成する。この結果、補間処理部235cは、観察部位100内の血管に対応して周辺画素との輝度差が大きくなる画素部分であるエッジの発生を一層容易に抑制して、光の照度分布を一層正確に反映した更なる低コントラストの均一画像Prを生成することができる。
以上、説明したように、本発明の実施の形態2では、赤外光を透過する赤外光フィルタを含むカラーフィルタ群を介して観察部位から受光した通常光に基づく赤外成分含有の各映像信号を取得し、この取得した赤外成分含有の各映像信号の中から赤外成分を除去して観察部位の白色光画像を生成するようにし、また、この取得した赤外成分含有の各映像信号の中から赤外光フィルタに対応するIR映像信号を抽出し、この抽出した各IR映像信号をもとに、観察部位内のコントラスト部位における光吸収特性の低い波長帯域成分(すなわち赤外成分)の均一画像を生成し、この生成した均一画像の各映像信号によって観察部位の蛍光画像の各映像信号を補正するようにし、その他を実施の形態1と同様に構成した。このため、上述した実施の形態1の場合と同様の作用効果を享受するとともに、観察部位内のコントラスト部位に起因するエッジの発生を一層抑制して光の照度分布を一層正確に反映した更なる低コントラストの均一画像を簡易に生成でき、かかる低コントラストの均一画像の各映像信号を用いることによって、一層正確に観察対象の蛍光画像の輝度を補正することができる。この結果、観察部位の撮像距離の違いに起因する蛍光の明暗をより高精度に補正した一層高品質な蛍光画像を簡易に取得できる。
(実施の形態3)
つぎに、本発明の実施の形態3について説明する。上述した実施の形態1,2では、本発明にかかる撮像装置の一例として内視鏡装置1,2を例示したが、この実施の形態3では、本発明にかかる撮像装置の一例として顕微鏡装置を例示し、この顕微鏡装置に用いられる画像処理装置、画像処理プログラムおよび画像処理方法を説明する。
図24は、本発明の実施の形態3にかかる顕微鏡装置の一構成例を模式的に示すブロック図である。図24に示すように、この実施の形態3にかかる顕微鏡装置3は、本発明にかかる撮像装置の一例であり、上述した実施の形態1にかかる内視鏡装置1の挿入部20に代えて顕微鏡本体320を備える。この顕微鏡本体320は、上述したダイクロイックミラー24と、カラーフィルタ群25と、白色光撮像部26と、バリアフィルタ27と、蛍光撮像部28とを備える。さらに、この顕微鏡本体320は、光源装置10から射出された光を被検体側に反射する反射ミラー321と、生体組織等の被検体を載置する対物ステージ322と、対物レンズ323と、蛍光撮像部28側の光路に観察部位からの光を反射する反射ミラー324と、白色光撮像部26側のレンズ325と、蛍光撮像部28側のレンズ326とを備える。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
顕微鏡本体320は、生体組織等の被検体を白色光観察(カラー画像観察)および蛍光観察するために被検体の白色光画像および蛍光画像を撮像する撮像機能を有する。具体的には、顕微鏡本体320は、上述したように、ダイクロイックミラー24と、カラーフィルタ群25と、白色光撮像部26と、バリアフィルタ27と、蛍光撮像部28と、反射ミラー321,324と、対物ステージ322と、対物レンズ323と、レンズ325,326とを備える。
反射ミラー321は、上述した光源装置10によって交互に射出される白色光および励起光を対物ステージ322側の光路(図24に示す破線参照)に反射する。対物ステージ322は、生体組織等の被検体を載置するためのものである。かかる対物ステージ322上に載置された被検体の観察部位には、反射ミラー321によって反射された光源装置10からの白色光および励起光が交互に照射される。
なお、かかる対物ステージ322上に載置された被検体の観察部位(図示せず)内に、予め蛍光薬剤を集積した病変部等の異常組織が存在する場合、この観察部位に反射ミラー321を介して照射された光源装置10からの励起光は、この観察部位を通過するとともに、この観察部位内の異常組織の蛍光薬剤を励起して、上述した実施の形態1の場合と同様に690〜710nmの波長帯域の蛍光を発生させる。一方、この対物ステージ322上の被検体に反射ミラー321を介して光源装置10からの白色光が照射された場合、この光源装置10からの白色光は、この被検体の観察部位を通過する。
対物レンズ323は、光源装置10からの白色光が対物ステージ322上の観察部位に照射された場合、この観察部位からの通常光の一例として、この観察部位を透過した白色光を集光する。一方、対物レンズ323は、光源装置10からの励起光が対物ステージ322上の観察部位に照射された場合、この観察部位から発生した蛍光(具体的には観察部位内の異常組織から発生した蛍光)とこの観察部位を通過した励起光とを集光する。
反射ミラー324は、上述したダイクロイックミラー24によって蛍光撮像部28側の光路に分岐された観察部位からの蛍光および励起光を蛍光撮像部28に向けて反射する。レンズ325は、上述したダイクロイックミラー24によって白色光撮像部26側の光路に分岐された観察部位からの白色光をカラーフィルタ群25に向けて集光する。レンズ326は、反射ミラー324によって反射された観察部位からの蛍光および励起光をバリアフィルタ27に向けて集光する。
このような構成を有する顕微鏡装置3は、上述した実施の形態1にかかる内視鏡装置1と同様の撮像機能と画像処理機能と画像出力機能とを有する。かかる顕微鏡装置3は、図10に示したステップS101〜S111の各処理手順を実行し、この結果、実施の形態1の場合と同様の作用効果を享受する。
以上、説明したように、本発明の実施の形態3では、実施の形態1にかかる内視鏡装置1と同様の撮像機能と画像処理機能と画像出力機能とを備える顕微鏡装置を構成した。このため、上述した実施の形態1の場合と同様の作用効果を享受する顕微鏡装置を実現することができる。
なお、上述した実施の形態1〜3では、通常光の一例として白色光を観察部位に照射していたが、これに限らず、観察部位に照射する通常光は、励起光以外の波長帯域の光であればよく、通常光の色成分は所望のものであってもよい。
また、上述した実施の形態1〜3では、単板状態の映像信号を出力するベイヤ型のカラー撮像素子を用いて白色光撮像部を実現していたが、これに限らず、かかる白色光撮像部を実現する撮像素子は、CCDまたはCMOSイメージセンサ等の固体撮像素子であればよく、また、3板状態の映像信号を出力する3板型の固体撮像素子であってもよいし、ベイヤ型の固体撮像素子であってもよい。
さらに、上述した実施の形態1,3では、白色光撮像部側の光路と蛍光撮像部側の光路とに観察部位からの光を分岐する分岐手段としてダイクロイックミラー24を用いていたが、これに限らず、上述したダイクロイックミラー24に代えてハーフミラーを分岐手段として用いてもよい。この場合、観察部位からの蛍光および励起光を除去して白色光を透過させる分光透過特性を有する光学フィルタを白色光撮像部の受光面に配置してもよいし、観察部位からの蛍光および励起光の波長帯域をカラーフィルタ群25の透過波長帯域外に設定してもよい。
また、上述した実施の形態2では、白色光撮像部側の光路と蛍光撮像部側の光路とに観察部位からの光を分岐する分岐手段としてハーフミラー224を用いていたが、これに限らず、上述したハーフミラー224に代えてダイクロイックミラーを分岐手段として用いてもよい。この場合、観察部位からの蛍光の波長帯域を可視光域に比して短い波長帯域に設定し、この分岐手段としてのダイクロイックミラーは、この観察部位からの蛍光を蛍光撮像部側の光路に分岐(透過)し、この蛍光の波長帯域に比して長い波長帯域の光を白色光撮像部側の光路に分岐(反射)する分光特性を有すればよい。
さらに、上述した実施の形態2では、回転フィルタ214は、励起光カット機能を有する白色光フィルタ214aを備えていたが、これに限らず、観察部位に照射する白色光等の通常光に比して短い波長帯域の励起光を発光可能な光源を用いれば、白色光フィルタ214aは、励起光カット機能を備えていなくてもよい。
また、上述した実施の形態1,3では、励起光の波長帯域を660〜670nmに規定していたが、これに限らず、観察部位に照射される通常光(例えば白色光)の波長帯域以外の蛍光を発生させる励起光であれば、この励起光の波長帯域は所望のものであってもよい。
さらに、上述した実施の形態1〜3では、観察部位の白色光画像の生成処理(ステップS102)の後に、特定カラーフィルタに対応する各映像信号を抽出して(ステップS103)、この特定カラーフィルタに対応する波長帯域成分の均一画像を生成(ステップS104)していたが、これに限らず、観察部位の白色光画像の生成処理は、上述したステップS110の処理手順の前までに実行すればよく、ステップS103〜S109の各処理手順のうちのいずれの処理手順の後に実行してもよい。
また、上述した実施の形態1〜3では、観察部位の白色光画像および補正処理後の蛍光画像を画像出力装置50にカラー表示していたが、これに限らず、画像出力装置50は、観察部位の白色光画像をカラー表示するとともに観察部位の蛍光画像をモノクロ表示してもよい。また、上述した画像出力装置50は、観察部位の白色光画像および蛍光画像を画面表示するものに限らず、紙等の印刷媒体に観察部位の白色光画像および補正処理後の蛍光画像を印刷するプリンタ等であってもよいし、ハードディスク等の内蔵型の記憶メディアまたはメモリカード等の可搬型の記憶メディアを備え、かかる記憶メディアに観察部位の白色光画像および補正処理後の蛍光画像を記憶する記憶装置であってもよい。
さらに、上述した実施の形態3では、実施の形態1と同様の撮像機能と画像処理機能と画像出力機能とを備えた顕微鏡装置3を例示したが、これに限らず、本発明にかかる撮像装置の一例である顕微鏡装置は、実施の形態2と同様の撮像機能と画像処理機能と画像出力機能とを備えた装置であってもよい。すなわち、本発明にかかる顕微鏡装置は、実施の形態3にかかる顕微鏡装置3の光源装置10に代えて光源装置210を備え、ダイクロイックミラー24に代えてハーフミラー224を備え、カラーフィルタ群25および白色光撮像部26に代えてカラーフィルタ群225および白色光撮像部226を備え、画像処理装置30に代えて画像処理装置230を備え、その他の構成を実施の形態3と同じにしたものであってもよい。
また、上述した実施の形態1〜3では、生体組織等の被検体を観察するための内視鏡装置または顕微鏡装置を本発明にかかる撮像装置の一例として説明したが、これに限らず、本発明にかかる撮像装置は、医療分野以外に用いる内視鏡装置または顕微鏡装置であってもよいし、内視鏡装置または顕微鏡装置以外の撮像装置、例えば、デジタルカメラまたはデジタルビデオカメラであってもよいし、撮像機能付の携帯電話等の携帯型情報端末であってもよい。また、本発明にかかる画像処理装置は、上述した医療用の内視鏡装置または顕微鏡装置に具備されるものに限らず、医療分野以外に用いる内視鏡装置または顕微鏡装置、デジタルカメラまたはデジタルビデオカメラ等の内視鏡装置または顕微鏡装置以外の撮像装置、あるいは撮像機能付の携帯電話等の携帯型情報端末のいずれかに具備されるものであってもよい。
さらに、上述した実施の形態1〜3では、処理プログラムを実行する制御部38の動作に基づいたソフトウェアによる画像処理装置の処理手順を説明したが、これに限らず、本発明にかかる画像処理装置は、ハードウェアによる処理手順を実行してもよい。
本発明の実施の形態1にかかる内視鏡装置の一構成例を模式的に示すブロック図である。 本発明の実施の形態1における回転フィルタの一構成例を示す模式図である。 実施の形態1における回転フィルタ内に含まれる白色光フィルタの分光特性の一例を示す模式図である。 実施の形態1における回転フィルタ内に含まれる励起光フィルタの分光特性の一例を示す模式図である。 実施の形態1における白色光撮像部の受光面に配置されるカラーフィルタ群の一構成例を示す模式図である。 実施の形態1におけるカラーフィルタ群の透過率特性の一例を示す模式図である。 バリアフィルタの透過率特性の一例を示す模式図である。 本発明の実施の形態1にかかる画像処理装置の均一画像生成部の一構成例を模式的に示すブロック図である。 本発明の実施の形態1にかかる画像処理装置の補正処理部の一構成例を模式的に示すブロック図である。 本発明の実施の形態1にかかる画像処理装置の処理手順を例示するフローチャートである。 観察部位内のコントラスト部位である血管における光吸収特性の一例を示す模式図である。 コントラスト部位である血管における光吸収特性の低い赤色成分の均一画像を生成する状態を説明する模式図である。 画像出力装置に観察部位の白色光画像および規格化蛍光画像をカラー表示する状態を示す模式図である。 規格化蛍光画像のカラー化処理に用いるトーンカーブの一例を示す模式図である。 本発明の実施の形態2にかかる内視鏡装置の一構成例を模式的に示すブロック図である。 本発明の実施の形態2における回転フィルタの一構成例を示す模式図である。 実施の形態2における回転フィルタ内に含まれる白色光フィルタの分光特性の一例を示す模式図である。 実施の形態2における回転フィルタ内に含まれる励起光フィルタの分光特性の一例を示す模式図である。 実施の形態2における白色光撮像部の受光面に配置されるカラーフィルタ群の一構成例を示す模式図である。 実施の形態2におけるカラーフィルタ群の透過率特性の一例を示す模式図である。 本発明の実施の形態2にかかる画像処理装置の均一画像生成部の一構成例を模式的に示すブロック図である。 観察部位の白色光画像を生成する際の赤外成分除去処理を説明する模式図である。 コントラスト部位である血管における光吸収特性の低い赤外成分の均一画像を生成する状態を説明する模式図である。 本発明の実施の形態3にかかる顕微鏡装置の一構成例を模式的に示すブロック図である。
1,2 内視鏡装置
3 顕微鏡装置
10,210 光源装置
11,211 白色光源
12 コリメートレンズ
13 集光レンズ
14,214 回転フィルタ
14a,214a 白色光フィルタ
14b 励起光フィルタ
15 モータ
16 フィルタ制御部
20 挿入部
21 ライトガイドファイバ
22 レンズ
23 対物レンズ
24 ダイクロイックミラー
25,225 カラーフィルタ群
26,226 白色光撮像部
27 バリアフィルタ
28 蛍光撮像部
30,230 画像処理装置
31 A/D変換部
32 白色光画像用バッファ
33 蛍光画像用バッファ
34,234 白色光画像生成部
35,235 均一画像生成部
35a,235a 信号抽出部
35b バッファ
35c,235c 補間処理部
36 補正処理部
36a クリップ処理部
36b 係数記憶部
36c オフセット処理部
36d 正規化処理部
36e 規格化処理部
36f カラー化処理部
37 出力部
38 制御部
40 入力装置
50 画像出力装置
100 観察部位
101 病変部
224 ハーフミラー
320 顕微鏡本体
321,324 反射ミラー
322 対物ステージ
323 対物レンズ
325,326 レンズ
Pf 規格化蛍光画像
Pr 均一画像
Pw 白色光画像
Sw 映像信号群

Claims (11)

  1. 分光特性の異なる複数のカラーフィルタを介して観察部位からの通常光を受光する通常光撮像部が撮像した前記観察部位の通常光画像の各映像信号を記憶する通常光画像記憶部と、
    励起光の照射によって前記観察部位から発生した蛍光を受光する蛍光撮像部が撮像した前記観察部位の蛍光画像の各映像信号を記憶する蛍光画像記憶部と、
    前記通常光画像記憶部に記憶された前記通常光画像の各映像信号の中から、前記複数のカラーフィルタのうちの前記観察部位内のコントラスト部位における光吸収特性の低い波長帯域の光を透過する特定カラーフィルタに対応する各映像信号を抽出し、この抽出した前記各映像信号をもとに、前記特定カラーフィルタに対応する波長帯域成分の均一画像を生成する均一画像生成部と、
    前記蛍光画像記憶部に記憶された前記蛍光画像の各映像信号を前記均一画像によって補正する補正処理部と、
    を備えたことを特徴とする画像処理装置。
  2. 前記複数のカラーフィルタは、赤色光を透過する赤色光フィルタと、緑色光を透過する緑色光フィルタと、青色光を透過する青色光フィルタと、を各々複数含み、
    前記特定カラーフィルタは、前記複数のカラーフィルタのうちの前記赤色光フィルタであることを特徴とする請求項1に記載の画像処理装置。
  3. 前記均一画像生成部は、
    前記通常光画像記憶部に記憶された前記通常光画像の各映像信号の中から、前記赤色光フィルタに対応する前記各映像信号を抽出する信号抽出部と、
    前記信号抽出部が抽出した前記各映像信号を補間処理して、前記赤色光フィルタに対応する波長帯域成分の前記均一画像を生成する補間処理部と、
    を備えたことを特徴とする請求項2に記載の画像処理装置。
  4. 前記複数のカラーフィルタは、赤色光を透過する赤色光フィルタと、緑色光を透過する緑色光フィルタと、青色光を透過する青色光フィルタと、赤外光を透過する赤外光フィルタと、を各々複数含み、
    前記特定カラーフィルタは、前記複数のカラーフィルタのうちの前記赤外光フィルタであることを特徴とする請求項1に記載の画像処理装置。
  5. 前記均一画像生成部は、
    前記通常光画像記憶部に記憶された前記通常光画像の各映像信号の中から、前記赤外光フィルタに対応する前記各映像信号を抽出する信号抽出部と、
    前記信号抽出部が抽出した前記各映像信号を補間処理して、前記赤外光フィルタに対応する波長帯域成分の前記均一画像を生成する補間処理部と、
    を備えたことを特徴とする請求項4に記載の画像処理装置。
  6. 前記補正処理部は、前記均一画像および前記蛍光画像の間の対応画素毎に前記均一画像の映像信号によって前記蛍光画像の映像信号を除算して、前記蛍光画像の輝度を規格化処理する規格化処理部を備えたことを特徴とする請求項1〜5のいずれか一つに記載の画像処理装置。
  7. 前記補正処理部は、前記均一画像の各映像信号に所定の値を一律に加算するオフセット処理を行うオフセット処理部を備え、前記オフセット処理済みの前記均一画像によって前記蛍光画像の各映像信号を補正することを特徴とする請求項1〜6のいずれか一つに記載の画像処理装置。
  8. 前記補正処理部は、前記均一画像の各映像信号の信号値と予め設定された映像信号の基準値とを比較し、前記各映像信号の信号値のうちの前記基準値に比して大きい信号値を前記基準値に置換するクリップ処理を行うクリップ処理部を備え、前記クリップ処理済みの前記均一画像によって前記蛍光画像の各映像信号を補正することを特徴とする請求項1〜7のいずれか一つに記載の画像処理装置。
  9. 通常光と励起光とを切り替えて観察部位に照射する光源部と、
    分光特性の異なる複数のカラーフィルタを有し、前記通常光を照射された前記観察部位からの通常光を前記複数のカラーフィルタを介して受光して前記観察部位の通常光画像を撮像する通常光撮像部と、
    前記励起光を照射された前記観察部位から発生した蛍光を受光して前記観察部位の蛍光画像を撮像する蛍光撮像部と、
    前記通常光撮像部が撮像した前記通常光画像の各映像信号の中から、前記複数のカラーフィルタのうちの前記観察部位内のコントラスト部位における光吸収特性の低い波長帯域の光を透過する特定カラーフィルタに対応する各映像信号を抽出し、この抽出した前記各映像信号をもとに、前記特定カラーフィルタに対応する波長帯域成分の均一画像を生成する均一画像生成部と、
    前記蛍光撮像部が撮像した前記蛍光画像の各映像信号を前記均一画像によって補正する補正処理部と、
    を備えたことを特徴とする撮像装置。
  10. 分光特性の異なる複数のカラーフィルタを介して観察部位からの通常光を受光する通常光撮像部が撮像した前記観察部位の通常光画像の各映像信号と、励起光の照射によって前記観察部位から発生した蛍光を受光する蛍光撮像部が撮像した前記観察部位の蛍光画像の各映像信号と、を取得する映像信号取得手順と、
    前記通常光画像の各映像信号の中から、前記複数のカラーフィルタのうちの前記観察部位内のコントラスト部位における光吸収特性の低い波長帯域の光を透過する特定カラーフィルタに対応する各映像信号を抽出し、この抽出した前記各映像信号をもとに、前記特定カラーフィルタに対応する波長帯域成分の均一画像を生成する均一画像生成手順と、
    前記蛍光画像の各映像信号を前記均一画像によって補正する補正手順と、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
  11. 分光特性の異なる複数のカラーフィルタを介して観察部位からの通常光を受光する通常光撮像部が撮像した前記観察部位の通常光画像の各映像信号と、励起光の照射によって前記観察部位から発生した蛍光を受光する蛍光撮像部が撮像した前記観察部位の蛍光画像の各映像信号と、を取得する映像信号取得ステップと、
    前記通常光画像の各映像信号の中から、前記複数のカラーフィルタのうちの前記観察部位内のコントラスト部位における光吸収特性の低い波長帯域の光を透過する特定カラーフィルタに対応する各映像信号を抽出し、この抽出した前記各映像信号をもとに、前記特定カラーフィルタに対応する波長帯域成分の均一画像を生成する均一画像生成ステップと、
    前記蛍光画像の各映像信号を前記均一画像によって補正する補正ステップと、
    を含むことを特徴とする画像処理方法。
JP2009077563A 2009-03-26 2009-03-26 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 Active JP5572326B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009077563A JP5572326B2 (ja) 2009-03-26 2009-03-26 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
US12/730,289 US8451328B2 (en) 2009-03-26 2010-03-24 Image processing device, imaging device, computer-readable device, and image processing method for processing a fluorescence image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009077563A JP5572326B2 (ja) 2009-03-26 2009-03-26 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法

Publications (2)

Publication Number Publication Date
JP2010227254A true JP2010227254A (ja) 2010-10-14
JP5572326B2 JP5572326B2 (ja) 2014-08-13

Family

ID=42783707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009077563A Active JP5572326B2 (ja) 2009-03-26 2009-03-26 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法

Country Status (2)

Country Link
US (1) US8451328B2 (ja)
JP (1) JP5572326B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014156493A1 (ja) * 2013-03-29 2014-10-02 オリンパス株式会社 蛍光観察装置
WO2016047240A1 (ja) * 2014-09-24 2016-03-31 ソニー株式会社 画像処理装置、撮像素子、撮像装置および画像処理方法
CN104507377B (zh) * 2012-08-01 2016-09-21 奥林巴斯株式会社 内窥镜装置
US10574910B2 (en) 2015-02-26 2020-02-25 Sony Semiconductor Solutions Corporation Method and apparatus for controlling a luminance composition unit
WO2023170886A1 (ja) * 2022-03-10 2023-09-14 オリンパス株式会社 画像信号処理装置、内視鏡システム、画像信号処理方法、及び画像信号処理プログラム

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5604248B2 (ja) * 2010-09-28 2014-10-08 富士フイルム株式会社 内視鏡画像表示装置
JP5714875B2 (ja) * 2010-11-26 2015-05-07 オリンパス株式会社 蛍光内視鏡装置
JP5334952B2 (ja) * 2010-12-16 2013-11-06 富士フイルム株式会社 画像処理装置
EP2604177B1 (en) * 2011-02-09 2016-04-20 Olympus Corporation Light source device
KR20120114895A (ko) * 2011-04-08 2012-10-17 삼성전자주식회사 내시경 장치 및 상기 내시경 장치의 영상 획득 방법
EP2638846B1 (en) * 2011-05-27 2016-03-02 Olympus Corporation Medical apparatus
EP2783193A4 (en) * 2011-11-03 2015-08-26 Verifood Ltd COST-EFFECTIVE SPECTROMETRIC SYSTEM FOR USER-EATING FOOD ANALYSIS
WO2013084566A1 (ja) * 2011-12-07 2013-06-13 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP6141196B2 (ja) * 2011-12-28 2017-06-07 オリンパス株式会社 蛍光観察装置
JP5906755B2 (ja) * 2012-01-23 2016-04-20 富士通株式会社 撮像装置、撮像方法、及びプログラム
RU2616653C2 (ru) 2012-06-05 2017-04-18 Хайпермед Имэджинг, Инк. Способы и устройство для соосного формирования изображения с множеством длин волн
DE102012212252A1 (de) * 2012-07-12 2014-01-16 Leica Microsystems (Schweiz) Ag Bildsensor und Kamera für ein Mikroskop
US20140267670A1 (en) * 2013-03-15 2014-09-18 Pooncharas Tipgunlakant Mobile microscopy device and method therefor
US9503624B2 (en) * 2013-03-20 2016-11-22 Electronics And Telecommunications Research Institute Optical imaging system using multiple light sources and driving control method thereof
US9407838B2 (en) 2013-04-23 2016-08-02 Cedars-Sinai Medical Center Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
US9655519B2 (en) 2014-03-21 2017-05-23 Hypermed Imaging, Inc. Systems and methods for performing an imaging test under constrained conditions
CN110174170A (zh) 2014-03-21 2019-08-27 海佩尔梅德影像有限公司 紧凑型光传感器
US9674493B2 (en) * 2014-03-24 2017-06-06 Omnivision Technologies, Inc. Color image sensor with metal mesh to detect infrared light
US9848110B2 (en) * 2014-08-18 2017-12-19 Gadget Support LLC Inspection scope devices and methods for mobile electronic devices
DE112015006176T5 (de) * 2015-03-19 2017-10-26 Olympus Corporation Endoskopvorrichtung
KR20160114474A (ko) * 2015-03-24 2016-10-05 (주)실리콘화일 4-컬러 이미지 센서, 4-컬러 이미지 센서의 제조방법 및 이에 따른 4-컬러 이미지 센서
JP2017131559A (ja) * 2016-01-29 2017-08-03 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置、医療用画像取得システム及び内視鏡装置
WO2017201093A1 (en) 2016-05-17 2017-11-23 Hypermed Imaging, Inc. Hyperspectral imager coupled with indicator molecule tracking
US11216941B2 (en) * 2016-11-04 2022-01-04 Sony Corporation Medical image processing apparatus, medical image processing method, and program
WO2018100732A1 (ja) 2016-12-02 2018-06-07 オリンパス株式会社 内視鏡用画像処理装置
JP6467746B1 (ja) * 2018-04-20 2019-02-13 パナソニックIpマネジメント株式会社 内視鏡システムおよび内視鏡システムの作動方法
CN108095701B (zh) * 2018-04-25 2018-07-20 上海凯利泰医疗科技股份有限公司 图像处理系统、荧光内窥镜照明成像装置及成像方法
CN110796977B (zh) * 2018-08-01 2023-05-16 宏碁股份有限公司 具光学无线通信功能的显示装置
EP3667299B1 (en) * 2018-12-13 2022-11-09 Imec VZW Multimodal imaging system
CN110136106B (zh) * 2019-05-06 2022-12-27 腾讯医疗健康(深圳)有限公司 医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统
US20230066301A1 (en) * 2020-03-19 2023-03-02 Sony Olympus Medical Solutions Inc. Medical observation system, control device, and control method
US11599999B2 (en) 2021-02-03 2023-03-07 Verily Life Sciences Llc Apparatus, system, and method for fluorescence imaging with stray light reduction
WO2022238991A1 (en) * 2021-05-10 2022-11-17 Given Imaging Ltd. In vivo device and a combined imager therefor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003036436A (ja) * 2001-04-27 2003-02-07 Fuji Photo Film Co Ltd 規格化画像生成方法および装置
JP2004024497A (ja) * 2002-06-25 2004-01-29 Fuji Photo Film Co Ltd 蛍光診断画像生成装置
JP2006122560A (ja) * 2004-11-01 2006-05-18 Fuji Photo Film Co Ltd 体液蛍光スペクトル取得装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3664541B2 (ja) 1996-04-30 2005-06-29 富士写真フイルム株式会社 蛍光診断装置
JP2002336187A (ja) 2001-05-18 2002-11-26 Fuji Photo Film Co Ltd 規格化蛍光画像生成方法および装置
JP5114024B2 (ja) * 2005-08-31 2013-01-09 オリンパス株式会社 光イメージング装置
JP5278854B2 (ja) * 2007-12-10 2013-09-04 富士フイルム株式会社 画像処理システムおよびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003036436A (ja) * 2001-04-27 2003-02-07 Fuji Photo Film Co Ltd 規格化画像生成方法および装置
JP2004024497A (ja) * 2002-06-25 2004-01-29 Fuji Photo Film Co Ltd 蛍光診断画像生成装置
JP2006122560A (ja) * 2004-11-01 2006-05-18 Fuji Photo Film Co Ltd 体液蛍光スペクトル取得装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104507377B (zh) * 2012-08-01 2016-09-21 奥林巴斯株式会社 内窥镜装置
WO2014156493A1 (ja) * 2013-03-29 2014-10-02 オリンパス株式会社 蛍光観察装置
US10219701B2 (en) 2013-03-29 2019-03-05 Olympus Corporation Fluorescence observation apparatus
WO2016047240A1 (ja) * 2014-09-24 2016-03-31 ソニー株式会社 画像処理装置、撮像素子、撮像装置および画像処理方法
US10594996B2 (en) 2014-09-24 2020-03-17 Sony Semiconductor Solutions Corporation Image processing apparatus, image pickup device, image pickup apparatus, and image processing method
US10574910B2 (en) 2015-02-26 2020-02-25 Sony Semiconductor Solutions Corporation Method and apparatus for controlling a luminance composition unit
WO2023170886A1 (ja) * 2022-03-10 2023-09-14 オリンパス株式会社 画像信号処理装置、内視鏡システム、画像信号処理方法、及び画像信号処理プログラム

Also Published As

Publication number Publication date
US20100245616A1 (en) 2010-09-30
US8451328B2 (en) 2013-05-28
JP5572326B2 (ja) 2014-08-13

Similar Documents

Publication Publication Date Title
JP5572326B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP5396121B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理装置の作動方法
JP5449816B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
JP5389612B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP4554944B2 (ja) 内視鏡装置
JP5331904B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP5654511B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5757891B2 (ja) 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム
US20120241620A1 (en) Optical control device, control device, and optical scope
JP2010172673A (ja) 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP5358368B2 (ja) 内視鏡システム
US20140316195A1 (en) Endoscope system, processor device of endoscope system, and image processing method
JP5844230B2 (ja) 内視鏡システム及びその作動方法
JP6259747B2 (ja) プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
JP5308884B2 (ja) 内視鏡用プロセッサ装置、およびその作動方法
JP2012170640A (ja) 内視鏡システム、および粘膜表層の毛細血管の強調画像表示方法
JP5948203B2 (ja) 内視鏡システム及びその作動方法
CN116869461B (zh) 内窥镜系统、内窥镜图像的处理方法、设备及存储介质
JP5631757B2 (ja) 電子内視鏡システム
JP2011098089A (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び信号分離方法
JP6243311B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP6396717B2 (ja) 感度調整方法および撮像装置
JP5856943B2 (ja) 撮像システム
JP2002045328A (ja) 蛍光診断画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140630

R151 Written notification of patent or utility model registration

Ref document number: 5572326

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250