JP2013056040A - 蛍光観察装置 - Google Patents

蛍光観察装置 Download PDF

Info

Publication number
JP2013056040A
JP2013056040A JP2011196217A JP2011196217A JP2013056040A JP 2013056040 A JP2013056040 A JP 2013056040A JP 2011196217 A JP2011196217 A JP 2011196217A JP 2011196217 A JP2011196217 A JP 2011196217A JP 2013056040 A JP2013056040 A JP 2013056040A
Authority
JP
Japan
Prior art keywords
coefficient
unit
input
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011196217A
Other languages
English (en)
Other versions
JP6005918B2 (ja
Inventor
Yasunari Ishihara
康成 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011196217A priority Critical patent/JP6005918B2/ja
Priority to CN201280042932.1A priority patent/CN103764009B/zh
Priority to EP12830529.9A priority patent/EP2754380B1/en
Priority to PCT/JP2012/068586 priority patent/WO2013035450A1/ja
Publication of JP2013056040A publication Critical patent/JP2013056040A/ja
Priority to US14/197,614 priority patent/US9417188B2/en
Application granted granted Critical
Publication of JP6005918B2 publication Critical patent/JP6005918B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】補正誤差を低減して被写体の定量的な情報を取得する。
【解決手段】光源10と、励起光が照射された被写体Fの蛍光画像G1を取得する蛍光画像生成部41と、照明光が照射された被写体Fの白色光画像G2を取得する白色光画像生成部42と、これらの画像G1,G2により補正蛍光画像G3を生成する画像補正部43と、画像G3全体の階調値の平均値およびその第1係数と、画像G3の階調値の標準偏差およびその第2係数に基づいて閾値を設定する閾値設定部45と、その閾値を超える階調値を有する画像G3上の領域を注目領域と判定して抽出する抽出部47と、その注目領域と画像G2とを対応づけて表示するモニタ50と、抽出部47による判定の正否を観察者に入力させる入力部53とを備え、閾値設定部45が、入力部53により入力された入力結果を反映させるように第1係数および第2係数の少なくとも一方を設定する蛍光観察装置100を提供する。
【選択図】図1

Description

本発明は、蛍光観察装置に関するものである。
従来、観察対象の反射光画像と蛍光画像とを取得し、反射光画像により蛍光画像を除算することで、観察距離や観察角度による蛍光画像の明るさの変動を補正する蛍光観察装置が知られている(例えば、特許文献1、特許文献2および特許文献3参照。)。
特開昭62−247332号公報 特公平3−58729号公報 特開2006−175052号公報
しかしながら、蛍光と反射光とでは、撮像される明るさにおける観察距離に対する依存性や観察角度に対する依存性が異なるため、従来のように、蛍光画像を反射光画像で除算をしただけでは、観察距離と観察角度の影響を補正しきれず、一定の誤差が生じてしまうという問題がある。そして、癌と正常部とを区別する閾値を設定したとしても、観察条件が変化するとその閾値が適切ではなくなり、癌の部分が表示されなかったり正常部が明るく表示されてしまったりすることも起こりうるという不都合がある。
本発明は、このような事情に鑑みてなされたものであって、観察距離と観察角度の影響に対する補正誤差を低減し、被写体の定量的な情報を取得することができる蛍光観察装置を提供することを目的としている。
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、被写体に励起光および参照光を照射する照明部と、該照明部からの前記励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光画像取得部と、前記照明部からの前記参照光の照射により前記被写体から戻る戻り光を撮影し参照画像を取得する参照画像取得部と、該参照画像取得部により取得された前記参照画像を用いて、前記蛍光画像取得部により取得された前記蛍光画像を補正し補正蛍光画像を生成する補正蛍光画像生成部と、該補正蛍光画像生成部により生成された前記補正蛍光画像全体の階調値の平均値、該階調値の標準偏差、前記補正蛍光画像全体の階調値の平均値の重み付けに係る第1係数、および、前記階調値の標準偏差の重み付けに係る第2係数に基づいて階調値閾値を設定する閾値設定部と、該閾値設定部により設定された前記階調値閾値を超える階調値を有する前記補正蛍光画像上の領域を注目領域と判定して抽出する抽出部と、該抽出部により抽出された前記注目領域と前記参照画像とを対応づけて表示する表示部と、該表示部に表示された前記注目領域に対する前記抽出部による前記判定の正否について観察者に入力させる正否入力部とを備え、前記閾値設定部が、前記正否入力部により入力された入力結果を反映させるように前記第1係数および前記第2係数の少なくとも一方を設定する蛍光観察装置を提供する。
本発明によれば、照明部から発せられた励起光が被写体に照射されると、蛍光画像取得部により被写体において発生した蛍光の蛍光画像が取得される。また、照明部から励起光とともに発せられた参照光が被写体に照射されると、参照画像取得部によりその戻り光の参照画像が取得される。そして、補正蛍光画像生成部において、同一の被写体に対する蛍光画像が参照画像で補正されることにより、観察距離や観察角度に依存する蛍光強度変化を軽減した補正蛍光画像が生成される。
生成された補正蛍光画像の内、抽出部により注目領域と判定されて抽出された階調値閾値を超える階調値を有する領域が、表示部により参照画像と対応づけられて表示されることにより、観察者は蛍光の強い領域と対応づけて被写体の形状を観察することができる。
この状態で、表示された画像を見た観察者が、抽出部による注目領域の判定が正しいか否かの入力を正否入力部により入力すると、閾値設定部により、その入力結果が反映されるように設定された第1係数および第2係数の少なくとも一方が設定される。そして、補正蛍光画像全体の階調値の平均値とその階調値の標準偏差、設定した第1係数および第2係数の少なくとも一方に基づいて新たな階調値閾値が設定される。これにより、観察者の判定結果を利用して、注目領域を抽出するための階調値閾値を補正蛍光画像ごとに設定し、観察距離と観察角度の影響に対する補正誤差を低減した被写体の定量的な情報を取得することができる。
上記発明においては、前記補正蛍光画像生成部が、前記蛍光画像を前記参照画像で除算することとしてもよい。
このように構成することで、簡易な演算処理により定量性の高い補正蛍光画像を生成することができる。
また、上記発明においては、前記閾値設定部が、前記正否入力部により前記判定が正しいと入力されたときは、前記第1係数または前記第2係数の一方を固定値とし、他方を維持するかまたは小さくすることとしてもよい。
抽出部による注目領域の判定が正しいと観察者により入力された場合において、注目領域の階調値と階調値閾値との差が十分に大きいときは、その階調値閾値が適当である。したがって、この場合は第1係数および第2係数の一方を固定するとともに他方も維持する、すなわち、階調値閾値を維持することで、次の注目領域の抽出時にも必要な注目領域が見落とされることなく抽出される可能性が高い。
一方、注目領域の階調値と階調値閾値との差が僅かなときは、その階調値閾値よりも低い階調値を有する領域についても、以降の抽出においては注目領域として抽出されるべきであるとする可能性がある。したがって、この場合は第1係数および第2係数の一方を固定し他方を小さくして階調値閾値を下げることで、次の注目領域の抽出時には、現在の階調値閾値よりも低い階調値を有する領域も注目領域として抽出し、必要な注目領域が見落されてしまうのを防止することができる。
また、上記発明においては、前記閾値設定部は、前記注目領域の階調値が、前記階調値閾値よりも所定の割合だけ高い上位階調値閾値を上回っているときは前記他方を維持し、該上位階調値閾値を下回っているときは前記他方を小さくすることとしてもよい。
このように構成することで、上位階調値閾値により、階調値閾値の所定の割合の範囲で他方の係数を維持するか小さくするかを場合分けすることができる。したがって、階調値閾値の所定の割合を適当に選ぶことで、観察することが必要な注目領域の見落としを防止しつつ、効率的に注目領域を抽出することができる。
また、上記発明においては、前記閾値設定部が、前記正否入力部により前記判定が誤りであると入力されたときは、前記第1係数および前記第2係数の一方を固定値とし、他方を大きくすることとしてもよい。
抽出部による注目領域の判定が間違っていると観察者により入力されたときは、その注目領域を抽出した階調値閾値以下の階調値を有する領域については、以降の抽出においても注目領域として抽出されるべきであるとする可能性が低い。この場合は、第1係数および第2係数の一方を固定し他方を大きくして階調値閾値を上げることで、観察する必要のない領域が注目領域として誤って抽出されてしまうのを抑制し、正しい注目領域を効率よく抽出することができる。
また、上記発明においては、前記閾値設定部が、下式によって前記階調値閾値を算出することとしてもよい。
S0=a×m+b×σ
ここで、
S0:階調値閾値
a:第1係数
b:第2係数
m:補正蛍光画像全体の階調値の平均値
σ:補正蛍光画像全体の階調値の標準偏差
である。
また、上記発明においては、前記抽出部が前記抽出領域の階調値の平均値を算出するとともに、前記閾値設定部が前記抽出領域の階調値の平均値に基づいて第3係数を算出し、前記抽出部により前記注目領域が抽出され、前記入力部によりその注目領域に対する観察者の判定が入力されたときに、その判定結果と前記第3係数とを対応づけて記憶する記憶部を備え、前記閾値設定部が、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の平均値よりも所定の割合だけ低い下位係数と、現在の前記第1係数との低い方を新たな第1係数とすることとしてもよい。
このように構成することで、最新の判定結果のみならず、過去における判定結果をも反映した第1係数により新たな階調値閾値を設定することができる。この場合において、抽出領域の階調値の平均値に基づいて算出された過去の第3係数の平均値よりも所定の割合だけ低い下位係数と現在の第1係数との低い方を新たな第1係数とすることにより、病変の疑いがある領域をより精度よく抽出することができる。
また、上記発明においては、前記抽出部が前記抽出領域の階調値の平均値を算出するとともに、前記閾値設定部が前記抽出領域の階調値の平均値に基づいて第3係数を算出し、前記抽出部により前記注目領域が抽出され、前記入力部によりその注目領域に対する観察者の判定が入力されたときに、その判定結果と前記第3係数とを対応づけて記憶する記憶部を備え、前記閾値設定部が、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の平均値よりも所定の割合だけ低い下位係数と、現在の前記第2係数との低い方を新たな第2係数とすることとしてもよい。
このように構成することで、過去における判定結果をも反映した第2係数により新たな階調値閾値を設定し、病変の疑いがある領域をより精度よく抽出することができる。
また、上記発明においては、前記抽出部が前記抽出領域の階調値の平均値を算出するとともに、前記閾値設定部が前記抽出領域の階調値の平均値に基づいて第3係数を算出し、前記抽出部により前記注目領域が抽出され、前記入力部によりその注目領域に対する観察者の判定が入力されたときに、その判定結果と前記第3係数とを対応づけて記憶する記憶部を備え、前記閾値設定部が、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の標準偏差を算出するとともに、算出した前記第3係数の標準偏差を前記記憶部に記憶されている過去の前記第3係数の平均値から減算した下位係数と、現在の第1係数の低い方を新たな第1係数とすることとしてもよい。
このように構成することで、被験者間のバラツキ、同一被験者における経過時間的なバラツキ、観察者による判定入力のバラツキを加味して第1係数を更新し、より適切に階調値閾値を設定することができる。
また、上記発明においては、前記抽出部が前記抽出領域の階調値の平均値を算出するとともに、前記閾値設定部が前記抽出領域の階調値の平均値に基づいて第3係数を算出し、前記抽出部により前記注目領域が抽出され、前記入力部によりその注目領域に対する観察者の判定が入力されたときに、その判定結果と前記第3係数とを対応づけて記憶する記憶部を備え、前記閾値設定部が、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の標準偏差を算出するとともに、算出した前記第3係数の標準偏差を前記記憶部に記憶されている過去の前記第3係数の平均値から減算した下位係数と、現在の前記第2係数との低い方を新たな第2係数とすることとしてもよい。
このように構成することで、被験者間のバラツキ、同一被験者における経過時間的なバラツキ、観察者による判定入力のバラツキを加味して第2係数を更新することができる。
また、上記発明においては、前記閾値設定部が、前記正否入力部により前記抽出部による前記判定が誤りであると入力されたときは、その入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の平均値を新たな第1係数とすることとしてもよい。
このように構成することで、抽出部による判定が誤りであったときは、過去に誤りであると判定された際の第3係数の平均値により決まる第1係数により新たな階調値閾値が設定される。したがって、観察する必要のない領域が注目領域として抽出されてしまう無駄を防止し、効率的に注目領域を抽出することができる。
また、上記発明においては、前記閾値設定部が、前記正否入力部により前記抽出部による前記判定が誤りであると入力されたときは、その入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の平均値を新たな第2係数とすることとしてもよい。
このように構成することで、抽出部による判定が誤りであったときに、過去に誤りであると判定された際の第3係数の平均値により決まる第2係数により新たな階調値閾値を設定し、効率的に注目領域を抽出することができる。
また、上記発明においては、前記閾値設定部が、下式によって前記第3係数を算出することとしてもよい。
a0=(m0−b×σ)/m
ここで、
a0:第3係数
m0:抽出領域の階調値の平均値
b:第2係数
σ:補正蛍光画像全体の階調値の標準偏差
m:補正蛍光画像全体の階調値の平均値
である。
また、上記発明においては、前記閾値設定部が、下式によって前記第3係数を算出することとしてもよい。
b0=(m0−a×m)/σ
ここで、
b0:第3係数
m0:抽出領域の階調値の平均値
a:第1係数
m:補正蛍光画像全体の階調値の平均値
σ:補正蛍光画像全体の階調値の標準偏差
である。
また、上記発明においては、前記表示部が、前記注目領域と前記参照光画像とを重畳させて表示することとしてもよい。
このように構成することで、注目領域と参照光画像との対応関係を観察者が一目で把握し、注目領域のみならず、その周辺も観察することができる。したがって、観察者がより詳細な情報を得ることができ、抽出部による判定結果の正否をより正確に判定することができる。
上記発明においては、前記抽出部が、前記閾値を越える階調値を有する領域のうち、該領域の画素数が画素数閾値を超える範囲を前記注目領域として抽出することとしてもよい。
このようにすることで、階調値は高いが面積は小さい領域(ノイズ等)が注目領域として抽出されてしまうことを防止することができる。これにより、ノイズによる誤抽出を抑制し、注目領域を効率よく抽出することができる。
また、上記発明においては、前記注目領域の階調値と過去の判定結果に関する情報とを対応づけて保存する保存部を備え、前記表示部が、前記注目領域ごとに、その注目領域の階調値に対応する過去の判定結果に関する情報を前記保存部から読み出して表示することとしてもよい。
このようにすることで、注目領域が抽出されたときは、過去の判定結果に関する情報が表示部に表示されるので、観察者が抽出部による判定結果の正否を判定するときに、表示された過去の判定結果を参考にすることができる。その結果、観察者により正確な判定を行うことができる。
本発明によれば、観察距離と観察角度の影響に対する補正誤差を低減し、被写体の定量的な情報を取得することができるという効果を奏する。
本発明の第1実施形態に係る蛍光観察装置の概略構成図である。 閾値の設定について示すフローチャートである。 標準偏差の係数の設定について示すフローチャートである。 図1の蛍光観察装置のモニタに表示される重畳画像と抽出部による抽出の正否を促す選択の一例を示す図である。 本発明の第1実施形態の変形例に係る蛍光観察装置における標準偏差の係数の設定について示すフローチャートである。 本発明の第2実施形態に係る蛍光観察装置の概略構成図である。 図6の蛍光観察装置の保存部に記憶されるデータを説明する図である。 本発明の第2実施形態に係る蛍光観察装置により設定される係数の変化を示す図である。
〔第1実施形態〕
以下、本発明の第1実施形態に係る蛍光観察装置について、図面を参照して説明する。
本実施形態に係る蛍光観察装置100は、図1に示すように、体内に挿入される細長い挿入部2と、励起光および照明光を発する光源(照明部)10と、光源10からの励起光および照明光を挿入部2の先端2aから被写体Fに向けて照射する照明ユニット(照明部)20と、挿入部2の先端部に配置され、被写体Fである生体組織の画像情報を取得する撮像ユニット30と、撮像ユニット30により取得された画像情報を処理する画像処理部40と、画像処理部40により処理された画像等を表示するモニタ(表示部)50と、観察者が入力を行う入力部(正否入力部)53とを備えている。
光源10は、照明光を発するキセノンランプ11と、キセノンランプ11から発せられた光から励起光および白色光(参照光)を切り出す励起光フィルタ13と、励起光フィルタ13により切り出された励起光および白色光を集光するカップリングレンズ15とを備えている。励起光フィルタ13は、例えば、波長帯域が400〜740nmの励起光および白色光を切り出すようになっている。
照明ユニット20は、挿入部2の長手方向のほぼ全長にわたって配置されたライトガイドファイバ21と、挿入部2の先端2aに配置された照明光学系23とを備えている。
ライトガイドファイバ21は、カップリングレンズ15によって集光された励起光および白色光を挿入部2の先端2aに導光するようになっている。
照明光学系23は、ライトガイドファイバ21により導光されてきた励起光および白色光を拡散させて被写体Fに照射するようになっている。
撮像ユニット30は、照明ユニット20により励起光および白色光が照射された被写体Fから戻る戻り光を集光する対物レンズ31と、対物レンズ31により集光された戻り光を波長ごとに分岐するダイクロイックミラー33とを備えている。
対物レンズ31は、挿入部2の先端2aに照明光学系23と並列して配置されている。
ダイクロイックミラー33は、戻り光のうち、励起波長以上の光(励起光および蛍光)を反射し、励起波長より短い波長の白色光(戻り光)を透過するようになっている。
また、この撮像ユニット30には、ダイクロイックミラー33により反射された励起光および蛍光のうち、励起光を遮断し蛍光(例えば、近赤外蛍光)のみを透過させる励起光カットフィルタ35と、励起光カットフィルタ35を透過した蛍光を集光する集光レンズ37Aと、集光レンズ37Aにより集光された蛍光を撮影する蛍光撮影部38と、ダイクロイックミラー33を透過した白色光を集光する集光レンズ37Bと、集光レンズ37Bにより集光された白色光を撮影する白色光撮影部39とが備えられている。
励起光カットフィルタ35は、例えば、波長帯域760〜850nmの蛍光のみを透過するようになっている。
蛍光撮影部38は、例えば、蛍光用の高感度モノクロCCDである。この蛍光撮影部38は、蛍光を撮影することにより蛍光画像情報を取得するようになっている。
白色光撮影部39は、例えば、白色光用のカラーCCDであり、モザイクフィルタ(図示略)を備えている。この白色光撮影部39は、白色光を撮影することにより白色光画像情報を取得するようになっている。
画像処理部40は、蛍光撮影部38により取得された蛍光画像情報から蛍光画像G1を生成する蛍光画像生成部(蛍光画像取得部)41と、白色光撮影部39により取得された白色光画像情報から白色光画像G2を生成する白色光画像生成部(参照画像取得部)42と、蛍光画像G1を白色光画像G2により補正し補正蛍光画像G3を生成する画像補正部(補正蛍光画像生成部)43と、補正蛍光画像G3における階調値の閾値(階調値閾値)S0を設定する閾値設定部45と、補正蛍光画像G3から閾値設定部45により設定された閾値S0以上の階調値を有する領域を注目領域として抽出する抽出部47と、抽出部47により抽出された注目領域と白色光画像G2を重畳させた重畳画像G4を生成する画像合成部49とを備えている。
画像補正部43は、同一の被写体Fの蛍光画像G1を白色光画像G2で除算することにより蛍光画像G1を補正するようになっている。これにより、蛍光画像G1における観察距離や観察角度等に依存する蛍光強度変化を軽減した補正蛍光画像G3が生成される。また、画像補正部43は、生成した補正蛍光画像G3を抽出部47および閾値設定部45に送るとともに、白色光画像G2および補正蛍光画像G3を抽出部47を介して画像合成部49に送るようになっている。
抽出部47は、抽出した領域の面積(画素数)Pを測定し、面積Pが一定の大きさ以上ある場合、すなわち、予め設定してある画素数閾値P0よりも面積Pが大きい場合にその領域を注目領域と判定するようになっている。閾値S0以上の階調値を有し、かつ、その画素数が画素数閾値P0を越える注目領域の抽出は、最初に階調値によって抽出された領域の中から画素数の多い領域を抽出してもよいし、最初に画素数によって抽出された領域の中から階調値の高い領域を抽出してもよい。
抽出部47は、抽出した注目領域の情報を、閾値設定部45および画像合成部49に送るようになっている。また、抽出部47は、抽出した注目領域内の各画素の階調値の平均値(以下、「注目領域の平均階調値」という。)m0を算出し、閾値設定部45に入力するようになっている。
画像合成部49は、画像補正部43により生成された補正蛍光画像G3の内、抽出部47により抽出された注目領域以外のバックグラウンドを除去したものを白色光画像G2と重畳することにより、重畳画像G4を生成するようになっている。画像合成部49は、生成した重畳画像G4をモニタ50に送るようになっている。
モニタ50は、画像合成部49により生成された重畳画像G4を表示するようになっている。また、モニタ50には、表示した重畳画像G4の内の抽出部47により抽出された注目領域が、病変の疑いのある領域として正しいか否かの判定の入力を医師等の観察者に促す選択が表示されるようになっている。入力を促す選択の表示としては、例えば、「注目領域は病変の疑いがあるか(Y/N)?」等が挙げられる。
観察者は、モニタ7に表示された重畳画像G4を目視確認して、補正蛍光画像G3に表示された観察部位の形状や色等の形態的特徴、あるいは、注目領域の大きさや明るさ等から、注目領域が病変の疑いのある領域であるか否かを判定し、入力部53により判定結果を入力するようになっている。
入力部53は、例えば、キーボードやマウス等の任意の入力装置である。
入力部53により入力された観察者による判定結果は、閾値設定部45に入力されるようになっている。
閾値設定部45は、以下の式(1),(2)により、補正蛍光画像G3における各画素の階調値の平均値(補正蛍光画像G3全体の階調値の平均。以下、「補正蛍光画像G3全体の平均階調値」という。)mと、補正蛍光画像G3における各画素の階調値の標準偏差(補正蛍光画像G3全体の階調値の標準偏差。以下、「補正蛍光画像G3全体の標準偏差」という。)σとを算出するようになっている。
Figure 2013056040
Figure 2013056040
また、閾値設定部45は、以下の式(3)に示されるように、補正蛍光画像G3全体の平均階調値mと標準偏差σとの和に基づいて、閾値S0を設定するようになっている。
S0=a×m+b×σ・・・(3)
式(3)において、
a:係数(第1係数)
b:係数(第2係数)
である。
また、閾値設定部45は、入力部53により入力された入力結果を反映させるように係数(第1係数)aおよび係数(第2係数)bを設定し、新たな閾値S0として設定するようになっている。
具体的には、観察者により、「注目領域は病変の疑いがある(Y)。」、すなわち、「抽出部47により注目領域を抽出するための閾値は正しい。」と判定された場合(以下、「Y判定」とする。)は、閾値設定部45は、抽出部47から入力された注目領域の平均階調値m0が、閾値S0よりも所定の割合だけ高い上位閾値(上位階調値閾値)を下回っているか否かを判定するようになっている。
そして、閾値設定部45は、注目領域の平均階調値m0が上位閾値を下回っているときは係数a,bの値を小さくし、注目領域の平均階調値m0が上位閾値を上回っているときは係数a,bの値を維持するようになっている。
以下、本実施形態においては、係数a=1に固定し、係数bを随時更新していくこととする。
例えば、上位閾値を1.1×S0とする。
m0<1.1×S0のときは、係数bを0.9×bに更新するようになっている。
また、m0≧1.1×S0のときは、係数bの値を維持するようになっている。
一方、観察者により、「注目領域は病変の疑いがない(N)。」、すなわち、「抽出部23による注目領域を抽出するための閾値S0は誤りである。」と判定された場合(以下、「N判定」とする。)は、閾値設定部45は、係数bの値を大きくするようになっている。
例えば、係数bを1.1×bに更新するようになっている。
閾値設定部45により設定された閾値S0は抽出部47に入力され、抽出部47に新たな閾値S0として設定されるようになっている。これにより、新たな補正蛍光画像G3が生成されると、新たな閾値S0により注目領域が抽出されるようになっている。また、同様の手順を繰り返し、閾値設定部45により、補正蛍光画像G3ごとに閾値S0が設定されるようになっている。
このように構成された本実施形態に係る蛍光観察装置100の作用について説明する。
本実施形態に係る蛍光観察装置100を用いて、被写体Fである患者の体内の生体組織を観察するには、患者の体内に挿入部2を挿入し、その先端2aを被写体Fに対向させる。そして、光源10を作動させて励起光および照明光を発生させ、カップリングレンズ15によりライトガイドファイバ21に入射させる。ライトガイドファイバ21により導光されて挿入部2の先端2aに達した励起光および照明光は、照明光学系23により拡散されて被写体Fに照射される。
被写体Fにおいては、内部に含まれている蛍光物質が励起光により励起されることにより蛍光が発せられるとともに、被写体Fの表面において励起光の一部および白色光が反射させられる。これら蛍光、白色光および励起光は、被写体Fから挿入部2の先端2aに戻り、その一部が対物レンズ31により集光される。
対物レンズ31により集光された蛍光、白色光および励起光、ダイクロイックミラー33により波長ごとに分岐される。すなわち、ダイクロイックミラー33において、励起波長以上の光である励起光および蛍光が反射され、励起波長より短い波長の白色光が透過する。
ダイクロイックミラー33により反射された励起光および蛍光の内、励起光カットフィルタ35により励起光は除去され、蛍光のみが集光レンズ37Aにより集光されて蛍光撮影部38により撮影される。これにより、蛍光撮影部38において被写体Fの蛍光画像情報が取得される。
また、ダイクロイックミラー33を透過した白色光は、集光レンズ37Bによって集光され、白色光撮影部39により撮影される。これにより、白色光撮影部39において被写体Fの白色光画像情報が取得される。
なお、蛍光画像情報と白色光画像情報は、どちらを先に取得してもよいし同時に取得してもよい。
蛍光撮影部38により取得された蛍光画像情報および白色光撮影部39により取得された白色光画像情報は、それぞれ画像処理部40に送られる。画像処理部40においては、蛍光画像情報が蛍光画像生成部41に入力されて蛍光画像G1が生成され、白色光画像情報が白色光画像生成部42に入力されて白色光画像G2が生成される。
光画像生成部41により生成された蛍光画像G1および白色光画像生成部42により生成された白色光画像G2は画像補正部43に送られ、蛍光画像G1が白色光画像G2で除算されることにより補正蛍光画像G3が生成される。生成された補正蛍光画像G3は、画像補正部43から抽出部47および閾値設定部45に送られる。また、白色光画像G2および補正蛍光画像G3が画像補正部43から抽出部47を介して画像合成部49に送られる。
以下、閾値設定部45による閾値の設定について、図2に示すフローチャートを参照して説明する。
閾値設定部45は、画像補正部43から送られてきた補正蛍光画像G3を取得すると(ステップSA1)、補正蛍光画像G3全体の平均階調値mと標準偏差σを算出する(ステップSA2)。
そして、閾値設定部45により、算出された補正蛍光画像G3全体の平均階調値mと標準偏差σとが用いられ、式(3)により閾値S0が算出されて設定される(ステップSA3)。設定された閾値S0は、抽出部47に入力される。
本実施形態においては、上述した式(3)の係数aがa=1に予め設定されている。また、1枚目の補正蛍光画像G3における式(3)の係数bはb=1とし、2枚目以降の補正蛍光画像G3における式(3)の係数bが図3のフローチャートに示されるようにして随時更新される。
まず、抽出部47により、補正蛍光画像G3における最初の閾値S0以上の階調値を持つ領域が抽出される(ステップSB1)。
また、抽出部47により、抽出した領域の面積(画素数)Pが測定され(ステップSB2)、面積Pが閾値P0よりも大きいか否かが判定される(ステップSB3)。
面積Pが閾値P0よりも小さいときは(ステップSB3「NO」)、ステップSB1に戻る。これにより、階調値は高いが面積は小さい領域(ノイズ等)が注目領域として抽出されてしまうことを防止することができる。したがって、ノイズによる誤抽出を抑制し、注目領域を効率よく抽出することができる。
一方、面積Pが閾値P0よりも大きいときは(ステップSB3「YES」)、抽出部47により、抽出した領域が注目領域として判定され、閾値設定部45および画像合成部49に注目領域の情報が送られる。また、抽出部47により、注目領域の平均階調値m0が算出され、閾値設定部45に送られる(ステップSB4)。
次いで、画像合成部49により、補正蛍光画像G3の内、注目領域以外のバックグラウンドを除去したものが白色光画像G2と重畳され(ステップSB5)、重畳画像G4が生成される。そして、重畳画像G4がモニタ50に送られ、図4に示すように、重畳画像G4と観察者による入力を促す選択がモニタ50に同時に表示される。
注目領域と白色光画像G2とを重畳させてモニタ50により表示することで、注目領域と白色光画像G2との対応関係を観察者が一目で把握し、注目領域のみならず、その周辺も観察することができる。したがって、観察者がより詳細な情報を得ることができ、抽出部47による判定結果の正否をより正確に判定することができる。
観察者は、モニタ50に表示された重畳画像G4を観察しながら、表示された注目領域が病変の疑いがあるか否かを判定し、判定結果を入力部53に入力する(ステップSB6)。つまり、抽出部47により抽出された注目領域の判定が正しかったのか否かが、観察者による入力によって確認される。そして、入力部53により入力された判定結果は閾値設定部45に入力される。
観察者による判定結果が入力部53により入力されると、閾値設定部45は、その入力結果を反映させるように係数bを更新する。
具体的には、入力部53に入力された判定がY判定である場合は(ステップSB7「YES」)、閾値設定部45により、注目領域の平均階調値m0と、現在の閾値S0よりも所定の割合だけ高い上位閾値(1.1×S0)とが用いられて、m0<1.1×S0を満たすか否かが判定される(ステップSB8)。
m0<1.1×S0を満たすときは、閾値設定部45において、係数bが0.9×bに更新され(ステップSB9)、新たな係数bとして設定される(ステップSB11)。
注目領域の平均階調値m0と閾値S0との差が僅かなときは、その閾値S0よりも低い階調値を有する領域についても、以降の抽出においては注目領域として抽出されるべきであるとする可能性がある。したがって、m0<1.1×S0を満たすときは係数bを小さくして閾値S0を下げることで、次の注目領域の抽出時には、現在の閾値S0よりも低い階調値を有する領域も注目領域として抽出し、必要な注目領域が見落されてしまうのを防止することができる。
つまり、更新前の高い閾値S0で抽出された注目領域に病変の疑いが有るため、閾値S0を下げることで、抽出部47による次回の抽出において、さらに低い階調値の病変の疑いのある領域を抽出することができ、見落しを防止して診断の精度を向上することができる。
また、m0≧1.1×S0のときは、閾値設定部45において、係数bの値がそのまま維持される(ステップSB11)。
注目領域の平均階調値m0と閾値S0との差が十分に大きいときは、その閾値S0が適当であり、次の注目領域の抽出時にも必要な注目領域が見落とされることなく抽出される可能性が高い。
このように、上位閾値(本実施形態においては、1.1×S0。)を設定することで、閾値S0の所定の割合(本実施形態においては、0.1。)の範囲で係数bを維持するか小さくするかを場合分けすることができる。したがって、上位閾値を設定する閾値S0の所定の割合を適当に選ぶことで、観察することが必要な注目領域の見落としを防止しつつ、効率的に注目領域を抽出することができる。
一方、入力部53に入力された判定がN判定である場合は(ステップSB7「NO」)、係数bが1.1×bに更新され(ステップSB10)、新たな係数bとして設定される(ステップSB11)。
注目領域を抽出した閾値S0以下の階調値を有する領域については、以降の抽出においても注目領域として抽出されるべきであるとする可能性が低い。つまり、更新前の低い閾値S0で抽出された領域は病変の疑いが無いため、閾値S0を上げることで、抽出部23による次回の抽出において、病変の疑いのない領域が注目領域として誤って抽出されてしまう無駄を省いて、効率的に診断することができる。
以上説明したように、本実施形態に係る蛍光観察装置100によれば、観察者の判定結果を利用して、注目領域を抽出するための閾値S0を決める標準偏差σの係数bを補正蛍光画像G3ごとに更新し、補正蛍光画像G3ごとに閾値S0が設定される。これにより、観察距離と観察角度の影響に対する補正誤差を低減した被写体の定量的な情報を取得することができる。
ここで、注目領域の平均階調値m0が、以下の式(4)により算出されるとする。
m0=a×m+b0×σ・・・(4)
式(4)において、
b0:係数(第3係数)
である。
また、式(4)により、係数b0は以下の式(5)によって算出される。
b0=(m0−a×m)/σ・・・(5)
そこで、本実施形態においては、入力部53により入力された判定結果がY判定である場合に、m0<1.1×S0が満たされると係数bを0.9×bに更新することとしたが、これに代えて、m0<1.1×S0が満たされると、以下の式(6)を用いて係数bを更新することとしてもよい。すなわち、図5に示されるフローチャートのステップSC8のように、0.9×b0とbとを比較し、小さい方の値を新たな係数として設定することとしてもよい。
MIN(0.9×b0、b)・・・(6)
また、本実施形態においては、係数a=1を例示して説明したが、観察状況に応じて係数aの値を変更すればよい。また、本実施形態においては、係数aの値を固定し係数bの値を更新することとしたが、同様の方法により、係数aの値を更新し係数bの値を固定にすることとしてもよいし、係数aの値と係数bの値の両方を更新することとしてもよい。さらに、本実施形態においては、補正蛍光画像G3全体の平均階調値mと標準偏差σとの和に基づいて閾値S0を設定することとしたが、補正蛍光画像G3全体の平均階調値mと標準偏差σのいずれか一方を用いて閾値S0を設定することとしてもよい。
〔第2実施形態〕
次に、本発明の第2実施形態に係る蛍光観察装置について説明する。
本実施形態に係る蛍光観察装置200は、図6に示すように、画像処理部40が記憶部55を備え、過去の係数a,bの平均値とそのときの判定入力結果とに応じて閾値S0を設定する点で第1実施形態と異なる。
以下、第1実施形態に係る蛍光観察装置100と構成を共通する箇所には、同一符号を付して説明を省略する。
以下、本実施形態においては、係数a=1に固定し、係数bを随時更新していくこととする。
記憶部55は、抽出部47により注目領域が抽出され、入力部53によりその注目領域に対する観察者の判定が入力されたときに、注目領域の平均階調値m0、閾値S0、補正蛍光画像G3の平均階調値mと標準偏差σ、係数a,b、および、係数b0をセットにして、その判定結果と対応づけて記憶するようになっている。例えば、記憶部55には、これらの値が図7に示すようなデータとして記憶されていることとする。
閾値設定部45は、新たな注目領域に対する観察者による判定が入力されたときは、その入力された判定結果に対応して記憶部55に記憶されている過去の係数b0を全て読み出し、以下のように係数bを更新するようになっている。
例えば、観察者により、Y判定が入力された場合は、閾値設定部45は、記憶部55から読み出した過去の全てのY判定時における係数b0の平均値AVE_Y(b0)を算出し、平均値AVE_Y(b0)に対して、式(7)を用いて係数bを更新するようになっている。
具体的には、閾値設定部45は、算出した係数b0の平均値AVE_Y(b0)よりも所定の割合だけ低い下位係数である0.9×AVE_Y(b0)の値と、現在の係数bの値とを比較し、小さい方の値を新たな係数bとして設定するようになっている。
MIN(0.9×AVE_Y(b0)、b)・・・(7)
式(7)において
AVE_Y(b0):過去のY判定時の係数b0の平均値
である。
一方、観察者により、N判定が入力された場合は、閾値設定部45は、記憶部55から読み出した過去の全てのN判定時における係数b0の平均値AVE_N(b0)を算出し、平均値AVE_N(b0)の値を新たな係数bとして設定するようになっている。
これにより、閾値S0は図8に示されるように変化する。
本実施形態に係る蛍光観察装置200によれば、最新の判定結果のみならず、過去における判定結果をも反映した係数bにより新たな閾値S0を設定することができる。この場合において、記憶部55に記憶されている過去の係数b0の平均値AVE_Y(b0)よりも所定の割合だけ低い下位係数0.9×AVE_Y(b0)の値と現在の係数bの値の低い方を新たな係数bとすることにより、病変の疑いがある領域をより精度よく抽出することができる。
また、抽出部47による判定が誤りであったときは、過去に誤りであると判定された際の係数b0の平均値AVE_N(b0)により新たな閾値S0を設定することで、観察する必要のない領域が注目領域として抽出されてしまう無駄を防止し、効率的に注目領域を抽出することができる。
本実施形態は以下のように変形することができる。
例えば、第1変形例としては、閾値設定部45が、入力された判定結果に対応して記憶部55に記憶されている過去のすべてのY判定時における係数b0の標準偏差SD(b0)を算出することとしてもよい。そして、算出した過去の係数b0の標準偏差SD(b0)を、過去のすべてのY判定時における係数b0の平均値AVE_Y(b0)から減算し、その減算後の下位係数であるAVE_Y(b0)−SD(b0)の値と現在の係数bの値の低い方を新たな係数bとすることしてもよい。
このようにすることで、被験者間のバラツキ、同一被験者における経過時間的なバラツキ、観察者による判定入力のバラツキを加味して係数bを更新し、より適切に閾値S0を設定することができる。
また、例えば、感度(病変を見落とさないこと)を重視する場合は、Y判定時の新しい閾値S0をMIN(AVE_Y(b0)−3×SD(b0)、b)として設定することとしてもよい。また、特異度(病変以外の部分を抽出しないこと)を重視する場合は、Y判定時の新しい閾値S0をMIN(AVE_Y(b0)−1×SD(b0)、b)として設定してもよい。
このように、SD(b0)の係数(本変形例においては係数3、係数1。)は任意に変更することにより、検査の目的に応じた適切な閾値S0を設定することができるという利点がある。
また、第2変形例としては、画像処理部40が、抽出部47により算出された注目領域の平均階調値m0と、入力部8により入力された過去の判定結果に関する情報とを受け取り、これらを対応づけて保存する保存部(図示略)を備えることとしてもよい。また、モニタ50が、注目領域ごとに、その平均階調値m0に対応する過去の判定結果に関する情報を保存部から読み出して表示することとしてもよい。
このようにすることで、観察者が抽出部による判定結果の正否を判定するときに、モニタ50により表示された過去の判定結果を参考にすることができる。その結果、観察者により正確な判定を行うことができる。
上記実施形態においては、係数a=1を例示して説明したが、観察状況に応じて係数aの値を変更すればよい。この場合は、第3係数として、係数b0に代えて、式(8)に基づいて係数a0を算出し係数aの値を変更すればよい。
a0=(m0−b×σ)/m・・・(8)
式(8)において、
a0:係数(第3係数)
である。
また、上記実施形態においては、係数aの値を固定し係数bの値を更新することとしたが、同様の方法により、係数aの値を更新し係数bの値を固定にすることとしてもよいし、係数aの値と係数bの値の両方を更新することとしてもよい。また、過去のすべてのY判定時における係数a0の標準偏差SD(a0)を算出し、下位係数であるAVE_Y(a0)−SD(a0)の値と現在の係数aの値の低い方を新たな係数aとしてもよい。さらに、補正蛍光画像G3全体の平均階調値mと標準偏差σのいずれか一方を用いて閾値S0を設定することとしてもよい。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記各実施形態および変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。
また、上記各実施形態においては、画像合成部49によって補正蛍光画像G3の注目領域と白色光画像G2とを重畳してモニタ50に表示させることとしたが、補正蛍光画像G3と白色光画像G2とを並列にモニタ50に表示させてもよい。このとき、注目領域を輪郭表示するなどして補正蛍光画像G3上に表示することとしてもよい。このようにすることで、閾値S0によって切り取られた注目領域のみを表示することに比べ、より詳細な情報を観察者に提供することができ、より正確に判定させることができる。
また、上記各実施形態においては、抽出部47が、異なる2以上の閾値以上となる領域をそれぞれ抽出し、表示方法を異ならせてモニタ50に表示してもよい。例えば、抽出部47は、注目領域の平均階調値m0が閾値S0を超える領域と、例えば、閾値S0の80%の値を超える領域とを抽出してもよい。
また、上記各実施形態においては、抽出部47において注目領域の平均階調値m0を算出することとしたが、他の値を求めることにしてもよい。例えば、注目領域内で最も階調値が低い最低階調値を用いてもよいし、注目領域内で最も高い最高階調値を求めることにしてもよい。
また、抽出部47により抽出された注目領域が同一画面上に複数存在する場合には、画像合成部49において、どの注目領域に対して正否判定を入力させるのかが観察者にわかるように、判定させようとする注目領域の表示のみを他の注目領域とは異ならせた重畳画像G4を生成することとしてもよい。他の注目領域と区別するためには、例えば、判定させようとする注目領域の表示のみを点滅させ、他の注目領域を点灯させるような重畳画像G4を生成することとしてもよい。
また、この場合に、複数の注目領域について、その判定の順序を決定して、決定された順序に従って、判定させようとする注目領域の表示のみを点滅させていくこととしてもよい。また、一旦判定が入力された注目領域については、重複した判定入力を防止するために、判定済みであることがわかるような表示、例えば、色を変えることなどにより表示することとしてもよい。
10 光源(照明部)
20 照明ユニット(照明部)
41 蛍光画像生成部(蛍光画像取得部)
42 白色光画像生成部(参照画像取得部)
43 画像補正部(補正蛍光画像生成部)
45 閾値設定部
47 抽出部
50 モニタ(表示部)
53 入力部(正否入力部)
55 記憶部
100,200 蛍光観察装置
a 係数(第1係数)
b 係数(第1係数)
b0 係数(第3係数)
m0 抽出領域の階調値の平均値
S0 閾値(階調値閾値)

Claims (17)

  1. 被写体に励起光および参照光を照射する照明部と、
    該照明部からの前記励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光画像取得部と、
    前記照明部からの前記参照光の照射により前記被写体から戻る戻り光を撮影し参照画像を取得する参照画像取得部と、
    該参照画像取得部により取得された前記参照画像を用いて、前記蛍光画像取得部により取得された前記蛍光画像を補正し補正蛍光画像を生成する補正蛍光画像生成部と、
    該補正蛍光画像生成部により生成された前記補正蛍光画像全体の階調値の平均値、該階調値の標準偏差、前記補正蛍光画像全体の階調値の平均値の重み付けに係る第1係数、および、前記階調値の標準偏差の重み付けに係る第2係数に基づいて階調値閾値を設定する閾値設定部と、
    該閾値設定部により設定された前記階調値閾値を超える階調値を有する前記補正蛍光画像上の領域を注目領域と判定して抽出する抽出部と、
    該抽出部により抽出された前記注目領域と前記参照画像とを対応づけて表示する表示部と、
    該表示部に表示された前記注目領域に対する前記抽出部による前記判定の正否について観察者に入力させる正否入力部とを備え、
    前記閾値設定部が、前記正否入力部により入力された入力結果を反映させるように前記第1係数および前記第2係数の少なくとも一方を設定する蛍光観察装置。
  2. 前記補正蛍光画像生成部が、前記蛍光画像を前記参照画像で除算する請求項1に記載の蛍光観察装置。
  3. 前記閾値設定部が、前記正否入力部により前記判定が正しいと入力されたときは、前記第1係数または前記第2係数の一方を固定値とし、他方を維持するかまたは小さくする請求項1または請求項2に記載の蛍光観察装置。
  4. 前記閾値設定部は、前記注目領域の階調値が、前記階調値閾値よりも所定の割合だけ高い上位階調値閾値を上回っているときは前記他方を維持し、該上位階調値閾値を下回っているときは前記他方を小さくする請求項3に記載の蛍光観察装置。
  5. 前記閾値設定部が、前記正否入力部により前記判定が誤りであると入力されたときは、前記第1係数および前記第2係数の一方を固定値とし、他方を大きくする請求項1から請求項4のいずれかに記載の蛍光観察装置。
  6. 前記閾値設定部が、下式によって前記階調値閾値を算出する請求項1から請求項5のいずれかに記載の蛍光観察装置。
    S0=a×m+b×σ
    ここで、
    S0:階調値閾値
    a:第1係数
    b:第2係数
    m:補正蛍光画像全体の階調値の平均値
    σ:補正蛍光画像全体の階調値の標準偏差
    である。
  7. 前記抽出部が前記抽出領域の階調値の平均値を算出するとともに、前記閾値設定部が前記抽出領域の階調値の平均値に基づいて第3係数を算出し、
    前記抽出部により前記注目領域が抽出され、前記入力部によりその注目領域に対する観察者の判定が入力されたときに、その判定結果と前記第3係数とを対応づけて記憶する記憶部を備え、
    前記閾値設定部が、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の平均値よりも所定の割合だけ低い下位係数と、現在の前記第1係数との低い方を新たな第1係数とする請求項1から請求項6のいずれかに記載の蛍光観察装置。
  8. 前記抽出部が前記抽出領域の階調値の平均値を算出するとともに、前記閾値設定部が前記抽出領域の階調値の平均値に基づいて第3係数を算出し、
    前記抽出部により前記注目領域が抽出され、前記入力部によりその注目領域に対する観察者の判定が入力されたときに、その判定結果と前記第3係数とを対応づけて記憶する記憶部を備え、
    前記閾値設定部が、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の平均値よりも所定の割合だけ低い下位係数と、現在の前記第2係数との低い方を新たな第2係数とする請求項1から請求項6のいずれかに記載の蛍光観察装置。
  9. 前記抽出部が前記抽出領域の階調値の平均値を算出するとともに、前記閾値設定部が前記抽出領域の階調値の平均値に基づいて第3係数を算出し、
    前記抽出部により前記注目領域が抽出され、前記入力部によりその注目領域に対する観察者の判定が入力されたときに、その判定結果と前記第3係数とを対応づけて記憶する記憶部を備え、
    前記閾値設定部が、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の標準偏差を算出するとともに、算出した前記第3係数の標準偏差を前記記憶部に記憶されている過去の前記第3係数の平均値から減算した下位係数と、現在の第1係数の低い方を新たな第1係数とする請求項1から請求項6のいずれかに記載の蛍光観察装置。
  10. 前記抽出部が前記抽出領域の階調値の平均値を算出するとともに、前記閾値設定部が前記抽出領域の階調値の平均値に基づいて第3係数を算出し、
    前記抽出部により前記注目領域が抽出され、前記入力部によりその注目領域に対する観察者の判定が入力されたときに、その判定結果と前記第3係数とを対応づけて記憶する記憶部を備え、
    前記閾値設定部が、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の標準偏差を算出するとともに、算出した前記第3係数の標準偏差を前記記憶部に記憶されている過去の前記第3係数の平均値から減算した下位係数と、現在の前記第2係数との低い方を新たな第2係数とする請求項1から請求項6のいずれかに記載の蛍光観察装置。
  11. 前記閾値設定部が、前記正否入力部により前記抽出部による前記判定が誤りであると入力されたときは、その入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の平均値を新たな第1係数とする請求項7または請求項9に記載の蛍光観察装置。
  12. 前記閾値設定部が、前記正否入力部により前記抽出部による前記判定が誤りであると入力されたときは、その入力された判定結果に対応して前記記憶部に記憶されている過去の前記第3係数の平均値を新たな第2係数とする請求項8または請求項10に記載の蛍光観察装置。
  13. 前記閾値設定部が、下式によって前記第3係数を算出する請求項7、請求項9および請求項11のいずれかに記載の蛍光観察装置。
    a0=(m0−b×σ)/m
    ここで、
    a0:第3係数
    m0:抽出領域の階調値の平均値
    b:第2係数
    σ:補正蛍光画像全体の階調値の標準偏差
    m:補正蛍光画像全体の階調値の平均値
    である。
  14. 前記閾値設定部が、下式によって前記第3係数を算出する請求項8、請求項10および請求項12のいずれかに記載の蛍光観察装置。
    b0=(m0−a×m)/σ
    ここで、
    b0:第3係数
    m0:抽出領域の階調値の平均値
    a:第1係数
    m:補正蛍光画像全体の階調値の平均値
    σ:補正蛍光画像全体の階調値の標準偏差
    である。
  15. 前記表示部が、前記注目領域と前記参照光画像とを重畳させて表示する請求項1から請求項14のいずれかに記載の蛍光観察装置。
  16. 前記抽出部が、前記階調値閾値を越える階調値を有する領域のうち、該領域の画素数が画素数閾値を超える範囲を前記注目領域として抽出する請求項1から請求項15のいずれかに記載の蛍光観察装置。
  17. 前記注目領域の階調値と過去の判定結果に関する情報とを対応づけて保存する保存部を備え、
    前記表示部が、前記注目領域ごとに、その注目領域の階調値に対応する過去の判定結果に関する情報を前記保存部から読み出して表示する請求項1から請求項16のいずれかに記載の蛍光観察装置。
JP2011196217A 2011-09-08 2011-09-08 蛍光観察装置 Expired - Fee Related JP6005918B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011196217A JP6005918B2 (ja) 2011-09-08 2011-09-08 蛍光観察装置
CN201280042932.1A CN103764009B (zh) 2011-09-08 2012-07-23 荧光观察装置
EP12830529.9A EP2754380B1 (en) 2011-09-08 2012-07-23 Fluorescence observation device
PCT/JP2012/068586 WO2013035450A1 (ja) 2011-09-08 2012-07-23 蛍光観察装置
US14/197,614 US9417188B2 (en) 2011-09-08 2014-03-05 Fluorescence observation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011196217A JP6005918B2 (ja) 2011-09-08 2011-09-08 蛍光観察装置

Publications (2)

Publication Number Publication Date
JP2013056040A true JP2013056040A (ja) 2013-03-28
JP6005918B2 JP6005918B2 (ja) 2016-10-12

Family

ID=47831902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011196217A Expired - Fee Related JP6005918B2 (ja) 2011-09-08 2011-09-08 蛍光観察装置

Country Status (5)

Country Link
US (1) US9417188B2 (ja)
EP (1) EP2754380B1 (ja)
JP (1) JP6005918B2 (ja)
CN (1) CN103764009B (ja)
WO (1) WO2013035450A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2015025640A1 (ja) * 2013-08-23 2017-03-02 オリンパス株式会社 蛍光観察装置
WO2019078237A1 (ja) * 2017-10-18 2019-04-25 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
WO2019198808A1 (ja) * 2018-04-13 2019-10-17 学校法人昭和大学 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム
JPWO2018158817A1 (ja) * 2017-02-28 2019-12-19 日本電気株式会社 画像診断装置、画像診断方法、及びプログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6030035B2 (ja) 2013-09-27 2016-11-24 富士フイルム株式会社 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法
KR20160047313A (ko) * 2014-10-22 2016-05-02 삼성전자주식회사 디바이스 제어 방법 및 그 디바이스
JP6110887B2 (ja) * 2015-03-17 2017-04-05 浜松ホトニクス株式会社 重畳画像生成装置及び重畳画像生成装置の作動方法
KR102468133B1 (ko) * 2016-02-29 2022-11-18 엘지전자 주식회사 발 정맥 인증 장치
WO2019008942A1 (ja) * 2017-07-03 2019-01-10 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置
KR101882281B1 (ko) * 2017-09-15 2018-08-24 엘지전자 주식회사 디지털 디바이스 및 그의 생체 인증 방법
KR101882282B1 (ko) * 2017-09-22 2018-08-24 엘지전자 주식회사 디지털 디바이스 및 그의 생체 인증 방법
WO2019231042A1 (ko) * 2018-06-01 2019-12-05 엘지전자 주식회사 생체 인증 장치
JP7445201B2 (ja) * 2019-01-11 2024-03-07 オムロン株式会社 光学計測装置及び光学計測方法
CN110610496B (zh) * 2019-04-24 2023-09-26 广东工业大学 一种对光照变化鲁棒的荧光胶缺陷分割方法
US11730340B2 (en) * 2019-05-01 2023-08-22 Karl Storz Imaging, Inc. Video display system having an adaptive overlay
TWI797785B (zh) * 2021-10-20 2023-04-01 茂達電子股份有限公司 提升平均器效果的方法
CN115719415B (zh) * 2022-03-28 2023-11-10 南京诺源医疗器械有限公司 一种视野可调双视频融合成像方法及系统
WO2023244661A1 (en) * 2022-06-16 2023-12-21 Intuitive Surgical Operations, Inc. Non-visible-spectrum light image-based operations for visible-spectrum images

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0528261A (ja) * 1991-07-15 1993-02-05 Toshiba Corp Mri用画像処理装置
JPH07129751A (ja) * 1993-10-29 1995-05-19 Hitachi Medical Corp 医用画像処理装置
JP2002345739A (ja) * 2001-05-25 2002-12-03 Fuji Photo Film Co Ltd 画像表示装置
JP2006043196A (ja) * 2004-08-05 2006-02-16 Pentax Corp 電子内視鏡システム及び電子内視鏡用プロセッサ
JP2009226065A (ja) * 2008-03-24 2009-10-08 Olympus Corp カプセル型医療装置とその作動方法およびカプセル型医療装置システム
WO2011099363A1 (ja) * 2010-02-10 2011-08-18 オリンパス株式会社 蛍光内視鏡装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62247232A (ja) 1986-04-21 1987-10-28 Agency Of Ind Science & Technol 蛍光測定装置
JPS63252134A (ja) 1987-04-10 1988-10-19 工業技術院長 螢光検出を利用したがん診断装置
JPS62247332A (ja) 1987-04-17 1987-10-28 Canon Inc カラ−液晶表示セルの製造法
DE60109989T2 (de) * 2000-06-26 2006-02-23 Fuji Photo Film Co. Ltd., Minamiashigara Vorrichtung zur Aufnahme von Fluoreszenzbildern
JP2003010101A (ja) * 2001-04-27 2003-01-14 Fuji Photo Film Co Ltd 内視鏡装置の撮像方法および装置
US7256392B2 (en) * 2003-03-03 2007-08-14 Fujifilm Corporation Inspection method of radiation imaging system and medical image processing apparatus using the same, and phantom for use of inspection of radiation imaging system
JP2006175052A (ja) 2004-12-22 2006-07-06 Fuji Photo Film Co Ltd 蛍光画像撮像装置
JP5074044B2 (ja) * 2007-01-18 2012-11-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
JP5407015B2 (ja) * 2008-07-10 2014-02-05 国立大学法人徳島大学 画像処理装置、画像処理方法、コンピュータ実行可能な画像処理プログラム、及び顕微鏡システム
JP5396121B2 (ja) * 2009-03-26 2014-01-22 オリンパス株式会社 画像処理装置、撮像装置、画像処理プログラムおよび画像処理装置の作動方法
JP5449816B2 (ja) * 2009-03-26 2014-03-19 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
JP5690327B2 (ja) * 2010-03-09 2015-03-25 オリンパス株式会社 蛍光内視鏡装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0528261A (ja) * 1991-07-15 1993-02-05 Toshiba Corp Mri用画像処理装置
JPH07129751A (ja) * 1993-10-29 1995-05-19 Hitachi Medical Corp 医用画像処理装置
JP2002345739A (ja) * 2001-05-25 2002-12-03 Fuji Photo Film Co Ltd 画像表示装置
JP2006043196A (ja) * 2004-08-05 2006-02-16 Pentax Corp 電子内視鏡システム及び電子内視鏡用プロセッサ
JP2009226065A (ja) * 2008-03-24 2009-10-08 Olympus Corp カプセル型医療装置とその作動方法およびカプセル型医療装置システム
WO2011099363A1 (ja) * 2010-02-10 2011-08-18 オリンパス株式会社 蛍光内視鏡装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2015025640A1 (ja) * 2013-08-23 2017-03-02 オリンパス株式会社 蛍光観察装置
JPWO2018158817A1 (ja) * 2017-02-28 2019-12-19 日本電気株式会社 画像診断装置、画像診断方法、及びプログラム
US11120554B2 (en) 2017-02-28 2021-09-14 Nec Corporation Image diagnosis apparatus, image diagnosis method, and program
WO2019078237A1 (ja) * 2017-10-18 2019-04-25 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JPWO2019078237A1 (ja) * 2017-10-18 2020-10-22 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
US11426054B2 (en) 2017-10-18 2022-08-30 Fujifilm Corporation Medical image processing system, endoscope system, diagnosis support apparatus, and medical service support apparatus
WO2019198808A1 (ja) * 2018-04-13 2019-10-17 学校法人昭和大学 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム

Also Published As

Publication number Publication date
US9417188B2 (en) 2016-08-16
EP2754380A1 (en) 2014-07-16
CN103764009B (zh) 2016-08-17
EP2754380A4 (en) 2015-02-25
EP2754380B1 (en) 2017-08-30
CN103764009A (zh) 2014-04-30
WO2013035450A1 (ja) 2013-03-14
US20140184790A1 (en) 2014-07-03
JP6005918B2 (ja) 2016-10-12

Similar Documents

Publication Publication Date Title
JP6005918B2 (ja) 蛍光観察装置
JP5802440B2 (ja) 蛍光観察装置
CN110325100B (zh) 内窥镜系统及其操作方法
JP5816486B2 (ja) 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法
JP5449816B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
JP5690327B2 (ja) 蛍光内視鏡装置
JP6053673B2 (ja) 蛍光観察装置とその画像表示方法
JP6461797B2 (ja) 蛍光観察装置
JP6057890B2 (ja) 蛍光観察装置
JP5984681B2 (ja) 蛍光観察装置
JP6391562B2 (ja) 蛍光観察装置
JP5558178B2 (ja) 蛍光観察装置
JP2010227253A (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JPWO2011099363A1 (ja) 蛍光内視鏡装置
JP5506443B2 (ja) 蛍光観察装置
JP2010220894A (ja) 蛍光観察システム、蛍光観察装置および蛍光観察方法
JP5555002B2 (ja) 蛍光内視鏡装置
JP5393215B2 (ja) 蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法
JP5498282B2 (ja) 蛍光観察装置
JP5592715B2 (ja) 画像処理装置および画像処理方法
JP2020171599A (ja) 画像生成装置、コンピュータプログラム及び画像生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160908

R151 Written notification of patent or utility model registration

Ref document number: 6005918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees