JP2012249804A - 蛍光観察装置 - Google Patents

Abstract

【課題】蛍光試薬の種類や、個体差、病変部位の違いに応じて、蛍光物質が多く存在する領域を抽出する確率を上げる。
【解決手段】被写体Ｆに対し、励起光および照明光を照射する照明部３と、励起光の照射により前記被写体Ｆにおいて発生した蛍光を撮影し蛍光画像を取得する蛍光撮像部１８と、照明光の照射により前記被写体Ｆから戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部１９と、蛍光画像から階調値閾値を超える階調値を有する領域を注目領域と判定して抽出する抽出部２３と、該抽出部２３により抽出された注目領域と戻り光画像とを対応づけて表示する表示部７と、表示部７に表示された注目領域に対する判定の正否について観察者に入力させる正否入力部８と、該正否入力部８により入力された入力結果を反映させるように前記階調値閾値を更新する閾値更新部２６とを備える蛍光観察装置１を提供する。
【選択図】図１

Description

本発明は、蛍光観察装置に関するものである。

従来、観察対象の反射光画像と蛍光画像とを取得し、蛍光画像の信号強度が所定の設定レベルを超えている場合に、警告信号を出し、病変等の見落としを防止する蛍光内視鏡装置が知られている。

特開２００６−１９１９８９号公報

しかしながら、特許文献１の蛍光内視鏡装置は、固定の閾値によって病変部を抽出するので、蛍光試薬の種類や、個体差、病変部位の違いにより、病変部を抽出しきれないという不都合がある。

本発明は、このような事情に鑑みてなされたものであって、蛍光試薬の種類や、個体差、病変部位の違いに関わらず、必要な注目領域をより確実に抽出することができる蛍光観察装置を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、被写体に対し、励起光および照明光を照射する照明部と、該照明部からの励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光撮像部と、前記照明部からの照明光の照射により前記被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、前記蛍光画像から階調値閾値を超える階調値を有する領域を注目領域と判定して抽出する抽出部と、該抽出部により抽出された前記注目領域と前記戻り光画像とを対応づけて表示する表示部と、該表示部に表示された前記注目領域に対する前記判定の正否について観察者に入力させる正否入力部と、該正否入力部により入力された入力結果を反映させるように前記階調値閾値を更新する閾値更新部とを備える蛍光観察装置を提供する。

本発明によれば、照明部から発せられた励起光が被写体に照射されると、被写体内に含まれる蛍光物質が励起されて発生した蛍光が蛍光撮像部によって撮影され、蛍光画像が取得される。また、照明部から発せられた照明光が被写体に照射されると、被写体から戻る戻り光が戻り光撮像部によって撮影され、戻り光画像が取得される。
そして、取得された蛍光画像の内、階調値閾値を超える階調値を有する領域が抽出部により注目領域と判定されて抽出され、表示部により戻り光画像と対応づけて表示される。これにより、観察者は、蛍光の強い領域と対応づけて被写体の形状を観察することができる。

この状態で、正否入力部により、表示された画像を見た観察者に、抽出部による注目領域の判定が正しいか否かの入力が促される。
観察者が正否入力部により判定の正否を入力すると、その入力結果が反映されるように閾値更新部により階調値閾値が更新される。
これにより、観察者の判定結果を利用して、注目領域を抽出するための階調値閾値が修正され、蛍光試薬の種類や、個体差、病変部位の違いに関わらず、必要な注目領域をより確実に抽出することができる。

上記発明においては、前記閾値更新部が、前記正否入力部により、記判定が正しいと入力されたときは前記階調値閾値を低下させるよう更新してもよい。
抽出部による注目領域の判定が、観察者により正しい判定であると入力されたときは、その注目領域を抽出した階調値閾値より低い階調値を有する領域についても、以降の抽出においては注目領域として抽出されるべきであるとする可能性がある。したがって、この場合には、階調値閾値を低下させるように更新することで、次の抽出時には、現在の階調値閾値より低い階調値を有する領域についても注目領域として抽出することができ、必要な注目領域が見落されてしまうのを防止できる。

また、上記発明においては、前記閾値更新部が、前記正否入力部により、前記判定が誤りであると入力されたときは前記階調値閾値を増大させるよう更新してもよい。
抽出部による注目領域の判定が、観察者により間違った判定であると入力されたときは、その注目領域を抽出した階調値閾値以下の階調値を有する領域については、以降の抽出においても注目領域として抽出されるべきであるとする可能性は低い。この場合には、階調値閾値を増大させるように更新することで、観察する必要のない領域が、注目領域として誤って抽出されてしまうのを抑制することができる。
したがって、蛍光試薬の種類や、個体差、病変部位の違いがあっても、観察者の入力結果を反映させて、観察状況に合わせて適正な階調値閾値に更新していくことができ、正しい注目領域を効率よく抽出することができる。

上記発明においては、前記閾値更新部は、前記正否入力部により前記抽出部による前記判定が正しいと入力されたときには、前記注目領域の階調値より所定のマージンだけ低い下位階調値が前記階調値閾値を下回っている場合に、前記下位階調値を新たな階調値閾値とするよう更新してもよい。
このようにすることで、注目領域として判定された領域の階調値よりも所定のマージンだけ低い階調値を有する領域も、次回注目領域として抽出されることとなり、マージンを適当に選ぶことで、観察することが必要な注目領域の見落としを防止しつつ効率的に注目領域を抽出することができる。

また、上記発明においては、前記抽出部により前記注目領域が抽出され、該注目領域に対する観察者による判定が入力されたときに、該注目領域の階調値と判定結果とを対応づけて記憶する階調値記憶部を備え、前記閾値更新部は、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、その入力された判定結果に対応して前記階調値記憶部に記憶されている過去の階調値の平均値を算出するとともに、算出された平均値より設定されたマージンだけ低い下位階調値が前記階調値閾値を下回っている場合に、前記下位階調値を新たな階調値閾値とするよう更新してもよい。
このようにすることで、最新の判定結果のみならず、過去における判定結果をも反映して閾値を更新することができ、病変の疑いがある領域をより精度よく抽出することができる。

また、上記発明においは、前記閾値更新部が、前記平均値を算出した過去の階調値の標準偏差を算出し、算出された標準偏差に基づいて前記マージンを設定してもよい。
このようにすることで、観察者による判定入力のバラツキを加味して閾値Ｓ０を更新することができる。

また、上記発明においては、前記閾値更新部が、前記正否入力部により、前記判定が誤りであると入力されたときは前記階調値閾値を増大させるよう更新してもよい。
このようにすることで、抽出部による注目領域の判定が、観察者により間違った判定であると入力されたときは、その注目領域を抽出した階調値閾値以下の階調値を有する領域については、以降の抽出においても注目領域として抽出されるべきであるとする可能性は低い。この場合には、階調値閾値を増大させるように更新することで、観察する必要のない領域が、注目領域として誤って抽出されてしまうのを抑制することができる。
これにより、蛍光試薬の種類や、個体差、病変部位の違いがあっても、観察者の入力結果を反映させて、観察状況に合わせて適正な階調値閾値に更新していくことができ、正しい注目領域を効率よく抽出することができる。

また、上記発明においては、前記閾値更新部は、前記正否入力部により前記抽出部による前記判定が誤りであると入力されたときには、前記階調値閾値と前記注目領域の階調値との平均値を新たな階調値閾値とするよう更新してもよい。
このようにすることで、抽出部による判定が誤りであったときは、階調値閾値と注目領域の階調値との平均値まで新たな階調値閾値が引き上げられ、観察する必要のない領域が注目領域として抽出されてしまう無駄を防止して効率的に注目領域を抽出することができる。

また、上記発明においては、前記閾値更新部は、前記正否入力部により前記抽出部による前記判定が誤りであると入力されたときには、その入力された判定結果に対応して前記階調値記憶部に記憶されている過去の階調値の平均値を算出するとともに、算出された平均値をあらたな階調値閾値とするよう更新してもよい。
このようにすることで、抽出部による判定が誤りであったときは、過去に誤りであると判定された際の階調値の平均値に新たな階調値閾値が更新され、観察する必要のない領域が注目領域として抽出されてしまう無駄を防止して効率的に注目領域を抽出することができる。

また、上記発明においては、前記表示部が、前記注目領域と前記戻り光画像とを重畳させて表示してもよい。
このようにすることで、戻り光画像と注目領域との対応関係を一目で確認することができる。これにより、注目領域のみならず、その周辺も観察することができ、観察者が抽出部による判定結果の正否を判定するときに、より詳細な情報を得ることができる。その結果、観察者により正確な判定を行わせることができる。

また、上記発明においては、前記抽出部が、階調値閾値を越える階調値を有する領域のうち、該領域の画素数が画素数閾値を超える範囲を前記注目領域として抽出してもよい。
このようにすることで、階調値は高いが面積が小さい領域が注目領域として抽出されてしまうことを防止し、ノイズによる誤抽出を抑制して効率よく注目領域を抽出することができる。

また、上記発明においては、前記注目領域の階調値と過去の判定結果に関する情報とを対応づけて保存する保存部を備え、前記表示部が、前記注目領域毎に、その階調値に対応する過去の判定結果に関する情報を前記保存部から読み出して表示してもよい。
このようにすることで、注目領域が抽出されたときには、過去の判定結果に関する情報が表示部に表示されるので、観察者が抽出部による判定結果の正否を判定するときに、表示された過去の判定結果を参考にすることができる。その結果、観察者により正確な判定を行わせることができる。

また、本発明は、被写体に対し、励起光および照明光を照射する照明部と、該照明部からの励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光撮像部と、前記照明部からの照明光の照射により前記被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、前記蛍光画像から階調値閾値を超える階調値を有する領域であって、当該領域の前記階調値とは異なる他の特徴量と前記階調値とを乗算したインデックス値が所定のインデックス閾値を越える領域を注目領域と判定して抽出する抽出部と、前記抽出部により抽出された前記注目領域と前記戻り光画像とを対応づけて表示する表示部と、該表示部に表示された前記注目領域に対する前記判定の正否について観察者に入力させる正否入力部と、前記正否入力部より入力された入力結果を反映させるように前記階調値閾値を更新する閾値更新部とを備える蛍光観察装置を提供する。

本発明によれば、インデックス値がインデックス閾値を越える領域を注目領域として抽出することにより、注目領域を抽出するための基準として階調値以外の特徴量をも加味することができ、観察目的に応じて、より観察に必要な注目領域を精度よく抽出することができる。特徴量としては、例えば、領域の色などを挙げることができる。

上記発明においては、前記閾値更新部が、前記正否入力部により、記判定が正しいと入力されたときは前記階調値閾値を低下させるよう更新してもよい。
また、上記発明においては、前記閾値更新部が、前記正否入力部により、前記判定が誤りであると入力されたときは前記階調値閾値を増大させるよう更新してもよい。

また、上記発明においては、観察条件を変更するために着脱される、識別情報を記憶した着脱部品と、該着脱部品に記憶された識別情報を読み取る識別情報読取部と、前記識別情報と前記階調値閾値とを対応づけて記憶する記憶部とを備え、前記抽出部が、取り付けた着脱部品の識別情報に対応して前記記憶部に記憶されている前記階調値閾値を用いて前記注目領域の抽出を開始してもよい。

このようにすることで、着脱部品を着脱して観察条件を変更すると、着脱部品に記憶されている識別情報が、識別情報読取部によって読み取られ、記憶部により識別情報と対応づけて記憶されている階調値閾値が、抽出部において注目領域を抽出するために使用される。これにより、観察条件に適した階調値閾値を用いて、観察に必要な注目領域を効率よく抽出することができる。

ここで、着脱部品としては、例えば、内視鏡装置における挿入部等を挙げることができ、その場合に変更される観察条件としては、観察可能な蛍光の波長や強度および観察対象部位（胃、大腸など）等を挙げることができる。細径の内視鏡では、観察対象部位の大きさにより照明光量が相対的に変わるため、閾値の設定を取り付ける挿入部毎に変えることで、効率良く観察することができる。

また、上記発明においては、前記被写体毎の個別情報を入力する個別情報入力部と、前記個別情報と前記階調値閾値とを対応づけて記憶する記憶部とを備え、前記抽出部が、前記個別情報入力部により入力された前記個別情報に対応して前記記憶部に記憶されている前記階調値閾値を用いて前記注目領域を抽出してもよい。
このようにすることで、被写体が変わっても、被写体毎に個別に設定されている適正な階調値閾値を用いて、精度よく注目領域を抽出することができる。

本発明によれば、蛍光試薬の種類や、個体差、病変部位の違いに関わらず、必要な注目領域をより確実に抽出することができるという効果を奏する。

本発明の第１の実施形態に係る蛍光観察装置を示す全体構成図である。 図１の蛍光観察装置の第１の変形例を示す全体構成図である。 図２の蛍光観察装置の（ａ）階調値記憶部に記憶されるデータおよび（ｂ）閾値の変化をそれぞれ示す図である。 本発明の第２の実施形態に係る蛍光観察装置を示す全体構成図である。 図４の蛍光観察装置の保存部に記憶されるデータを説明する図である。 図４の蛍光観察装置の表示部に表示される重畳画像の一例を示す図である。 本発明の第３の実施形態に係る蛍光観察装置を示す全体構成図である。 本発明の第４の実施形態に係る蛍光観察装置を示す全体構成図である。 図１の蛍光観察装置の第２の変形例を示す全体構成図である。

本発明の第１の実施形態に係る蛍光観察装置１について、図面を参照して以下に説明する。
本実施形態に係る蛍光観察装置１は、図１に示されるように、体内に挿入される細長い挿入部２と、光源（照明部）３と、該光源３からの励起光および照明光を挿入部２の先端から被写体Ｆに向けて照射する照明ユニット（照明部）４と、挿入部２の先端に設けられ、被写体Ｆである生体組織の画像情報を取得する撮像ユニット５と、挿入部２の基端側に配置され、撮像ユニット５により取得された画像情報を処理する画像処理部６と、該画像処理部６により処理された画像を表示するモニタ（表示部）７と、観察者が入力を行う入力部８とを備えている。

光源３は、キセノンランプ９と、該キセノンランプ９から発せられた光から、励起光および照明光（例えば、波長帯域４００〜７４０ｎｍ）を切り出すフィルタ１０と、フィルタ１０により切り出された励起光および照明光を集光するカップリングレンズ１１を備えている。
照明ユニット４は、挿入部２の長手方向のほぼ全長にわたって配置され、カップリングレンズ１１によって集光された励起光および照明光を導光するライトガイドファイバ１２と、挿入部２の先端に設けられ、ライトガイドファイバ１２によって導光されてきた励起光および照明光を拡散させて、挿入部２の先端面に対向する被写体Ｆに照射する照明光学系１３とを備えている。

撮像ユニット５は、被写体Ｆの所定の観察範囲から戻る光を集光する対物レンズ１４と、該対物レンズ１４によって集光された光のうち、励起波長以上の光(励起光および蛍光)を反射し、励起波長より短い波長の白色光（戻り光）を透過するダイクロイックミラー１５と、該ダイクロイックミラー１５により反射された蛍光およびダイクロイックミラー１５を透過した白色光をそれぞれ集光する２つの集光レンズ１６，１７と、集光レンズ１６，１７によって集光された白色光および蛍光を撮影するＣＣＤのような２個の撮像素子１８，１９とを備えている。図中、符号２０は、ダイクロイックミラー１５によって反射された光のうち励起光を遮断する（例えば、波長帯域７６０〜８５０ｎｍの光だけを透過する）励起光カットフィルタである。

画像処理部６は、撮像素子１８により取得された白色光画像情報から白色光画像Ｇ１を生成する白色光画像生成部２１と、撮像素子１９により取得された蛍光画像情報から蛍光画像Ｇ２を生成する蛍光画像生成部２２と、蛍光画像Ｇ２から所定の閾値（階調値閾値）以上の階調値を有する注目領域を抽出する抽出部２３と、抽出部２３により抽出された注目領域内の各画素の階調値の平均値である平均階調値を算出する階調値算出部２４と、抽出部２３により抽出された注目領域と白色光画像Ｇ１を重畳させた重畳画像Ｇを生成する重畳画像生成部２５と、閾値を更新する閾値更新部２６とを備えている。

抽出部２３は、蛍光画像生成部２２により生成された蛍光画像のうち、あらかじめ設定された閾値以上の階調値を有する領域を注目領域として抽出するようになっている。
重畳画像生成部２５は、蛍光画像生成部により生成された蛍光画像Ｇ２の内、抽出部２３により抽出された注目領域以外のバックグラウンドを除去したものを白色光画像Ｇ１と重畳するようになっている。

モニタ７は、重畳画像生成部２５により生成された重畳画像Ｇを表示するとともに、表示された重畳画像Ｇ内の抽出部２３が抽出した注目領域が病変の疑いのある領域として正しいか否かの判定の入力を医師等の観察者に促す表示を行うようになっている。入力を促す表示としては、例えば、「抽出された領域は病変の疑いがあるか（Ｙ／Ｎ）？」等が挙げられる。

観察者は、モニタ７に表示された重畳画像Ｇを目視確認して、白色光画像Ｇ１に表示された観察部位の形状や色等の形態的特徴、あるいは注目領域の大きさや明るさ等から、注目領域が病変の疑いのある領域であるか否かを判定し、入力部８によって判定結果を入力するようになっている。
入力部８は、キーボードやマウス等の任意の入力装置である。

入力部８により入力された観察者による判定結果は、閾値更新部２６に入力されるようになっている。
閾値更新部２６は、階調値算出部２４により算出された注目領域における蛍光の平均階調値Ｓ１を用いて、入力部８により入力された判定結果に基づいて閾値を更新するようになっている。

具体的には、観察者により、「注目領域は病変の疑いのある領域である」、すなわち、「抽出部２３による注目領域を抽出するための閾値は正しい」と判定された場合には、算出された平均階調値Ｓ１から予め決めておいたマージンＡを減算した値と現在の閾値Ｓ０とを比較し、以下の式により、小さい方の値を新たな閾値Ｓ０として更新するようになっている。

ＭＩＮ（Ｓ１−Ａ，Ｓ０）
ここで、
Ｓ１：平均階調値
Ａ：マージン
である。

一方、観察者により、「注目領域は病変の疑いのある領域ではない」、すなわち、「抽出部２３による注目領域を抽出するための閾値Ｓ０は誤りである」と判定された場合には、算出された平均階調値Ｓ１を新たな閾値Ｓ０として更新するようになっている。

閾値更新部２６により更新された閾値Ｓ０は、抽出部２３に入力され、抽出部２３に新たな閾値Ｓ０として設定されるようになっている。これにより、新たな蛍光画像が取得されると、新たな閾値Ｓ０によって注目領域が抽出され、同様の手順を繰り返して閾値Ｓ０が更新されるようになっている。

このように構成された本実施形態に係る蛍光観察装置１の作用について以下に説明する。
本実施形態に係る蛍光観察装置１を用いて被写体Ｆである患者の体内の生体組織の観察を行うには、体内に挿入部２を挿入して、挿入部２の先端面を被写体Ｆに対向させる。そして、光源３を作動させて、励起光および照明光を発生させ、カップリングレンズ１１によってライトガイドファイバ１２に入射させる。ライトガイドファイバ１２内を導光されて挿入部２の先端に達した励起光および照明光は、挿入部２の先端の照明光学系１３によって拡散されて被写体Ｆに照射される。

被写体Ｆにおいては、内部に含まれている蛍光物質が励起光によって励起されることにより蛍光が発せられるとともに、被写体Ｆの表面において白色光が反射させられる。蛍光および照明光の反射光（白色光）は、被写体Ｆから挿入部２の先端面２ａに戻り、その一部が対物レンズ１４によって集光される。

対物レンズ１４によって集光された蛍光および白色光はダイクロイックミラー１５によって波長毎に分岐され、ダイクロイックミラー１５を透過した光、例えば、４００〜７００ｎｍの波長帯域の白色光は、集光レンズ１６によって集光され、撮像素子１８により白色光画像情報として取得される。

また、対物レンズ１４によって集光された蛍光および白色光の内、ダイクロイックミラー１５において反射された光、例えば、７００〜８５０ｎｍの波長帯域の励起光および蛍光を含む光からは、励起光カットフィルタ２０によって励起光（例えば７４０ｎｍ以下の光）が除去された後に、蛍光のみが集光レンズ１７によって集光されて撮像素子１９によって蛍光画像情報として取得される。

各撮像素子１８，１９によって取得された画像情報は、画像処理部６に送られる。画像処理部６においては、白色光画像情報が白色光画像生成部２１に入力されて白色光画像Ｇ１が生成される。一方、蛍光画像情報が蛍光画像生成部２２に入力されて蛍光画像Ｇ２が生成される。

生成された蛍光画像Ｇ２は、抽出部２３に入力され、抽出部２３において、予め設定された閾値Ｓ０以上の階調値を持つ領域が注目領域として抽出される。そして、階調値算出部２４により該注目領域における蛍光の平均階調値Ｓ１が算出される。
次いで、重畳画像生成部２５により、注目領域に対応する部分の蛍光画像のみが白色光画像Ｇ１と重畳されることにより重畳画像Ｇが生成され、モニタ７に表示される。また、モニタ７には、観察者による入力を促す表示も同時に表示される。

観察者は、モニタ７に表示された重畳画像Ｇを観察しながら、表示された注目領域が病変の疑いがあるか否かを判定し、判定結果を入力部８に入力する。つまり、抽出部２３により抽出された注目領域の判定が正しかったのか否かが、観察者による入力によって確認される。そして、入力部８により入力された判定結果は閾値更新部２６に入力される。

観察者による判定結果が入力されると、閾値更新部２６は、注目領域の平均階調値Ｓ１と観察者による判定結果とに基づいて閾値Ｓ０を更新する。
この場合において、本実施形態に係る蛍光観察装置１によれば、入力部８により入力された判定結果が、病変の疑いが有るというＹ判定であった場合には、閾値更新部２６は、注目領域の平均階調値Ｓ１から予め決めておいたマージンＡを引いた値と閾値Ｓ０を比較し、小さい方の値を新たな閾値Ｓ０として更新するので、更新された閾値は下がる。

つまり、更新前の高い閾値で抽出された注目領域に病変の疑いが有るため、閾値を下げることで、抽出部２３による次回の抽出において、さらに低い階調値の病変の疑いのある領域を抽出することができ、見落しを防止して、診断の精度を向上することができる。
例えば、Ａ＝１００、Ｓ０＝１８００、Ｓ１＝１８５０のとき、ＭＩＮ（Ｓ１−Ａ，Ｓ０）＝ＭＩＮ（１８５０−１００，１８００）＝ＭＩＮ（１７５０，１８００）より、新しい閾値Ｓ０は１７５０に更新される。

一方、入力部８により入力された判定結果が、病変の疑いが無いというＮ判定であった場合には、閾値更新部２６は、注目領域の平均階調値Ｓ１を新たな閾値として更新するので、更新された閾値は上がる。つまり、更新前の低い閾値で抽出された領域は病変の疑いが無いため、閾値を上げることで、抽出部２３による次回の抽出において、病変の疑いのない領域が注目領域として誤って抽出されてしまう無駄を省いて、効率的に診断することができる。

このように、本実施形態に係る蛍光観察装置１によれば、抽出部２３による判定の閾値に、観察者による判定結果をフィードバックして閾値を更新することにより、個体差や病変部位の違いに応じて、病変の疑いが有る領域を精度よく抽出することができるという利点がある。

なお、本実施形態においては、入力部８により入力された判定結果が、病変の疑いが無いというＮ判定であった場合、注目領域の平均階調値Ｓ１を新たな閾値として更新するとしたが、閾値Ｓ０と注目領域の平均階調値Ｓ１との平均値を新たな閾値Ｓ０として更新してもよい。前回の閾値Ｓ０と平均階調値Ｓ１との中間地点まで新たな閾値Ｓ０を引き上げることで、微妙な判定結果が入力された後の抽出において、前回の平均階調値より若干低い平均階調値を有する注目領域が抽出されずに漏れてしまうことを防止できる。

また、本実施形態においては、閾値更新部２６における新たな閾値を算出する式として、ＭＩＮ（Ｓ１−Ａ，Ｓ０）を例示したが、これに代えて、Ｙ判定のときは更新前の閾値より下がるように閾値を更新し、Ｎ判定のときは更新前の閾値より上がるように閾値を更新する他の任意のルールを採用してもよい。

また、本実施形態においては、注目領域は蛍光画像Ｇ２のうち予め設定された閾値以上の階調値を有する領域としたが、閾値を超える階調値を有する領域のうち、画素数が画素数閾値を超える範囲を注目領域として抽出してもよい。このようにすることで、階調値は高いが面積が小さい領域（ノイズ等）が注目領域として抽出されてしまうのを防止することができ、効率良く注目領域を抽出することができる。
閾値以上の階調値を有し、かつ、その画素数が画素数閾値を越える注目領域の抽出は、最初に階調値によって抽出された領域の中から画素数の多い領域を抽出してもよいし、最初に画素数によって抽出された領域の中から階調値の高い領域を抽出してもよい。

また、本実施形態においては、重畳画像生成部２５によって注目領域として抽出された蛍光画像Ｇ２と白色光画像Ｇ１とを重畳してモニタ７に表示させることとしたが、蛍光画像Ｇ２と白色光画像Ｇ１とを並列にモニタ７に表示させてもよい。このとき、蛍光画像Ｇ２の注目領域を輪郭表示するなどして蛍光画像Ｇ２上に表示する。このようにすることで、閾値によって切り取られた注目領域のみを表示することに比べ、より詳細な情報を観察者に提供することができ、より正確に判定させることができる。

また、本実施形態においては、抽出部２３が、異なる２以上の閾値以上となる領域をそれぞれ抽出し、表示方法を異ならせてモニタ７に表示してもよい。例えば、抽出部２３は、平均階調値Ｓ１が閾値Ｓ０を超える領域と、例えば、閾値Ｓ０の８０％の値を超える領域とを抽出してもよい。

また、本実施形態においては、階調値算出部２４において注目領域の平均階調値Ｓ１を算出することとしたが、他の値を求めることにしてもよい。
例えば、注目領域内で最も階調値が低い最低階調値を用いてもよい。この場合には、閾値更新部２６は、入力部８により入力された判定がＹ判定であった場合に、注目領域の最低階調値からマージンＡを引いた値と閾値ＳＯを比較し、小さい方の新たな閾値ＳＯとして更新する。このようにすることで、平均階調値Ｓ１を用いたときよりも、病変の疑いのある領域の見落とし防止効果を向上することができる。

また、例えば、階調値算出部２４は、注目領域内で最も高い最高階調値を求めることにしてもよい。この場合には、閾値更新部２６は、入力部８により入力された判定がＮ判定であった場合に、注目領域の最高階調値を新たな閾値ＳＯとして更新する。このようにすることで、平均階調値を用いたときよりも、より効率的に病変の疑いが有る領域を抽出することがきる。

また、抽出部２３により抽出された注目領域が同一画面上に複数存在する場合には、どの注目領域に対して正否判定を入力させるのかが観察者にわかるように、判定させようとする注目領域の表示のみを他の注目領域とは異ならせるように重畳画像Ｇを生成すればよい。他の注目領域と区別するためには、判定させようとする注目領域の表示のみを点滅させ、他の注目領域を点灯させるような重畳画像Ｇを生成すればよい。

また、この場合に、複数の注目領域について、その判定の順序を決定して、決定された順序に従って、判定させようとする注目領域の表示のみを点滅させていけばよい。また、一旦判定が入力された注目領域については、重複した判定入力を防止するために、判定済みであることがわかるような表示、例えば、色を変えることなどにより表示すればよい。

また、本実施形態においては、抽出部２３において注目領域が抽出されたときに、観察者の判定入力に応じて、その注目領域における蛍光の平均階調値Ｓ１のみを用いて閾値を更新することとしたが、これに代えて、過去の複数の注目領域の平均階調値Ｓ１とそのときの判定入力結果とに応じて閾値を更新することにしてもよい。

具体的には、図２に示されるように、抽出部２３により注目領域が抽出され、観察者の判定入力が行われたときには、その注目領域における平均階調値Ｓ１と判定入力結果とを対応付けて記憶する階調値記憶部２７を設けておく。この場合、階調値記憶部２７には、例えば、図３（ａ）に示されるようにデータが記憶されることにすればよい。

そして、閾値更新部２６は、新たな注目領域に対する観察者による判定が入力されたときには、その入力された判定結果に対応して階調値記憶部２７に記憶されている過去の平均階調値Ｓ１を全て読み出して、以下のように閾値を更新することにしてもよい。
例えば、観察者により、Ｙ判定が入力された場合には、階調値記憶部２７から読み出した過去の全てのＹ判定時における平均階調値Ｓ１の平均値から予め決めておいたマージンＡを減算した値と現在の閾値Ｓ０とを比較し、以下の式により、小さい方の値を新たな閾値Ｓ０として更新すればよい。

ＭＩＮ（ＡＶＥ（Ｓ１）−Ａ，Ｓ０）
ここで、
ＡＶＥ（Ｓ１）：過去のＹ判定時の平均階調値Ｓ１の平均値
Ａ：マージン
である。

一方、観察者により、Ｎ判定が入力された場合には、階調値記憶部２７から読み出した過去の全てのＮ判定時における平均階調値Ｓ１の平均値を新たな閾値Ｓ０として更新すればよい。これにより、閾値Ｓ０は図３（ｂ）に示されるように変化する。
このようにすることで、最新の判定結果のみならず、過去における判定結果をも反映して閾値Ｓ０を更新することができ、病変の疑いがある領域をより精度よく抽出することができる。

また、このように、過去の平均階調値Ｓ１と判定結果とを対応づけて記憶しておくことにより、Ｙ判定時の閾値Ｓ０の更新に用いるマージンＡとして、固定値ではなく、記憶されているＹ判定時における平均階調値Ｓ１の標準偏差ＳＤ（Ｓ１）に応じて設定することもできる。このようにすることで、被験者間のバラツキ、同一被験者における経過時間的なバラツキ、観察者による判定入力のバラツキを加味してマージンＡを設定することができ、より適切に閾値Ｓ０を更新することができるという利点がある。

また、感度（病変を見落とさないこと）を重視する場合には、Ｙ判定時の新しい閾値Ｓ１をＭＩＮ（ＡＶＥ（Ｓ１）−３ＳＤ（Ｓ１），Ｓ０）として設定し、特異度（病変以外の部分を抽出しないこと）を重視する場合には、Ｙ判定時の新しい閾値Ｓ１をＭＩＮ（ＡＶＥ（Ｓ１）−ＳＤ（Ｓ１），Ｓ０）として設定してもよい。このようにすることで、検査の目的に応じた適切な閾値Ｓ０を更新することができるという利点がある。

次に、本発明の第２の実施形態に係る蛍光観察装置３０について、図面を参照して以下に説明する。
本実施形態の説明において、上述した第１の実施形態に係る蛍光観察装置１と構成を共通とする箇所には同一符号を付して説明を省略する。

本実施形態に係る蛍光観察装置３０は、図４に示されるように、蛍光観察装置１の画像処理部６に、さらに保存部３１および確率算出部３２を備えている。
保存部３１は、閾値更新部２６から、階調値算出部２４により算出された注目領域の平均階調値Ｓ１と、入力部８から入力された観察者の判定結果とを受け取り、図５に示されるように、区分けされた階調値範囲Ａ１〜Ａ２，Ａ２〜Ａ３，Ａ３〜Ａ４…毎に、正否判定の回数Ｂ１，Ｂ２，Ｂ３…と、Ｙ判定が入力された回数Ｃ１，Ｃ２，Ｃ３…とを対応づけて保存するようになっている。

すなわち、保存部３１は、階調値算出部２４により算出された平均階調値Ｓ１の注目領域に対して、入力部８からＹ判定が閾値更新部２６に入力されたときには、当該平均階調値Ｓ１が属する階調値範囲の正否判定の回数およびＹ判定の回数の両方を１つインクリメントするようになっている。一方、入力部８からＮ判定が閾値更新部２６に入力されたときには、正否判定の回数のみを１つインクリメントするようになっている。

確率算出部３２は、階調値算出部２４により算出された注目領域の平均階調値Ｓ１を受け取ると、受け取った平均階調値Ｓ１を用いて保存部３１内を検索し、該平均階調値Ｓ１が属する階調値範囲に対して保存されている正否判定の回数とＹ判定の回数とを読み出して、Ｙ判定の回数を正否判定の回数で除算することにより、Ｙ判定の確率を算出するようになっている。

そして、確率算出部３２により算出された確率は、重畳画像生成部２５に出力されるようになっている。
重畳画像生成部２５は、図６に示されるように、確率に応じて注目領域に色分けされた輪郭および確率の数値が表示されるように重畳画像Ｇを生成するようになっている。例えば、注目領域の階調値における過去のＹ判定の確率が９０％以上であれば注目領域の輪郭を赤色とし、７５％以上９０％未満であれば青色、５０％以上７５％未満であれば黄色とするとともに、注目領域近傍に確率を数値で示した重畳画像Ｇを生成するようになっている。

このように構成された本実施形態に係る蛍光観察装置３０によれば、階調値算出部２４により算出された注目領域の平均階調値Ｓ１が確率算出部３２に出力され、保存部３１に保存されている階調値範囲に対応するＹ判定回数と正否判定回数とが読み出され、該平均階調値Ｓ１が属する階調値範囲におけるＹ判定の確率が算出され、重畳画像生成部２５に出力される。重畳画像生成部２５においては、入力された注目領域に対して過去にＹ判定がなされた確率を、色分けして輪郭表示するとともに、確率が文字表示された重畳画像Ｇが生成され、モニタ７に出力される。

このように、本実施形態に係る蛍光観察装置３０によれば、過去のＹ判定の確率が注目領域の輪郭近傍に表示されることにより、過去の判定結果に照らし合わせて注目領域の判定の正否を判定することができ、判定精度を向上することができるという利点がある。

次に、本発明の第３の実施形態に係る蛍光観察装置４０について以下に説明する。
本実施形態の説明において、上述した第１の実施形態に係る蛍光観察装置１と構成を共通とする箇所には同一符号を付して説明を省略する。

本実施形態に係る蛍光観察装置４０は、図７に示されるように、画像処理部６の白色光画像生成部２１と重畳画像生成部２５の間に、特徴量抽出部４１、インデックス算出部４２および領域選択部４３を備え、閾値更新部２６の代わりにインデックス閾値更新部４４を備えている。また、白色光画像取得用の撮像素子１９としては、カラー画像を撮影可能な撮像素子１９を用いている。

特徴量抽出部４１は、抽出部２３により抽出された注目領域に対応する白色光画像Ｇ１の領域から、撮像素子１９により取得した赤色の階調値を抽出するようになっている。インデックス算出部４２は、特徴量抽出部４１により抽出された赤色の階調値と階調値算出部２４により算出された注目領域の平均階調値Ｓ１とを乗算してインデックスを算出するようになっている。

領域選択部４３は、抽出部２３により抽出された注目領域の中から、インデックスが所定のインデックス閾値以上となる領域を選択して出力するようになっている。
重畳画像生成部２５は、蛍光画像Ｇ２から抽出された注目領域の内、領域選択部４３により選択された注目領域を、当該注目領域外のバックグラウンドを除去して白色光画像Ｇ１と重畳するようになっている。

観察者は、モニタ７に表示された重畳画像Ｇを観察しながら、表示されたインデックス閾値を超える領域が病変の疑いがあるか否かを判定し、判定結果を入力部８に入力する。つまり、領域選択部４３により病変の疑いが高いとして選択されたインデックス閾値を超える領域の判定が、観察者の判定に照らして正しいか否かを確認することができる。そして、入力部８により入力された判定結果はインデックス閾値更新部４４に出力される。

インデックス閾値更新部４４は、入力部８に入力された判定結果に基づいてインデックス閾値を更新するようになっている。更新されたインデックス閾値は、領域選択部４３に出力され、新たなインデックス閾値として設定されるようになっている。これにより、新たな蛍光画像Ｇ２が取得され注目領域が抽出されると、インデックスが新たなインデックス閾値を超える領域がモニタ７に表示され、同様の手順を繰り返して閾値が更新されるようになっている。

この場合において、白色光画像Ｇ１中の赤色は被写体Ｆの血管密度を反映している。癌等の病変部においては、血管新生により血管の密度が高くなっていることが多いため、白色光画像Ｇ１の赤色の強度に反映されることが多い。これにより、血管密度の情報と蛍光画像Ｇ２の２つを組み合わせ重畳画像Ｇで観察することにより、さらに正確な判定を行うことができる。
したがって、領域選択部４３による判定に、観察者の判定を反映させてインデックス閾値を更新することにより、病変の疑いが有るか否かを精度よく抽出することができるという利点がある。

また、本実施形態においては、使用する蛍光薬剤に応じてインデックスを設定してもよい。この場合、蛍光強度が強い薬剤を用いるときは、蛍光強度の影響を弱くするために、注目領域の階調値に薬剤係数Ｓｌを乗算し、一方蛍光強度が弱い薬剤を用いるときは、蛍光を強調するために薬剤係数Ｓｈを乗算し、薬剤の性能に左右されないインデックスを設定することができる。（Ｓｌ＜Ｓｈ）

次に、本発明の第４の実施形態に係る蛍光観察装置５０について以下に説明する。
本実施形態の説明において、上述した第１の実施形態に係る蛍光観察装置１と構成を共通とする箇所には同一符号を付して説明を省略する。

本実施形態に係る蛍光観察装置５０においては、図８に示されるように、観察対象部位に応じて交換できるように、光源３および画像処理部６に対して着脱可能な挿入部２（着脱部品）を備えている。挿入部２には、該挿入部２の識別情報を記憶するＩＣチップ５１が設けられている。
また、本実施形態に係る蛍光観察装置５０は、挿入部２が取り付けられる光源側にＩＣチップ５１内の識別情報を読み取る読取装置５２と、識別情報と閾値とを対応づけて記憶する記憶部５３とを備えている。

読取装置５２は、挿入部２が取り付けられると、該挿入部２に設けられているＩＣチップ５１内の識別情報を読み取り、読み取った識別情報を記憶部５３から取得して、閾値更新部２６に出力するようになっている。閾値更新部２６は、記憶部５３により記憶されている識別上方に基づき、閾値の設定方法を変更する。

したがって、本実施形態によれば、観察対象部位の大きさにより照明光量が相対的に変わるため、閾値の設定を挿入部２毎に変えることで、効率良く観察することができる。
具体的には、細径の挿入部２では、照明光量が相対的に弱くなるため、閾値の初期値を低めに設定する必要がある。なお、病変の疑いが有るというＹ判定であった場合は、マージンＡを大きな値に設定したり、病変の疑いが無いというＮ判定であった場合は、（２×Ｓ０＋Ｓ１）／３を新しい閾値Ｓ０と更新するなど、常に閾値が低めに設定されるようにしてもよい。

また、病変部が相対的に大きい部位、例えば大腸病変（ポリープ）は食道の病変（扁平上皮癌）などと比べ大きいため、閾値Ｓ０の初期値を高めに設定する必要がある。病変の疑いが有るというＹ判定であった場合は、マージンＡを小さな値に設定したり、病変の疑いが無いというＮ判定であった場合は、（２×Ｓ０＋３×Ｓ１）／５を新しい閾値Ｓ０と更新したりするなど、常に閾値が高めに設定されるようにしてもよい。
このようにすることで、挿入部２の種類による照明光量や、病変部位による蛍光強度の変動に影響されずに観察することができる。

また、上記各実施形態に係る蛍光観察装置１，３０，４０，５０においては、患者のＩＤを入力するＩＤ入力部６１と、ＩＤと個別情報とを対応づけて記憶する個別情報記憶部６２とを備えていてもよい。
個別情報としては、当該患者の注目領域を抽出するための閾値、当該患者の過去の観察における階調値範囲毎の正否判定回数およびＹ判定回数等を挙げることができる。

図９に示す例では、個別情報記憶部６２は、個別情報として、患者の過去の観察において更新された閾値を記憶している。
このようにすることで、閾値更新部２６が、ＩＤ入力部６１から入力されたＩＤに対応づけて個別情報記憶部６２に記憶されている個別情報を読み出して閾値の更新に利用することにより、効率良く観察を行うことができるという利点がある。

なお、上記各実施形態のいずれを組み合わせていてもよい。
また、上記各実施形態においては、蛍光観察装置１，３０，４０，５０として内視鏡を例示して説明したが、これに限定されるものではなく、他の任意の蛍光観察装置に適用することにしてもよい。

Ｆ 被写体
１，３０，４０，５０ 蛍光観察装置
２ 挿入部（着脱部品）
３ 光源（照明部）
４ 照明ユニット（照明部）
７ モニタ（表示部）
８ 入力部（正否入力部）
１８ 撮像素子（蛍光撮像部）
１９ 撮像素子（戻り光撮像部）
２３ 抽出部
２６ 閾値更新部
３１ 保存部
４３ 領域選択部（抽出部）
４４ インデックス閾値更新部（閾値更新部）
５２ 読取装置（識別情報読取部）
５３ 記憶部
６１ ＩＤ入力部（個別情報入力部）
６２ 個別情報記憶部（記憶部）

Claims (17)

1. 被写体に対し、励起光および照明光を照射する照明部と、
   該照明部からの励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光撮像部と、
   前記照明部からの照明光の照射により前記被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、
   前記蛍光画像から階調値閾値を超える階調値を有する領域を注目領域と判定して抽出する抽出部と、
   該抽出部により抽出された前記注目領域と前記戻り光画像とを対応づけて表示する表示部と、
   該表示部に表示された前記注目領域に対する前記判定の正否について観察者に入力させる正否入力部と、
   該正否入力部により入力された入力結果を反映させるように前記階調値閾値を更新する閾値更新部とを備える蛍光観察装置。
2. 前記閾値更新部が、前記正否入力部により、前記判定が正しいと入力されたときには、前記階調値閾値を低下させるよう更新する請求項１に記載の蛍光観察装置。
3. 前記閾値更新部が、前記正否入力部により、前記判定が誤りであると入力されたときは前記階調値閾値を増大させるよう更新する請求項１または請求項２に記載の蛍光観察装置。
4. 前記閾値更新部は、前記正否入力部により前記抽出部による前記判定が正しいと入力されたときには、前記注目領域の階調値より所定のマージンだけ低い下位階調値が前記階調値閾値を下回っている場合に、前記下位階調値を新たな階調値閾値とするよう更新する請求項１に記載の蛍光観察装置。
5. 前記抽出部により前記注目領域が抽出され、該注目領域に対する観察者による判定が入力されたときに、該注目領域の階調値と判定結果とを対応づけて記憶する階調値記憶部を備え、
   前記閾値更新部は、新たな注目領域に対して前記正否入力部により前記判定が正しいと入力されたときに、その入力された判定結果に対応して前記階調値記憶部に記憶されている過去の階調値の平均値を算出するとともに、算出された平均値より設定されたマージンだけ低い下位階調値が前記階調値閾値を下回っている場合に、前記下位階調値を新たな階調値閾値とするよう更新する請求項１に記載の蛍光観察装置。
6. 前記閾値更新部が、前記平均値を算出した過去の階調値の標準偏差を算出し、算出された標準偏差に基づいて前記マージンを設定する請求項５に記載の蛍光観察装置。
7. 前記閾値更新部が、前記正否入力部により、前記判定が誤りであると入力されたときには、前記階調値閾値を増大させるよう更新する請求項１から請求項６のいずれかに記載の蛍光観察装置。
8. 前記閾値更新部は、前記正否入力部により前記抽出部による前記判定が誤りであると入力されたときには、前記階調値閾値と前記注目領域の階調値との平均値を新たな階調値閾値とするよう更新する請求項１から請求項４のいずれかに記載の蛍光観察装置。
9. 前記閾値更新部は、前記正否入力部により前記抽出部による前記判定が誤りであると入力されたときには、その入力された判定結果に対応して前記階調値記憶部に記憶されている過去の階調値の平均値を算出するとともに、算出された平均値をあらたな階調値閾値とするよう更新する請求項５または請求項６に記載の蛍光観察装置。
10. 前記表示部が、前記注目領域と前記戻り光画像とを重畳させて表示する請求項１から請求項９のいずれかに記載の蛍光観察装置。
11. 前記抽出部が、前記階調値閾値を越える階調値を有し、かつ、面積閾値を越える面積を有する領域を前記注目領域として抽出する請求項１から請求項１０のいずれかに記載の蛍光観察装置。
12. 前記注目領域の階調値と過去の判定結果に関する情報とを対応づけて保存する保存部を備え、
    前記表示部が、前記注目領域毎に、その階調値に対応する過去の判定結果に関する情報を前記保存部から呼び出して表示する請求項１から請求項１１のいずれかに記載の蛍光観察装置。
13. 被写体に対し、励起光および照明光を照射する照明部と、
    該照明部からの励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光撮像部と、
    前記照明部からの照明光の照射により前記被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、
    前記蛍光画像から階調値閾値を超える階調値を有する領域であって、当該領域の前記階調値とは異なる他の特徴量と前記階調値とを乗算したインデックス値が所定のインデックス閾値を越える領域を注目領域と判定して抽出する抽出部と、
    前記抽出部により抽出された前記注目領域と前記戻り光画像とを対応づけて表示する表示部と、
    該表示部に表示された前記注目領域に対する前記判定の正否について観察者に入力させる正否入力部と、
    前記正否入力部より入力された入力結果を反映させるように前記階調値閾値を更新する閾値更新部とを備える蛍光観察装置。
14. 前記閾値更新部が、前記正否入力部により、前記判定が正しいと入力されたときは前記階調値閾値を低下させるよう更新する請求項１３に記載の蛍光観察装置。
15. 前記閾値更新部が、前記正否入力部により、前記判定が誤りであると入力されたときは前記階調値閾値を増大させるよう更新する請求項１３または請求項１４に記載の蛍光観察装置。
16. 観察条件を変更するために着脱される、識別情報を記憶した着脱部品と、
    該着脱部品に記憶された識別情報を読み取る識別情報読取部と、
    前記識別情報と前記階調値閾値とを対応づけて記憶する記憶部とを備え、
    前記抽出部が、取り付けた着脱部品の識別情報に対応して前記記憶部に記憶されている前記階調値閾値を用いて前記注目領域の抽出を開始する請求項１から請求項１５のいずれかに記載の蛍光観察装置。
17. 前記被写体毎の個別情報を入力する個別情報入力部と、
    前記個別情報と前記階調値閾値とを対応づけて記憶する記憶部とを備え、
    前記抽出部が、前記個別情報入力部により入力された前記個別情報に対応して前記記憶部に記憶されている前記階調値閾値を用いて前記注目領域を抽出する請求項１から請求項１５のいずれかに記載の蛍光観察装置。

Images