JP2004215738A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2004215738A JP2004215738A JP2003004095A JP2003004095A JP2004215738A JP 2004215738 A JP2004215738 A JP 2004215738A JP 2003004095 A JP2003004095 A JP 2003004095A JP 2003004095 A JP2003004095 A JP 2003004095A JP 2004215738 A JP2004215738 A JP 2004215738A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- pixel
- light
- luminance value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】より正確な自家蛍光画像が得られる画像処理装置を提供する。
【解決手段】内視鏡システムの光源プロセッサ装置２のビデオプロセス部２４が赤色画像信号及び青色画像信号を受信するタイミングに合わせて参照光及び励起光をプローブＰの先端から放出するように、光源部３３を構成し、また、ビデオプロセス部２４から送られてくるＲＧＢ映像信号からＲ成分及びＢ成分を取り出して参照光画像データ及び蛍光画像データを取得し、演算処理部３４５によって演算処理が行われるように画像処理装置３を構成する。また、参照光画像データ又は蛍光画像データの輝度値が０になる座標については、演算処理を行わないように演算処理部３４５を構成する。
【選択図】 図２
【解決手段】内視鏡システムの光源プロセッサ装置２のビデオプロセス部２４が赤色画像信号及び青色画像信号を受信するタイミングに合わせて参照光及び励起光をプローブＰの先端から放出するように、光源部３３を構成し、また、ビデオプロセス部２４から送られてくるＲＧＢ映像信号からＲ成分及びＢ成分を取り出して参照光画像データ及び蛍光画像データを取得し、演算処理部３４５によって演算処理が行われるように画像処理装置３を構成する。また、参照光画像データ又は蛍光画像データの輝度値が０になる座標については、演算処理を行わないように演算処理部３４５を構成する。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、生体から発せられる自家蛍光に基づいて術者による診断用の画像を生成する画像処理装置に、関する。
【０００２】
【従来の技術】
従来、生体組織に励起光（紫外光）を照射すると生体組織が励起して蛍光（自家蛍光）を発することが、知られている。さらに、腫瘍等の病変が生じている異常な生体組織が発する自家蛍光の強度が、正常な生体組織の発する自家蛍光の強度よりも弱いことも、良く知られている。
【０００３】
近年では、このような知識に基づいて、食道や胃腸などの体腔の内壁（体腔壁）において異常組織の有無の確認及びその位置を特定するための診断補助用装置が、開発されつつある（特許文献１参照）。
【０００４】
この診断補助用装置は、既存の電子内視鏡装置に組み合わせて、利用されるものであり、束ねられた多数の光ファイバからなるプローブと、このプローブの基端面に可視光及び励起光を交互に繰り返し供給する光源部と、電子内視鏡システムの光源プロセッサ装置から出力される画像データに特定の処理を施してモニター等に出力する画像処理装置とを、備えている。
【０００５】
この診断補助用装置は、このプローブを通じて可視光及び励起光を体腔壁に交互に照射する。その体腔壁は、電子内視鏡の先端に設けられた撮影装置により、可視光により照明されている状態と蛍光を発している状態とで、夫々、モノクロ撮影される。すると、電子内視鏡システムの光源プロセッサ装置からは、体腔壁が可視光によって照明された時の参照画像データと、体腔壁が蛍光を発している時の蛍光画像データとが、出力される。そして、これら画像データが入力される画像処理装置のＣＰＵは、主電源が投入されている間は、一組の参照画像データ及び蛍光画像データを取得する毎に、以下のような処理を実行している。
【０００６】
すなわち、画像処理装置は、まず、参照画像データと蛍光画像データについて、それぞれ全画素の輝度値の中から最大値及び最小値を抽出する。次に、最大値をもつ画素の輝度値を所定の最大階調値に変換すると共に最小値をもつ画素の値を所定の最小階調値に変換し、且つ、中間値をもつ他の画素の値を各々当てはまる階調値に変換することにより、参照画像データと蛍光画像データをそれぞれ規格化する。次に、規格化後の参照画像データと蛍光画像データとにおける互いに同じ座標にある画素同士の差分（参照画像データの画素値から蛍光画像データの画素値を差し引いて得られる差分）を、各座標についてとり、差分が所定の閾値以上である座標の画素を特定色の画素に変換する（例えば、赤色に変換する時は、ＲＧＢ成分の各輝度値をＲ＝２５５，Ｇ＝０，Ｂ＝０とする）。また、それ以外の座標上における画素を、参照画像信号の輝度値と各ＲＧＢ成分の輝度値が同値である白黒（グレー）に設定することによって、特殊観察画像のカラー画像データ（ＲＧＢ信号）を生成する。画像処理装置は、以上のような処理を行うことによって特殊観察用画像の画像データを生成し、これを順次バッファに記録する。そして、画像処理装置は、バッファに記録されている特殊観察用画像の画像データを読み出してＮＴＳＣ映像信号やＰＡＬ映像信号に変換し、変換後の信号に基づいてモニター等に特殊観察用画像を表示する。
【０００７】
この特殊観察用画像は、被検体が発する自家蛍光の強度に応じて、病変部として認識された部位が着色された状態で、表示される。また、病変部として認識されなかった部位は、モノクロ画像と同様に表示される。従って、術者は、この特殊観察用画像を観察することにより、被検体の形状を把握するとともに、当該被検体における自家蛍光の強度を認識して、診断を行うことができる。
【０００８】
【特許文献１】
特開２０００−０２３９０３号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上記従来技術による画像処理装置には、以下のような問題がある。
【００１０】
即ち、上述したような電子内視鏡システムにおいては、プローブから生体組織に向けて照射される励起光の照射範囲と参照光の照射範囲とは、通常互いに厳密に一致するようには調整されていない。図６は、従来の特殊観察画像における表示例を示す図である。１点鎖線にて囲まれる範囲が参照光の照射範囲を示し、破線にて囲まれる範囲が励起光の照射範囲を示す。また、Ｄが実際の病変部を示す。上述したように、被検体の生体組織が正常であるか異常であるかは、生体組織の自家蛍光の参照光の反射光に対する強度比に基づいて判断され、強度比が一定値よりも大きい部位は、一括して異常部位であるとみなされていた。従って上記例の場合には、実際の病変部Ｄの他、参照光のみが照射され励起光が照射されていないために自家蛍光を発していない部位が、病変部位であるか否かに拘わらず異常部位として表示されてしまっていた。図６においてハッチングを施した部位が、異常部位として表示（着色）される部位である。
【００１１】
本発明は、従来の手段による上記した問題点を解決し、より正確な特殊観察用画像を生成できる画像処理装置の提供を課題とする。
【００１２】
【課題を解決するための手段】
上記の課題を解決するために、本発明の画像処理装置は、以下のような構成を採用した。
【００１３】
即ち、照明光を照射された被検体表面における反射光によって形成された像に基づく第１の画像データと、励起光が照射された被検体から生じる自家蛍光によって形成された像に基づく第２の画像データとを用いて画像処理を行う画像処理装置において、前記第１の画像データ及び前記第２の画像データに共通して定義されるローカル座標上での各画素の位置毎に、前記第１の画像データ中の画素の輝度値と前記第２の画像データ中の画素の輝度値とを取得する取得部と、前記取得部によって取得された前記第１の画像データ中の画素の輝度値又は前記第２の画像データ中の画素の輝度値が０である前記ローカル座標中の位置，及び前記第１の画像データ中の画素の輝度値が示す明るさと前記第２の画像データ中の画素の輝度値が示す明るさとの差が所定の基準以下である前記ローカル座標中の位置には前記第１の画像データ中の前記画素の輝度値を設定し、前記第１の画像データ中の画素の輝度値が示す明るさと前記第２の画像データ中の画素の輝度値が示す明るさとの差が前記所定の基準を超える前記ローカル座標中の位置には所定の輝度値を設定することにより、診断用画像の画像データを生成する診断用画像データ生成部とを備えることを特徴としている。
【００１４】
このように構成されると、第１画像データ及び第２画像データに共通するローカル座標上の画素の輝度値を取得部が取得し、この取得部によって取得された第１画像データ中の画素の輝度値又は第２画像データ中の画素の輝度値が０である（即ち、照明光と励起光との照射範囲にズレが生じている）ローカル座標上の位置には、第１の画像データ中の同じローカル座標上の画素の輝度値が設定され、その他の位置においては、両画像データ中の画素の輝度値が夫々示す明るさの差が所定基準以下であれば、第１の画像データ中の画素の輝度値が設定され、所定基準を超えていれば、所定色に対応した輝度値が設定される。従って、本発明によれば、照明光と励起光との照射範囲にズレが生じている部位においては明るさを比較する処理が行われないため、励起光が照射されないために第２の画像データ中の画素の輝度値が０となる正常部位が、実際に病変であるか否かに拘わらず異常部位として表示されてしまうことを防ぐことができる。
【００１５】
また、この画像処理装置は、内視鏡システムのプロセッサ装置において生成された画像データを取得できれば良いので、プロセッサ装置に繋がれて用いられても良いし、プロセッサ装置の中に組み込まれて用いられても良い。
【００１６】
なお、第１の画像データ中の画素の輝度値が示す明るさと第２の画像データ中の画素の輝度値が示す明るさとの差が所定の基準値以下であるか否かは、取得された第１の画像データ及び第２の画像データのレベルが等しくなるように、両画像データを規格化した後に、規格化された第１の画像データ中の画素の輝度値と第２の画像データ中の画素の輝度値との差分を所定の基準に対応する閾値と比較することによって識別しても良いばかりでなく、第１の画像データ中の画素の輝度値と第２の画像データ中の画素の輝度値との比率を所定の基準に対応する閾値と比較することによって識別しても良いし、実質的に第１の画像データ中の画素の輝度値が示す明るさと第２の画像データ中の画素の輝度値が示す明るさとを比較するのであれば、どのような手段を用いても良い。もっとも、元々レベルが同じであれば、規格化は必要ない。
【００１７】
【発明の実施の形態】
以下、図面に基づいて本発明の実施形態を説明する。
【００１８】
図１は、本実施形態の内視鏡システムの模式図である。この内視鏡システムは、電子内視鏡１，光源プロセッサ装置２，診断補助用装置３，映像セレクター４，画像切換信号入力部Ｆ及びモニターＭを備えている。
【００１９】
＜電子内視鏡＞
まず、電子内視鏡１について、説明する。電子内視鏡１は、生体内に挿入される可撓管状の挿入部１ａと、その挿入部１ａの先端に組み込まれた湾曲部（図示略）を湾曲操作するためのアングルノブ（図示略）等が設けられている操作部１ｂとを、備えている。
【００２０】
挿入部１ａの先端面には、少なくとも３つの貫通孔（図示略）が穿たれており、そのうちの一対の貫通孔には、配光レンズ１１及び対物レンズ１２がそれぞれ嵌め込まれている。他の１つの貫通孔は、鉗子口１ｃとして利用される。挿入部１ａ内には、この鉗子口１ｃと操作部１ｂに穿たれた鉗子口１ｄとを結ぶ細管１３が、引き通されており、この細管１３が、電気メス等の処置具を挿通するための鉗子チャネルとして、機能する。
【００２１】
さらに、挿入部１ａ内には、先端面が配光レンズ１１に対向しているライトガイド１４と、対物レンズ１２の像面に撮像面が配置された撮像素子１５に対して接続されている信号線１６，１７とが引き通されている。これらライトガイド１４及び信号線１６，１７は、さらに、操作部１ｂの側面から延びた可撓管１ｅの先端に設けられたコネクタＣの端面に固定されている。
【００２２】
＜光源プロセッサ装置＞
次に、光源プロセッサ装置２について、説明する。この光源プロセッサ装置２は、システムコントロール部２１，タイミング回路２２，光源部２３，及びビデオプロセス部２４を、備えている。なお、プロセッサ装置２の筐体には、上記コネクタＣを嵌め込み可能なコネクタ受け（図示略）が、備えられている。そして、このコネクタ受けに上記コネクタＣが嵌め込まれると、ライトガイド１４の基端が光源部２３に入り込み、信号線１６がタイミング回路２２に接続され、信号線１７がビデオプロセス部２４に接続される。
【００２３】
システムコントロール部２１は、光源プロセッサ装置２全体を制御する。このシステムコントロール部２１は、ケーブルＣ１を介して診断補助用装置３と接続されており、後述するタイミング回路２２が生成する基準信号を診断補助用装置３へ常時出力する。また、システムコントロール部２１には、ケーブルＣ１を介して、後述する診断補助用装置３から光源部２３による光の出力の開始又は停止を制御するための切換信号が、入力される。システムコントロール部２１は、この切換信号を受けて、光の出力が開始又は停止されるように光源部２３を制御する。さらに、このシステムコントロール部２１は、図示せぬ電源装置により主電源が投入されている間、タイミング回路２２及び信号線１６を介して撮像素子１５へ、基準信号によって示される一定周期のタイミングに従って、駆動信号を繰り返し送出する。なお、この駆動信号の送出は、光源部２３による光の出力の有無とは無関係に常に行われるので、撮像素子１５は、常時、信号線１７を介して画像信号をビデオプロセス部２４へ繰り返し出力する。
【００２４】
タイミング回路２２は、各種基準信号を生成してその信号の出力を制御する。光源プロセッサ装置２における各種処理は、この基準信号に従って進行する。
【００２５】
光源部２３は、ライトガイド１４の基端面へ赤色光，青色光，及び緑色光を繰り返し入射させる。これら赤色光，青色光，及び緑色光がライトガイド１４の基端面に入射するタイミングは、基準信号によって示されるタイミングに同期する。
【００２６】
ビデオプロセス部２４は、撮像素子１５から順次送られてくる画像信号を基準信号が示す各タイミングに合わせて、取得する。すなわち、ビデオプロセス部２４は、主電源が投入されている間、常に、画像信号を取得し続ける。なお、基準信号の示す各タイミングは一周期内で三つあり、ビデオプロセス部２４は、一周期内で三個のタイミングのうち、第１タイミングで取得された画像信号をＲ成分画像データ（デジタル信号）に変換し、第２タイミングで取得された画像信号をＢ成分画像データ（デジタル信号）に変換し、第３タイミングで取得された画像信号をＧ成分画像データ（デジタル信号）に変換する。そして、ビデオプロセス部２４は、これら三個一組の成分画像データをＲＧＢ信号として出力するとともに、ＮＴＳＣ信号（又はＰＡＬ信号）に変換して出力する。なお、ビデオプロセス部２４は、ケーブルＣ２を介して映像セレクター４と接続されているとともに、ケーブルＣ３を介して診断補助用装置３と接続されており、映像セレクター４にはＮＴＳＣ信号を、診断補助用装置３にはＲＧＢ信号を、それぞれ常時出力する。
【００２７】
ところで、光源部２３から射出された赤色光，青色光，及び緑色光がライトガイド１４の基端面へ繰り返し入射していると、各色の光は、そのライトガイド１４に導かれた後、配光レンズ１１により拡散されて電子内視鏡１の先端に対向した被検体へと照射される。このとき、撮像素子１５が被検体の赤色光による像，青色光による像，及び、緑色光による像を、それぞれ画像信号（以下、便宜上、赤色画像信号，青色画像信号，及び緑色画像信号という）に順次変換するが、各色画像信号が生成されるタイミングは、基準信号に従い第１乃至第３タイミングにそれぞれ同期されるので、ビデオプロセス部２４において生成されるＲ成分画像データ，Ｂ成分画像データ，及びＧ成分画像データは、それぞれ、赤色画像信号，青色画像信号，及び緑色画像信号に基づく画像データとなる。このため、光源部２３が各色の光を出力しているときにビデオプロセス部２４から出力されるＮＴＳＣ信号やＲＧＢ信号に基づく画像は、カラー画像となる。
【００２８】
＜診断補助用装置＞
次に、診断補助用装置３について、説明する。この診断補助用装置３は、プローブＰ，システムコントロール部３１，タイミング回路３２，光源部３３，及び画像処理回路３４を備えている。
【００２９】
プローブＰは、可視帯域及び紫外帯域の光が透過可能な多数又は単一の可撓な光ファイバを、内包している。なお、図１に示されるように、このプローブＰは、その先端が電子内視鏡１の鉗子チャネルとしての細管１３に挿入されてその挿入部１ａの先端面から突出した状態で、用いられる。
【００３０】
システムコントロール部３１は、診断補助用装置３全体を制御する。このシステムコントロール部３１には画像切換信号入力部Ｆが接続されており、この画像切換信号入力部Ｆに設けられている図示せぬ操作スイッチが術者によって操作されると操作後の画像切換信号入力部Ｆの状態に応じて観察モードを通常観察モード又は特殊観察モードに切り換える。このシステムコントロール部３１は、上記ケーブルＣ１を介して光源プロセッサ装置２のシステムコントロール部２１と繋がれており、通常観察モードを示す第１切換信号、又は、特殊観察モードを示す第２切換信号を、光源プロセッサ装置２のシステムコントロール部２１へ出力する。なお、第１又は第２切換信号が入力された光源プロセッサ装置２のシステムコントロール部２１は、第１切換信号が入力されたときには、光が出力されるように光源部２３を制御し、第２切換信号が入力されたときには、光の出力が停止されるように光源部２３を制御する。
【００３１】
また、このシステムコントロール部３１には、プロセッサ装置２のタイミング回路２２が生成する基準信号が、光源プロセッサ装置２のシステムコントロール部２１から上記ケーブルＣ１を介して常時入力される。但し、このシステムコントロール部３１は、特殊観察モードのときのみ、タイミング回路３２，光源部３３，及び画像処理回路３４を制御し、通常観察モードの時にはこれらの制御を停止する。さらに、このシステムコントロール部３１は、ケーブルＣ４を介して、映像セレクター４と繋がれており、上述した第１又は第２切換信号をその映像セレクター４へも出力する。
【００３２】
タイミング回路３２は、システムコントロール部３１から送信される上記基準信号を、光源部３３及び画像処理回路３４に対して送信する回路である。
【００３３】
光源部３３は、上述したように、特殊観察モードのときのみシステムコントロール部３１によって制御され、通常観察モードのときには動作しない。そして、特殊観察モードのときには、光源部３３は、基準信号によって示される各タイミングのうちの第１タイミングに合わせて、プローブＰの先端面に照明光である可視光（参照光）を入射させ、第２タイミングに合わせて、プローブＰの基端面に励起光である紫外光を入射させる。なお、第３タイミングでは、光源部３３は光を放出しない。従って、プローブＰの基端面には、参照光と励起光とが交互に入射する。
【００３４】
このプローブＰの先端面が、被検体である体腔壁に対向していると、この体腔壁には、プローブＰの先端面から射出された参照光及び励起光が、交互に照射される。なお、照射された参照光は体腔壁の表面にて反射され、照射された励起光は、体腔壁下の生体組織を励起させることによりそこから蛍光を発生させる。また、参照光及び励起光が照射されていないときには、体腔壁は光を反射又は放出しない。そして、可視光を反射することによって形成される被検体の像と、蛍光を放出することによって形成される被検体の像と、光を反射又は放出していない暗黒なイメージは、撮像素子１５により、第１乃至第３タイミングに同期されながら、それぞれ画像信号（以下、便宜上、参照光画像信号，蛍光画像信号，及び暗黒画像信号という）に順次変換される。各画像信号は、信号線１７を介して光源プロセッサ装置２のビデオプロセス部２４へ順に送信される。
【００３５】
ところで、通常観察モードでは、光源プロセッサ装置２のシステムコントロール部２１には、第１切換信号が入力されるので、その光源部２３からは各色の光が出力される。このとき、診断補助用装置３の光源部３３からは光が出力されない。このため、通常観察モードにあっては、プロセッサ装置２のビデオプロセス部２２には、上述したように、赤色画像信号，青色画像信号，及び緑色画像信号が順次送られてくるので、このビデオプロセス部２４は、これら各色画像信号に基づいて、カラー画像を示すＮＴＳＣ信号及びＲＧＢ信号を生成する。
【００３６】
これに対し、特殊観察モードでは、光源プロセッサ装置２のシステムコントロール部２１には、第２切換信号が入力されるので、その光源部２３からは、各色の光が出力されない。このとき、診断補助用装置３の光源部３３からは、参照光と励起光が交互に出力される。このため、特殊観察モードにあっては、光源プロセッサ装置２のビデオプロセス部２４には、上述したように、参照光画像信号，蛍光画像信号，及び暗黒画像信号が順次送られてくる。すると、参照光画像信号，蛍光画像信号，及び暗黒画像信号は、ビデオプロセス部２４によって、それぞれＲ成分画像データ，Ｂ成分画像データ，及びＧ成分画像データとして変換され、上記ケーブルＣ３を介して診断補助用装置３の画像処理回路３４へ出力される。
【００３７】
画像処理回路３４には、何れの観察モードにおいても、光源プロセッサ装置２のビデオプロセス部２４から、上記ケーブルＣ３を介してＲ成分画像データである参照光画像データ及び、Ｂ成分画像データである蛍光画像データ（以下、便宜上、この両成分画像データを「特殊画像生成用データ」という）が入力される。また、画像処理回路３４は、光源プロセッサ装置２のビデオプロセス部２４から入力されたＲＧＢ信号データに基づいて、特殊観察用画像の生成を行っている。但し、この画像処理回路３４は、特殊観察モードのときのみ、システムコントロール部３１によって制御され、通常観察モードのときには、動作しない。また、画像処理回路３４は、ケーブルＣ５を介して映像セレクター４と接続されており、このケーブルＣ５を介してＮＴＳＣ信号を映像セレクター４へ出力する。
【００３８】
図２は、診断補助用装置３及び画像処理回路３４の内部構成を示す回路図である。
【００３９】
図２に示されるように、画像処理回路３４は、前段信号処理回路３４１，Ａ／Ｄコンバータ３４２（図２において「Ａ／Ｄ」），参照光信号用メモリ３４３，蛍光信号用メモリ３４４，演算処理部３４５（取得部，及び診断用画像データ生成部に相当），Ｄ／Ａコンバータ（図２において「Ｄ／Ａ」）３４６，後段信号処理回路３４７から構成されている。また、Ａ／Ｄコンバータ３４２，参照光信号用メモリ３４３，蛍光信号用メモリ３４４，Ｄ／Ａコンバータ３４６は、タイミング回路３２と接続されており、このタイミング回路３２から送信される基準信号に従って、各種処理を行っている。
【００４０】
前段信号処理回路３４１は、光源プロセッサ装置２のビデオプロセス部２４から入力される一組の特殊画像生成用データに対して、電圧の増幅，ブランキング，クランプ，及びγ補正等のいわゆるカメラプロセス信号処理を行う回路である。前段信号処理回路３４１によってカメラプロセス処理を施された一組の特殊画像生成用データは、Ａ／Ｄコンバータ３４２によりデジタル信号に変換される。そして、デジタル信号に変換された一組の特殊画像生成用データのうち、参照光画像データは参照光信号用メモリ３４３，蛍光画像データは蛍光信号用メモリ３４４に、それぞれ振り分けて格納される。
【００４１】
参照光信号用メモリ３４３及び蛍光信号用メモリ３４４に格納された参照光画像データ及び蛍光画像データは、基準信号に従って一周期毎に、それぞれ演算処理部３４５に送信される。
【００４２】
演算処理部３４５は、後述するプログラムが格納されたＲＯＭや、そのＲＯＭからプログラムを読み出して実行するＣＰＵや、ＣＰＵの作業領域が展開されるＲＡＭや、ＣＰＵが処理に用いる各種の信号やデータを入出力するためのポートなどを備えた回路である。この演算処理部３４５は、各メモリ３４３，３４４から入力された参照光及び蛍光画像データに基づいて、後述する特殊観察画像信号を生成し、この特殊観察画像信号をＤ／Ａコンバータ３４６へ出力する。
【００４３】
なお、演算処理部３４５のＣＰＵは、各メモリ３４３，３４４から参照光画像データ及び蛍光画像データが送られてくると、ＲＯＭからプログラムを読み出して処理の実行を開始する。この処理の内容を、図３及び図４に示す。
【００４４】
図３に示されるように、処理開始後、ＣＰＵは、まず、参照光画像データを構成する全画素の輝度値の中から最大値及び最小値を抽出し、続いて、最大値をもつ画素の輝度値を所定の最大階調値（例えば「２５５」）に変換するとともに最小値をもつ画素の輝度値を所定の最小階調値（例えば「０」）に変換し、且つ、中間値をもつ画素の輝度値を各々当てはまる階調値に変換することにより、参照光画像データの全画素の輝度値を規格化し、同様に、蛍光画像データの全画素の輝度値を規格化する（Ｓ１０１）。次に、ＣＰＵは、参照光画像データ及び蛍光画像データに共通するローカル座標上の各位置の中から最初の座標（位置）を処理対象として特定し（Ｓ１０２）、処理をＳ１０３へ進める。
【００４５】
Ｓ１０３では、ＣＰＵは、両メモリ３４３，３４４から、処理対象座標上の、参照光画像データ及び蛍光画像データについての規格化前の輝度値を読み出す。
【００４６】
そして、ＣＰＵは、Ｓ１０３において読み出した参照光画像データ及び蛍光画像データの輝度値が、両方とも０でなかった場合（Ｓ１０４；ＮＯ）には、演算処理サブルーチンを実行する（Ｓ１０５）。この演算処理サブルーチンの内容を図４に示す。
【００４７】
図４に示されるように、演算処理サブルーチンの開始後、ＣＰＵは、規格化後の参照画像の処理対象座標上の画素の輝度値から、規格化後の蛍光画像の処理対象座標上の輝度値を差し引くことにより、処理対象座標における差分を算出し（Ｓ２０１）、処理対象座標における差分が所定の閾値以上であるか否かを判別する（Ｓ２０２）。
【００４８】
そして、ＣＰＵは、処理対象座標における差分が所定の閾値以上であった場合（Ｓ２０２；ＹＥＳ）には、処理対象座標上の各色成分の輝度値を（２５５，０，０）として生成する。また、ＣＰＵは、処理対象座標における差分が所定の閾値未満であった場合（Ｓ２０２；ＮＯ）には、規格化前の参照光画像データの当該座標における輝度値と同じ輝度値をそれぞれもつＲＧＢ成分を生成する（Ｓ２０４）。何れの場合においても、ＣＰＵは、演算処理サブルーチンを終了して、図３のメインルーチンに処理を戻す。
【００４９】
一方、読み出した参照光画像データ及び蛍光画像データのうちのいずれかの輝度値が０であるとＳ１０４にて判断した場合（Ｓ１０４；ＹＥＳ）には、ＣＰＵは、規格化前の参照光画像データの処理対象座標における輝度値と同じ輝度値をそれぞれもつＲＧＢ成分を生成する（Ｓ１０６）。
【００５０】
Ｓ１０５又はＳ１０６を完了した後、ＣＰＵは処理をＳ１０７へ進める。Ｓ１０７では、ＣＰＵは、Ｓ１０５又はＳ１０６にて生成された各色成分値を、処理対象座標に対応した記憶領域に上書きする。次のＳ１０８では、ＣＰＵは、全座標のうち、未処理のものが存在するか否かを判別する。
【００５１】
そして、ＣＰＵは、未処理の座標が存在していた場合（Ｓ１０８；ＹＥＳ）には、未処理の座標の中から、次の処理ループの処理対象としての１つの座標を特定し（Ｓ１０９）、処理をＳ１０３へ戻す。
【００５２】
そして、Ｓ１０３〜Ｓ１０９の処理ループの実行中、両画像データにおける全座標に対して処理を実行し終えた場合（Ｓ１０８；ＮＯ）には、ＣＰＵは、当該処理によって生成された特殊観察画像（白黒モノクロで表現された被検体上に患部と判断された箇所が例えば赤色にて示された画像）のカラー画像信号（以下、「特殊観察画像信号」という）をＤ／Ａコンバータ３４６に向けて送信し（Ｓ１１０）、その処理を終える。
【００５３】
演算処理部３４５において生成された特殊観察画像信号は、Ｄ／Ａコンバータ３４６において、デジタル信号からアナログ信号へと変換される。そして、アナログ信号とされた特殊観察画像信号は、後段信号処理回路３４７において増幅，クランプ，ブランキング，インピーダンスマッチング等の処理を受け、ＮＴＳＣ信号に変換され、上記ケーブルＣ５を介して映像セレクター４へ出力される。
【００５４】
＜映像セレクター＞
次に、映像セレクター４について、説明する。この映像セレクター４は、診断補助用装置３から上記ケーブルＣ４を介して第１切換信号を受信すると、通常観察モードであるとして、光源プロセッサ装置２から上記ケーブルＣ２を介して送られてくるＮＴＳＣ信号をモニターＭに出力し、モニターＭにカラーの通常観察画像を表示させる。一方、映像セレクター４は、診断補助用装置３から上記ケーブルＣ４を介して第２切換信号を受信すると、診断補助用装置３から上記ケーブルＣ５を介して送られてくるＮＴＳＣ信号をモニターＭに出力し、モニターＭに特殊観察画像を表示させる。
【００５５】
＜実施形態の動作＞
次に、上記のような構成を持つ診断補助用装置を含む電子内視鏡システムの動作について、説明する。
【００５６】
まず、術者は、画像切換信号入力部Ｆの図示せぬスイッチを操作して、観察モードを通常観察モードに切り換える。そして、鉗子チャネルとしての細管１３にプローブＰを挿入する前に、電子内視鏡１の挿入部を患者の体腔内に挿入し、その先端部を観察対象となる部位に対向させる。すると、モニターＭには、電子内視鏡１の先端部が対向した領域がカラー画像である通常観察画像として表示される。術者は、この通常観察画像を見て、被検体の状態を観察することができる。
【００５７】
さらに、術者は、通常観察画像の観察を通じて選択した部位に対して、診断補助用装置３を利用した観察を行う。具体的には、術者は、診断補助用装置３のプローブの先端を、電子内視鏡１の鉗子口１ｄから細管１３内へ挿入し、電子内視鏡１の先端側の鉗子口１ｃから突出させる。そして、術者は、画像切換信号入力部Ｆの図示せぬスイッチを操作して、観察モードを特殊観察モードへ切り換える。
【００５８】
すると、プローブＰの先端から可視光と励起光が交互に射出され、電子内視鏡１の先端に対向する体腔壁が、電子内視鏡１により、可視光により照明された状態と蛍光を発した状態とで、交互に撮影される。その結果、特殊観察モードにある光源プロセッサ装置２のビデオプロセス部２２からは、ＲＧＢ映像信号が、診断補助用装置３の画像処理回路３４へ出力される。
【００５９】
この画像処理回路３４内の演算処理部３４５は、ＲＧＢ映像信号から夫々抽出された参照光画像データ及び蛍光画像データに基づいて演算処理を実行することによって特殊観察画像信号を生成する。この時、演算処理部３４５は、参照光画像データ及び蛍光画像データに共通するローカル座標中の各位置のうち、参照光画像データ中の画素の輝度値又は蛍光画像データ中の画素の輝度値が０である座標については、上述したＳ１０５の演算処理サブルーチンを行わずに、参照光画像データの輝度値に基づく画像信号を形成する。従って、参照光のみが照射されており励起光が照射されていないために自家蛍光を発していない正常生体組織が病変部として認識されることを、防ぐことができる。
【００６０】
演算処理部３４５において生成された特殊観察画像信号は、ＮＴＳＣ信号に変換され、画像処理回路３４と映像セレクター４とを結ぶケーブルＣ４を介して、映像セレクター４に出力される。
【００６１】
特殊観察モードを示す信号を受けている映像セレクター４は、このような特殊観察画像を示すＮＴＳＣ映像信号を、画像処理回路３４から受信してモニターＭに出力するので、特殊観察モードでは、モニターＭには、特殊観察画像が映し出される。この時得られる特殊観察画像は、図５に示されるようなものとなる。図５は、本実施形態において生成される特殊観察画像の表示例を示す図である。１点鎖線にて囲まれる範囲が参照光の照射範囲を示し、破線にて囲まれる範囲が励起光の照射範囲を示す。また、Ｄが実際の病変部を示す。そして、斜線にてハッチングを施した範囲が異常部位として表示（着色）される範囲であるが、図５に示されるように、本実施形態において生成される特殊観察画像中では、励起光が照射されていない領域であっても正常部位は異常部位として表示されない。
【００６２】
＜まとめ＞
上述したように、本実施形態の画像処理装置によれば、参照光のみが照射され励起光が照射されていないために自家蛍光を発していない部位が正常であるにも拘わらず異常部位として表示されることを、防ぐことができる。
【００６３】
なお、本実施形態において、励起光のみが照射され参照光が照射されていない部位が生じる場合に関しても、演算処理部３４５が、上記のような処理を行うことによって演算エラーを防ぐことができる。
【００６４】
また、本実施形態において画像信号切換入力部Ｆは、フットスイッチであってもよいし、操作パネル上に設けられたスイッチ等の機構であっても良い。
【００６５】
【発明の効果】
以上に説明したように、本発明によれば、従来の手段による上記した問題点を解決し、より正確な自家蛍光画像を生成できる画像処理装置が提供できる。
【図面の簡単な説明】
【図１】本発明における内視鏡システムの内部の概略的な構成図
【図２】診断補助用装置の概略的な内部構成図
【図３】画像処理回路の演算処理部にて実行される処理の内容を示すフローチャート
【図４】演算処理部にて実行される演算処理サブルーチンの処理の内容を示すフローチャート
【図５】本発明における特殊観察画像の表示例
【図６】従来の特殊観察画像の表示例
【符号の説明】
１ 電子内視鏡
１１ 配光レンズ
１２ 対物レンズ
１３ 細管（鉗子チャネル）
１４ ライトガイド
１５ 撮像素子
２ プロセッサ装置
２２ 画像処理回路
３ 診断補助用装置
３１ システムコントロール部
３２ 画像処理部
３３ 光源部
３４５ 演算処理部
【発明の属する技術分野】
本発明は、生体から発せられる自家蛍光に基づいて術者による診断用の画像を生成する画像処理装置に、関する。
【０００２】
【従来の技術】
従来、生体組織に励起光（紫外光）を照射すると生体組織が励起して蛍光（自家蛍光）を発することが、知られている。さらに、腫瘍等の病変が生じている異常な生体組織が発する自家蛍光の強度が、正常な生体組織の発する自家蛍光の強度よりも弱いことも、良く知られている。
【０００３】
近年では、このような知識に基づいて、食道や胃腸などの体腔の内壁（体腔壁）において異常組織の有無の確認及びその位置を特定するための診断補助用装置が、開発されつつある（特許文献１参照）。
【０００４】
この診断補助用装置は、既存の電子内視鏡装置に組み合わせて、利用されるものであり、束ねられた多数の光ファイバからなるプローブと、このプローブの基端面に可視光及び励起光を交互に繰り返し供給する光源部と、電子内視鏡システムの光源プロセッサ装置から出力される画像データに特定の処理を施してモニター等に出力する画像処理装置とを、備えている。
【０００５】
この診断補助用装置は、このプローブを通じて可視光及び励起光を体腔壁に交互に照射する。その体腔壁は、電子内視鏡の先端に設けられた撮影装置により、可視光により照明されている状態と蛍光を発している状態とで、夫々、モノクロ撮影される。すると、電子内視鏡システムの光源プロセッサ装置からは、体腔壁が可視光によって照明された時の参照画像データと、体腔壁が蛍光を発している時の蛍光画像データとが、出力される。そして、これら画像データが入力される画像処理装置のＣＰＵは、主電源が投入されている間は、一組の参照画像データ及び蛍光画像データを取得する毎に、以下のような処理を実行している。
【０００６】
すなわち、画像処理装置は、まず、参照画像データと蛍光画像データについて、それぞれ全画素の輝度値の中から最大値及び最小値を抽出する。次に、最大値をもつ画素の輝度値を所定の最大階調値に変換すると共に最小値をもつ画素の値を所定の最小階調値に変換し、且つ、中間値をもつ他の画素の値を各々当てはまる階調値に変換することにより、参照画像データと蛍光画像データをそれぞれ規格化する。次に、規格化後の参照画像データと蛍光画像データとにおける互いに同じ座標にある画素同士の差分（参照画像データの画素値から蛍光画像データの画素値を差し引いて得られる差分）を、各座標についてとり、差分が所定の閾値以上である座標の画素を特定色の画素に変換する（例えば、赤色に変換する時は、ＲＧＢ成分の各輝度値をＲ＝２５５，Ｇ＝０，Ｂ＝０とする）。また、それ以外の座標上における画素を、参照画像信号の輝度値と各ＲＧＢ成分の輝度値が同値である白黒（グレー）に設定することによって、特殊観察画像のカラー画像データ（ＲＧＢ信号）を生成する。画像処理装置は、以上のような処理を行うことによって特殊観察用画像の画像データを生成し、これを順次バッファに記録する。そして、画像処理装置は、バッファに記録されている特殊観察用画像の画像データを読み出してＮＴＳＣ映像信号やＰＡＬ映像信号に変換し、変換後の信号に基づいてモニター等に特殊観察用画像を表示する。
【０００７】
この特殊観察用画像は、被検体が発する自家蛍光の強度に応じて、病変部として認識された部位が着色された状態で、表示される。また、病変部として認識されなかった部位は、モノクロ画像と同様に表示される。従って、術者は、この特殊観察用画像を観察することにより、被検体の形状を把握するとともに、当該被検体における自家蛍光の強度を認識して、診断を行うことができる。
【０００８】
【特許文献１】
特開２０００−０２３９０３号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上記従来技術による画像処理装置には、以下のような問題がある。
【００１０】
即ち、上述したような電子内視鏡システムにおいては、プローブから生体組織に向けて照射される励起光の照射範囲と参照光の照射範囲とは、通常互いに厳密に一致するようには調整されていない。図６は、従来の特殊観察画像における表示例を示す図である。１点鎖線にて囲まれる範囲が参照光の照射範囲を示し、破線にて囲まれる範囲が励起光の照射範囲を示す。また、Ｄが実際の病変部を示す。上述したように、被検体の生体組織が正常であるか異常であるかは、生体組織の自家蛍光の参照光の反射光に対する強度比に基づいて判断され、強度比が一定値よりも大きい部位は、一括して異常部位であるとみなされていた。従って上記例の場合には、実際の病変部Ｄの他、参照光のみが照射され励起光が照射されていないために自家蛍光を発していない部位が、病変部位であるか否かに拘わらず異常部位として表示されてしまっていた。図６においてハッチングを施した部位が、異常部位として表示（着色）される部位である。
【００１１】
本発明は、従来の手段による上記した問題点を解決し、より正確な特殊観察用画像を生成できる画像処理装置の提供を課題とする。
【００１２】
【課題を解決するための手段】
上記の課題を解決するために、本発明の画像処理装置は、以下のような構成を採用した。
【００１３】
即ち、照明光を照射された被検体表面における反射光によって形成された像に基づく第１の画像データと、励起光が照射された被検体から生じる自家蛍光によって形成された像に基づく第２の画像データとを用いて画像処理を行う画像処理装置において、前記第１の画像データ及び前記第２の画像データに共通して定義されるローカル座標上での各画素の位置毎に、前記第１の画像データ中の画素の輝度値と前記第２の画像データ中の画素の輝度値とを取得する取得部と、前記取得部によって取得された前記第１の画像データ中の画素の輝度値又は前記第２の画像データ中の画素の輝度値が０である前記ローカル座標中の位置，及び前記第１の画像データ中の画素の輝度値が示す明るさと前記第２の画像データ中の画素の輝度値が示す明るさとの差が所定の基準以下である前記ローカル座標中の位置には前記第１の画像データ中の前記画素の輝度値を設定し、前記第１の画像データ中の画素の輝度値が示す明るさと前記第２の画像データ中の画素の輝度値が示す明るさとの差が前記所定の基準を超える前記ローカル座標中の位置には所定の輝度値を設定することにより、診断用画像の画像データを生成する診断用画像データ生成部とを備えることを特徴としている。
【００１４】
このように構成されると、第１画像データ及び第２画像データに共通するローカル座標上の画素の輝度値を取得部が取得し、この取得部によって取得された第１画像データ中の画素の輝度値又は第２画像データ中の画素の輝度値が０である（即ち、照明光と励起光との照射範囲にズレが生じている）ローカル座標上の位置には、第１の画像データ中の同じローカル座標上の画素の輝度値が設定され、その他の位置においては、両画像データ中の画素の輝度値が夫々示す明るさの差が所定基準以下であれば、第１の画像データ中の画素の輝度値が設定され、所定基準を超えていれば、所定色に対応した輝度値が設定される。従って、本発明によれば、照明光と励起光との照射範囲にズレが生じている部位においては明るさを比較する処理が行われないため、励起光が照射されないために第２の画像データ中の画素の輝度値が０となる正常部位が、実際に病変であるか否かに拘わらず異常部位として表示されてしまうことを防ぐことができる。
【００１５】
また、この画像処理装置は、内視鏡システムのプロセッサ装置において生成された画像データを取得できれば良いので、プロセッサ装置に繋がれて用いられても良いし、プロセッサ装置の中に組み込まれて用いられても良い。
【００１６】
なお、第１の画像データ中の画素の輝度値が示す明るさと第２の画像データ中の画素の輝度値が示す明るさとの差が所定の基準値以下であるか否かは、取得された第１の画像データ及び第２の画像データのレベルが等しくなるように、両画像データを規格化した後に、規格化された第１の画像データ中の画素の輝度値と第２の画像データ中の画素の輝度値との差分を所定の基準に対応する閾値と比較することによって識別しても良いばかりでなく、第１の画像データ中の画素の輝度値と第２の画像データ中の画素の輝度値との比率を所定の基準に対応する閾値と比較することによって識別しても良いし、実質的に第１の画像データ中の画素の輝度値が示す明るさと第２の画像データ中の画素の輝度値が示す明るさとを比較するのであれば、どのような手段を用いても良い。もっとも、元々レベルが同じであれば、規格化は必要ない。
【００１７】
【発明の実施の形態】
以下、図面に基づいて本発明の実施形態を説明する。
【００１８】
図１は、本実施形態の内視鏡システムの模式図である。この内視鏡システムは、電子内視鏡１，光源プロセッサ装置２，診断補助用装置３，映像セレクター４，画像切換信号入力部Ｆ及びモニターＭを備えている。
【００１９】
＜電子内視鏡＞
まず、電子内視鏡１について、説明する。電子内視鏡１は、生体内に挿入される可撓管状の挿入部１ａと、その挿入部１ａの先端に組み込まれた湾曲部（図示略）を湾曲操作するためのアングルノブ（図示略）等が設けられている操作部１ｂとを、備えている。
【００２０】
挿入部１ａの先端面には、少なくとも３つの貫通孔（図示略）が穿たれており、そのうちの一対の貫通孔には、配光レンズ１１及び対物レンズ１２がそれぞれ嵌め込まれている。他の１つの貫通孔は、鉗子口１ｃとして利用される。挿入部１ａ内には、この鉗子口１ｃと操作部１ｂに穿たれた鉗子口１ｄとを結ぶ細管１３が、引き通されており、この細管１３が、電気メス等の処置具を挿通するための鉗子チャネルとして、機能する。
【００２１】
さらに、挿入部１ａ内には、先端面が配光レンズ１１に対向しているライトガイド１４と、対物レンズ１２の像面に撮像面が配置された撮像素子１５に対して接続されている信号線１６，１７とが引き通されている。これらライトガイド１４及び信号線１６，１７は、さらに、操作部１ｂの側面から延びた可撓管１ｅの先端に設けられたコネクタＣの端面に固定されている。
【００２２】
＜光源プロセッサ装置＞
次に、光源プロセッサ装置２について、説明する。この光源プロセッサ装置２は、システムコントロール部２１，タイミング回路２２，光源部２３，及びビデオプロセス部２４を、備えている。なお、プロセッサ装置２の筐体には、上記コネクタＣを嵌め込み可能なコネクタ受け（図示略）が、備えられている。そして、このコネクタ受けに上記コネクタＣが嵌め込まれると、ライトガイド１４の基端が光源部２３に入り込み、信号線１６がタイミング回路２２に接続され、信号線１７がビデオプロセス部２４に接続される。
【００２３】
システムコントロール部２１は、光源プロセッサ装置２全体を制御する。このシステムコントロール部２１は、ケーブルＣ１を介して診断補助用装置３と接続されており、後述するタイミング回路２２が生成する基準信号を診断補助用装置３へ常時出力する。また、システムコントロール部２１には、ケーブルＣ１を介して、後述する診断補助用装置３から光源部２３による光の出力の開始又は停止を制御するための切換信号が、入力される。システムコントロール部２１は、この切換信号を受けて、光の出力が開始又は停止されるように光源部２３を制御する。さらに、このシステムコントロール部２１は、図示せぬ電源装置により主電源が投入されている間、タイミング回路２２及び信号線１６を介して撮像素子１５へ、基準信号によって示される一定周期のタイミングに従って、駆動信号を繰り返し送出する。なお、この駆動信号の送出は、光源部２３による光の出力の有無とは無関係に常に行われるので、撮像素子１５は、常時、信号線１７を介して画像信号をビデオプロセス部２４へ繰り返し出力する。
【００２４】
タイミング回路２２は、各種基準信号を生成してその信号の出力を制御する。光源プロセッサ装置２における各種処理は、この基準信号に従って進行する。
【００２５】
光源部２３は、ライトガイド１４の基端面へ赤色光，青色光，及び緑色光を繰り返し入射させる。これら赤色光，青色光，及び緑色光がライトガイド１４の基端面に入射するタイミングは、基準信号によって示されるタイミングに同期する。
【００２６】
ビデオプロセス部２４は、撮像素子１５から順次送られてくる画像信号を基準信号が示す各タイミングに合わせて、取得する。すなわち、ビデオプロセス部２４は、主電源が投入されている間、常に、画像信号を取得し続ける。なお、基準信号の示す各タイミングは一周期内で三つあり、ビデオプロセス部２４は、一周期内で三個のタイミングのうち、第１タイミングで取得された画像信号をＲ成分画像データ（デジタル信号）に変換し、第２タイミングで取得された画像信号をＢ成分画像データ（デジタル信号）に変換し、第３タイミングで取得された画像信号をＧ成分画像データ（デジタル信号）に変換する。そして、ビデオプロセス部２４は、これら三個一組の成分画像データをＲＧＢ信号として出力するとともに、ＮＴＳＣ信号（又はＰＡＬ信号）に変換して出力する。なお、ビデオプロセス部２４は、ケーブルＣ２を介して映像セレクター４と接続されているとともに、ケーブルＣ３を介して診断補助用装置３と接続されており、映像セレクター４にはＮＴＳＣ信号を、診断補助用装置３にはＲＧＢ信号を、それぞれ常時出力する。
【００２７】
ところで、光源部２３から射出された赤色光，青色光，及び緑色光がライトガイド１４の基端面へ繰り返し入射していると、各色の光は、そのライトガイド１４に導かれた後、配光レンズ１１により拡散されて電子内視鏡１の先端に対向した被検体へと照射される。このとき、撮像素子１５が被検体の赤色光による像，青色光による像，及び、緑色光による像を、それぞれ画像信号（以下、便宜上、赤色画像信号，青色画像信号，及び緑色画像信号という）に順次変換するが、各色画像信号が生成されるタイミングは、基準信号に従い第１乃至第３タイミングにそれぞれ同期されるので、ビデオプロセス部２４において生成されるＲ成分画像データ，Ｂ成分画像データ，及びＧ成分画像データは、それぞれ、赤色画像信号，青色画像信号，及び緑色画像信号に基づく画像データとなる。このため、光源部２３が各色の光を出力しているときにビデオプロセス部２４から出力されるＮＴＳＣ信号やＲＧＢ信号に基づく画像は、カラー画像となる。
【００２８】
＜診断補助用装置＞
次に、診断補助用装置３について、説明する。この診断補助用装置３は、プローブＰ，システムコントロール部３１，タイミング回路３２，光源部３３，及び画像処理回路３４を備えている。
【００２９】
プローブＰは、可視帯域及び紫外帯域の光が透過可能な多数又は単一の可撓な光ファイバを、内包している。なお、図１に示されるように、このプローブＰは、その先端が電子内視鏡１の鉗子チャネルとしての細管１３に挿入されてその挿入部１ａの先端面から突出した状態で、用いられる。
【００３０】
システムコントロール部３１は、診断補助用装置３全体を制御する。このシステムコントロール部３１には画像切換信号入力部Ｆが接続されており、この画像切換信号入力部Ｆに設けられている図示せぬ操作スイッチが術者によって操作されると操作後の画像切換信号入力部Ｆの状態に応じて観察モードを通常観察モード又は特殊観察モードに切り換える。このシステムコントロール部３１は、上記ケーブルＣ１を介して光源プロセッサ装置２のシステムコントロール部２１と繋がれており、通常観察モードを示す第１切換信号、又は、特殊観察モードを示す第２切換信号を、光源プロセッサ装置２のシステムコントロール部２１へ出力する。なお、第１又は第２切換信号が入力された光源プロセッサ装置２のシステムコントロール部２１は、第１切換信号が入力されたときには、光が出力されるように光源部２３を制御し、第２切換信号が入力されたときには、光の出力が停止されるように光源部２３を制御する。
【００３１】
また、このシステムコントロール部３１には、プロセッサ装置２のタイミング回路２２が生成する基準信号が、光源プロセッサ装置２のシステムコントロール部２１から上記ケーブルＣ１を介して常時入力される。但し、このシステムコントロール部３１は、特殊観察モードのときのみ、タイミング回路３２，光源部３３，及び画像処理回路３４を制御し、通常観察モードの時にはこれらの制御を停止する。さらに、このシステムコントロール部３１は、ケーブルＣ４を介して、映像セレクター４と繋がれており、上述した第１又は第２切換信号をその映像セレクター４へも出力する。
【００３２】
タイミング回路３２は、システムコントロール部３１から送信される上記基準信号を、光源部３３及び画像処理回路３４に対して送信する回路である。
【００３３】
光源部３３は、上述したように、特殊観察モードのときのみシステムコントロール部３１によって制御され、通常観察モードのときには動作しない。そして、特殊観察モードのときには、光源部３３は、基準信号によって示される各タイミングのうちの第１タイミングに合わせて、プローブＰの先端面に照明光である可視光（参照光）を入射させ、第２タイミングに合わせて、プローブＰの基端面に励起光である紫外光を入射させる。なお、第３タイミングでは、光源部３３は光を放出しない。従って、プローブＰの基端面には、参照光と励起光とが交互に入射する。
【００３４】
このプローブＰの先端面が、被検体である体腔壁に対向していると、この体腔壁には、プローブＰの先端面から射出された参照光及び励起光が、交互に照射される。なお、照射された参照光は体腔壁の表面にて反射され、照射された励起光は、体腔壁下の生体組織を励起させることによりそこから蛍光を発生させる。また、参照光及び励起光が照射されていないときには、体腔壁は光を反射又は放出しない。そして、可視光を反射することによって形成される被検体の像と、蛍光を放出することによって形成される被検体の像と、光を反射又は放出していない暗黒なイメージは、撮像素子１５により、第１乃至第３タイミングに同期されながら、それぞれ画像信号（以下、便宜上、参照光画像信号，蛍光画像信号，及び暗黒画像信号という）に順次変換される。各画像信号は、信号線１７を介して光源プロセッサ装置２のビデオプロセス部２４へ順に送信される。
【００３５】
ところで、通常観察モードでは、光源プロセッサ装置２のシステムコントロール部２１には、第１切換信号が入力されるので、その光源部２３からは各色の光が出力される。このとき、診断補助用装置３の光源部３３からは光が出力されない。このため、通常観察モードにあっては、プロセッサ装置２のビデオプロセス部２２には、上述したように、赤色画像信号，青色画像信号，及び緑色画像信号が順次送られてくるので、このビデオプロセス部２４は、これら各色画像信号に基づいて、カラー画像を示すＮＴＳＣ信号及びＲＧＢ信号を生成する。
【００３６】
これに対し、特殊観察モードでは、光源プロセッサ装置２のシステムコントロール部２１には、第２切換信号が入力されるので、その光源部２３からは、各色の光が出力されない。このとき、診断補助用装置３の光源部３３からは、参照光と励起光が交互に出力される。このため、特殊観察モードにあっては、光源プロセッサ装置２のビデオプロセス部２４には、上述したように、参照光画像信号，蛍光画像信号，及び暗黒画像信号が順次送られてくる。すると、参照光画像信号，蛍光画像信号，及び暗黒画像信号は、ビデオプロセス部２４によって、それぞれＲ成分画像データ，Ｂ成分画像データ，及びＧ成分画像データとして変換され、上記ケーブルＣ３を介して診断補助用装置３の画像処理回路３４へ出力される。
【００３７】
画像処理回路３４には、何れの観察モードにおいても、光源プロセッサ装置２のビデオプロセス部２４から、上記ケーブルＣ３を介してＲ成分画像データである参照光画像データ及び、Ｂ成分画像データである蛍光画像データ（以下、便宜上、この両成分画像データを「特殊画像生成用データ」という）が入力される。また、画像処理回路３４は、光源プロセッサ装置２のビデオプロセス部２４から入力されたＲＧＢ信号データに基づいて、特殊観察用画像の生成を行っている。但し、この画像処理回路３４は、特殊観察モードのときのみ、システムコントロール部３１によって制御され、通常観察モードのときには、動作しない。また、画像処理回路３４は、ケーブルＣ５を介して映像セレクター４と接続されており、このケーブルＣ５を介してＮＴＳＣ信号を映像セレクター４へ出力する。
【００３８】
図２は、診断補助用装置３及び画像処理回路３４の内部構成を示す回路図である。
【００３９】
図２に示されるように、画像処理回路３４は、前段信号処理回路３４１，Ａ／Ｄコンバータ３４２（図２において「Ａ／Ｄ」），参照光信号用メモリ３４３，蛍光信号用メモリ３４４，演算処理部３４５（取得部，及び診断用画像データ生成部に相当），Ｄ／Ａコンバータ（図２において「Ｄ／Ａ」）３４６，後段信号処理回路３４７から構成されている。また、Ａ／Ｄコンバータ３４２，参照光信号用メモリ３４３，蛍光信号用メモリ３４４，Ｄ／Ａコンバータ３４６は、タイミング回路３２と接続されており、このタイミング回路３２から送信される基準信号に従って、各種処理を行っている。
【００４０】
前段信号処理回路３４１は、光源プロセッサ装置２のビデオプロセス部２４から入力される一組の特殊画像生成用データに対して、電圧の増幅，ブランキング，クランプ，及びγ補正等のいわゆるカメラプロセス信号処理を行う回路である。前段信号処理回路３４１によってカメラプロセス処理を施された一組の特殊画像生成用データは、Ａ／Ｄコンバータ３４２によりデジタル信号に変換される。そして、デジタル信号に変換された一組の特殊画像生成用データのうち、参照光画像データは参照光信号用メモリ３４３，蛍光画像データは蛍光信号用メモリ３４４に、それぞれ振り分けて格納される。
【００４１】
参照光信号用メモリ３４３及び蛍光信号用メモリ３４４に格納された参照光画像データ及び蛍光画像データは、基準信号に従って一周期毎に、それぞれ演算処理部３４５に送信される。
【００４２】
演算処理部３４５は、後述するプログラムが格納されたＲＯＭや、そのＲＯＭからプログラムを読み出して実行するＣＰＵや、ＣＰＵの作業領域が展開されるＲＡＭや、ＣＰＵが処理に用いる各種の信号やデータを入出力するためのポートなどを備えた回路である。この演算処理部３４５は、各メモリ３４３，３４４から入力された参照光及び蛍光画像データに基づいて、後述する特殊観察画像信号を生成し、この特殊観察画像信号をＤ／Ａコンバータ３４６へ出力する。
【００４３】
なお、演算処理部３４５のＣＰＵは、各メモリ３４３，３４４から参照光画像データ及び蛍光画像データが送られてくると、ＲＯＭからプログラムを読み出して処理の実行を開始する。この処理の内容を、図３及び図４に示す。
【００４４】
図３に示されるように、処理開始後、ＣＰＵは、まず、参照光画像データを構成する全画素の輝度値の中から最大値及び最小値を抽出し、続いて、最大値をもつ画素の輝度値を所定の最大階調値（例えば「２５５」）に変換するとともに最小値をもつ画素の輝度値を所定の最小階調値（例えば「０」）に変換し、且つ、中間値をもつ画素の輝度値を各々当てはまる階調値に変換することにより、参照光画像データの全画素の輝度値を規格化し、同様に、蛍光画像データの全画素の輝度値を規格化する（Ｓ１０１）。次に、ＣＰＵは、参照光画像データ及び蛍光画像データに共通するローカル座標上の各位置の中から最初の座標（位置）を処理対象として特定し（Ｓ１０２）、処理をＳ１０３へ進める。
【００４５】
Ｓ１０３では、ＣＰＵは、両メモリ３４３，３４４から、処理対象座標上の、参照光画像データ及び蛍光画像データについての規格化前の輝度値を読み出す。
【００４６】
そして、ＣＰＵは、Ｓ１０３において読み出した参照光画像データ及び蛍光画像データの輝度値が、両方とも０でなかった場合（Ｓ１０４；ＮＯ）には、演算処理サブルーチンを実行する（Ｓ１０５）。この演算処理サブルーチンの内容を図４に示す。
【００４７】
図４に示されるように、演算処理サブルーチンの開始後、ＣＰＵは、規格化後の参照画像の処理対象座標上の画素の輝度値から、規格化後の蛍光画像の処理対象座標上の輝度値を差し引くことにより、処理対象座標における差分を算出し（Ｓ２０１）、処理対象座標における差分が所定の閾値以上であるか否かを判別する（Ｓ２０２）。
【００４８】
そして、ＣＰＵは、処理対象座標における差分が所定の閾値以上であった場合（Ｓ２０２；ＹＥＳ）には、処理対象座標上の各色成分の輝度値を（２５５，０，０）として生成する。また、ＣＰＵは、処理対象座標における差分が所定の閾値未満であった場合（Ｓ２０２；ＮＯ）には、規格化前の参照光画像データの当該座標における輝度値と同じ輝度値をそれぞれもつＲＧＢ成分を生成する（Ｓ２０４）。何れの場合においても、ＣＰＵは、演算処理サブルーチンを終了して、図３のメインルーチンに処理を戻す。
【００４９】
一方、読み出した参照光画像データ及び蛍光画像データのうちのいずれかの輝度値が０であるとＳ１０４にて判断した場合（Ｓ１０４；ＹＥＳ）には、ＣＰＵは、規格化前の参照光画像データの処理対象座標における輝度値と同じ輝度値をそれぞれもつＲＧＢ成分を生成する（Ｓ１０６）。
【００５０】
Ｓ１０５又はＳ１０６を完了した後、ＣＰＵは処理をＳ１０７へ進める。Ｓ１０７では、ＣＰＵは、Ｓ１０５又はＳ１０６にて生成された各色成分値を、処理対象座標に対応した記憶領域に上書きする。次のＳ１０８では、ＣＰＵは、全座標のうち、未処理のものが存在するか否かを判別する。
【００５１】
そして、ＣＰＵは、未処理の座標が存在していた場合（Ｓ１０８；ＹＥＳ）には、未処理の座標の中から、次の処理ループの処理対象としての１つの座標を特定し（Ｓ１０９）、処理をＳ１０３へ戻す。
【００５２】
そして、Ｓ１０３〜Ｓ１０９の処理ループの実行中、両画像データにおける全座標に対して処理を実行し終えた場合（Ｓ１０８；ＮＯ）には、ＣＰＵは、当該処理によって生成された特殊観察画像（白黒モノクロで表現された被検体上に患部と判断された箇所が例えば赤色にて示された画像）のカラー画像信号（以下、「特殊観察画像信号」という）をＤ／Ａコンバータ３４６に向けて送信し（Ｓ１１０）、その処理を終える。
【００５３】
演算処理部３４５において生成された特殊観察画像信号は、Ｄ／Ａコンバータ３４６において、デジタル信号からアナログ信号へと変換される。そして、アナログ信号とされた特殊観察画像信号は、後段信号処理回路３４７において増幅，クランプ，ブランキング，インピーダンスマッチング等の処理を受け、ＮＴＳＣ信号に変換され、上記ケーブルＣ５を介して映像セレクター４へ出力される。
【００５４】
＜映像セレクター＞
次に、映像セレクター４について、説明する。この映像セレクター４は、診断補助用装置３から上記ケーブルＣ４を介して第１切換信号を受信すると、通常観察モードであるとして、光源プロセッサ装置２から上記ケーブルＣ２を介して送られてくるＮＴＳＣ信号をモニターＭに出力し、モニターＭにカラーの通常観察画像を表示させる。一方、映像セレクター４は、診断補助用装置３から上記ケーブルＣ４を介して第２切換信号を受信すると、診断補助用装置３から上記ケーブルＣ５を介して送られてくるＮＴＳＣ信号をモニターＭに出力し、モニターＭに特殊観察画像を表示させる。
【００５５】
＜実施形態の動作＞
次に、上記のような構成を持つ診断補助用装置を含む電子内視鏡システムの動作について、説明する。
【００５６】
まず、術者は、画像切換信号入力部Ｆの図示せぬスイッチを操作して、観察モードを通常観察モードに切り換える。そして、鉗子チャネルとしての細管１３にプローブＰを挿入する前に、電子内視鏡１の挿入部を患者の体腔内に挿入し、その先端部を観察対象となる部位に対向させる。すると、モニターＭには、電子内視鏡１の先端部が対向した領域がカラー画像である通常観察画像として表示される。術者は、この通常観察画像を見て、被検体の状態を観察することができる。
【００５７】
さらに、術者は、通常観察画像の観察を通じて選択した部位に対して、診断補助用装置３を利用した観察を行う。具体的には、術者は、診断補助用装置３のプローブの先端を、電子内視鏡１の鉗子口１ｄから細管１３内へ挿入し、電子内視鏡１の先端側の鉗子口１ｃから突出させる。そして、術者は、画像切換信号入力部Ｆの図示せぬスイッチを操作して、観察モードを特殊観察モードへ切り換える。
【００５８】
すると、プローブＰの先端から可視光と励起光が交互に射出され、電子内視鏡１の先端に対向する体腔壁が、電子内視鏡１により、可視光により照明された状態と蛍光を発した状態とで、交互に撮影される。その結果、特殊観察モードにある光源プロセッサ装置２のビデオプロセス部２２からは、ＲＧＢ映像信号が、診断補助用装置３の画像処理回路３４へ出力される。
【００５９】
この画像処理回路３４内の演算処理部３４５は、ＲＧＢ映像信号から夫々抽出された参照光画像データ及び蛍光画像データに基づいて演算処理を実行することによって特殊観察画像信号を生成する。この時、演算処理部３４５は、参照光画像データ及び蛍光画像データに共通するローカル座標中の各位置のうち、参照光画像データ中の画素の輝度値又は蛍光画像データ中の画素の輝度値が０である座標については、上述したＳ１０５の演算処理サブルーチンを行わずに、参照光画像データの輝度値に基づく画像信号を形成する。従って、参照光のみが照射されており励起光が照射されていないために自家蛍光を発していない正常生体組織が病変部として認識されることを、防ぐことができる。
【００６０】
演算処理部３４５において生成された特殊観察画像信号は、ＮＴＳＣ信号に変換され、画像処理回路３４と映像セレクター４とを結ぶケーブルＣ４を介して、映像セレクター４に出力される。
【００６１】
特殊観察モードを示す信号を受けている映像セレクター４は、このような特殊観察画像を示すＮＴＳＣ映像信号を、画像処理回路３４から受信してモニターＭに出力するので、特殊観察モードでは、モニターＭには、特殊観察画像が映し出される。この時得られる特殊観察画像は、図５に示されるようなものとなる。図５は、本実施形態において生成される特殊観察画像の表示例を示す図である。１点鎖線にて囲まれる範囲が参照光の照射範囲を示し、破線にて囲まれる範囲が励起光の照射範囲を示す。また、Ｄが実際の病変部を示す。そして、斜線にてハッチングを施した範囲が異常部位として表示（着色）される範囲であるが、図５に示されるように、本実施形態において生成される特殊観察画像中では、励起光が照射されていない領域であっても正常部位は異常部位として表示されない。
【００６２】
＜まとめ＞
上述したように、本実施形態の画像処理装置によれば、参照光のみが照射され励起光が照射されていないために自家蛍光を発していない部位が正常であるにも拘わらず異常部位として表示されることを、防ぐことができる。
【００６３】
なお、本実施形態において、励起光のみが照射され参照光が照射されていない部位が生じる場合に関しても、演算処理部３４５が、上記のような処理を行うことによって演算エラーを防ぐことができる。
【００６４】
また、本実施形態において画像信号切換入力部Ｆは、フットスイッチであってもよいし、操作パネル上に設けられたスイッチ等の機構であっても良い。
【００６５】
【発明の効果】
以上に説明したように、本発明によれば、従来の手段による上記した問題点を解決し、より正確な自家蛍光画像を生成できる画像処理装置が提供できる。
【図面の簡単な説明】
【図１】本発明における内視鏡システムの内部の概略的な構成図
【図２】診断補助用装置の概略的な内部構成図
【図３】画像処理回路の演算処理部にて実行される処理の内容を示すフローチャート
【図４】演算処理部にて実行される演算処理サブルーチンの処理の内容を示すフローチャート
【図５】本発明における特殊観察画像の表示例
【図６】従来の特殊観察画像の表示例
【符号の説明】
１ 電子内視鏡
１１ 配光レンズ
１２ 対物レンズ
１３ 細管（鉗子チャネル）
１４ ライトガイド
１５ 撮像素子
２ プロセッサ装置
２２ 画像処理回路
３ 診断補助用装置
３１ システムコントロール部
３２ 画像処理部
３３ 光源部
３４５ 演算処理部
Claims (5)
- 照明光を照射された被検体表面における反射光によって形成された像に基づく第１の画像データと、励起光が照射された被検体から生じる自家蛍光によって形成された像に基づく第２の画像データとを用いて画像処理を行う画像処理装置において、
前記第１の画像データ及び前記第２の画像データに共通して定義されるローカル座標上での各画素の位置毎に、前記第１の画像データ中の画素の輝度値と前記第２の画像データ中の画素の輝度値とを取得する取得部と、
前記取得部によって取得された前記第１の画像データ中の画素の輝度値又は前記第２の画像データ中の画素の輝度値が０である前記ローカル座標中の位置，及び前記第１の画像データ中の画素の輝度値が示す明るさと前記第２の画像データ中の画素の輝度値が示す明るさとの差が所定の基準以下である前記ローカル座標中の位置には前記第１の画像データ中の前記画素の輝度値を設定し、前記第１の画像データ中の画素の輝度値が示す明るさと前記第２の画像データ中の画素の輝度値が示す明るさとの差が前記所定の基準を超える前記ローカル座標中の位置には所定の輝度値を設定することにより、診断用画像の画像データを生成する診断用画像データ生成部と
を備えることを特徴とする画像処理装置。 - 前記照明光は、可視帯域の波長を持つ可視光である
ことを特徴とする請求項１記載の画像処理装置。 - 前記励起光は、紫外帯域の波長を持つ紫外光である
ことを特徴とする請求項１記載の画像処理装置。 - 前記第１の画像データ及び前記第２の画像データは、夫々、撮像素子から出力された画像信号をデジタル画像信号に変換する内視鏡システムのプロセッサ装置において生成された画像データである
ことを特徴とする請求項１記載の画像処理装置。 - 前記診断用画像データ生成部は、前記取得部によって取得された前記第１の画像データ及び前記第２の画像データのレベルが等しくなるように規格化し、規格化後の前記第１の画像データ中の画素の輝度値と前記第２の画像データ中の画素の輝度値との差分を前記所定の基準に対応する閾値と比較することによって、前記第１の画像データ中の画素の輝度値が示す明るさと前記第２の画像データ中の画素の輝度値が示す明るさとの差を前記所定の基準以下であるか否かを識別することを特徴とする請求項１記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003004095A JP2004215738A (ja) | 2003-01-10 | 2003-01-10 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003004095A JP2004215738A (ja) | 2003-01-10 | 2003-01-10 | 画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004215738A true JP2004215738A (ja) | 2004-08-05 |
Family
ID=32895168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003004095A Withdrawn JP2004215738A (ja) | 2003-01-10 | 2003-01-10 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004215738A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006192058A (ja) * | 2005-01-13 | 2006-07-27 | Pentax Corp | 画像処理装置 |
| JP2006192065A (ja) * | 2005-01-13 | 2006-07-27 | Pentax Corp | 画像処理装置 |
| JP2006204777A (ja) * | 2005-01-31 | 2006-08-10 | Pentax Corp | 電子内視鏡システム |
| JP2011024726A (ja) * | 2009-07-23 | 2011-02-10 | Olympus Medical Systems Corp | 画像処理装置 |
| CN104274149A (zh) * | 2013-07-12 | 2015-01-14 | 深圳先进技术研究院 | 光声-荧光双模成像内窥镜 |
| US11295443B2 (en) | 2020-02-07 | 2022-04-05 | Casio Computer Co., Ltd. | Identification apparatus, identifier training method, identification method, and recording medium |
-
2003
- 2003-01-10 JP JP2003004095A patent/JP2004215738A/ja not_active Withdrawn
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006192058A (ja) * | 2005-01-13 | 2006-07-27 | Pentax Corp | 画像処理装置 |
| JP2006192065A (ja) * | 2005-01-13 | 2006-07-27 | Pentax Corp | 画像処理装置 |
| JP2006204777A (ja) * | 2005-01-31 | 2006-08-10 | Pentax Corp | 電子内視鏡システム |
| JP4611762B2 (ja) * | 2005-01-31 | 2011-01-12 | Ｈｏｙａ株式会社 | 電子内視鏡システム |
| JP2011024726A (ja) * | 2009-07-23 | 2011-02-10 | Olympus Medical Systems Corp | 画像処理装置 |
| CN104274149A (zh) * | 2013-07-12 | 2015-01-14 | 深圳先进技术研究院 | 光声-荧光双模成像内窥镜 |
| US11295443B2 (en) | 2020-02-07 | 2022-04-05 | Casio Computer Co., Ltd. | Identification apparatus, identifier training method, identification method, and recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4199510B2 (ja) | 診断補助用装置 | |
| JP2004248721A (ja) | 診断補助用装置 | |
| JP5450527B2 (ja) | 内視鏡装置 | |
| KR100972242B1 (ko) | 화상 처리 장치, 내시경 장치 및 컬러 밸런스 조정 방법 | |
| JP5981052B2 (ja) | 処理装置、内視鏡システム、内視鏡装置、画像処理装置の作動方法および画像処理プログラム | |
| JP4394356B2 (ja) | 電子内視鏡装置 | |
| WO2017115442A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| KR20040069332A (ko) | 내시경 화상 처리 장치 | |
| KR20070110893A (ko) | 전자 내시경용 신호 처리 장치 및 전자 내시경 장치 | |
| CN114945314A (zh) | 医疗图像处理装置、内窥镜系统、诊断辅助方法及程序 | |
| JP5554288B2 (ja) | 内視鏡システム、プロセッサ装置及び画像補正方法 | |
| JP2009279169A (ja) | 蛍光画像取得方法および蛍光画像取得装置 | |
| JP5766773B2 (ja) | 内視鏡システムおよび内視鏡システムの作動方法 | |
| JP3884265B2 (ja) | 内視鏡装置 | |
| WO2020178962A1 (ja) | 内視鏡システムおよび画像処理装置 | |
| JP4575208B2 (ja) | 電子内視鏡装置 | |
| JP2004215738A (ja) | 画像処理装置 | |
| JP4142326B2 (ja) | 自家蛍光を利用した診断システム | |
| JP2005319212A (ja) | 蛍光内視鏡装置 | |
| US20090105540A1 (en) | Endoscope control apparatus | |
| JP2012020028A (ja) | 電子内視鏡用プロセッサ | |
| US11141053B2 (en) | Endoscope apparatus and control apparatus | |
| JP2007236598A (ja) | プロセッサおよび電子内視鏡システム | |
| JP2004194821A (ja) | 励起光光源装置 | |
| JP4373726B2 (ja) | 自家蛍光観察装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051012 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080501 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20090402 |