JP2005348902A - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
JP2005348902A
JP2005348902A JP2004171837A JP2004171837A JP2005348902A JP 2005348902 A JP2005348902 A JP 2005348902A JP 2004171837 A JP2004171837 A JP 2004171837A JP 2004171837 A JP2004171837 A JP 2004171837A JP 2005348902 A JP2005348902 A JP 2005348902A
Authority
JP
Japan
Prior art keywords
organ
image
observation
endoscope apparatus
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004171837A
Other languages
English (en)
Inventor
Yoshinori Takahashi
義典 高橋
Tsuyoshi Ozawa
剛志 小澤
Katsuichi Imaizumi
克一 今泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004171837A priority Critical patent/JP2005348902A/ja
Publication of JP2005348902A publication Critical patent/JP2005348902A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】観察中の臓器または臓器の境界部分を検出し、自家蛍光観察時におけるシステム色調を臓器毎に自動で切換えること。
【解決手段】本発明の内視鏡装置1は、光源3より出射する照明光を基に、CCD27及び高感度CCD28により被検体を撮像し、撮像した前記被検体の像を画像信号に変換して送信するスコープ2を備え、前記画像信号に対し、所定の色補正を行うカラーバランス補正回路35と、前記スコープ2により撮像した画像信号に基づく画像の平均色調を基に前記被検体の臓器を識別する臓器識別部40Aを有する画像処理回路40と、前記臓器識別部40Aからの臓器識別信号に基づき、前記カラーバランス補正回路35を制御するCPU44とを有している。
【選択図】図1

Description

本発明は、内視鏡装置に関し、特に観察中の臓器、または臓器の境界部分を自動で検出し、この検出結果に基づき自家蛍光観察時のシステム色調を臓器毎に自動で切換えることのできる内視鏡装置に関するものである。
従来より、内視鏡装置は医療分野等において広く用いられている。特に、医療分野における内視鏡装置は、術者が被検体である生体内の検査、観察等の処置を行うという用途において主に用いられている。
医療分野における内視鏡装置を用いた観察として一般的に知られているものとしては、例えば、主に白色光を生体内に照射し、肉眼による観察と略同様の生体内の像を撮像する通常観察の他に、特定の波長域を有する励起光を生体内に照射した際に生体内の生体組織が発する自家蛍光の像を撮像し、該自家蛍光の像を観察することにより、生体内の正常部位及び病変部位を判別することができる自家蛍光観察がある。
自家蛍光観察を行うことができる従来の内視鏡装置としては、例えば特開2004−24496号公報や特開2004−24497号公報によって開示された蛍光診断画像生成装置がある。
前記特開2004−24496号公報による蛍光診断画像生成装置は、蛍光診断画像生成手段を有している。
この蛍光診断画像生成手段は、励起光の照射により生体組織から発せられる蛍光に基づいた蛍光画像データと、光の反射により前記生体組織から発せられる反射光に基づいた補助画像データを取得し、画素毎に、蛍光画像データの画素値と補助画像データの画素値との比率に応じて色情報を割り当てて蛍光診断画像データを生成して出力するもので、前記生体組織の測定部位に応じて、前記画素値の比率に対して割り当てる色情報を変更して、自家蛍光強度の部位毎のバラツキを無くすようにしている。
また、前記特開2004−24497号公報による蛍光診断画像生成装置は、前記従来例と略同様であるが、前記蛍光診断画像生成手段は、画素毎に、蛍光画像データの画素値と補助画像データの画素値との比率を反映する蛍光演算値を求め、この蛍光演算値に応じて色情報を割り当てるもので、前記生体組織の測定部位に応じて、前記蛍光演算値を求める際の演算条件を変更して、自家蛍光強度の部位毎のバラツキを無くすようにしている。
以上、述べた前記従来の蛍光診断画像生成装置は、前記蛍光診断画像データを生成し出力する際に、測定部位が複数枚である場合であっても、表示された蛍光診断画像データの色情報に基づいて、組織性状を容易に認識することができる。
また、前述したように組織性状(臓器)を検出する従来技術としては、例えば特開2004−49925号公報によって開示された臓器認識装置がある。
この提案による臓器認識装置は、入力超音波映像信号から体内の臓器を認識するための装置であって、前記入力超音波映像信号の第1の特徴ベクトルと、予め決められた臓器種別の超音波像に対する平均ベクトル及び標準偏差ベクトルに基づいて、前記平均ベクトルの中のいずれか1つを選択し、選択した平均ベクトルに対応する臓器を前記入力超音波映像信号に対応する臓器として決定する臓器決定手段を有している。
こうして、前記従来の臓器認識装置は、入力超音波映像信号から体内の各臓器を自動に認識することができる。
特開2004−24496号公報 特開2004−24497号公報 特開2004−49925号公報
前記従来の内視鏡装置は、臓器毎、特に食道と胃とでは自家蛍光強度が異なるため、臓器毎に自家蛍光観察における最適な色を実現するために、カラーゲイン値を変更する必要がある。しかしながら、前記特開2004−24496号公報や特開2004−24497号公報の従来技術では、カラーゲイン値を変更する場合、観察者がスイッチ操作等により毎回操作しなければならず煩わしかった。また、前記内視鏡装置では、カラーゲイン値を変更する際に必要な、臓器毎に異なる補正係数を有している場合、観察中の臓器が変わったとしても、観察者がそれに気づかずに別の臓器に対応した色設定で観察してしまう場合があるといった不都合があった。
本発明は、前記した点に鑑みてなされたものであり、観察中の臓器または臓器の境界部分を検出し、自家蛍光観察時におけるシステム色調を臓器毎に自動で切換えることのできる内視鏡装置を提供することを目的としている。
本発明の内視鏡装置は、光源より出射する照明光を基に、固体撮像素子により被検体を撮像し、撮像した前記被検体の像を画像信号に変換して送信する撮像手段を有する内視鏡装置において、前記画像信号に対し、所定の色補正を行う色補正手段と、前記撮像手段により撮像した前記被検体の臓器を識別する臓器識別手段と、前記臓器識別手段からの識別結果に基づき、前記色補正手段を制御する制御手段と、を具備したことを特徴とするものである。
本発明の内視鏡装置は、観察中の臓器または臓器の境界部分を検出し、自家蛍光観察時におけるシステム色調を臓器毎に自動で切換えることができるといった利点がある。
以下、図面を参照して本発明の実施例を説明する。
図1乃至図4は本発明の第1実施例に係り、図1は第1実施例に係る内視鏡装置の全体構成を示すブロック図、図2は図1のカラーバランス補正回路の構成を示すブロック図、図3は図1の画像処理回路の構成を示すブロック図、図4は図3の画像処理回路による臓器識別方法を説明するための説明図である。
図1に示すように、第1実施例の内視鏡装置1は、体腔内に挿入され、体腔内を撮像するための電子内視鏡(以下、スコープと略記)2と、観察用の照明光を発生する光源装置3と、スコープ2で撮像された画像信号に対する信号処理を行うプロセッサ4と、内視鏡画像を表示する観察モニタ5と、内視鏡画像を記憶するデジタルファイリング装置6Aと、記憶する内視鏡画像の写真撮影等が可能な写真撮影装置6Bと、を有している。
前記スコープ2は、体腔内に挿入される細長の挿入部2Aと、この挿入部2Aの後端に設けられた操作部2Bとを有する。この挿入部2A内には照明光を伝送するライトガイド15が挿通され、このライトガイド15の後端のライトガイドコネクタ15Aは光源装置3に着脱自在に接続され、光源装置3から供給される照明光を伝送し、挿入部2Aの先端部2aの照明窓に取り付けられた先端面からさらに照明レンズ76を経て体腔内の患部等の被写体15B側を照明する。
この先端部2aには、照明窓に隣接して観察窓が設けてあり、この観察窓には対物光学系23が取り付けてあり、その結像位置に照明された被写体15Bの光学像を結像する。この結像位置には固体撮像素子として例えば通常観察用のCCD27が配置されており、結像された光学像を光電変換する。
この対物光学系23とCCD27との間には、赤外カットフィルタなどの光学フィルタ25が配置されている。このCCD27は挿入部2A内等に挿通された信号線を介してプロセッサ4と電気的に接続される。
また、本実施例のスコープ2は、前記対物光学系23、光学フィルタ25,通常観察用のCCD27の他にさらに、対物光学系24、光学フィルタ26、蛍光観察用の高感度CCD28を設けている。
対物光学系24は、前記観察窓近傍の他の観察窓に取付けられており、その結像位置に照明された被写体15Bの光学像を結像する。その結像位置には固体撮像素子としての例えば前記蛍光観察用の高感度CCD28が配置されており、結像された光学像を光電変換する。
光学フィルタ26は、対物光学系24と高感度CCD28との間に配置されている。この高感度CCD28は挿入部2A内等に挿通された信号線を介してプロセッサ4と電気的に接続される。
また、このスコープ2の操作部2B等には、スコープ2の機種情報や電子シャッタ速度等が記憶されたスコープID記憶用素子31と、通常観察と蛍光観察との観察モードを切替操作するための観察モード切替スイッチ32とが設けてある。なお、本実施例では、通常観察と蛍光観察を同時に行うので前記観察モード切替スイッチ32は用いない、
光源装置3は、後述するランプ8を駆動するためのランプ駆動回路7と、このランプ駆動回路7により駆動されて光を照射するキセノンランプ等のランプ8と、このランプ8の照明光路上に設けられ、複数の光学フィルタをモータ9の駆動により切替可能なフィルタターレット10と、照明光量を制限するための照明光照明光絞りと、照明光を面順次光にするための回転フィルタ12と、この回転フィルタ12を照明光の光軸に対して垂直方向に移動するためのモータ14と、スコープ2のライトガイド15の基端面(入射端面)に回転フィルタ12を経た面順次光を集光する集光レンズ16と、を有している。
なお、図1に示す例では、モータ13にラック14aが、モータ14にはピニオン14bが取付けられ、モータ14を回転することにより、モータ13と共に回転フィルタ12は図1の上下方向(実際には左右方向)に移動される。
回転フィルタ12は、図示はしないが円板状に構成され、中心を回転軸として、赤、緑、青の波長の光を透過するRフィルタ、Gフィルタ、Bフィルタが配置されている。また、フィルタの分光特性は、回転フィルタ12の各フィルタが配置されている以外の部分は、光を遮光する部材により構成されている。
プロセッサ4は、CCD27を駆動する駆動信号を発生するCCDドライバ46と、高感度CCD28を駆動する駆動信号を発生する高感度CCDドライバ47とを有する。
また、このプロセッサ4は、CCD27及び高感度CCD28から出力された撮像信号に対する前処理を行うプリプロセス回路33と、A/D変換回路34と、カラーバランス補正回路35と、マルチプレクサ36と、同時化メモリ37、38、39と、画像処理回路40と、D/A変換回路41、42、43との順に画像信号が流れるように構成されている。
また、このプロセッサ4には、装置全体の各種制御動作を行うCPU44と、観察モード切替スイッチ32からの切替信号に基づき通常観察と蛍光観察との観察モードを切替える観察モード切換え回路45と、調光を行う調光信号を発生する調光回路49と、電子シャッタの速度を制御する電子シャッタ制御回路50と、回転フィルタ12の照明光の光軸に対する垂直方向の移動を駆動するモータ14を制御する光源制御回路51と、D/A変換回路41、42、43からの画像信号を符号化して出力する符号化回路52と、を備えている。なお、本実施例では、通常観察と蛍光観察を同時に行うので前記観察モード切替回路45は動作しない。
デジタルファイリング装置6Aは、符号化回路52からの出力画像データを随時記録し、写真撮影装置6Bはこの出力画像データの写真撮影等を行う。
本実施例では、プロセッサ4は、同時化メモリ37、38、39からのR、G、Bの各画像信号に基づき臓器の判定を行い臓器識別信号をカラーバランス補正回路35に出力する画像処理回路40を有し、カラーバランス補正回路35は、この供給された臓器識別信号に基づき入力画像信号の色調を補正する。
この場合、画像処理回路40は、通常観察時のCCD27による画像信号を基に臓器の判定を行うようになっている。したがって、CCU41は、蛍光観察用の高感度CCD28の駆動時にも、通常観察用のCCD27を駆動させるようにCCDドライバ46及び高感度CCDドライバ47を制御する。
また、スコープ2にはそのスコープ2に内蔵されたCCD27及び高感度CCD28、CCD27及び高感度CCD28にそれぞれ結像する光学系及びライトガイド15の固有の情報を記憶するスコープID記憶用素子31を備え、CPU44はその情報を読み出して電子シャッタ制御を行う電子シャッタ制御回路50に電子シャッタ速度を決定する情報として入力する。
電子シャッタ制御回路50には、さらに、観察モード切替回路45からの観察モード切換え制御信号と後述するカラーバランス補正回路35からの出力信号とが入力される。そして、電子シャッタ制御回路50は、このようにスコープ2側及び光源装置3からそれぞれ固有の情報が入力されることにより、CCDドライバ46及び高感度CCDドライバ47を介してCCD27及び高感度CCD28における面順次の各色光に対する電荷蓄積時間を電子シャッタによりカラーバランスを保持できるように制御する。
次に、カラーバランス補正回路35の構成を図2を参照しながら説明する。
図2に示すように、カラーバランス補正回路35は、蛍光像用カラーバランス補正回路35Aと、通常像用カラーバランス補正回路35Bとを有している。
蛍光像用カラーバランス補正回路35Aは、臓器に応じた3つの異なるカラーバランス補正係数をそれぞれ記憶するための不揮発性メモリである食道用補正係数記憶メモリ57a、胃用補正係数記憶メモリ57b、十二指腸用補正係数記憶メモリ57cと、臓器に応じたカラーバランス補正係数を選択するセレクタ58aと、乗算器59aとから構成されている。
食道用補正係数記憶メモリ57a、胃用補正係数記憶メモリ57b及び十二指腸用補正係数記憶メモリ57cは、回転フィルタ12のRフィルタ、Gフィルタ、Bフィルタがそれぞれ光路に挿入された状態で撮像された画像信号、つまり、各臓器のR、G、Bの各画像信号に対応するカラーバランス補正係数が格納されている。
そして、CPU44から(同時化メモリ37〜39に書換を行う)メモリ書換信号により、各補正係数記憶メモリ57a〜57cから格納されているカラーバランス補正係数を読み出す。
セレクタ58aは、後述する画像処理回路40からの臓器識別信号に基づき、各補正係数メモリ57a〜57cの内、いずれかの補正係数メモリを選択するようになっている。
乗算器59aでは、入力される入力画像信号(具体的には蛍光観察時の蛍光像に対応したR、G、Bの画像信号)とセレクタ58aで選択されたカラーバランス補正係数との乗算を行い出力する。各補正係数記憶メモリ57a〜57cには、CPU44で算出されるカラーバランス補正係数が予め書き込まれるようになっている。
蛍光像用カラーバランス補正回路35Aから出力された画像信号は、マルチプレクサ36と、同時化メモリ37、38、39により面順次信号の同時化が行われる。
一方、通常像用カラーバランス補正回路35Bは、3つの異なるカラーバランス補正係数をそれぞれ記憶するための不揮発性メモリであるRチャンネル補正係数記憶メモリ57d、Gチャンネル補正係数記憶メモリ57e、Bチャンネル補正係数記憶メモリ57fと、カラーバランス補正係数を選択するセレクタ58bと、乗算器59bとから構成されている。
各補正係数記憶メモリ57d、57e、57fは、回転フィルタ12のRフィルタ、Gフィルタ、Bフィルタがそれぞれ光路に挿入された状態で撮像された画像信号、つまりR、G、Bの各画像信号に対応するカラーバランス補正係数が格納されている。
そして、CPU44から(同時化メモリ37〜39に書換を行う)メモリ書換信号により、各補正係数記憶メモリ57d〜57fから格納されているカラーバランス補正係数を読み出す。
そして、セレクタ58bは、後述する画像処理回路40からの臓器識別信号に基づき、各補正係数メモリ57d〜57fの内、いずれかの補正係数メモリを選択するようになっている。
例えば、セレクタ58bは、Rフィルタが光路に挿入されているタイミングではRチャンネル補正係数記憶メモリ57dを、Gフィルタが光路に挿入されているタイミングではGチャンネル補正係数記憶メモリ57eを、Bフィルタが光路に挿入されているタイミングではBチャンネル補正係数記憶メモリ57fをそれぞれ選択する。
乗算器59bでは、入力される入力画像信号(具体的には通常観察時における通常像に対応したR、G、Bの画像信号)とセレクタ58bで選択されたカラーバランス補正係数との乗算を行い出力する。各補正係数記憶メモリ57d〜57fには、CPU44で算出されるカラーバランス補正係数が予め書き込まれるようになっている。
通常像用カラーバランス補正回路35Bから出力された画像信号は、マルチプレクサ36と、同時化メモリ37、38、39により面順次信号の同時化が行われる。
なお、前記カラーバランス補正係数記憶メモリ57a〜57fは、前記したように予めカラーバランス補正係数の固定値を保存しておく方法によって格納しても良く、あるいは途中て適宜変更出来るような方法によって書き換えるようにしても良い。
次に、画像処理回路40の構成を図3を参照しながら説明する。
図3に示すように、画像処理回路40は、内部に臓器識別手段である臓器識別部40Aを有している。この臓器識別部40Aは、同時化メモリ37〜39からそれぞれ供給されるR、G、Bの画像信号に基づき、現在観察中の臓器がどの臓器であるかの識別を行い、識別結果を前記臓器識別信号としてカラーバランス補正回路35に出力する。
本実施例では、画像処理回路40の臓器識別部40Aは、通常観察像の色調に基づき観察中の臓器の識別を行うようになっている。
例えば、通常観察像、つまり、通常観察時における内視鏡画像は、図4に示すように、観察モニタ5の画面上の画面4Aに表示される。この場合、画面4Aに表示される内視鏡画像が上部消化管における食道を観察しているものであるとすると、この内視鏡画像は、白みの強い箇所が多い傾向のものとなる。
また、画面4Aに表示される内視鏡画像が上部消化管における胃を観察しているものであるとすると、この内視鏡画像は、赤みの強い箇所が多い傾向のものとなる。
さらに、画面4Aに表示される内視鏡画像が上部消化管における十二指腸を観察しているものであるとすると、この内視鏡画像は、胆汁により黄色みがかった傾向のものとなる。
このため、本実施例では、前記臓器識別部40Aは、供給されたR、G、B信号の画像信号に基づく内視鏡画像の内、通常光観察画像(通常観察時における内視鏡画像)から、図4に示すように設定した領域4B(平均的色調を導出するための領域)における平均的色調を導出する。そして、臓器識別部40Aは、通常光観察画像の平均的色調(例えば各色の光強度の比率等を使用)を基に、現在観察中の臓器がどの臓器であるかの識別を行い、前記臓器識別信号を得ている。
このように得られた臓器識別信号は、前記カラーバランス補正回路35に出力されることにより、前記したようにカラーバランス補正回路35では、各臓器の蛍光像用補正係数記憶メモリ57a〜57cを有しているので、前記臓器識別部40Aからの臓器識別信号に基づいたカラーバランス補正係数が選択出力され、さらに入力画像信号と乗算されることで、臓器に応じた色調の補正が自動的に行われるようになっている。
次に、本実施例の作用を説明する。
スコープ2を光源装置3並びにプロセッサ4に接続した状態で電源を投入すると、スコープ2のスコープID記憶用素子31より、スコープ2の機種情報と電子シャッタ速度とがプロセッサ4内のCPU44に読み出され、CPU44のレジスタ等に記憶(格納)され、必要とされる時に読み出して使用することができる状態に設定される。
ここで、スコープID記憶用素子31より読み出される電子シャッタ速度とは、スコープ2に搭載されたライトガイド15の本数や長さ、結像する対物光学系23、24や光学フィルタ25、26、固体撮像素子としてのCCD27、高感度CCD28が、機種により異なること、また、同一機種でも個体差が存在することを考慮したうえで、スコープ2にて撮像される画像信号のカラーバランスが一定に保たれるよう、スコープ2の製造時に測定され、予め記憶された値である。
尚、ライトガイド15の照明光の伝送特性(透過率ともいう)が照明光の波長帯域により異なることも考慮して、面順次光の各色に対してそれぞれ異なる電子シャッタ速度が設定される。
一方、光源装置3では、ランプ8から放射された照明光が、フィルタターレット10に設けられた光学フィルタを通過し、照明光照明光絞りによって適切な明るさとなるように照明光量が調節される。
照明光照明光絞りを通過した照明光は、モータ13によって回転駆動される回転フィルタ12により、面順次光へと変換され、集光レンズ16によって、スコープ2のライトガイド15の入射端面に集光して照射され、ライトガイド15により伝送されその先端面から被写体15B側に照射される。
被写体15Bからの戻り光は、スコープ2の対物光学系23、24、光学フィルタ25、26を経てCCD27及び高感度CCD28に結像され、光電変換される。そして、プロセッサ4のCCDドライバ46及び高感度CCDドライバ47からの駆動信号の印加により、CCD27及び高感度CCD28で光電変換された撮像信号がそれぞれ画像信号として、プロセッサ4のプリプロセス回路33に入力される。
プロセッサ4に入力された画像信号は、このプリプロセス回路33でCDS(相関2重サンプリング)等の処理によりリセットノイズ等が除去されて画像信号成分が抽出される。
プリプロセス回路33から出力された信号は、A/D変換回路34によりアナログ信号からデジタル信号に変換され、カラーバランス補正回路35に入力される。
このカラーバランス補正回路35は、図2で説明したように、蛍光像用カラーバランス補正回路35Aと通常像用カラーバランス補正回路35Bとを有している。
そして、蛍光像用カラーバランス補正回路35Aでは、各臓器の蛍光像用補正係数記憶メモリ57a〜57cを有しているので、前記臓器識別部40Aからの臓器識別信号に基づいたカラーバランス補正係数が選択出力され、さらに入力画像信号と乗算されることで、臓器に応じた色調の補正が自動的に行われるようになっている。
つまり、CPU44から(同時化メモリ37〜39に書換を行う)メモリ書換信号により、各補正係数記憶メモリ57a〜57cから格納されているカラーバランス補正係数を読み出す。
セレクタ58aは、後述する画像処理回路40からの臓器識別信号に基づき、各補正係数メモリ57a〜57cの内、いずれかの補正係数メモリを選択するようになっている。
乗算器59aでは、入力される入力画像信号(具体的には蛍光観察時の蛍光像に対応したR、G、Bの画像信号)とセレクタ58aで選択されたカラーバランス補正係数との乗算を行い出力する。各補正係数記憶メモリ57a〜57cには、CPU44で算出されるカラーバランス補正係数が予め書き込まれるようになっている。
蛍光像用カラーバランス補正回路35Aから出力された画像信号は、マルチプレクサ36と、同時化メモリ37、38、39により面順次信号の同時化が行われる。
一方、通常像用カラーバランス補正回路35Bでは、3つの異なるカラーバランス補正係数をそれぞれ記憶するための各補正係数記憶メモリ57d、57e、57fを有しているので、前記臓器識別信号に基づいたカラーバランス補正係数が選択出力され、さらに入力画像信号と乗算されることで、臓器に応じた色調の補正が自動的に行われるようになっている。
つまり、CPU44から(同時化メモリ37〜39に書換を行う)メモリ書換信号により、各補正係数記憶メモリ57d〜57fから格納されているカラーバランス補正係数を読み出す。
そして、セレクタ58bは、後述する画像処理回路40からの臓器識別信号に基づき、各補正係数メモリ57d〜57fの内、いずれかの補正係数メモリを選択するようになっている。
乗算器59bでは、入力される入力画像信号(具体的には通常観察時における通常像に対応したR、G、Bの画像信号)とセレクタ58bで選択されたカラーバランス補正係数との乗算を行い出力する。各補正係数記憶メモリ57d〜57fには、CPU44で算出されるカラーバランス補正係数が予め書き込まれるようになっている。
通常像用カラーバランス補正回路35Bから出力された画像信号は、マルチプレクサ36と、同時化メモリ37、38、39により面順次信号の同時化が行われる。
同時化メモリ37〜39では、Rフィルタを通したRの照明光の下で撮像されたRの画像信号は同時化メモリ37に書き込まれ、Gフィルタを通したGの照明光の下で撮像されたGの画像信号は同時化メモリ38に書き込まれ、Bフィルタを通したBの照明光の下で撮像されたBの画像信号は同時化メモリ39に書き込まれる。そして、これらは同時に読み出されて同時化されたR、G、Bの画像信号が出力される。
同時化された信号は、画像処理回路40に入力される。この画像処理回路40では、ガンマ補正処理、構造強調処理、色処理、及び臓器認識処理等が行われる。この場合、画像処理回路40の臓器識別部40Aは、図3及び図4で示したように、同時化された画像信号(R、G、B信号)に基づく内視鏡画像の内、通常光観察画像(通常観察時における内視鏡画像)から領域4B(図4参照)における平均的色調を導出する。そして、臓器識別部40Aは、通常光観察画像の平均的色調(例えば各色の光強度の比率等を使用)を基に、現在観察中の臓器がどの臓器であるかの識別を行い、前記臓器識別信号を前記カラーバランス補正回路35にフィードバックする。
画像処理回路40より出力された画像信号は、D/A変換回路41、42、43により再びアナログ信号に変換され、観察モニタ5上に、CCD27または高感度CCD28で撮像された画像がカラーで表示される。
また、D/A変換回路41、42、43cの出力は、符号化回路52で符号化され、デジタルファイリング装置6Aに記録されたり、写真撮影装置6Bにて写真撮影で記録される。
調光回路49では、カラーバランス補正回路35から出力された画像信号に基づき、画像が適正な明るさとなるように、光源装置3の照明光照明光絞りの位置を調整するための調光信号を出力する。調光信号は、光量不足の場合、照明光照明光絞りを開放する方向へ動作させ、逆に、光量過剰の場合は、照明光照明光絞りを閉じる方向へ動作させる。このようにして、常時適正な照明光量に自動調光(調節)される。
電子シャッタ制御回路50では、各色において、CPU44に記憶されたスコープ2の電子シャッタ速度と、スコープID記憶用素子31からのスコープ識別情報とに基づき、照明光照明光絞りの位置に応じて補正された電子シャッタ速度が導出され、導出された補正後の電子シャッタ速度がCCDドライバ46及び高感度CCDドライバ47に伝送される。
CCDドライバ46及び高感度CCDドライバ47では、CCD27及び高感度CCD28の駆動信号をそれぞれ生成、出力する。とともに、入力された補正後の電子シャッタ速度を基に、電子シャッタ制御パルスを生成、出力する。
電子シャッタは、図示はしないが、CCD27及び高感度CCD28に蓄積された不要な電荷を掃き出しパルスにより設定されたタイミングで掃き出させ、読み出しパルスによって読み出される信号電荷の電荷蓄積時間を制御するものであり、被写体15Bが動きのある場合でも色ずれの発生を抑制できるメリットもある。
したがって、本実施例によれば、前記カラーバランス補正回路35では、各臓器の蛍光像用補正係数記憶メモリ57a〜57cを有しているので、前記臓器識別部40Aからの臓器識別信号に基づいたカラーバランス補正係数が選択出力され、さらに入力画像信号と乗算されることで、臓器に応じた色調の補正が自動的に行うことが可能となる。これにより、従来必要であった、カラーバランス補正を行うのに必要なカラーゲイン値の入力操作を不要にできる。
なお、本実施例では、通常光観察用のCCD27と蛍光観察用の高感度CCD28とを同時に駆動させて、通常光観察用のCCD27により得られた通常光観察画像を基に観察中の臓器の識別を行ったが、この通常観察像が切り替わることを検出し、さらに、所定のカラーゲイン値パターン(画像パターン)と比較を行うことにより、臓器の識別を行い、色調を自動的に制御するようにしても良い。
例えば、食道は、通常光観察画像の一部に管腔がある傾向にあり、また、円筒の内部を観察いているようで、画面外側がスコープ先端に近いため明るく、逆に中心が暗い傾向の特徴を有している。一方、胃は、通常光観察画像の一部に広く開けた状態があり、また胃角など特徴的な部位を有している。
したがって、食道から胃へ(胃から食道)へスコープ2を移動させる場合、食道と胃との境界部分に該当する噴門部を通過することになることから、前記臓器認識部40Aは、この噴門部のカラーゲイン値パターン(画像パターン)を予め記憶しておき、このカラーゲイン値と通常光観察画像から検出したカラーゲイン値パターンとを比較し、一致した場合に胃、又は食道と識別し、臓器識別信号を出力する。これにより、この臓器信号識別信号にに基づき、色調を切替えることが可能となる。
図5乃至図18は本発明の第2実施例に係り、図5は第2実施例に係る内視鏡装置の全体構成を示すブロック図、図6は図1のスコープを替えた他の内視鏡装置の全体構成を示すブロック図、図7は臓器識別手段であるの照明光絞りを示す図、図8は図7の照明光絞りの絞り位置−照明光強度特性を示すグラフ、図9は臓器識別手段の第1変形例の高感度CCDの説明図、図10は高感度CCDのCMD印加電圧−増幅率特性を示すグラフ、図11は臓器識別手段の第2変形例のマウスピースの構成を示す構成図、図12は図11のマウスピースに挿通される挿入部の構成を示す構成図、図13はマウスピースの磁束発生作用を説明するための説明図、図14はマウスピースに食道の長さ分挿通された挿入部の状態を示す説明図、図15(A)はスコープの挿入部の変形例を示す構成図、図15(B)は図15(A)のスコープを用いた場合の作用を説明するための説明図、図16は、臓器判別手段の第3変形例の構成を示し、図16(A)はpHセンサを設けた挿入部先端部の構成を示す構成図、図16(B)は図16(A)の挿入部先端面の構成を示す構成図、図17はpHセンサを備えた挿入部先端部の変形例を示す構成図、図18は図16のpHセンサ採用した内視鏡装置の全体構成を示すブロック図である。なお、図5乃至図18は、第1実施例の内視鏡装置と同一な構成要素については同一符号を付して説明を省略し、異なる部分のみを説明する。
本実施例の内視鏡装置1A、1Bは、前記第1実施例の内視鏡装置1のように通常光観察用CCD27による情報(画像信号)を用いずとも、臓器を自動的に識別するように構成している。
なお、本実施例では、臓器識別に際し、スコープの種類が、図1に示すスコープ(2つのCCD27、28を搭載し且つこれら2つのCCD27、28が同時駆動するもの)や、後述する図5に示すスコープ(2つのCCD27、28を搭載し且つこれら2つの内、いずれか1つのCCDを駆動するもの)、あるいは、後述する図6に示すスコープ(通常光観察、蛍光観察共通の1つのCCD27を搭載して駆動するもの)のいずれかのものを用いても実施可能である。
まず、図5に示す内視鏡装置1Aの構成について説明する。
図5に示すように、内視鏡装置1Aは、図1に示す第1実施例の内視鏡装置1と略同様の構成であるが、スコープ2が有している2つのCCD27、28の内、いずれか1つのCCDを駆動するのに必要な回路群が付加されている。
つまり、内視鏡装置1Aのスコープ2には、通常光観察用のCCD27、蛍光観察用の高感度CCD28とを切り替えて駆動するリレースイッチ29、及び両CCD27、28による撮像された信号を切り替えてプロセッサ4に出力させるためのリレースイッチ30とが設けてある。
また、本実施例では、第1実施例のスコープ2に設けられていた観察モード切替スイッチ32は使用する。この観察モード切替スイッチ32は、通常光観察と蛍光観察の観察モードを切替える際に操作することにより、観察モード切替操作信号を後述するプロセッサ4Bの観察モード切替回路45に供給する。
一方、プロセッサ4Bには、前記観察モード切替回路45と、この観察モード切替回路45からの観察モード切替制御信号に基づきCCDドライバ46と高感度CCDドライバ47とを選択するCCDセレクタ48とが設けてある。
観察モード切替回路45は、観察モード切替スイッチ32からの観察モード切替操作信号に基づく観察モード切替制御信号を生成し、リレー29、同時化メモリ37〜39、画像処理回路40、CCDセレクタ48、調光回路49、電子シャッタ制御回路50及び光源制御回路51に出力する。
CPU44は、観察モード切替回路45を制御することにより、観察モード切替操作信号に基づく通常観察モードまたは蛍光観察モードを実行するためにCCDセレクタ48の切替制御を行う。これにより、CCDセレクタ48の選択によりCCDドライバ46または高感度CCDドライバ47が選択され、選択されたCCD(通常観察用のCCD27または蛍光観察用の高感度CCD28)を駆動することにより、所望の観察モードにて内視鏡画像を得ることができるようになっている。
また、CPU44は、観察モード切替回路45を介して観察モード切替スイッチ32により選択された観察モードに応じて、CCDセレクタ48の他、リレー29、同時化メモリ37〜39、画像処理回路40、CCDセレクタ48、調光回路49、電子シャッタ制御回路50及び光源制御回路51を制御する。
本実例の内視鏡装置1Aは、通常光観察で撮像(観察)できるようにすると共に、蛍光観察を選択して蛍光観察もできるようにすると共に、微弱な蛍光観察時には高感度CCD28を用いて観察できるようにしている。
その他の構成は、前記第1実施例と同様である。
次に、本実施例の作用について説明する。
本実施例の内視鏡装置1Aでは、前記画像処理回路40の臓器識別部40A(図3参照)による臓器識別方法が前記第1実施例とは異なる。
具体的には、臓器識別部40Aには、同時化後の通常像、または蛍光像の画像信号が入力されるようになっている。臓器識別部40Aは、第1実施例にて説明したように図4に示すような領域4Bにおける蛍光強度と反射光強度の平均値の比率を導出する。
この場合、臓器によって組織の構造が異なるため、蛍光強度、反射光強度とは、両者の強度等に差が生じる結果、比率も差が生じることになる。
例えば、上部消化管を例にとると、食道は胃に比べて全般に蛍光強度が強い状態であることが確認されている。また、胃の中でも、粘膜の状態が異なることにより、前記比率に差がある。そこで、本実施例では、事前に各臓器の代表的な静止画像を基に前記比率を導出しておき、上部消化管では、食道と胃と十二指腸を切り分ける値、また、胃の中の粘膜状態の違いを切り分けられる値を閾値として設定しておく。
すなわち、画像処理回路40内には、図示はしないが予め前記閾値を記憶したメモリが設けられている。そして、臓器識別部40Aは、このメモリ(図示せず)からの閾値と前記比率とを比較することによって、観察している臓器を識別し、識別結果を臓器識別信号として前記第1実施例と同様にカラーバランス補正回路35に出力する。
これにより、前記第1実施例と同様にカラーバランス補正回路35によって前記臓器識別信号に基づき色調が補正される。
なお、本実施例では、前記閾値は、前記したように予め固定値をメモリ(図示せず)に保存しておく方法によって格納しても良く、あるいは途中て適宜変更出来るような方法によって書き換えるようにしても良い。
その他の作用については、通常観察用CCD27と蛍光観察用の高感度CCD28とのいずれかのCCDが駆動して対応する観察画像が得られる他は、前記第1実施例と同様である。
この構成により、前記第1実施例と同様に臓器に応じた色調の補正が自動的に行うことが可能となり、従来必要であった、カラーバランス補正を行うのに必要なカラーゲイン値の入力操作を不要にできる。
次に、1つのCCD駆動方式の内視鏡装置1Bの構成について図6を参照しながら説明する。
図6に示すように、内視鏡装置1Bは、通常光観察、蛍光観察共通の1つのCCD27を設けたスコープ2を有している。
また、スコープ2にはそのスコープ2に内蔵されたCCD27、CCD27に結像する光学系及びライトガイド15の固有の情報を記憶するスコープID記憶用素子31を備え、CPU44はその情報を読み出して電子シャッタ制御を行う電子シャッタ制御回路50に電子シャッタ速度を決定する情報として入力する。
電子シャッタ制御回路50には、さらに、カラーバランス補正回路35からの出力信号が入力される。そして、電子シャッタ制御回路50は、このようにスコープ2側から固有の情報が入力されることにより、CCDドライバ46を介してCCD27における面順次の各色光に対する電荷蓄積時間を電子シャッタによりカラーバランスを保持できるように制御する。
また、本例では、プロセッサ4Cには、光源制御回路51は設けられてない。
一方、光源装置3Bには、照明光絞りの位置検出を行うセンサ61と、このセンサ61により検出された絞り位置に基づき、観察中の臓器の識別を行う絞り位置−臓器識別信号生成回路60とが設けてある。
すなわち、本例では、画像処理回路40により画像信号を基に観察中の臓器を識別するのではなく、前記絞り位置−臓器識別信号生成回路60によって観察中の臓器を識別するようになっている。
センサ61は、照明光絞りの絞り位置を検出し、検出結果を絞り位置−臓器識別信号生成回路60に出力する。絞り位置−臓器識別信号生成回路60は、この入力された検出結果である絞り位置と照明光強度とに基づき、観察中の臓器を識別し、識別結果を臓器識別信号としてカラーバランス補正回路35に出力する。したがって、本例では、画像処理回路40には、臓器識別部40Aを設けなくても良い。
その他の構成は、図1に示す第1実施例と同様である。
前記構成の内視鏡装置1Bの作用について説明する。
本例の内視鏡装置1Bは、前記したようにセンサ61によって照明光絞り11の絞り位置を検出し、絞り位置−臓器識別信号生成回路60によって、検出結果である絞り位置と照明光強度とに基づき、観察中の臓器を識別するようになっている。
この場合、上部消化管においては、胃は食道に比べて、全般に暗い傾向にあることから、光源装置3Bの出射光路上に設けられた照明光絞り11が、図7に示すように開放される傾向にある。絞り位置と照明光強度は、図8に示すような関係を満足している。
したがって、ある値以上の開放状態には胃でしかならない場合、例えば図6に示すように、前記絞り位置−臓器識別信号生成回路60は、照明光絞り11の位置が所定以上に開放状態となったことを示すセンサ61からの検出信号が供給された場合には、観察中の臓器を胃であるものと識別する。このようにして、照明光絞り11の絞り位置から臓器を識別する。
なお、絞り位置は、明るさ制御にも用いていることから、位置情報を本例に使用することは容易である。また、色を切替えるタイミングについては、閾値を超えるたびに切替える方法を採用しても良いし、一度閾値を超えると、その後閾値以下に下がっても切替えない方法を採用しても良い。さらに、複数フレームにわたって増幅率の平均値が閾値以上であれば切替えるような方法を採用しても良い。
そして、前記絞り位置−臓器識別信号生成回路60は、生成した臓器識別信号をカラーバランス補正回路35に供給することで、前記第1実施例と同様にカラーバランス補正回路35によって前記臓器識別信号に基づき色調が補正されることになる。よって、前記第1実施例と同様の効果が得られる。
次に、第2実施例の臓器判別手段の変形例を後述する。
臓器判別手段の第1変形例について、図9及び図10を参照しながら説明する。
蛍光強度は、反射光の強度よりも小さいことから、蛍光観察時には明るさ確保のため、前記したように高感度CCD28を使用している。すなわち、蛍光観察では、照射した励起光に基づく被写体15B(より具体的には生体組織)からの自家蛍光を観察するが、自家蛍光は非常に微弱な光であるため、高感度CCD28を用いる。
高感度CCD28としては、例えば、USP5、337、340に示されているように、素子外から制御パルスを入力することにより、素子内での信号の増幅率を制御できるCCDである。そのCCDでは、図9に示すように、素子内に配置されたCMD(Charge Multiplication Device)においてイオン化を利用した電荷の増倍が可能となっている。
図9の場合には、受光することにより信号電荷の蓄積を行う受光エリア62と、この受光エリア62で蓄積された信号電荷が例えば奇数及び偶数の垂直転送部を経てそれぞれ接続された2列の水平転送チャンネル63と、この2列の水平転送チャンネル63にそれぞれ接続されたCMD付き転送チャンネル64と、このCMD付き転送チャンネル64を経て増倍された信号電荷が検出される電荷検出部65とを備えて高感度CCD28が形成されている。
CMD付き転送チャンネル64には高感度CCDドライバ47(図5参照)からの駆動信号に含まれるCMD印加電圧により信号電荷が倍増される。したがって、高感度CCD28の増幅率が増大される。この高感度CCD増幅率の情報は、高感度CCDドライバ47から電子シャッタ制御回路50に送られ、電子シャッタ速度の制御の際に利用される。
なお、CMDは画素毎に配置して画素毎に増幅をすることも可能であり、転送チャンネルに配置して転送ライン毎に増幅することも可能である。また、最近では、制御パルスではなく、電圧値によってCMDを制御できるCCDも提案されている。
CMDを用いたCCD28では、このCCD28からの電荷の読み出し前に内部で増幅が行われるので、CCD28外部で増幅を行うよりも読み出しノイズの影響が少なくなり、高いS/Nの画像が得られるというメリットがある。そのため、蛍光等、微弱光の撮像に適している。
高感度CCD28のCMD印加電圧値と増幅率との関係は、図10に示すように指数関数で近似され、CMD印加電圧値の増加に伴い、増幅率も増加する。蛍光観察時には、高感度CCD28の駆動信号に含まれるCMD印加電圧値を増減させることで、高感度CCD28の増幅率を増減させ、画像信号の明るさを一定に保つよう調節している。
胃では、全般に食道よりも暗い状態であることから、増幅率がある閾値以上であれば胃、そうでない場合には食道である、と認識するようにすれば良い。
前記閾値の導出方法として、以下に示す例が挙げられる。
前記高感度CCD28の増幅率は、印加する電圧値で決定されるため、CMD印加電圧値と増幅率との関係は、前記したように図10に示すものとなる。予め、胃モデル等により、擬似的に体内と同じ明るさとなる状態を作っておき、内視鏡装置にも、増幅率、もしくはCMD印加電圧をデジタル信号値に変換して表示する機構を設けておく。
そして、例えば内視鏡装置のCPU44は、内視鏡装置により撮影した静止画像データと、図10のグラフに示す特性とから、胃と食道の様々な場面において、増幅率を格納しておき、胃でしかなりえない増幅率の最低閾値を導出する(胃は食道よりも暗いことから、食道よりも増幅率が大きくなるため)。そして、CPU44は、その最低閾値を固定係数として、CPU44内、あるいはプロセッサ4内の記憶素子に記憶させておくように制御する。
なお、この方法だと、図10のグラフに示す特性がCCD毎にばらついたとしても、各CCD毎の特性図と、増幅率の閾値とがあれば、容易に閾値を導出することができる。
実際の内視鏡検査では、食道から胃を観察する場合、広がった胃を遠景から観察する場面となり、増幅率が一気に増大することになる。その値は、食道の上限値よりも大きくなるため、前記閾値を超えた値となり、食道から胃に移ることを検出できる。
なお、色を変えるタイミングについては、図7にて説明した絞り位置検出方法と同様、閾値を超えるたびに切替える方法を採用しても良いし、一度閾値を超えると、その後閾値以下に下がって切替えない方法を採用しても良く、複数フレームにわたって増幅率の平均値が閾値以上であれば切替える方法を採用しても良い。
以上、説明したような方法は、高感度CCD28の増幅率等の情報を電子シャッタ制御回路50を介してCPU44に供給し、このCPU44によって前記した増幅率と閾値との比較制御を行うことにより、観察中の臓器の識別が可能である。
したがって、CPU44は、識別結果に基づく臓器識別信号をカラーバランス補正回路35に与えることで、このカラーバランス補正回路35によって臓器識別信号に基づき色調が補正されることになる。
次に、臓器判別手段の第2変形例について、図11乃至図15を参照しながら説明する。
図11に示すように、本例では、マウスピース70を用いてスコープ2の挿入長を検出し、この検出結果に基づき観察中の臓器の識別を行うように構成している。
具体的には、マウスピース70は、図11に示すように、円筒上の永久磁石等の磁界発生素子71を本体中央部内に埋め込むように設けている。このマウスピース70は、図中上部にスコープ2の挿入部2Aを挿入する幅広の挿入口70Aと、下部にこの挿入口70Aと連通して挿通された挿入部2Aが突出する幅狭の開口70Bとを有している。
一方、スコープ2の挿入部2Aには、図12に示すように、先端部2aからの長さが一般的な人の口から噴門部の長さ(以下、食道の長さS1と称す)と略同じになる箇所に、磁気センサ72を設けている。
マウスピース70は、磁界発生素子71により、マウスピース70の開口部中心近傍では、図13に示すように、スコープ挿入方向に平行な向きの磁束が生じるようになっている。
図14に示すように、スコープ側の磁気センサ72として、例えばホール素子を設けておくと、このホール素子を貫通した磁束により、ホール効果を得て、下記式(1)に基づいた電圧値(ΔV)を出力することになる。
Vh=K・Ic・B …式(1)
なお、Vhはホール電圧値、Kは積感度定数、Icは制御電流、Bは磁束密度とする。 また、図14の場合、磁気センサ72であるホール素子の両端側には、リード線72aが接続され、これらリード線72aは挿入部2A内を介してプロセッサ4のCPU44に電気的に接続されている。
したがって、前記電圧値がリード線72aを介してCPU44に供給され、このCPU44は、この電圧値が最も大きい領域であることを検出することにより、磁気センサ72がマウスピース70を通過したことを検出することができ、この時点で食道から胃に変わったことを識別することができる。
そして、CPU44は、識別結果を臓器識別信号としてカラーバランス補正回路35に与えることで、このカラーバランス補正回路35によって臓器識別信号に基づき色調が補正されることになる。
また、図15(A)に示すように、スコープ2の挿入部2Aは、先端部2aから食道の長さS1となる箇所に、スコープ2の長手方向に2つの第1、第2磁気センサ72A、72Bを配設している。そして、CPU44は、この第1、第2磁気センサ72A、72Bであるホール素子が磁束を検出する順番に応じて、挿入方向を識別することも可能である。
例えば、図15(B)に示すように、挿入部2Aがマウスピース70を第1磁気センサ72Aから第2磁気センサ72Bを介して通過したとすると、CPU44は、スコープ2の挿入部2Aが食道から胃にかけて挿入されたことを認識するとともに、食道用から胃用の色調となるようにカラーバランス補正回路35を制御する。
一方、挿入部2Aがマウスピース70を第2磁気センサ72Bから第1磁気センサ72Aを介して通過したとすると、CPU44は、スコープ2の挿入部2Aが胃から食道にかけて抜去されたことを認識するとともに、胃用から食道用の色調となるようにカラーバランス補正回路35を制御する。
なお、本例では、挿入部2A内に複数の磁気センサ72を設けてもよく、例えば3個以上の臓器を切り分けられるように、(スコープ先端部2aからの長さ)=(臓器の境界)となる部分に、それぞれ磁気センサ72を配置しておいても良い。
次に、臓器判別手段の第3変形例について、図16乃至図18を参照しながら説明する。
本例では、内視鏡装置にpHセンサ機能を設け、このpHセンサによるpH値を用いて、観察中の臓器の識別を行うように構成している。
具体的には、胃では、胃酸の影響により、食道よりもpH値が低い。したがって、スコープ2の挿入部2A先端部近傍には、図16(A)、図16(B)に示すように、pHセンサ用電極73が設けられている。
このpHセンサ用電極73には、リード線73aが接続され、このリード線73aは後述するpHセンサ本体80の電位差計81に電気的に接続されている。
pHセンサ本体80は、図18に示すように、プロセッサ4C近傍、あるいはプロセッサ4C内に設けられており、出力pH値をプロセッサ4Cへに伝送する機能を有している。このpHセンサ本体80は、基準溶液84内に収容された参照電極83と、pHセンサ用電極73からの検出値と参照電極83からの基準値との電位差を導出する電位差計81と、この電位差計81からの出力値からpH値を導出し導出したpH値をプロセッサ4C内の臓器検出部84に出力するpH導出回路82とを有している。
この構成により、pHセンサ本体30は、スコープ2の先端部2aのpHセンサ用電極73と、参照電極83との電位差を導出することにより、スコープ2先端部2aのpH値を導出することができる。
プロセッサ4Cの臓器検出部84は、予め臓器毎のpH値の閾値を格納しており、先端部2aのpH値とこの閾値とを比較することにより、現在観察中の臓器を識別することができる(例えばpH値が閾値よりも低ければ胃、逆に高ければ食道、その他と識別する)
なお、pHセンサ用電極73は、図16(A)に示すように、鉗子口74の内側で、生体組織に直接触れないように配設することが必要である。必要であれば、このpHセンサ用電極73に粘膜等が着かないように、pHセンサ洗滌用送水口73Aを設けても良い。また、図16(B)に示すように、挿入部2Aの先端部端面には、鉗子口74、対物光学レンズ75、ライトガイド76及びレンズ洗滌用送水口77が設けられている。
また、本例では、図17に示すように、pHセンサ用電極73は、プローブ形式で鉗子口74に予め挿入しておき、このpHセンサプローブ78の先端が、スコープ2の先端部2aから出ない程度に配された構成としても良い。
したがって、この構成により、前記臓器検出部84は、供給されたpH値から観察中の臓器を識別し、識別結果を臓器識別信号としてカラーバランス補正回路35に与えることで、このカラーバランス補正回路35によって臓器識別信号に基づき色調が補正されることになる。
以上、説明したように、本実施例によれば、前記第1実施例と同様の効果を有する。
なお、本発明は、第1実施例及び第2実施例で述べた自動臓器識別手段に限定されるものではなく、第1実施例及び第2実施例の臓器識別手段を複数組み合わせて構成し、臓器の自動識別を行い、色調を補正するように構成しても良い。
この場合、第1実施例における通常光観察像の色調に基づく臓器識別方法(図4参照)、通常光観察像の画像パターンによる臓器識別方法は、図1にて説明したように2つのCCDを常時駆動させる構成が適している。また、第2実施例における反射強度と蛍光強度の比率に基づく臓器識別方法を含むこれらの3つの臓器識別方法は、色調で臓器を識別しているため、患者の個体のバラツキ等があり、これを考慮する必要がある。
また、図6及び図7で示した絞り位置に基づく臓器識別方法や第1変形例における臓器識別方法(図9参照)は、食道→胃という観察過程では、極端な明るさの変化があることから精度良く検出できるが、胃を近接して観察する場面や、胃→食道という観察過程では、精度良く検出することが望まれる。
また、第2変形例における臓器識別方法(図11及び図12参照)及び第3変形例における臓器識別方法(図16及び図17)は、臓器検出精度がかなり高くなるが、pHセンサ等の部材が必要となり、開発工数や製造コストに関して考慮する必要がある。
しかしながら、前記した臓器識別手段を複数組み合わせて構成することにより、それぞれの臓器識別手段における必要な部分を補うことができるので、検出精度を向上させることができ、開発が容易に行えることができるとともに、製造コストについても低減することが可能となる。
図19は本発明の第3実施例に係る内視鏡装置に用いられたカラーバランス補正回路の構成を示すブロック図である。
本実施例の内視鏡装置は、その全体構成が前記第1実施例における内視鏡装置1(図1参照)の略同様に構成されているが、カラーバランス補正回路35の構成が異なっている。
なお、本実施例の説明は、前記第1実施例と同様な構成要素については説明を省略し、異なる部分のみを説明する。
図19に示すように、カラーバランス補正回路35は、臓器毎に3つの異なるカラーバランス補正係数をそれぞれ記憶するための不揮発性メモリである補正係数メモリ57g〜57iと、臓器に応じたカラーバランス補正係数を選択するセレクタ58と、乗算器59とから構成されている。
補正係数メモリ57gは、例えば食道用のカラーバランス補正係数を記憶し、補正係数メモリ57hは、例えば胃用のカラーバランス補正係数を記憶し、補正係数メモリ57iは、例えば十二指腸のカラーバランス補正係数を記憶するようになっている。
例えば、スコープ2の挿入時に術者が食道でカラーバランスを取ると、CPU44は、このカラーバランス補正係数を食道用の補正係数メモリ57gに記憶させる。そして、胃において、術者がカラーバランスを取ると、CPU44は、このカラーバランス補正係数を胃用の補正係数メモリ57hに記憶させる。そして、十二指腸において、術者がカラーバランスを取ると、CPU44は、このカラーバランス補正係数を十二指腸用の補正係数メモリ57iに記憶させる。
このようにして、一度カラーバランスを行うことにより、自動で臓器判別に必要な臓器毎のカラーバランス補正係数を各補正係数メモリ57g〜57iに取得できるようになっている。
その後、本実施例の内視鏡装置では、スコープ2を十二指腸→胃→食道と抜く過程で、前記第1及び第2実施例にて説明した自動臓器判別方法により、自動的に観察中の臓器識別がなされ、この臓器識別結果に基づき、前記臓器毎のカラーバランス補正係数を用いて自動的に色調が切替制御される。
その他の構成及び作用については第1実施例と同様である。
なお、本実施例では、前記3つの補正係数メモリ57g〜57iが、食道用メモリ、胃用メモリ、十二指腸用メモリであり、遅くともカラーバランス補正係数取得時には、自動臓器識別手段により、どの臓器であるかを検出し、該当するメモリにカラーバランス係数を記憶させる方法を採用しても良い。また、予め該当する臓器毎のカラーバランス補正係数をメモリに記憶させておいても良く、記憶させておいて必要であれば再取得可能な方法を採用しても良い。
したがって、本実施例によれば、各臓器毎に一度のカラーバランス取得を行えば、その後は自動的に臓器毎の色調切替を行うことが可能となる。また、個人毎に蛍光強度やカラーバランスが異なっていたとしても、それを合わせたカラーバランスの補正を行うことが可能となる。その他の効果は前記第1実施例と同様である。
図20は本発明の第4実施例に係り、図20(A)は第4実施例に係る内視鏡装置に用いられたカラーバランス補正回路の構成を示すブロック図、図20(B)は図20(A)のカラーバランス補正回路の作用を説明するための説明図である。
本実施例の内視鏡装置は、その全体構成が前記第1実施例における内視鏡装置1(図1参照)の略同様に構成されているが、カラーバランス補正回路35の構成が異なっている。
なお、本実施例の説明は、前記第1実施例と同様な構成要素については説明を省略し、前記第1実施例と異なる部分のみを説明する。
図20に示すように、カラーバランス補正回路35は、所定の臓器のカラーバランス補正係数を記憶するための不揮発性メモリである補正係数メモリ57Aと、臓器識別信号が入力され、臓器間の相関係数(以下、臓器係数と称す)を記憶する臓器係数メモリ57Bと、補正係数メモリ57Aの出力信号と臓器係数メモリとの出力信号とを乗算する乗算器58Aと、この乗算器58Aの出力信号と入力画像信号とを乗算して出力する乗算器59Aとから構成されている。
補正係数メモリ57Aは、所定の臓器のカラーバランス補正係数を記憶する。例えば、スコープ2の挿入時に術者が食道でカラーバランスを取ると、CPU44は、このカラーバランス補正係数を補正係数メモリ57Aに記憶させる。
本実施例では、生体内の特定の臓器1箇所でカラーバランスを行えば、他の臓器のカラーバランスは、後述する臓器係数にて補正できるようになっている。
臓器係数メモリ57Bには、予め臓器係数が記憶されている。例えば、胃の色調が食道の色調のA倍という臓器係数が予め臓器係数メモリ57Bに記憶されていれば、食道でカラーバランスを行った際に、乗算器58Aの出力は、食道のカラーバランス補正係数×A倍したものとなり、この得られた出力と入力画像信号とが乗算器59Aによって乗算されることにより、色調が補正される。
このようなカラーバランスの取得部位及びこの取得部位に応じた臓器係数の一覧が図20(B)に示されている。
つまり、入力画像信号に乗算される乗算器58Aの出力は、
(体内のカラーバランス補正係数(術者が取得したもの))×(臓器係数)
となる。
なお、胃、食道どちらでカラーバランスを行っても臓器係数で補正するようにすれば尚良い。この場合、どの臓器でカラーバランスを行ったか否かは、前記した第1、第2実施例で述べた自動臓器識別方法により検出することができ、それにより得られた臓器識別信号が前記臓器係数メモリ57Bに供給されることにより、その結果、臓器に応じた色調を行うことが可能となる。
その他の構成及び作用は第1実施例と同様である。
したがって、本実施例によれば、複数の臓器でカラーバランスを行いカラーバランス補正係数を取得することが不要となる。また、個人毎に蛍光強度やカラーバランスが異なっていたとしても、それを合わせたカラーバランスの補正を行うことが可能となる。その他の効果は前記第1実施例と同様である。
なお、本発明に係る第1乃至第4実施例、変形例及び応用例において、内視鏡装置は、上部消化管用スコープを接続したときのみ複数の臓器の色調動作を選択可能とする構成にしてもよい。
つまり、上部消化管では、食道〜十二指腸まで観察するが、特に胃と食道とでは、蛍光観察の色調が異なるため、両者で別の色調とする必要がある。一方、下部消化管では、肛門〜盲腸付近までを観察するが、同じ色調で観察しても問題はない。
構成としては、スコープID記憶用素子31からのスコープ機種情報を入力する色調設定変更許可手段を設け、この色調設定変更許可手段は、このスコープ機種情報を基に上部消化管用スコープが接続されたと認識した場合のみ、CPU44に許可信号を出力する。これを受け、CPU44はこの許可信号を受診した場合のみ、前記した臓器毎の色調の切替を行うとともに、切替えた臓器の色調を実行するように自動的に制御する。
なお、本例は、自動臓器検出方法を実施することに限定されるものではなく、例えば術者が手動で接続されたスコープの種類や複数の臓器の色調動作の選択等を設定変更できるように構成しても良い。
また、本発明に係る第1乃至第4実施例、変形例及び応用例において、内視鏡装置は、プロセッサ4に消化管用スコープだけではなく、例えば外科分野用スコープを接続可能に構成しても良い。例えば、現在の蛍光観察は消化管のみで行うようになっているが、外科分野(腹腔鏡等の硬性鏡、非尿器用、耳鼻喉頭用鏡、関節鏡、血管用、動物用等も含む)も使用可能とし、前記臓器検出を行うように構成しても良い。
また、本発明に係る実施例では、臓器自動識別手段として、全臓器を識別できる構成としても良く、また、特に他の臓器と切り分けたい1つの臓器か、それ以外の臓器かを切り分ける構成とししても良い。
さらに、本発明に係る実施例では、スコープ2の接眼部に撮像装置を設け、この撮像装置によって画像処理回路等の信号処理するまで処理を行わせるように構成しても良い。
本発明は前記第1乃至第4実施例、変形例及び応用例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
図1乃至図4は本発明の第1実施例に係り、図1は第1実施例に係る内視鏡装置の全体構成を示すブロック図。 図1のカラーバランス補正回路の構成を示すブロック図。 図1の画像処理回路の構成を示すブロック図。 図3の画像処理回路による臓器識別方法を説明するための説明図。 図5乃至図18は本発明の第2実施例に係り、図5は第2実施例に係る内視鏡装置の全体構成を示すブロック図。 図5のスコープを替えた他の内視鏡装置の全体構成を示すブロック図。 臓器識別手段であるの光源絞りを示す図。 図7の光源絞りの絞り位置−照明光強度特性を示すグラフ。 臓器識別手段の第1変形例の高感度CCDの説明図。 高感度CCDのCMD印加電圧−増幅率特性を示すグラフ。 臓器識別手段の第2変形例のマウスピースの構成を示す構成図。 図11のマウスピースに挿通される挿入部の構成を示す構成図。 マウスピースの磁束発生作用を説明するための説明図。 マウスピースに食道の長さ分挿通された挿入部の状態を示す説明図。 スコープの挿入部の変形例を説明するための説明図。 臓器判別手段の第3変形例の構成を示す構成図。 pHセンサを備えた挿入部先端部の変形例を示す構成図。 図16のpHセンサ採用した内視鏡装置の全体構成を示すブロック図。 本発明の第3実施例に係る内視鏡装置に用いられたカラーバランス補正回路の構成を示すブロック図。 本発明の第4実施例に係る内視鏡装置に用いられたカラーバランス補正回路の構成を示すブロック図。
符号の説明
1…内視鏡装置、
2…スコープ、
2A…挿入部、
2B…操作部、
2a…先端部、
3…光源装置、
4…プロセッサ、
4A…画面、
4B…領域、
5…観察モニタ、
6A…デジタルファイリング装置、
6B…写真撮影装置、
7…ランプ、
10…フィルタターレット、
11…照明光絞り、
12…回転フィルタ
15…ライトガイド、
15B…被写体、
16…集光レンズ、
23、24…対物光学系、
25、26…光学フィルタ、
27…CCD、
28…高感度CCD、
35…カラーバランス補正回路、
35A…蛍光像用カラーバランス補正回路、
35B…通常像用カラーバランス補正回路、
36…マルチプレクサ、
37、38、39…同時化メモリ、
40…画像処理回路、
40A…臓器認識部、
44…CPU、
49…調光回路、
50…電子シャッタ制御回路、
51…光源制御回路
52…符号化回路、
57a…食道用補正係数記憶メモリ、
57b…胃用補正係数記憶メモリ、
57c…十二指腸用補正係数記憶メモリ、
57d…Rチャンネル補正係数記憶メモリ、
57e…Gチャンネル補正係数記憶メモリ、
57f…Bチャンネル補正係数記憶メモリ、
58a、58b…セレクタ、
59a…乗算器、
59b…乗算器。
代理人 弁理士 伊藤 進

Claims (11)

  1. 光源より出射する照明光を基に、固体撮像素子により被検体を撮像し、撮像した前記被検体の像を画像信号に変換して送信する撮像手段を有する内視鏡装置において、
    前記画像信号に対し、所定の色補正を行う色補正手段と、
    前記撮像手段により撮像した前記被検体の臓器を識別する臓器識別手段と、
    前記臓器識別手段からの識別結果に基づき、前記色補正手段を制御する制御手段と、
    を具備したことを特徴とする内視鏡装置。
  2. 前記内視鏡装置は、通常光観察、蛍光観察の少なくとも1つの観察モードにて動作することを特徴とする請求項1に記載の内視鏡装置。
  3. 前記臓器識別手段は、前記撮像手段による画像信号に基づき、前記被検体の臓器の識別を行うことを特徴とする請求項1又は請求項2に記載の内視鏡装置。
  4. 前記臓器識別手段は、前記通常観察時の画像信号に基づく通常光観察画像の平均的色調に基づき、前記被検体の臓器の識別を行うことを特徴とする請求項2に記載の内視鏡装置。
  5. 前記臓器識別手段は、前記通常観察時の画像信号に基づく通常光観察画像の画像パターンに基づき、前記被検体の臓器の識別を行うことを特徴とする請求項2に記載の内視鏡装置。
  6. 前記臓器識別手段は、被検体からの反射光強度と蛍光強度との比率を導出し、この比率と所定の閾値とを比較することによって、前記被検体の臓器の識別を行うことを特徴とする請求項2に記載の内視鏡装置。
  7. 前記臓器識別手段は、前記光源の絞り位置を検出する絞り位置検出手段を備え、この絞り位置検出手段による検出結果に基づき、前記被検体の臓器の識別を行うことを特徴とする請求項1又は請求項2に記載の内視鏡装置。
  8. 前記固体撮像素子は前記蛍光観察を行うための高感度撮像素子であり、前記臓器識別手段は、前記高感度撮像素子の増幅率を導出し、この増幅率と所定の閾値とを比較することによって、前記被検体の臓器の識別を行うことを特徴とする請求項2に記載の内視鏡装置。
  9. 前記撮像手段を有するスコープの所定箇所に磁気センサを設けるとともに、このスコープを挿通するマウスピースに磁界発生素子を設け、前記臓器識別手段は、前記磁気センサによる検出結果に基づき前記スコープの挿入長を求めることにより、前記被検体の臓器の識別を行うことを特徴とする請求項1に記載の内視鏡装置。
  10. 前記撮像手段を有するスコープ先端部にpH値を検出する検出手段を設け、前記臓器識別手段は、前記検出手段により検出されたpH値と所定の閾値とを比較することにより、前記被検体の臓器の識別を行うことを特徴とする請求項1に記載の内視鏡装置。
  11. 前記色補正手段は、少なくとも臓器毎の色補正を行うための補正係数を記憶した記憶手段を有し、前記制御手段は、前記臓器識別手段からの識別結果に基づく臓器の補正係数を前記記憶手段から読み出して、前記画像信号に対して色補正を行うことを特徴とする請求項1乃至請求項10のいずれか1つに記載の内視鏡装置。
JP2004171837A 2004-06-09 2004-06-09 内視鏡装置 Pending JP2005348902A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004171837A JP2005348902A (ja) 2004-06-09 2004-06-09 内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004171837A JP2005348902A (ja) 2004-06-09 2004-06-09 内視鏡装置

Publications (1)

Publication Number Publication Date
JP2005348902A true JP2005348902A (ja) 2005-12-22

Family

ID=35583850

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004171837A Pending JP2005348902A (ja) 2004-06-09 2004-06-09 内視鏡装置

Country Status (1)

Country Link
JP (1) JP2005348902A (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007319442A (ja) * 2006-06-01 2007-12-13 Fujifilm Corp カプセル内視鏡システム、および画像処理装置
JP2009240405A (ja) * 2008-03-28 2009-10-22 Olympus Medical Systems Corp 内視鏡システム
JP2010233940A (ja) * 2009-03-31 2010-10-21 Fujifilm Corp 内視鏡システム及び内視鏡スコープ先端の洗浄方法
WO2010122884A1 (ja) * 2009-04-21 2010-10-28 オリンパスメディカルシステムズ株式会社 蛍光画像装置及び蛍光画像取得方法
WO2011126065A1 (ja) * 2010-04-07 2011-10-13 オリンパス株式会社 蛍光観察装置
JP2012147928A (ja) * 2011-01-19 2012-08-09 Fujifilm Corp 電子内視鏡システム
CN102967930A (zh) * 2011-08-30 2013-03-13 奥林巴斯株式会社 内窥镜装置
JP2014014438A (ja) * 2012-07-06 2014-01-30 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP2014133008A (ja) * 2013-01-10 2014-07-24 Univ Of Tsukuba 内視鏡
WO2015025640A1 (ja) * 2013-08-23 2015-02-26 オリンパス株式会社 蛍光観察装置
WO2015198757A1 (ja) * 2014-06-24 2015-12-30 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
WO2018138828A1 (ja) * 2017-01-26 2018-08-02 オリンパス株式会社 画像処理装置、動作方法およびプログラム
US10367974B2 (en) 2014-07-07 2019-07-30 Sony Corporation Image processing apparatus, image processing method, program, and endoscope system
WO2019151029A1 (ja) * 2018-02-05 2019-08-08 ソニー株式会社 撮像装置および撮像方法、並びにプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08224209A (ja) * 1995-02-23 1996-09-03 Olympus Optical Co Ltd 蛍光観察装置
JP2000209605A (ja) * 1999-01-18 2000-07-28 Olympus Optical Co Ltd 映像信号処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08224209A (ja) * 1995-02-23 1996-09-03 Olympus Optical Co Ltd 蛍光観察装置
JP2000209605A (ja) * 1999-01-18 2000-07-28 Olympus Optical Co Ltd 映像信号処理装置

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007319442A (ja) * 2006-06-01 2007-12-13 Fujifilm Corp カプセル内視鏡システム、および画像処理装置
JP2009240405A (ja) * 2008-03-28 2009-10-22 Olympus Medical Systems Corp 内視鏡システム
JP2010233940A (ja) * 2009-03-31 2010-10-21 Fujifilm Corp 内視鏡システム及び内視鏡スコープ先端の洗浄方法
US8107158B2 (en) 2009-04-21 2012-01-31 Olympus Medical Systems Corp. Fluorescent imaging device and fluorescent image acquiring method
WO2010122884A1 (ja) * 2009-04-21 2010-10-28 オリンパスメディカルシステムズ株式会社 蛍光画像装置及び蛍光画像取得方法
WO2011126065A1 (ja) * 2010-04-07 2011-10-13 オリンパス株式会社 蛍光観察装置
JP2011217886A (ja) * 2010-04-07 2011-11-04 Olympus Corp 蛍光観察装置
CN102843951A (zh) * 2010-04-07 2012-12-26 奥林巴斯株式会社 荧光观察装置
US8818062B2 (en) 2010-04-07 2014-08-26 Olympus Corporation Fluoroscopy device
JP2012147928A (ja) * 2011-01-19 2012-08-09 Fujifilm Corp 電子内視鏡システム
CN102967930A (zh) * 2011-08-30 2013-03-13 奥林巴斯株式会社 内窥镜装置
JP2013048694A (ja) * 2011-08-30 2013-03-14 Olympus Corp 内視鏡装置
US10016152B2 (en) 2012-07-06 2018-07-10 Fujifilm Corporation Endoscope system, processor device thereof, and method for controlling endoscope system
JP2014014438A (ja) * 2012-07-06 2014-01-30 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
JP2014133008A (ja) * 2013-01-10 2014-07-24 Univ Of Tsukuba 内視鏡
WO2015025640A1 (ja) * 2013-08-23 2015-02-26 オリンパス株式会社 蛍光観察装置
CN105473049A (zh) * 2013-08-23 2016-04-06 奥林巴斯株式会社 荧光观察装置
JPWO2015025640A1 (ja) * 2013-08-23 2017-03-02 オリンパス株式会社 蛍光観察装置
US9839359B2 (en) 2013-08-23 2017-12-12 Olympus Corporation Fluorescence observation apparatus
JP2016009984A (ja) * 2014-06-24 2016-01-18 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
WO2015198757A1 (ja) * 2014-06-24 2015-12-30 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
US10360474B2 (en) 2014-06-24 2019-07-23 Olympus Corporation Image processing device, endoscope system, and image processing method
US10367974B2 (en) 2014-07-07 2019-07-30 Sony Corporation Image processing apparatus, image processing method, program, and endoscope system
WO2018138828A1 (ja) * 2017-01-26 2018-08-02 オリンパス株式会社 画像処理装置、動作方法およびプログラム
US20190298159A1 (en) * 2017-01-26 2019-10-03 Olympus Corporation Image processing device, operation method, and computer readable recording medium
WO2019151029A1 (ja) * 2018-02-05 2019-08-08 ソニー株式会社 撮像装置および撮像方法、並びにプログラム
JPWO2019151029A1 (ja) * 2018-02-05 2021-01-14 ソニー株式会社 撮像装置および撮像方法、並びにプログラム
US11388323B2 (en) 2018-02-05 2022-07-12 Sony Corporation Imaging apparatus and imaging method

Similar Documents

Publication Publication Date Title
JP4643481B2 (ja) 画像処理装置
EP1839558B1 (en) Electronic endoscope apparatus
JP4009560B2 (ja) 内視鏡装置及び信号処理装置
EP2328339B1 (en) Electronic endoscope system, processing apparatus for electronic endoscope, and image processing method
JP5372356B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
KR100927286B1 (ko) 내시경 장치 및 화상 처리 장치
JP4855586B2 (ja) 内視鏡装置
JP3962122B2 (ja) 内視鏡装置
JP4663083B2 (ja) 内視鏡装置
US20120241620A1 (en) Optical control device, control device, and optical scope
US20120092472A1 (en) Image processing device, method of controlling image processing device, and endoscope apparatus
JP2005348902A (ja) 内視鏡装置
JP2655571B2 (ja) 撮像装置
JP4488319B2 (ja) 内視鏡装置
JP2006340855A (ja) 画像処理装置
JP2004305382A (ja) 特殊光観察システム
JP2006116153A (ja) 内視鏡用画像処理装置及び内視鏡装置
JP4531347B2 (ja) 電子内視鏡装置
JP2887167B2 (ja) 撮像装置
JP2008252906A (ja) 内視鏡装置
JP4448320B2 (ja) 電子内視鏡装置
JP2845276B2 (ja) 内視鏡装置
JP2005124755A (ja) 内視鏡用画像処理装置
JP2004023764A (ja) 画像処理装置
JP4504040B2 (ja) 内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100601