JP3696005B2 - Electronic endoscope device - Google Patents
Electronic endoscope device Download PDFInfo
- Publication number
- JP3696005B2 JP3696005B2 JP29272599A JP29272599A JP3696005B2 JP 3696005 B2 JP3696005 B2 JP 3696005B2 JP 29272599 A JP29272599 A JP 29272599A JP 29272599 A JP29272599 A JP 29272599A JP 3696005 B2 JP3696005 B2 JP 3696005B2
- Authority
- JP
- Japan
- Prior art keywords
- dimming
- circuit
- signal
- light source
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は電子内視鏡装置、更に詳しくは照明光の減光制御部分に特徴のある電子内視鏡装置に関する。
【0002】
【従来の技術】
内視鏡に設けた撮像手段で撮像した画像をモニタの表示面に内視鏡画像として表示する電子内視鏡装置の先行例として特開平10−201706号公報がある。
【0003】
この特開平10−201706号公報では、オートアイリス、光源調光、電子シャッタのそれぞれの明るさ制御(調光制御)によるモニタの表示面に表示される画像の明るさの目標輝度レベルに差を持たせているために、調光制御手段の選択によって目標の明るさが変化してしまう。
【0004】
例えば、光源調光制御を優先する状態から光源調光制御を選択しないで、次の優先順位のオートアイリスで調光制御を行う状態に選択を変更すると、調光制御の優先順位が変わり、光源調光制御の目標値よりオートアイリスによる目標値が低く設定されていると暗くなり、逆に高く設定されていると明るくなってしまうという問題があった。
【0005】
これに対処するために、調光制御の優先順位の変更に応じて調光制御の目標値を再設定することが考えられる。つまり、調光制御の第1の優先順位において最高位の第1の調光制御手段を選択せず第2位の第2の調光制御手段の制御を選択した際には、調光制御が第1の優先順位から第2の調光制御手段の制御を最高位とする第2の優先順位に移行する。この際、第1の優先順位における第2の調光制御手段の目標値も第2の優先順位における第2の調光制御手段の目標値に再設定する。このようにすることで、調光制御手段の選択によらず、最適な明るさ制御が可能となる。
【0006】
【発明が解決しようとする課題】
しかしながら、例え調光制御の優先順位の変更に応じて調光制御の目標値を再設定することで、最適な明るさ制御を行ったとしても、例えば電子シャッタのみによる調光制御の場合、通常の光量範囲では確かに明るさ制御の最適化が図れるが、被写体に近接した場合には、ハレーションを起こすといった問題がある。つまり、電子シャッタのシャッタデータ(電荷掃き出し時間)には、CCDの垂直ライン数の兼ね合いで限界(通常は1/100000秒)があり、電子シャッタのみによる調光制御の場合、被写体に近接した場合には電荷掃き出しが間に合わず、ハレーションを起こすといった問題がある。
【0007】
また、オートアイリスのみによる調光制御の場合、被写体に近接した場合には、絞りを絞り込むことになるが、あまり絞りすぎると回折現象が生じ深度向上が得られないため、絞り込みに機械的な限界を与える必要があり、このためこの場合でもハレーションを起こすといった問題がある。
【0008】
本発明は、上記事情に鑑みてなされたものであり、適正な調光制御を行うと共に、近接撮影時のハレーションの発生を防止することのできる電子内視鏡装置を提供することを目的としている。
【0009】
【課題を解決するための手段】
本発明の電子内視鏡装置は、被写体を照明する照明光を発生する光源装置と、前記照明光で照明された前記被写体像を撮像する撮像手段と、前記撮像手段から出力された撮像信号の信号レベルに応じて調光信号を生成する調光信号生成手段と、前記調光信号生成手段から出力された前記調光信号の信号レベルに比例して前記撮像手段から出力される撮像信号レベルを制御する調光手段と、前記調光信号に基づき該調光信号が前記調光手段の制御限界値に達したことを検出する限界値検出手段と、前記限界値検出手段による限界値検出信号に基づき前記光源手段が発生する前記照明光を予め決められた規定量だけ低減する照明光低減手段とを具備して構成される。
【0010】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【0011】
図1ないし図11は本発明の一実施の形態に係わり、図1は第1の実施の形態の電子内視鏡装置の構成を示し、図2は光源装置の構成を示し、図3は光源装置の制御系の構成を示し、図4はCCUの構成を示し、図5はフロントパネルSW部の構成を示し、図6は検波回路の構成を示し、図7は目標レベル設定回路の構成を示し、図8はシャッタデータ変換回路の構成を示し、図9はシャッタデータ変換回路の変形例の構成を示し、図10は優先順位決定回路で設定される第1優先順位での各調光制御手段の目標レベルの具体例を示し、図11はAGCゲインとDNR設定の関係の説明図である。
【0012】
図1に示す電子内視鏡装置1は、体腔内に挿入し被写体2を観察する硬性内視鏡3と、硬性内視鏡3に照明光を供給する光源装置4と、硬性内視鏡3の接眼部に着脱自在に接続され被写体2を撮像するカメラヘッド6と、ケーブル23によりカメラヘッド6に接続されカメラヘッド6からの撮像信号を信号処理するカメラコントロールユニット(以下、CCUと略記)7と、CCU7により信号処理された被写体の画像を表示するモニタ8とを備えて構成される。
【0013】
硬性内視鏡3は、細長の挿入部9を有し、この挿入部9の先端部10に被写体2の観察像を入射する観察窓11を設け、この観察窓11に被写体2の観察像を結像する対物レンズ12を取付けている。また、挿入部9内には観察像を光学像として接眼部5側に伝達するリレーレンズ13を設け、挿入部9の後端に設けた接眼部5には観察像を拡大観察するための接眼レンズ14を設けている。
【0014】
また、硬性内視鏡3には、被写体2を照明するための光源装置4からの照明光を伝送するライトガイド15が設けられており、先端部10より被写体2に向け照明光を照射するようになっている。ライトガイド15は、光源装置4と着脱自在に装着され、光源装置4では、ランプ16により発光された照明光をレンズ17で集光し、ライトガイド15に供給するようになっている。また、光源装置4にはランプ16の照明光をライトガイド15に供給する光量を(絞りの開口量で)調整する絞り装置18が設けられており、ランプ16により発光した照明光の光量を適宜の値に制御できるようになっている。また、ランプ16と絞り装置18との間には後述するターレット101が設けられている。なお、絞り装置18及びターレット101は、CCU7から光源ケーブル19を介して与えられる後述する調光信号により制御される。
【0015】
リレーレンズ13により伝送された被写体2の像は、接眼レンズ14により拡大され、絞り(アイリス)20を介して、カメラヘッド6内の対向する結像レンズ21を経て固体撮像素子としての電荷結合素子(以下、CCDと略記)22の撮像面に結像される。この像はCCD22により電気信号、つまり撮像信号に変換される。
【0016】
この撮像信号は、ケーブル23を介してCCU7に伝送され、CCU7で信号処理を行って映像信号に変換し、ケーブル24を介して映像信号をモニタ8に出力し、術者はモニタ8の表示面に表示される被写体2の像を観察することができるようにしている。
【0017】
図2において、光源装置4は、ランプ16を有するランプハウスユニット151を備えている。また、ランプハウスユニット151に隣接して照明光の減光を行う例えば4つのフィルタ部154a,154b,154c,154d(図3参照)を有する光量切換用のターレット101が設けられている。このターレット101は、ターレット回転用のモータ157により歯車158を介して回転駆動されるようになっている。ターレット101はモータ157によって回転されることで、フィルタ部154a,154b,154c,154dのいずれかを光路上に挿入できるようになっている。
【0018】
なお、フィルタ部154aにはメッシュ状のフィルタが配置され、フィルタ部154bにはフィルタは配置されておらず、フィルタ部154cには非常灯ランプが配置され、フィルタ部154dは予備となっている(図3参照)。
【0019】
また、ターレット101の側方には、フィルタ部154a,154b,154c,154dのうちどのフィルタ部が光路上に挿入されたを検出するフィルタ適正位置検出回路155が設けられている。ランプ16の光路上には照明光を集光する光学系159が設けられており、光源装置4に接続されたライトガイド15の入射端面に照明光を照射するようになっている。さらに光軸上には絞り装置18を構成する絞り羽根162とシャッタ163とが設けられている。
【0020】
図3を用いて光源装置4の制御系を説明する。図3に示すように、ターレット101を駆動するモータ157はモータ制御回路164により制御されており、回転駆動を制御されるようになっている。モータ制御回路164は演算回路166に接続されており、演算回路166からの制御信号によってモータ157を駆動するようになっている。演算回路166は、CCU7の後述する光源制御回路45にケーブル19を介して接続されており、光源制御回路45の制御に基づき制御信号をモータ制御回路164に出力するようになっている。
【0021】
次に図4を用いて、CCU7の構成を説明する。
【0022】
カメラヘッド6内のCCD22により得られた撮像信号は、アンプ(AMP)31により増幅され、パルストランス32によりこの患者回路と絶縁された二次回路に入力される。撮像信号は次に相関二重サンプリング(CDS)回路33にてベースバンド信号にされ、A/D変換回路34にてデジタル信号に変換される。
【0023】
デジタル化された映像信号はプロセス回路35を構成するオートゲインコントロール(AGC)回路35a、デジタルノイズリダクション(DNR)回路35b、色分離回路35c、ホワイトバランス(W/B)回路35d、エンハンス回路35e、色調補正回路35f、ガンマ補正(γ)回路35g等の処理回路を経て、D/A変換回路36にてアナログ信号に変換され、さらにエンコーダ37でNTSC方式の映像信号などに変換されて、モニタ8に入力され、モニタ8の表示面に被写体像を表示する。
【0024】
A/D変換回路34で変換されたデジタル信号はさらに検波回路38に入力され、モニタ8上での被写体像の明るさを調整する機能を備えた、複数(具体的には4つ)の明るさ制御手段(調光制御手段ともいう)を構成する、電子シャッタ、オートアイリス、光源装置4(の調光)、AGC用の制御信号を作成する。
【0025】
AGC用の制御信号はAGC回路35a、DNR回路35bに出力され、AGC回路35aのAGCゲイン設定とDNR回路35bのDNRの設定の制御に使用される。
【0026】
また、電子シャッタ、オートアイリス、光源装置4の制御データ、つまりシャッタデータ、オートアイリスデータ、光源調光データは、データ多重化回路39で多重化されて、二次回路からからフォトカプラ41で絶縁した患者回路側のデータ分離回路42に出力される。
【0027】
データ分離回路42は、データ多重化回路39により多重化された電子シャッタ、オートアイリス、及び光源装置4の制御データの分離を行う。そして、電子シャッタの制御データはCCD22をドライブするCCDドライブ回路43に出力されて、CCD22の電荷蓄積時間を制御する、つまり素子シャッタの時間を制御する。
【0028】
また、オートアイリスデータは、オートアイリス駆動回路44を経由して、CCD22の前面に設けられた絞り20の開口を自動制御する。さらに光源制御データは、光源制御回路45を介して調光信号として光源装置4に伝送され、絞り装置18によりランプ16からの光量の制御が行われる、つまり光源装置4の調光を行う。
【0029】
また、データ量検出回路100にて、シャッタデータ及びオートアイリスデータが所定のリミッタ値(制御限界値)に達したことを検出して、光源制御回路45からケーブル19を介して光源装置4のターレット101を制御しメッシュ状のフィルタを備えたフィルタ部154aを光軸に挿入し、出射光を減光する。
【0030】
更に、CCU7には図5に示すようなフロントパネルSW部46が設けてある。このフロントパネルSW部46には、電子シャッタスイッチ(単に、シャッタと略記)46a、光源スイッチ(調光スイッチ)46b、オートアイリススイッチ46c、及びAGCスイッチ46dが設けられ、それぞれ電子シャッタ、光源、オートアイリス及びAGCの各機能の動作をオン、オフ(入切)できる。
【0031】
このオン、オフの設定状態はCPU48により取得されて、複数の明るさ制御或いは調光制御手段の優先順位を決定する優先順位決定回路49に設定状態を出力する。この優先順位決定回路49では、複数の調光制御の優先順位の決定と、この優先順位に応じて各調光制御の目標値の設定を行い、検波回路38に出力すると共に、オンされた調光制御手段中での最優先の調光制御の目標値が優先順位決定回路49で決定された最優先の調光制御手段の目標値に保持されるように明るさ調整を行わせるようにする。
【0032】
次に図6を用いて、検波回路38の構成を説明する。
【0033】
A/D変換回路34から出力された映像信号は1フィールド平均回路51に入力され、この1フィールド平均回路51にて映像信号の1フィールド毎の平均値を求める(1フレーム毎の平均値を求める1フレーム平均回路でも良い)。
【0034】
この平均値の平均信号は各調光制御の応答速度を決定する各調光毎のループフィルタ、つまり、AGC用ループフィルタ52a、光源調光用ループフィルタ52b、オートアイリス用ループフィルタ52c、電子シャッタ用ループフィルタ52dに入力され、それぞれの調光制御に適した平均信号にされる。
【0035】
そして、各平均信号は調光制御毎の目標輝度レベルを設定する目標レベル設定回路53a、53b、53c、53dにそれぞれ入力され、各目標レベルに合わせた制御信号に変換される。この各目標レベルは前述した優先順位決定回路49から得られる。
【0036】
そして、AGC用ループフィルタ52aを通した目標レベル設定回路53aの出力はゲイン設定回路54を通してAGC回路35a及びDNR回路35bに入力される。
【0037】
また、光源調光用ループフィルタ52b及びオートアイリス用ループフィルタ52cを通した目標レベル設定回路53b及び53cの出力はデータ多重化回路39に入力される。また、電子シャッタ用ループフィルタ52dを通した目標レベル設定回路53dの出力はシャッタデータ変換回路55を経てデータ多重化回路39に入力される。
【0038】
目標レベル設定回路53i(i=a,b,c,d)は図7に示すように構成される。優先順位決定回路49から得られた目標レベルから、ループフィルタを通した平均信号に与えるシフト量をシフト量設定回路56で作成する。このシフト量はレベルシフト回路57に入力され、レベルシフト回路57で該シフト量に応じて、平均信号をシフトして、各調光の制御信号を作成して出力する。
【0039】
シャッタデータ変換回路55は図8に示すように構成される。シャッタデータ変換回路55はルックアップテーブル(LUT)58と、このLUT58の出力データを1フィールド遅延する1フィールド遅延回路59とから構成される。
【0040】
LUT58は目標レベル設定回路53dから出力されたデータを、1フィールド前に出力した電子シャッタデータから新しい(電子)シャッタデータを導くテーブルを構成している。この場合、1フィールド遅延回路59を通すことにより、LUT58は1フィールド前に出力したシャッタデータを得るようにしている。
【0041】
このLUT58のテーブルデータによりCCDドライブ回路43に与えるシャッタデータを作成する。なお、シャッタデータ変換回路55は、目標レベル変換回路53dも含めて図9のように構成してもよい。
【0042】
つまり、図8のような構成のLUT58j(j=a,b,…,n)及び1フィールド遅延回路59jからなるシャッタデータ変換回路55jを複数用意し、その入力端と出力端に設けたマルチプレクサ60aと60bを目標レベルの変更に応じて切り替え、切り替えで選択されたLUT58jを用いてシャッタデータを作成するものである。
【0043】
なお、優先順位決定回路49は調光制御に使用されない、つまりオフの調光制御手段の情報をCPU48を介して受け取ると、例えばその場合の制御信号を検波回路38からデータ多重化回路39側に送らないようにする。例えば、オートアイリスをオフにすると、オートアイリスデータはデータ多重化回路39に送られないので、データ分離回路でデータを分離した場合に、オートアイリスデータは無く、オートアイリスの機能は停止した状態となる。従って、そのオフにされた調光制御手段では調光を行わない。なお、データを送らないようにする代わりにオフにするデータ等を送るようにしていも良い。
【0044】
つまり、優先順位決定回路49は調光制御に使用される、つまりオンの調光制御手段の情報をCPU48を介して受け取ると、オンの調光制御手段の制御信号が検波回路38からデータ多重化回路39側に送られる。また、優先順位に応じて、オンされた調光制御手段における最優先の調光制御手段で明るさ調整を優先して行う。
【0045】
例えば、優先順位決定回路49で決定された優先順位でオートアイリスが最優先に設定され、このオートアイリス及び光源調光が実際に選択された場合には、オートアイリスでの調光制御の目標値を優先して維持するように他の調光制御手段で調光制御を行い、この場合優先順位が高いものをその目標値に近いレベルに優先させるようにして調光制御を行う。
【0046】
また、本実施の形態では、優先順位決定回路49で決定された優先順位で最も優先度が高い調光制御手段が選択されないオフの場合には、選択されたオンの調光制御手段中で最も優先度が高い調光制御手段の目標値を例えばレベルシフトして優先順位決定回路49で決定された優先順位で最も優先度が高い調光制御手段の目標値に一致するようにするようにしていることが特徴となっている。
【0047】
つまり、本実施の形態では、モニタ8上に表示される画像の明るさを調整するための複数の調光制御手段を備え、複数の調光制御の優先順位を決定する優先順位決定手段と、選択される(つまり動作中の)調光制御手段中での最も優先度が高い調光制御手段の目標値を優先順位決定手段で決定された最優先の調光制御手段の目標値に変更する手段を設けていることが特徴となっている。
【0048】
次に本実施の形態の作用を説明する。
【0049】
予め、優先順位決定回路49にて各調光制御手段の優先順位を決定する。優先順位は複数の組み合わせが存在するが、ここでは例えば優先順位が高い順に記載すると、オートアイリス>光源による調光>電子シャッタ(ELCと略記)による調光(これを単に、オートアイリス>光源>ELCと略記)を第1優先順位とした。
【0050】
次に、この第1優先順位における各調光制御手段の目標レベルを決定する。本実施の形態では、図5に示すフロントパネルSW部46による各調光制御手段のON,OFF(入切)の状態に応じて、各目標レベルを個別に設定可能としており、例えば各目標レベルを以下の通りに設定した。
【0051】
まず、第1優先順位において、全ての調光制御手段がONの時の各目標レベルは、オートアイリスを60IRE、光源を65IRE、ELCを70IREと設定する。
【0052】
また、第1優先順位において、オートアイリスのみをOFFとした時の各目標レベルは、オートアイリスの次の優先順位の光源を60IRE、ELCを65IREとする。
【0053】
この場合、最も優先順位が高いオートアイリスのみをOFFとした時に、実際に調光制御の動作を行う動作中の全ての調光制御手段における最も優先順位の高い光源の目標レベルを、全ての調光制御手段中で最も優先順位が高いオートアイリスの目標レベル、つまり60IREにシフトさせている。
【0054】
また、第1優先順位において、オートアイリス及び光源をOFFとした時のELCの目標レベルを60IREとする。つまり、最も優先順位が高いオートアイリスと、次の優先順位の光源をOFFとした時に、残りの調光制御手段で最も優先順位の高いELC(但し、この場合には残りの調光制御手段は1つであるが複数の場合も含めた表現で述べている)の目標レベルを、全ての調光制御手段中で最も優先順位が高いオートアイリスの目標レベル、つまり60IREにシフトさせている。
【0055】
以上の設定は、図10に示す通りである。
【0056】
上記設定により、第1優先順位において、フロントパネルSW部46で全ての調光手段をONとした時、その情報はCPU48を経て優先順位決定回路49に送られ、この優先順位決定回路49はオートアイリスを最優先とした目標レベルの設定を行うように検波回路38の目標レベル決定回路53cの設定制御を行う。
【0057】
そして、このオートアイリスを最優先とした目標レベルを維持するように、光源調光等で調光制御を行うため、オートアイリスを絞った被写界深度が向上する画像が得られると共に、モニタ8上の明るさは60IREとなる。
【0058】
また、第1優先順位において、必要に応じて最も優先順位が高いオートアイリスのみをOFFとした時、オートアイリスをOFFにした情報はCPU48を経て優先順位決定回路49に送られる。
【0059】
この優先順位決定回路49は、オートアイリスによる目標レベル設定を使用しない状態にし、オートアイリスを除く残りの調光制御手段における最も優先順位が高い光源調光の目標レベル設定回路53bの目標レベルをオートアイリスの目標レベルにシフトさせ、このシフトさせた目標レベルで調光制御を行うように制御する。従ってこの場合も、モニタ8上での明るさは、動作中の調光制御手段中で最優先される光源の目標レベル60IREとなる。
【0060】
つまり、複数の調光制御手段において、最優先の調光手段をOFFにして残りの複数の調光手段で調光を行うモードに切り替えた場合にも、切り替える前の明るさを維持できる。
【0061】
また、第1優先順位において、必要に応じてオートアイリス及び光源をOFFとした時、上記と同様にELCの目標レベルをオートアイリスの目標レベルにシフトさせるので、モニタ8上での明るさは、ELCの目標レベル60IREとなる。この場合にも、残りの調光制御手段で調光を行うようにしてもモニタ8での明るさは変化しないで、切り替える前の明るさを維持できる。
【0062】
なお、上記説明では複数の調光制御手段において、優先順位が高い調光制御をONからOFFにした場合に、残りの調光制御手段による調光制御の目標値が変わらないように一定に保つ作用を説明したが、この逆により優先順位が高い調光制御をONにした場合でも同様に調光制御の目標値が変わらない。
【0063】
なお、調光制御手段の優先順位としては、例えば第2優先順位として、光源>オートアイリス>ELC>としたり、例えば第3優先順位として、ELC>光源>オートアイリス>等を設定しても良い。これらの場合も、上記と同様に各調光制御手段の目標レベルを設定することにより、複数の調光制御手段の優先順位が高いものをONからOFF等したりしても、その場合に実際に動作する最優先の調光制御手段の目標レベルを優先順位決定回路49で決定した最優先の調光制御手段の目標値に保持でき、従ってモニタ8上の画像の明るさを一定に保つことができる。
【0064】
また、上記の調光制御手段の優先順位にAGC回路35aによるAGC機能を含めても構わない。
【0065】
次にAGCゲインとDNR設定の関係を説明する。図6で示したように目標レベル設定回路53aの出力から、ゲイン設定回路54にてAGC回路35aのゲインを設定する。この設定値は図4のAGC回路35aとDNR回路35bに出力され、AGC動作を行うとともに、例えば図11に示すような設定でDNRにてノイズ除去を行う。
【0066】
つまり、AGCゲインが0dBの場合にはDNR回路35bのDNRの設定はOFFで、AGCゲインが0dB〜6dBの場合にはDNR回路35bのDNRの設定は弱で、AGCゲインが6dB以上の場合にはDNR回路35bのDNRの設定は強に設定することにより、AGCゲインを可変設定した場合にも、ノイズの影響を目立たなくして、良好な画質を保持できる。
【0067】
上記の制御動作中において、データ量検出回路100がシャッタデータ及びオートアイリスデータが所定のリミッタ値(制御限界値)に達したことを検出すると、光源制御回路45はケーブル19を介して光源装置4のターレット101を制御しメッシュ状のフィルタを備えたフィルタ部154aを光軸に挿入し、出射光を減光する。
【0068】
本実施の形態は以下の効果を有する。
【0069】
上記の構成及び作用により、本実施の形態では、シャッタデータ及びオートアイリスデータが所定のリミッタ値(制御限界値)に達した場合、メッシュ状のフィルタを備えたフィルタ部154aを光軸に挿入し出射光を減光し、ハレーションの発生を防止することを可能とする。
【0070】
[付記]
(付記項1) 被写体を照明する照明光を発生する光源装置と、
前記照明光で照明された前記被写体像を撮像する撮像手段と、
前記撮像手段から出力された撮像信号の信号レベルに応じて調光信号を生成する調光信号生成手段と、
前記調光信号生成手段から出力された前記調光信号の信号レベルに比例して前記撮像手段の受光期間を制御する受光期間制御手段と、
前記調光信号に基づき、該調光信号が前記受光期間制御手段の制御限界値に達したことを検出する限界値検出手段と、
前記限界値検出手段による限界値検出信号に基づき、前記光源手段が発生する前記照明光を予め決められた規定量だけ低減する照明光低減手段と
を具備したことを特徴とする電子内視鏡装置。
【0071】
(付記項2) 被写体を照明する照明光を発生する光源装置と、
前記照明光で照明された前記被写体像を撮像する撮像手段と、
前記撮像手段から出力された撮像信号の信号レベルに応じて調光信号を生成する調光信号生成手段と、
前記調光信号生成手段から出力された前記調光信号の信号レベルに比例して前記光源手段の発生する照明光量を制御する照明光量制御手段と、
前記調光信号に基づき、該調光信号が前記照明光量制御の制御限界値に達したことを検出する限界値検出手段と、
前記限界値検出手段による限界値検出信号に基づき、前記光源手段が発生する前記照明光を予め決められた規定量だけ低減する照明光低減手段と
を具備したことを特徴とする電子内視鏡装置。
【0072】
(付記項3) 被写体を照明する照明光を発生する光源装置と、
前記照明光で照明された前記被写体像を撮像する撮像手段と、
前記撮像手段から出力された撮像信号の信号レベルに応じて調光信号を生成する調光信号生成手段と、
前記撮像手段の受光面に設けられた絞り手段と、
前記調光信号生成手段から出力された前記調光信号の信号レベルに比例して前記絞り手段の絞り量を制御する絞り制御手段と、
前記調光信号に基づき、該調光信号が前記絞り制御手段の制御限界値に達したことを検出する限界値検出手段と、
前記限界値検出手段による限界値検出信号に基づき、前記光源手段が発生する前記照明光を予め決められた規定量だけ低減する照明光低減手段と
を具備したことを特徴とする電子内視鏡装置。
【0073】
【発明の効果】
以上説明したように本発明の電子内視鏡装置によれば、調光手段が調光信号生成手段から出力された調光信号の信号レベルに比例して撮像手段から出力される撮像信号レベルを制御し、限界値検出手段が調光信号に基づき該調光信号が前記調光手段の制御限界値に達したことを検出し、照明光低減手段が限界値検出手段による限界値検出信号に基づき前記光源手段が発生する前記照明光を予め決められた規定量だけ低減するので、適正な調光制御を行うと共に、近接撮影時のハレーションの発生を防止することができるという効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の電子内視鏡装置の全体構成図。
【図2】光源装置の構成を示す構成図。
【図3】光源装置の制御系の構成を示すブロック図。
【図4】CCUの構成を示すブロック図。
【図5】検波回路の構成を示すブロック図。
【図6】フロントパネルSW部の構成を示す正面図。
【図7】目標レベル設定回路の構成を示すブロック図。
【図8】シャッタデータ変換回路の構成を示すブロック図。
【図9】シャッタデータ変換回路の変形例の構成を示すブロック図。
【図10】優先順位決定回路で設定される第1優先順位での各調光制御手段の目標レベルの具体例を示す図。
【図11】AGCゲインとDNR設定の関係の1例を示す図。
【符号の説明】
1…電子内視鏡装置
3…硬性内視鏡
4…光源装置
6…カメラヘッド
7…CCU
8…モニタ
12…対物レンズ
18…絞り装置
20…絞り(アイリス)
22…CCD
35…プロセス回路
38…検波回路
39…データ多重化回路
42…データ分離回路
43…CCDドライブ回路
44…オートアイリス駆動回路
45…光源制御回路
46…フロントパネルSW部
48…CPU
49…優先順位決定回路
51…1フィールド平均回路
52a,52b,52c,52d…ループフィルタ
53a,53b,53c,53d…目標レベル設定回路
55…シャッタデータ変換回路
56…シフト量設定回路
57…レベルシフト回路
100…データ量検出回路
101…ターレット[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an electronic endoscope apparatus, and more particularly to an electronic endoscope apparatus characterized by a dimming control portion of illumination light.
[0002]
[Prior art]
Japanese Patent Laid-Open No. 10-201706 discloses a prior art example of an electronic endoscope apparatus that displays an image captured by an imaging unit provided in an endoscope as an endoscopic image on a display surface of a monitor.
[0003]
In Japanese Patent Laid-Open No. 10-201706, there is a difference in the target brightness level of the brightness of the image displayed on the display surface of the monitor by the brightness control (light control) of each of the auto iris, light source light control, and electronic shutter. Therefore, the target brightness changes depending on the selection of the dimming control means.
[0004]
For example, if the light source dimming control is not selected from the state in which the light source dimming control is prioritized and the selection is changed to the state in which the dimming control is performed with the next priority auto iris, the dimming control priority is changed and the light source dimming control is changed. When the target value by auto iris is set lower than the target value of light control, there is a problem that it becomes dark, and conversely, when it is set higher, it becomes brighter.
[0005]
In order to cope with this, it is conceivable to reset the target value of the dimming control according to the change of the priority order of the dimming control. That is, when the control of the second dimming control means of the second rank is selected without selecting the highest first dimming control means in the first priority of the dimming control, the dimming control is performed. The system shifts from the first priority to the second priority that gives the highest control of the second dimming control means. At this time, the target value of the second dimming control means in the first priority order is also reset to the target value of the second dimming control means in the second priority order. By doing in this way, optimal brightness control becomes possible irrespective of the selection of the dimming control means.
[0006]
[Problems to be solved by the invention]
However, even if optimal brightness control is performed by resetting the target value for dimming control according to the change in the priority order of dimming control, for example, in the case of dimming control using only an electronic shutter, Although it is possible to optimize the brightness control in the light quantity range, there is a problem that halation occurs when close to the subject. In other words, the shutter data (charge sweep time) of the electronic shutter has a limit (usually 1/100000 second) in consideration of the number of vertical lines of the CCD. Has a problem that the charge sweeping out in time and halation occurs.
[0007]
In addition, in the case of dimming control using only auto iris, the aperture is narrowed when close to the subject.However, if the aperture is too large, diffraction phenomenon occurs and depth improvement cannot be obtained. Therefore, there is a problem that halation occurs even in this case.
[0008]
The present invention has been made in view of the above circumstances, and an object thereof is to provide an electronic endoscope apparatus capable of performing appropriate dimming control and preventing the occurrence of halation during close-up photography. .
[0009]
[Means for Solving the Problems]
An electronic endoscope apparatus according to the present invention includes a light source device that generates illumination light that illuminates a subject, an imaging unit that captures the subject image illuminated by the illumination light, and an imaging signal output from the imaging unit. A dimming signal generating unit for generating a dimming signal according to the signal level; and an imaging signal level output from the imaging unit in proportion to a signal level of the dimming signal output from the dimming signal generating unit. A dimming means for controlling, a limit value detecting means for detecting that the dimming signal has reached a control limit value of the dimming means based on the dimming signal, and a limit value detection signal by the limit value detecting means. The illumination light reducing means for reducing the illumination light generated by the light source means by a predetermined specified amount is provided.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0011]
1 to 11 relate to an embodiment of the present invention. FIG. 1 shows the configuration of the electronic endoscope apparatus of the first embodiment, FIG. 2 shows the configuration of the light source apparatus, and FIG. FIG. 4 shows the configuration of the CCU, FIG. 5 shows the configuration of the front panel SW unit, FIG. 6 shows the configuration of the detection circuit, and FIG. 7 shows the configuration of the target level setting circuit. 8 shows the configuration of the shutter data conversion circuit, FIG. 9 shows the configuration of a modified example of the shutter data conversion circuit, and FIG. 10 shows each dimming control at the first priority set by the priority determination circuit. A specific example of the target level of the means is shown, and FIG. 11 is an explanatory diagram of the relationship between the AGC gain and the DNR setting.
[0012]
An
[0013]
The rigid endoscope 3 has an elongated insertion portion 9, and an observation window 11 for entering an observation image of the subject 2 is provided at the
[0014]
Further, the rigid endoscope 3 is provided with a
[0015]
The image of the subject 2 transmitted by the
[0016]
This imaging signal is transmitted to the CCU 7 via the
[0017]
In FIG. 2, the light source device 4 includes a
[0018]
Note that a mesh-like filter is arranged in the
[0019]
Further, on the side of the
[0020]
The control system of the light source device 4 will be described with reference to FIG. As shown in FIG. 3, the
[0021]
Next, the configuration of the CCU 7 will be described with reference to FIG.
[0022]
An imaging signal obtained by the
[0023]
The digitized video signal includes an auto gain control (AGC) circuit 35a, a digital noise reduction (DNR) circuit 35b, a color separation circuit 35c, a white balance (W / B) circuit 35d, an
[0024]
The digital signal converted by the A /
[0025]
The AGC control signal is output to the AGC circuit 35a and the DNR circuit 35b, and is used to control the AGC gain setting of the AGC circuit 35a and the DNR setting of the DNR circuit 35b.
[0026]
In addition, the control data of the electronic shutter, auto iris, and light source device 4, that is, the shutter data, auto iris data, and light source dimming data are multiplexed by the
[0027]
The data separation circuit 42 separates control data of the electronic shutter, auto iris, and light source device 4 multiplexed by the
[0028]
Further, the auto iris data automatically controls the aperture of the
[0029]
Further, the data
[0030]
Further, the CCU 7 is provided with a front
[0031]
The on / off setting state is acquired by the
[0032]
Next, the configuration of the
[0033]
The video signal output from the A /
[0034]
The average signal of the average value is a loop filter for each dimming that determines the response speed of each dimming control, that is, an AGC loop filter 52a, a light source dimming
[0035]
Each average signal is input to each of target
[0036]
The output of the target level setting circuit 53a that has passed through the AGC loop filter 52a is input to the AGC circuit 35a and the DNR circuit 35b through the
[0037]
The outputs of the target
[0038]
The target level setting circuit 53i (i = a, b, c, d) is configured as shown in FIG. From the target level obtained from the
[0039]
The shutter
[0040]
The
[0041]
Shutter data to be given to the
[0042]
That is, a plurality of shutter data conversion circuits 55j including LUTs 58j (j = a, b,..., N) configured as shown in FIG. 8 and one-field delay circuits 59j are prepared, and multiplexers 60a provided at the input and output terminals thereof. And 60b are switched according to the change of the target level, and shutter data is created using the LUT 58j selected by the switching.
[0043]
Note that the
[0044]
In other words, the
[0045]
For example, when the auto iris is set to the highest priority in the priority order determined by the priority
[0046]
Further, in the present embodiment, when the dimming control means having the highest priority in the priority order determined by the priority
[0047]
In other words, in the present embodiment, a plurality of dimming control units for adjusting the brightness of the image displayed on the monitor 8, and a priority order determining unit that determines a plurality of dimming control priorities, The target value of the dimming control means having the highest priority among the selected (that is, operating) dimming control means is changed to the target value of the highest priority dimming control means determined by the priority order determining means. It is characterized by providing means.
[0048]
Next, the operation of this embodiment will be described.
[0049]
The priority order of each dimming control means is determined in advance by the priority
[0050]
Next, the target level of each dimming control means in the first priority order is determined. In the present embodiment, each target level can be individually set according to the ON / OFF (ON / OFF) state of each dimming control means by the front
[0051]
First, in the first priority order, the target levels when all dimming control means are ON are set to 60 IRE for the auto iris, 65 IRE for the light source, and 70 IRE for the ELC.
[0052]
Further, in the first priority order, the target levels when only the auto iris is turned off are 60 IRE as the light source of the next priority order after the auto iris and 65 IRE as the ELC.
[0053]
In this case, when only the auto iris with the highest priority is turned off, the target level of the light source with the highest priority in all the dimming control means that actually perform the dimming control operation is set to all dimming. The target level of auto iris having the highest priority among the control means is shifted to 60 IRE.
[0054]
In the first priority, the target level of ELC when auto iris and light source are turned off is set to 60 IRE. That is, when the auto iris with the highest priority and the light source with the next priority are turned off, the remaining dimming control means has the highest priority ELC (in this case, the remaining dimming control means is 1). However, the target level of the auto iris having the highest priority among all the dimming control means, that is, 60 IRE is shifted.
[0055]
The above settings are as shown in FIG.
[0056]
With the above setting, when all the dimming means are turned on in the first priority order by the front
[0057]
Since dimming control is performed by light source dimming or the like so as to maintain the target level where auto iris is given the highest priority, an image with an improved depth of field obtained by reducing the auto iris is obtained, and the monitor 8 The brightness is 60 IRE.
[0058]
In addition, when only the auto iris having the highest priority is turned off as necessary in the first priority order, the information that the auto iris is turned off is sent to the priority
[0059]
The priority
[0060]
That is, even when the plurality of dimming control units are switched to the mode in which the dimming unit with the highest priority is turned off and the dimming is performed with the remaining plural dimming units, the brightness before switching can be maintained.
[0061]
Further, in the first priority, when the auto iris and the light source are turned off as necessary, the ELC target level is shifted to the auto iris target level in the same manner as described above. The target level is 60IRE. In this case as well, even if the dimming control means performs the dimming, the brightness on the monitor 8 does not change and the brightness before switching can be maintained.
[0062]
In the above description, in a plurality of dimming control means, when dimming control with high priority is switched from ON to OFF, the target value of dimming control by the remaining dimming control means is kept constant so as not to change. Although the operation has been described, the target value of the dimming control does not change in the same manner even when the dimming control with a high priority is turned ON by the reverse.
[0063]
As the priority order of the dimming control means, for example, the light source> auto iris>ELC> may be set as the second priority order, or for example, ELC> light source> auto iris> may be set as the third priority order. In these cases as well, by setting the target level of each dimming control means in the same manner as described above, even if a plurality of dimming control means having a higher priority is turned from ON to OFF, etc., in that case The target level of the highest-priority dimming control means operating at the same time can be held at the target value of the highest-priority dimming control means determined by the priority
[0064]
Further, the AGC function by the AGC circuit 35a may be included in the priority order of the dimming control means.
[0065]
Next, the relationship between AGC gain and DNR setting will be described. As shown in FIG. 6, the gain of the AGC circuit 35a is set by the
[0066]
That is, when the AGC gain is 0 dB, the DNR setting of the DNR circuit 35b is OFF, and when the AGC gain is 0 dB to 6 dB, the DNR setting of the DNR circuit 35b is weak, and the AGC gain is 6 dB or more. By setting the DNR setting of the DNR circuit 35b to be strong, even when the AGC gain is variably set, the influence of noise becomes inconspicuous and good image quality can be maintained.
[0067]
When the data
[0068]
The present embodiment has the following effects.
[0069]
With the above configuration and operation, in the present embodiment, when the shutter data and the auto iris data reach a predetermined limit value (control limit value), the
[0070]
[Appendix]
(Additional Item 1) a light source device that generates illumination light for illuminating a subject;
Imaging means for capturing the subject image illuminated with the illumination light;
A dimming signal generating means for generating a dimming signal according to the signal level of the imaging signal output from the imaging means;
A light receiving period control means for controlling the light receiving period of the imaging means in proportion to the signal level of the dimming signal output from the dimming signal generating means;
Based on the dimming signal, limit value detecting means for detecting that the dimming signal has reached the control limit value of the light receiving period control means;
Illumination light reduction means for reducing the illumination light generated by the light source means by a predetermined amount based on a limit value detection signal from the limit value detection means;
An electronic endoscope apparatus comprising:
[0071]
(Additional Item 2) A light source device that generates illumination light for illuminating a subject;
Imaging means for capturing the subject image illuminated with the illumination light;
A dimming signal generating means for generating a dimming signal according to the signal level of the imaging signal output from the imaging means;
Illumination light quantity control means for controlling the illumination light quantity generated by the light source means in proportion to the signal level of the dimming signal output from the dimming signal generation means;
Based on the dimming signal, limit value detecting means for detecting that the dimming signal has reached the control limit value of the illumination light amount control;
Illumination light reduction means for reducing the illumination light generated by the light source means by a predetermined amount based on a limit value detection signal from the limit value detection means;
An electronic endoscope apparatus comprising:
[0072]
(Additional Item 3) a light source device that generates illumination light for illuminating a subject;
Imaging means for capturing the subject image illuminated with the illumination light;
A dimming signal generating means for generating a dimming signal according to the signal level of the imaging signal output from the imaging means;
A diaphragm means provided on the light receiving surface of the imaging means;
Aperture control means for controlling the aperture amount of the aperture means in proportion to the signal level of the dimming signal output from the dimming signal generation means;
Based on the dimming signal, limit value detecting means for detecting that the dimming signal has reached the control limit value of the aperture control means;
Illumination light reduction means for reducing the illumination light generated by the light source means by a predetermined amount based on a limit value detection signal from the limit value detection means;
An electronic endoscope apparatus comprising:
[0073]
【The invention's effect】
As described above, according to the electronic endoscope apparatus of the present invention, the dimming means sets the imaging signal level output from the imaging means in proportion to the signal level of the dimming signal output from the dimming signal generation means. The limit value detecting means detects that the dimming signal has reached the control limit value of the dimming means based on the dimming signal, and the illumination light reducing means is based on the limit value detection signal by the limit value detecting means. Since the illumination light generated by the light source means is reduced by a predetermined amount, it is possible to perform appropriate light control and to prevent the occurrence of halation during close-up photography.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of an electronic endoscope apparatus according to a first embodiment of the present invention.
FIG. 2 is a configuration diagram showing a configuration of a light source device.
FIG. 3 is a block diagram showing a configuration of a control system of the light source device.
FIG. 4 is a block diagram showing a configuration of a CCU.
FIG. 5 is a block diagram showing a configuration of a detection circuit.
FIG. 6 is a front view showing a configuration of a front panel SW unit.
FIG. 7 is a block diagram showing a configuration of a target level setting circuit.
FIG. 8 is a block diagram showing a configuration of a shutter data conversion circuit.
FIG. 9 is a block diagram showing a configuration of a modified example of the shutter data conversion circuit.
FIG. 10 is a diagram showing a specific example of target levels of each dimming control means at the first priority set by the priority determining circuit.
FIG. 11 is a diagram showing an example of the relationship between AGC gain and DNR setting.
[Explanation of symbols]
1. Electronic endoscope device
3 ... Rigid endoscope
4. Light source device
6 ... Camera head
7 ... CCU
8 ... Monitor
12 ... Objective lens
18 ... Aperture device
20 ... Iris (Iris)
22 ... CCD
35 ... Process circuit
38 ... Detection circuit
39. Data multiplexing circuit
42. Data separation circuit
43 ... CCD drive circuit
44 ... Auto iris drive circuit
45. Light source control circuit
46 ... Front panel SW section
48 ... CPU
49. Priority determining circuit
51 ... 1 field average circuit
52a, 52b, 52c, 52d... Loop filter
53a, 53b, 53c, 53d... Target level setting circuit
55. Shutter data conversion circuit
56: Shift amount setting circuit
57. Level shift circuit
100: Data amount detection circuit
101 ... Turret
Claims (1)
前記照明光で照明された前記被写体像を撮像する撮像手段と、
前記撮像手段から出力された撮像信号の信号レベルに応じて調光信号を生成する調光信号生成手段と、
前記調光信号生成手段から出力された前記調光信号の信号レベルに比例して前記撮像手段から出力される撮像信号レベルを制御する調光手段と、
前記調光信号に基づき、該調光信号が前記調光手段の制御限界値に達したことを検出する限界値検出手段と、
前記限界値検出手段による限界値検出信号に基づき、前記光源手段が発生する前記照明光を予め決められた規定量だけ低減する照明光低減手段と
を具備したことを特徴とする電子内視鏡装置。A light source device for generating illumination light for illuminating a subject;
Imaging means for capturing the subject image illuminated with the illumination light;
A dimming signal generating means for generating a dimming signal according to the signal level of the imaging signal output from the imaging means;
A dimming means for controlling an imaging signal level output from the imaging means in proportion to a signal level of the dimming signal output from the dimming signal generation means;
Based on the dimming signal, limit value detecting means for detecting that the dimming signal has reached the control limit value of the dimming means;
An electronic endoscope apparatus comprising: illumination light reduction means for reducing the illumination light generated by the light source means by a predetermined amount based on a limit value detection signal from the limit value detection means. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29272599A JP3696005B2 (en) | 1999-10-14 | 1999-10-14 | Electronic endoscope device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29272599A JP3696005B2 (en) | 1999-10-14 | 1999-10-14 | Electronic endoscope device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001119689A JP2001119689A (en) | 2001-04-27 |
JP3696005B2 true JP3696005B2 (en) | 2005-09-14 |
Family
ID=17785521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29272599A Expired - Fee Related JP3696005B2 (en) | 1999-10-14 | 1999-10-14 | Electronic endoscope device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3696005B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003334161A (en) * | 2002-05-20 | 2003-11-25 | Pentax Corp | Electronic endoscope system equipped with charge amplification type solid-state imaging device |
JP4555056B2 (en) * | 2004-11-16 | 2010-09-29 | Hoya株式会社 | Electronic endoscope device |
JP2007033327A (en) * | 2005-07-28 | 2007-02-08 | Canon Chemicals Inc | Flaw detecting method and flaw detector |
JP4800745B2 (en) * | 2005-10-28 | 2011-10-26 | オリンパス株式会社 | Endoscope system and endoscope control apparatus |
JP5622529B2 (en) * | 2010-11-09 | 2014-11-12 | 富士フイルム株式会社 | Endoscope device |
-
1999
- 1999-10-14 JP JP29272599A patent/JP3696005B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001119689A (en) | 2001-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7248296B2 (en) | Automatic gain control device for electronic endoscope | |
KR101015006B1 (en) | Endoscope device | |
KR101050882B1 (en) | Biometric observation system | |
WO2012033200A1 (en) | Image capture device | |
JPH08111812A (en) | Electron endoscope | |
JPH0690900A (en) | Electronic endoscope apparatus | |
JP3696005B2 (en) | Electronic endoscope device | |
JP3607816B2 (en) | Electronic endoscope device | |
JP4895758B2 (en) | Imaging system and electronic endoscope system | |
JP2006149935A (en) | Light source unit for endoscope, and electronic endoscope device | |
EP0923236B1 (en) | Endoscopic apparatus | |
JP4033565B2 (en) | Endoscope device | |
JPH11225954A (en) | Electronic endoscope device | |
JP4231726B2 (en) | Light control device for electronic endoscope | |
JP2004040480A (en) | Imaging device | |
JPH0739514A (en) | Electronic endoscope equipment | |
JP2006149933A (en) | Endoscope device | |
JP3655679B2 (en) | Endoscope device | |
JP4503931B2 (en) | Electronic endoscope device | |
JP3917982B2 (en) | Endoscope device | |
JP2969522B2 (en) | Electronic endoscope device | |
JP4426220B2 (en) | Electronic endoscope device capable of split photometry | |
JP2007209506A (en) | Electronic endoscopic apparatus | |
JP2003305005A (en) | Still image recordable electronic endoscope device | |
JP2006149939A (en) | Light source unit for endoscope |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050628 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130708 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |