JP2007202621A - 電子内視鏡装置 - Google Patents

電子内視鏡装置 Download PDF

Info

Publication number
JP2007202621A
JP2007202621A JP2006021847A JP2006021847A JP2007202621A JP 2007202621 A JP2007202621 A JP 2007202621A JP 2006021847 A JP2006021847 A JP 2006021847A JP 2006021847 A JP2006021847 A JP 2006021847A JP 2007202621 A JP2007202621 A JP 2007202621A
Authority
JP
Japan
Prior art keywords
color
image
spectral image
circuit
electronic endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006021847A
Other languages
English (en)
Other versions
JP4773217B2 (ja
JP2007202621A5 (ja
Inventor
Mitsuru Higuchi
充 樋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fujinon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujinon Corp filed Critical Fujinon Corp
Priority to JP2006021847A priority Critical patent/JP4773217B2/ja
Priority to US11/699,481 priority patent/US8633977B2/en
Priority to EP07001979A priority patent/EP1813185A1/en
Publication of JP2007202621A publication Critical patent/JP2007202621A/ja
Publication of JP2007202621A5 publication Critical patent/JP2007202621A5/ja
Application granted granted Critical
Publication of JP4773217B2 publication Critical patent/JP4773217B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】カラー撮像素子の出力画像信号から所定波長域の分光画像を形成する電子内視鏡装置において、表示画像の明るさを好ましい範囲にする。
【解決手段】被観察体に白色光を照射する光源14と、被観察体を撮像するカラー撮像素子15と、該素子15が出力したY(輝度)/C(色差)信号をR、G、B3色画像信号に変換する第1色変換回路28と、R、G、B3色画像信号から所定波長域の分光画像を形成する分光画像形成回路29と、前記分光画像を担持するR、G、B3色画像信号をY/C信号に変換する第2色変換回路31とを有する電子内視鏡装置において、光源14から被観察体に照射される白色光の光量を調節する光量調節手段14c、14dと、第2色変換回路31が出力するY/C信号が示す輝度情報に基づいて光量調節手段14c、14dを制御することにより、前記白色光の光量を目標範囲内に設定する光量制御回路35とを設ける。
【選択図】図1

Description

本発明は電子内視鏡装置に関し、特に詳細には、カラー画像を担持する画像信号を演算処理することによって、特定の波長域の分光画像(映像)を形成、表示可能とした電子内視鏡装置に関する。
固体撮像素子を用いた電子内視鏡装置の分野では、近年、胃粘膜等の消化器官における分光反射率に基づいて、狭帯域バンドパスフィルタを組み合わせた分光イメージングを行う装置、すなわち狭帯域フィルタ内蔵電子内視鏡装置(Narrow Band Imaging-NBl)が注目されている。この装置は、面順次式のR(赤),G(緑),B(青)の回転フィルタの代わりに、3つの狭(波長)帯域のバンドパスフィルタを設け、これら狭帯域バンドパスフィルタを介して照明光を順次出力し、これらの照明光で得られた3つの信号に対しそれぞれの重み付けを変えながらR,G,B(RGB)信号の場合と同様の処理を行うことにより、分光画像を形成するものである。このような分光画像によれば、胃、大腸等の消化器において、従来では得られなかった微細構造等が抽出される。
一方、上記の狭帯域バンドパスフィルタを用いる面順次式のものではなく、特許文献1や非特許文献1に示されるように、固体撮像素子に微小モザイクの色フィルタを配置する同時式において、白色光が照射された被観察体を撮像して得た画像信号を基に、演算処理にて分光画像を形成することが提案されている。これは、RGBのそれぞれのカラー感度特性を数値データ化したものと、特定の狭帯域バンドパスの分光特性を数値データ化したものとの関係をマトリクスデータ(係数セット)として求め、このマトリクスデータとRGB信号との演算により狭帯域バンドパスフィルタを介して得られる分光画像を推定した分光画像信号を得るものである。このような演算によって分光画像を形成する場合は、所望の波長域に対応した複数のフィルタを用意する必要がなく、またこれらの交換配置が不要となるので、装置の大型化が避けられ、低コスト化を図ることができる。
ところで、電子内視鏡装置においては一般に、表示画像を観察し易いものとするために、その明るさを好ましい所定範囲に設定する制御がなされる。そのような制御は通常、例えば特許文献2に示されるように、光源から被観察体に照射される光の光量を調節したり、あるいは特許文献3に示されるように、撮像素子が出力する画像信号を増幅する増幅回路のゲインを調節したりすることによってなされている。より具体的には、それらの特許文献2、3にも示されている通り、撮像素子が出力する画像信号が示す輝度情報(例えば1画面における全画素の輝度平均値等)に基づいて光源の前に配した絞りの開度を調節したり、あるいは同じくこの輝度情報に基づいて増幅回路のゲインを調節するような手法が提案されている。
特開2003−93336号公報 特開2000−253307号公報 特開平11−75112号公報 三宅洋一著「デジタルカラー画像の解析・評価」東京大学出版会、 2000年、p.148〜153
上述のように表示画像の明るさを所定範囲に設定する制御は、勿論、先に述べた分光画像を得る電子内視鏡装置においても実施されることが望ましい。そこでこの場合も、撮像素子が出力する画像信号が示す輝度情報に基づいて、被観察体に照射される光の光量や、あるいは撮像素子の出力画像信号を増幅する増幅回路のゲインを調節することが考えられるが、そのようにすると、予想に反して分光画像の明るさが低下することが判明した。
本発明は上記の問題点に鑑みてなされたものであり、分光画像を得るようにした電子内視鏡装置において、分光画像の明るさを正確に所望の明るさに設定可能にすることを目的とする。
本発明による第1の電子内視鏡装置は、
被観察体に白色光を照射する光源と、
この白色光の照射を受けた前記被観察体を撮像するカラー撮像素子と、
このカラー撮像素子が出力したY(輝度)/C(色差)信号を、R、G、B3色画像信号に変換する第1色変換回路と、
前記R、G、B3色画像信号から、所定の波長域の分光画像を形成する分光画像形成回路と、
前記分光画像を担持するR、G、B3色画像信号を、Y/C信号に変換する第2色変換回路とを備えてなる電子内視鏡装置において、
前記光源から被観察体に照射される白色光の光量を調節する光量調節手段と、
前記第2色変換回路が出力するY/C信号が示す輝度情報に基づいて前記光量調節手段を制御することにより、前記分光画像の明るさを所定範囲内に設定する光量制御回路とが設けられたことを特徴とするものである。
なお上記の光量調節手段としては、光源の前方側つまり被観察体側に配置した絞りと、この絞りの開度を調節する手段とからなるものや、光源の駆動電流あるいは駆動電圧を変化させて発光量を調節するもの等を好適に用いることができる。
また本発明による第2の電子内視鏡装置は、
被観察体に白色光を照射する光源と、
この白色光の照射を受けた前記被観察体を撮像するカラー撮像素子と、
このカラー撮像素子が出力したY(輝度)/C(色差)信号を、R、G、B3色画像信号に変換する第1色変換回路と、
前記R、G、B3色画像信号から、所定の波長域の分光画像を形成する分光画像形成回路と、
前記分光画像を担持するR、G、B3色画像信号を、Y/C信号に変換する第2色変換回路とを備えてなる電子内視鏡装置において、
前記カラー撮像素子が出力したY/C信号を、ゲインを調節可能にして増幅する増幅回路と、
前記第2色変換回路が出力するY/C信号が示す輝度情報に基づいて前記増幅回路のゲインを制御することにより、前記分光画像の明るさを所定範囲内に設定するゲイン制御回路とが設けられたことを特徴とするものである。
なお、この第2の電子内視鏡装置においては、前記第1の電子内視鏡装置を構成する光量調節手段および光量制御回路がさらに設けられてもよい。そのようにする場合は、例えば、通常は光量調節手段による光量調節と増幅回路のゲイン調節との一方を行い、その一方の調節だけでは所望する分光画像の明るさが得られない状況となったときに、他方の調節も併せて行うように構成することが望ましい。
本発明者の研究によると、分光画像を得る電子内視鏡装置に対して特許文献2や3に示される手法を適用した場合に分光画像の明るさが低下するという問題は、以下の点に起因していることが解った。
すなわち、カラー撮像素子が出力したY/C信号をR、G、B3色画像信号に変換し、それらのR、G、B3色画像信号から所定の波長域の分光画像を形成するに当たっては、ブロードな波長域に関する画像情報を担持しているカラー画像信号から、狭い領域に関する画像信号が抽出して利用される。そのため分光画像の明るさは、分光画像形成に利用されなかった画像信号の分だけ低下することになる。そこで、R、G、B3色画像信号に変換する前のY/C信号を基に、それが示す輝度情報に基づいて画像の明るさを最適値に設定するような制御を行うと、実際に形成される分光画像の明るさが、その最適値の明るさよりも低くなってしまうのである。
この新しい知見に基づいて、本発明による第1の電子内視鏡装置においては、分光画像形成に供する前のY/C信号が示す輝度情報ではなく、第2色変換回路が出力するY/C信号、つまり分光画像を担持するY/C信号が示す輝度情報に基づいて光量調節手段を制御して、被観察体に照射される白色光の光量を目標範囲内に設定するようにしたので、実際に形成される分光画像の明るさを最適値に設定することが可能となる。
また本発明による第2の電子内視鏡装置においても、R、G、B3色画像信号に変換する前のY/C信号が示す輝度情報ではなく、第2色変換回路が出力するY/C信号、つまり分光画像を担持するY/C信号が示す輝度情報に基づいて増幅回路のゲインを制御して、該第2色変換回路から出力されるY/C信号のレベルを目標範囲内に設定するようにしたので、この場合も、実際に形成される分光画像の明るさを最適値に設定することが可能となる。
以下、図面を参照して本発明の実施形態を詳細に説明する。図1は、本発明の一実施形態による電子内視鏡装置の基本構成を示すものである。図示の通りこの電子内視鏡装置は、スコープ10すなわち内視鏡本体部分と、このスコープ10が着脱自在に接続されるプロセッサ装置12とから構成され、プロセッサ装置12内には白色光を発する光源装置14が配置されている。スコープ10の先端には照明窓23が設けられ、この照明窓23には、一端が上記光源装置14に接続されたライトガイド24の他端が対面している。
光源装置14は、白色光を発するランプ14aと、このランプ14aを点灯させる点灯駆動回路14bと、ランプ14aの前側に配置された絞り14cと、この絞り14cを開閉する絞り駆動部14dとから構成されている。なお、ランプ14aとライトガイド24との間には、該ランプ14aから発せられた白色光をライトガイド24に入射させるための光学系が設けられるが、それらについては図示を省いてある。また、この種の光源装置は、プロセッサ装置12とは別体の部分に配置されてもよい。
上記スコープ10の先端部には、固体撮像素子であるCCD15が設けられている。このCCD15としては、例えば撮像面にMg(マゼンタ),Ye(イエロー),Cy(シアン),G(グリーン)の色フィルタを有する補色型、あるいはRGBの色フィルタを有する原色型が用いられる。
CCD15には、同期信号に基づいて駆動パルスを形成するCCD駆動回路16が接続されると共に、このCCD15が出力した画像(映像)信号をサンプリングして増幅するCDS/AGC(相関二重サンプリング/自動利得制御)回路17が接続されている。またCDS/AGC回路17には、そのアナログ出力をデジタル化するA/D変換器18が接続されている。さらにスコープ10内には、そこに設けられた各種回路を制御するとともに、プロセッサ装置12との間の通信制御を行うマイコン20が配置されている。
一方プロセッサ装置12には、デジタル化された画像信号に対して各種の画像処理を施すDSP(デジタル信号プロセッサ)25が設けられている。このDSP25は、上記CCD15の出力信号から輝度(Y)信号と色差[C(R−Y,B−Y)]信号で構成されるY/C信号を生成し、それを出力するものであり、該DSP25には第1色変換回路28が接続されている。この第1色変換回路28は、上記DSP25から出力されたY/C信号をR、G、Bの3色画像信号に変換する。なお、上記DSP25はスコープ10側に配置してもよい。
上記第1色変換回路28の後段側には、分光画像形成のためのマトリクス演算を行って、選択された波長域λ1,λ2,λ3による分光画像を示す画像信号を出力する色空間変換処理回路29、1つの狭波長帯域の分光画像を形成する単色モードと、3つの波長域からなる分光画像を形成する3色モードとのいずれかを選択するモードセレクタ30、1つの波長域または3つの波長域の画像信号λ1s,λ2s,λ3sを、RGB信号に対応させた処理をするためにRs,Gs,Bs信号として入力し、このRs,Gs,Bs信号をY/C信号に変換する第2色変換回路31、鏡像処理,マスク発生、キャラクタ発生等のその他の各種信号処理を行う信号処理回路32、およびD/A変換器33が逐次この順に接続されている。そして最後段のD/A変換器33には、例えば液晶表示装置やCRT等からなるモニタ34および、光走査記録装置等からなる画像記録装置45が接続されている。なお、モードセレクタ30が選択する3色モードに代えて、2つの波長域からなる分光画像を形成する2色モードを設定するようにしてもよい。
またプロセッサ装置12内には、スコープ10との間の通信を行うと共に、該装置12内の各回路を制御し、また分光画像を形成するためのマトリクス(係数)データを上記色空間変換処理回路29に入力する等の機能を有するマイコン35が設けられている。上記メモリ36には、RGB信号に基づいて分光画像を形成するためのマトリクスデータがテーブルの形で記憶されている。本実施形態において、このメモリ36に格納されているマトリクスデータの一例は次の表1のようになる。
Figure 2007202621
この表1のマトリクスデータは、例えば400nmから700nmの波長域を5nm間隔で分けた61の波長域パラメータ(係数セット)p1〜p61および、通常画像形成のためのパラメータP1〜P3からなる。パラメータp1〜p61は各々、マトリクス演算のための係数kpr,kpg,kpb(p=1〜61)から構成され、他方パラメータP1は係数(1.00000,0.00000,0.00000)から、パラメータP2は(係数0.00000,1.00000,0.00000)から、パラメータP3は係数(0.00000,0.00000,1.00000)からそれぞれ構成されている。
そして色空間変換処理回路29において、上記係数kpr,kpg,kpbと第1色変換回路28から出力されたRGB信号とにより次式で示すマトリクス演算が行われて、分光画像信号λ1s,λ2s,λ3sが形成される。
Figure 2007202621
すなわち、分光画像を構成する波長域λ1,λ2,λ3としてそれぞれ例えば500nm,620nm,650nmが選択される場合は、係数(kpr,kpg,kpb)として、表1の61のパラメータのうち、中心波長500nmに対応するパラメータp21の係数(-0.00119,0.002346,0.0016)、中心波長620nmに対応するパラメータp45の係数(0.004022,0.000068,‐0.00097)、および中心波長650nmに対応するパラメータp51の係数(0.005152,-0.00192,0.000088)を用いて上記マトリクス演算がなされる。
なお色空間変換処理回路29は、後述するようにして通常画像表示あるいは記録の指示が与えられた際には、パラメータP1〜P3の係数を用いて上記マトリクス演算を行う。したがってその場合は、第1色変換回路28から出力されたRGB信号がそのまま該色空間変換処理回路29から出力される。
マイコン35には上記メモリ36に加えて、操作パネル41、画像記録コントローラ42、およびキーボード等からなる入力部43が接続されている。図2は上記操作パネル41を詳しく示すものであり、該操作パネル41には、併せて概略図示する例えばa〜hの波長セットを選択するためのセット選択スイッチ41a、波長域λ1,λ2,λ3のそれぞれの中心波長を選択するため波長選択スイッチ41b、この波長選択スイッチ41bによりなされる波長切換えの幅を設定する切換え幅設定スイッチ41c、単一波長を選択する単色モードと3色モードとの切換えを行うモード切換えスイッチ41d、および分光画像形成を指示する分光画像形成スイッチ41jが設けられている。なおこの分光画像形成スイッチ41jは、スコープ10側に設けることもできる。
以下、上記構成を有する本実施形態の電子内視鏡装置の作用について説明する。まず、通常画像および分光画像の形成から説明する。これらの画像を形成する際には、図1に示す光源装置14が駆動され、そこから発せられた白色光が絞り14cを経てライトガイド24に入射し、スコープ10内に配されたライトガイド24の先端から出射した白色光が被観察体に照射される。そして、CCD駆動回路16によって駆動されたCCD15がこの被観察体を撮像し、撮像信号を出力する。この撮像信号はCDS/AGC回路17で相関二重サンプリングと自動利得制御による増幅を受けた後、A/D変換器18でA/D変換されて、デジタル信号としてプロセッサ装置12のDSP25に入力される。なお、CDS/AGC回路17の自動利得制御については、後に詳しく説明する。
DSP25では、スコープ10からの出力信号に対してガンマ処理が行われると共に、Mg,Ye,Cy,Gの色フィルタを介して得られた信号に対し色変換処理が行われ、前述の通りのY/C信号が形成される。このDSP25が出力するY/C信号は第1色変換回路28に入力され、そこでRGB信号に変換される。このRGB信号は色空間変換処理回路29へ供給され、この色空間変換処理回路29ではRGB信号とマトリクスデータとにより、分光画像形成のためのマトリクス演算がなされる。
以下、この演算について詳しく説明する。図2に示す操作パネル41の分光画像形成スイッチ41jが押された場合、色空間変換処理回路29は前述のメモリ36に記憶されているマトリクスデータを用いて、それとRGB信号とにより、分光画像形成のための前記数1式のマトリクス演算を行う。すなわち、この場合は操作パネル41の操作によってλ1,λ2,λ3の3つの波長域が設定され、マイコン35はそれらの3つの選択波長域に対応するマトリクスデータをメモリ36から読み出し、それらを色空間変換処理回路29に入力する。
例えば、3つの波長域λ1,λ2,λ3として波長500nm,620nm,650nmが選択された場合は、それぞれの波長に対応する表1のパラメータp21,p45,p51の係数が用いられて、RGB信号から次の数2式のマトリクス演算にて分光画像信号λ1s,λ2s,λ3sが形成される。
Figure 2007202621
モードセレクタ30にて3色モードが選択されている場合は、上記分光画像信号λ1s,λ2s,λ3sが各々Rs,Gs,Bsの3色画像信号として第2色変換回路31に入力され、また単色モードが選択されている場合は分光画像信号λ1s,λ2s,λ3sのいずれか1つがRs,Gs,Bsの信号として第2色変換回路31に入力される。この第2色変換回路31では、Rs,Gs,Bsの3色画像信号がY/C信号(Y,Rs−Y,Bs−Y)に変換され、このY/C信号が信号処理回路32およびD/A変換器33を介して前述のモニタ34および画像記録装置45へ入力される。
上記Y/C信号に基づいてモニタ34に表示される分光画像は、図4および図5で示すような波長域の色成分で構成されるものとなる。すなわち図4は、原色型CCD15の色フィルタの分光感度特性R,G,Bに、分光画像を形成する3つの波長域λ1,λ2,λ3を重ねた概念図であり、また図5は、生体の反射スペクトルに3つの波長域λ1,λ2,λ3を重ねた概念図である。先に例示したパラメータp21,p45,p51による分光画像信号λ1s,λ2s,λ3sは、図5に示されるように各々500nm、620nm、650nmを中心波長とする±10nm程度の範囲の波長域の色信号であり、これら3つの波長域の色の組合せから構成される分光画像(動画あるいは静止画)が表示されることになる。
次に、上記波長域λ1,λ2,λ3の選択について説明する。本実施形態では図2に示すように、λ1,λ2,λ3の波長セットとして、例えば400,500,600(nm、以下同様)の標準セットa、血管を描出するための470,500,670の血管B1セットb、同じく血管を描出するための475,510,685の血管B2セットc、特定組織を描出するための440,480,520の組織E1セットd、同じく特定組織を描出するための480,510,580の組織E2セットb、オキシヘモグロビンとデオキシヘモグロビンとの差を描出するための400,430,475のヘモグロビンセットf、血液とカロテンとの差を描出するための415,450,500の血液‐カロテンセットg、血液と細胞質の差を描出するための420,550,600の血液‐細胞質セットhの8つの波長セットが、デフォルト波長セットとして、図1に示すメモリ36の一部に記憶されている。
電子内視鏡装置の工場出荷後、最初に電源を入れて装置を立ち上げると、上記デフォルト波長セットがマイコン35によって選択される。そして、図2に示す操作パネル41の分光画像形成スイッチ41jが押されると、上記選択された波長セットの中の標準セットaが、図3のモニタ34において波長情報表示領域34sに表示される。このとき、モード切換えスイッチ41dが押されて3色モードが選択されていれば、標準セットaのλ1=400nm,λ2=500nm,λ3=600nmに対応する各パラメータがメモリ36から読み出され、それらのパラメータが色空間変換処理回路29に入力される。色空間変換処理回路29は、入力されたパラメータを用いて前述のマトリクス演算を行い、分光画像信号λ1s,λ2s,λ3sを形成する。そして、これらの分光画像信号λ1s,λ2s,λ3sによる分光画像が図3のモニタ34に表示される。
また臨床医師等の装置操作者は、図2の操作パネル41に有るセット選択スイッチ41aを操作することにより、デフォルト波長セットにおけるその他の波長セットb〜hを任意に選択することができ、マイコン35はこうして選択された波長セットを、図3のモニタ34において波長情報表示領域34sに表示させる。それとともにこの場合も、選択された波長セットの波長域λ1,λ2,λ3に対応する各パラメータがマイコン35によってメモリ36から読み出され、それらのパラメータが色空間変換処理回路29に入力される。色空間変換処理回路29は、入力されたパラメータを用いて前述のマトリクス演算を行い、分光画像信号λ1s,λ2s,λ3sを形成する。そして、これらの分光画像信号λ1s,λ2s,λ3sによる分光画像が図3のモニタ34に表示される。
なおセット選択スイッチ41aは図2に示す通り、上向きの三角形の操作部を有する上行スイッチと、下向きの三角形の操作部を有する下行スイッチとからなり、前者が1回押される毎に波長セットはa→h→g・・・と逐次選択され、それに対して後者が1回押される毎に波長セットはa→b→c・・・と逐次選択される。
また、上記波長セットa〜hのうちの1つが選択されているとき、操作者が波長選択スイッチ41bを操作することにより、その選択されている波長セットの波長域λ1,λ2,λ3のそれぞれを任意の値に変更することができる。この波長域の変更に際しては、波長切換え幅を、切換え幅設定スイッチ41cによって変えることができる。すなわち、切換え幅設定スイッチ41cのツマミを回転させることにより、連続的切換えに近い1nm幅、ステップ切換えである5nm幅、10nm幅、20nm幅というように、連続的または段階的な切換えを設定することができる。なお、例えば1nm幅で切り換える場合は、400〜700nmの範囲において301の波長域を設定し、この301の波長域に対応したマトリクスデータ(p′1〜p′301)を作成することになる。
図6はこの波長域の選択を示すものであり、上記5nm幅を設定したときは、λ1の切換えで示されるように、400→405→410というように切り換えられ、上記20nm幅を設定したときは、λ3の切換えで示されるように、600→620→640というように切り換えられ、この値がモニタ34の波長情報表示領域34sに表示される。
図3には、上記波長情報表示領域34sにおける表示状態を詳しく示してある。本実施形態では、前記信号処理回路32内のキャラクタ発生等によって、図3(A)に示すように、モニタ34の右下部等に設定された波長情報表示領域34sに波長情報が表示される。すなわち、この波長情報表示領域34sには、図3(B)に示すように、λ1,λ2,λ3等の文字の下に、選択された波長の値(nm)が表示される。あるいは図3(C)に示すように、横軸を波長目盛、縦軸を感度とし、選択された波長域を可動グラフ(図4に対応したもの)でビジュアル表示してもよい。
図2に示すモード切換えスイッチ41dは単色モードと3色モードの切換えを行うものであり、3色モード動作時にこのモード切換えスイッチ41dを押すと、単色モードへ切り換えられ、マイコン35により波長域λ1,λ2,λ3の全てが、470,470,470というように同一の値に設定される。そしてモニタ34には、図7に示すように、共通の波長域が表示される。なおこの共通の波長域についても、上記波長選択スイッチ41bによって任意の値を選択することができる。
ここで、上記8つの波長セットとして、前述したようなデフォルト波長セットの他に、装置使用者である医師の要望等に応じて別のセットを用意し、それらをメモリに記憶しておいて適宜選択使用できるようにしてもよい。また、上記の操作パネル41上のスイッチ類の一部の機能をキーボードのキー機能に置き換えたり、全部の機能をキーボードのキー機能に置き換えたりしてもよい。
なお、以上のようにして分光画像が形成、表示されているときに、図2に示した操作パネル41の分光画像形成スイッチ41jが再度押された場合、あるいは最初から分光画像形成スイッチ41jが押されない場合は、色空間変換処理回路29におけるマトリクス演算の係数として、前述のパラメータP1〜P3の係数が選択され、それにより該色空間変換処理回路29からは第1色変換回路28が出力したRGB信号がそのまま出力される。そしてこのRGB信号が第2色変換回路31でY/C信号に変換され、このY/C信号が信号処理回路32およびD/A変換器33を介してモニタ34へ入力されるので、該モニタ34においては被観察体の通常カラー画像(動画あるいは静止画)が表示される。
なお本実施形態においては、上記D/A変換器33の出力がモニタ34の他に画像記録装置45にも入力されるようになっており、マイコン35によって制御される画像記録コントローラ42が画像記録装置45に画像記録の指示を与えた場合は、その指示で指定されたシーンの通常カラー画像あるいは分光画像のハードコピーがこの画像記録装置45から出力される。
次に、モニタ34に表示される被観察体の通常カラー画像あるいは分光画像、さらには画像記録装置45から出力されるそれらの画像のハードコピーの明るさを、好ましい範囲に自動設定する点について説明する。図1に示されるように第2色変換回路31が出力するY/C信号は、光量制御回路としてのマイコン35にも入力される。マイコン35は、入力されたY/C信号から、例えば1フィールドに関する通常カラー画像あるいは分光画像のY(輝度)信号の平均値を求め、それと所定の目標値とを比較し、その比較結果に応じて光源装置14の絞り駆動部14dを制御する。すなわち、上記平均値が目標値を下回る場合は絞り14cの開度を所定量増大させ、反対に上記平均値が目標値を上回る場合は絞り14cの開度を所定量低下させるようにフィードバック制御がなされる。絞り14cの開度がこのように調節されることにより、被観察部に照射される白色光の光量が増減し、モニタ34に表示される被観察体の通常カラー画像あるいは分光画像、さらには画像記録装置45から出力されるそれらの画像のハードコピーの明るさが所定範囲に維持されるようになる。
なお、仮に色空間変換処理回路29に入力される前のY/C信号、つまりDSP25から出力されたY/C信号に基づいて上述のような光量制御を行うとすると、先に説明したように、色空間変換処理による信号レベルの低下分が光量制御に反映されないので、上記表示画像あるいはハードコピーの明るさは所望値よりも低くなってしまうが、本実施形態においてはそのような不具合の発生を招くことがない。
また本実施形態では、絞り14cの開度を全開としても上記Y信号の平均値が目標値を下回る場合、マイコン35はCDS/AGC回路17の利得(ゲイン)を所定値だけ増大させる。このように、CDS/AGC回路17のゲインがY信号に基づいてフィードバック制御されることにより、絞り14cの調節だけでは上記表示画像あるいはハードコピーの明るさを所定範囲に設定できない状況下でも、この明るさを所定範囲に設定できるようになる。この場合、CDS/AGC回路17を直接マイコン34で制御する他、スコープ10内のマイコン20をマイコン34で制御して、このマイコン20によってCDS/AGC回路17を制御するようにしてもよい。
なお、本実施形態のように絞り14cの開度調節による光量制御と、CDS/AGC回路17のゲイン制御とを併せて行うことは必ずしも必要ではなく、それらの制御の一方のみを行うようにしても構わない。また、光量制御は上述のように絞り14cの開度調節によって行う他、例えば点灯駆動回路14bによるランプ14aの駆動電流あるいは駆動電圧を変える等によって行うことも可能である。
また上記実施形態では、1フィールドに関する通常カラー画像あるいは分光画像のY信号の平均値に基づいて光量制御およびゲイン制御を行っているが、このような平均値に限らず、Y信号の最大値や、さらには1フィールド内の特定の部分領域に関するY信号の平均値や最大値等に基づいて光量制御あるいはゲイン制御を行うようにしてもよい。
なお分光画像の明るさは、CCD駆動回路16によって決定されるCCD15の電荷蓄積時間を制御する、いわゆる電子シャッター制御によって変化させることも可能である。そこで、上記Y信号の最大値や、1フィールド内の特定の部分領域に関するY信号の平均値や最大値等に基づいて電子シャッター制御を行うことにより、分光画像の明るさを所望値に設定することもできる。
また上記実施形態では、400nmから700nmの波長域を61の波長域に分割して選択できるようにしてあるが、波長域λ1,λ2,λ3として、赤外域を含めた波長域、あるいは赤外域のみの波長セットを選択することにより、可視光域のカットフィルタを用いることなく、従来において赤外線を照射して得られる画像に近似した分光画像を得ることができる。また従来の内視鏡では、励起光照射により癌組織等からの発光する蛍光を撮影することが行われるが、上記λ1,λ2,λ3の波長セットとして、蛍光波長に合わせたものを選択することにより、蛍光を発する部分の分光画像を形成することができ、この場合は、励起光のカットフィルタが不要となる利点がある。
さらに、従来の内視鏡では、被観察体にインディゴやピオクタニン等の色素散布を行い、色素散布によって着色した組織を撮像することが行われているが、上記λ1,λ2,λ3の波長セットとして、色素散布によって着色する組織が描出できる波長域を選択することにより、色素散布をすることなく、色素散布時の画像と同等の分光画像を得ることもできる。
本発明の一実施形態に係る電子内視鏡装置の構成を示すブロック図 図1の電子内視鏡装置を構成するプロセッサ装置の操作パネルの構成、および波長セットの例を示す図 図1の電子内視鏡装置のモニタにおける波長情報表示領域、およびその表示例を示す図 分光画像の波長域の一例を、原色型CCDの分光感度特性と共に示すグラフ 分光画像の波長域の一例を、生体の反射スペクトルと共に示すグラフ 図1の電子内視鏡装置の波長切換えスイッチで操作される波長切換え状態を示す図 図1の電子内視鏡装置において、単色モードで選択される波長セットを示す図
符号の説明
10 スコープ(電子内視鏡本体部)
12 プロセッサ装置
14 光源装置
14a ランプ
14b 点灯駆動回路
14c 絞り
14d 絞り駆動部
15 CCD
17 CDS/AGC回路
20,35 マイコン
25 DSP
28 第1色変換回路
29 色空間変換処理回路
30 モードセレクタ
31 第2色変換回路
32 信号処理回路
34 モニタ
34s 波長情報表示領域
36 メモリ
41 操作パネル
43 入力部

Claims (3)

  1. 被観察体に白色光を照射する光源と、
    この白色光の照射を受けた前記被観察体を撮像するカラー撮像素子と、
    このカラー撮像素子が出力したY(輝度)/C(色差)信号を、R、G、B3色画像信号に変換する第1色変換回路と、
    前記R、G、B3色画像信号から、所定の波長域の分光画像を形成する分光画像形成回路と、
    前記分光画像を担持するR、G、B3色画像信号を、Y/C信号に変換する第2色変換回路とを備えてなる電子内視鏡装置において、
    前記光源から被観察体に照射される白色光の光量を調節する光量調節手段と、
    前記第2色変換回路が出力するY/C信号が示す輝度情報に基づいて前記光量調節手段を制御することにより、前記分光画像の明るさを所定範囲内に設定する光量制御回路とが設けられたことを特徴とする電子内視鏡装置。
  2. 被観察体に白色光を照射する光源と、
    この白色光の照射を受けた前記被観察体を撮像するカラー撮像素子と、
    このカラー撮像素子が出力したY(輝度)/C(色差)信号を、R、G、B3色画像信号に変換する第1色変換回路と、
    前記R、G、B3色画像信号から、所定の波長域の分光画像を形成する分光画像形成回路と、
    前記分光画像を担持するR、G、B3色画像信号を、Y/C信号に変換する第2色変換回路とを備えてなる電子内視鏡装置において、
    前記カラー撮像素子が出力したY/C信号を、ゲインを調節可能にして増幅する増幅回路と、
    前記第2色変換回路が出力するY/C信号が示す輝度情報に基づいて前記増幅回路のゲインを制御することにより、前記分光画像の明るさを所定範囲内に設定するゲイン制御回路とが設けられたことを特徴とする電子内視鏡装置。
  3. 前記光源から被観察体に照射される白色光の光量を調節する光量調節手段と、
    前記第2色変換回路が出力するY/C信号が示す輝度情報に基づいて前記光量調節手段を制御することにより、前記分光画像の明るさを所定範囲内に設定する光量制御回路とをさらに備えたことを特徴とする請求項2記載の電子内視鏡装置。
JP2006021847A 2006-01-31 2006-01-31 電子内視鏡装置 Expired - Fee Related JP4773217B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006021847A JP4773217B2 (ja) 2006-01-31 2006-01-31 電子内視鏡装置
US11/699,481 US8633977B2 (en) 2006-01-31 2007-01-30 Electronic endoscope apparatus
EP07001979A EP1813185A1 (en) 2006-01-31 2007-01-30 Electronic endoscope apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006021847A JP4773217B2 (ja) 2006-01-31 2006-01-31 電子内視鏡装置

Publications (3)

Publication Number Publication Date
JP2007202621A true JP2007202621A (ja) 2007-08-16
JP2007202621A5 JP2007202621A5 (ja) 2009-02-12
JP4773217B2 JP4773217B2 (ja) 2011-09-14

Family

ID=38000815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006021847A Expired - Fee Related JP4773217B2 (ja) 2006-01-31 2006-01-31 電子内視鏡装置

Country Status (3)

Country Link
US (1) US8633977B2 (ja)
EP (1) EP1813185A1 (ja)
JP (1) JP4773217B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009225831A (ja) * 2008-03-19 2009-10-08 Fujifilm Corp 電子内視鏡装置
JP2009279169A (ja) * 2008-05-22 2009-12-03 Fujinon Corp 蛍光画像取得方法および蛍光画像取得装置
JP2009279171A (ja) * 2008-05-22 2009-12-03 Fujinon Corp 蛍光画像取得方法および蛍光画像取得装置
JP2010005056A (ja) * 2008-06-26 2010-01-14 Fujinon Corp 画像取得方法および装置
JP2010068925A (ja) * 2008-09-17 2010-04-02 Fujinon Corp 画像取得方法および画像取得装置
JP2010069063A (ja) * 2008-09-19 2010-04-02 Fujifilm Corp 画像取得方法および装置
JP2010082141A (ja) * 2008-09-30 2010-04-15 Fujinon Corp 電子内視鏡装置
WO2011048887A1 (ja) * 2009-10-20 2011-04-28 オリンパスメディカルシステムズ株式会社 蛍光観察装置
KR101283079B1 (ko) * 2011-08-17 2013-07-05 엘지이노텍 주식회사 적외선 엘이디 조명을 갖는 네트워크 카메라
JP2016064281A (ja) * 2015-12-25 2016-04-28 オリンパス株式会社 内視鏡装置
US9801531B2 (en) 2011-05-27 2017-10-31 Olympus Corporation Endoscope system and method for operating endoscope system

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5006759B2 (ja) * 2007-10-29 2012-08-22 Hoya株式会社 電子内視鏡用信号処理装置および電子内視鏡装置
JP2009240354A (ja) * 2008-03-28 2009-10-22 Fujinon Corp 電子内視鏡装置
US20090289200A1 (en) 2008-05-22 2009-11-26 Fujifilm Corporation Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
JP5081720B2 (ja) * 2008-05-22 2012-11-28 富士フイルム株式会社 蛍光内視鏡装置および励起光ユニット
JP5190944B2 (ja) * 2008-06-26 2013-04-24 富士フイルム株式会社 内視鏡装置および内視鏡装置の作動方法
ATE553692T1 (de) 2008-09-17 2012-05-15 Fujifilm Corp Bilderfassungsverfahren und bilderfassungsvorrichtung
JP5271062B2 (ja) * 2008-12-09 2013-08-21 富士フイルム株式会社 内視鏡装置およびその作動方法
US8878920B2 (en) 2011-07-12 2014-11-04 Karl Storz Imaging, Inc. Method and apparatus for protection from high intensity light
DE112016000094B4 (de) 2015-08-13 2019-07-11 Hoya Corporation Vorrichtung zur Berechnung von Analysewerten und elektronisches Endoskopsystem
WO2017026540A1 (ja) 2015-08-13 2017-02-16 Hoya株式会社 評価値計算装置及び電子内視鏡システム
CN105748027B (zh) * 2016-02-17 2017-11-07 深圳开立生物医疗科技股份有限公司 应用于内窥镜的成像方法和系统
WO2019151029A1 (ja) * 2018-02-05 2019-08-08 ソニー株式会社 撮像装置および撮像方法、並びにプログラム
US11529039B2 (en) * 2018-05-08 2022-12-20 Xenocor, Inc. Non-conductive borescopes and related imaging techniques

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05297285A (ja) * 1992-04-22 1993-11-12 Olympus Optical Co Ltd 内視鏡像の明るさ制御装置
JP2000261714A (ja) * 1999-03-08 2000-09-22 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2001008097A (ja) * 1999-06-22 2001-01-12 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2002369798A (ja) * 2001-06-15 2002-12-24 Pentax Corp 色調整処理を行う電子内視鏡装置および電子内視鏡装置のビデオスコープ
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP2005013279A (ja) * 2003-06-23 2005-01-20 Olympus Corp 内視鏡装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796005B2 (ja) 1987-10-27 1995-10-18 オリンパス光学工業株式会社 内視鏡装置
JPH1175112A (ja) 1997-08-29 1999-03-16 Olympus Optical Co Ltd 自動利得制御回路
US6707485B1 (en) * 1998-02-27 2004-03-16 Fuji Photo Optical Co., Ltd. Light control system for electronic endoscopes
JP3676633B2 (ja) 1998-12-28 2005-07-27 ペンタックス株式会社 内視鏡の絞り制御装置
JP4274632B2 (ja) * 1999-05-25 2009-06-10 オリンパス株式会社 色再現システム
JP4187508B2 (ja) * 2002-11-12 2008-11-26 フジノン株式会社 電子内視鏡装置
JP4502577B2 (ja) * 2002-12-19 2010-07-14 Hoya株式会社 電子内視鏡装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05297285A (ja) * 1992-04-22 1993-11-12 Olympus Optical Co Ltd 内視鏡像の明るさ制御装置
JP2000261714A (ja) * 1999-03-08 2000-09-22 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2001008097A (ja) * 1999-06-22 2001-01-12 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2002369798A (ja) * 2001-06-15 2002-12-24 Pentax Corp 色調整処理を行う電子内視鏡装置および電子内視鏡装置のビデオスコープ
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP2005013279A (ja) * 2003-06-23 2005-01-20 Olympus Corp 内視鏡装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009225831A (ja) * 2008-03-19 2009-10-08 Fujifilm Corp 電子内視鏡装置
JP2009279169A (ja) * 2008-05-22 2009-12-03 Fujinon Corp 蛍光画像取得方法および蛍光画像取得装置
JP2009279171A (ja) * 2008-05-22 2009-12-03 Fujinon Corp 蛍光画像取得方法および蛍光画像取得装置
JP2010005056A (ja) * 2008-06-26 2010-01-14 Fujinon Corp 画像取得方法および装置
JP2010068925A (ja) * 2008-09-17 2010-04-02 Fujinon Corp 画像取得方法および画像取得装置
JP2010069063A (ja) * 2008-09-19 2010-04-02 Fujifilm Corp 画像取得方法および装置
JP2010082141A (ja) * 2008-09-30 2010-04-15 Fujinon Corp 電子内視鏡装置
WO2011048887A1 (ja) * 2009-10-20 2011-04-28 オリンパスメディカルシステムズ株式会社 蛍光観察装置
JP4773583B2 (ja) * 2009-10-20 2011-09-14 オリンパスメディカルシステムズ株式会社 蛍光観察装置
US9801531B2 (en) 2011-05-27 2017-10-31 Olympus Corporation Endoscope system and method for operating endoscope system
KR101283079B1 (ko) * 2011-08-17 2013-07-05 엘지이노텍 주식회사 적외선 엘이디 조명을 갖는 네트워크 카메라
JP2016064281A (ja) * 2015-12-25 2016-04-28 オリンパス株式会社 内視鏡装置

Also Published As

Publication number Publication date
EP1813185A1 (en) 2007-08-01
US20070183162A1 (en) 2007-08-09
JP4773217B2 (ja) 2011-09-14
US8633977B2 (en) 2014-01-21

Similar Documents

Publication Publication Date Title
JP4773217B2 (ja) 電子内視鏡装置
JP4931199B2 (ja) 電子内視鏡装置
JP4579721B2 (ja) 内視鏡装置
JP4767649B2 (ja) 内視鏡装置
JP4637620B2 (ja) 内視鏡システム装置
EP1698272B1 (en) Endoscope and image processing device
RU2381737C2 (ru) Устройство для наблюдения биологических объектов
EP2505140B1 (en) Blood information measuring apparatus
KR101022585B1 (ko) 생체 관측 장치
WO2007010709A1 (ja) 内視鏡及び内視鏡装置
JP5039621B2 (ja) 電子内視鏡装置
JP4917822B2 (ja) 内視鏡装置
JP2010082141A (ja) 電子内視鏡装置
JP2010075368A (ja) 電子内視鏡装置および方法並びにプログラム
JP2007195829A (ja) 内視鏡システム装置
JP4813145B2 (ja) 内視鏡装置
JP2009240354A (ja) 電子内視鏡装置
JP5068205B2 (ja) 電子内視鏡装置
JP2010115341A (ja) 電子内視鏡装置
JP2009225830A (ja) 電子内視鏡装置
JP2010051602A (ja) 電子内視鏡装置および方法並びにプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081219

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110623

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4773217

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees