JP2006006833A - 電子内視鏡システム - Google Patents

電子内視鏡システム Download PDF

Info

Publication number
JP2006006833A
JP2006006833A JP2004191931A JP2004191931A JP2006006833A JP 2006006833 A JP2006006833 A JP 2006006833A JP 2004191931 A JP2004191931 A JP 2004191931A JP 2004191931 A JP2004191931 A JP 2004191931A JP 2006006833 A JP2006006833 A JP 2006006833A
Authority
JP
Japan
Prior art keywords
image
light
fluorescent
light source
body cavity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004191931A
Other languages
English (en)
Other versions
JP4611674B2 (ja
Inventor
Hideo Sugimoto
秀夫 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Pentax Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pentax Corp filed Critical Pentax Corp
Priority to JP2004191931A priority Critical patent/JP4611674B2/ja
Priority to DE102005030352.8A priority patent/DE102005030352B4/de
Priority to US11/168,304 priority patent/US7811229B2/en
Publication of JP2006006833A publication Critical patent/JP2006006833A/ja
Application granted granted Critical
Publication of JP4611674B2 publication Critical patent/JP4611674B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 蛍光画像を静止画として表示後、直ちに通常画像を動画で表示でき、蛍光画像をできるだけ大きく表示すること。
【解決手段】 蛍光表示モードでは励起光源33が発光し、撮像素子13は励起された体腔壁から発する蛍光画像を撮影する。撮像素子13からの画像信号は、前段信号処理回路57、第1、第2画像メモリ58a,58b、後段信号処理回路59で処理されモニター60に単一の蛍光画像が動画で表示される。静止画スイッチ72がオンするとロータリーシャッター37が回転して白色光源30が発光し、第1,第2画像メモリ58a,58bへの書き込みが禁止され、撮像素子の出力は第3,第4画像メモリ58c,58dに記憶される。後段信号処理回路59は第1、第2画像メモリに記憶された蛍光画像の静止画を親画面とし、第3,第4画像メモリに記憶された通常画像の動画を子画面としてモニターに表示させる。
【選択図】 図2

Description

本発明は、可視光により照明された体腔壁を撮影した通常画像と、励起光を照射することにより発生した自家蛍光を撮影した蛍光画像とをモニター等の表示装置に表示させて観察可能にする電子内視鏡システムに関する。
この種の電子内視鏡システムは、例えば特許文献1、2に記載されている。特許文献1に開示されるシステムは、蛍光画像を撮影する第1の固体撮像素子と、RGBのカラー画像を面順次方式で撮影する第2の固体撮像素子とを備え、それぞれの素子から出力される信号を、蛍光画像用ビデオ回路、及び通常画像用ビデオ回路により処理し、画面合成回路により合成してモニタテレビ上に表示させる。表示画面切換スイッチの操作に応じて、蛍光画像と通常画像の一方又は両方がモニタテレビに表示される(段落0028,0029)。
また、特許文献2の図16に開示されるシステムは、通常観察用の照明光を発する第1ランプ124と、励起光を発する第2ランプ125とが備えられ、可動ミラー128の位置を変更することにより、いずれかの光が選択的にライトガイド133に供給されるようになっている。CCD137により撮影された画像信号は、第1メモリ141と第2メモリ142とに格納され、表示位置セレクト回路144を介してハイビジョンモニタ115に表示される。2画面表示スイッチがONされると、ハイビジョンディスプレイ115にノーマル像と蛍光像とが同時に表示される。すなわち、2画面表示スイッチがONされると、ミラー128が実線の位置に回動して励起光がライトガイド133に供給される。それと共に、第1メモリが書き込み禁止となり、直前に入力されたノーマル画像が繰り返し出力され、ノーマル像は静止画となる。一方、所定時間励起光が照射されると、シャッター132が閉じ、このとき撮影された蛍光像の信号は第2メモリに格納される。第2メモリは書き込み禁止となり、以後、このとき撮影された蛍光像の信号が繰り返し出力されて蛍光像は静止画として表示される。また、ミラー28が点線の位置に戻り、シャッターが開くため、第1ランプ124からの照明光により撮影されたノーマル像が第1メモリ141に順次格納されるようになり、ノーマル像が動画となる(段落0049,0050)。
特開平9−066023号公報 段落0028,0029,図1 特開2003−33324号公報 段落0049,0050,図16
しかしながら、特許文献1には、蛍光画像を静止画として表示することについての説明がない。一方、特許文献2には、2画面表示スイッチをONしたときに蛍光画像を静止画として表示し、通常画像(ノーマル像)を動画として表示することが開示されている。ただし、引用文献2のシステムでは、ミラー128を動かすことにより通常の照明光と励起光とを選択的に入射させるようにしているため、2画面スイッチがONされてから一定時間(t秒)の間は通常画像が静止画となり、この時間中は内視鏡先端を移動させて他の部位を観察することができない。さらに、特許文献1及び2のシステムでは、蛍光画像と通常画像とが同一のサイズでディスプレイ上に表示されるため、蛍光画像により病変部を探すために蛍光画像をできるだけ大きく表示したいという要望を満たすことができない。
本発明は、上述した従来技術の問題点に鑑みてなされたものであり、蛍光画像を静止画として表示する際に、静止画表示後、直ちに通常画像を動画で表示することができ、かつ、蛍光画像をできるだけ大きく表示することができる電子内視鏡システムを提供することを目的とする。
本発明にかかる電子内視鏡システムは、体腔内に挿入される挿入部と、挿入部を通して照明光を挿入部先端に導くライトガイドと、照明された体腔内の画像を撮影する撮像素子とを有する電子内視鏡と、体腔壁内を観察するための可視光を発する可視光源と、体腔壁の生体組織を励起して自家蛍光を発光させるための励起光を発する励起光源とを備え、可視光と励起光とを選択的にライトガイドに入射させる光源装置と、体腔内が可視光により照明されている期間に撮像素子から出力される信号により通常画像信号を生成し、体腔壁が励起光により照射されている期間に撮像素子から出力される信号により蛍光画像信号を生成する画像信号生成手段と、画像信号生成手段から出力される画像信号に基づいて画像を表示する表示手段と、静止画像を得る際に術者により操作される静止画スイッチと、蛍光撮影の際には光源装置を制御して可視光と励起光とを交互にライトガイドに入射させると共に、画像処理装置を制御して通常画像信号と蛍光画像信号とを生成させ、蛍光撮影中に静止画スイッチが操作された際に、操作時に生成されていた蛍光画像信号に基づいて蛍光画像の静止画を表示装置に親画面として表示させると共に、体腔内が可視光により照明される度に生成される通常画像信号に基づいて通常画像の動画を表示装置に子画面として表示させる制御手段とを備えることを特徴とする。
なお、「親画面」は、比較的サイズの大きい画面であり、望ましくは、モニタの画面のほぼ全域を占め、「子画面」は、比較的サイズの小さい画面であり、望ましくは、親画面の一部に重ねて表示される。
本発明によれば、蛍光画像の表示中に静止画スイッチを押すことにより、親画面で蛍光画像の静止画、子画面で画像の動画を表示することができ、操作者は、蛍光撮影の後、直ちに通常画像の動画に基づいて内視鏡の先端を移動させて他の部位を観察することができる。また、蛍光画像はサイズの大きな親画面として表示されるため、これに基づいて病変部を容易に探すことができる。
以下、本発明にかかる電子内視鏡システムの実施形態を図面に基づいて説明する。実施形態の電子内視鏡システムは、可視光により照明された体腔壁を撮影した通常画像と、励起光を照射することにより発生した自家蛍光を撮影した蛍光画像とをモニター等の表示装置に表示させて観察するためのシステムである。
図1は、本発明の実施形態に係る電子内視鏡システムの外観図、図2は、その内部構成を示すブロック図である。図1に示されるように、この電子内視鏡システムは、蛍光観察内視鏡10、光源装置20及びモニター60を備えている。
蛍光観察内視鏡10は、通常の電子内視鏡に蛍光観察用の改変を加えたものであり、体腔内に挿入されるために細長く形成され、先端に湾曲可能な湾曲部を備えた挿入部10a、挿入部10aの湾曲部を操作するためのアングルノブ等を有する操作部10b、操作部10bと光源装置20とを接続するためのライトガイド可撓管10c、及び、このライトガイド可撓管10cの基端に設けられたコネクタ10dを備えている。
光源装置20は、蛍光観察内視鏡10に対して照明光及び励起光を供給すると共に、後に詳述するように、蛍光撮影内視鏡10により撮影された信号により画像信号を生成する画像信号生成手段としての機能、及び、撮影された蛍光画像、通常画像を設定に応じて親子画面にして表示させる制御手段としての機能を有している。光源装置20の前面には、この光源装置20の主電源をオンオフするキースイッチ22と、各種の操作スイッチが配列したスイッチパネル23とが設けられている。
以下、図2にしたがって蛍光観察内視鏡10、及び光源装置20の詳細な構成を順に説明する。蛍光観察内視鏡10の挿入部10aの先端面には、配光レンズ11及び対物レンズ12が設けられている。そして、この挿入部10aの先端内部には、対物レンズ12によって形成された被写体の像を撮影するCCDカラーイメージセンサ等のカラー画像を撮影可能な撮像素子13、対物レンズ12から撮像素子13に向けて射出された光から後述する蛍光励起用のレーザー光に相当する波長成分を除去するための励起光カットフィルター14、撮像素子13から出力された画像信号を増幅するケーブルドライバ15が組み込まれている。
励起光カットフィルター14は、図3に示すように、励起光を遮断し、励起光より長い波長の光を透過させる特性を有しており、これにより、蛍光撮影時に撮像素子13に励起光が入射するのを防ぎ、蛍光のみの撮影が可能となる。なお、励起光には、生体の自家蛍光を励起する近紫外の波長域の光が選択され、励起光カットフィルター14により励起光成分がカットされても、通常のカラー画像を撮影する際の青成分の撮像には支障がない。
ケーブルドライバ15によって駆動された画像信号を伝送するための信号ケーブル18は、挿入部10a,操作部10b及びライトガイド可撓管10c内を引き通されて、蛍光観察内視鏡10に接続された光源装置20の後述の回路に接続されている。
この信号ケーブル18と並行して、挿入部10a、操作部10b及びライトガイド可撓管10c内には、複数の光ファイバを束ねて構成されるライトガイド16が引き通されている。このライトガイド16の先端は、挿入部10aの先端部内において配光レンズ11に対向し、その基端は、光源装置20内に挿入された状態で固定されている。
光源装置20は、蛍光観察内視鏡10のライトガイド16の基端の端面に体腔壁を観察するための白色光と、体腔壁の生体組織を励起して自家蛍光を発光させるための励起光とを選択的に導入するとともに、蛍光観察内視鏡10のケーブルドライバ15から受信した画像信号を処理して映像信号を生成し、モニター60へ出力する。
光源装置20の光学系は、ほぼ平行な可視光(白色光)を発する白色光源(放電管ランプ)30と、白色光源30から発した白色光の光束径を調整する調光用絞り31と、調光用絞り31を透過した白色光を集光させてライトガイド16の基端の端面に入射させる集光レンズ32とを備えると共に、励起光を発する励起用光源(レーザー)33と、この励起用光源33から発した励起光を導く光導波路(シングルファイバー)34と、この光導波路34から発した発散光である励起光を平行光にするコリメートレンズ35と、白色光の光路と励起光の光路とを合成するダイクロイックミラー36とを備えている。
調光用絞り31は、絞り用モータ31aにより駆動され、対象物の反射率に応じて白色光の光量を調整する機能を持つ。白色光源30からライトガイド16までの光路は直線的であり、この光路に対して垂直に交差する励起光の光路を、光路合成素子であるダイクロイックミラー36により合成している。ダイクロイックミラー36は、可視光を透過させ、それ以下の波長の近紫外光を反射させる特性を有し、これにより白色光の大部分を透過させ、励起光を反射させ、これら透過した白色光と反射した励起光とをライトガイド16の基端の端面へ向かう単一の光路に導く。
白色光源30とダイクロイックミラー36との間には、白色光を断続的にオン/オフ(透過/遮断)するためのロータリーシャッター37が配置されている。ロータリーシャッター37には、図4に平面形状を示すように、中心角180°の扇形の窓37aが形成されている。窓37aのサイズは、白色光の径より大きく設定されており、シャッター用モータ38を駆動してロータリーシャッター37を回転させることにより、白色光が断続的にオン/オフされ白色光が断続的に透過する。
なお、ダイクロイックミラー36、ロータリーシャッター37及びシャッター用モータ38は、図2中の上下方向(白色光の光路に対して垂直な方向)に移動可能なユニット40に配置されている。このユニット40には、移動方向に沿って延びるラックギア41が固定されており、このラックギア41にユニット用モータ42のピニオン42aが噛み合っている。ユニット用モータ42を回転させることにより、ユニット40を一体に上下方向に移動させ、図2に示されるように、ダイクロイックミラー36及びロータリーシャッター37を光路中に配置する位置と、これらを光路から待避させた位置との間で切り換えが可能である。
光源装置20には、白色光源30に電流を供給するランプ用電源51、励起用光源33を駆動してオンオフするレーザードライバ52、上記の絞り用モータ31aを駆動する第1モータドライバ53、シャッター用モータ38を駆動する第2モータドライバ54、ユニット用モータ42を駆動する第3モータドライバ55、撮像素子13を駆動するCCDドライバ56が備えられている。また、画像信号の処理系として、ケーブルドライバ15から受信した画像信号を処理する前段信号処理回路57、この前段信号処理回路57で処理され出力されたデジタルの画像信号を一時的に記憶する第1〜第4画像メモリ58a,58b,58c,58d、これらの画像メモリから読み出されたデジタルの画像信号をテレビモニターに表示するための規格化映像信号に変換して出力する後段信号処理回路59を備えると共に、これら全体を制御するシステムコントローラ70及びタイミングコントローラ71を備えている。前段信号処理回路57、画像メモリ58a〜58d、後段信号処理回路59が画像処理装置としての機能を有しており、システムコントローラ70及びタイミングコントローラ71が制御手段としての機能を有している。
システムコントローラ70には、蛍光観察内視鏡10の操作部10bに設けられた静止画用スイッチ72及び蛍光モードスイッチ73が接続されると共に、スイッチパネル23に配置された各種スイッチが電気的に接続されており、これらの各スイッチの設定に基づき、ランプ用電源51、レーザードライバ52を制御して白色光、励起光を連続的に発光させ、あるいは停止すると共に、ユニット用モータ42を駆動する第3モータドライバ55を制御してユニット40の位置を切り換え変更する。
タイミングコントローラ71は、システムコントローラ70からの指令に基づいて、レーザードライバ52を制御して励起光を所定のタイミングで断続的にオン/オフさせると共に、シャッター用モータ38を駆動する第2モータドライバ54を制御して白色光を所定のタイミングで断続的にオン/オフさせる。また、タイミングコントローラ71は、CCDドライバ56を介して撮像素子13の撮像タイミングを制御すると共に、各画像メモリ58a〜58dに対するデータの書き込み、読み出しを制御し(アドレス・データ制御)、前段信号処理回路57、後段信号処理回路59に対して画像信号の処理タイミングを指示する。なお、前段信号処理回路57は、通常撮影の際に入力される画像信号の輝度レベルに応じて白色光の強度を適宜調整して、モニター60上に表示される通常画像を適度な明るさとするため、絞り用モータ31を駆動する第1モータドライバ53を制御する。
次に、上記のように構成された実施形態の内視鏡システムの作用について説明する。実施形態の内視鏡システムは、白色光を連続的に照射して撮影した通常(カラー)画像を動画として表示する通常画像表示モード、励起光を連続的に照射して撮影した蛍光画像を動画として表示する蛍光画像表示モード、白色光と励起光とを交互に照射して得られた通常画像と蛍光画像とを同時に動画として表示する同時表示モードを動画モードとして備えている。蛍光観察内視鏡10の操作部10bに設けられた蛍光モードスイッチ73がオフの間は、通常画像表示モードに設定される。蛍光モードスイッチ73がオンされると、蛍光画像表示モード、若しくは、同時表示モードのいずれかに設定される。これらのいずれを選択するかは、スイッチパネル23に備えられたスイッチにより予め設定しておくことができる。
さらに、通常画像表示モードで静止画スイッチを押した場合には、親画面で通常画像の静止画を表示すると共に、親画面よりも表示領域の小さい子画面で通常画像の動画を表示し、蛍光表示モードあるいは同時表示モードで静止画スイッチを押した場合には、親画面で蛍光画像の静止画を表示すると共に、子画面で通常画像の動画を表示する。以下、各モードについて説明する。
蛍光モードスイッチ73がオフの場合には、前述のように通常画像表示モードに設定される。通常観察モードでは、システムコントローラ70は、第3モータドライバ55を制御してユニット用モータ42を駆動し、ユニット40を白色光の光路から待避させた位置に移動すると共に、ランプ用電源51を制御して白色光源30を連続的に発光させる。シャッター用モータ38及び励起光源33は駆動せず共にオフのままである。これにより、白色光源30から発した白色光は、連続的にライトガイド16に入射する。蛍光観察内視鏡10の先端に設けられた撮像素子13は、白色光により照明された体腔内の画像を撮影する。撮像素子13から出力された通常画像信号は、ケーブルドライバ15及び信号ケーブル18を介して前段信号処理回路57に入力される。
前段信号処理回路57は、タイミングコントローラ71からの信号に基づいて通常画像信号を第1画像メモリ58a及び第2画像メモリ58bに記憶させる。後段信号処理回路59は、タイミングコントローラ71からの信号に基づいて、第1画像メモリ58a、第2画像メモリ58bから画像信号を読み出して映像信号に変換してモニター60に単一の通常画像を動画で表示する。
通常画像表示モードで静止画スイッチ72がオンされると、システムコントローラ70は、ユニット40を白色光の光路から待避させた位置で維持し、タイミングコントローラ71は、第1,第2画像メモリ58a,58bへの書き込みを禁止すると共に、撮像素子13による撮影を続行させて画像信号を第3,第4画像メモリ58c,58dに記憶させる。後段信号処理回路59は、タイミングコントローラ71からの信号に基づいて、第1、第2画像メモリ58a,58bから繰り返し同一の信号を読み出して通常画像の静止画を親画面とし、第3,第4画像メモリ58c,58dから順次書き換えられる信号を読み出して通常画像の動画を子画面とする映像信号を生成し、モニター60に表示させる。図5は、通常画像表示モードで静止画スイッチ72をオンした際にモニター60上に表示される画面の一例を示す。
通常画像表示モードで蛍光モードスイッチ73がオンされると、蛍光画像表示モード、若しくは同時表示モードのうち、スイッチパネル23のスイッチにより予め定められたモードに設定される。スイッチパネル23のスイッチにより蛍光表示モードに設定されると、システムコントローラ70は、第3モータドライバ55を制御してユニット用モータ42を駆動し、ユニット40を白色光の光路中に配置する位置に移動すると共に、ランプ用電源51を制御して白色光源30を消灯し、レーザードライバ52を制御して励起光源33を連続的に発光させる。シャッター用モータ38はオフのままである。これにより、励起光源33から発した励起光は、ダイクロイックミラー36に反射されて連続的にライトガイド16に入射する。蛍光観察内視鏡10の先端に設けられた撮像素子13は、励起光により励起された体腔壁から発する蛍光の画像を撮影する。撮像素子13から出力された蛍光画像信号は、ケーブルドライバ15及び信号ケーブル18を介して前段信号処理回路57に入力される。
前段信号処理回路57は、タイミングコントローラ71からの信号に基づいて蛍光画像信号を第1画像メモリ58a及び第2画像メモリ58bに記憶させる。後段信号処理回路59は、タイミングコントローラ71からの信号に基づいて、第1画像メモリ58a、第2画像メモリ58bから画像信号を読み出して映像信号に変換してモニター60に単一の蛍光画像を動画で表示する。図6は、蛍光画像表示モードにおいてモニター60上に表示される画面の一例を示す。
蛍光画像表示モードで静止画スイッチ72がオンされると、システムコントローラ70は、ユニット40を白色光の光路中に配置する位置で維持し、タイミングコントローラ71は、第2モータドライバ54を制御してロータリーシャッター37を回転させ、ランプ用電源51を制御して白色光源を発光させると共に、レーザードライバ52を制御して励起光源33を消灯する。また、タイミングコントローラ71は、第1,第2画像メモリ58a,58bへの書き込みを禁止すると共に、撮像素子13による撮影を続行させて白色光照射により得られた通常画像信号を第3,第4画像メモリ58c,58dに記憶させる。後段信号処理回路59は、タイミングコントローラ71からの信号に基づいて、第1、第2画像メモリ58a,58bから繰り返し同一の信号を読み出して蛍光画像の静止画を親画面とし、第3,第4画像メモリ58c,58dから順次書き換えられる信号を読み出して通常画像の動画を子画面とする映像信号を生成し、モニター60に表示させる。図7は、蛍光画像表示モードで静止画スイッチ72をオンした際にモニター60上に表示される画面の一例を示す。
蛍光モードスイッチ73がオンされスイッチパネル23のスイッチにより同時表示モードに設定された場合には、システムコントローラ70は、第3モータドライバ55を制御してユニット用モータ42を駆動し、ユニット40を白色光の光路中に配置する位置に移動すると共に、ランプ用電源51を制御して白色光源30を連続的に発光させる。タイミングコントローラ71は、第2モータドライバ54を制御してシャッター用モータ38を回転させると共に、レーザードライバ52を制御してロータリーシャッター37の窓37aが光路中に位置する期間(白色光がライトガイドに入射する期間)は励起光源33を消灯させ、ロータリーシャッター37の遮蔽部が光路中に位置する期間(白色光がライトガイドに入射しない期間)は励起光源33を発光させる。これにより、対象物は白色光と励起光とで交互に照射される。蛍光観察内視鏡10の先端に設けられた撮像素子13は、白色光により照明された体腔壁の通常画像と、励起光により励起された体腔壁から発する蛍光画像とを交互に撮影する。撮像素子13から出力され画像信号は、ケーブルドライバ15及び信号ケーブル18を介して前段信号処理回路57に入力される。
図8は、同時表示モードにおける白色光、励起光の照射タイミングと、撮像素子から画像データが出力されるタイミングとを示すチャートである。図8に示されるように、白色光が照射され励起光が照射されていない期間には通常のカラー画像を撮像し、白色光が照射されずに励起光が照射されている期間には蛍光画像を撮像する。
前段信号処理回路57は、タイミングコントローラ71からの信号に基づいて通常画像信号を第1画像メモリ58aに記憶させると共に、蛍光画像信号を第2画像メモリ58bに記憶させる。後段信号処理回路59は、タイミングコントローラ71からの信号に基づいて、第1画像メモリ58a、第2画像メモリ58bからそれぞれの画像信号を読み出し、スキャンコンバートを行ってモニター60に通常画像の動画と蛍光画像の動画とを互いに等しいサイズで並列させて表示する。図9は、同時表示モードにおいてモニター60上に表示される画面の一例を示す。
同時表示モードで静止画スイッチ72がオンされると、システムコントローラ70は、ユニット40を白色光の光路中に配置する位置を維持し、タイミングコントローラ71は、第2モータドライバ54を制御してロータリーシャッター37を回転させ、ランプ用電源51を制御して白色光源を発光させると共に、レーザードライバ52を制御して励起光源33を消灯する。また、タイミングコントローラ71は、第1,第2画像メモリ58a,58bへの書き込みを禁止すると共に、撮像素子13による撮影を続行させて白色光照射により得られた通常画像信号を第3画像メモリ58cに記憶させる。後段信号処理回路59は、タイミングコントローラ71からの信号に基づいて、第2画像メモリ58bから繰り返し同一の信号を読み出して蛍光画像の静止画を親画面とし、第3画像メモリ58cから順次書き換えられる信号を読み出して通常画像の動画を子画面とする映像信号を生成し、モニター60に表示させる。すなわち、この場合のモニター60上の表示は、図7に示すものと同様となる。
蛍光画像表示モードにおいて静止画スイッチをオンした場合、親画面として蛍光画像の静止画、子画面として蛍光画像の動画を表示したとすると、一般に蛍光画像は輝度が低いため、子画面の表示が不鮮明となり、内視鏡先端の位置決め、あるいは、危険回避のために表示されている子画面の機能を十分に果たすことができない可能性がある。本実施形態では、蛍光画像の静止画を表示する際に、子画面としてカラー画像による通常画像を表示するため、子画面の表示が鮮明となり、子画面としての機能を十分に果たすことが可能となる。
なお、白色光でのカラー画像の撮影時に白色光の光路からユニット40を待避させるのは、以下のような理由である。すなわち、白色光の光路にユニット40が配置されていると、白色光を透過させるためにロータリーシャッター52の窓52aが光路に一致する位置でロータリーシャッター52を停止させるか、ロータリーシャッターを回転させておく必要がある。しかしながら、シャッター用モータ53の停止位置をオープンループで厳密に制御するのは困難であるため、停止位置を定めるためには位置検出器が別途必要となる。他方、ロータリーシャッターを回転させると、白色光の照射時間が全体の1/2になるため、撮像素子による撮像時間が半減し、これに伴って解像度が半分になる。そこで、通常の観察時には、ダイクロイックミラー36とロータリーシャッター37とを一体のユニット40として光路から待避させている。これにより、位置検出器を別途設ける必要がなく、かつ、ロータリーシャッターを回転させる場合と比較して2倍の解像度を得ることができる。
本発明の実施の形態に係る電子内視鏡システムの外観図である。 図1に示される電子内視鏡システムの内部構成を示すブロック図であり、蛍光観察時の配置を示す。 図2の光学系に設けられている励起光カットフィルターの透過特性を示すグラフである。 図2の光学系に設けられているロータリーシャッターの正面図である。 通常画像表示モードで静止画スイッチをオンした際にモニター上に表示される画面の一例を示す説明図である。 蛍光画像表示モードにおいてモニター上に表示される画面の一例を示す説明図である。 蛍光画像表示モードで静止画スイッチをオンした際にモニター上に表示される画面の一例を示す説明図である。 同時表示モードにおける白色光、励起光の照射タイミングと、撮像素子から画像データが出力されるタイミングとを示すチャートである。 同時表示モードにおいてモニター上に表示される画面の一例を示す説明図である。
符号の説明
10 蛍光観察内視鏡
16 励起光用ライトガイド
20 光源装置
30 白色光源
32 コンデンサレンズ
33 励起光源
35 コリメートレンズ
36 ダイクロイックミラー
37 ロータリーシャッター
57 前段信号処理回路
58a〜58d 画像メモリ
59 後段信号処理回路
60 モニター
70 システムコントローラ
71 タイミングコントローラ
72 静止画用スイッチ
73 蛍光モードスイッチ

Claims (2)

  1. 体腔内に挿入される挿入部と、前記挿入部を通して照明光を挿入部先端に導くライトガイドと、照明された体腔内の画像を撮影する撮像素子とを有する電子内視鏡と、
    前記体腔内を観察するための可視光を発する可視光源と、体腔壁の生体組織を励起して自家蛍光を発光させるための励起光を発する励起光源とを備え、前記可視光と前記励起光とを選択的に前記ライトガイドに入射させる光源装置と、
    前記体腔内が可視光により照明されている期間に前記撮像素子から出力される信号により通常画像信号を生成し、前記体腔壁が励起光により照射されている期間に前記撮像素子から出力される信号により蛍光画像信号を生成する画像信号生成手段と、
    前記画像信号生成手段から出力される画像信号に基づいて画像を表示する表示手段と、
    静止画像を得る際に術者により操作される静止画スイッチと、
    蛍光撮影の際には前記光源装置を制御して前記可視光と前記励起光とを交互にライトガイドに入射させると共に、前記画像処理装置を制御して通常画像信号と蛍光画像信号とを生成させ、蛍光撮影中に前記静止画スイッチが操作された際に、操作時に生成されていた前記蛍光画像信号に基づいて蛍光画像の静止画を前記表示装置に親画面として表示させると共に、前記体腔内が前記可視光により照明される度に生成される前記通常画像信号に基づいて通常画像の動画を前記表示装置に子画面として表示させる制御手段とを備えることを特徴とする電子内視鏡システム。
  2. 前記子画面は、前記親画面の一部に重ねて表示されることを特徴とする請求項1に記載の電子内視鏡システム。
JP2004191931A 2004-06-29 2004-06-29 電子内視鏡システム Active JP4611674B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004191931A JP4611674B2 (ja) 2004-06-29 2004-06-29 電子内視鏡システム
DE102005030352.8A DE102005030352B4 (de) 2004-06-29 2005-06-29 Elektronisches Endoskopsystem für Fluoreszenz-Beobachtung
US11/168,304 US7811229B2 (en) 2004-06-29 2005-06-29 Electronic endoscope system for fluorescence observation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004191931A JP4611674B2 (ja) 2004-06-29 2004-06-29 電子内視鏡システム

Publications (2)

Publication Number Publication Date
JP2006006833A true JP2006006833A (ja) 2006-01-12
JP4611674B2 JP4611674B2 (ja) 2011-01-12

Family

ID=35506923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004191931A Active JP4611674B2 (ja) 2004-06-29 2004-06-29 電子内視鏡システム

Country Status (3)

Country Link
US (1) US7811229B2 (ja)
JP (1) JP4611674B2 (ja)
DE (1) DE102005030352B4 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110740678A (zh) * 2017-06-13 2020-01-31 奥林巴斯株式会社 内窥镜装置及显示图像生成方法

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4555093B2 (ja) 2005-01-05 2010-09-29 Hoya株式会社 電子内視鏡システム
JP4598182B2 (ja) * 2005-01-05 2010-12-15 Hoya株式会社 電子内視鏡システム
JP4566754B2 (ja) * 2005-01-12 2010-10-20 Hoya株式会社 画像処理装置
JP4814529B2 (ja) * 2005-02-16 2011-11-16 Hoya株式会社 画像処理装置
DE202005003411U1 (de) * 2005-02-24 2006-07-06 Karl Storz Gmbh & Co. Kg Multifunktionales Fluoreszenzdiagnosesystem
JP5191090B2 (ja) * 2005-07-15 2013-04-24 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP4745790B2 (ja) * 2005-10-21 2011-08-10 Hoya株式会社 電子内視鏡装置
US8167796B2 (en) * 2006-05-12 2012-05-01 Hoya Corporation Endoscope light source unit
JP2007313171A (ja) * 2006-05-29 2007-12-06 Olympus Corp 内視鏡システム
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
JP2008229205A (ja) * 2007-03-23 2008-10-02 Fujinon Corp 電子内視鏡装置
JP5174370B2 (ja) * 2007-04-13 2013-04-03 Hoya株式会社 蛍光内視鏡システム、及び光源ユニット
JP5380690B2 (ja) * 2008-01-08 2014-01-08 オリンパスメディカルシステムズ株式会社 内視鏡対物光学系及びそれを用いた内視鏡システム
BRPI0906187A2 (pt) 2008-03-18 2020-07-14 Novadaq Technologies Inc. método e sistema de representação de imagens para aquisição de imagens nir e imagens em cor total
US8167793B2 (en) * 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using time duplexing
US20090289200A1 (en) * 2008-05-22 2009-11-26 Fujifilm Corporation Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
JP5226403B2 (ja) * 2008-07-04 2013-07-03 オリンパスメディカルシステムズ株式会社 光源装置及びこの光源装置を用いた内視鏡装置
JP5460507B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
JP5460506B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
CN102469912B (zh) * 2009-11-06 2014-08-06 奥林巴斯医疗株式会社 内窥镜系统
JP5371920B2 (ja) * 2010-09-29 2013-12-18 富士フイルム株式会社 内視鏡装置
JP5245016B2 (ja) * 2011-01-31 2013-07-24 オリンパスメディカルシステムズ株式会社 光源装置
WO2012120380A1 (en) 2011-03-08 2012-09-13 Novadaq Technologies Inc. Full spectrum led illuminator
JP2012217673A (ja) * 2011-04-11 2012-11-12 Fujifilm Corp 内視鏡診断装置
CN104853666B (zh) * 2012-12-13 2016-11-02 奥林巴斯株式会社 荧光观察装置
US9407838B2 (en) * 2013-04-23 2016-08-02 Cedars-Sinai Medical Center Systems and methods for recording simultaneously visible light image and infrared light image from fluorophores
US10602917B2 (en) 2013-12-31 2020-03-31 Karl Storz Imaging, Inc. Switching between white light imaging and excitation light imaging leaving last video frame displayed
US10602918B2 (en) 2013-12-31 2020-03-31 Karl Storz Imaging, Inc. Switching between white light imaging and excitation light imaging leaving last video frame displayed
ES2921258T3 (es) * 2015-03-26 2022-08-22 Steris Instrument Man Services Inc Iluminación endoscópica y sistemas y procedimientos de creación de imágenes
US10356334B2 (en) 2015-11-13 2019-07-16 Novadaq Technologies ULC Systems and methods for illumination and imaging of a target
EP4155716A1 (en) 2016-01-26 2023-03-29 Stryker European Operations Limited Image sensor assembly
USD916294S1 (en) 2016-04-28 2021-04-13 Stryker European Operations Limited Illumination and imaging device
US10869645B2 (en) 2016-06-14 2020-12-22 Stryker European Operations Limited Methods and systems for adaptive imaging for low light signal enhancement in medical visualization
WO2018145193A1 (en) 2017-02-10 2018-08-16 Novadaq Technologies ULC Open-field handheld fluorescence imaging systems and methods
WO2018179564A1 (ja) * 2017-03-27 2018-10-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用表示制御装置、医療用観察装置、表示制御方法、および医療用観察システム
US20210052161A1 (en) * 2019-08-23 2021-02-25 Rebound Therapeutics Corporation Fluorescence imaging system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0966023A (ja) * 1994-09-21 1997-03-11 Asahi Optical Co Ltd 蛍光診断用電子内視鏡のビデオプロセッサ装置
JP2002291694A (ja) * 2001-03-30 2002-10-08 Fuji Photo Optical Co Ltd 電子内視鏡装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02131740A (ja) 1988-07-11 1990-05-21 Olympus Optical Co Ltd 電子内視鏡装置
JP3441449B2 (ja) 1991-03-11 2003-09-02 オリンパス光学工業株式会社 内視鏡装置
US5642157A (en) * 1993-11-29 1997-06-24 Kabushiki Kaisha Toshiba Electronic endoscope apparatus usable in combination with medical diagnosis apparatus
JPH07194532A (ja) 1993-11-29 1995-08-01 Toshiba Corp 電子内視鏡装置
US5749830A (en) * 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
DE19535114B4 (de) * 1994-09-21 2013-09-05 Hoya Corp. Endoskopsystem mit Fluoreszenzdiagnose
US6422994B1 (en) * 1997-09-24 2002-07-23 Olympus Optical Co., Ltd. Fluorescent diagnostic system and method providing color discrimination enhancement
AU3349200A (en) * 1999-01-26 2000-08-07 Newton Laboratories, Inc. Autofluorescence imaging system for endoscopy
DE10055725B4 (de) * 1999-11-11 2007-12-27 Pentax Corp. Elektronisches Endoskopsystem
JP2001137183A (ja) 1999-11-16 2001-05-22 Olympus Optical Co Ltd 内視鏡装置
US6635011B1 (en) * 2000-01-14 2003-10-21 Pentax Corporation Electronic endoscope system
JP2001353124A (ja) * 2000-04-10 2001-12-25 Olympus Optical Co Ltd 内視鏡装置
US6468204B2 (en) * 2000-05-25 2002-10-22 Fuji Photo Film Co., Ltd. Fluorescent endoscope apparatus
JP2002051969A (ja) * 2000-08-08 2002-02-19 Asahi Optical Co Ltd 電子内視鏡装置
US6582363B2 (en) * 2000-08-25 2003-06-24 Pentax Corporation Video endoscope system and illumination optical system
US6663561B2 (en) * 2000-10-05 2003-12-16 Pentax Corporation Video endoscope system
JP2002291692A (ja) 2001-04-02 2002-10-08 Olympus Optical Co Ltd 内視鏡装置
JP2002306509A (ja) * 2001-04-10 2002-10-22 Olympus Optical Co Ltd 遠隔手術支援システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0966023A (ja) * 1994-09-21 1997-03-11 Asahi Optical Co Ltd 蛍光診断用電子内視鏡のビデオプロセッサ装置
JP2002291694A (ja) * 2001-03-30 2002-10-08 Fuji Photo Optical Co Ltd 電子内視鏡装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110740678A (zh) * 2017-06-13 2020-01-31 奥林巴斯株式会社 内窥镜装置及显示图像生成方法

Also Published As

Publication number Publication date
US20050288556A1 (en) 2005-12-29
DE102005030352A1 (de) 2006-01-26
DE102005030352B4 (de) 2017-02-09
US7811229B2 (en) 2010-10-12
JP4611674B2 (ja) 2011-01-12

Similar Documents

Publication Publication Date Title
JP4611674B2 (ja) 電子内視鏡システム
JP4598182B2 (ja) 電子内視鏡システム
JP4723281B2 (ja) 電子内視鏡システム
JP4575720B2 (ja) 電子内視鏡システム
JP2006006834A (ja) 電子内視鏡システム
JP2009118898A (ja) 内視鏡プロセッサおよび内視鏡システム
JP4555093B2 (ja) 電子内視鏡システム
JP2002065582A (ja) 電子内視鏡装置
JP2009022654A (ja) 電子内視鏡システム
JP3665554B2 (ja) 電子内視鏡装置
JP4520216B2 (ja) 蛍光観察内視鏡装置
JP4459709B2 (ja) 蛍光観察内視鏡装置
JP4694255B2 (ja) 電子内視鏡システム
JP2007175210A (ja) 自家蛍光観察装置
JP4520283B2 (ja) 電子内視鏡システム
JP2008125989A (ja) 内視鏡ポイント光照射位置調整システム
JPH01136629A (ja) 蛍光観察用内視鏡装置
JP2009095559A (ja) 内視鏡装置
JP4426225B2 (ja) 蛍光観察内視鏡システム及び蛍光観察内視鏡用光源装置
JP2009095538A (ja) 内視鏡装置の電子内視鏡
JP2009095539A (ja) 内視鏡装置の電子内視鏡
JP4814667B2 (ja) 電子内視鏡装置
JP2005087450A (ja) 蛍光観察内視鏡システム及び蛍光観察内視鏡用光源装置
JP4981401B2 (ja) 電子内視鏡用プロセッサおよび電子内視鏡システム
JP4611762B2 (ja) 電子内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070607

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100607

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100928

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101014

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4611674

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250