JP2010068992A - 電子内視鏡システム - Google Patents

電子内視鏡システム Download PDF

Info

Publication number
JP2010068992A
JP2010068992A JP2008239328A JP2008239328A JP2010068992A JP 2010068992 A JP2010068992 A JP 2010068992A JP 2008239328 A JP2008239328 A JP 2008239328A JP 2008239328 A JP2008239328 A JP 2008239328A JP 2010068992 A JP2010068992 A JP 2010068992A
Authority
JP
Japan
Prior art keywords
imaging
frame period
image
image sensor
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008239328A
Other languages
English (en)
Other versions
JP5435916B2 (ja
Inventor
Azuchi Endo
安土 遠藤
Masaki Takamatsu
正樹 高松
保文 ▲高▼橋
Yasufumi Takahashi
Kazuhiro Nishida
和弘 西田
Takashi Kido
孝 木戸
Hiroyuki Hasegawa
博之 長谷川
Yasuyoshi Ota
恭義 大田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008239328A priority Critical patent/JP5435916B2/ja
Priority to US12/561,050 priority patent/US8231522B2/en
Publication of JP2010068992A publication Critical patent/JP2010068992A/ja
Application granted granted Critical
Publication of JP5435916B2 publication Critical patent/JP5435916B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】CMOS型のイメージセンサを用いながらも、異なる照明光による観察画像を同時に観察することができる電子内視鏡システムを提供する。
【解決手段】電子内視鏡システムは、被検者の体内に挿入される挿入部にCMOS型のイメージセンサ(CMOSセンサ)が設けられているとともに、このCMOSセンサによって被検者の体内を撮像するときに、照明光の波長を、複数の波長帯で自在に切り替えられるようにした照明装置を備える。この電子内視鏡システムは、CMOSセンサの全ての画素から信号を読み出すのに要する時間を1フレーム期間とするときに、1フレーム期間ごとに照明光の波長を切り替えながら撮像するとともに、1フレーム期間のうち前半1/2フレーム期間で露光し、後半1/2フレーム期間で、照明を消灯しながら、CMOSセンサの撮像領域内の半数の画素から撮像信号を読み出して観察画像を得る。
【選択図】図4

Description

本発明は、被検者の体内を撮像する電子内視鏡システムに関するものであり、さらに詳しくは、CMOS型のイメージセンサによって撮像するとともに、観察部位への照明光の波長を切り替えながら被検者の体内を撮像する電子内視鏡システムに関する。
医療分野においては、微小な撮像装置が先端付近に搭載された細長い挿入部を被検者の体内に挿入して、被検者の体内を直接的に撮像して診断する電子内視鏡システムが広く普及している。また、近年の電子内視鏡システムとしては、観察部位に照射する照明光の波長を、複数の波長帯で自在に変化させながら観察するものが知られている。例えば、白色の可視光(以下、通常光という)による観察では判別し難い組織や構造等を観察する場合には、特定の波長帯の光(以下、波長帯によらず特殊光という)によって特定の組織や構造,病変等が強調して撮像されるようにし、その観察を容易にする電子内視鏡システムが知られている(特許文献1,2)。
ところで、一般的な撮像装置に搭載されるイメージセンサとしては、CMOS型のイメージセンサやCCD型のイメージセンサが知られている。CMOS型のイメージセンサは低消費電力であり、周辺回路を同一の基板上に形成することができるという利点がある反面、通常は1水平ライン毎に順に信号の読み出しが行われるローリングシャッタ方式が採用されている。このため、動く被写体を撮像すると像が歪んでしまう点や、画素毎に設けられたアンプの個体差によりノイズが大きく高画質の画像を得るのが難しいという欠点があることが知られている。一方、CCD型のイメージセンサは、高消費電力であり、スミアやブルーミング等の構造に起因する固有の問題点があるものの、高感度で高画質の画像が得易く、また、一つの画像内での同時性を確保できることから動く被写体の撮像に向いているという特徴があることが知られている。こうしたことから、静止させることが難しい被検者の体内を撮像する電子内視鏡システムでは、その撮像装置にCCD型のイメージセンサが多く採用されている。
近年では、CMOS型イメージセンサの改良が進み、CCD型のイメージセンサと同等か、あるいはCCD型イメージセンサに勝る画質の画像が容易に得られるようになってきた。このため、電子内視鏡システムにおいても、量産性に優れ、消費電力の少ないCMOS型のイメージセンサを、撮像装置に搭載することが望まれている。
特開2007−322348号公報 特開2006−239052号公報
照明光の切り替えを行う電子内視鏡システムにCMOS型のイメージセンサを採用すると、イメージセンサがCMOS型であるが故に新たな問題が生じる。
CCD型のイメージセンサでは、複数フレームを連続して撮像する場合(動画撮影の場合)に、露光中に、前のフレーム期間に蓄積された信号電荷の転送を行うことができるので、単にフレームレートに合わせて照明光を切り替えるだけで、通常光による観察と特殊光による観察を、容易に同時に行うことができる。
しかしながら、CMOS型のイメージセンサは、ローリングシャッタ方式が採用されるので、1水平ライン毎に順に蓄積電荷の読み出しが行われる。このため、撮像領域内で最初に読み出される水平ライン上の画素と、最後に読み出される水平ライン上の画素とでは、露光時間に1フレーム分の差が生じる。また、信号が読み出された画素は蓄積電荷を破棄されるとすぐにリセットが行われ、新たな電荷の蓄積を開始する露光期間に入る。
したがって、CMOS型のイメージセンサで撮像する場合に、フレームレートに合わせて照明光を切り替えると、1フレーム分の露光期間は、照明光の切り替えをまたいでしまうために、通常光と特殊光が混じり合ってしまう。このため、照明光の切り替えを行う電子内視鏡システムに、CMOS型のイメージセンサを用いる場合には、CCD型のイメージセンサを用いる電子内視鏡システムの場合のように、単にフレームレートに合わせて照明光を切り替えるだけでは、異なる照明光の画像を得ることができない。
本発明は上述の問題点に鑑みてなされたものであり、CMOS型のイメージセンサを用いながらも、異なる照明光による観察画像を同時に観察することができるようにした電子内視鏡システムを提供することを目的とする。
本発明の電子内視鏡システムは、被写体内に挿入される挿入部に設けられ、前記被検者の体内を撮像するCMOS型のイメージセンサと、前記被写体内に照射する照明光の点灯と消灯を間欠に繰り返すとともに、前記照明光の波長を、前記照明光の点灯毎に前記照明光の波長帯を切り替える照明手段と、前記照明光の消灯期間に前記イメージセンサから撮像信号の読み出しを行う撮像信号読出手段と、を備えることを特徴とする。
また、前記イメージセンサの全ての画素から信号を読み出すのに要する時間を1フレーム期間とするときに、前記1フレーム期間毎に前記照明光の波長を切り替えるとともに、前記1フレーム期間のうち、前半の1/2フレーム期間で露光し、後半の1/2フレーム期間で前記イメージセンサの撮像領域の半数の画素から信号を読み出して観察部位の画像を得る第1撮像モードを備えることを特徴とする。
また、前記第1撮像モード下で撮像する場合に、前記撮像信号読出手段は、1水平ライン置きに前記イメージセンサから撮像信号の読み出しを行うことを特徴とする。
また、前記イメージセンサの全ての画素から信号を読み出すのに要する時間を1フレーム期間とするときに、2フレーム期間毎に前記照明光の波長を切り替えるとともに、前記2フレーム期間のうち、前半の1フレーム期間で露光し、後半の1フレーム期間で前記イメージセンサの撮像領域の全ての画素から信号を読み出して観察部位の画像を得る第2撮像モードを備えることを特徴とする。
また、前記イメージセンサの全ての画素から信号を読み出すのに要する時間を1フレーム期間とするときに、前記1フレーム期間毎に前記照明光の波長を切り替えるとともに、前記1フレーム期間のうち、前半の1/2フレーム期間で露光し、後半の1/2フレーム期間で前記イメージセンサの撮像領域の半数の画素から信号を読み出して観察部位の画像を得る第1撮像モードと、2フレーム期間毎に前記照明光の波長を切り替えるとともに、前記2フレーム期間のうち、前半の1フレーム期間で露光し、後半の1フレーム期間で前記イメージセンサの撮像領域の全ての画素から信号を読み出して観察部位の画像を得る第2撮像モードとが、切り替え自在に設けられていることを特徴とする。
また、前記イメージセンサから撮像信号が読み出された後、前記照明光の消灯期間内に、前記イメージセンサの各画素に蓄積された信号電荷を破棄して、前記イメージセンサをリセットするリセット手段を備えることを特徴とする。
また、前記リセット手段は、水平ライン毎に信号電荷を破棄することを特徴とする。
また、前記リセット手段は、全ての水平ラインで同時に信号電荷を破棄することを特徴とする。
本発明によれば、CMOS型のイメージセンサを用いながらも、異なる照明光による観察画像を同時に観察することができるようにした電子内視鏡システムを提供することができる。
図1に示すように、電子内視鏡システム11は、電子内視鏡12、プロセッサ装置13、光源装置14(照明手段)等から構成される。また、電子内視鏡12は、挿入部16、手元操作部17、ユニバーサルコード18等から構成される。
挿入部16は、被検者の体内に挿入されるため、被検者の体内の形状に応じて自在に湾曲するように設けられている。また、挿入部16の先端部分16aには、CMOS型のイメージセンサ(以下、CMOSセンサという)を内蔵した撮像装置が内蔵されている。さらに、先端部分16aの端面には、前方に照明光を照射する照明窓や、被検者の体内からの光をCMOSセンサに導く観察窓、各種処置具が露出される鉗子出口、洗浄水や空気等が噴射される送気送水ノズル等が設けられている。
また、先端部分16aの後方には、湾曲部19が設けられている。この湾曲部19は、複数の湾曲駒を連結されたものであり、挿入部16に挿通されたワイヤによって、手元操作部17に設けられたアングルノブ21と連結されている。したがって、湾曲部19は、手元操作部17に設けられたアングルノブ21の回動操作によって挿入部16に挿通されたワイヤが押し引きされることにより、上下左右の所望の方向に自在に湾曲する。
手元操作部17は、前述のように湾曲部19を操作するアングルノブ21の他に、鉗子口22や、送気送水ボタン23等の各種操作ボタンが設けられている。鉗子口22には、注射針や高周波メスなどがワイヤの先端に設けられた処置具が挿通される。また、送気送水ボタン23は、図示しない送気送水装置から供給される空気や洗浄水の送気,送水を制御する。
ユニバーサルコード18は、その基端部分に設けられたコネクタ24を介して、電子内視鏡12をプロセッサ装置13に電気的に接続するとともに、電子内視鏡12を光源装置14に光学的に接続する。
プロセッサ装置13は、電子内視鏡12,光源装置14,モニタ26等に接続されており、電子内視鏡システム11の動作を統括的に制御する。また、光源装置14は、ユニバーサルコード18や挿入部16に挿通されたライトガイド(図3参照)を通じて、観察部位に向けて照明光を照射する。
前述のように、電子内視鏡システム11には、イメージセンサとしてCMOSセンサ31が用いられている。CMOSセンサ31は、図2に示すように、撮像領域32、垂直走査回路33、相関二重サンプリング(CDS)回路34、列選択トランジスタ36、出力回路37、水平走査回路38等から構成される。
撮像領域32は、画素41がマトリクス状に配列されたものであり、図示しない結像光学系により観察部位の像が結像される。画素41は、フォトダイオードD1、増幅用トランジスタM1、画素選択用トランジスタM2、リセット用トランジスタM3等から構成される。フォトダイオードD1は、光電変換によって、入射光量に応じた信号電荷を生成するとともに、これを蓄積する。フォトダイオードD1に蓄積された信号電荷は、増幅用トランジスタM1によって撮像信号として増幅され、画素選択用トランジスタM2によって、所定のタイミングで画素41外に出力される。また、フォトダイオードD1に蓄積された信号電荷は、所定のタイミングでリセット用トランジスタM3によって破棄される。
また、撮像領域32には、垂直走査回路33から水平方向(X方向)に行選択線L1及び行リセット線L2が配線されているとともに、CDS回路34から垂直方向(Y方向)に列信号線L3が配線されている。
行選択線L1は、画素選択用トランジスタM2のゲートに接続されており、行リセット線L2は、リセット用トランジスタM3のゲートに接続されている。また、列信号線L3は、画素選択用トランジスタM2のソースに接続されているとともに、CDS回路34を介して、対応する列の列選択トランジスタ36に接続されている。
垂直走査回路33は、タイミングジェネレータ(TG)42から入力されるタイミング信号に基づいて、垂直走査信号を発生し、行選択線L1を1行ずつ選択して、撮像信号を列信号線L3に出力させる画素41の行(以下、水平ラインという)を変更する。また、垂直走査回路33は、水平ラインの行リセット線L2を1行ずつ選択して、信号電荷の破棄を行う水平ラインを変更する。さらに、垂直走査回路33は、行選択線L1及び行リセット線L2の選択行が撮像領域32の端に位置する水平ラインに達した場合には、先頭の水平ラインを再び選択し、上述の動作を繰り返す。
CDS回路34は、垂直走査回路33によって選択された行選択線L1に接続された画素41の撮像信号を、TG42から入力されるタイミング信号に基づいて保持し、ノイズ除去を行う。
水平走査回路38は、TG42から入力されるタイミング信号に基づいて水平走査信号を発生し、列選択トランジスタ36のオン,オフ制御を行う。
列選択トランジスタ36は、出力回路37に接続された出力バスライン43とCDS回路との間に設けられており、水平走査信号に応じて、出力バスライン43に撮像信号を転送させる画素を選択する。出力回路37は、CDS回路34から出力バスライン43に順に転送される撮像信号を増幅し、A/D変換して出力する。出力回路37による撮像信号の増幅率は、出力回路37にゲイン調節信号を入力することにより調節される。
図3に示すように、電子内視鏡12には、上述のCMOSセンサ31と、対物レンズ51、CPU52(撮像信号読出手段,リセット手段)、タイミングジェネレータ(TG)42、ライトガイド53等が設けられている。
CMOSセンサ31は、前述のように挿入部16の先端部分16aに設けられており、その前方には対物レンズ51が配置されている。挿入部16の先端部分16aの端面には観察窓54が設けられており、この観察窓54から入射する被写体からの光は、対物レンズ51によってCMOSセンサ31の撮像領域32に結像される。CMOSセンサ31は、撮像領域32に結像された被写体像を画素41毎に光電変換し、各画素41に露光量に応じた信号電荷を蓄積させ、所定のタイミングで撮像信号として出力する。CMOSセンサ31の駆動タイミングは、TG42から入力されるタイミング信号によって制御される。
CPU52は、プロセッサ装置13のCPU61と通信を行い、電子内視鏡12の各部を統括的に制御する。例えば、CPU52は、プロセッサ装置13のCPU61からの信号に基づき、TG42に所定のタイミング信号を生じさせることによって、CMOSセンサ31の動作を制御し、CMOSセンサ31からの撮像信号を読み出したり、各画素41の信号電荷を破棄させ、CMOSセンサ31をリセットしたりする。このCPU52によるCMOSセンサ31のリセットは、CMOSセンサ31から撮像信号が読み出された後、照明光の消灯期間内に行われる。また、CPU52は、出力回路37にゲイン調節信号を入力することにより、CMOSセンサ31から増幅率を調節して撮像信号を出力させる。
ライトガイド53は、ユニバーサルコード18や挿入部16の内部に挿通されており、一端が挿入部16の先端部分16aの端面に設けられた照明窓56に接続され、他端は光源装置14に接続されている。光源装置14からの照明光は、ライトガイド53を通じて、照明窓56から観察部位へと照射される。
また、図3に示すように、プロセッサ装置13は、CPU61、DSP62、D/A変換回路63、RAM64等から構成される。
CPU61は、プロセッサ装置13の各部の動作を制御するとともに、電子内視鏡12のCPU52や光源装置14のCPU71と通信して、電子内視鏡12や光源装置14の動作を制御することにより、電子内視鏡システム11を統括的に制御する。
DSP62は、CMOSセンサ31から出力された撮像信号に対して、色補間、ホワイトバランス調整、ガンマ補正等の各種信号処理を施す。CMOSセンサ31から出力された撮像信号は、DSP62によって各種画像処理が施されると、画像データとしてRAM64に保持される。DSP62による各種画像処理は、CMOSセンサ31から出力される全ての撮像信号について施されるので、後述するように、CMOSセンサ31からは通常光露光による撮像信号や特殊光露光による撮像信号が出力されるが、それぞれに各種画像処理が施され、通常光画像、特殊光画像として各々RAM64に保持される。また、DSP62は、RAM64から必要な画像データを読み出して、NTSC信号等の映像信号に変換し、D/A変換回路63によってD/A変換することにより、画像データをモニタ26上に表示させる。
また、図3に示すように、光源装置14は、CPU71、光源72、波長選択フィルタ73等から構成される。CPU71は、プロセッサ装置13のCPU61と通信し、CMOSセンサ31の駆動タイミング等に応じて、光源72や波長選択フィルタ73を駆動することにより、光源装置14を制御する。
光源72は、キセノンランプやハロゲンランプ等の広い波長帯にわたって高輝度の光を発する高輝度光源であり、CPU71によって点灯消灯の切り替えが制御される。これにより、光源72は照明光の点灯と消灯を交互に繰り返され、光源装置14は、CMOSセンサ31の露光,読み出しのタイミングに応じて間欠に照明光の照射を繰り返す。また、光源72から発せられた光は、集光レンズ74によってライトガイド53に効率良く導かれる。
波長選択フィルタ73は、光源72から発せられた光を、特定の波長帯の光に制限するフィルタであり、CPU71からの指示に基づいて、光源72と集光レンズ74の間に挿入,または退避される。これにより、光源装置14は、設定や医師の操作等、必要に応じて照明光の波長帯を自在に切り替えられるようになっている。例えば、光源装置14は、単に白色の可視光を出力するだけでなく、赤外光等の可視光以外の光や、可視光のRGB成分の比率を調節した特殊光を出力することができるようになっている。なお、ここでは波長選択フィルタ73を用いるが、波長選択フィルタ73の替わりに光源72としてLED,レーザダイオード等を複数備えておき、これらの点灯と消灯を制御することにより、通常光と特殊光を切り替えるようにしても良い。
上述のように、イメージセンサとしてCMOSセンサ31を備える電子内視鏡システム11には、通常光や特殊光といった1種類の所定波長帯の照明光を照射しながら観察画像を得る通常の通常光撮像モードの他に、通常光による観察画像(以下、通常光画像という)とともに特殊光による観察画像(以下、特殊光画像という)を同時に取得する特殊光同時撮像モードを備えている。
電子内視鏡システム11が備える特殊光同時撮像モードには、第1の特殊光同時撮像モード(以下、単に第1撮像モードという)81と第2の特殊光同時撮像モード(以下、単に第2撮像モードという)82の2種の特殊光同時撮像モードがあり、これらは切り替え可能である。
第1撮像モード81は、通常光画像及び特殊光画像の画素数を低減することによって画質を落としながらも、一定の波長帯の照明光を照射しながら1種類の観察画像を得る通常の撮像モードにおけるフレームレートと同じフレームレートで観察画像を取得する特殊光同時撮像モードである。
図4に示すように、第1撮像モード81では、CMOSセンサ31の全ての画素41から撮像信号を読み出すのに要する時間を1フレーム期間86(例えば1/30秒間)とするときに、1フレーム期間86毎に観察部位に照射する照明光の波長帯を、通常光と特殊光とで交互に切り替える。また、第1撮像モード81では、1フレーム期間86のうち、前半の1/2フレーム期間87a(例えば、1/60秒間)で露光し、後半の1/2フレーム期間87bで、撮像信号の読み出しが行われる。
また、第1撮像モード81での撮像信号の読み出しは、各種照明を消灯して(消灯期間)、通常光や特殊光を照射しない状態で撮像信号の読み出しが行われる。さらに、第1撮像モード81では、撮像領域32内の全ての画素41から撮像信号が読み出されるのではなく、半数の画素41からのみ撮像信号が読み出され、1枚の観察画像が取得される。このため、第1撮像モード81では、取得される観察画像の画質がCMOSセンサ31の全ての画素41から撮像信号を読み出して取得したものに劣るものの、1フレーム期間86で1枚の観察画像が取得される。
また、前述のように、第1撮像モード81では、1フレーム期間86毎に照明光が通常光と特殊光とで交互に切り替えられるので、1フレーム期間86毎に通常光画像と特殊光画像とが交互に取得される。このため、第1撮像モード81で取得される観察画像のうち、通常光画像の取得数だけに着目すれば、2フレーム期間に付き1枚の通常光画像が取得される。このことは、特殊光画像の取得数についても同様である。
なお、第1撮像モード81で撮像信号を読み出すときには、CMOSセンサ31の駆動は、次のように制御される。まず、1フレーム期間86のうち前半の1/2フレーム期間で、撮像領域32内の全ての画素41が同じ時間(1/2フレーム期間)だけ露光され、各画素41は露光量に応じた電荷を蓄積する。そして、1/2フレーム期間分の露光が完了すると、プロセッサ装置13は第1撮像モード81用のタイミング信号をタイミングジェネレータによって発生させる。
この第1撮像モード81用のタイミング信号は、垂直走査回路33に、1行おきに行選択線L1を選択させるタイミング信号となっている。これにより、垂直走査回路33は、1行おきに水平ラインを選択して、選択した水平ライン上の画素41から撮像信号を出力させる。
同時に、第1撮像モード81用のタイミング信号は、撮像信号の読み出しが完了した水平ラインの行リセット線L2と、読み飛ばされた水平ラインの行リセット線L2の2行の行リセット線を垂直走査回路33に選択させるタイミング信号となっている。これにより、垂直走査回路33は、撮像信号の読み出しが完了した水平ライン上の各画素41に蓄積された電荷を破棄するとともに、撮像信号の読み出しの行われなかった水平ライン上の各画素41に蓄積された電荷を破棄する。
こうして第1撮像モード81では、第1撮像モード81用のタイミング信号に基づいて、1行おきに撮像信号が読み出されて、画素数の少ない観察画像が取得されると同時に、撮像信号の読み出しが完了した水平ライン上の各画素41や撮像信号の読み出しの行われずに読み飛ばされた水平ライン上の各画素41の蓄積電荷が順に破棄される。
第2撮像モード82は、一定の波長帯の照明光を照射しながら1種類の観察画像を得る通常の撮像モードと比較して、1フレーム期間86当たりの観察画像の取得数を減少させながらも、通常の撮像モードと同等の高画質な観察画像を取得する特殊光同時撮像モードである。
図5に示すように、第2撮像モード82では、CMOSセンサ31の全ての画素41からの撮像信号を読み出すのに要する時間を1フレーム期間86とするときに、2フレーム期間88毎に観察部位に照射する照明光の波長帯を、通常光と特殊光とで交互に切り替える。また、第2撮像モード82では、2フレーム期間のうち、前半の1フレーム期間86で露光し、後半の1フレーム期間で撮像信号の読み出しが行われる。
また、第2撮像モード82では、2フレーム期間を単位として照明光が交互に切り替えられるが、照明光が観察部位に照射される期間は、2フレーム期間のうち前半の1フレーム期間86であり、後半の1フレーム期間86では消灯される。このため、第2撮像モード82での撮像信号の読み出しは、各種照明を消灯し、通常光や特殊光を照射しない状態(消灯期間)で撮像信号の読み出しが行われる。したがって、第2撮像モード82での照明及び撮像の様態を1フレーム期間86毎に区切ってみれば、通常光照射による露光、消灯状態での通常光画像の読み出し、特殊光照射による露光、消灯状態での特殊光画像の読み出しの4つの様態が順に繰り返される。
さらに、第2撮像モード82では、CMOSセンサ31の全ての画素41から撮像信号が読み出されて1枚の観察画像が取得される。このため、第2撮像モード82では、1種類の照明光を照射しながら撮像する通常の撮像モードと同等の高画質の観察画像が取得される。
第2撮像モード82では、2フレーム期間88毎に照明光を切り替えて、2フレーム期間88につき1枚の観察画像を取得するから、1フレーム期間86につき1枚の観察画像が取得される第1撮像モード81や通常の撮像モードと比較すれば、実質的なフレームレートは減少する。さらに、第2撮像モード82で取得される観察画像のうち、通常光画像の取得するだけに着目すれば、4フレーム期間に付き1枚の通常光画像が取得される。このことは、第2撮像モード82での特殊光画像の取得数についても同様である。
なお、第2撮像モード82で撮像信号を読み出すときには、CMOSセンサ31の駆動は、次のように制御される。まず、1枚の観察画像が取得される単位である2フレーム期間のうち、前半の1フレーム期間86で、撮像領域32内の全ての画素41が同じ時間(1フレーム期間)だけ露光され、各画素41は露光量に応じた電荷を蓄積する。そして、1フレーム期間分の露光が完了すると、プロセッサ装置13は、第2撮像モード82用のタイミング信号をタイミングジェネレータによって発生させる。
この第2撮像モード82用のタイミング信号は、垂直走査回路33に、行選択線L1を1行ずつ順に選択させるタイミング信号となっている。これにより、垂直走査回路33は、第1撮像モード81と異なり何れの水平ラインを読み飛ばすことなく、水平ライン毎に各画素41から撮像信号を出力させる。
同時に、第2撮像モード82用のタイミング信号は、撮像信号の読み出しが完了した水平ラインの行リセット線L2を垂直走査回路33に選択させるタイミング信号となっている。これにより、垂直走査回路33は、撮像信号の読み出しが完了した水平ライン上の各画素41に蓄積された電荷を破棄する。
上述のように構成される電子内視鏡システム11で診断を行うときには、観察しようとする部位が粘膜であるのか、粘膜下の血管であるのかといったように観察しようとする対象や、観察しようとする病変の種別等に応じて、観察部位に照射する照明光の波長帯が選択される。ここで選択される照明光の波長帯は、観察の途中で、観察画像を見ながら、診断の行い易いものに適宜変更される。
以下では、第1撮像モード81または第2撮像モード82の何れかの特殊光同時撮像モードが選択された場合の電子内視鏡システム11の作用を説明する。第1撮像モード81が選択されると、図6(A)に示すように、モニタ26の表示画面はメイン画面91とサブ画面92の2つの領域が確保され、メイン画面91には通常光画像93が表示され、同時に、サブ画面92には特殊光画像94が表示される。
第1撮像モード81下では、メイン画面91の通常光画像93とサブ画面92の特殊光画像94を同時に観察しながら、病変の疑いのある観察部位等、詳細な観察の必要な位置に先端が達するまで挿入部16が被検者の体内に挿入される。このとき、特殊光画像94による観察画像を大きなサイズで見たい場合には、必要に応じて、図6(B)に示すように、メイン画面91に表示させる観察画像と、サブ画面92に表示させる観察画像とが入れ替えられ、メイン画面91に特殊光画像94を表示させながら、サブ画面92には通常光画像93が表示され、さらに詳細な観察が必要か否か判断される。
こうして第1撮像モード81下で、詳細な観察が必要な位置まで挿入部16が挿入されると、撮像モードが第2撮像モード82に切り替えられる。第2撮像モード82では、各観察画像のフレームレートが低下するが、通常光画像93と特殊光画像94は、第1撮像モード81下で表示される通常光画像93や特殊光画像94よりも画素数が多く、高画質の画像となっているから、病変等、観察部位の状態がより詳細に観察される。そして、必要に応じて、通常光画像93または特殊光画像94が選択されて、何れかの静止画像が取得される。また、観察部位に処置が必要な場合には、電子内視鏡12の先端から各種処置具を突出させて、病変部位の切除や投薬等の必要な処置が施される。なお、処置の様態によっては、再び第1撮像モード81に切り替えられた後に、必要な処置が施される。
上述のように、電子内視鏡システム11は、CMOSセンサ31の1フレーム期間を基準とした動作に応じて、通常光と特殊光とを切り替えながら各種観察画像を取得するので、CMOSセンサ31を用いながらも、通常光画像と特殊光画像を同時に観察することができる。
また、上述のように、電子内視鏡システム11は、特殊光同時撮像モードとして第1撮像モード81を備えているが、この第1撮像モード81は、1フレーム期間86のうち前半1/2フレーム期間で露光し、後半1/2フレーム期間で半数の画素41から撮像信号の読み出しを行う。これにより、画質は低下するものの、フレームレートを落とさずに通常光画像と特殊光画像を同時に観察することができる。
また、上述のように、電子内視鏡システム11は、特殊光同時撮像モードとして第2撮像モード82を備えているが、この第2撮像モード82は、2フレーム期間につき1枚の観察画像を取得するので、1フレーム期間86で1枚の観察画像を得る第1撮像モード81等と比較すれば、フレームレートが落ちるものの、第1撮像モード81と比較して2倍の画素数の高画質な観察画像を得る。このため、第2撮像モード82では、細部をより詳細に観察することができる。
さらに、電子内視鏡システム11は、特殊光同時撮像モードとして、第1撮像モード81と第2撮像モード82とが切り替え自在に設けられていることによって、上述の実施形態で説明したように、観察や処置の様態に応じてより適切な観察画像に切り替えることができ、第1撮像モード81や第2撮像モード82が単独で設けられている場合よりも利便性が向上する。
上述のように、電子内視鏡システム11は、第1撮像モード81及び第2撮像モード82という特殊光同時撮像モードを備えていることによって、CMOSセンサ31を用いながらも、通常光画像による観察と、特殊光画像による観察を同時に行うことができる。
また、電子内視鏡システム11では、電子内視鏡12が被検者の体内という暗所で用いられることを活かして、メカニカルなシャッタ機構を設けず、CMOSセンサ31から撮像信号を読み出すときには、照明を消灯しておく。このため、電子内視鏡12の撮像装置を簡素にかつ安価に構成しながらも、撮像領域32内の全ての画素41で露光時間を統一することができ、CMOSセンサ31からの撮像信号読み出しの時間差によって生じる像の歪みを抑えることができる。
なお、上述の実施形態では、観察部位に照射する照明光として、通常光と特殊光を用いる例を説明したが、ここで用いる通常光及び特殊光は、相互に波長帯の異なる2種類の照明光であれば良い。
また、上述の実施形態では、白色の可視光とは異なる特定の波長帯の照明光を特殊光として説明したが、特殊光には、血管を強調表示する赤外光や、正常組織と病変組織の自家蛍光の強さを強調して表示するために、白色光のうち単色あるいは数色に波長帯を制限した光等が該当する。これらの様々な特殊光は、電子内視鏡システム11によって観察する部位や病変等に応じて、自在に選択できるように設けられていることが好ましく、観察中にモニタ26を見ながら自在にその波長帯や混合する波長帯の成分を変化させることができるように設けてあることが特に好ましい。
なお、上述の実施形態では、第1撮像モード81で、水平ラインを1行おきに選択して、画素数が全画素数の半数となる観察画像を取得するが、これに限らず、全ての水平ラインを読み飛ばさずに走査する替わりに、水平走査回路38に入力させるタイミング信号を調節して、1つおきに列選択トランジスタをオンにして、1列おきに撮像信号を取得するようにしても良い。また、垂直走査回路33や水平走査回路38に入力するタイミング信号を調節して、撮像信号を出力させる画素41を、いわゆる市松模様状にしても良い。
さらに、上述の実施形態では、第1撮像モード81で、水平ラインを1行おきに選択して、画素数が全画素数の半数となる観察画像を取得するときに、撮像信号の出力が完了した水平ライン上の画素41と、読み飛ばされた水平ラインの各画素41で、同時に信号電荷が破棄される例を説明したが、これに限らず、水平ラインを1行おきに選択しながら画素数がCMOSセンサ31の全画素数の半数となる観察画像を取得した後に、水平ライン毎に順に(または一括して同時に)信号電荷を破棄してリセットするようにしても良い。同様に、撮像信号を出力させた水平ライン上の各画素41は、撮像信号を出力させた後、すぐに電荷を破棄し、読み飛ばされて撮像信号の読み出しが行われなかった水平ラインに対しては、観察画像の取得後に順に(または一括して同時に)信号電荷を破棄させるようにしても良い。
なお、上述の実施形態では、第1撮像モード81で、1枚の観察画像を取得する1フレーム期間86を前後1/2フレームずつに分割し、それぞれ露光と画像信号の読み取りにあてるが、これに限らず、露光時間と画像信号の読み取りに当てる時間の比率は1/2フレーム期間ずつに限らない。例えば、露光量が不十分となる波長帯の照明光を用いる場合には、露光時間を長くし、残りの時間を画像信号の読み取りにあてる時間としても良い。このとき、露光時間が2/3フレーム期間とするときには、画像信号の読み取りにあてる時間は1/3フレーム期間となる。そして、1/3フレーム期間で読み出しを終えることができるように、CMOSセンサ31の1/3の画素41から撮像信号を読み出して観察画像を得る。これとは逆に、少ない時間で十分な露光量が得られる場合には、1フレーム期間のうち、露光にあてる時間を短くして、より多くの画素から撮像信号を得て、画質の良い観察画像を得られるようにしても良い。
電子内視鏡システムの構成を示す説明図である。 CMOSセンサの構成を示す説明図である。 電子内視鏡システムの電気的な構成を示すブロック図である。 第1撮像モードの照明と撮像の様態を示すタイミングチャートである。 第2撮像モードの照明と撮像の様態を示すタイミングチャートである。 通常光画像と特殊光画像を同時に表示する様子を示す説明図である。
符号の説明
11 電子内視鏡システム
12 電子内視鏡
13 プロセッサ装置
14 光源装置
16 挿入部
17 手元操作部
18 ユニバーサルコード
19 湾曲部
21 アングルノブ
22 鉗子口
23 送気送水ボタン
24 コネクタ
26 モニタ
31 CMOSセンサ
32 撮像領域
33 垂直走査回路
34 CDS回路
36 列選択トランジスタ
37 出力回路
38 水平走査回路
41 画素
42 タイミングジェネレータ
43 出力バスライン
51 対物レンズ
52 CPU
53 ライトガイド
54 観察窓
56 照明窓
61 CPU
62 DSP
63 D/A変換回路
64 RAM
71 CPU
72 光源
73 波長選択フィルタ
74 集光レンズ
81 第1撮像モード
82 第2撮像モード
86 1フレーム期間
87a,87b 1/2フレーム期間
88 2フレーム期間
91 メイン画面
92 サブ画面
93 通常光画像
94 特殊光画像

Claims (8)

  1. 被写体内に挿入される挿入部に設けられ、前記被検者の体内を撮像するCMOS型のイメージセンサと、
    前記被写体内に照射する照明光の点灯と消灯を間欠に繰り返すとともに、前記照明光の波長を、前記照明光の点灯毎に前記照明光の波長帯を切り替える照明手段と、
    前記照明光の消灯期間に前記イメージセンサから撮像信号の読み出しを行う撮像信号読出手段と、
    を備えることを特徴とする電子内視鏡システム。
  2. 前記イメージセンサの全ての画素から信号を読み出すのに要する時間を1フレーム期間とするときに、
    前記1フレーム期間毎に前記照明光の波長を切り替えるとともに、
    前記1フレーム期間のうち、前半の1/2フレーム期間で露光し、後半の1/2フレーム期間で前記イメージセンサの撮像領域の半数の画素から信号を読み出して観察部位の画像を得る第1撮像モードを備えることを特徴とする請求項1記載の電子内視鏡システム。
  3. 前記第1撮像モード下で撮像する場合に、前記撮像信号読出手段は、1水平ライン置きに前記イメージセンサから撮像信号の読み出しを行うことを特徴とする請求項2に記載の電子内視鏡システム。
  4. 前記イメージセンサの全ての画素から信号を読み出すのに要する時間を1フレーム期間とするときに、
    2フレーム期間毎に前記照明光の波長を切り替えるとともに、
    前記2フレーム期間のうち、前半の1フレーム期間で露光し、後半の1フレーム期間で前記イメージセンサの撮像領域の全ての画素から信号を読み出して観察部位の画像を得る第2撮像モードを備えることを特徴とする請求項1記載の電子内視鏡システム。
  5. 前記イメージセンサの全ての画素から信号を読み出すのに要する時間を1フレーム期間とするときに、
    前記1フレーム期間毎に前記照明光の波長を切り替えるとともに、前記1フレーム期間のうち、前半の1/2フレーム期間で露光し、後半の1/2フレーム期間で前記イメージセンサの撮像領域の半数の画素から信号を読み出して観察部位の画像を得る第1撮像モードと、2フレーム期間毎に前記照明光の波長を切り替えるとともに、前記2フレーム期間のうち、前半の1フレーム期間で露光し、後半の1フレーム期間で前記イメージセンサの撮像領域の全ての画素から信号を読み出して観察部位の画像を得る第2撮像モードとが、切り替え自在に設けられていることを特徴とする請求項1記載の電子内視鏡システム。
  6. 前記イメージセンサから撮像信号が読み出された後、前記照明光の消灯期間内に、前記イメージセンサの各画素に蓄積された信号電荷を破棄して、前記イメージセンサをリセットするリセット手段を備えることを特徴とする請求項1ないし5いずれかに記載の電子内視鏡システム。
  7. 前記リセット手段は、水平ライン毎に信号電荷を破棄することを特徴とする請求項6記載の電子内視鏡システム。
  8. 前記リセット手段は、全ての水平ラインで同時に信号電荷を破棄することを特徴とする請求項6記載の電子内視鏡システム。
JP2008239328A 2008-09-18 2008-09-18 電子内視鏡システム Active JP5435916B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008239328A JP5435916B2 (ja) 2008-09-18 2008-09-18 電子内視鏡システム
US12/561,050 US8231522B2 (en) 2008-09-18 2009-09-16 Electronic endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008239328A JP5435916B2 (ja) 2008-09-18 2008-09-18 電子内視鏡システム

Publications (2)

Publication Number Publication Date
JP2010068992A true JP2010068992A (ja) 2010-04-02
JP5435916B2 JP5435916B2 (ja) 2014-03-05

Family

ID=42007806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008239328A Active JP5435916B2 (ja) 2008-09-18 2008-09-18 電子内視鏡システム

Country Status (2)

Country Link
US (1) US8231522B2 (ja)
JP (1) JP5435916B2 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250926A (ja) * 2010-06-01 2011-12-15 Fujifilm Corp 電子内視鏡システム
WO2012033200A1 (ja) * 2010-09-10 2012-03-15 オリンパスメディカルシステムズ株式会社 撮像装置
JP2012081087A (ja) * 2010-10-12 2012-04-26 Fujifilm Corp 内視鏡装置
WO2012176561A1 (ja) * 2011-06-21 2012-12-27 オリンパスメディカルシステムズ株式会社 医療機器
WO2013024788A1 (ja) * 2011-08-15 2013-02-21 オリンパスメディカルシステムズ株式会社 撮像装置
WO2013099942A1 (ja) * 2011-12-27 2013-07-04 オリンパスメディカルシステムズ株式会社 撮像装置
JP2014147667A (ja) * 2013-01-10 2014-08-21 Fujifilm Corp 内視鏡装置及びその作動方法
JP2015016096A (ja) * 2013-07-10 2015-01-29 Hoya株式会社 電子内視鏡
WO2015016137A1 (ja) 2013-08-01 2015-02-05 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2015070937A (ja) * 2013-10-03 2015-04-16 富士フイルム株式会社 内視鏡装置
WO2015151929A1 (ja) * 2014-03-31 2015-10-08 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP2015530893A (ja) * 2012-07-26 2015-10-29 オリーブ・メディカル・コーポレーション 光が不十分な環境での連続的なビデオ
JP2016128024A (ja) * 2013-01-10 2016-07-14 富士フイルム株式会社 撮像モジュール、及び内視鏡装置
JP2017158764A (ja) * 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
JP2017170168A (ja) * 2014-03-28 2017-09-28 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
US10084944B2 (en) 2014-03-21 2018-09-25 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
WO2019039354A1 (ja) * 2017-08-23 2019-02-28 富士フイルム株式会社 光源装置及び内視鏡システム
DE112017002857T5 (de) 2016-08-25 2019-03-14 Hoya Corporation Elektronischer Endoskopprozessor und elektronisches Endoskopsystem
US10277875B2 (en) 2012-07-26 2019-04-30 DePuy Synthes Products, Inc. YCBCR pulsed illumination scheme in a light deficient environment
US10670248B2 (en) 2013-03-15 2020-06-02 DePuy Synthes Products, Inc. Controlling the integral light energy of a laser pulse
DE102020102254A1 (de) 2019-02-04 2020-08-06 Panasonic I-Pro Sensing Solutions Co., Ltd. Bildaufnahmesystem und Synchronisationssteuerverfahren
US10917562B2 (en) 2013-03-15 2021-02-09 DePuy Synthes Products, Inc. Super resolution and color motion artifact correction in a pulsed color imaging system
US11185213B2 (en) 2013-03-15 2021-11-30 DePuy Synthes Products, Inc. Scope sensing in a light controlled environment

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10524645B2 (en) 2009-06-18 2020-01-07 Endochoice, Inc. Method and system for eliminating image motion blur in a multiple viewing elements endoscope
US10130246B2 (en) 2009-06-18 2018-11-20 Endochoice, Inc. Systems and methods for regulating temperature and illumination intensity at the distal tip of an endoscope
US9474440B2 (en) 2009-06-18 2016-10-25 Endochoice, Inc. Endoscope tip position visual indicator and heat management system
JP5462084B2 (ja) * 2010-06-21 2014-04-02 オリンパス株式会社 画像処理装置及びプログラム
JP5481294B2 (ja) * 2010-07-15 2014-04-23 富士フイルム株式会社 内視鏡システム
JP5544231B2 (ja) * 2010-07-15 2014-07-09 富士フイルム株式会社 内視鏡光源装置及び内視鏡システム
EP2719323B1 (en) 2010-09-08 2019-08-07 Kpr U.S., Llc Catheter with imaging assembly
CN103124515B (zh) * 2010-09-30 2015-11-25 奥林巴斯株式会社 摄像装置
US10663714B2 (en) 2010-10-28 2020-05-26 Endochoice, Inc. Optical system for an endoscope
US9706908B2 (en) 2010-10-28 2017-07-18 Endochoice, Inc. Image capture and video processing systems and methods for multiple viewing element endoscopes
EP2448251B1 (en) 2010-10-31 2019-09-25 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
US10517464B2 (en) 2011-02-07 2019-12-31 Endochoice, Inc. Multi-element cover for a multi-camera endoscope
WO2012170401A2 (en) 2011-06-06 2012-12-13 Percuvision, Llc Sensing catheter emitting radiant energy
EP2735262B1 (en) * 2011-11-07 2017-08-23 Olympus Corporation Imaging device
US8944596B2 (en) 2011-11-09 2015-02-03 Welch Allyn, Inc. Digital-based medical devices
WO2013157368A1 (ja) * 2012-04-16 2013-10-24 オリンパスメディカルシステムズ株式会社 撮像システム、撮像方法
US9241609B2 (en) 2012-09-06 2016-01-26 Gyrus Acmi, Inc. Method and apparatus for conversion of signals from a first type of image sensor to a second type of camera control unit
USD735343S1 (en) 2012-09-07 2015-07-28 Covidien Lp Console
USD717340S1 (en) 2012-09-07 2014-11-11 Covidien Lp Display screen with enteral feeding icon
USD716841S1 (en) 2012-09-07 2014-11-04 Covidien Lp Display screen with annotate file icon
US9198835B2 (en) 2012-09-07 2015-12-01 Covidien Lp Catheter with imaging assembly with placement aid and related methods therefor
US9517184B2 (en) 2012-09-07 2016-12-13 Covidien Lp Feeding tube with insufflation device and related methods therefor
JP5735479B2 (ja) * 2012-12-14 2015-06-17 富士フイルム株式会社 内視鏡及装置びその作動方法
JP5735478B2 (ja) * 2012-12-14 2015-06-17 富士フイルム株式会社 内視鏡装置及びその作動方法
WO2014145244A1 (en) * 2013-03-15 2014-09-18 Olive Medical Corporation Comprehensive fixed pattern noise cancellation
US10595714B2 (en) 2013-03-28 2020-03-24 Endochoice, Inc. Multi-jet controller for an endoscope
US9636003B2 (en) 2013-06-28 2017-05-02 Endochoice, Inc. Multi-jet distributor for an endoscope
US9667935B2 (en) 2013-05-07 2017-05-30 Endochoice, Inc. White balance enclosure for use with a multi-viewing elements endoscope
US9949623B2 (en) 2013-05-17 2018-04-24 Endochoice, Inc. Endoscope control unit with braking system
US10064541B2 (en) 2013-08-12 2018-09-04 Endochoice, Inc. Endoscope connector cover detection and warning system
US9943218B2 (en) 2013-10-01 2018-04-17 Endochoice, Inc. Endoscope having a supply cable attached thereto
US10078226B2 (en) 2013-10-14 2018-09-18 Welch Allyn, Inc. Portable eye viewing device enabled for enhanced field of view
US9968242B2 (en) 2013-12-18 2018-05-15 Endochoice, Inc. Suction control unit for an endoscope having two working channels
WO2015112747A2 (en) 2014-01-22 2015-07-30 Endochoice, Inc. Image capture and video processing systems and methods for multiple viewing element endoscopes
EP3117757B1 (en) * 2014-03-12 2020-02-19 FUJIFILM Corporation Endoscope system
EP3123925A4 (en) * 2014-03-28 2017-04-12 FUJIFILM Corporation Endoscope system, processor device of endoscope system, and method for operating endoscope system
US10334227B2 (en) 2014-03-28 2019-06-25 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
WO2015149041A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional visualization of instruments in a field of view
WO2015149040A1 (en) * 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional imaging of surgical scenes
KR102397670B1 (ko) 2014-03-28 2022-05-16 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 정량적 3차원 영상화에 기초한 햅틱 피드백을 갖는 수술 시스템
EP3122281B1 (en) 2014-03-28 2022-07-20 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and 3d modeling of surgical implants
US11234581B2 (en) 2014-05-02 2022-02-01 Endochoice, Inc. Elevator for directing medical tool
JP6392570B2 (ja) * 2014-07-11 2018-09-19 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、画像処理プログラム、及び内視鏡システム
US10258222B2 (en) 2014-07-21 2019-04-16 Endochoice, Inc. Multi-focal, multi-camera endoscope systems
CN111990946A (zh) 2014-08-29 2020-11-27 恩多巧爱思股份有限公司 改变内窥镜插入管的刚度的系统和方法
JP6492532B2 (ja) * 2014-10-27 2019-04-03 セイコーエプソン株式会社 光学モジュール、電子機器、及び光学モジュールの駆動方法
US10123684B2 (en) 2014-12-18 2018-11-13 Endochoice, Inc. System and method for processing video images generated by a multiple viewing elements endoscope
US10271713B2 (en) 2015-01-05 2019-04-30 Endochoice, Inc. Tubed manifold of a multiple viewing elements endoscope
US10376181B2 (en) 2015-02-17 2019-08-13 Endochoice, Inc. System for detecting the location of an endoscopic device during a medical procedure
US10078207B2 (en) 2015-03-18 2018-09-18 Endochoice, Inc. Systems and methods for image magnification using relative movement between an image sensor and a lens assembly
US10401611B2 (en) 2015-04-27 2019-09-03 Endochoice, Inc. Endoscope with integrated measurement of distance to objects of interest
JP6019167B1 (ja) * 2015-04-30 2016-11-02 パナソニック株式会社 内視鏡システム及び光源制御方法
EP3297515B1 (en) 2015-05-17 2020-07-01 Endochoice, Inc. Endoscopic image enhancement using contrast limited adaptive histogram equalization (clahe) implemented in a processor
JP6985262B2 (ja) 2015-10-28 2021-12-22 エンドチョイス インコーポレイテッドEndochoice, Inc. 患者の体内における内視鏡の位置を追跡するための装置及び方法
WO2017091459A1 (en) 2015-11-24 2017-06-01 Endochoice, Inc. Disposable air/water and suction valves for an endoscope
CN105643752B (zh) * 2016-01-25 2017-09-15 深圳市川马电子股份有限公司 一种智能佛珠的生产工艺
WO2017147001A1 (en) 2016-02-24 2017-08-31 Endochoice, Inc. Circuit board assembly for a multiple viewing element endoscope using cmos sensors
WO2017160792A1 (en) 2016-03-14 2017-09-21 Endochoice, Inc. System and method for guiding and tracking a region of interest using an endoscope
EP3918972B1 (en) 2016-06-21 2023-10-25 EndoChoice, Inc. Endoscope system with multiple connection interfaces to interface with different video data signal sources
WO2018021035A1 (ja) * 2016-07-26 2018-02-01 ソニー株式会社 画像処理装置および方法、内視鏡システム、並びにプログラム
CN110167419B (zh) 2016-12-27 2022-12-06 德普伊新特斯产品公司 用于在内窥镜成像环境中提供照明的系统、方法和设备
US11147441B2 (en) 2018-01-16 2021-10-19 Welch Allyn, Inc. Physical assessment device
JP7277108B2 (ja) * 2018-10-30 2023-05-18 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察システム、および医療用観察システムの作動方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002535025A (ja) * 1999-01-26 2002-10-22 ニユートン・ラボラトリーズ・インコーポレーテツド 内視鏡用の自己蛍光画像化システム
JP2004525573A (ja) * 2001-03-29 2004-08-19 ギブン・イメージング・リミテッド タイミング制御のための方法
JP2005278135A (ja) * 2004-02-23 2005-10-06 Sony Corp 固体撮像装置および固体撮像装置の駆動方法
JP2008029621A (ja) * 2006-07-28 2008-02-14 Olympus Medical Systems Corp 内視鏡装置及びその撮像方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL83213A (en) * 1987-07-16 1991-08-16 Technion Res & Dev Foundation Intelligent scan image sensor
US5909247A (en) * 1995-12-05 1999-06-01 Olympus Optical Co., Ltd. Solid-state image pickup apparatus
JPH09247689A (ja) * 1996-03-11 1997-09-19 Olympus Optical Co Ltd カラー撮像装置
JP4161384B2 (ja) * 1997-04-30 2008-10-08 ソニー株式会社 固体撮像装置、これを用いたカメラおよび固体撮像装置の駆動方法
JP4178608B2 (ja) * 1998-04-16 2008-11-12 株式会社ニコン 固体撮像装置
US6570615B1 (en) * 1998-07-14 2003-05-27 Analog Devices, Inc. Pixel readout scheme for image sensors
JP2001061764A (ja) * 1999-08-25 2001-03-13 Asahi Optical Co Ltd 内視鏡装置
WO2002007588A1 (fr) * 2000-07-21 2002-01-31 Olympus Optical Co., Ltd. Endoscope
CN1169352C (zh) * 2001-12-28 2004-09-29 富士胶片株式会社 固体电子图像感应装置及其控制方法
JP4404241B2 (ja) * 2002-02-12 2010-01-27 ソニー株式会社 固体撮像装置およびその出力方法
IL155175A (en) * 2003-03-31 2012-01-31 Given Imaging Ltd A diagnostic device that uses information thinning
JP2005006856A (ja) * 2003-06-18 2005-01-13 Olympus Corp 内視鏡装置
EP1757215B1 (en) * 2004-05-10 2015-07-08 Olympus Corporation Transmitter apparatus, receiver apparatus, and subject intra-corporeal lead-in system
JP4598182B2 (ja) * 2005-01-05 2010-12-15 Hoya株式会社 電子内視鏡システム
JP4786915B2 (ja) 2005-03-02 2011-10-05 Hoya株式会社 電子内視鏡装置
JP4969792B2 (ja) * 2005-04-14 2012-07-04 浜松ホトニクス株式会社 固体撮像装置
JP4414944B2 (ja) * 2005-07-14 2010-02-17 富士フイルム株式会社 撮影装置
JP2007124288A (ja) * 2005-10-28 2007-05-17 Olympus Corp カプセル内視鏡
JP4677367B2 (ja) 2006-06-05 2011-04-27 オリンパス株式会社 照明装置、及び顕微鏡システム
JP4849985B2 (ja) * 2006-07-21 2012-01-11 富士フイルム株式会社 電子内視鏡システム
US8498695B2 (en) * 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
US7745771B2 (en) * 2007-04-03 2010-06-29 Delphi Technologies, Inc. Synchronous imaging using segmented illumination
US8081247B2 (en) * 2008-06-18 2011-12-20 Omnivision Technologies, Inc. Partial row readout for image sensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002535025A (ja) * 1999-01-26 2002-10-22 ニユートン・ラボラトリーズ・インコーポレーテツド 内視鏡用の自己蛍光画像化システム
JP2004525573A (ja) * 2001-03-29 2004-08-19 ギブン・イメージング・リミテッド タイミング制御のための方法
JP2005278135A (ja) * 2004-02-23 2005-10-06 Sony Corp 固体撮像装置および固体撮像装置の駆動方法
JP2008029621A (ja) * 2006-07-28 2008-02-14 Olympus Medical Systems Corp 内視鏡装置及びその撮像方法

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011250926A (ja) * 2010-06-01 2011-12-15 Fujifilm Corp 電子内視鏡システム
WO2012033200A1 (ja) * 2010-09-10 2012-03-15 オリンパスメディカルシステムズ株式会社 撮像装置
JPWO2012033200A1 (ja) * 2010-09-10 2014-01-20 オリンパスメディカルシステムズ株式会社 撮像装置
JP2012081087A (ja) * 2010-10-12 2012-04-26 Fujifilm Corp 内視鏡装置
WO2012176561A1 (ja) * 2011-06-21 2012-12-27 オリンパスメディカルシステムズ株式会社 医療機器
JP5296930B2 (ja) * 2011-06-21 2013-09-25 オリンパスメディカルシステムズ株式会社 医療機器
WO2013024788A1 (ja) * 2011-08-15 2013-02-21 オリンパスメディカルシステムズ株式会社 撮像装置
JP5245022B1 (ja) * 2011-08-15 2013-07-24 オリンパスメディカルシステムズ株式会社 撮像装置
US8823789B2 (en) 2011-08-15 2014-09-02 Olympus Medical Systems Corp. Imaging apparatus
US8866893B2 (en) 2011-12-27 2014-10-21 Olympus Medical Systems Corp. Imaging apparatus
WO2013099942A1 (ja) * 2011-12-27 2013-07-04 オリンパスメディカルシステムズ株式会社 撮像装置
CN103732119A (zh) * 2011-12-27 2014-04-16 奥林巴斯医疗株式会社 摄像装置
US11083367B2 (en) 2012-07-26 2021-08-10 DePuy Synthes Products, Inc. Continuous video in a light deficient environment
US11863878B2 (en) 2012-07-26 2024-01-02 DePuy Synthes Products, Inc. YCBCR pulsed illumination scheme in a light deficient environment
US10568496B2 (en) 2012-07-26 2020-02-25 DePuy Synthes Products, Inc. Continuous video in a light deficient environment
US10785461B2 (en) 2012-07-26 2020-09-22 DePuy Synthes Products, Inc. YCbCr pulsed illumination scheme in a light deficient environment
US10277875B2 (en) 2012-07-26 2019-04-30 DePuy Synthes Products, Inc. YCBCR pulsed illumination scheme in a light deficient environment
JP2015530893A (ja) * 2012-07-26 2015-10-29 オリーブ・メディカル・コーポレーション 光が不十分な環境での連続的なビデオ
US11070779B2 (en) 2012-07-26 2021-07-20 DePuy Synthes Products, Inc. YCBCR pulsed illumination scheme in a light deficient environment
JP2014147667A (ja) * 2013-01-10 2014-08-21 Fujifilm Corp 内視鏡装置及びその作動方法
JP2016128024A (ja) * 2013-01-10 2016-07-14 富士フイルム株式会社 撮像モジュール、及び内視鏡装置
US10321801B2 (en) 2013-01-10 2019-06-18 Fujifilm Corporation High frame rate endoscopic device and methods thereof
US11185213B2 (en) 2013-03-15 2021-11-30 DePuy Synthes Products, Inc. Scope sensing in a light controlled environment
US10670248B2 (en) 2013-03-15 2020-06-02 DePuy Synthes Products, Inc. Controlling the integral light energy of a laser pulse
US10917562B2 (en) 2013-03-15 2021-02-09 DePuy Synthes Products, Inc. Super resolution and color motion artifact correction in a pulsed color imaging system
US11974717B2 (en) 2013-03-15 2024-05-07 DePuy Synthes Products, Inc. Scope sensing in a light controlled environment
JP2015016096A (ja) * 2013-07-10 2015-01-29 Hoya株式会社 電子内視鏡
US9826885B2 (en) 2013-08-01 2017-11-28 Olympus Corporation Endoscope system
WO2015016137A1 (ja) 2013-08-01 2015-02-05 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2015070937A (ja) * 2013-10-03 2015-04-16 富士フイルム株式会社 内視鏡装置
US10911649B2 (en) 2014-03-21 2021-02-02 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
US10084944B2 (en) 2014-03-21 2018-09-25 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
US11438490B2 (en) 2014-03-21 2022-09-06 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
JP2017170168A (ja) * 2014-03-28 2017-09-28 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
WO2015151929A1 (ja) * 2014-03-31 2015-10-08 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JPWO2015151929A1 (ja) * 2014-03-31 2017-04-13 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
US10561350B2 (en) 2014-03-31 2020-02-18 Fujifilm Corporation Endoscope system, processor device of endoscope system, and method of operating endoscope system
US10799088B2 (en) 2016-03-09 2020-10-13 Sony Corporation Image processing device, image processing method and recording medium
JP2017158764A (ja) * 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
US11642004B2 (en) 2016-03-09 2023-05-09 Sony Corporation Image processing device, image processing method and recording medium
DE112017002857T5 (de) 2016-08-25 2019-03-14 Hoya Corporation Elektronischer Endoskopprozessor und elektronisches Endoskopsystem
US11607110B2 (en) 2016-08-25 2023-03-21 Hoya Corporation Electronic endoscope processor and electronic endoscope system
WO2019039354A1 (ja) * 2017-08-23 2019-02-28 富士フイルム株式会社 光源装置及び内視鏡システム
CN111050629A (zh) * 2017-08-23 2020-04-21 富士胶片株式会社 光源装置及内窥镜系统
CN111050629B (zh) * 2017-08-23 2022-09-06 富士胶片株式会社 内窥镜系统
JPWO2019039354A1 (ja) * 2017-08-23 2020-07-16 富士フイルム株式会社 光源装置及び内視鏡システム
US11388387B2 (en) 2019-02-04 2022-07-12 PANASONIC l-PRO SENSING SOLUTIONS CO., LTD. Imaging system and synchronization control method
DE102020102254A1 (de) 2019-02-04 2020-08-06 Panasonic I-Pro Sensing Solutions Co., Ltd. Bildaufnahmesystem und Synchronisationssteuerverfahren

Also Published As

Publication number Publication date
US8231522B2 (en) 2012-07-31
US20100069713A1 (en) 2010-03-18
JP5435916B2 (ja) 2014-03-05

Similar Documents

Publication Publication Date Title
JP5435916B2 (ja) 電子内視鏡システム
JP5259882B2 (ja) 撮像装置
US8866893B2 (en) Imaging apparatus
JP5863709B2 (ja) 内視鏡システム
JP5616664B2 (ja) 内視鏡システム
JP2011250926A (ja) 電子内視鏡システム
JP5245022B1 (ja) 撮像装置
WO2012033200A1 (ja) 撮像装置
US20130307951A1 (en) Imaging apparatus
JP2004321244A (ja) 電子内視鏡システム
JP6129731B2 (ja) 内視鏡システム及びその作動方法
JP6228833B2 (ja) 撮像システム、及び内視鏡装置
KR20080102317A (ko) 생체 관측 시스템
JP2012143319A (ja) 内視鏡システム及びその駆動方法
JP5509233B2 (ja) 電子内視鏡装置及びその作動方法
WO2020178962A1 (ja) 内視鏡システムおよび画像処理装置
JP2011250925A (ja) 電子内視鏡システム
JP2013022219A (ja) 画像信号処理装置、撮像システム、及び電子内視鏡システム
JP2010279579A (ja) 画像取得方法および内視鏡装置
JP6137892B2 (ja) 撮像システム
JP2005319213A (ja) 蛍光観察内視鏡装置
JP2010184047A (ja) 内視鏡、内視鏡駆動方法、並びに内視鏡システム
JP6937902B2 (ja) 内視鏡システム
JP2013013589A (ja) 画像信号処理装置、撮像システム、及び電子内視鏡システム
JP5156560B2 (ja) 電子内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131210

R150 Certificate of patent or registration of utility model

Ref document number: 5435916

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250