JP2012005785A - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP2012005785A
JP2012005785A JP2010146865A JP2010146865A JP2012005785A JP 2012005785 A JP2012005785 A JP 2012005785A JP 2010146865 A JP2010146865 A JP 2010146865A JP 2010146865 A JP2010146865 A JP 2010146865A JP 2012005785 A JP2012005785 A JP 2012005785A
Authority
JP
Japan
Prior art keywords
speckle noise
color component
component
light
endoscope system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010146865A
Other languages
English (en)
Other versions
JP5417268B2 (ja
Inventor
Osamu Kuroda
黒田  修
Takayuki Iida
孝之 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010146865A priority Critical patent/JP5417268B2/ja
Priority to US13/166,765 priority patent/US8517929B2/en
Priority to EP11171508A priority patent/EP2399508A1/en
Priority to CN201110175447.9A priority patent/CN102293623B/zh
Publication of JP2012005785A publication Critical patent/JP2012005785A/ja
Application granted granted Critical
Publication of JP5417268B2 publication Critical patent/JP5417268B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48Laser speckle optics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

【課題】常に安定してスペックル干渉のない画像が得られる内視鏡システムを提供する。
【解決手段】レーザ光のスペックルノイズが重畳した第1の基本色成分Bと、スペックルノイズを含まない第2の基本色成分Gとを含む撮像画像において、第1の基本色成分Bと第2の基本色成分Gとの差分情報からスペックルノイズ成分Bsを抽出し、抽出したスペックルノイズ成分Bsの量に基づいて、第1の基本色成分Bからスペックルノイズ成分Bsを除去してスペックルノイズのない良好な観察画像を得る。
【選択図】図1

Description

本発明は、内視鏡システムに関する。
一般的に、広く使用されている内視鏡装置は、光源装置内のランプからの光を内視鏡挿入部に沿って設けたライトガイドにより導光し、このライトガイドで導光された照明光を内視鏡挿入部の先端の照明窓から出射して検査対象部位を照明する構成になっている。これに対し、ランプに代えてレーザ光源を用いて照明を行うものがある。例えば、特許文献1の照明装置は、青色半導体レーザによる光を、光ファイバにより内視鏡挿入部の先端に導き、光ファイバ先端に配置された蛍光体を励起発光させ、これにより得られる白色照明光を検査対象部位に照射する構成となっている。この照明装置によれば、内視鏡に要求される導光路の細さと、照明光の明るさを両立させることができる。
しかし、半導体レーザには強度雑音として、モードホッピングノイズ、戻り光ノイズ、照射面におけるスペックルノイズが発生することが知られている。特許文献1に記載されるように、半導体レーザを用いた場合には、照射面の凹凸形状に応じて、照射面上に斑点状のノイズパターンが揺れ動く現象が生じる。これはスペックル干渉によるもので、この微細な揺らぎは、照明光を内視鏡などに用いた場合に患部観察の妨げとなるため、揺らぎ防止の技術が検討されている。
特開2005−205195号公報
本発明は、本発明は、このような状況に鑑みてなされたもので、常に安定してスペックル干渉のない画像が得られる内視鏡システムを提供することを目的とする。
本発明は、下記構成からなる。
複数の基本色成分に対して感度を有する撮像素子により、レーザ光を含む照明光の照射下で被検体を撮像し、得られた撮像画像を画像処理して観察画像として出力する内視鏡システムであって、
前記撮像画像は、前記レーザ光のスペックルノイズが重畳した第1の基本色成分と、前記スペックルノイズを含まない第2の基本色成分とを含み、
前記第1の基本色成分と前記第2の基本色成分との差分情報から前記スペックルノイズ成分を抽出するスペックルノイズ抽出手段と、
前記抽出したスペックルノイズ成分の量に基づいて、前記第1の基本色成分から前記スペックルノイズ除去のための制御量を決定する制御手段と、
を備えた内視鏡システム。
本発明に係る内視鏡システムによれば、第1の基本色成分と第2の基本色成分の差分情報からスペックル成分を抽出し、このスペックル成分を評価パラメータとしてスペックルノイズを除去する。これにより、定量的な評価が難しかったスペックルノイズに対して、上記評価パラメータを用いて制御することにより、スペックルノイズを除去する制御量を最適に設定できる。従って、スペックルノイズを除去する際に、無駄な制御や過剰な演算処理等を行うことがなくなり、高効率で適量なスペックルノイズの除去が可能となる。よって、常に安定してレーザ特有の揺らぎやムラのない良好な観察画像を得ることができる。
本発明の実施形態を説明するための図で、内視鏡及び内視鏡が接続される各装置を表す内視鏡システムの構成図である。 内視鏡システムのブロック構成図である。 青色半導体レーザからの青色レーザ光及び青色レーザ光が蛍光体により波長変換された発光スペクトルを示すグラフである。 BGRの基本色成分に対して感度を有する撮像素子により撮像された撮像画像の説明図である。 スペックルノイズ抽出手段によりB成分から抽出されたスペックルノイズ成分の説明図である。 C,M,Yの基本色成分に対して感度を有する撮像素子により撮像された撮像画像の説明図である。 C,M,Y,Gの基本色成分に対して感度を有する撮像素子により撮像された撮像画像の説明図である。 第2の構成例における照明光学系を概略的に表した構成図である。 図8に示す光源駆動回路による駆動電流の一例を表すグラフである。 青色レーザ光源の駆動電流に対する光出力強度との関係を表すグラフである。 波長に対する発振波形を示すグラフである。 スペックルノイズが最小となるようにスペックル軽減処理のパラメータをフィードバック制御する制御ブロック図である。 マクベスチャートの白色を撮影したときの変調周波数に対するスペックルノイズの状態を示すグラフである。 (A)は撮像光学系による撮像で時系列的に得られた複数のフレーム画像を示す説明図、(B)は各フレーム画像を分類する様子を概念的に示す説明図である。 モニタの表示面内の異なる表示領域に、スペックルノイズの少ない白色光による照明画像と、スペックルノイズを多く含む白色光による照明画像とをそれぞれ表示した様子を示す説明図である。 第3の構成例における内視鏡挿入部の先端部分の概略断面図である。 圧電体の概略的な構成とその駆動回路を示す説明図である。 光ファイバに圧電体を巻き付けた構成を表す内視鏡挿入部の先端の概略断面図である。 鉗子チャンネルに光ファイバを巻き付けた構成を表す内視鏡挿入部の先端の概略断面図である。 振動印加後の加振手段から光出射端までの距離を横軸に、照明光のノイズを表すRMS値を縦軸として双方の関係をグラフ図である。
本発明に係る内視鏡システムの好適な実施の形態について、図面を参照して詳細に説明する。まず、内視鏡の構成について説明する。
(第1の構成例)
図1は内視鏡及び内視鏡が接続される各装置を表す内視鏡システムの構成図、図2は図1の内視鏡システムのブロック構成図である。
図1に示すように、内視鏡システム100は、内視鏡11と、光源装置13と、撮像信号処理を行うプロセッサ15と、モニタ17とを有して構成される。内視鏡11は、本体操作部19と、この本体操作部19に連設され被検体(体腔)内に挿入される挿入部21とを備える。本体操作部19には、ユニバーサルコード23が接続され、このユニバーサルコード23の先端は、ライトガイド(LG)コネクタ25を介して光源装置13に接続される。また、撮像信号は、ビデオコネクタ31を介してプロセッサ15に入力される。
内視鏡11の本体操作部19には、挿入部21の先端側で吸引、送気、送水を実施するためのボタンや、撮像時のシャッターボタン等の各種操作ボタン27が並設されるとともに、一対のアングルノブ29A,29Bが設けられている。挿入部21は、本体操作部19側から順に軟性部33、湾曲部35、及び先端部37で構成され、湾曲部35は、本体操作部19のアングルノブ29を回動することによって遠隔的に湾曲操作される。これにより、先端部37を所望の方向に向けることができる。
また、図2に示すように、内視鏡11の先端部37には、撮像光学系の観察窓41と、照明光学系の光照射窓43が配置され、光照射窓43から照射される照明光による被検体からの反射光を、観察窓41を通じて撮像するようになっている。撮像された観察画像は、プロセッサ15に接続されたモニタ17に表示される。
ここで、撮像光学系は、CCD(charge coupled device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子45と、結像レンズ47等の光学部材とを有する。撮像光学系で取り込まれる観察像は、撮像素子45の受光面に結像されて電気信号に変換され、その電気信号が信号ケーブル49を通じてプロセッサ15の撮像信号処理部51に入力され、ここで映像信号に変換される。
一方、照明光学系(照明装置)は、レーザ光源部55を有する光源装置13と、これに接続される光ファイバ53と、光ファイバ53の光出射側に配置された波長変換部である蛍光体69とを有する。光ファイバ53は、中心のコア層とその外周のクラッド層を有する光ファイバ・ケーブルであり、内視鏡11の先端部37へレーザ光を導波し、先端部37の蛍光体69から白色照明光を出射させる。レーザ光源部55は、制御部61からの指令に基づく光源駆動回路59からの駆動信号を受けてレーザ光を発する。
制御部61は、撮像信号を保存するメモリ63と接続され、撮像信号処理部51から出力される画像データをモニタ17に映出したり、図示しないLAN等のネットワークに接続されて画像データを含む情報を配信したり、内視鏡システム100全体を制御する。
レーザ光源部55は、第1の波長帯域の光である波長445nmの青色レーザ光を発生する青色半導体レーザを備えている。青色半導体レーザは、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。
レーザ光源部55(青色半導体レーザ)から出射される青色レーザ光は、図示しない集光レンズにより光ファイバ53に入力され、内視鏡11の先端部37まで伝搬されて、波長変換部である蛍光体69を励起して、第2の波長帯域の光である蛍光を発光させる。また、一部の青色レーザ光は、そのまま蛍光体69を透過する。
蛍光体69は、青色レーザ光の一部を吸収して緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBMA(BaMgAl1037)等の蛍光体)を含んで構成される。これにより、青色レーザ光を励起光とする緑色〜黄色の励起光と、蛍光体69により吸収されずに透過した青色レーザ光とが合成されて、白色(疑似白色)の照明光が生成される。
図3は、青色半導体レーザからの青色レーザ光及び青色レーザ光が蛍光体69により波長変換された発光スペクトルを示すグラフである。青色レーザ光(第1の波長帯域の光)は、中心波長445nmの輝線で表され、青色レーザ光による蛍光体69からの励起発光光(第2の波長帯域の光)は、概ね450nm〜700nmの波長帯域で発光強度が増大する分光強度分布となる。この励起発光光と青色レーザ光によるプロファイルによって、前述した白色照明光が生成される。
ここで、本明細書でいう白色照明光とは、厳密に可視光の全ての波長成分を含むものに限らず、例えばR,G,B等、特定の波長帯の光を含むものであればよく、例えば、緑色から赤色にかけての波長成分を含む光や、青色から緑色にかけての波長成分を含む光等も広義に含むものとする。
図2に戻り、上記のように青色レーザ光と蛍光体69からの励起発光光により生成された白色照明光は、内視鏡11の先端部37に設けられた光照射窓43から被検体の被観察領域に向けて照射される。そして、白色照明光が照射された被観察領域の様子を、結像レンズ47により撮像素子45の受光面上に結像させ、電気信号に変換してケーブル49を通じてプロセッサ15の撮像信号処理部51に入力して映像信号に変換する。
このような半導体レーザには、照射面におけるスペックルノイズが発生することが知られている。また、スペックルノイズは、シングルモードの光ファイバよりもマルチモードの光ファイバで顕著となることが知られている。
本構成の撮像素子45は、原色系である赤(R)、緑(G)、青(B)の3つの基本色成分に対して感度を有している。上記の青色レーザ光を含む白色照明光が照射される被検体(例えば、患部)を、撮像素子45によって撮像した撮像画像は、図4に示すように、撮像された被検体の形状は各色成分(RGB)の各撮像画像で略一致している。しかし、スペックルノイズ成分が重畳するB成分(第1の波長帯域)の撮像画像に多くのスペックルノイズが発生しており、他の色成分(R、G成分)の撮像画像には殆ど見られない。このスペックルノイズは、内視鏡においては、患部観察の妨げとなるので、スペックルノイズが除去された観察画像としてモニタ17に表示することが望まれる。
次に、スペックルノイズの除去について説明する。
撮像信号処理部51は、撮像素子45によって撮像した撮像画像における、スペックルノイズを含む第1の基本色成分であるB成分と、スペックルノイズを含まない第2の基本色成分であるG成分との差分情報からスペックルノイズ成分を抽出する。具体的には、スペックルノイズ抽出手段が、撮像画像の画素毎に、B成分をG成分で除算することで、両成分が異なる画素、即ち、スペックルノイズによる輝度変化が抽出され、図5に示すように、画素毎のスペックルノイズ成分Bsが抽出される。
次いで、撮像信号処理部51が、撮像画像の画素毎に、B成分から当該画素に対応するスペックルノイズ成分Bsを減算し、B成分に重畳されたスペックルノイズ成分Bsを除去して、スペックルノイズ成分Bsを含まない撮像画像を生成する。このようにしてスペックルノイズ成分Bsが除去された観察画像は、モニタ17(図1、図2参照)に表示される。
上記のように、撮像信号処理部51は、スペックルノイズ抽出手段、演算処理する制御手段として機能し、スペックルノイズ成分Bsの除去は、B成分の撮像画像からスペックルノイズ成分Bsを抽出し、このB成分の撮像画像からスペックルノイズ成分Bsを減算することにより行われる。このため、本方式のスペックルノイズ成分Bsの除去は、より高速な演算が要求さる動画像よりも静止画像に対して効果的に適用される。
なお、スペックルノイズを含まない第2の基本色成分としてR成分を用い、B成分とR成分との差分情報からスペックルノイズ成分Bsを求めることも可能である。
(第1変形例)
次に、補色系のシアン(C)、マゼンタ(M)、イエロ(Y)の3つの基本色成分に対して感度を有する撮像素子により撮像する第1変形例について説明する。
本変形例の撮像素子45は、C、M、Yの3つの基本色成分に対して感度を有している。C,M,Yの各色成分は、それぞれ原色系の基本色RGBを用いた(1)、(2)、(3)式で表され、C成分及びM成分には、スペックルノイズ成分Bsが重畳するB(青色)成分が含まれている。従って、レーザ光を含む白色照明光が照射される被検体をこの撮像素子45で撮像した撮像画像には、図6に示すように、C成分及びM成分にスペックルノイズ成分Bsが重畳している。
C=B+G …(1)
M=B+R …(2)
Y=G+R …(3)
このC、M、Yの3つの基本色成分からスペックルノイズ成分Bsを抽出するため、まず、プロセッサ15の色変換手段でもある撮像信号処理部51が、上記(1)〜(3)式を変換して得られる(4)、(5)式に基づいて、撮像されたC、M、Y成分から、B成分、及びG成分を演算により求める。
B=(C+M−Y)/2 …(4)
G=(C+Y−M)/2 …(5)
B成分、及びG成分が求められれば、以後同様に、撮像信号処理部51が、撮像画像の画素毎に、B成分をG成分で除算することで、画素毎のスペックルノイズ成分Bsを抽出し、更に、撮像画像の画素毎に、B成分から当該画素に対応するスペックルノイズ成分Bsを減算することにより、B成分に重畳されたスペックルノイズ成分Bsを除去して、スペックルノイズ成分Bsを含まないBc(青色)成分が求められる。
そして、スペックルノイズ成分Bsを含まない観察画像をモニタ17に表示するため、スペックルノイズ成分Bsを含まないBc成分、R成分、及びG成分から(6)、(7)式によりスペックルノイズ成分Bsを含まないCc、Mc成分を逆演算する(Y成分は元々B成分を含まないので元のY成分を使用)。これにより得られたCc,Mc,YをR、G、Bに色変換して、前述同様に観察画像を生成し、モニタ17に観察画像を表示する。
Cc=Bc+G …(6)
Mc=Bc+R …(7)
(第2変形例)
次に、C、M、Y、及びGの4つの基本色成分に対して感度を有する撮像素子により撮像する第2変形例について説明する。
本変形例の撮像素子45は、C、M、Y、及びGの4つの基本色成分に対して感度を有している。本変形例の撮像素子45によると、図7に示すように、C、M、Y、及びG色成分の撮像画像が撮像され、C成分及びM成分には、第1変形例で説明したように、スペックルノイズBsが重畳している。
本変形例においては、第1変形例と全く同様に、C、M、Yを用いて(4)、(5)式からB成分、及びG成分を求めることも可能である。しかし、G成分が既知であるので、より簡単な処理が可能となる。即ち、撮像信号処理部51は、既知のG成分を用いてB成分を(8)式から求める。
B=C−G …(8)
そして、(8)式で演算されたB成分に対して第1変形例と全く同様に、撮像信号処理部51が、撮像画像の画素毎に、B成分を既知のG成分で除算することで、画素毎のスペックルノイズ成分Bsを抽出する。更に、撮像画像の画素毎に、B成分から当該画素に対応するスペックルノイズ成分Bsを減算し、B成分に重畳されたスペックルノイズ成分Bsを除去して、スペックルノイズ成分Bsを含まないBc成分を求める。
次に、(6)、(7)式によりスペックルノイズ成分Bsを含まないCc、Mc成分を逆演算する(Y成分は元々B成分を含まないので元のY成分を使用)。これにより得られたCc,Mc,YをR、G、Bに色変換して、前述同様に観察画像を生成し、モニタ17に観察画像を表示する。
(第2の構成例)
次に、図8〜図15に基づいて第2の内視鏡システムの構成例について説明する。
本構成例は、レーザ光源部の半導体レーザの駆動電流に高周波信号を重畳することで、上述したスペックルノイズ成分Bsを目標値までフィードバック制御しつつ低減させるものである。
レーザ光源部55は、図8に照明光学系を概略的に表した構成図に示すように、中心波長445nmの青色発光のブロードエリア型半導体レーザ(以降、青色半導体レーザと称する)65と、この青色半導体レーザ65からのレーザ光を集光する集光レンズ67とを備える。半導体レーザは、出射光の波長が短いほど、単一モードとなる活性領域(ストライプ)幅が小さくなる。青色半導体レーザの場合、活性領域幅は1〜2μmが単一モード条件である。従って、その数倍の幅である3〜6μm以上の活性領域幅を有するものをブロードエリア型半導体レーザと呼ぶことができる。つまり、本明細書におけるブロードエリア型半導体レーザとは、活性領域幅の狭いナローストライプ型半導体レーザと区別して、例えば3〜6μm以上(例えば5μm以上、50μm以下)の活性領域幅を持つものと定義する。
なお、出射光の波長が400nm台(405nmや445nm等)であれば、実用的な観点から上記の通り50μm以下とすることができるが、この活性領域幅の上限は、現在の窒化物結晶成長技術と、選択されている基板面方位では不均一性が高いという事情から50μm程度が限界という意味であり、原理的な限界ではない。例えば、血管ナビゲーションに使用される波長780nmの砒素燐系レーザダイオードでは、200μmの活性領域幅を有するものがある。
上記構成の照明光学系(照明装置)における青色半導体レーザの駆動回路について説明する。
図8に示すように、青色半導体レーザ65には、直流の駆動電流を供給する直流電流源71がインダクタ73を介して接続され、また、直流電流源71からの駆動電流に正弦波の高周波信号を重畳する発信器75がカップリングコンデンサ77を介して接続されている。この高周波信号は、数百〜数千MHzの任意に設定できる正弦波の信号であって、駆動電流に重畳することで、青色半導体レーザ65の縦モードがマルチモード化される。上記構成のうち、インダクタ73は発信器75からの高周波信号に対しては高インピーダンスを呈し、駆動電流に対しては低インピーダンスを呈する。また、カップリングコンデンサ77は発信器75からの高周波信号から直流成分を除去する。つまり、発信器75が高周波信号を駆動電流に重畳して青色半導体レーザ65を多モード発振させる高周波重畳手段として機能するようになっている。
図9は図8に示す光源駆動回路による駆動電流の一例を表すグラフ、図10は青色半導体レーザの駆動電流に対する光出力強度との関係を表すグラフである。
図9に示すように、駆動電流は、直流電流源71からのバイアス電流に発信器75からの高周波信号が重畳されている。この駆動電流が青色半導体レーザ65に印加され、図10に示すように、駆動電流が変化すると、レーザ発振の過渡応答時のマルチモード化(緩和振動)が生じ、これによって光出力強度が変化する。このような時間軸に対する乱れにより干渉性が低下して、レーザ光の照射領域におけるスペックル干渉の発生を低減できる。本方法であれば、青色半導体レーザ65が横シングルモードかマルチモードかにかかわらず、確実にスペックルノイズが低減する。
また、ブロードエリア型半導体レーザは、発光幅が広く、横モードが複数存在している。そして、この複数存在する横モードのぞれぞれは、図11に波長に対する発振波形を示すように、基本発振周波数fを中心とする高次モードの異なる波長帯域成分を有しており、所定の波長広がりを持つ。このような横モードの増加と、発光波長の広がりによって、レーザ光の照射領域におけるスペックル干渉の発生を低減できる。
つまり、青色半導体レーザ65から出射される青色光は、複数の横モードを高周波信号の重畳によって時間軸に対してバラバラに乱れさせ、ホワイトノイズ化することで、結果として波長も横モードの変動に応じた変化を受けて、レーザ光の干渉性が低下する。これにより、スペックル干渉の発生を低減することができる。
また、ブロードエリア型半導体レーザの横モードは、光ファイバ53に集光レンズ67で集光させる場合に、それぞれのモード毎に光結合効率が異なっているため、環境温度の変化等の外的要因で横モード変動が起こることがある。そのときにレーザ光の出力変動が生じるが、本構成では各モードが万遍なく励起された状態で使われるので、仮に横モード変動が起きた場合でも、レーザ光の出力変動は小さく抑えられる。
また、蛍光体を励起させる場合に、ブロードエリア型半導体レーザは、その横モードが高周波信号の重畳によって変調できるため、時間に対しても出力が安定化し、比較的遅い数〜数kHz程度で生じていた強度ノイズが減少し、安定した画像の取得が行える。
このように、複数の横モードを有するブロードエリア型の青色半導体レーザ65に対し、高周波信号を重畳した駆動電流を印加することで、縦モードがマルチモード化され、また複数の横モードのそれぞれが波長の広がりを有するようになり、しかも時間軸に対して横モードが変化するため、スペックル干渉の生じにくい光を常に安定して出射させることができる。これにより、照明領域にスペックルノイズが生じることを防止できる。
上記のように、青色半導体レーザ65に対し、高周波信号を重畳した駆動電流を印加することで、スペックルノイズの低減効果が得られるが、スペックルノイズ成分Bsが最小となるように、駆動電流に印加する高周波信号をフィードバック制御することで、更に効果的にスペックルノイズを低減することができる。
図12は、スペックルノイズが最小となるようにスペックル軽減処理(本構成例においは高周波信号の重畳)のパラメータをフィードバック制御する制御ブロック図であり、第1の構成例(図4、図5参照)で説明したように、撮像信号処理部51が、撮像画像のB成分をG成分で除算することで、青色半導体レーザ65の駆動電流に高周波信号を印加するスペックルノイズ軽減処理を行った後のスペックルノイズ成分Bs2を求める。そして、目標スペックルノイズ成分BstとBs2との差(ΔBst)に基づいて、目標スペックルノイズ成分Bstが最小となるように駆動電流に印加する高周波信号のパラメータ(例えば、周波数や振幅)をフィードバック制御する。これにより、スペックルノイズ軽減効果が増大し、スペックルノイズを抑えた良好な観察画像が得られる。
次に、青色半導体レーザ65を光源駆動回路59によって変調周波数を変更した場合のスペックル干渉の軽減効果について説明する。
図13にマクベスチャートの白色を撮影したときの変調周波数に対するスペックルノイズの状態を示すグラフを示した。同図の横軸は光源駆動回路59による変調周波数であり、縦軸は取得画像の画素値の二乗平均平方根値(RMS値)である。ここでの変調の振幅は0〜100%の範囲であり、デューティ比は50%とした。また、画素値はRGB各色で16ビットの値であり、QL最大値(量子化レベルの最大値)は65416である。
青色半導体レーザ65を変調せずに撮像したフルカラー画像には、RMS値で4000程度のスペックルノイズが発生しており、容易に視認できるランダムノイズが重畳されている。このスペックルノイズの発生は励起光である青色レーザ光に起因しており、フルカラー画像から青色(B)成分のみ抽出するとスペックルノイズが顕著に現れる。
一方、青色半導体レーザ65を1kHzで変調すると、撮像したフルカラー画像のRMS値は3500程度に低下し、時間的及び空間的に均一な光量分布となり、青色成分のみ抽出した画像にも殆どスペックルノイズが視認できなくなる。変調周波数は、1kHz以上では変調周波数に対するRMS値の変化が減少して、所定の値(図示例では3500)に収束する傾向を有しており、スペックルノイズの低減には1kHz程度で十分な効果が得られる。
なお、スペックルノイズは変調周波数が100Hzから減少し始めるが、内視鏡の撮像素子による撮像周期は例えば1/30〜1/60秒なので、変調周波数を100Hz程度とした場合、光照射領域に「ちらつき」となって現れるようになる。変調振幅を小さくすれば「ちらつき」が防止できるが、その場合にはスペックルノイズが現れるようになる。
例を挙げると、変調振幅が100%の場合、変調周波数が500Hz以上では「ちらつき」が無く、スペックルノイズの無い画像が取得される。変調周波数が1kHz以上では更にその効果が大きくなり、変調振幅を1割から2割程度低くしてもスペックルノイズの発生が抑制され、より安定したノイズ低減効果が得られる。
また、光源の光量を増大させる場合、例えば精査用内視鏡等では、レーザダイオードの出力を大きくする必要がある。この場合、駆動電流が増大することになるが、大きな駆動電流を変調振幅100%で駆動するには、回路のマッチング精度要求が高くなり、電源のコストの上昇を招く。このような場合は、更に変調周波数を上げたり、変調振幅を下げたりすることが有効である。上記の事項は、パルス波形が方形パルスに限らず、前述の正弦波や鋸波や三角波形状であっても良い。また、内視鏡の撮像周期(1/30〜1/60秒)の電荷蓄積時間内に、パルス周波数を100Hz〜数百、数kHzまでその周波数をスイープしても同様の効果が得られる。
次に、上記構成の内視鏡システム100の応用例を説明する。
ここでは、スペックルノイズの発生レベルを自在に制御できることを利用して、観察表面の凹凸形状を観察する形状観察モードを設けた場合を示す。
図1,図2に示す内視鏡11の挿入部21を被検体(体腔)内に挿入し、挿入部21の先端から白色照明光を出射させる際、高周波信号の重畳を行う場合と高周波重畳を行わない場合とを切り替え自在とし、それぞれの場合で撮像して得た撮像信号を、図2に示すメモリ63に取り込み、撮像信号処理部51により適宜な画像処理を施してモニタ17に表示する。或いは記録媒体に保存する。
例えば、この内視鏡11により被検体内で白色の照明光を照射して観察する場合、通常の内視鏡診断時には、制御部61は、光源駆動回路59(図2参照)により、青色半導体レーザ65に対して高周波信号を重畳した駆動電流を印加し、青色レーザ光を発光させる。この青色レーザ光は、可干渉性が低く、蛍光体69により波長変換された蛍光と、蛍光体69で拡散して通過する拡散光とが混合することで、スペックルノイズの少ない白色光を生成する。
また、制御部61が光源駆動回路59の発信器75からの高周波信号の駆動電流への重畳を停止すると、スペックルノイズの乗った照明光が生成される。この場合、特に青色成分(B成分)は、スペックルノイズを含む撮像画像が撮像されるので、観察表面の凹凸形状がより鮮明な画像となる。
このように、制御部61が、高周波信号の駆動電流への重畳の有無を適宜なタイミングで制御することで、観察目的に適応した画像情報を被検体から選択的に得ることができる。図14(A)は、撮像光学系による撮像で時系列的に得られた複数のフレーム画像を示す図で、図14(B)は、これらフレーム画像を分類する様子を概念的に示す説明図である。ここでは、スペックルノイズの少ない白色光による照明光下の観察像と、スペックルノイズを多く含む照明光下の観察像とを、それぞれモニタ17の別々の表示位置に表示する制御を行っている。
制御部61は、図14(A)に示すように、照明光学系の照明光の出射を制御して、動画撮像時の第1フレーム目では、高周波信号の重畳された駆動電流を青色半導体レーザ65に印加して中心波長445nmの青色レーザ光を出射させ、スペックルノイズの少ない白色光を被検体に照射する。撮像素子45は、この白色光で照明された被検体を撮像し、その撮像信号をメモリ63(図2参照)に保存する。
次に、制御部61は、照明光学系による出射光を制御して、第2フレーム目では、高周波信号の重畳されていない駆動信号を青色半導体レーザ65に印加して、スペックルノイズを多く含む白色光を被検体に照射する。この白色光で照明された被検体を撮像し、その撮像信号をメモリ63に保存する。
以降、同様にして、第3フレーム(奇数フレーム)では第1フレーム目と同様に、第4フレーム(偶数フレーム)では第2フレームと同様に照明・撮像・撮像信号保存の処理を行うことを繰り返す。つまり、スペックルノイズの少ない白色光の照明と、スペックルノイズを多く含む白色光の照明とを、撮像素子45の撮像フレーム毎に交互に切り換える。
そして、図14(B)に示すように、メモリ63に、スペックルノイズの少ない白色光による照明画像と、スペックルノイズを多く含む白色光による照明画像とをそれぞれ保存する。これら2種類の撮像信号による画像情報を、図15に示すように、モニタ17の表示面内の異なる表示領域78,79にそれぞれ表示する。各表示領域78,79のサイズは図示例では同一にしているが、いずれか一方を他方より大きく表示したり、いずれか一方の画像表示領域内に、他方の画像をオーバーラップさせて小さく表示したりする等、任意に設定することができる。
このように、通常の白色照明による通常画像と、凹凸形状の強調された強調画像とを、同じ画面上で同時に表示することで、迅速かつ簡単に観察部位の状態を把握できる。また、各画像情報をリアルタイムで観察できるため、正確な画像情報の認識が可能となり、診断精度をより一層高めることができる。
また、スペックルノイズの少ない白色照明光と、スペックルノイズを多く含む白色照明光とを、内視鏡11の本体操作部19に設けた切り替えスイッチ81(図2参照)等により、簡単な手元操作により切り換え自在とする構成としてもよい。この場合、照明光を手動により任意のタイミングで切り換えることができ、使い勝手を向上できる。
(第3の構成例)
次に、図16〜図20に基づいて第3の内視鏡システムの構成例について説明する。
本構成例においては、照明光学系を機械的に振動させることで、上述したスペックルノイズ成分Bsを目標値までフィードバック制御しつつ低減させるものである。
図16は内視鏡挿入部の先端部分の概略断面図である。挿入部21の先端部37には、セラミックスや金属材料からなる先端硬質部85が配置され、この先端硬質部85に穿設された光照射窓43に照明光を照射する部材が配置されている。また同様に、撮像部87の集光光学系の収容された鏡筒87aが、図示しない他の先端硬質部85に設けられた開口孔に挿入して配置されている。撮像部87は、鏡筒87aの光軸をプリズム87bにより直角に曲げて、基板89に実装された撮像素子45に結像させる構成となっている。撮像素子45からの撮像信号は、基板89からケーブル49を通じてプロセッサ15に送信される。撮像素子45が感度を有する基本色は、原色系のRGB、補色系のCMY、CMYGのいずれであってもよい。
照明光学系は、図16における撮像部87の紙面手前側に配置され、光ファイバ53の光出射端に配置された蛍光体69と、蛍光体69からの発光を挿入部21の先端方向に向けて出射させるレンズ群91と、光照射窓43を覆う透光性部材93とを有する。蛍光体69の発光は、レンズ群91により光路前方へ出射され、透光性部材93を通じて体腔内の観察領域に照射される。
また、先端硬質部85には、開口孔95が穿設され、この開口孔95に金属製の鉗子パイプ97が固設されている。鉗子パイプ97の開口孔95側とは反対側の端部はチューブ99が接続され、これら鉗子パイプ97及びチューブ99は鉗子チャンネル101を形成している。鉗子チャンネル101は、挿入部21の先端の開口孔95から、本体操作部19側の鉗子口開口部103(図1参照)までを連通している。
蛍光体69の手前側の光ファイバ53には、光ファイバ53の軸線方向に沿った所定長にわたって加振手段である圧電体105が貼着されている。圧電体105は細長のシート状として光ファイバ53の外周に一部に接着してもよく、ブロック体として光ファイバ53に接着してもよい。光ファイバ53と圧電体105とが密着することで、圧電体105の電圧印加による歪みが光ファイバ53へ高効率で確実に伝播される。
図17に圧電体105の概略的な構成とその駆動回路を示した。
圧電体105は、窒化アルミニウム等の圧電材料層107を電極層109で挟み、電極層109間に電界を印加することで圧電材料層107を歪ませている。圧電体105は、電界印加周期や極性反転周期の調整により任意の振動周波数に調整でき、また、印加電圧によって振幅を調整することができ、制御性に優れる利点を有する。更に形状についても、薄板状から厚肉状まで多様に形成でき、目的に応じて設置自由度を高めた構成にできる。圧電材料層107は、上記材料以外にも、いわゆる強誘電体材料である水晶、ニオブ酸リチウム、タンタル酸リチウム、ランガサイト、チタン酸ジルコン酸塩、ロッシェル塩、電気石、ポリフッカビニリデン等が使用可能である。なお、電極層109は、不図示の電圧印加用リード線によってプロセッサ15に接続されている。
圧電体105は、基本的には図17に示す構成及び駆動回路からなり、光ファイバ53に対して軸線方向A(図16参照)の振動を発生する。つまり、圧電体105を圧電材料層107と電極層109の積層方向が光ファイバ53の軸方向に合うように貼着し、圧電体105がプロセッサ15からの駆動電圧信号を受けたときに振動を発生する。駆動電圧信号は、少なくとも観察時に発生させる。この振動により、光ファイバ53で伝送されるレーザ光が蛍光体69から白色照明光となって照射されたときに、照明光に強度ムラやスペックルノイズが発生することを防止できる。即ち、スペックルノイズの影響を抑えて強度の均一化された照明光を得ることができる。なお、図17に示す圧電体105は、一例として5層構造を示しているが、層数は任意とすることができる。
また、圧電体105を挿入部21の先端側に配置することにより、圧電体105による加振部位よりも光路前方で光ファイバ自身に起因する電界分布の偏りによって強度ムラやスペックルノイズが再び重畳されることが防止される。また、僅かな振幅の振動であっても十分な上記防止効果が得られるため、圧電体105の振動性能を最小限に抑えられ、小型化を図ることができる。また、挿入部21を湾曲自在にする湾曲部35よりも挿入部21の先端側に圧電体105を配置することにより、湾曲部35が湾曲操作された際に光ファイバ53に応力が負荷され、これにより、伝送される光の強度分布に変化が生じても、湾曲部35の先に配置される圧電体105の振動によって均質な照明光が得られ、挿入部21に外力を負荷して動かした場合でも、照明光に乱れを生じさせることがなく、常に良好な照明光の下で観察することが可能となる。
上記したように、青色半導体レーザ65に対し、圧電体105によって振動を付加することで、スペックルノイズの低減効果が得られるが、スペックルノイズ成分Bsが最小となるように、圧電体105によって青色半導体レーザ65に付加する加振強度をフィードバック制御することで、更に効果的にスペックルノイズを低減することができる。
更に、この構成によれば、光ファイバ53が挿入部21内で圧電体105により支持されるため、内視鏡11の操作時に挿入部21が外力により変形した際に、光ファイバ53の光出射端と蛍光体69との間等の接続部に応力集中が発生することを防止できる。また、湾曲部35より先端側に配置することにより、内視鏡操作中の湾曲部35における光ファイバ53への応力によるスペックル、いわゆるファイバ内のモード変化の影響も防ぐことができる。なお、圧電体105は、光ファイバ53に直接接触させず、他の中間部材を介して接合されていてもよい。その場合、中間部材の形状を光ファイバ53の外径形状に沿った半円溝を有する形状や、光ファイバ53を挿通させて支持する連通孔を形成した形状等にすることで、光ファイバ53との接触面積を増大させ、密着性や振動の伝播性を一層高めることができる。
次に、第3の構成例の内視鏡システムにおける他の構成例について説明する。
図18は光ファイバに圧電体を巻き付けた構成を表す内視鏡挿入部の先端の概略断面図である。ここでは、図16に示す構成と同一の部材については説明を省略又は簡略化する。図18に示すように、この挿入部21の先端部においては、光ファイバ53に、柔軟なテープ状の圧電体105Aを螺旋状に巻き付けて接着している。この場合、圧電体105が発生する振動によって、光ファイバ53が軸線方向Aの振動を含む捻り振動を受ける。つまり、テープ状の圧電体105はその長手方向を振幅方向とする振動を発生し、光ファイバ53は軸線方向Aの伸縮挙動により捻れながら軸線方向Aに振動する。そして、光ファイバ53は圧電体105Aによって宙吊り状態にて支持され加振されるため、少ない振動エネルギでより大きな振幅を得ることができる。
また、圧電体105Aは、上記のように先端側を光ファイバ53に螺旋状に巻き付けられ、後端側を鉗子チャンネル101のチューブ99外周に巻き付けて固着されている。圧電体105Aの後端側をチューブ99に接着して固定することで、細径な光ファイバ53との接合状態を外力の影響を受けにくい状態にでき、圧電体105Aは光ファイバ53に対して安定した接合状態を維持できる。なお、圧電体105Aの電極層109には電圧印加用リード線が接続されてプロセッサ15からの駆動信号を圧電体105Aに供給している。
このテープ状の圧電体105Aを光ファイバ53に巻き付けた構成によれば、光ファイバ53の外周面を全周にわたって均等に伸縮させることで、強度ムラとスペックルノイズの発生を照射面全体にわたって高い精度で防止でき、より均一な光量分布の照明光を照射できる。
また、光ファイバ53が挿入部21内で宙吊り状態にて支持されるため、挿入部21に働く外力によって光ファイバ53が僅かに撓み、この撓み変形によっても照明光の強度ムラとスペックルノイズの発生を軽減できる。
次に、第3の構成例の内視鏡システムにおける更に他の構成例について説明する。
図19は鉗子チャンネルに光ファイバを巻き付けた構成を表す内視鏡挿入部の先端の概略断面図である。ここでは、図16に示す構成と同一の部材については説明を省略又は簡略化する。
図19に示すように、この挿入部21の先端部においては、図16に示す鉗子パイプ97のチューブ99との接続部位を鉗子パイプ97と略同じ内外径の管状の圧電体105Bとして形成している。管状の圧電体105Bは、一端が鉗子パイプ97に突き当て接合され、他端がチューブ99に接続されることで、鉗子チャンネル101の一部を形成している。
管状の圧電体105Bは、拡径と縮径を繰り返す振動を発生する。この圧電体105Bの外周に光ファイバ53を巻き付けて、接着剤等により固着させることで、圧電体105Bが発生する振動を光ファイバ53に伝播させる。これにより、光ファイバ53が軸線方向Aに振動するようになる。図示例のように、光ファイバ53を束ねて重ね巻き(鉗子チャンネル101の軸方向に沿って複数回巻回された状態)されることにより、強度ムラとスペックルノイズの発生を相乗的な効果をもって防止することができる。特に、重ね巻きの巻回面に沿った方向、即ち、光ファイバ53の軸線方向を振動方向に合わせることで、高効率で照射面の光強度を均一にできる。
管状の圧電体105Bに光ファイバ53を巻き付ける際、光ファイバ53同士が交差するように重ねて巻回する構成とすれば、重なった光ファイバ53に押圧力が付加される。これにより発生する圧縮応力(歪み)によって屈折率が変化し、照明光の強度均一化の効果が高められる。更に、巻回後の光ファイバ53に引張応力が残留するように、光ファイバ53を圧電体105Bに締め付けながら巻回し、張力のかかった状態で接着等により固定することでも光強度均一化の効果が高められる。
なお、圧電体105Bは、鉗子チャンネル101を構成する鉗子パイプ97の一部に代えて設ける上記構成以外にも、鉗子パイプ97の外周に設けて二重管構造とする構成や、鉗子パイプ97の外周面上で周方向の一部に設ける構成としてもよい。
以上説明した内視鏡システム100によれば、挿入部21の先端の蛍光体69にレーザ光を導光する光ファイバ53を、挿入部21内の先端側で振動させることにより、蛍光体69から照射する照明光の光強度分布の均一化が図られる。つまり、レーザ光自身が有する強度ムラとスペックルノイズを低減するとともに、光ファイバ53の光出射端の近傍位置で加振することで、加振された部位から光路前方の光出射端までの間で、光ファイバ53自身に起因する電界分布の偏りによる強度ムラとスペックルノイズが、導光されるレーザ光に重畳されることを低減できる。
圧電体105,105A,105Bの配置場所は、挿入部21の先端に近いほど好ましく、光ファイバ53の光出射端から本体操作部19までの間がよい。特には、光出射端から2m以内が好ましく、1m以内とするとなお好ましい。つまり、加振手段は、光ファイバ53の光出射端から挿入部21の先端側とは反対の基端側へ向けた2m以内の範囲に配設するとよい。
光ファイバ53を振動させる加振手段としては、上記の圧電体105,105A,105Bに限らず、小型で遠隔操作可能な振動源であれば、例えば、ボイスコイルモータ等の動電型、ピストン駆動等による油圧型、アンバランスマス型等、種々のタイプが利用可能である。
また、加振手段の特に好ましい振動発生条件としては、撮像素子45(図16参照)による画像取得のフレーム周波数の数倍〜数10倍程度の振動周波数が好ましい。また、画像取得時に大きな振幅を発生させると挿入部21の先端部に発熱を招き、振幅が不足すると照明光のノイズ低減効果が薄くなるため、振幅についても所定範囲内に抑える必要がある。
例えば、マルチモード光ファイバのコア径が30〜116μm、レーザ光の発光波長が375〜850nmの条件下では、加振手段の振幅は0.001〜0.1mmの範囲が好ましく、振動周波数は50〜100Hzの範囲が好ましい。また、振動の程度を加速度で表すと、例えば、0.1G(振幅0.01mm、振動周波数50Hzに相当)から5Gの範囲とすることが好ましい。
光ファイバのコア径は、30μm未満では、半導体レーザの発光部の幅が約10〜30μm程度のため、光ファイバへのレンズ結合効率が低下したり、位置精度に敏感になったりする。また、一般的なコネクタに使用するフェルールの内径は125μmであり、クラッド層を含む光ファイバの外径は、このフェルールの内径以下とすることが好ましい。
従って、クラッド層は最低でも数μmが必要となるため、光ファイバのコア径は116μm以下とするのが好ましい。
ここで、前述の図16に示す加振手段の構成で、照明光の均一性を測定した結果を説明する。
図20に振動印加後の加振手段から光出射端までの距離を横軸に、照明光のノイズを表すRMS値を縦軸として双方の関係をグラフで示した。光ファイバに印加する振動は、振動周波数500Hz,振幅0.001mmとした。同図に示すように、加振手段の光出射端までの距離が100cmを超えると、照明光のノイズの増加率が大きくなる。また、200cmを超えた後も500cmに至るまでノイズが増加し続ける。
RMS値は、3700程度では殆ど照明光のノイズが問題とならず、3900程度になると、目視にてノイズが明瞭に認識できる程度となる。そのため、3800以下に抑えることが好ましい。なお、上記RMS値は、取得された画像のRGB16ビット値の単色抽出した2乗平均平方根と定義(QL最大値が65416時のRMS)して求めた数値である。
なお、第2の構成例で説明したレーザ光源に供給する駆動電流への高周波信号重畳や、第3の構成例で説明した光ファイバに振動を与える等のスペックルノイズ軽減処理を行った後に、スペックルノイズが残る場合には、このスペックルノイズ軽減処理に加えて、更に第1の構成例で説明したスペックルノイズ除去処理を行うようにしてもよい。
本発明は上記の実施形態に限定されるものではなく、明細書の記載、並びに周知の技術に基づいて、当業者が変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。
以上の通り、本明細書には次の事項が開示されている。
(1) 複数の基本色成分に対して感度を有する撮像素子により、レーザ光を含む照明光の照射下で被検体を撮像し、得られた撮像画像を画像処理して観察画像として出力する内視鏡システムであって、
前記撮像画像は、前記レーザ光のスペックルノイズが重畳した第1の基本色成分と、前記スペックルノイズを含まない第2の基本色成分とを含み、
前記第1の基本色成分と前記第2の基本色成分との差分情報から前記スペックルノイズ成分を抽出するスペックルノイズ抽出手段と、
前記抽出したスペックルノイズ成分の量に基づいて、前記第1の基本色成分から前記スペックルノイズ除去のための制御量を決定する制御手段と、
を備えた内視鏡システム。
この内視鏡システムによれば、第1の基本色成分と第2の基本色成分の差分情報からスペックル成分を抽出して、このスペックル成分を評価パラメータとしてスペックルノイズを除去する。これにより、定量的な評価が難しかったスペックルノイズに対して、上記評価パラメータを用いて制御することにより、スペックルノイズを除去する制御量を最適に設定できる。従って、スペックルノイズを除去する際に、無駄な制御や過剰な演算処理等を行うことがなくなり、高効率で適量なスペックルノイズの除去が可能となる。よって、常に安定してレーザ特有の揺らぎやムラのない良好な観察画像を得ることができる。
(2) (1)の内視鏡システムであって、
前記スペックルノイズ抽出手段が、前記撮像画像の画素毎に、前記第1の基本色成分を前記第2の基本色成分で除算することで前記画素毎に前記スペックルノイズ成分を抽出する内視鏡システム。
この内視鏡システムによれば、スペックノイズ成分を含む第1の基本色成分による画像を、スペックルノイズを含まない第2の基本色成分による画像で除算することにより、双方で異なる特徴量、即ち、スペックルノイズによる輝度変化を抽出でき、これにより、スペックルノイズ成分を求めることができる
(3) (1)又は(2)の内視鏡システムであって、
前記基本色は、原色系の赤(R),緑(G),青(B)の3つの色を含み、
前記スペックルノイズ抽出手段が、前記撮像画像における前記第1の基本色成分であるB色成分と、前記第2の基本色成分であるG色成分との差分情報から前記スペックルノイズ成分を抽出する内視鏡システム。
この内視鏡システムによれば、短波長のレーザ光にスペックルノイズが含まれるので、B色と、B色以外の色の差分情報を求めることで、スペックルノイズを抽出できる。また、3色のうち比較的輝度の高いG色成分を用いることで、B色成分との差分を求める際のスペックルノイズ以外のノイズが生じにくくなり、スペックルノイズを精度良く求めることができる。
(4) (1)又は(2)の内視鏡システムであって、
前記基本色は、補色系のシアン(C)、マゼンタ(M)、イエロ(Y)の3つの色を含み、
前記撮像画像におけるC色成分、M色成分、Y色成分から、前記第1の基本色成分であるB色成分と、前記第2の基本色成分であるG色成分とを演算により求める色変換手段と、
前記スペックルノイズ抽出手段が、前記演算により求めたB色成分と、前記演算により求めたG色成分との差分情報から前記スペックルノイズ成分を抽出する内視鏡システム。
この内視鏡システムによれば、補色系の色成分を検出した後に色変換手段によりB色成分、及びG色成分を求めることで、それらの差分情報からスペックルノイズを抽出できる。
(5) (1)又は(2)の内視鏡システムであって、
前記基本色は、補色系のシアン(C)、マゼンタ(M)、イエロ(Y)、グリーン(G)の4つの色を含み、
前記撮像画像におけるC色成分、M色成分、Y色成分から、前記第1の基本色成分であるB色成分を演算により求める色変換手段と、
前記スペックルノイズ抽出手段が、前記演算により求めたB色成分と、前記撮像画像におけるG色成分との差分情報から前記スペックルノイズ成分を生成する内視鏡システム。
この内視鏡システムによれば、補色系の色成分を検出した後に、色変換手段によりB色成分を求め、撮像画像のG色成分との差分情報からスペックルノイズ成分を抽出できる。
(6) (1)〜(5)のいずれか1つに記載の内視鏡システムであって、
前記制御手段が、前記撮像画像の画素毎に、前記第1の基本色成分から当該画素に対応する前記スペックルノイズ成分を減算することで前記観察画像を生成する内視鏡システム。
この内視鏡システムによれば、減算により第1の基本色成分に重畳されたスペックル成分が除去される。
(7) (1)〜(6)のいずれか1つに記載の内視鏡システムであって、
第1の波長帯域の光を出射するレーザ光源と、該第1の波長帯域の光により第2の波長帯域の光を励起発光する蛍光体と、前記第1の波長帯域の光を前記レーザ光源から前記蛍光体に導光して照射する光ファイバと、を有し、前記第1の波長帯域の光と前記第2の波長帯域の光を混合して前記照明光を生成する照明装置と、
前記レーザ光源に供給する駆動電流に高周波信号を重畳して前記レーザ光源を多モード発振させる高周波重畳手段と、
を備え、
前記制御手段が、前記スペックルノイズ成分の強度パラメータが最小となるように前記高周波信号をフィードバック制御する内視鏡システム。
この内視鏡システムによれば、レーザ光源に対し、高周波信号を重畳した駆動電流を印加することで、縦モードがマルチモード化され、また複数の横モードのそれぞれが波長の広がりを有するようになり、しかも時間軸に対して横モードが変化するため、スペックル干渉の生じにくい光を常に安定して出射させることができる。これにより、照明領域にスペックルノイズが生じることを防止できる。また、レーザ光源の駆動電流に重畳する高周波信号をフィードバック制御することにより、スペックルノイズ成分を最小にすることができる。
(8) (1)〜(6)のいずれか1つに記載の内視鏡システムであって、
第1の波長帯域の光を出射するレーザ光源と、該第1の波長帯域の光により第2の波長帯域の光を励起発光する蛍光体と、前記第1の波長帯域の光を前記レーザ光源から前記蛍光体に導光して照射する光ファイバと、を有し、前記第1の波長帯域の光と前記第2の波長帯域の光を混合して前記照明光を生成する照明装置と、
内視鏡挿入部内に配置されて前記光ファイバを軸線方向に沿った方向に振動させる加振手段と、
を備え、
前記制御手段が、前記スペックルノイズ成分の強度パラメータが最小となるように前記加振手段による加振強度をフィードバック制御する内視鏡システム。
この内視鏡システムによれば、加振手段により内視鏡挿入部内の光ファイバが振動されることにより、照明光の強度ムラやスペックルノイズの発生を防止して、患部観察を妨げない良好な観察画像を得ることができる。また、加振手段による加振強度をフィードバック制御することにより、スペックルノイズ成分を最小にすることができる。
45 撮像素子
51 撮像信号処理部(スペックルノイズ抽出手段,制御手段,色変換手段,)
53 光ファイバ
59 光源駆動回路
65 青色半導体レーザ(レーザ光源)
69 蛍光体
75 発信器(高周波重畳手段)
100 内視鏡システム
105,105A,105B 圧電体(加振手段)
Bs スペックルノイズ成分
B 第1の基本色成分
G 第2の基本色成分

Claims (8)

  1. 複数の基本色成分に対して感度を有する撮像素子により、レーザ光を含む照明光の照射下で被検体を撮像し、得られた撮像画像を画像処理して観察画像として出力する内視鏡システムであって、
    前記撮像画像は、前記レーザ光のスペックルノイズが重畳した第1の基本色成分と、前記スペックルノイズを含まない第2の基本色成分とを含み、
    前記第1の基本色成分と前記第2の基本色成分との差分情報から前記スペックルノイズ成分を抽出するスペックルノイズ抽出手段と、
    前記抽出したスペックルノイズ成分の量に基づいて、前記第1の基本色成分から前記スペックルノイズ除去のための制御量を決定する制御手段と、
    を備えた内視鏡システム。
  2. 請求項1記載の内視鏡システムであって、
    前記スペックルノイズ抽出手段が、前記撮像画像の画素毎に、前記第1の基本色成分を前記第2の基本色成分で除算することで前記画素毎に前記スペックルノイズ成分を抽出する内視鏡システム。
  3. 請求項1又は請求項2項記載の内視鏡システムであって、
    前記基本色は、原色系の赤(R),緑(G),青(B)の3つの色を含み、
    前記スペックルノイズ抽出手段が、前記撮像画像における前記第1の基本色成分であるB色成分と、前記第2の基本色成分であるG色成分との差分情報から前記スペックルノイズ成分を抽出する内視鏡システム。
  4. 請求項1又は請求項2記載の内視鏡システムであって、
    前記基本色は、補色系のシアン(C)、マゼンタ(M)、イエロ(Y)の3つの色を含み、
    前記撮像画像におけるC色成分、M色成分、Y色成分から、前記第1の基本色成分であるB色成分と、前記第2の基本色成分であるG色成分とを演算により求める色変換手段と、
    前記スペックルノイズ抽出手段が、前記演算により求めたB色成分と、前記演算により求めたG色成分との差分情報から前記スペックルノイズ成分を抽出する内視鏡システム。
  5. 請求項1又は請求項2記載の内視鏡システムであって、
    前記基本色は、補色系のシアン(C)、マゼンタ(M)、イエロ(Y)、グリーン(G)の4つの色を含み、
    前記撮像画像におけるC色成分、M色成分、Y色成分から、前記第1の基本色成分であるB色成分を演算により求める色変換手段と、
    前記スペックルノイズ抽出手段が、前記演算により求めたB色成分と、前記撮像画像におけるG色成分との差分情報から前記スペックルノイズ成分を生成する内視鏡システム。
  6. 請求項1〜請求項5のいずれか1項記載の内視鏡システムであって、
    前記制御手段が、前記撮像画像の画素毎に、前記第1の基本色成分から当該画素に対応する前記スペックルノイズ成分を減算することで前記観察画像を生成する内視鏡システム。
  7. 請求項1〜請求項6のいずれか1項記載の内視鏡システムであって、
    第1の波長帯域の光を出射するレーザ光源と、該第1の波長帯域の光により第2の波長帯域の光を励起発光する蛍光体と、前記第1の波長帯域の光を前記レーザ光源から前記蛍光体に導光して照射する光ファイバと、を有し、前記第1の波長帯域の光と前記第2の波長帯域の光を混合して前記照明光を生成する照明装置と、
    前記レーザ光源に供給する駆動電流に高周波信号を重畳して前記レーザ光源を多モード発振させる高周波重畳手段と、
    を備え、
    前記制御手段が、前記スペックルノイズ成分の強度パラメータが最小となるように前記高周波信号をフィードバック制御する内視鏡システム。
  8. 請求項1〜請求項6のいずれか1項記載の内視鏡システムであって、
    第1の波長帯域の光を出射するレーザ光源と、該第1の波長帯域の光により第2の波長帯域の光を励起発光する蛍光体と、前記第1の波長帯域の光を前記レーザ光源から前記蛍光体に導光して照射する光ファイバと、を有し、前記第1の波長帯域の光と前記第2の波長帯域の光を混合して前記照明光を生成する照明装置と、
    内視鏡挿入部内に配置されて前記光ファイバを軸線方向に沿った方向に振動させる加振手段と、
    を備え、
    前記制御手段が、前記スペックルノイズ成分の強度パラメータが最小となるように前記加振手段による加振強度をフィードバック制御する内視鏡システム。
JP2010146865A 2010-06-28 2010-06-28 内視鏡システム Expired - Fee Related JP5417268B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010146865A JP5417268B2 (ja) 2010-06-28 2010-06-28 内視鏡システム
US13/166,765 US8517929B2 (en) 2010-06-28 2011-06-22 Endoscope system
EP11171508A EP2399508A1 (en) 2010-06-28 2011-06-27 Endoscope system
CN201110175447.9A CN102293623B (zh) 2010-06-28 2011-06-27 内窥镜系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010146865A JP5417268B2 (ja) 2010-06-28 2010-06-28 内視鏡システム

Publications (2)

Publication Number Publication Date
JP2012005785A true JP2012005785A (ja) 2012-01-12
JP5417268B2 JP5417268B2 (ja) 2014-02-12

Family

ID=44838264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010146865A Expired - Fee Related JP5417268B2 (ja) 2010-06-28 2010-06-28 内視鏡システム

Country Status (4)

Country Link
US (1) US8517929B2 (ja)
EP (1) EP2399508A1 (ja)
JP (1) JP5417268B2 (ja)
CN (1) CN102293623B (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015182025A1 (en) 2014-05-30 2015-12-03 Sony Corporation Illumination apparatus, method and medical imaging system
JP2016514497A (ja) * 2013-03-15 2016-05-23 オリーブ・メディカル・コーポレイションOlive Medical Corporation スペックルを干渉性光源によって照らされたシーンから除去するためのシステム及び方法
WO2016103643A1 (en) 2014-12-25 2016-06-30 Sony Corporation Medical imaging system, illumination device, and method
JP2020078563A (ja) * 2013-06-19 2020-05-28 ザ ジェネラル ホスピタル コーポレイション カテーテルによって全方位表示を得るための装置、デバイスおよび方法
JP2020526790A (ja) * 2017-07-06 2020-08-31 マジック リープ, インコーポレイテッドMagic Leap,Inc. 仮想および拡張現実システムにおけるスペックル低減および方法
WO2022102454A1 (ja) * 2020-11-13 2022-05-19 三菱重工業株式会社 レーザー照射システム、画像生成装置、及び、記憶媒体
WO2023166661A1 (ja) * 2022-03-03 2023-09-07 オリンパス株式会社 照明方法、照明装置、内視鏡システムおよび内視鏡

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5385350B2 (ja) * 2011-08-16 2014-01-08 富士フイルム株式会社 画像表示方法および装置
CN105358040B (zh) * 2013-07-04 2018-01-02 奥林巴斯株式会社 内窥镜装置
CN105765298B (zh) * 2013-07-15 2019-07-16 L·E·S·S·有限责任公司 具有斑点噪声消减器的相干光波导照明系统
JP6238690B2 (ja) * 2013-11-13 2017-11-29 オリンパス株式会社 内視鏡システム
JP6077189B1 (ja) * 2014-09-09 2017-02-08 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. バイタルサイン監視システム
JP6476203B2 (ja) * 2014-11-26 2019-02-27 オリンパス株式会社 照明装置及び照明装置を備えた内視鏡
JPWO2016098139A1 (ja) * 2014-12-16 2017-11-02 オリンパス株式会社 レーザ走査型観察装置
US10222629B2 (en) * 2015-02-06 2019-03-05 Corning Incorporated Laser light illumination systems with speckle reduction and speckle reduction methods
CN105338234A (zh) * 2015-12-16 2016-02-17 北京博视中自科技有限公司 一种内窥式智能相机
CN105739177A (zh) * 2016-03-28 2016-07-06 许江珂 一种使用半导体激光器为光源的无散斑效应的液晶显示器
US10835102B2 (en) 2016-07-28 2020-11-17 Verily Life Sciences Llc Tunable color-temperature white light source
WO2018142267A1 (en) * 2017-02-02 2018-08-09 Novartis Ag Focusing optics for mixed mode surgical laser illumination
CN110381796B (zh) * 2017-03-08 2022-04-22 索尼奥林巴斯医疗解决方案公司 医疗设备与制造医疗设备的方法
US20200397267A1 (en) * 2019-06-20 2020-12-24 Ethicon Llc Speckle removal in a pulsed fluorescence imaging system
CN111092359A (zh) * 2019-12-27 2020-05-01 安图实验仪器(郑州)有限公司 用于基质辅助激光解析电离飞行时间质谱仪的激光系统
CN112022343B (zh) * 2020-09-01 2022-06-24 北京大学第三医院(北京大学第三临床医学院) 一种智能激光去斑系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010042153A (ja) * 2008-08-13 2010-02-25 Fujifilm Corp 照明装置およびこれを用いた内視鏡

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5434669A (en) * 1990-10-23 1995-07-18 Olympus Optical Co., Ltd. Measuring interferometric endoscope having a laser radiation source
US6993167B1 (en) * 1999-11-12 2006-01-31 Polartechnics Limited System and method for examining, recording and analyzing dermatological conditions
JP4241038B2 (ja) * 2000-10-30 2009-03-18 ザ ジェネラル ホスピタル コーポレーション 組織分析のための光学的な方法及びシステム
CA2413483A1 (en) 2001-12-26 2003-06-26 Kevin R. Forrester Motion measuring device
JP4546830B2 (ja) * 2002-09-30 2010-09-22 アプライド マテリアルズ イスラエル リミテッド 暗フィールド検査システム
JP5302491B2 (ja) 2003-12-22 2013-10-02 日亜化学工業株式会社 発光装置及び内視鏡装置
JP4732783B2 (ja) 2005-04-19 2011-07-27 富士フイルム株式会社 内視鏡用照明装置
US7589869B2 (en) 2006-04-28 2009-09-15 Electro Scientific Industries, Inc. Adjusting image quality using multi-wavelength light
CN201088575Y (zh) * 2007-04-13 2008-07-23 华中科技大学 一种基于光纤束的散斑类共聚焦系统
CN101375786B (zh) * 2007-09-12 2010-12-15 深圳大学 一种荧光内窥成像方法及装置
US8948846B2 (en) * 2007-09-19 2015-02-03 The Research Foundation Of State University Of New York Optical coherence tomography systems and methods
JP2009240560A (ja) * 2008-03-31 2009-10-22 Fujifilm Corp 内視鏡用光源装置
EP2130484B1 (en) * 2008-06-04 2011-04-20 FUJIFILM Corporation Illumination device for use in endoscope
JP2010172651A (ja) 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡および内視鏡システム
JP5198312B2 (ja) * 2009-02-13 2013-05-15 富士フイルム株式会社 ライトガイド、ライトガイドの製造方法、光源装置、及び内視鏡システム
JP2010218980A (ja) * 2009-03-18 2010-09-30 Sony Corp ファイバーランプ、バックライトおよび液晶表示装置
DE102009017940A1 (de) * 2009-04-17 2010-10-21 Storz Endoskop Produktions Gmbh Endoskopisches System
JP5380461B2 (ja) * 2009-08-03 2014-01-08 パナソニック株式会社 波長変換レーザ及び画像表示装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010042153A (ja) * 2008-08-13 2010-02-25 Fujifilm Corp 照明装置およびこれを用いた内視鏡

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016514497A (ja) * 2013-03-15 2016-05-23 オリーブ・メディカル・コーポレイションOlive Medical Corporation スペックルを干渉性光源によって照らされたシーンから除去するためのシステム及び方法
US11484270B2 (en) 2013-03-15 2022-11-01 DePuy Synthes Products, Inc. System and method for removing speckle from a scene lit by a coherent light source
US10695003B2 (en) 2013-03-15 2020-06-30 DePuy Synthes Products, Inc. System and method for removing speckle from a scene lit by a coherent light source
JP7153677B2 (ja) 2013-06-19 2022-10-14 ザ ジェネラル ホスピタル コーポレイション カテーテルによって全方位表示を得るための装置、デバイスおよび方法
JP2020078563A (ja) * 2013-06-19 2020-05-28 ザ ジェネラル ホスピタル コーポレイション カテーテルによって全方位表示を得るための装置、デバイスおよび方法
US10842367B2 (en) 2014-05-30 2020-11-24 Sony Corporation Illumination apparatus, method and medical imaging system
WO2015182025A1 (en) 2014-05-30 2015-12-03 Sony Corporation Illumination apparatus, method and medical imaging system
WO2016103643A1 (en) 2014-12-25 2016-06-30 Sony Corporation Medical imaging system, illumination device, and method
JP7009520B2 (ja) 2017-07-06 2022-01-25 マジック リープ, インコーポレイテッド 仮想および拡張現実システムにおけるスペックル低減および方法
JP2022040217A (ja) * 2017-07-06 2022-03-10 マジック リープ, インコーポレイテッド 仮想および拡張現実システムにおけるスペックル低減および方法
JP2020526790A (ja) * 2017-07-06 2020-08-31 マジック リープ, インコーポレイテッドMagic Leap,Inc. 仮想および拡張現実システムにおけるスペックル低減および方法
JP7231766B2 (ja) 2017-07-06 2023-03-01 マジック リープ, インコーポレイテッド 仮想および拡張現実システムにおけるスペックル低減および方法
WO2022102454A1 (ja) * 2020-11-13 2022-05-19 三菱重工業株式会社 レーザー照射システム、画像生成装置、及び、記憶媒体
JP7463254B2 (ja) 2020-11-13 2024-04-08 三菱重工業株式会社 レーザー照射システム、画像生成装置、及び、プログラム
WO2023166661A1 (ja) * 2022-03-03 2023-09-07 オリンパス株式会社 照明方法、照明装置、内視鏡システムおよび内視鏡

Also Published As

Publication number Publication date
US20110319712A1 (en) 2011-12-29
JP5417268B2 (ja) 2014-02-12
CN102293623A (zh) 2011-12-28
US8517929B2 (en) 2013-08-27
CN102293623B (zh) 2014-12-24
EP2399508A1 (en) 2011-12-28

Similar Documents

Publication Publication Date Title
JP5417268B2 (ja) 内視鏡システム
JP2010172651A (ja) 内視鏡および内視鏡システム
US8926500B2 (en) Light irradiating device, scanning endoscopic device, manufacturing method of light irradiating device, and manufacturing method of scanning endoscopic device
JP2011019706A (ja) 医療用観察システムおよびプロセッサ
JPWO2013111604A1 (ja) 光走査型観察装置
JP6270465B2 (ja) 光走査型観察装置
JP2011217836A (ja) 電子内視鏡装置
US20160143515A1 (en) Optical scanning device and light beam scanning method
JP2011045461A (ja) 光走査型内視鏡プロセッサ
JP5571272B2 (ja) 走査型内視鏡装置
JP5439032B2 (ja) 医療用観察システムおよびプロセッサ
CN106572787B (zh) 光扫描型观察装置
WO2016143160A1 (ja) 走査型内視鏡システム
JP5981071B1 (ja) 走査型内視鏡装置
JP5244623B2 (ja) 光走査型内視鏡プロセッサおよび光走査型内視鏡装置
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP2011101665A (ja) 電子内視鏡システム
JP6218596B2 (ja) 走査型観察装置
WO2017109815A1 (ja) 光走査型観察装置、及び、パルス状レーザ光の照射パラメータ調整方法
JP6067309B2 (ja) 内視鏡システムおよび内視鏡用プロセッサ
US11583165B2 (en) Medical signal processing device, cap member, and medical signal processing method
WO2016181452A1 (ja) 内視鏡装置
JPWO2016181454A1 (ja) 内視鏡装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111216

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20121005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131011

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131118

LAPS Cancellation because of no payment of annual fees