JP2008220672A - 内視鏡装置および内視鏡画像記録方法 - Google Patents

内視鏡装置および内視鏡画像記録方法 Download PDF

Info

Publication number
JP2008220672A
JP2008220672A JP2007063823A JP2007063823A JP2008220672A JP 2008220672 A JP2008220672 A JP 2008220672A JP 2007063823 A JP2007063823 A JP 2007063823A JP 2007063823 A JP2007063823 A JP 2007063823A JP 2008220672 A JP2008220672 A JP 2008220672A
Authority
JP
Japan
Prior art keywords
unit
end side
image
follow
body cavity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007063823A
Other languages
English (en)
Other versions
JP4979416B2 (ja
JP2008220672A5 (ja
Inventor
Yasunari Ishihara
康成 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2007063823A priority Critical patent/JP4979416B2/ja
Priority to PCT/JP2008/054630 priority patent/WO2008111646A1/ja
Priority to US12/530,904 priority patent/US8343037B2/en
Publication of JP2008220672A publication Critical patent/JP2008220672A/ja
Publication of JP2008220672A5 publication Critical patent/JP2008220672A5/ja
Application granted granted Critical
Publication of JP4979416B2 publication Critical patent/JP4979416B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/0016Holding or positioning arrangements using motor drive units

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】体腔外において検出される挿入長と挿入部の先端の体腔内壁に対する移動量とが対応していない場合においても、体腔内面の各位置を挿入長と正確に対応づけて記録する。
【解決手段】体腔X内に挿入される挿入部2と、その先端に配置され体腔X内の画像を取得する画像取得部3と、挿入部2の基端側に配置され、挿入部2の体腔X内への挿入長を測定する挿入長測定部4と、画像取得部3により取得された画像と挿入長測定部4により測定された挿入長とを対応づけて記憶する記憶部5と、挿入部2の基端側における挿入動作に、先端側における挿入動作が追従しているか否かを判定する追従判定部8と、その判定結果に基づいて、非追従期間において挿入長測定部4により測定された挿入長の変化をキャンセルするように、画像取得部3により取得される画像に対応づける挿入部2の挿入長を補正する補正部9とを備える内視鏡装置1を提供する。
【選択図】 図1

Description

本発明は、内視鏡装置および内視鏡画像記録方法に関するものである。
従来、内視鏡の挿入部の挿入深さを知るために、挿入部の先端からの距離を示すマークを挿入部の外面に設けるとともに、このマークを読み取る読取り装置を備えた内視鏡が知られている(例えば、特許文献1〜特許文献3参照。)。
特開昭55−116330号公報 特開平6−90899号公報 特開2004−105725号公報
これらの特許文献1〜3によれば、内視鏡の挿入部の体腔内における挿入長は、挿入部の基端側において、カメラあるいはモータの回転量等により検出している。この場合、挿入部の基端側は、体腔外に配置されている。
しかしながら、内視鏡の挿入部は体腔内壁に密着しながら移動する。この際、挿入部と体腔内壁面との間の摩擦力が変化したり、体腔内壁面が弾性を示したりする場合がある。このような要因により、体腔外において検出される挿入長が変化していても、挿入部が体腔内壁に対して相対的に移動していない状態が発生する。
このような場合に、各時点で取得された体腔内の画像をそのときに検出された挿入長と対応づけて記録しても、取得された画像に体腔内の位置が正確に対応せず、炎症や病変の位置を特定することが困難な場合がある。特に、挿入部を一方向に移動させた後に、その移動方向を反転させた場合には、体腔内壁が挿入部に密着したまま挿入部とともに変位する。この場合、体腔内壁の画像を挿入長に正確に対応づけることが困難な場合がある。
本発明は、上述した事情に鑑みてなされたものであって、挿入部と体腔内壁面との間の摩擦力の変化や、体腔内壁面の弾性等の要因により体腔外において検出される挿入長と挿入部の先端の体腔内壁に対する移動量とが対応していない場合においても、体腔内面の各位置を挿入長と正確に対応づけて記録することができる内視鏡装置および内視鏡画像記録方法を提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、体腔内に挿入される挿入部と、該挿入部の先端に配置され前記体腔内の画像を取得する画像取得部と、前記挿入部の基端側に配置され、前記挿入部の前記体腔内への挿入長を測定する挿入長測定部と、前記画像取得部により取得された画像と前記挿入長測定部により測定された挿入長とを対応づけて記憶する記憶部と、前記挿入部の基端側における挿入動作に、前記挿入部の先端側における挿入動作が追従しているか否かを判定する追従判定部と、該追従判定部による判定結果に基づいて、先端側における挿入動作が基端側における挿入動作に追従していない期間において、前記挿入長測定部により測定された挿入長の変化をキャンセルするように、前記画像取得部により取得される画像に対応づける前記挿入部の挿入長を補正する補正部とを備える内視鏡装置を提供する。
本発明によれば、体腔内に挿入部を挿入し、画像取得部を作動させることにより、挿入部の先端近傍に配置される体腔内の画像が取得される。一方、挿入部の基端側に配置された挿入長測定部の作動により、挿入部の挿入長が測定される。そして、取得された画像と、測定された挿入長とは対応づけて記憶部に記憶される。
この場合において、本発明によれば、追従判定部の作動により、挿入部の基端側における挿入動作と挿入部の先端側における挿入動作とが追従しているか否かが判定される。そして、追従していないと判定された期間においては、補正部の作動により、挿入長測定部により測定された挿入長の変化がキャンセルされるよう挿入長が補正される。
挿入部の基端側における挿入動作と挿入部の先端側における挿入動作とが追従していない場合としては、挿入部の先端にその周囲の体腔内壁が密着して、挿入部と体腔内壁とが一体的に移動する結果、両者間の相対移動が発生しない場合が挙げられる。この場合には、挿入長測定部により測定される基端側の挿入長が変化しても、挿入部の先端と体腔内壁とが相対移動しないので、画像取得部により取得される画像に変化がない。
そこで、このように挿入部の先端側における挿入動作が基端側における挿入動作に追従していない期間においては、補正部の作動により、基端側の挿入長が変化しても、これをキャンセルして、変化しなかったものと取り扱う。これにより、同一位置を撮影して得られた同一の画像に複数の挿入長を対応づける不都合の発生を防止することができる。
これにより、取得された画像と挿入部の挿入長とが精度よく対応づけられるので、後に記録内容を確認することにより、画像に含まれる炎症や腫瘍等の患部の位置を正確に特定することができる。
上記発明においては、前記追従判定部が、前記挿入部の長手方向に加わる負荷を検出する負荷検出部を備え、前記挿入部の長手方向への移動が停止された後に、前記移動の方向と同一方向あるいは逆方向に移動が再開され、前記負荷検出部により検出される負荷がピーク値をとる場合に、前記挿入部が移動再開されてから負荷がピーク値を越えるまでの期間を先端側における挿入動作が基端側における挿入動作に追従していない期間と判定することとしてもよい。
挿入部が体腔内において長手方向に移動させられた後に、停止させられると、挿入部の外面と体腔内壁との間の摩擦力は、一時的に、動摩擦力からゼロに変化する。さらに、挿入部が、移動再開させられ、負荷検出部により検出される負荷がピーク値を越えると、挿入部の外面と体腔内壁との間の摩擦力は、静止摩擦力から動摩擦力に変化する。最大静止摩擦力は動摩擦力より大きいので、挿入部の長手方向に加わる負荷もそれに応じて変化する。
したがって、負荷検出部の作動により挿入部の長手方向に加わる負荷を検出する。そして、移動再開後に検出される負荷がピーク値をとる場合には、負荷がピーク値を越えて低下した時点で、挿入部と体腔内面との間の摩擦が静止摩擦から動摩擦に変化したことが検出できる。その結果、移動再開後、負荷がピーク値を越えるまでの期間を先端側における挿入動作が追従していない期間と判定することにより、同一位置を撮影して得られた同一の画像に複数の挿入長が対応づけられる不都合の発生を防止することができる。
これにより、取得された画像と挿入部の挿入長とが精度よく対応づけられるので、後に記録内容を確認することにより、画像に含まれる炎症や腫瘍等の患部の位置を正確に特定することができる。
また、上記発明においては、前記追従判定部が、前記負荷検出部により検出された負荷の符号が変化したときに挿入部の移動の再開を検出することとしてもよい。
挿入部の基端側から先端までの間において体腔内壁との間において、挿入部が弛んでいる場合等には、挿入長測定部により測定される挿入長が減る方向に変化しても、挿入部の先端の移動が再開していない場合がある。したがって、負荷検出部により検出される負荷の符号が変化したときに挿入部の移動が再開、すなわち反転されたものとして検出することにより、より正確に挿入部の移動の再開を検出することができる。
また、上記発明においては、前記追従判定部が、前記画像取得部により逐次取得される画像を比較し、比較の結果、画像に変化がない場合であって、前記挿入長測定部により測定された挿入長が変化している場合に、前記挿入部の基端側における挿入動作に、前記挿入部の先端側における挿入動作が追従していないと判定することとしてもよい。
前記挿入部の基端側における挿入動作に、前記挿入部の先端側における挿入動作が追従していない期間においては、挿入部の先端が体腔内壁に密着して一体的に移動している。このため、画像取得部により逐次取得される画像に変化がない。このように構成することで、挿入動作が追従せず、挿入部の先端が体腔内壁に対して相対的に移動しない期間の挿入長の変化をより正確にキャンセルすることができる。
また、上記発明においては、前記画像取得部に、前記挿入部の半径方向外方からの光を集光する側視光学系が備えられていることとしてもよい。
側視光学系を介して集光される光を撮影することにより、体腔内壁に正対する画像を取得することができる。このようにして取得された画像と挿入長とを対応づけて記録することにより、より正確に患部の位置を特定することが可能となる。
また、本発明は、体腔内に挿入される挿入部の先端に配置された画像取得部により取得された前記体腔内の画像と、前記挿入部の基端側において測定された該挿入部の前記体腔内への挿入長とを対応づけて記録する内視鏡画像記録方法であって、前記挿入部の基端側における挿入動作に、前記挿入部の先端側における挿入動作が追従しているか否かを判定し、該追従判定部による判定結果に基づいて、先端側における挿入動作が基端側における挿入動作に追従していない期間に測定された挿入長の変化をキャンセルするように、取得された画像に対応づける挿入長を補正する内視鏡画像記録方法を提供する。
上記発明においては、前記挿入部の長手方向に加わる負荷を検出し、前記挿入部の長手方向への移動が停止された後に、前記移動の方向と同一方向あるいは逆方向に移動が再開され、検出される負荷がピーク値をとる場合に、前記挿入部が移動再開されてから負荷がピーク値を越えるまでの期間を先端側における挿入動作が基端側における挿入動作に追従していない期間と判定することとしてもよい。
また、上記発明においては、検出された負荷の符号が変化したときに挿入部の移動再開を検出することとしてもよい。
さらに、上記発明においては、逐次取得される画像を比較し、比較の結果、画像に変化がない場合であって、測定された挿入長が変化している場合に、前記挿入部の基端側における挿入動作に、前記挿入部の先端側における挿入動作が追従していないと判定することとしてもよい。
本発明によれば、体腔外において検出される挿入長と挿入部の先端の体腔内壁に対する移動量とが対応していない場合においても、体腔内面の各位置を挿入長と正確に対応づけて記録することができるという効果を奏する。
以下、本発明の一実施形態に係る内視鏡装置1について、図1〜図4を参照して説明する。
本実施形態に係る内視鏡装置1は、図1に示されるように、挿入部2と、画像取得部3と、挿入長測定部4と、記憶部5と、表示部6とを備えている。挿入部2は、体腔X内に挿入される。画像取得部3は、挿入部2の先端における体腔X内の画像を取得する。挿入長測定部4は、挿入部2の基端側における体腔X内への挿入長を測定する。記憶部5は、画像取得部3によって取得された画像と、挿入長測定部4によって測定された挿入長とを対応づけて記憶する。表示部6は、画像取得部3によって取得された画像と、挿入長測定部4によって測定された挿入長とを対応づけて表示する。
また、本実施形態に係る内視鏡装置1には、記憶部5に記憶される画像と挿入長との対応づけを調節する補正処理部7が設けられている。補正処理部7は、追従判定部8と、補正部9とを備えている。追従判定部8は、挿入部2の基端側における挿入動作に、先端側における挿入動作が追従しているか否かを判定する。補正部9は、判定結果に基づいて、先端側における挿入動作が追従していない期間(以下、非追従期間という。)における挿入長の変化をキャンセルする。すなわち、挿入部2の挿入長が変化していないように補正する。
挿入部2には、励起光光源10が接続されるとともに、挿入部2の長手方向に沿って励起光光源10からの励起光を先端まで伝播するライトガイド11が備えられている。また、挿入部2の先端には、円錐状のコーンミラー(側視光学系)12が備えられている。コーンミラー12は、ライトガイド11によって伝播されてきた励起光を反射して、半径方向外方に照射させる一方、体腔X内壁から発せられる蛍光を反射して後述するイメージガイド13に入射させる。コーンミラー12は、ライトガイド11により伝播されてきた励起光を周方向の全周にわたって照射する。そして、コーンミラー12は、体腔X内壁の全周にわたる蛍光像をイメージガイド13に取り込むことができる。
画像取得部3は、挿入部2の長手方向に沿って配置されたイメージガイド13と、イメージガイド13の基端側に接続されたCCDカメラ14とを備えている。イメージガイド13を介して伝播されてきた蛍光は、CCDカメラ14によって撮影される。これにより、体腔X内壁の全周にわたる蛍光画像を取得することができる。
挿入長測定部4は、エンコーダ16と、挿入長演算部17とを備えている。エンコーダ16は、挿入部2を駆動するモータ15に備えられる。挿入長演算部17は、該エンコーダ16により検出されたモータ15の回転角度に基づいて挿入部2の挿入長を演算する。すなわち、挿入長演算部17は、エンコーダ16から出力されたモータ15の回転角度の増分に対応する挿入長増分を算出し、これを順次加算することにより挿入長を演算する。なお、挿入部2を体腔X内から引き抜く場合は、回転角度の増分および挿入長増分は負の値をとる。
前記追従判定部8は、負荷センサ(負荷検出部)18と、判定部19とを備えている。負荷センサ18は、モータ15に内蔵される。判定部19は、該負荷センサ18により検出される挿入部2の長手方向に沿う負荷の変化に基づいて、挿入部2の基端側における挿入動作に先端側における挿入動作が追従しているか否かを判定する。
具体的には、基端側における挿入動作に対する先端側における挿入動作の非追従は、挿入部2の挿入動作が反転されたときに顕著に発生する。
すなわち、図2(a)に示されるように、挿入部2の挿入動作中は、挿入部2の外面と体腔X内面とは動摩擦を発生させながら相対的に変位させられる。このとき、負荷センサ18により検出される負荷は、図3に符号Aで示されるように、ほぼ一定値である。図2において右側に示されているのは、挿入部2の基端側における現実の挿入長である。
しかし、挿入部2の挿入動作が一時停止された後は、次に挿入部2の挿入動作を再開させても、挿入部2の先端の体腔X内面に対する相対的な移動が再開しない場合がある。このため、医師は、挿入部2の外面と体腔X内面との間に発生している最大静止摩擦力を越える力を加えなければならない。例えば、挿入部2の挿入動作を反転させる場合には、挿入部2の外面と体腔X内面とが一時的に相対的に停止されるので、静止摩擦により一体化される。その後に反転動作させると、図2(b)に示されるように、挿入部2は、挿入部2の外面と体腔X内面とが一体化されたまま、挿入部2と体腔X内面との間に相対移動を生じさせずに体腔Xを変形させて移動する。挿入長測定部4により測定された挿入長は、図2(a)の状態から2目盛戻る方向に変化する。
このとき、負荷センサ18により検出される負荷の符号は、図3に示されるように、符号Aから符号Bに変化する。このように、負荷センサ18により検出される負荷の符号は反転し、その絶対値は、符号Aの領域における挿入動作中の負荷の絶対値を越えてピークPを有するようになる。
そして、挿入部2をさらに動作させ続けると、図2(c)に示されるように、挿入部2と体腔X内面との一体化が解除され、挿入部2の先端の体腔X内面に対する相対的な移動が再開される。このとき、負荷センサ18により検出される負荷は、図3に符号Cで示されるように、ピークPを越えて、一気に低下し、前記挿入動作中の負荷と略同等の絶対値を有する一定値となる。
すなわち、本実施形態においては、追従判定部8は、負荷センサ18の出力を監視して、出力の符号が反転した時点で挿入部2の移動の再開を検出する。その後、追従判定部8は、負荷センサ18の出力がピークPを越えた時点で挿入部2の先端の体腔X内面に対する相対的な移動の再開を検出する。そして、追従判定部8は、挿入部2の移動の再開から、負荷センサ18の出力がピークPを越えるまでの期間を非追従期間であると判定する。
そして、補正部9は、上記非追従期間において、挿入長測定部4により測定される挿入長が変化しても、該非追従期間においては挿入長の変化をキャンセルし、挿入長が変化していないように補正する。具体的には、補正部9は、非追従期間においては、挿入長測定部4がエンコーダ16により検出されたモータ15の回転角度の変化をゼロに設定する。そして、補正部9は、モータ15の回転角度がゼロであると挿入長演算部17に入力し、挿入長測定部4により測定される挿入長の測定値自体が変化しないように補正する。非追従期間以外の期間では、補正部9は、エンコーダ16により検出されたモータ15の回転角度の変化分をそのまま挿入長演算部17に入力する。この場合、挿入長測定部4により測定される挿入長の測定値は、モータ15の回転角度に比例して変化する。
また、追従判定部8により非追従期間であると判定された場合には、画像取得部3により取得される画像は実質的に同一となるので、画像取得部3は判定部19からの信号を受けて画像の取得を停止する。
このように構成された本実施形態に係る内視鏡装置1の作用について、以下に説明する。
本実施形態に係る内視鏡装置1を用いて、体腔X内の画像を取得するには、モータ15の作動により挿入部2を駆動して体腔X内に挿入し、挿入長測定部4により所定の挿入長が測定されるまで挿入部2を挿入し続ける。そして、患部近傍の挿入長まで挿入部2が体腔X内に挿入されたときに、励起光光源10を作動させ、ライトガイド11およびコーンミラー12を介して、体腔X内壁に励起光を照射する。
このとき、画像取得部3が、例えば、一定時間間隔で作動させられ、励起光が照射されることにより体腔X内壁において発生した蛍光が、コーンミラー12およびイメージガイド13を介してCCDカメラ14により撮影される。この結果、体腔X内壁の蛍光画像が逐次取得される。そして、逐次取得された画像と、各画像が取得された瞬間の挿入長とが対応づけられて記憶部5に記憶される。これにより、患部近傍の体腔X内壁の画像を体腔Xの長手方向に沿って、その位置と対応づけつつ順次取得していくことができる。
この場合において、体腔X内で挿入部2が一時停止されると、体腔X内壁と挿入部2とが静止摩擦により一体化されるので、その後、挿入動作が再開されても、しばらくの間、挿入部2先端が体腔X内壁に対して相対的に移動しない状態となる。
本実施形態に係る内視鏡装置1によれば、図4に示されるように、追従判定部8が、負荷センサ18の出力を監視して(ステップS1)、出力の符号が反転した時点で挿入部2の先端の反転開始を検出し(ステップS2)、非追従期間が開始されたものと判定する。
追従判定部8により非追従期間であると判定された場合には、画像取得部3による画像の取得が停止される(ステップS3)。また、補正処理部7が作動させられて、挿入長測定部4により測定された挿入長の変化がキャンセルされる(ステップS4)。すなわち、追従判定部8により非追従期間であると判定されている間は、挿入長が更新されない。
そして、追従判定部8が、負荷センサ18の出力を監視して、出力がピークPを越えた時点で挿入部2の先端の体腔X内面に対する相対的な移動の再開を検出し、非追従期間が終了したものと判定する。具体的には、負荷センサ18の出力を検出し(ステップS5)、負荷センサ18の出力が所定のしきい値を越えたか否かを判定する(ステップS6)。その後、再度、負荷センサ18の出力を検出し(ステップS7)、所定のしきい値を越えた後に再度しきい値を下回ったか否かを判定する(ステップS8)。これにより、負荷センサ18の出力が再度しきい値を下回った時点を、負荷センサ18がピークPを越えた時点として検出する。
ここで、しきい値としては、動摩擦力の絶対値より大きく、最大静止摩擦力の絶対値よりも小さい値を選ぶことができる。なお、しきい値は、動摩擦力の絶対値と最大静止摩擦力の絶対値を加算し、加算した値を2で除算して得られる値に設定することが好ましい。しきい値が大きすぎると、ノイズにより負荷が単発的に変化する場合に、再度しきい値を下回った時点を正確に判定することが困難な場合がある。すなわち、しきい値を上回った後、ノイズの影響で例えば一度だけしきい値を下回る場合がある。この場合、最大静止摩擦力を越える力を加えていないため、追従期間であるにも拘わらず、再度しきい値を下回ったことにより、追従期間が終了したと認識してしまう。
逆に、しきい値が小さすぎると、負荷がしきい値を超えたが、最大静止摩擦力を越えていない時点において、非追従期間が終了した時点を正確に判定することが困難な場合がある。すなわち、しきい値を越えた後、最大静止摩擦力を越えるまでの間に、挿入動作と逆の方向に動かす場合ある。この時、最大静止摩擦力を越える力を加えていないため、追従期間であるにも拘わらず、再度しきい値を下回ったことにより、追従期間が終了したと認識してしまう。
なお、動摩擦力と最大静止摩擦力の値については、予め計測しておくことができる。また、最初の挿入動作における計測値を用いることもできる。
また、非追従期間は、負荷センサ18の出力の符号が反転した時点から所定のしきい値を越えた後に再度しきい値を下回った時点までとした。これは、挿入部2の外面と体腔X内面との摩擦が、動摩擦からゼロに変化する間は、挿入部2の体腔X外において検出される挿入長と、挿入部2の先端の体腔X内壁に対する移動量との変化が少ない。このため、負荷センサ18が検出する出力の符号が反転した時点を非追従期間が開始したものとみなすことができる。同様に、挿入部2の外面と体腔X内面との摩擦が、最大静止摩擦から動摩擦に変化する間は、挿入部2の体腔X外において検出される挿入長と、挿入部2の先端の体腔X内壁に対する移動量との変化が少ない。このため、負荷センサ18が検出する負荷が、再度しきい値を下回った時点を、非追従期間の終了、すなわち負荷がピーク値を越えた時点とみなすことができる。
このようにして、追従判定部8により非追従期間が終了したと判定された後は、画像取得部3による画像の取得が再開され(ステップS9)、挿入長測定部4が、エンコーダ16により検出された回転角度の増分に対応する挿入長増分の加算を再開する(ステップS10)。
このように、本実施形態に係る内視鏡装置1によれば、追従判定部8の作動により、挿入部2の基端部における挿入動作に対して挿入部2の先端の挿入動作が追従しているか否かが判定され、非追従期間であると判定された場合には、挿入長の更新が停止される。したがって、挿入部2と体腔X内壁とが一体化したまま挿入長が変化しても、同一の画像に複数の異なる挿入長が対応づけられて記憶あるいは表示されることを確実に防止することができる。
その結果、医師が表示部6により表示される画像を見ながら、挿入部2を挿入させつつ体腔X内部の観察を行う場合に、表示される画像と、挿入長を正確に対応させることができる。また、記憶部5に対応づけて記憶された画像と挿入長とを、事後的に表示する場合においても、患部等の位置を精度よく特定することができるという利点がある。
なお、本実施形態においては、追従判定部8により、非追従期間であることが判定された場合に、挿入長測定部4による挿入長の加算を停止することとした。これに代えて、非追従期間が開始されたときの挿入長を記憶し、非追従期間が終了した後は、測定された挿入長から、非追従期間中の挿入距離を減算した新たな挿入長を画像と対応づけて記憶あるいは表示することとしてもよい。
また、本実施形態においては、挿入部2を駆動するモータ15のエンコーダ16により検出した回転角度から挿入長を測定することとした。これに代えて、挿入部2の外面にマーク(図示略)を設け、挿入部2の基端側においてカメラ(図示略)等によりマークを検出して挿入長を測定することにしてもよい。
また、本実施形態においては、追従判定部8により、負荷センサ18の出力をしきい値と比較して、非追従期間の終了を判定したが、これに代えて、反転後の負荷センサ18の出力の変化の符号が反転したことを検出して非追従期間の終了を判定してもよい。この場合には、図5に示されるように、i番目の負荷Fiを検出する(ステップS11)。次に、Fiが正か負かを判定する(ステップS14)。Fiが正の場合は、時間間隔をあけたi+1番目の負荷Fi+1を検出する(ステップS12)。そして、i番目の負荷Fiとi+1番目の負荷Fi+1との差である、Fi+1―Fiが正から負に転じたか否かを判定する(ステップS13)。負に転じていない場合は、aにゼロを代入し、かつ、iをインクリメントする(ステップS15)。そして、改めて更新されたi+1番目の負荷Fi+1を検出する(ステップS12)。
Fi+1―Fiが正から負に転じた場合は、aおよびiをインクリメントした後(ステップS16)、予め定めたa0の値よりも大きいか否かを判定する(ステップS17)。ここで、aは、ノイズの影響で単発的に、Fi+1―Fiが正から負に転じた場合を検出するためのパラメータである。a0としては、例えばa0=3と、予め設定することができるが、この値に限定されない。これにより、例えば、ノイズの影響で、一度だけFi+1―Fiが負に転じた場合、a≧a0を満たさないため、改めて負荷Fi+1を検出する(ステップS12)。
ここで、一度だけFi+1―Fiが負に転じただけで、改めて算出されたFi+1―Fiが正の場合、ステップS13においては、NOと判定される。このため、改めてaにゼロを代入し、かつ、iをインクリメントする(ステップS15)。一方、3回連続でFi+1―Fiが負に転じた場合は、ステップ17においてYESと判定される。このように負荷の変化の符号の反転が複数回行われたか否かを判定することで、ノイズにより単発的に符号が変化する場合を判定の対象から除くこととしている。
ステップS14において、負荷の符号を判定しているのは、挿入部2が挿入動作か引き抜き動作により、その符号が反転するので、両方の場合に対応するためである。すなわち、Fiが負と判定された場合も上記と同様に、負荷Fi+1を検出する(ステップS12´)。Fi+1―Fiが負の場合、a=0が代入され、かつ、iがインクリメントされる(ステップS15´)。その後、改めて、Fi+1を検出する(ステップS12´)。一方、Fi+1―Fiが正の場合、aおよびiがインクリメントされた後(ステップS16´)、a≧a0か否かが判定される(ステップS17´)。aがa0よりも小さければ、改めて、Fi+1を検出し(ステップS12´)、aがa0以上であれば、画像取得が再開される(ステップS9)。
これにより、挿入部2の挿入動作または引き抜き動作が一方向である場合、挿入部2と体腔X内面との間に発生している摩擦が、静止摩擦から動摩擦に変化したことを検出でき、非追従期間の終了を判定することができる。その結果、体腔内面の各位置を挿入長と正確に対応づけて記録することができる。
また、上記ステップS15,S15′,S16,S16′,S17,S17′に代えて、図6に示されるように、負荷の絶対値により非追従期間の終了を判定するステップS18,S18′を採用してもよい。すわなち、i番目の負荷Fiとi+1番目の負荷Fi+1との差である、Fi+1―Fiが正から負に転じたか否かを判定した後(ステップS13,S13′)、絶対値|Fi+1|がしきい値未満か否かを判定する(ステップS18,S18′)。
これにより、挿入部2の挿入動作または引き抜き動作が一方向の場合において、挿入部2と体腔X内面との間に発生している摩擦が、静止摩擦から動摩擦に変化したことを検出でき、非追従期間の終了を判定することができる。その結果、体腔内面の各位置を挿入長と正確に対応づけて記録することができる。
また、図7および図8に示されるように、負荷の絶対値を所定のしきい値|F0|(F0の絶対値)と比較することにより非追従期間の終了を判定してもよい(ステップS6′,S8′)。また、この場合には、図8に示されるように、負荷の絶対値が所定のしきい値|F1|を下回った場合に、非追従期間の開始を判定することにすればよい(ステップS2′)。これにより、挿入部2と体腔X内面との間に発生している摩擦が、静止摩擦から動摩擦に変化したことを検出でき、非追従期間の終了を判定することができる。その結果、体腔内面の各位置を挿入長と正確に対応づけて記録することができる。
なお、しきい値F0については、上述のしきい値と同様に選択することができる。一方、しきい値F1については、動摩擦力の絶対値よりも小さく、ゼロよりも大きい値を選ぶことができる。例えば、動摩擦力の絶対値を2で除算して得られる値をしきい値F1として設定してもよい。しきい値が大きすぎると、ノイズにより負荷が単発的に変化する場合に、摩擦が動摩擦から静止摩擦に移行したことを正確に判定することが困難な場合がある。逆に、しきい値が小さすぎると非追従期間の開始を正確に判定することが困難な場合がある。
また、本実施形態においては、画像取得部3が、一定時間間隔で作動させられ、励起光が照射されるとしたが、これに代えて、画像取得部3が連続的に作動して蛍光画像を取得してもよい。
また、本実施形態においては、追従判定部8が、負荷センサ18の出力に基づいて非追従期間を判定することとした。これに代えて、画像取得部3により連続して取得された画像を逐次比較して、画像に変化がない場合に非追従期間であると判定することにしてもよい。
この際、上記の実施形態と組み合わせることで、より正確に非追従期間の開始と終了を判定することができる。具体的には、負荷センサ18が、負荷の符号の変化を検出することによって、追従判定部8は非追従期間の開始を判定する。そして、画像取得部3が取得する画像に変化がない場合に、追従判定部8は非追従期間であると判定する。そして、画像取得部3が変化することによって、あるいは、負荷センサ18の出力が所定のしきい値を越えた後に再度しきい値を下回ったことによって、又はその両方によって、追従判定部8は、非追従期間の終了を判定することができる。
また、本実施形態においては、追従判定部8により非追従期間であると判定された場合には、画像取得部3は画像の取得を停止することとした。これに代えて、画像取得部3は、非追従期間においても画像を取得し、非追従期間の開始時または終了時等に取得された一画像と、挿入長測定部4により測定される挿入長と、を対応させてもよい。あるいは、非追従期間においては、補正処理部7により変化がキャンセルされた挿入長に、画像取得部3が逐次取得する画像を更新しながら対応させてもよい。これにより、画像取得部3は、非追従期間においても、体腔X内の画像を取得することができる。
また、本実施形態においては、挿入部2の挿入動作が反転した場合を例示して説明した。これに代えて、挿入動作が一時停止され、その後同一方向に挿入再開された場合にも挿入部2と体腔X内壁との間の摩擦が静止摩擦から動摩擦に変化するので、本実施形態と同様にして処理することができる。具体的には、図4から図6のステップ2において、追従判定部8は、負荷センサ18の出力を監視して、出力がゼロであるか否かを検出する。そして、出力がゼロの時点で、追従判定部8は、挿入部2が停止したことを検出し、非追従期間が開始されたものと判定することができる。
追従判定部8が、負荷センサ18の出力を監視して、非追従期間であると判定した場合には、画像取得部3による画像の取得が停止される(ステップ3)。これ以後のステップについては、上述した実施形態と同様であり、追従判定部8は、出力がピークPを越えた時点で挿入部2の先端の体腔X内面に対する相対的な移動の再開を検出する。そして、追従判定部8は、挿入部2の停止から、負荷センサ18の出力がピークPを越えるまでの期間を非追従期間であると判定することができる。なお、負荷センサ18の出力がゼロであるか否かの判定が困難な場合は、負荷が所定値以下である場合に、負荷センサ18の出力をゼロとみなしてもよい。
また、本実施形態においては、挿入部2の先端にコーンミラー12のような側視光学系を有する場合を例示して説明したが、これに代えて、挿入部2の先端の正面方向を観察する通常の光学系を有する内視鏡装置に適用することにしてもよい。
また、本実施形態においては、負荷センサ18として、モータ15に内蔵されているものを採用したが、これに代えて、挿入部の基端側に直接、あるいは弾性体を介して接続された負荷センサを採用してもよい。
本発明の一実施形態に係る内視鏡装置を示す全体構成図である。 図1の内視鏡装置の挿入部先端の反転動作を説明する図である。 図2の反転動作時に挿入部の長手方向に加わる負荷の一例を示すグラフである。 図1の内視鏡装置を用いた内視鏡画像記録方法における追従判定を説明するフローチャートである。 図4の追従判定の第1の変形例を示すフローチャートである。 図4の追従判定の第2の変形例を示すフローチャートである。 図4の追従判定の第3の変形例であって、図2の反転動作時に挿入部の長手方向に加わる負荷の絶対値の一例を示すグラフである。 図7の負荷の絶対値を用いた追従判定を説明するフローチャートである。
符号の説明
X 体腔
1 内視鏡装置
2 挿入部
3 画像取得部
4 挿入長測定部
5 記憶部
8 追従判定部
9 補正部
12 コーンミラー(側視光学系)
18 負荷センサ(負荷検出部)

Claims (9)

  1. 体腔内に挿入される挿入部と、
    該挿入部の先端に配置され前記体腔内の画像を取得する画像取得部と、
    前記挿入部の基端側に配置され、前記挿入部の前記体腔内への挿入長を測定する挿入長測定部と、
    前記画像取得部により取得された画像と前記挿入長測定部により測定された挿入長とを対応づけて記憶する記憶部と、
    前記挿入部の基端側における挿入動作に、前記挿入部の先端側における挿入動作が追従しているか否かを判定する追従判定部と、
    該追従判定部による判定結果に基づいて、先端側における挿入動作が基端側における挿入動作に追従していない期間において、前記挿入長測定部により測定された挿入長の変化をキャンセルするように、前記画像取得部により取得される画像に対応づける前記挿入部の挿入長を補正する補正部とを備える内視鏡装置。
  2. 前記追従判定部が、前記挿入部の長手方向に加わる負荷を検出する負荷検出部を備え、
    前記挿入部の長手方向への移動が停止された後に、前記移動の方向と同一方向あるいは逆方向に移動が再開され、前記負荷検出部により検出される負荷がピーク値をとる場合に、前記挿入部が移動再開されてから負荷がピーク値を越えるまでの期間を先端側における挿入動作が基端側における挿入動作に追従していない期間と判定する請求項1に記載の内視鏡装置。
  3. 前記追従判定部が、前記負荷検出部により検出された負荷の符号が変化したときに挿入部の移動再開を検出する請求項2に記載の内視鏡装置。
  4. 前記追従判定部が、前記画像取得部により逐次取得される画像を比較し、比較の結果、画像に変化がない場合であって、前記挿入長測定部により測定された挿入長が変化している場合に、前記挿入部の基端側における挿入動作に、前記挿入部の先端側における挿入動作が追従していないと判定する請求項1に記載の内視鏡装置。
  5. 前記画像取得部に、前記挿入部の半径方向外方からの光を集光する側視光学系が備えられている請求項1に記載の内視鏡装置。
  6. 体腔内に挿入される挿入部の先端に配置された画像取得部により取得された前記体腔内の画像と、前記挿入部の基端側において測定された該挿入部の前記体腔内への挿入長とを対応づけて記録する内視鏡画像記録方法であって、
    前記挿入部の基端側における挿入動作に、前記挿入部の先端側における挿入動作が追従しているか否かを判定し、
    該追従判定部による判定結果に基づいて、先端側における挿入動作が基端側における挿入動作に追従していない期間に測定された挿入長の変化をキャンセルするように、取得された画像に対応づける挿入長を補正する内視鏡画像記録方法。
  7. 前記挿入部の長手方向に加わる負荷を検出し、
    前記挿入部の長手方向への移動が停止された後に、前記移動の方向と同一方向あるいは逆方向に移動が再開され、検出される負荷がピーク値をとる場合に、前記挿入部が移動再開されてから負荷がピーク値を越えるまでの期間を先端側における挿入動作が基端側における挿入動作に追従していない期間と判定する請求項6に記載の内視鏡画像記録方法。
  8. 検出された負荷の符号が変化したときに挿入部の移動再開を検出する請求項7に記載の内視鏡画像記録方法。
  9. 逐次取得される画像を比較し、比較の結果、画像に変化がない場合であって、測定された挿入長が変化している場合に、前記挿入部の基端側における挿入動作に、前記挿入部の先端側における挿入動作が追従していないと判定する請求項7に記載の内視鏡画像記録方法。
JP2007063823A 2007-03-13 2007-03-13 内視鏡装置 Expired - Fee Related JP4979416B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007063823A JP4979416B2 (ja) 2007-03-13 2007-03-13 内視鏡装置
PCT/JP2008/054630 WO2008111646A1 (ja) 2007-03-13 2008-03-13 内視鏡装置および内視鏡画像記録方法
US12/530,904 US8343037B2 (en) 2007-03-13 2008-03-13 Endoscope apparatus and endoscope-image recording method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007063823A JP4979416B2 (ja) 2007-03-13 2007-03-13 内視鏡装置

Publications (3)

Publication Number Publication Date
JP2008220672A true JP2008220672A (ja) 2008-09-25
JP2008220672A5 JP2008220672A5 (ja) 2010-04-30
JP4979416B2 JP4979416B2 (ja) 2012-07-18

Family

ID=39759577

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007063823A Expired - Fee Related JP4979416B2 (ja) 2007-03-13 2007-03-13 内視鏡装置

Country Status (3)

Country Link
US (1) US8343037B2 (ja)
JP (1) JP4979416B2 (ja)
WO (1) WO2008111646A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014148184A1 (ja) 2013-03-19 2014-09-25 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法
JP2015027360A (ja) * 2013-07-30 2015-02-12 オリンパス株式会社 ブレード検査装置及びブレード検査方法
US9603507B2 (en) 2012-06-27 2017-03-28 Olympus Corporation Insertion device
WO2019198322A1 (ja) * 2018-04-10 2019-10-17 オリンパス株式会社 医療システム
JP2020505211A (ja) * 2017-02-01 2020-02-20 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 画像誘導処置のためのレジストレーションシステム及び方法
WO2023021538A1 (ja) * 2021-08-16 2023-02-23 オリンパスメディカルシステムズ株式会社 マニピュレータシステム、制御装置及び形状推定方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2493770A (en) * 2011-08-19 2013-02-20 Rolls Royce Plc Determining the position and orientation of a remote end of a boroscope
US9681107B2 (en) * 2014-05-22 2017-06-13 Siemens Energy, Inc. Flexible tether position tracking camera inspection system for visual inspection of off line industrial gas turbines and other power generation machinery
JP5855806B1 (ja) * 2014-06-10 2016-02-09 オリンパス株式会社 内視鏡システム、内視鏡装置及びプロセッサ

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07171088A (ja) * 1993-12-20 1995-07-11 Olympus Optical Co Ltd 内視鏡画像記録再生システム
JPH08280604A (ja) * 1994-08-30 1996-10-29 Vingmed Sound As 内視鏡検査または胃鏡検査用装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55116330A (en) 1979-03-02 1980-09-06 Olympus Optical Co Endoscope
JPH0690899A (ja) 1992-09-14 1994-04-05 Olympus Optical Co Ltd 内視鏡装置
JP4436638B2 (ja) 2002-08-30 2010-03-24 オリンパス株式会社 内視鏡装置及び内視鏡挿入動作プログラム
US8882657B2 (en) * 2003-03-07 2014-11-11 Intuitive Surgical Operations, Inc. Instrument having radio frequency identification systems and methods for use
US20060009679A1 (en) * 2004-07-08 2006-01-12 Pentax Corporation Electronic endoscope system capable of detecting inserted length
JP4891006B2 (ja) * 2006-09-06 2012-03-07 オリンパス株式会社 内視鏡装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07171088A (ja) * 1993-12-20 1995-07-11 Olympus Optical Co Ltd 内視鏡画像記録再生システム
JPH08280604A (ja) * 1994-08-30 1996-10-29 Vingmed Sound As 内視鏡検査または胃鏡検査用装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9603507B2 (en) 2012-06-27 2017-03-28 Olympus Corporation Insertion device
WO2014148184A1 (ja) 2013-03-19 2014-09-25 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法
US9521944B2 (en) 2013-03-19 2016-12-20 Olympus Corporation Endoscope system for displaying an organ model image to which an endoscope image is pasted
JP2015027360A (ja) * 2013-07-30 2015-02-12 オリンパス株式会社 ブレード検査装置及びブレード検査方法
US9823460B2 (en) 2013-07-30 2017-11-21 Olympus Corporation Blade inspection apparatus and blade inspection method
JP2020505211A (ja) * 2017-02-01 2020-02-20 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 画像誘導処置のためのレジストレーションシステム及び方法
US11517184B2 (en) 2017-02-01 2022-12-06 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided procedures
JP7213830B2 (ja) 2017-02-01 2023-01-27 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 画像誘導処置のためのレジストレーションシステム及び方法
WO2019198322A1 (ja) * 2018-04-10 2019-10-17 オリンパス株式会社 医療システム
US12042339B2 (en) 2018-04-10 2024-07-23 Olympus Corporation Medical system and method of controlling medical system
WO2023021538A1 (ja) * 2021-08-16 2023-02-23 オリンパスメディカルシステムズ株式会社 マニピュレータシステム、制御装置及び形状推定方法

Also Published As

Publication number Publication date
US20100113876A1 (en) 2010-05-06
WO2008111646A1 (ja) 2008-09-18
JP4979416B2 (ja) 2012-07-18
US8343037B2 (en) 2013-01-01

Similar Documents

Publication Publication Date Title
JP4979416B2 (ja) 内視鏡装置
JP5873223B2 (ja) 内視鏡システムおよび画素補正方法
JP6152951B2 (ja) 投影システム
US10368725B2 (en) Endoscope system, image processing device, image processing method, and program
JP2007313170A (ja) 内視鏡システムおよび内視鏡観察方法
US20120147165A1 (en) Control device, endoscope apparatus, and focus control method
EP1177761A3 (en) Fluorescent-light image display method and apparatus therefor
US8421034B2 (en) Fluoroscopy apparatus and fluorescence image processing method
JP2007319622A (ja) 内視鏡装置
JP6533284B2 (ja) フォーカス制御装置、撮像装置、内視鏡システム、フォーカス制御装置の制御方法
US8764635B2 (en) Endoscope apparatus
US20140300799A1 (en) Imaging device, method for controlling imaging device, and information storage device
JPWO2015064462A1 (ja) 内視鏡用の撮像システム、内視鏡用の撮像システムの作動方法
EP3682789A1 (en) Endoscope, endoscope system, method of determining leakage of endoscope, and leakage determination program for endoscope
US9380931B2 (en) Endoscope apparatus which can detect temperature of distal end portion
JP2004201784A (ja) X線画像診断装置
JP2009213742A (ja) 内視鏡用光源装置
US10398297B2 (en) Antifogging device and endoscope device
JPH08285541A (ja) 距離測定方法および装置並びに医療支援方法および装置
JP2008229026A (ja) 蛍光内視鏡装置
JP2010093471A (ja) 撮像装置、撮像装置用半導体集積回路、および欠陥画素判定方法
CN118303820B (zh) 一种引导鞘管、内窥镜组件及其使用方法和检测系统
JP5985916B2 (ja) 内視鏡装置
JP5424542B2 (ja) 撮影制御装置及びその制御方法、並びに、プログラム
JP2007147680A (ja) 位置制御装置およびそれを用いた光学機器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100310

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120321

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120417

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4979416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees