JP2011504783A - 医療用器具、カテーテル、および導管の遠位端への撮像能力の追加 - Google Patents

医療用器具、カテーテル、および導管の遠位端への撮像能力の追加 Download PDF

Info

Publication number
JP2011504783A
JP2011504783A JP2010535939A JP2010535939A JP2011504783A JP 2011504783 A JP2011504783 A JP 2011504783A JP 2010535939 A JP2010535939 A JP 2010535939A JP 2010535939 A JP2010535939 A JP 2010535939A JP 2011504783 A JP2011504783 A JP 2011504783A
Authority
JP
Japan
Prior art keywords
site
light
image
scanning
instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010535939A
Other languages
English (en)
Inventor
セイベル エリック
キミー マイケル
ジョンストン リチャード
Original Assignee
ユニヴァーシティ オブ ワシントン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユニヴァーシティ オブ ワシントン filed Critical ユニヴァーシティ オブ ワシントン
Publication of JP2011504783A publication Critical patent/JP2011504783A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00097Sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00172Optical arrangements with means for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28Surgical forceps
    • A61B17/29Forceps for use in minimally invasive surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/068Surgical staplers, e.g. containing multiple staples or clamps
    • A61B17/072Surgical staplers, e.g. containing multiple staples or clamps for applying a row of staples in a single action, e.g. the staples being applied simultaneously
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00022Sensing or detecting at the treatment site
    • A61B2017/00057Light
    • A61B2017/00061Light spectrum
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/373Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

1つまたは複数の走査照射装置および複数の受光器を器具または他の要素の遠位端に備え、そのため部位の複数の画像を複数の受光器からの出力信号に応答して生成することができる。複数の受光器からの出力信号を結合して異なる位置から部位の全体画像または複数の種々の画像を生成する。複数の画像を個別に観察して立体または透視図を生成することができ、または異なる波長帯の光を用いて部位に関する強化された情報を提供し、その情報が、部位において1つまたは複数の器具または要素を使用することを容易にする。走査照射装置および複数の受光器は、既存の器具または要素に追加されるよう構成することができる。

Description

本発明は、医療用器具、カテーテル、および導管の遠位端への撮像能力の追加に関する。
低侵襲の治療的手技では、用いられる器具の多くが、軟性内視鏡内のチャンネルを通過するように、すなわち、管腔内に適合し軟性内視鏡の遠位端へ前進するよう設計される。内視鏡は、医師が器具を使用してその意図した機能を実行する間、観察する画像を提供することができる。かかる治療に現在用いられる治療的器具を設計する際の一般的考え方は、利用可能な軟性内視鏡と互換性があるようにすることであり、すなわち器具の断面寸法は実質的に軟性内視鏡より小さく、軟性内視鏡内に含まれるワーキングチャンネル、すなわち管腔を通過するときに使用可能なように構成されなければならない。低侵襲の治療に使用可能な器具の寸法に関するこの制約は、使用可能な器具の種類を制限する傾向があり、かかる器具を用いる作業を一層難しくもする。そうでなければ低侵襲の治療を受ける患者を処置するために使用し得るいろいろな種類の診断的または治療的装置は、装置の使用に伴う寸法の制約および他の問題が無く、その一方内視鏡のワーキングチャンネル内に適合するとしたら、かかる治療で役に立ちそうである。
したがって、寸法を従来の内視鏡または他の小型の案内導管に通るよう十分小さくすることを必要とせずに、いろいろな種類の器具または他の種類の要素を低侵襲の治療に使用できるようにする、異なるアプローチを開発することが望ましい。かかる器具を用いて、内視鏡によって別に撮像された内部部位で機能を実行することもあるが、そのアプローチは一般に、器具を経皮的に患者体躯内へ通した後使用する所望の部位へ前進させることができるよう、その器具用の別の切開を必要とする。カテーテルまたは導管を使用して器具を内部部位へ挿入することができるため、カテーテルまたは導管が辿る経路を撮像する代わりのアプローチを提供することは実用的であろう。新しいアプローチは、従来の内視鏡を部位で用いる撮像ではなく、患者体躯内での器具、導管、および/またはカテーテルの使用をより重要視すべきである。
器具、カテーテル、導管、および他の要素の使用用途を広げるために、かかる装置の遠位端または遠位端のわずか近位のどちらかに内部部位を撮像する異なるアプローチを実現することが好ましい。装置が使用されている視野を提供することが求められる撮像は、従来の内視鏡以外の手段によって提供されるべきである。装置の遠位端の背後、ならびにその遠位端から撮像することを可能とすべきである。さらに、器具または他の装置が内部で使用されている部位の立体画像を、内視鏡を使用せずに提供することを可能とすべきである。
1つまたは複数の器具または要素上の異なる位置の多重画像を生成することも望ましい。なぜなら、多重画像を使用することにより、単一の画像および位置だけから得られた限られた視野を拡張することができるからである。また、これらの画像を使用して、単一の位置だけから観察した場合に妨害されるであろう部位の部分を観察すること、ならびに異なる部位で作られた画像によって提供される遠近感のある部位の視野を観察することも望ましい。さらに望ましい機能は、光の異なる波長帯で作られた画像を使用して、かかる情報によって提供される情報を、単一のかかる画像だけで提供されるものに対し相対的に拡大することである。
費用を最小化しより効果的な操作を提供するため、器具および/または他の医療装置上に含まれる複数の異なる撮像プローブが、患者体躯内へ挿入されたとき、部位の画像を生成するために使用される光源および他の要素を、共有または多重化によって干渉無く共有できるようにすることも望ましい。いくつかの例では、単一光源によって生成される同じ波長帯の光を共有するのが望ましい場合ある一方、他の応用では、個別の光源を使用して派生信号を分離する場合もある。したがって、画像は、複数プローブによって連続してまたは並行して生成されることもある。他の応用では、複数の異なる光源から異なる波長帯の光を器具または他の医療用装置の遠位端に配置された複数の撮像プローブへ提供して、内部部位を撮像することが望ましい場合がある。撮像の異なるチャンネル間のクロストークを避けることも重要であり、その理由は、そうしなければ1つのチャンネルからの光が別のチャンネル内の走査装置によって照射される部位から受け取る光に実質的に干渉することがあるためである。
1つまたは複数の器具または要素上の多数の位置から撮像できるシステムを提供することの利点は、明らかに医療の応用に限定されない。撮像技術を用いる多数の他の応用および環境があり、1つまたは複数の器具または要素の遠位端、および1つまたは複数の器具または要素上の複数の位置から部位の撮像を提供することによって同様に利益をもたらすことができる。
米国特許第6975898号明細書
M. Brown and D. G. Lowe, entitled "Recognizing Panoramas," published in the Proceedings of the Ninth IEEE International Conference on Computer Vision (2003) The online "Atlas of Gastroenterological Endoscopy," A. Freytag, T. Deist (2003)
上記の議論の中で、部位の撮像を提供するために例示的な新規の撮像システムが開発され、それによって、1つまたは複数の器具または要素がその部位で使用されながら、その部位を遠隔的に観察できるようにすることによって、その部位における1つまたは複数の器具または要素の使用を容易にした。本システムの例示的実施形態の最初の応用は患者体躯内の内部部位を撮像時に使用するための医療分野であるが、本システムは明らかにかかる応用に限定されず、その理由は上記のように本新規技術は医療技術に無関連の多くの他の分野および応用に使用可能であるためである。
本撮像システムは、少なくとも1つの細長い軟性シャフトに結合されている複数の撮像装置を含む。少なくとも1つの細長い軟性シャフトは、複数の撮像装置と各細長い軟性シャフトの近位端との間の信号を伝達し、その信号を使用して部位を撮像することができる。本例示的システムでは、複数の撮像装置の少なくとも1つは、光が部位の1つまたは複数の部分を照射するよう向けられた所定の走査パターンで照射される走査装置を含む。複数の撮像装置はまた、部位から光を受け応答する複数の受光器も含み、各受光器は、受け取った光に対応する画像の少なくとも一部を生成するために使用可能な出力信号を生成する。本システムはまた、受光器からの出力信号を結合する手段を含み、ただ1つの受光器からの出力信号を用いて生成された画像の少なくとも一部とは異なる、全体画像を生成する。全体画像は、1つまたは複数の器具または他の要素をその部位で使用することを容易にするその部位の視野を提供する。
いくつかの例示的実施形態では、複数の撮像装置は既存の器具または他の要素に結合されるように構成される。またいくつかの実施形態では、少なくとも1つの撮像装置が、部位の複数の異なる画像が得られるように器具の遠位端に配置され、器具または他の要素の遠位端に対して相対的に、少なくとも異なる画像の一部が、複数の受光器によって生成された出力信号によって表示される。出力信号を結合する手段は次に、器具または他の要素の遠位端から観察された全体画像の一部に対応する全体画像を生成する。
また、いくつかの例示的実施形態では、少なくとも1つの撮像装置を器具の遠位端の近位ではなく最も近接した位置に配置することもできるため、器具または他の要素の遠位端の近位位置に対して相対的に、部位の複数の異なる画像の少なくとも一部が、複数の撮像装置によって生成された出力信号によって表示される。かかる実施形態では、出力信号を結合する手段は次に、器具または他の要素の遠位端の近位位置で観察された全体画像の一部に対応する全体画像を生成することができる。
結合手段は、軟性シャフトの近位端と結合されるよう構成されたインタフェースを含むことができる。このインタフェースは、複数の撮像装置から出力信号を受け取るために使用される。また、この結合手段に含まれるのは、機械語命令を格納するメモリ、およびインタフェースとメモリとに接続されるプロセッサである。プロセッサは機械語命令を実行して複数の撮像装置によって生成された出力信号によって表示された複数の異なる画像の少なくとも一部を画像的に結合して部位の全体画像を生成し、次にそれをユーザに対しディスプレイ上に表示することができる。複数の撮像装置によって生成された各出力信号は、部位の少なくとも一部の異なる画像を表示することができる。すなわち、全出力信号から生成された画像は、単独で撮られた画像の任意の1つよりも一層視覚的な部位の全視野の情報を提供する。
複数の撮像装置によって生成された出力信号はまた、上記のように、異なる位置からの視野に対応する画像の少なくとも一部を表示することもできる。出力信号を使用して、部位の立体視野または部位の個別の透視画像のどちらも生成することができる。
複数の撮像装置は、異なる波長帯の光に応答して出力信号を生成することができる。出力信号を使用して、部位の種々の画像をそれぞれ異なる波長帯の1つでディスプレイ上に生成することができる。種々の画像は、深部組織赤外線画像、浅部組織紫外線画像、後方散乱カラー画像、蛍光画像、疑似カラー画像、種々の空間分解能画像、および種々の時間分解能画像から構成されるグループから選択される1つまたは複数の画像を含むことができる。
少なくとも1つの例示的実施形態では、複数の撮像装置が、複数の器具または要素上に配置される。本例示的システムにおける器具または他の要素のいくつかの例は、切開器具、把持器具、縫合器具、クランプ器具、ステープル器具、注射針プローブ、カテーテル、治療的または診断的エネルギ源器具、組織からエネルギを吸収する器具、液体注入器具、液体除去器具、他の器具を部位へ導入する要素がある。
各走査装置は、細長い軟性シャフト内に配置された光ファイバに結合される近位端と、所定の走査パターンで自由に動く遠位端とを有する片持ち支持のライトガイドを含むことができる。遠位端から所定の走査パターンで放射される光が部位を照射する。走査装置の本例示的実施形態では、光ファイバは光源に結合され、光源からの光を片持ち支持のライトガイドへ伝達するよう構成される。走査ドライバを結合して、細長い軟性シャフトを通って延びる電線を通って供給される駆動信号を受け取ることができる。走査ドライバは駆動信号に応答して、片持ち支持のライトガイドを所望の走査パターンで動かす駆動力を発生し、これにより、片持ち支持のライトガイドを出た光は部位の方向に向けられ、片持ち支持のライトガイドの遠位端が所望の走査パターンで動くときに部位を照射する。少なくとも1つの実施形態では、片持ち支持のライトガイドは、走査時に所望の走査パターンで動くよう駆動される遠位端を有する片持ち支持の光ファイバを含む。
各受光器は、出力信号を生成する光センサ、光が細長い軟性シャフトの近位端の方へ伝達されるように部位から受け取った光を伝達する光ファイバ、CCD(電荷結合素子)配列、またはCMOS(相補型金属酸化膜半導体)配列のいずれかを含むことができる。
いくつかの例示的実施形態では、少なくとも1つの走査装置は、細長い軟性シャフト内に配置された光ファイバを含む共焦点走査装置を含むことができる。光ファイバは、光ファイバの近位端が光源に結合されて、光源からの光を光ファイバの遠位端へ伝達することができるよう構成される。光ファイバはまた、部位からの光に応答する受光器の1つに結合し、部位へ、および部位から光を伝達する。走査ドライバは、共焦点走査装置を駆動して部位の少なくとも一部を所定の走査パターンで走査する。また、レンズは、共焦点走査装置から放射される光を部位上のスポットに集光させ、このスポットから受け取られる光を共焦点走査装置上に集光させ、これにより、実質的に共焦点走査装置から放射される光だけがスポットから受け取られる光を生成する。
他の例示的実施形態では、少なくとも1つの走査装置は旋回式(pivotal)反射面を含み、この反射面は細長い軟性シャフト内に配置されている光ファイバに結合されかつ枢動可能に取り付けられて、光ファイバによって伝達された光を反射する。また、細長い軟性シャフトを通って延びる電線を通って供給される駆動信号を受け取るよう結合された走査ドライバが含まれる。駆動信号に応答して、走査ドライバは、旋回式反射面を所定の走査パターンで動かす駆動力を発生し、これにより旋回式反射面から反射される光は部位の方に向けられ、その光によって部位を走査する。
本新規技術の他の特徴は部位を撮像する方法に向けられて、部位を遠隔的に観察しながら器具の使用を可能にすることによって、1つまたは複数の器具または要素を部位で使用することを容易にする。本方法は、上記システムの要素によって実行される機能と全体に一致したステップを含む。
さらに、本明細書に開示された本技術の別の特徴は、複数の器具または他の要素に撮像能力を提供して、複数の器具または要素が配置される複数の異なる位置から部位を撮像するときに使用するシステムおよび方法に向けられる。本システムは少なくとも1つの走査装置を含む。各走査装置は、部位で使用される複数の器具または要素の1つの遠位端に最も接近して支持されるよう構成され、細長い軟性シャフトの近位端と走査装置との間で光を伝達するために使用される細長い軟性シャフトに結合される。光は、走査装置によって所定の走査パターンに向けられて、部位の少なくとも一部を照射する。複数の受光器は、複数の器具または要素のそれぞれの遠位端に最も近接して支持されるよう構成されるので、複数の受光器のそれぞれの位置および向きは、受光器が支持される器具または要素の配置によって決まる。各受光器は部位からの光を受けて、部位の少なくとも一部の画像を生成するときに使用する。対応する方法は、システムの要素によって実行される機能と全体に一致したステップを含む。
ここまで本発明を解決するための手段を提供していくつかの概念を簡単に紹介してきたが、これらをさらに以下の発明を実施するための実施形態の説明の中で詳細に説明する。しかし、本発明を実施するための実施形態の目的は、特許請求される主題の重要または必須の特徴を特定することではなく、特許請求される主題の範囲を決定するにあたっての一助となることでもない。実際には、非標準の手段を用いて、1つまたは複数の器具または他の要素が使用される部位の、強化したおよび/または複合的視野を提供することが望ましい。
添付図面と関連して下記の詳細説明を参照することによって、1つまたは複数の例示的実施形態およびその変更形態の種々の特徴および付随する利点がより良く理解されるとき、一層容易に評価されるであろう。
多様なプローブを用いる撮像に適した単一のベースステーションを有し、望ましい実施形態に応じてプローブに関連した種々の代替機能を提供できる機能インタフェースを含む例示的システムの構成要素を説明する機能ブロック図である。 撮像を目的として光が複数の種々のプローブへ連続的に供給されるよう、単一光源からの光の連続切替えを提供する例示的アプローチの概略図である。 3つの異なる波長の光源からの同じ波長の光を用いて複数のプローブに平行照射を供給する一例示的構成の概略図である。 部位を撮像するために使用される複数の種々のプローブの間に異なる波長の光学的信号を分割する例示的構成を説明する概略図である。 複数の器具、カテーテル、および/または導管の遠位端に配置された走査装置によって部位を撮像する例示的システムのより詳細の機能ブロック図である。 2つの走査照射装置用の分離可能な信号が、部位を撮像するための同期面順次方式でどのように使用されるかを示す略図である。 2つの走査照射装置用の分離可能信号が、部位を撮像するための非同期方式または同期方式でどのように使用されるかを示す略図である。 複数の相隔たる器具または器具の遠位端上に配置された検出器を用いて内部部位がどのように多重透視図に撮像されるかを説明する概略図である。 側面窓に入る光が多重モード光ファイバを通って器具の近位端へどのように伝達されるかを示す例示的器具の遠位部分の断面図である。 複数の相隔たる器具または器具の遠位端上に配置された検出器を用いて、別の方法ではよく見えない領域を含む内部部位がどのように撮像されるかを説明する概略図である。 走査照射装置および集光ファイバの配置を説明する例示的鉗子器具の遠位端の概略図である。 例示的親器具がどのように使用されて前方を撮像する一方、遠位撮像能力がある子器具が親器具の側面を通って前進し、管腔を通って進んで胆管および主膵管に導かれるかを示す胃および十二指腸の一部の概略図である。 前方撮像能力がある親内視鏡および撮像能力がある子器具を用いて胃壁に沿ったROI(関心領域)をどのように撮像するかを示す胃の概略図である。 図11Aの親内視鏡および子器具のユーザに対し表示される胃壁に沿ったROIの例示的画像の概略図である。 器具、カテーテル、または導管の遠位端の部位を撮像中に使用する例示的走査ファイバ遠位端の断面図である。 遠位撮像を備え、遠位撮像能力がある鉗子器具を搬送し、内部部位の多種の画像を撮像するために使用される導管の概略側面断面図である。 複数の側方視野SFE(走査ファイバ内視鏡)、および器具を構成の遠位端へ搬送するための軌道を有する中央前方視野SFEを説明する図である。 複数の側方視野SFE、ならびに撮像能力がある1つまたは複数の器具を内部部位へ搬送するための任意選択の側面ポートがある複数の導管を有する中央前方視野SFEを説明する図である。 外周周りに複数の走査装置を取り付けているため、任意の2つまたはそれ以上の相対する1対の走査装置を立体観察に使用して1つまたは複数の器具が使用されている部位の奥行き情報を備える画像を提供することができる、1つまたは複数の器具を部位へ搬送できる導管の遠位端の概略図である。 1つの共焦点撮像装置の詳細を示す共焦点撮像装置の配列の例示的実施形態の遠位部の概略立面図である。 図16Aの共焦点撮像装置の配列を含む器具の遠位面または遠位端の概略立面図である。 配列内の全ての共焦点撮像装置に、光を部位上に集光し部位から光を受け取るための共通レンズ組を使う撮像装置の配列の代替の例示的実施形態の遠位端の破断図である。 部位の表面上の4つの共焦点撮像装置の走査領域内の点で重なりが無いことを示す、時間Aにおける共焦点撮像装置の例示的2×2配列の遠位端の概略図である。 垂直ずれが走査領域の重なりを引き起こすことを示し、部位の全体画像を形成するためにより容易に綴じ合わせることができる画像を生成することができる、図18Aの後の時間B(または配列の変位が発生した後)における共焦点撮像装置の例示的2×2配列の遠位端の概略図である。 膵臓癌の4つの例示的重なり画像を説明する図である。 図19Aの4つの画像を継ぎ合わせて膵臓癌が容易に分かる部位の全体画像を生成する例示的(模擬的)結果を説明する図である。 撮像装置がシース(sheath)を備える既存の器具にどのように結合されて、器具が使用されている部位の撮像を可能にするかを説明する既存の器具すなわち組織ステープル器具の略図である。 図20Aの例の断面図である。 図20Aに説明された既存器具に2つの撮像装置をシースによってどのように結合することができるかを説明する代替の例示的実施形態の断面図である。
(図および開示された実施形態は限定しない)
例示的実施形態が添付図面の参照図に説明されている。本明細書に開示された実施形態および添付図面の目的は限定ではなく説明である。添付図面に示され本明細書で議論された例には、本技術および添付の特許請求の範囲に関するいかなる制限も与えられない。
(多種のプローブに1つのベースステーションを用いる撮像システムの概要)
図1は、多種のプローブによって撮像するために使用される単一のベースステーション20を含む例示的システムを説明しており、多種のプローブは撮像されている部位で使用される1つまたは複数の器具または他の要素上に配置される撮像装置になりうる。ベースステーション20はコンピュータ22を含み、汎用のパーソナルコンピュータ、または複数のプローブによって撮像するシステムを支援する具体的な目的のために設計された専用の演算装置でもよい。コンピュータ22は、ユーザによるテキスト入力および制御動作に使用されるキーボード24に接続され、コンピュータ22へ入力するときに画像ディスプレイ上でカーソルの位置を制御し選択するためのマウス、トラックボール、または他の種類の装置でよいポインティング装置26に接続されている。また、第1のモニタ28および第2のモニタ30がコンピュータ22に接続されており、これを使用して、複数のSFEプローブ36(プローブA、B、C、およびDと表示)によって生成される出力信号に応答して生成される画像を表示することができる。本システムは、かかるプローブ4本だけに限定されず、より多くのまたは少ないSFEプローブを含んでもよく、または他の種類の撮像装置を使用することも可能であることが理解されよう。
コンピュータ22は、SFE走査装置/コントローラおよび光源/検出器ボックス32と1つまたは複数の光ファイバ38を介して双方向通信を行う。ボックス32の構成のさらなる詳細は以下に議論される。また、SFE走査装置/コントローラおよび光源/検出器は機能インタフェース34と通信を行い、それを経由して信号が複数のSFEプローブへおよび複数のSFEプローブから伝達される。機能インタフェース34はコンピュータ22によって制御され、以下の詳細説明のように、撮像システムに使用されている具体的な構成に応じて、少なくとも4つの代替機能の1つを実行可能にする。これらの代替機能は、ボックス32内のSFE光源によって生成される赤色、緑色、および青色(RGB)レーザ光をシステム内で使用される複数のSFEプローブの間で連続的に切り替える機能コントローラを使用することを含む。連続的切替えは、下に図2と関連して説明するように、例えばMEMS(またはガルバノメータ式制御の)ミラースイッチを用いて実行される。連続的切替えモードでは、複数のSFEプローブを用いて撮像されている部位から受け取られる光の全てが、SFEプローブの遠位端から延び、ボックス32内のRGBグループ光検出用に1つにまとめられた集光ファイバを経由して伝達されうる。
図3に詳細に説明されるように、機能インタフェース34を代わりに使用して多数のビームスプリッタを用いて並行プローブ照射機能を実行することができ、これが以下に議論される。この並行プローブ照射モードでは、同じ波長帯の光が全てのSFEプローブに使用され、面順次または画素順次時分割多重化が、複数のSFEプローブのそれぞれへ光を提供するのに適用される。図3は、下に詳細に議論されるように、本モードがどのように実施されるかを示す例示的構成を説明する。
機能インタフェース34によって提供される第3の代替機能は、光学的信号を分割することである。本作動モードは多様なプローブを使用するために、別々のRGB照射ファイバが異なる波長帯を包含している。次に、部位から受け取った光信号は、検出される前に別々の波長帯に同時に分割される。図4に示す本構成の例と関連してさらに詳細が提供される。
最後に、機能インタフェース34によって実行される本機能は、各異なる走査装置に1つまたは複数の光源から供給される光の変調を含むことができ、これにより、異なる走査装置のそれぞれに供給される光は任意の他の走査装置に供給される光とは別に変調される。さらに、特定の走査装置と関連する1つまたは複数の受光器によって受けとられた光が検出され、出力信号が生成され、その出力信号も整合復調によって復調されるため、異なる復調で変調された光は除去されることになる。機能インタフェース34によって適用される変調/復調は、振幅変調(AM)復調または周波数変調(FM)復調のどちらかになり、異なる受光器からの光を検出することによって生成される出力信号間の特定の搬送周波数で復調機能を容易に識別できるようにし、これにより、撮像装置の異なるチャンネル間のクロストークが回避される。
ここで図2を参照すると、例示的連続切替え構成40が説明されており、その中で光源(図示せず)からのRGB光(またはより一般的には同じ波長帯の光)が入力光ファイバ42を通って伝達され、経路44に沿ってレンズ46の方へ放射される。レンズ46が光をMEMSミラー48上に集光し、ミラーは回転軸50によって回転ドライバ(図示せず)に結合されているため、光は後続の反射器52a、52b、52c、および52dの方へ順次向けられる。光は、各反射器によってレンズ54の方へ連続して反射され、その光が光ファイバ56の1つの中へ集光される。この例では4つの光ファイバ56があり、それぞれがレンズ54の1つから入る光をプローブA、B、C、またはDの1つへ伝達する。図2に示した時点では、光は光ファイバ内に反射され、光ファイバはその遠位端がSFEに結合され、SFEは部位に配置された器具または他の要素の1つの上に配置されている。すなわち、1つのプローブだけが、MEMSミラースイッチの回転を制御することによって決定される時間に活性化される。各プローブを使用する前にホワイトバランスを調整して、連続切替え構成40内の結合効率のばらつきを補正することが必要な場合があることに注意されたい。あるいは、ガルバノメータ式制御ミラーをMEMSミラー48の代わりに使用することができる。
図3では、例示的構成60が、どのように複数のプローブ76(A〜Xで識別される)に同時に同じ波長の光を供給できるかを説明する。この例では、図示しない光源からの赤色光62が左から入り、全反射妨害(FTIR)箱形ビームスプリッタ68によって部分的に反射される。反射されない赤色光は引き続き(ビームスプリッタの)左に入り、順に同様に部分的に反射される。この工程が各プローブに対して繰り返され、最後に最終プローブ(すなわちプローブX)用のミラーまたはプリズム70に到達し、残った全ての光を下向きに二色性ロングパスビームスプリッタ72の方向へ反射すなわち方向変更する。二色性ロングパスビームスプリッタ72は、赤色光は透過するが、(本図に示すように左から入る)緑色光64の経路内にある他の二色性ロングパスビームスプリッタによって反射されなかった緑色光は反射するよう選択される。この経路中の先行する各二色性ロングパスビームスプリッタは、緑色光の一部を下向きに反射する一方、上から下向きに反射された赤色光を透過する。したがって、二色性ロングパスビームスプリッタ72が、λcut>λgreenおよびλcut<λredの特性を有することは明らかであろう。同様に、(本図の左から)入る青色光66は、青色光を部分的に反射するが、上から下向きに反射された赤色光および緑色光を透過するよう選択された一連の二色性ロングパスビームスプリッタ74のそれぞれによって部分的に下向きに反射される。結合されたRGB光は、レンズ78aおよび78bの方へ透過され、そのレンズがRGB光をプローブ76(A〜X)に結合された単一モード光ファイバ内へ集光する。すなわちこれらのプローブは、RGB光を3つの光源から同時に受け取る。追加のまたはより少ない異なる波長帯の光が同様に、より多数のまたは少ないプローブへ同時に供給されうることも理解されよう。
異なる波長帯の光学的信号を分割する例示的構成80が図4に説明される。この例では、異なる波長帯を含むRGB光82が回折格子またはプリズム84の方へ向けられており、回折格子またはプリズムが各異なる波長帯を異なる経路に沿ってPMT(光電子増倍管)検出ポート86の方へ反射する。RGB光82は、波長範囲が635nm〜670nm(レーザダイオード(図示せず)を用いて生成することができるような)におよぶ赤色光、波長が514nm、532nm、および543nmである緑色光(アルゴンイオンレーザ、二重1064nmレーザ、またはヘリウムネオンレーザを用いて生成することができる)、および波長が440〜450nm、または468〜478nmである青色光(例えば、日亜(Nichia)(登録商標)青色レーザダイオードを用いて生成される)を含む。したがって波長が440nmの青色光はPMT検出ポート88で受けられる一方、波長が450nmの青色光はPMT検出ポート90で受けられる。同様に、波長が532nmおよび543nmの緑色光はそれぞれPMT検出ポート92および94で受けられる一方、波長が635nmおよび650nmの赤色光はそれぞれPMT検出ポート96および98で受けられる。本アプローチをどのように用いて単一の光ファイバ(例えば、部位からの光を受け取るよう配置された遠位端を有する光ファイバ)を使用し多数の波長帯の光を伝達するか、その後伝達された光が光学的に異なる波長帯に分割されて異なるチャンネルへ入力されるかは明らかであろう。このように分割される光はまた、赤外線光または紫外線光など非可視光も(または代わりに)含むこともできる。レーザダイオードから放射される光の光学的周波数は、レーザダイオードの温度などの環境条件を変化させることによって調整することができる。例えば、レーザダイオードを室内温度未満に冷却すると、一般に光学的周波数を10nm超ずらすことができ、作動中のレーザダイオード毎に少なくとも2つのレーザ波長を提供する。
(さらに詳細な例示的システム)
図5は、1つまたは複数の器具または他の要素の遠位端に配置された多数の位置に部位の撮像を提供するのに使用可能な例示的システム100を説明する。本システムでは、1つまたは複数の光源102(すなわち、番号1〜N)が光信号を供給し、光信号は1つまたは複数の光ファイバ104を通って伝達され、光ファイバは1つまたは複数の器具または他の要素(図示せず)によって支持された遠位端を有する。光源102によって各走査照射装置に供給される光は、同じ波長帯または異なる波長帯とすることができ、走査照射装置に同時にまたは連続的に供給されるように制御されることが可能である。1つまたは複数の器具または他の要素は撮像される部位に位置し、そこでは例えば器具または他の要素が使用されるため、光ファイバ104を経由して伝達される光を部位の走査照射に用いることができる。本システムの最初の応用は、患者体躯内の内部部位に配置される医療用器具または要素上に撮像を提供するが、システム100の目的を医療用応用に限定しない。
変調器106が図5の例示的システムに備えられ、コンピュータ118からの命令に応答して走査コントローラ110によって供給される信号に基づいて、光源102を変調するために使用される。変調器は光スイッチとして作動して、1つまたは複数の走査装置による面−画素間多重化を可能にする。レーザダイオード光源の直接変調は、異なる走査装置間の多重化の一例示的方法である。レーザダイオードは、その波長が紫外線から可視スペクトルを通り赤外線までおよび、その電力を画素サンプリング速度、例えば2千万回サンプリング/秒超(20MHz超)を超える速度で切り替えることによって直接変調することができる。紫外線から青までのスペクトル範囲では、レーザダイオードは50MHzを超える速度で直接変調することができ、適したレーザダイオードが日亜(日本)から入手できる。近頃、波長が532nmの光を生成し青色レーザダイオードの変調速度に匹敵する変調速度を持つ緑色GaNベースレーザダイオードがローム(登録商標)社(日本国、京都)から発表された。代わりに、赤外線レーザダイオードの周波数を2倍にしてほぼ1064nmの波長を実現する構想が、HDTVレーザ投影ディスプレイ用にレーザを開発している企業によって試作され、これは緑色光を50MHz超で変調することを必要とする。これらの企業は、Novalux(登録商標)社(カリフォルニア州Sunnyvale)、Corning(登録商標)社(ニューヨーク州Corning)、およびOsram(登録商標) Opto Semiconductors社(ドイツ国Regensburg)である。最後に、波長がほぼ630〜670nmの光を生成する赤色レーザダイオードは50MHz超で直接変調することができ、ソニー(登録商標)社およびサンヨー(登録商標)社(日本)など多くの製造業者から入手できる。レーザダイオード光源の高変調速度(50MHz超)は、画素速度での光学的切替えまたは多重化を可能にする。
走査線数500本の赤、緑、および青(RGB)画像を30Hzで表示する走査ファイバ内視鏡の現在の試作品は、ほぼ2千万回サンプリング/秒の画素サンプリング速度を必要とする。ミリメータ以下の走査照射装置を有し、遠位投影レンズシステムおよび走査ファイバを取り囲む集光ファイバのリングを備える共鳴振動単一光ファイバを有する例示的前方視野内視鏡が、図12に説明されており、以下に詳細に議論される。同じRGBレーザ波長を用いる2つの走査ファイバ内視鏡間を多重化する画素速度を提供するために、画素は、2つの装置間で、通常速度の2倍、すなわちほぼ4千万回サンプリング/秒でサンプリングされなければならない。クロストークを除去するために、より高速の画素変調がより多くの走査撮像装置に必要とされる。代わりに、各光源の変調速度は、単一の撮像装置の画素サンプリング速度より十分に大きくすることができる。例えば、50MHzより速い一定の変調速度をレーザ光源の搬送周波数に使用することができるが、この光束が組織を横断して走査されるときに振幅またはAM(振幅変調)の変動が起こり得る。この走査レーザ光によって照射されている組織の空間的変動吸収および/または後方散乱の特性に対し、この搬送波の振幅を使用して画像信号を発生することができる。図5に示すように、高帯域幅光学検出器108(光電子増倍管など)を用いて光学信号を検出した後に、このAM信号を変調器段階106(または別の復調器段階107で)復調することができる。すなわち各撮像装置は、それ自身の搬送周波数固有のチャンネルまたは帯域を有することができ、これは無線伝送技術および受信技術における異なるチャンネルまたは局の提供に類似している。紫外線から赤外線波長の光を放射するレーザは、画素速度を超える速度で変調することができるため、レーザ照射の多くのサイクルを1つの画像画素内に含めて、同じ領域を撮像する別のプローブからのクロストーク無しにAM信号を検出することができる。
図5では、コンピュータ118も使用して光学検出器108から受け取られる電気信号に基づいて画像を発生し、光源102の走査キャリブレーション、測色、および輝度制御を行う。また、コンピュータ118は制御信号を生成することができ、この信号が適用されて、撮像する部位に導入されているカテーテル、内視鏡、または他の器具の先端を曲げ、分岐した管腔または他の通路を通って隅部周りの部位へ装置を導入しやすくする。走査コントローラ110もまた走査アクチュエータ駆動信号を生成し、その信号が1つまたは複数の器具または他の要素の遠位端に配置されている各走査アクチュエータ(駆動)112に加えられて、光ファイバまたはミラーMEMS走査装置(図示せず)を駆動してラスタ走査、ヘリカル走査、リサジュパターン走査など所望の所定の走査パターンで放射される光によって部位を走査する。
温度制御114が走査コントローラ110に結合され、温度信号を走査照射装置に配置された各温度センサ116から受け取り、それにより走査コントローラは、部位で測定された温度を補正することができる。いくつかの応用では、単一の温度センサ116で十分に部位の温度を監視することができ、それは、このように感知された温度に基づいて部位を撮像するために使用される各走査装置に温度補正を加えることができるからである。
走査されている部位から受け取った光は光ファイバを通って伝達され、変調器106からの信号入力を用いて光源102の制御と任意選択で同期されることが可能な光学検出器108へ入力される。かかる同期を備える意図は、異なる1つの走査照射装置によって供給される光とは波長帯が異なる場合がある種々の走査照射装置のうち特定の1つによって部位へ向けられた光に対応する入力信号だけを、光ファイバが確実に供給するようにすることである。この方法では、光学検出器からの電気出力信号は、部位が特定の走査照射装置だけによって照射されたときに部位から受け取られる光にだけ対応する。光学検出器はPMT、フォトダイオード、フォトトランジスタ、CCD配列、または他の光感知装置を含むことができる。
ユーザインタフェース120の制御下では、コンピュータ118は光学検出器108から受け取った電気信号を使用して部位の画像の表示をディスプレイ1モニタ28(および/または任意選択のディスプレイ2タッチスクリーンまたは他のモニタ30)上に生成することができる。撮像中に収集されたこれら画像を生成するデータおよび他の関連データは、後の検索、使用、および加工を目的として、例えば局所または遠隔ハードディスクドライブまたは光学記憶メディアを含むデータストレージ122に格納できる。
一般に、複数の走査照射装置が光源および他の要素システム100を共有することが望ましい。したがって、部位が多数の走査照射装置によって同時に照射される場合に起こり得る問題を回避するために多重化、または各異なるプローブまたは走査照射装置に対する信号を時間内に分離する他の技術を使用することが望ましい。図6は、2つの異なる照射光源の場合に、検出される部位から受けかつ画像を生成するために使用される光が、部位の照射光源と同期しかつ部位からの反射光と混じらないように、異なる走査照射装置140および142がどのように活性化されて異なる時間に部位を照射するかを示すタイミング図および構成130を説明する。図6の走査照射装置Aはそれに沿って制御されるため、照射装置は一連の時間間隔132の間に走査光束を生成し、次に、時間間隔134の間に休止状態に戻る。間隔134が始まると、消灯され休止状態だった走査照射装置Bが、時間間隔136の間に走査を行い、その後、時間間隔138の間にその休止状態に戻る。すなわち、1回に1つの走査照射装置だけが積極的に部位を走査している。図6の下部は、時間TXにおける走査照射装置Aの遠位端140から放射されている走査光144を説明しており、走査光148が時間間隔132の最後に生成する最大ヘリカルらせん状走査(full helical scanning spiral scan)150のらせん中央部146である。時間TXには、走査照射装置Bは休止期間の中央付近にあり、すなわちその時点では部位を何ら照射しない。
走査照射装置AおよびBが分離可能な光信号166および168(これらは非同期または同期可能)を生成するよう、走査照射装置AおよびBを制御する代わりのアプローチが、図7の例示的構成160に説明されている。本アプローチでは、ヘリカル走査装置162は光パルス174を備えると同時に部位のらせん状走査170を生成する。同様に、ヘリカル走査装置164は光パルス176を備えると同時にらせん状走査172を生成する。これら2つの走査照射装置によってそれぞれのらせん状走査を生成するために使用される光源を活性化する信号は、部位からの光の検出と同期され画素順にすることができる。本アプローチは、組織の光被爆を経時的に分散することによって光毒性を減少させる。各走査照射装置に使用される光パルスのパルス順が図の下に示されている。
(多数の位置から部位を撮像することの利点)
図8Aは、本新規アプローチを腹腔鏡手術に使用することを示す例180を説明しており、ここでは、複数の医療用器具の遠位端上の複数の相隔たる位置から撮像することによって提供される多視点画像が、医療用器具が使用されている部位をより効果的に観察する場合に有用である。部位の詳細がより明らかになるよう、内視鏡182の遠位端に含まれる単一の中央走査装置照射装置184によって、本例内で照射されている部位の画像内に提供される組織180に結果として陰影を付けることが組織の透視図を改善する。中央走査装置照射装置のFOV(視野)が、組織186を所望の走査パターンの光で照射する。組織から反射された光は、中央走査装置照射装置の周りにリング状に配列された複数の光ファイバ188によって受けられ、近位で検出器(本図には図示せず)の方へ伝達されて、部位の画像の生成に使用される。鉗子器具190は戻り光ファイバ192をその中心部に含み、内視鏡内の中央走査装置照射装置によって照射された組織186からの光を同様に受け取る。部位から反射された光は、鉗子器具のこの戻り光ファイバの遠位端、鉗子把持部194aおよび194bの開口端の間に入る。部位を撮像するための第3の位置は切開器具196の上に配置され、組織186から反射された光を受け取る窓198を含むが、その反射された光は戻り光ファイバ192および内視鏡内の光ファイバのリングのどちらとも角度が異なる。切開器具内の窓198を通った光は、図8B内の切開器具196の一部の断面図内に説明されているように、近位にマルチモード光ファイバ200(1つだけ図示)を通って伝達される。光は窓198に切開器具の側面から入り、マルチモード光ファイバ200の劈開遠位端と切開器具内の空気、ポリマ、または金属インタフェースとの間のインタフェースで、多数回内部反射する。
複数の走査照射装置を使って部位を撮像し、器具または要素の遠位端上の複数の異なる位置から光を検出することの利点が、図9Aに示す例210に説明されている。この例では、内視鏡182が腹壁212を通って延びる。内視鏡内の中央走査照射装置184が、内視鏡の遠位端近傍の組織の一部214を所望の走査パターンの光によって走査し、光ファイバ188のリングが組織の一部214から反射された光を受け伝達する。内部部位の組織は稜または尾根を形成し、そのため組織の他部216は内視鏡182の走査照射装置のFOVから外れ、組織の他部218は組織の稜または尾根の張り出した形状によって隠され、内視鏡182の中央走査照射装置のFOV照射に対して相対的に深い影の中にある。しかしこの例では、2つの鉗子器具190aおよび190bも腹壁を通って内視鏡182の反対側に延びる。これら鉗子器具のそれぞれは組織を照射する中央走査照射装置193を含むが、内視鏡182内の中央走査照射装置の両側の異なる方向および異なる位置からである。したがって、組織の部分216から反射された光は左の鉗子器具190a内の戻り光ファイバ192の遠位端で受けられる一方、組織の部分218から反射された光は内視鏡の右側の鉗子器具190b内の戻り光ファイバ192によって受けられる。異なる角度から部位を走査照射する異なる位置の複数の走査照射装置を効果的に使用することが、システムによって生成される画像内の部位の視認性を大きく改善し、すなわち、1つの器具または要素の遠位端のみで光を検出する単一の走査照射装置のみによって提供される撮像のFOVを効果的に広げる。
図9Aの組織214内は腫瘍220などの関心の対象であり、組織の一部218を照射する右鉗子器具190bからの光による干渉が予測される。例えばこの光干渉は、周囲組織の光吸収に比べて光吸収が多いことに起因する可能性があり、これは右鉗子器具190bまたは撮像能力がある他の器具によって検出することができる。この例では、増加した吸収コントラストは、組織の一部218を照射する右鉗子器具190bへの後方散乱光学信号から検出することができる。代わりに、増加した吸収コントラストは、内視鏡182への側方散乱光学信号から検出することができ、または組織の一部216を通って左鉗子器具190aへの透過光学信号から検出することができる。この例では、撮像能力がある器具は光学信号を共有して、ユーザに種々の透視図から強調した陰影を提供し、体躯の同じ領域内の反射および透過の両状態による撮像を可能にする。視野の照射領域が直接重なり合わないこれらの限られた事例では、クロストークを減らすために何の方法も採用しない。
鉗子器具190の遠位端の詳細が図9Bに説明される。ここに示すように、部位からの光を受け集光する走査照射装置193および戻り光ファイバ192の遠位端が把持器194aと194bとの間に配置される。すなわち鉗子器具は、鉗子器具が使用されて組織または他の材料を把持する部位を撮像することができる。
他の医療の例230が図10に提供され、患者の食道内を下降して胃234へ入りその後十二指腸236へ入るよう設計された親内視鏡232を概略的に説明している。親内視鏡232は、前方視野走査照射装置および親内視鏡の遠位端238の前方FOV内で照射される光を受け取る対応する光ファイバを含む。親内視鏡の遠位端には側方視野走査照射装置240も備えられて親内視鏡の長手方向軸に一般に直角な側方を走査する。この図では、側方視野走査照射装置によって照射された親内視鏡の遠位端の側面で組織から反射された光を受け取る戻り光ファイバは見えない。親内視鏡はその撮像能力を使って、操作者が親内視鏡の遠位端を十二指腸内へ前進させ十二指腸から胆管246および1つの主膵管248内への開口250の場所を探すのを支援する。
側方視野走査照射装置240の近傍に側面ポート241が配置され、それを通って把持器244aおよび244bを含む鉗子器具を備える子内視鏡242が延びる。子内視鏡242の遠位端上、2つの把持器(本図では見えない)の間に配置されるのは前方視野走査照射装置であり、一般に図9Bの鉗子器具190用に示したような構成である。この前方視野走査照射装置のFOVを使用して、操作者が組織サンプルを採集するまたはいくつかの他の目的のため、胆管または主膵管のどちらかに子内視鏡の遠位端の鉗子器具を前進させるのを支援することができる。その結果、親内視鏡および子内視鏡の複合的撮像能力は単一の画像装置のみによって達成されるよりもより完全な撮像能力を備えることによって、このような性質の業務の完遂を大いに容易にする。
図11Aは、その遠位端にFOV268がある前方視野走査照射装置266と、前方視野走査照射装置のFOV内の組織および他の被写体から光を受け取る戻り光ファイバとを有する親内視鏡262の例260を説明する。本例では、親内視鏡262は先進して患者の胃264内へ入る。鉗子器具272をその遠位端に有する子内視鏡270も、ROI(関心領域)276の方に向けられたFOV274を有する前方視野走査照射装置を備える。すなわち鉗子器具は容易にROIを撮像し、選択的にどこでも組織サンプルを採取することができる。親内視鏡262上の前方視野走査照射装置および子内視鏡270上の前方視野走査照射装置は、ROIから異なる距離で胃壁を撮像する。子内視鏡270上の前方視野走査照射装置は、親内視鏡262に比べてROI276のより近くにより高度に集光された光を有することができ、戻り光ファイバ(本図では見えない)が反射光を受けて、親内視鏡内の戻り光ファイバから受け取った光に応答して生成されたものより分解能が高いが、焦点深度(DOF)が浅い画像を生成することを可能にする。したがって、異なる特性のFOVおよびDOFを備えるこれら2つの走査照射装置を提供することによって、システム全体の能力を強化して確実な業務を実行することができる。代わりに、子内視鏡270は部位から蛍光信号を放射させる光を使って照射することができ、かかる信号は一般に後方散乱レーザ照射よりずっと微弱である。蛍光信号を用いてROIの診断画像を形成し、組織の種々のモードの光学的調査を用いて組織の健康に関する情報を収集することができる。子内視鏡270を親内視鏡262よりもROI276の近くに単に位置合わせするだけで光学信号の収集効率を著しく上げる。その理由は、Rを子内視鏡の遠位端とROIとの間の分離距離とすると、強度が(1/R)2減衰するためである。また、子内視鏡270は、赤外線光周波数の光および組織固有の画像コントラストのメカニズムの任意選択バイオマーカ強調を用いてROIの立体奥行き強調観察またはより深部組織の撮像を提供することができる。
図11Bは、親内視鏡262および子内視鏡270からの信号を用いてユーザに表示されるROI276の画像を説明する。親内視鏡画像274には、胃内側を覆う粘膜の胃粘膜襞、すなわち、ひだ278が後方散乱光の単純色撮像によって低解像度で表示されている。このROIの画像内にあるのは極近の分離距離Rまで延ばされた子内視鏡によって提供された挿入画像であり、胃粘膜襞278の拡大画像を得ている。さらに、局所的に塗布された蛍光染料(例えば、アクリフラビン塩酸塩(acriflavine hydrochloride))によってコントラストが強調され、親内視鏡画像内では見えないヘリコバクターピロリ(Hericobacter pylori)の高コントラスト蛍光標識または他の生物学的に特異な関心細胞を提供する。子内視鏡が親内視鏡から一旦前進すると、親内視鏡のROI276の画像はもはや遮られた画像である。子内視鏡の画像は最小化することができ、これを親内視鏡画像の妨害された部分に下記技術を用いて継ぎ合わせることができる。
(例示的走査照射装置および戻り光ファイバ)
走査照射装置に他の設計を用いることができるが、走査ファイバ照射装置300の例が図12に説明される。走査ファイバ照射装置300は、光ファイバの遠位端310を駆動して所望の走査パターンで動かす働きをするパターン化圧電材料306製チューブを通過する軟性単一モード光ファイバ304を含む。遠位端310は、パターン化圧電材料製チューブを超えて遠位に延びかつそこで片持ち支持され、その上に走査ファイバ照射装置が取り付けられるまたは支持される器具または他の要素の遠位端近傍にある。パターン化圧電材料製チューブは、圧電材料製取付けカラー308によって所定の場所に保持される。四分円形電極314がパターン化圧電材料製チューブの上に張られ、印加電圧によって選択的に活性化されて、光ファイバ304の遠位端310の2軸動作を発生する。電線316が電圧信号を各四分円形電極に伝達して圧電材料を動作の各軸に対して活性化させ、同時に温度制御信号も温度制御(図示せず)に伝達する。この例示的実施形態では、光ファイバの遠位端が駆動される2つの軸は一般に互いに直交する。パターン化圧電材料製チューブの1つの軸に印加された増幅サイン波および他方の軸に印加されたコサイン波は円形走査を発生することができるが、当業者には、光ファイバ304の遠位端310を適切に動かすことによって種々の異なる走査パターンを生成できることが理解されよう。四分円形電極に印加された電圧信号の振幅の適切な変調が所望の領域を満たす2次元パターンを作り出して、光ファイバの遠位端310から放射される光によって撮像することができる。実現可能な種々の走査パターンのいくつかの例は、直線走査、ラスタ走査、正弦曲線走査、トロイダル走査、渦巻き状走査、およびプロペラ走査を含む。いくつかの例示的実施形態では、光ファイバの遠位端は、ほぼそれ自身の共振周波数(または共振周波数近く)で動くように駆動され、それによって一定の印加駆動信号に対しより大きな走査振幅を実現できるようにする。
器具または他の要素の遠位端で撮像するために代わりに使用できる他の種類の走査器械は、代わりに使用される内部部位の画像を生成するために内部部位を光によって光学的に走査するために使用される走査光束を有するMEMS走査装置(図示せず)を含む。撮像用MEMS走査装置の例が共通出願人による特許文献1に示されており、その開示と明細書を参照によって本明細書に引用する。反射ミラーを駆動して器具または他の要素の遠位端へ伝達される光で部位を走査することもできることが当業者には理解されよう。
遠位端310から放射された光は、それが望ましい走査パターンで動くとき、レンズ318、320、および322を通って進み走査ファイバ照射装置の前方の部位に向けられる。走査ファイバ照射装置全体の直径は一般に1.0mm以下である。走査光によって照射された部位によって反射または散乱された光はその後検出され、これを用いて撮像機能を提供する。本例示的実施形態では、戻り光ファイバの環状リング302が走査ファイバ照射装置の遠位端の周りに配置され、一般に2.0mm未満の外径を有する。部位からの光は戻り光ファイバの遠位端324内へ通過し、上記のように近位でベースステーション内の検出器へ伝達される。検出器によって生成された出力信号はその後、走査ファイバ照射装置の遠位端に近接した部位の画像を生成するために使用される。上記のように、側方視野照射装置は反射面またはミラー(図示せず)を使用することができ、その後走査ファイバ照射装置の1つまたは複数の側面で容易に部位を撮像することができる。
部位で使用するための撮像能力がある器具および多数の器具上での撮像用の多数の部位を提供することには、器具上での撮像用の単一の部位の場合を超える明らかな利点がある。例示的構成340が図13に説明されている。この例では、カテーテルまたは導管342は中空で、鉗子器具346をカテーテルまたは導管内に形成された内部管腔に通す。軟性ケーブル348が鉗子器具の内部中央を延び、鉗子器具(図示せず)の近位端と、鉗子器具の遠位端(把持器356aと356bとの間)に配置された走査照射装置350との間で、光および他の信号を伝達する。また、そのように把持器の間に、走査照射装置350のFOV352内で照射される部位から光を受け取る戻り光ファイバ(個別に図示せず)の遠位端が中央配置されている。走査照射装置350によって放射された光は、本構成が挿入されている体腔344の一部に沿って組織354aに向けられる。走査照射装置350のFOVは、鉗子器具に対し相対的に前方に向けられ、結果得られる画像内に見ることができる体腔344の壁部を限定する。
しかし、カテーテルまたは導管342は走査照射装置360および366も含む。軟性ケーブル358および364は、カテーテルおよび導管の外周面の反対面に沿って延びる。軟性ケーブル358の遠位端は走査照射装置360に結合され、一方、軟性ケーブル364の遠位端は走査照射装置366に結合される。これらの軟性ケーブル内には、光および他の信号を走査照射装置と軟性ケーブルの近位端との間で双方向的に伝達する光ファイバが含まれる。走査照射装置は、近位の光源(図示せず)からの光を使用して体腔344の側面に向けられたFOV362を有する所望の走査パターンで光を放射し、そこに配置された組織354bを照射する。同様に走査照射装置366は、体腔の対向する壁上に配置された組織354cを照射するように向けられたFOV368を有する所望の走査パターンで光を放射する。組織354bおよび354cから受け取った光はそれぞれ軟性ケーブル358および364内の戻り光ファイバを通って伝達され、これら異なる位置の画像を生成するために使用され、ユーザが鉗子器具346をより効果的に操作して所望のROIから組織サンプルを採取できるようにする。体腔の内部表面の多数の画像を使用すると、体腔の単一部分の単一画像だけを使用するよりも明らかにより多くの視覚情報が得られる。
2つの他の例示的構成370および390がそれぞれ図14Aおよび14Bに説明され、多数の器具または他の要素上で撮像をどのように実施できるかという他の例を示している。図14Aでは、例示的構成370は、前方撮像能力をその遠位端376に有し、側方撮像能力があり中央SFEの周りに配列された複数のSFE374a、374b、および374cを有する中央SFE372を含む。SFE374a、374b、および374cはそれぞれ側面ポート378a、378b、および378cを含み、それを通って光が所望の走査パターンで放射されるため、中央SFEの周りに放射状に異なる方向に向けられたFOV382a、382b、および382cを提供する。これらの各側方視野SFEはまた、それぞれのFOV内で照射された部位の一部から受け取った光を伝達する戻り光ファイバ(図示せず)を含む。中央SFE372は、前方のFOV380上を所望の走査パターンの光で走査し、FOV380内の光によって照射された部位の一部からの光を受け取る戻り光ファイバ(図示せず)を含む。すなわち、結合された4つのSFEの撮像能力は、本構成の遠位端の遠位および周囲の非常に良い範囲を提供する。また、ガイドワイヤまたは軌道384が中央SFE372の少なくとも1つの側面を下方へ延び、これを使用して多数の追加の器具または他の要素の任意のものを構成370の遠位端の方へ前進させることができる。追加の器具または他の要素は撮像能力を有してもよく、走査照射装置を含んでもよく、または走査照射装置もしくは戻り光ファイバだけを含んでもよく、またはどちらも有さなくてもよい。
図14Bの例示的構成390は構成370と同様であるが、導管392aおよび392bを含み、本例示的実施形態では撮像能力が無く、例えば、部位への液体搬送、または部位からの液体除去、または他の機能の実行などが備えられている点が異なる。さらに例示的構成390は、中央SFE372の周りに対向して配置された楕円型導管394aおよび394bも含む。これらの楕円型導管は、任意選択でそれぞれ側面ポートを含むことができる(楕円導管394a上に示した側面ポート396など)。側面ポートは、楕円型導管の内部を通って前進する他の器具または要素が外側に部位の方へ向くようにして部位から組織サンプルを除去するなど所望の作業を実行することができる。小型で一般に円筒形の例示的構成370および390は、対象物(すなわち組織)の周囲からうまく保護されているが、その形状は、ガイドワイヤ384に沿って、または楕円型導管を通って前進することができる器具の寸法を制限もする。
(例示的多重走査器立体内視鏡導管)
少なくとも2つの異種の走査装置を含む器具または導管を使用して部位の立体図を提供することができ、これによって有用な奥行き情報を得ることができ、その奥行き情報がユーザの部位の理解を非常に容易にし、その奥行き情報の結果として器具をより効果的に部位で使用できるようになる。図15は、1つまたは複数の器具が使用される部位まで1つまたは複数の器具がその中を前進する中央管腔406を有する導管400の例示的実施形態を説明する。図示した例では、複数の撮像装置404が導管400の外周の周りに配列されている。一般に導管400の反対の側面(必須ではない)に配置される撮像装置の任意の2つを、部位の立体像を生成するために選択的に作動させることができる。図15に示した例では、撮像装置402aおよび402bが作動されて、2つの相隔たる視野408および410を有する部位(本図では図示せず)を走査する。2つの異なる視野内で照射された部位からの光を受け取ることによって生成される画像を使用して、ちょうど2つの相隔たる目によって得られる2つの画像のように部位の立体画像が提供される。異なる撮像装置404を使用して、導管400に対する相対的な立体画像の向きが観察者のふくそう角に対応して変更され、または組織に対する導管の回転を補正し、または延ばされている特定の器具が画像を邪魔するのを回避する。撮像装置402a、402b、および他の撮像装置404を、(図16A、16B、および17との関連で以下に説明されるように)共焦点撮像装置とすることができ、またはその代わりに、隣接した受光器光ファイバを備える撮像装置404を使用することができ、それによって異なる視野408および410によって照射される部位からの光を受け取る。受け取った光は光ファイバを通って光センサ(図示せず)へ近位に伝達され、それによって部位の立体画像を形成するために使用される画像を生成するために使用される対応する電気信号を生成する。
図16Aおよび16Bは、9個の共焦点撮像装置の配列420を示す例示的実施形態を説明する。しかし器具または他の要素にはより多くのまたは少ない共焦点撮像装置を使用することができることに注意しなければならない。一般に共焦点撮像装置のFOVは比較的小さく、かかる装置を1個だけ使用して1つまたは複数の器具または他の要素が使用される部位を撮像することはその利便性を制限する。しかし、複数のかかる共焦点撮像装置によって生成された画像を結合して共焦点撮像装置の任意の1つより広いFOVを持つ全体画像を生成することによって、ユーザは画像を見て1つまたは複数の器具または他の要素を部位で容易に使用できる。
図16Aは、3つの共焦点撮像装置422a、422b、および422cの配列だけを説明し、共焦点撮像装置422bの詳細を示す。本例示的実施形態では、各共焦点撮像装置はその遠位端に少なくとも1つのレンズ424を含み、それを使用して組織430などの部位を走査時に共焦点撮像装置によって放射される光を集光し、部位から受け取られる光を集光し、光ファイバ436を通って近位に伝達する。光ファイバ436の遠位端が走査ドライバから片持ち支持されているため、光源(図示せず)からの光は走査ドライバ434を通過する光ファイバ436の近位端から伝達される。走査ドライバ434は、リード線438を通って供給される駆動信号によって励起されるときに光ファイバ436の片持ち支持の部分を駆動してその共振周波数またはその近くで直交する2方向に振動させる能力を有する圧電装置でよい。走査ドライバ自身は共焦点撮像装置内の円筒型マウント432から片持ち支持される。共焦点撮像装置422a、422b、および422cはそれぞれ、組織430(または他の種類の撮像される部位表面)上の領域428a、428b、および428cを、集光された走査スポット426a、426b、および426cによって走査する。集光された走査スポットから戻った光は、一般に他の共焦点撮像装置からの光とクロストークが無く、理由はそれが部位の異なる領域上に集光された光によって生成され、その特定の共焦点撮像装置からの光が片持ち支持の光ファイバの中心に戻って集光され、実質的に他の共焦点撮像装置からの光が無いからである。領域428a、428b、および428cの走査は、適切な駆動信号を走査ドライバに電線438を通って印加することによって生成されるヘリカル走査、ラスタ走査、リサジュ走査、または他のふさわしい領域走査パターンなど、所望の走査パターンを用いて実行される。各共焦点撮像装置によって走査される領域に対応する画像のそれぞれは、部位の全体画像に結合して器具または他の要素の部位での使用を容易にすることができる。
図16Bは配列420を含む器具450の遠位面または端部を説明しており、本例示的実施形態内に配列を備える共焦点撮像装置のそれぞれによって使用される9つのレンズ424を示している。立体非共焦点撮像装置452aおよび452bを任意選択的に配列420の各側面に備えることができ、同様に立体非共焦点撮像装置454aおよび454bは器具の遠位端の上部および下部に配置される。代わりに、先端湾曲アンカを立体非共焦点撮像装置の対の一方または両方の位置に埋め込んで器具の遠位端を所望の方向に湾曲すなわち変形させることができる。先端湾曲アンカを1対だけ備えた場合、異なる平面内で曲げるには器具をその長軸周りに回転させなければならない。器具450はその外周面上に配置された少なくとも1つの軌道456を含み、他の器具または要素を器具450がそこへ向かって前進する部位へ導入するよう構成されている。軌道456は一般にT字型で、器具450に沿って長手方向に器具の近位端付近からその遠位端付近へ延びる。
共焦点配列のさらに他の一例示的実施形態は、共焦点配列が配列420に似ているが、共通レンズ466、468、および470を使用して部位上の異なるスポットを向いた配列を含む共焦点撮像装置の全てによって放射された光を集光し、走査されているそれらのスポットからの光を受けて集光し、各共焦点撮像装置を含むそれぞれの片持ち支持の光ファイバのコアの遠位端にもどす。図17は、本アプローチを用いる器具460を説明し、所望の走査パターンの方向に変形されている片持ち支持の光ファイバ436の遠位端を示す。器具460は器具450のそれに似た軌道(図示せず)を含んで、器具460が前進した部位へ他の器具または要素を導入することができる。各共焦点撮像装置のFOVが担当する領域上の各共焦点撮像装置による走査の他、器具460は、レンズ466、468、および470が取り付けられたレンズ胴464と、共焦点撮像装置の配列が取り付けられたより近位の筐体462との間に(矢印で示したように)器具の長軸方向のz軸に沿うように相対的な動きを与えることによって、共焦点走査の奥行きを変えるよう構成されている。すなわち、共焦点撮像装置の配列が部位上のそれぞれの領域を走査して組織(または部位を含む他の材料)の3次元走査を提供するときに、組織の共焦点走査の奥行き(本図には図示せず)を変えることができる。レンズは、全体に平行なチャンネルに沿った共焦点撮像装置の配列に光を集光する一方、配列の焦面は直線ドライバ(図示せず)を用いてz軸に沿って調節される。レンズ組の相対的動きが与えられない場合、代わりに種々の別の方法の1つによってほぼ同じ結果が実現できる。具体的には、図示しないが、異なる共焦点撮像装置からの光束が異なるz軸位置に集光されるように、種々の共焦点撮像装置の走査光ファイバはレンズからzの距離にずらすことができ、および/またはそれらの方向を調節することができ、および/または光の異なる波長を使用してそれぞれによって撮像することができる。これらの代わりのアプローチのどれにおいても、共焦点撮像装置の配列を同時に作動させながら2つ以上の奥行きの平面画像が得られる。
(共焦点撮像装置の配列によって生成された共焦点画像の重なり)
図18Aは、4つの共焦点撮像装置502a、502b、502c、および502dを含む例示的配列500を説明しており、これは全体に上記の共焦点撮像装置に似ている。これらの4つの共焦点撮像装置はレンズ504によって集光された光を放射し、それぞれ部位508上の領域506a、506b、506c、および506dを走査する。図18Aに示すように、ある時間Aにおいて、部位上のこれら4つの走査された領域の間に重なりは無い。これら領域の走査は1/30秒で発生させることが可能であり、これは共焦点撮像装置の例示的実施形態内の走査された領域に対応する部位の4つの画像を完全に得るために必要な時間である。しかし、配列500と部位508との間の相対的動きのせいで、図18Bの例に示すように時間Bに配列の垂直変位が発生する。この変位は、ユーザが配列を手持ちで組織のより広い領域を撮像する、または不可避的な動き、または部位の配列に対する相対的な動きのせいで配列が動くために起こり得る。例えば、部位が患者体躯内にある場合、患者の呼吸、筋肉収縮すなわち体躯の動き、鼓動、または他の生理的原因のせいで、部位は配列に対して相対的に動く場合がある。部位の4つの画像の結合に基づいて部位の全体画像を生成する作業は、時間Aにおける元の走査された領域506a〜506dが時間Bにおける走査された領域506a’〜506d’と少なくとも多少重なっていなければならない。隣接した画像間のこの重なりは、ユーザが配列500の遠位端を部位上で意図的にパンすることによって強調されることがあるため、結果として生じる重複画像をつなぎ合わせて部位の全体画像を形成するために適したソフトウェア(下記)を使用することができる。
(重複画像をつなぎ合わせる例示的ソフトウェア)
非特許文献1に、複数の重複画像をつなぎ合わせて全体立体画像を生成する技術が開示されている。この技術は、上記のように複数の撮像装置によって生成される部位の種々の部分の重複画像のつなぎ合わせに関連して容易に使用することができる。この作業を実行するためのAUTOSTITCH(商標)ソフトウェアはウェブサイトworldwideweb.cs.ubc.ca/〜mbrown/autostitch/autostich.html(ここでworldwidewebは“www”で置き換えられる)からダウンロードすることができる。このソフトウェアは、隣接画像の少なくとも一部が重なり合うほとんどの複数デジタル画像に適用することができ、最大360×180度または入力画像の範囲と同じ広さの領域の完全画像を生成する。このソフトウェアは、重複画像をつなぎ合わせて部位の全結合画像を生成するために使用可能な他の市販ソフトウェアプログラムの唯一の例として参照される。
図19Aは、膵臓癌の4つの例示的重複内視鏡画像600a、600b、600c、および600d(非特許文献2の画像から入手)を説明し、上記の走査装置のような4つの走査装置によって生成された4つの重複画像を示している。これらの重複画像は、図19Bに示すように上記のようなつなぎ合わせソフトウェアを用いてつなぎ合わせて全体画像602を生成することができる。かかるソフトウェアの能力を説明する多くの他の画像例が上記のAUTOSTITCH(商標)ソフトウェアに関するウェブ上に提供されている。
(既存器具への撮像装置の追加を説明する例)
上に開示された小型撮像装置の利点の1つは、既存の器具または他の要素に結合してより大きな撮像装置では実現できなかった部位の撮像を可能にすることが容易であることである。図20A〜20Cは、撮像装置を既存の器具に追加するために使用可能な例示的アプローチ700を説明する。この例では既存の器具は医療用ステープラ702であり、またはPower Medical Interventions(商標)社製のモデルi60(商標)など内視鏡用直線切開器具でよい。図20Aに示したように、この医療用ステープラは旋回軸708の周りに固定ジョウ(jaw)706の方へ旋回する可動ジョウ704を含む。撮像装置712を既存の医療用ステープラに結合するため、スリーブ710を、撮像装置およびその光ファイバ(個別に図示せず)に通して被せる。スリーブ710は熱収縮チューブで形成することができるため、シースを撮像装置および医療用ステープラ近位部両方に通して被せた後、シースを加熱して医療用ステープラおよび撮像装置両方の周りに収縮させることができ、それによって撮像装置712を医療用ステープラ702に結合する。シース710を超えて延びる遠位端714および撮像装置702の一部は、シアノアクリレート(cyanoacrylate)などの生体適合接着剤または他のふさわしい接着剤を用いて固定ジョウ706に結合することができる。本例示的構成では、遠位端714は、医療用ステープラ(または直線カッタ)遠位に撮像装置のFOV716を向くようにわずかに上方に傾けられている。既存の器具が内視鏡用直線カッタの場合、この配列はさらに有用であり、その理由は、FOVが、直線カッタが推進されて切開操作を実行する方向の部位を撮像するためである。
図20Bは、どのようにシースが収縮されて撮像装置712を既存の医療用ステープラ(または内視鏡用直線カッタ)に結合するかを示す本例示的実施形態の断面図を説明する。図20Cに示した代わりの例示的実施形態720は、既存の医療用ステープラ(または直線カッタ装置)702の両側にどのように2つの撮像装置712が同様に結合されるかを説明しており、撮像装置および既存の器具の両方をすべり覆った後、加熱されて構成の周りに固く収縮させるシース722を用いている。既存の器具が医療用ステープラの場合、ステープル留めされる部位が撮像装置によって生成された画像内に任意選択として立体視野で見えるように、撮像装置の遠位端が固定ジョウおよび可動ジョウのより近位に配置されると本例示的実施形態は特に有用である。
本明細書に開示された思想がそれらを実施する好ましい形態およびそれらに対する変更形態と関連して説明されてきたが、下記の特許請求の範囲内で多くの他の変更形態が可能であることが当業者には理解されるであろう。したがって、これら思想の範囲は上記説明によって何ら限定されず、下記の特許請求の範囲を参照することによって完全に決定されるものとする。

Claims (23)

  1. 部位の撮像を提供し、それによって、1つまたは複数の器具または他の要素が前記部位で使用されている間、前記部位を遠隔的に観察可能にすることによって前記部位で前記1つまたは複数の器具または他の要素の使用を容易にする撮像システムであって、
    (a)少なくとも1つの細長い軟性シャフトに結合された複数の撮像装置であって、各前記細長い軟性シャフトは、前記複数の撮像装置と前記細長い軟性シャフトの近位端との間で信号を伝達し、前記信号は前記部位を撮像するために使用でき、前記複数の撮像装置の少なくとも1つは、前記部位の1つまたは複数の部分を照射するように方向付けられた所定の走査パターンで光が放射される走査装置を含み、前記複数の撮像装置は、前記部位から光を受けそれに応答する複数の受光器を含み、各前記受光器は、前記受光器によって受けとられた前記光に対応する画像の少なくとも一部を生成するために使用できる出力信号を生成する、複数の撮像装置と、
    (b)2つ以上の前記受光器からの出力信号を結合して全体画像を生成するための手段であって、前記全体画像は、前記2つ以上の受光器の1つだけからの前記出力信号を用いて生成された前記画像の少なくとも一部と異なり、前記複数の撮像装置によって生成された前記出力信号が、画像的に結合された異なる位置の視野に対応する画像の部分を表し、前記視野は前記部位の立体視野もしくは前記部位の個別の透視画像のどちらかを生成するために使用可能であることにより、または、前記複数の撮像装置によって生成された各前記出力信号が、前記部位の少なくとも一部の異なる画像を表し、前記出力信号の全てから生成された画像は画像的に結合されて、前記部位の前記全体画像用の、単独に撮像された前記画像のどの1つよりもより視覚的な情報を提供することにより、前記全体画像は、前記部位で前記1つまたは複数の器具または他の要素の使用を容易にする前記部位の視野を提供する、出力信号を結合する手段と
    を備えたことを特徴とする撮像システム。
  2. 前記複数の撮像装置の少なくとも一部は、既存の器具または他の要素に結合されるように構成されることを特徴とする請求項1に記載の撮像システム。
  3. 前記複数の撮像装置の少なくとも1つは、器具または要素の遠位端に配置され、そのため前記部位の複数の異なる画像のうち、前記器具の前記遠位端に対する少なくとも1つの画像は、前記器具または要素の前記遠位端に配置された前記少なくとも1つの撮像装置によって生成される前記出力信号によって表され、前記出力信号を結合する手段は、前記器具または要素の前記遠位端から観察された前記全体画像の一部を含む全体画像を生成することを特徴とする請求項1に記載の撮像システム。
  4. 前記複数の撮像装置の少なくとも1つは、器具または要素の遠位端の近位ではなく、最も近接した位置に配置され、そのため前記部位の複数の異なる画像のうち、前記器具の前記遠位端の前記近位位置に対する少なくとも1つの画像は、前記位置に配置された前記少なくとも1つの撮像装置によって生成される前記出力信号によって表され、前記出力信号を結合する手段は、前記器具または要素の前記遠位端の近位位置で観察された前記全体画像の一部を含む全体画像を生成することを特徴とする請求項1に記載の撮像システム。
  5. 前記出力信号を結合する手段は、
    (a)前記複数の撮像装置から前記出力信号を受け取るために、各前記軟性シャフトの前記近位端と結合されるように構成されたインタフェースと、
    (b)機械語命令を格納するメモリと、
    (c)前記インタフェースおよび前記メモリと結合されたプロセッサとを備え、前記プロセッサは前記機械語命令を実行して、前記複数の撮像装置によって生成された前記出力信号によって表される複数の種々の画像の少なくとも一部を画像的に結合して、前記部位の前記全体画像を生成することを特徴とする請求項1に記載の撮像システム。
  6. 前記受光器は異なる波長帯の光に応答して出力信号を生成し、そのため前記出力信号を使用して前記部位の種々の画像を前記異なる波長帯に対応するディスプレイ上に生成することができ、前記種々の画像は
    (a)深部組織赤外線画像と、
    (b)浅部組織紫外線画像と、
    (c)後部散乱カラー画像と、
    (d)蛍光画像と、
    (e)疑似カラー画像と、
    (f)異なる空間分解能の画像と、
    (g)異なる時間分解能の画像と
    から構成される画像のグループから選択される1つまたは複数の画像を含むことを特徴とする請求項1に記載の撮像システム。
  7. 前記複数の撮像装置は、複数の器具または要素上に配置されることを特徴とする請求項1に記載の撮像システム。
  8. 前記走査装置のそれぞれが
    (a)前記少なくとも1つの細長い軟性シャフト内に配置された光ファイバに結合される近位端と、所定の走査パターンで自由に動き前記所定の走査パターンで光を放射して前記部位を走査および照射する遠位端とを有する片持ち支持のライトガイドであって、前記光ファイバは光源に結合されるように、および、前記光源からの光を片持ち支持のライトガイドに伝達するよう構成される、片持ち支持のライトガイドと、
    (b)前記細長い軟性シャフトを通って延びる電線を通って供給される駆動信号を受け取り、前記駆動信号に応答して前記片持ち支持のライトガイドを所望の走査パターンで動かす駆動力を発生する走査ドライバであって、前記片持ち支持のライトガイドを出る光が前記部位の方に向けられる、走査ドライバと
    を備えたことを特徴とする請求項1に記載の撮像システム。
  9. 前記片持ち支持のライトガイドは、走査時に前記所望の走査パターンで動くよう駆動される遠位端を有する片持ち支持の光ファイバを備えることを特徴とする請求項1に記載の撮像システム。
  10. 各前記受光器は
    (a)前記出力信号を生成する光センサと
    (b)少なくとも1つの細長い軟性シャフトの前記近位端の方へ光が伝達されるように、前記部位から受け取られる前記光を伝達する光ファイバと、
    (c)電荷結合装置(CCD)配列と、
    (d)相補型金属酸化膜半導体(CMOS)配列と
    から構成されるグループから選択される要素を備えることを特徴とする請求項1に記載の撮像システム。
  11. 少なくとも1つの前記走査装置が
    (a)前記細長い軟性シャフト内に配置された光ファイバを含む共焦点走査装置であって、前記光ファイバは、前記光ファイバの近位端を光源に結合でき、光を前記光源から前記光ファイバの遠位端へ伝達でき、前記部位からの光に応答する前記受光器の1つに結合できるように構成され、前記光ファイバは、前記部位へ、および前記部位から光を伝達する、共焦点走査装置と、
    (b)前記共焦点走査装置を駆動して前記部位の少なくとも一部を前記所定の走査パターンで走査する走査ドライバと、
    (c)前記共焦点走査装置から放射された光を前記部位上のスポットへ集光し、前記スポットから受け取った光を前記共焦点走査装置上へ集光し、そのため実質的に前記共焦点走査装置から放射された光だけが前記部位上の前記スポットから受け取った前記光を生成するレンズと
    を備えることを特徴とする請求項1に記載の撮像システム。
  12. 少なくとも1つの前記走査装置が
    (a)前記少なくとも1つの細長い軟性シャフト内に配置された光ファイバに結合されおよび旋回式に取り付けられ、前記光ファイバによって伝達された光を反射する旋回式反射面と、
    (b)前記細長い軟性シャフトを通って延びる電線を通って供給される駆動信号を受け取り、前記駆動信号に応答して前記旋回式反射面を所定の走査パターンで動かす駆動力を発生するよう結合される走査ドライバであって、前記旋回式反射面から反射された光が前記部位の方へ向けられる、走査ドライバと
    を備えることを特徴とする請求項1に記載の撮像システム。
  13. 部位を撮像して、少なくとも1つの器具または要素が使用されている間、前記部位を遠隔的に観察可能にすることによって前記部位で前記少なくとも1つの器具または要素の使用を容易にする方法であって、
    (a)少なくとも1つの器具または要素上に配置された少なくとも1つの走査装置から所定の走査パターンで光を放射して前記部位の一部を照射するステップであって、前記部位は、前記少なくとも1つの走査装置から放射された前記光によって照射される、ステップと、
    (b)少なくとも1つの器具または要素上に支持された複数の異なる位置のそれぞれにおいて、少なくとも1つの受光器によって前記部位から光を受け取るステップと、
    (c)各前記受光器によって前記部位から受け取られる前記光を用いて複数の出力信号を生成するステップであって、各前記出力信号を使用して前記部位の画像の少なくとも一部を生成する、ステップと、
    (d)前記出力信号を結合して、各前記出力信号からの前記部位の前記画像の前記少なくとも一部を画像的に結合した結果である全体画像を生成するステップであって、前記全体画像をディスプレイ上で観察するとき、前記全体画像は、ただ1つの受光器からの前記出力信号を用いて生成された前記部位の前記画像の前記少なくとも一部とは異なり、前記部位で前記少なくとも1つの器具または要素の使用を容易にする前記部位の視野を提供する、ステップと
    を含むことを特徴とする方法。
  14. 複数の走査装置および複数の受光器の少なくとも1つを、前記部位で使用されるよう構成されている既存の器具に結合するステップをさらに含むことを特徴とする請求項13に記載の方法。
  15. 前記光を受け取るステップは、複数の器具または要素に上に前記部位に対して相対的に異なる位置で支持された複数の受光器において前記部位から光を受け取るステップを含むことを特徴とする請求項13に記載の方法。
  16. 受光器および走査装置で構成されるグループの少なくとも1つは、少なくとも1つの器具または要素の遠位端に配置され、前記全体画像を生成するステップは、前記出力信号を結合して、前記少なくとも1つの器具または要素の前記遠位端に対して相対的な前記部位の前記視野に対応する全体画像を生成するステップを含むことを特徴とする請求項13に記載の方法。
  17. 前記複数の撮像装置によって生成される各前記出力信号は前記部位の少なくとも一部の種々の画像を表し、全ての前記出力信号から生成される前記画像を表示して、任意のただ1つの前記画像単独を表示することによって提供されるよりも、前記部位を観察するためのより視覚的な情報を提供するステップをさらに含むことを特徴とする請求項13に記載の方法。
  18. 前記出力信号は、異なる位置からの前記部位の視野に対応する画像の一部を表し、前記出力信号を用いて前記部位の立体視野または前記部位の個別の透視画像のどちらかを生成するステップをさらに含むことを特徴とする請求項13に記載の方法。
  19. 前記出力信号は異なる波長帯の光に応答して生成され、前記出力信号を使用して前記部位の種々の画像を前記異なる波長帯のディスプレイ上に生成するするステップをさらに含み、前記種々の画像は
    (a)深部組織赤外線画像と、
    (b)浅部組織紫外線画像と、
    (c)後部散乱カラー画像と、
    (d)蛍光画像と、
    (e)疑似カラー画像と、
    (f)異なる空間分解能の画像と、
    (g)異なる時間分解能の画像と
    から構成される画像のグループから選択される1つまたは複数の画像を含むことを特徴とする請求項13に記載の方法。
  20. 前記照射するステップは、
    (a)片持ち支持のライトガイドから出る光が前記部位の方に向けられるように、前記片持ち支持のライトガイドを駆動して前記光を所定の走査パターンで放射するように動かすステップと、
    (b)旋回式反射面によって反射された光が前記部位の方へ所定の走査パターンで向けられるように前記旋回式反射面を駆動して動かすステップと
    から選択されるステップを含むことを特徴とする請求項13に記載の方法。
  21. 前記照射するステップは、光を前記部位上のスポットの方へ所定の走査パターンで放射し、前記部位上の前記スポットから、前記受光器の1つへ伝達される光を受け取る少なくとも1つの共焦点走査装置を駆動するステップを含み、前記部位上の前記スポットから受け取られる光は、前記部位の方へ放射される前記光の結果として、実質的にただ1つ生成されることを特徴とする請求項13に記載の方法。
  22. 撮像能力を複数の器具または他の要素に提供して、前記複数の器具または要素が配置される複数の異なる位置からの部位の撮像に使用する撮像システムであって、
    (a)少なくとも1つの走査装置であって、各前記走査装置は前記部位で使用される複数の前記器具または要素の1つの遠位端近位に支持されるよう構成され、前各記走査装置は、細長い軟性シャフトの近位端と前記走査装置との間で光を伝達するために使用される前記細長い軟性シャフトに連結され、前記光は前記走査装置によって所定の走査パターンに向けられて前記部位の少なくとも一部を照射する、少なくとも1つの走査装置と、
    (b)複数の器具または要素のそれぞれの前記遠位端近位に支持されるよう構成された複数の受光器であって、前記複数の受光器のそれぞれの位置および向きは、前記受光器が支持される前記器具または要素の配置によって決まり、各前記受光器は、前記部位から光を受け取って、前記部位の少なくとも一部の合成画像の生成に使用する、複数の受光器と
    を備えたことを特徴とする撮像システム。
  23. 複数の器具または要素が配置される複数の異なる位置から部位を撮像する方法であって、
    (a)少なくとも1つの前記複数の器具または要素上に配置された少なくとも1つの走査装置から光を所定の走査パターンで放射して、前記部位の少なくとも一部を前記少なくとも1つの走査装置によって放射するステップと、
    (b)前記複数の器具または要素が配置される複数の異なる位置のそれぞれにおいて、前記複数の器具または要素の遠位端近位に支持される複数の受光器によって、前記部位から光を受け取るステップと、
    (c)前記部位から各前記受光器によって受けられる前記光を用いて、前記部位の少なくとも一部の画像を生成するステップと、
    (d)生成された前記部位の前記少なくとも一部の前記画像を画像的に全体画像に結合して、ユーザによって観察できるようにするステップと
    を含む方法。
JP2010535939A 2007-11-27 2007-11-27 医療用器具、カテーテル、および導管の遠位端への撮像能力の追加 Pending JP2011504783A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2007/085667 WO2009070161A1 (en) 2007-11-27 2007-11-27 Adding imaging capability to distal tips of medical tools, catheters, and conduits

Publications (1)

Publication Number Publication Date
JP2011504783A true JP2011504783A (ja) 2011-02-17

Family

ID=40678875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010535939A Pending JP2011504783A (ja) 2007-11-27 2007-11-27 医療用器具、カテーテル、および導管の遠位端への撮像能力の追加

Country Status (3)

Country Link
EP (1) EP2224841A4 (ja)
JP (1) JP2011504783A (ja)
WO (1) WO2009070161A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013106899A (ja) * 2011-11-24 2013-06-06 Olympus Corp 内視鏡装置
JP2013521070A (ja) * 2010-03-05 2013-06-10 ザ ジェネラル ホスピタル コーポレイション 特定の分解能にて少なくとも1つの解剖構造の微細画像を提供するシステム、方法およびコンピュータがアクセス可能な媒体
WO2014196258A1 (ja) 2013-06-03 2014-12-11 オリンパスメディカルシステムズ株式会社 走査型内視鏡
JP2016052529A (ja) * 2015-10-28 2016-04-14 国立大学法人 千葉大学 パノラマ画像作成プログラム
JP2016526415A (ja) * 2013-06-19 2016-09-05 ザ ジェネラル ホスピタル コーポレイション 全方向視覚装置
JP2020091485A (ja) * 2013-01-15 2020-06-11 マジック リープ, インコーポレイテッドMagic Leap,Inc. 超高分解能の走査ファイバディスプレイ
US11047671B1 (en) 2020-01-30 2021-06-29 Veravanti Inc. Forward looking RGB/optical coherence tomography duplex imager

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5342869B2 (ja) * 2008-12-22 2013-11-13 Hoya株式会社 内視鏡装置、内視鏡照明装置、画像形成装置、内視鏡照明装置の作動方法および画像形成装置の作動方法
US20130218027A1 (en) * 2012-02-22 2013-08-22 Boston Scientific Scimed, Inc. Imaging device and methods of using the same
AU2016264850B2 (en) * 2015-05-19 2020-09-10 Singapore Health Services Pte Ltd An illumination device

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001515382A (ja) * 1997-03-06 2001-09-18 マサチューセッツ インスティチュート オブ テクノロジー 生体組織の光学走査用機器
JP2002263055A (ja) * 2001-03-12 2002-09-17 Olympus Optical Co Ltd 内視鏡先端フード
JP2003111773A (ja) * 2001-10-05 2003-04-15 Olympus Optical Co Ltd 手術用システム
JP2003535659A (ja) * 2000-06-19 2003-12-02 ユニヴァーシティ オブ ワシントン 走査型単一光ファイバシステムを用いる医療用画像化、診断および治療
JP2004502957A (ja) * 2000-07-10 2004-01-29 ユニヴァーシティー ヘルス ネットワーク 高分解能コヒーレント光画像化のための方法及び装置
JP2004065965A (ja) * 2003-07-30 2004-03-04 Olympus Corp 光走査プローブ装置
JP2004154257A (ja) * 2002-11-05 2004-06-03 Pentax Corp 走査型共焦点プローブ
JP2004177257A (ja) * 2002-11-27 2004-06-24 Olympus Corp 判別方法及び判別装置
JP2005040175A (ja) * 2003-07-23 2005-02-17 Olympus Corp 生体組織の光散乱観測内視鏡装置及び観測方法
JP2005204728A (ja) * 2004-01-20 2005-08-04 Pentax Corp 対象物内部処置装置及び対象物内部処置システム
JP2007044221A (ja) * 2005-08-10 2007-02-22 Optiscan Pty Ltd 走査型共焦点内視鏡システムおよび該システムの画像表示範囲調整方法
JP2007526014A (ja) * 2003-06-23 2007-09-13 マイクロビジョン,インク. 走査内視鏡
WO2007132085A1 (fr) * 2006-05-12 2007-11-22 Mauna Kea Technologies Dispositif et procede d'endoscopie pour une observation simultanee de plusieurs zones d'interet

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5924976A (en) * 1997-08-21 1999-07-20 Stelzer; Paul Minimally invasive surgery device
US6294775B1 (en) * 1999-06-08 2001-09-25 University Of Washington Miniature image acquistion system using a scanning resonant waveguide
US7252634B2 (en) * 2002-11-05 2007-08-07 Pentax Corporation Confocal probe having scanning mirrors mounted to a transparent substrate in an optical path of the probe
JP4698966B2 (ja) * 2004-03-29 2011-06-08 オリンパス株式会社 手技支援システム
US7783337B2 (en) * 2005-06-06 2010-08-24 Board Of Regents, The University Of Texas System OCT using spectrally resolved bandwidth
WO2007084915A2 (en) * 2006-01-17 2007-07-26 University Of Washington Scanning fiber-optic nonlinear optical imaging and spectroscopy endoscope
US7435217B2 (en) * 2006-04-17 2008-10-14 Microvision, Inc. Scanned beam imagers and endoscopes with positionable light collector

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001515382A (ja) * 1997-03-06 2001-09-18 マサチューセッツ インスティチュート オブ テクノロジー 生体組織の光学走査用機器
JP2003535659A (ja) * 2000-06-19 2003-12-02 ユニヴァーシティ オブ ワシントン 走査型単一光ファイバシステムを用いる医療用画像化、診断および治療
JP2004502957A (ja) * 2000-07-10 2004-01-29 ユニヴァーシティー ヘルス ネットワーク 高分解能コヒーレント光画像化のための方法及び装置
JP2002263055A (ja) * 2001-03-12 2002-09-17 Olympus Optical Co Ltd 内視鏡先端フード
JP2003111773A (ja) * 2001-10-05 2003-04-15 Olympus Optical Co Ltd 手術用システム
JP2004154257A (ja) * 2002-11-05 2004-06-03 Pentax Corp 走査型共焦点プローブ
JP2004177257A (ja) * 2002-11-27 2004-06-24 Olympus Corp 判別方法及び判別装置
JP2007526014A (ja) * 2003-06-23 2007-09-13 マイクロビジョン,インク. 走査内視鏡
JP2005040175A (ja) * 2003-07-23 2005-02-17 Olympus Corp 生体組織の光散乱観測内視鏡装置及び観測方法
JP2004065965A (ja) * 2003-07-30 2004-03-04 Olympus Corp 光走査プローブ装置
JP2005204728A (ja) * 2004-01-20 2005-08-04 Pentax Corp 対象物内部処置装置及び対象物内部処置システム
JP2007044221A (ja) * 2005-08-10 2007-02-22 Optiscan Pty Ltd 走査型共焦点内視鏡システムおよび該システムの画像表示範囲調整方法
WO2007132085A1 (fr) * 2006-05-12 2007-11-22 Mauna Kea Technologies Dispositif et procede d'endoscopie pour une observation simultanee de plusieurs zones d'interet

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013521070A (ja) * 2010-03-05 2013-06-10 ザ ジェネラル ホスピタル コーポレイション 特定の分解能にて少なくとも1つの解剖構造の微細画像を提供するシステム、方法およびコンピュータがアクセス可能な媒体
JP2013106899A (ja) * 2011-11-24 2013-06-06 Olympus Corp 内視鏡装置
KR102507206B1 (ko) * 2013-01-15 2023-03-06 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
JP2020091485A (ja) * 2013-01-15 2020-06-11 マジック リープ, インコーポレイテッドMagic Leap,Inc. 超高分解能の走査ファイバディスプレイ
JP7373539B2 (ja) 2013-01-15 2023-11-02 マジック リープ, インコーポレイテッド 超高分解能の走査ファイバディスプレイ
KR20210084692A (ko) * 2013-01-15 2021-07-07 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
JP2022010006A (ja) * 2013-01-15 2022-01-14 マジック リープ, インコーポレイテッド 超高分解能の走査ファイバディスプレイ
JP7048648B2 (ja) 2013-01-15 2022-04-05 マジック リープ, インコーポレイテッド 超高分解能の走査ファイバディスプレイ
US11402573B2 (en) 2013-01-15 2022-08-02 Magic Leap, Inc. Ultra-high resolution scanning fiber display
WO2014196258A1 (ja) 2013-06-03 2014-12-11 オリンパスメディカルシステムズ株式会社 走査型内視鏡
JP2016526415A (ja) * 2013-06-19 2016-09-05 ザ ジェネラル ホスピタル コーポレイション 全方向視覚装置
JP2016052529A (ja) * 2015-10-28 2016-04-14 国立大学法人 千葉大学 パノラマ画像作成プログラム
US11530910B2 (en) 2020-01-30 2022-12-20 Veravanti Inc. Forward looking RGB/optical coherence tomography duplex imager
US11047671B1 (en) 2020-01-30 2021-06-29 Veravanti Inc. Forward looking RGB/optical coherence tomography duplex imager

Also Published As

Publication number Publication date
EP2224841A1 (en) 2010-09-08
EP2224841A4 (en) 2012-04-18
WO2009070161A1 (en) 2009-06-04

Similar Documents

Publication Publication Date Title
JP2011504782A (ja) 多数の撮像装置を用いる撮像中の照射クロストークの除去
US7791009B2 (en) Eliminating illumination crosstalk while using multiple imaging devices with plural scanning devices, each coupled to an optical fiber
US20090137893A1 (en) Adding imaging capability to distal tips of medical tools, catheters, and conduits
JP2011504783A (ja) 医療用器具、カテーテル、および導管の遠位端への撮像能力の追加
US6975898B2 (en) Medical imaging, diagnosis, and therapy using a scanning single optical fiber system
US8537203B2 (en) Scanning beam with variable sequential framing using interrupted scanning resonance
US5558619A (en) Endoscope system with automatic control according to movement of an operator
US20050038322A1 (en) Imaging endoscope
JP2007526014A (ja) 走査内視鏡
JP2001074946A (ja) ファイババンドル及び内視鏡装置
CN102256530A (zh) 光学探头和光学观察装置
JP3947275B2 (ja) 内視鏡
JP2010511432A (ja) 多重集光器を利用した走査ビーム撮像装置および内視鏡
JP2005319315A (ja) パノラミックビューを有する内視鏡
EP3955036B1 (en) Method of operating a scanning beam device with a configuration memory
CN109068970B (zh) 内窥镜装置
US20080167546A1 (en) Methods for imaging the anatomy with an anatomically secured scanner assembly
JP3361132B2 (ja) 光断層イメージング装置
JP2020146407A (ja) 光源装置、医療用観察システム、照明方法およびプログラム
JP2002221486A (ja) 光断層イメージング装置
KR102415953B1 (ko) 의료용 내시경
US20230248209A1 (en) Assistant device, endoscopic system, assistant method, and computer-readable recording medium
JP2001299695A (ja) 内視鏡装置と手術用顕微鏡
JP2008012211A (ja) 拡大観察用内視鏡装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120727

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121026

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131029

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140408