JP2007275257A - 重力方向の表示を伴う内視鏡画像形成方法 - Google Patents

Abstract

【課題】内視鏡から見た画像の（接眼レンズに対する）正確な垂直配向を与えるインジケータを供すること。
【解決手段】内視鏡画像の垂直配向のインジケータを提示する方法が開示される。電子回転ピックアップ手段が内視鏡のハウジングに固定される。電子回転ピックアップ手段は、内視鏡の回転を示す信号を生成する。マイクロプロセッサーは、垂直画像配向と実画像配向との間の差異を計算するためにこれらの信号を使用する。この計算は、内視鏡ロール、内視鏡ピッチ、及び、内視鏡視野方向を考慮するファクターを含む。垂直インジケータは内視鏡画像と同時にビデオディスプレイ装置に表示される。
【選択図】図１

Description

本本発明は、内視鏡画像形成、特に、内視鏡画像配向、及びこの配向の重力方向と接眼レンズの基準フレームに対する関係に関する。

内視鏡は体内空洞に挿入されてこれらの空洞を検査する、細長い管状構造体である。内視鏡は、自身の遠位端に対物レンズを具備する望遠鏡を含む。望遠鏡は、通常、画像転送システムを含む。堅固な内視鏡では、それは一連の離隔配置された複数のレンズである。柔軟な内視鏡では、それは密着組み立てされた一束の非常に小さな光学ファイバーである。幾つかの内視鏡は、遠位端部分にＣＣＤ又はＣＭＯＳ画像センサのようなカメラ手段を含み、かつ画像を電子的に転送する。

多くの内視鏡は真っ直ぐ前のみを見る。他の内視鏡は、偏倚軸線視(off-axis viewing)を可能にする遠位端部分の固定又は可動反射器を特徴とする。幾つかの、最も普通のフレキシブル・タイプの内視鏡は、遠位端の、作動される曲げ部分を特徴とする。本発明は、軸線方向、非軸線方向、及び可変視野方向のあらゆるタイプの内視鏡に適用可能である。

画像転送システムの近位端では、幾つかの内視鏡は、直に人間が視るための虚像を作る接眼レンズを含む。しばしば、ＣＣＤ又はＣＭＯＳチップのようなカメラ装置は内視鏡に接続される。それは画像を受信し、かつビデオディスプレイ用信号を生成する。幾つかの内視鏡は、内視鏡に直に組み込まれたカメラ装置を有する。

外科医は、接眼レンズによって内視鏡を直に見ることができ、かつしばしばそうすることができるが、外科医には取り付けられたビデオカメラを使用し、かつビデオスクリーンの画像を観察することがより日常的となってきた。外科処置又は診断処置では、外科医は内視鏡を手動操作する。外科医は内視鏡を長手方向に直角な軸線の回りにピッチさせ、かつ長手方向軸線の回りにロールさせる。これらの手動操作を取り付けられたカメラを具備する内視鏡に生じさせるとき、カメラは、内視鏡から目に入るものを、ディスプレイ上の画像の垂直軸線(upright axis)として表示されたそれ自体の垂直軸線と忠実に関連づける。これは、目に入った画像の回転に帰着するのがしばしばである。

これはまさに問題である。画像が回転するとき、外科医は内視鏡空洞の内部で実際に上下するものの軌跡を見失う。この方向感覚を失うことは内視鏡の最大の敵の１つであり、かつ、処置中に、組織の異なる部分であるものと信じ込まされる、視神経の切除のような重大な間違いに通じてきた。外科処置が内視鏡よりはむしろ開腹処置であるとき、外科医は組織を直に見ることができ、従って、方向感覚を見失う問題はない。しかしながら、内視鏡処置の間、外科医の視点は内視鏡の視点とは異なり、従って、外科医は彼自身の心に描いた組織の画像をディスプレイの内視鏡画像に連続して相互的に関連させるように試みなければならない。このような試みを行うとき、外科医が内視鏡カバー窓の液滴の流れ方向を観察するか、あるいは空洞の内部の方向の感覚を得るために血液が溜まっているのを探すことは日常的になってきているため、内視鏡空洞の内部でどちらが上か下かを知る必要性は極めて強い。類似して見え得る組織的特徴を区別するために重要なことは別として、上方向を知ることは周囲の組織に対する内視鏡の位置を理解する支援もする。理想的には、外科医は、彼自身の眼が実際に空洞内部にあるかのように内視鏡空洞を関連づけることができることであろう。

この問題に対して試みられた解決策は、ボンネットへの従来技術特許文献に提案されている。この文献はその全体が本願明細書に参考文献として援用される（例えば、特許文献１参照）。この発明の目的は、電気的な検出及び位置決めデバイスを使用せずに内視鏡画像の配向を維持することであった。カメラに固定された振り子は内視鏡に回転自在に取り付けられる。振り子は内視鏡の長手方向軸線の回りで重力に対する配向を維持する。内視鏡が回転するとき、振り子はカメラを内視鏡に対して反対方向に回転させる。これは適切な配向に画像を維持するように意図したものである。
米国特許第５，３０７，８０４号明細書

回転配向補正を装備した内視鏡もＫｏｎｉｎｃｋｘによる別の従来技術特許文献にも示唆される。この文献はその全体が本願明細書に参考文献として援用される（例えば、特許文献２参照）。重力に反応する電子回転ピックアップ手段は内視鏡の長手方向軸線の回りでカメラの回転を検出する。画像回転器は回転ピックアップ手段からの回転信号によってカメラ画像を回転させる。
米国特許第５，８９９，８５１号明細書

回転配向補正を装備した別の内視鏡及びカメラシステムは、Ｍａｔｔｓｓｏｎ−Ｂｏｚｅ等によるまた別の従来技術特許文献に開示される。この文献はその全体が本願明細書に参考文献として援用される（例えば、特許文献３参照）。電子検出及び位置決めデバイスは内視鏡に回転可能に取り付けられたカメラの回転を検出及び補正する。カメラに固定された加速度計は重力に反応する電子回転ピックアップ手段として働く。モーターは加速度計からの信号によってカメラを回転させる。この加速度計及びモーターシステムはボンネットによって説明された振り子と機能的に等価である。振り子は重力に依存して回転するが、加速度計は重力を測定し、かつモーターはこれに応じて組立体を回転させる。それ故、システムは電気機械式振り子と見なし得る。Ｍａｔｔｓｓｏｎ−Ｂｏｚｅは、画像配向を補正するために電子操作による画像回転にも気づいたが、幾つかの理由でこの実行を積極的に思いとどまった。
米国特許第６，０９７，４２３号明細書

Ｇｒｅｅｎ等によるまた別の従来技術特許文献は、Ｍａｔｔｓｓｏｎ−Ｂｏｚｅに開示されたのと同じ装置を開示し、かつ画像回転のための２つの別の方法を示唆する（例えば、特許文献４参照）。第１の方法では、回転するカメラの代わりに、光学画像回転器が使用される。第２の方法では、電子操作が画像配向を補正するために使用される。また、１つ以上のジャイロスコープが別の電子回転ピックアップ手段として示唆される。
米国特許第６，４７１，６３７号明細書

Ｃｈａｔｅｎｅｖｅｒ等による更に別の従来技術特許文献は、Ｍａｔｔｓｓｏｎ−Ｂｏｚｅ及びＧｒｅｅｎに開示されたものと同じ装置を開示し、かつ電子回転ピックアップのための２つの別の方法を示唆する（例えば、特許文献５参照）。第１の方法では、画像解析は回転信号を計算するために使用される。第２の方法では、機械視覚システムは回転信号を計算するために使用される。
米国特許出願第２００２／０１６１２８０号明細書

Ｓｃｈａｒａ等による更にまた別の従来技術特許文献は、画像配向問題に対する一般的な解決解を教示する。この文献はその全体が本願明細書に参考文献として援用される（例えば、特許文献６及び７参照）。上記の開示と異なり、これらの開示は、内視鏡のピッチ及びロールと、内視鏡の軸線から偏倚された視界を成す何れかの線と、にも拘わらず、全てのスコープタイプ及び形状構成に対する重力にレベル合せされた内視鏡画像を与え得る。
米国特許出願第２００５／０２２８２３０号明細書 米国特許出願第２００５／０１５４２６０号明細書

上記解決策の全ては自動的再配向及び内視鏡画像のレベリング(leveling)のみを教示する。市場調査書、及び異なる専門分野の外科医との討論、から、内視鏡画像の再配向きなしの垂直なインジケータでさえ非常に有用であるでろうことが明白になっている。外科医は処置中に内視鏡カメラを手動で再配向することに慣れてくるようになり、かつ彼等は自動的に補正された画像は必ずしも必要ではないか又は欲しさえしない。鉛直なインジケータを単に設けることは、外科医が彼等自身でカメラを調整する実務を維持することを可能にし、かつ同時に真に垂直な画像を得るためにどのくらいカメラを回転しなければならないかに関する視覚的キーを与える。あるいは、外科医は現在のカメラ配向を維持するように選び得るが、インジケータで、少なくともインジケータでどちらが上かを見ることができる。これは、回転し得ない遠位端カメラを具備する最近の先端チップ(chip-in-tip)内視鏡に特に関連する。

また、Ｓｃｈａｒａ等による米国特許出願第２００５／０２２８２３０号及び米国特許出願第２００５／０１５４２６０号を除いて、上記解決策の全ては長手方向軸線回りのロールのみを補償し、かつ軸線視内視鏡のためのみに回転補正された画像を与える。これらは、水平近くに保持された、僅かに斜め視野内視鏡のための補正配向の近似を与えるが、Ｓｃｈａｒａ等だけは、直進、斜め、側方、後方及び可変視野の内視鏡を補正する解決策を教示する。内視鏡の現在の実務は、内視鏡の内視鏡軸線回りのロールが水平なレベルでいるように外科医が近位カメラヘッドを回転させることによって画像を鉛直に保持しようとするものである。これは、使用される内視鏡のタイプが、真っ直ぐ、斜め、あるいはフレキシブルで使用されるかに拘わらず行われる。広まっている誤解はこの実務は画像を水平に保持するということである。実際、堅固な直線状視野内視鏡の場合に水平化画像を与える。何れか他のスコープタイプに対しては、この実務は水平化された画像を与えず、従って、誤りである。何故なら、水平化された画像と信じ込まれているものは実際にはないからである。

従って、本発明の目的は、内視鏡から見た画像の（接眼レンズに対する）正確な垂直配向を与えるインジケータを提示することである。本発明の更なる目的は、何れかの軸線、斜め、側方、あるいは後方視野内視鏡、並びに可変方向視野を有する内視鏡に適用可能である。

本発明の特徴によれば、電子回転ピックアップ手段は内視鏡のハウジングに固定される。電子回転ピックアップ手段は内視鏡の回転を示す信号を生成する。マイクロプロセッサーはこれらの信号を使用して内視鏡視界配向のための回転インジケータを計算する。この計算は、内視鏡ロール、内視鏡ピッチ、及び内視鏡視界方向を説明するためのファクターを含む。このインジケータはビデオディスプレイ装置に表示される。この配置構成により、インジケータは、あたかも垂直な位置に立っているか又は座っている外科医によって見たかのように、どの方向が上であり、及び現在の画像配向がどれくらいの量だけ鉛直からずれているか、あるいはディスプレイ上で画像を”垂直”にするためには使用者はカメラをどれくらいの量だけ回転させなければならないかを示す。

本発明は、内視鏡からの画像の（接眼レンズに対する）適切な垂直配向を示す方法であって、垂直方向を計算する段階を備え、前記計算する段階は、内視鏡ピッチ、内視鏡ロール、及び内視鏡視野方向によって引き起こされた画像配向の効果を勘案する段階、及び適切な前記垂直方向のインジケータを提示する段階を備える方法を含む。

図１は内視鏡を概略的に示す。内視鏡は、慣用的に設けられる要素を備えるシャフト１０を含む。シャフトは長手方向軸線１２を有する。

内視鏡に視界ベクトル１４及び視野１６を与えるために、対物光学系がシャフトの遠位端部に設けられる。対物光学系は、レンズ、プリズム、反射器等のような構成要素を備える。対物光学系は視野方向を可変にするために調節可能であるか又は調節可能に取り付け得る。

ハウジング１８は、シャフト１０の近位端部に設けられる。画像検出デバイス又はカメラ２０がハウジング１８に取り付けられる。画像検出デバイスは対物光学系からの画像２２を受信するように形状構成される。ハウジング１８は、計算を行うための電子マイクロプロセッサー２３を内包する。

電子回転ピックアップ手段、好ましい実施形態では、重力に応答する３つの加速度計２４、２６、２８はハウジング１８に取り付けられる。各加速度計は特定の測定軸線に沿って重力の成分を測定する。加速度計は、各信号を重力測定器に変換し得る処理装置にパルス幅変調された信号を送信する。加速度計からの重力測定での変動は内視鏡の回転に関連付けられる。

本発明の方法を適切に説明するために、適切な数学的構成を定義する必要がある。

ハウジング１８は、ハウジングが自身の垂直位置にある場合に水平な長手方向軸線３０、及び、ハウジングが自身の垂直位置にある場合に垂直な軸線３４を有する。これらの軸線３０、３２、３４は直交する。各加速度計軸線はハウジング１８の軸線と整合される。第１加速度計２４は、長手方向軸線３０に沿った重力の成分を測定する。第２の加速度計２６は、長手方向に直角な軸線３２に沿った重力の成分を測定する。第３の加速度計２８は、垂直な軸線３４に沿った重力の成分を測定する。長手方向加速度計２４からの力はＺである。長手方向に直角な方向の加速度計２６からの力はＸである。垂直な加速度計２８からの力はＹである。

内視鏡は視界ベクトル１４を有する。カメラの垂直な投影３６は光学系及び視界ベクトル１４によってカメラ２０のデフォルトの垂直な軸線３８の投影である。

視界ベクトルの回動軸線４０は、内視鏡の遠位端部に定義され、最初はハウジングの垂直な軸線３４と整合される。回動軸線４０は内視鏡の実際の用具には存在し得ないが、数学的構成の一部として定義される。回動軸線４０は、長手方向軸線１２回り自身を回転させることにより再整合し得る。変数シータは長手方向軸線１２回りで回転されるような垂直な軸線３４に対する回動軸線４０の角度を説明するために使用される。変数ファイは回動軸線４０回りで回転されるような長手方向軸線１２に対する視界ベクトル１４の角度を説明するために使用される。変数ゼータは視界ベクトル１４回りで回転されるような回動軸線４０に対するカメラの垂直投影３６の角度を説明するために使用される。上記のパラメータ化がＺＹＺオイラー角を使用することに留意すべきである。

単純な斜め、側方、あるいは後方内視鏡に対しては、上述のパラメータ化変数シータ、ファイ、及びゼータは各内視鏡に対して一定に固定される。視野内視鏡の変数方向は変数の１つ以上が視野方向の変更を反映する操作間に変化することを要する。

使用中に、内視鏡は図２に示すような姿勢で位置づけられる。この姿勢はピッチ及びロールとしてパラメータ化される。変数アルファは水平４２に対する長手方向軸線１２のピッチ角度を説明するためにも使用される。変数ベータは自身の長手方向軸線１２回りの内視鏡のロール角度を説明するために使用される。ピッチ及びロールの両方は使用の間に調節し得る。マイクロプロセッサーは、公式による加速度計出力からピッチ及びロールを計算する。

図３に示すように、カメラの垂直投影３６は補正角度だけ重力垂直部分４３から偏倚している。変数ガンマは視界ベクトル１４の回りの補正角度を説明するために使用される。

図３に示すように、カメラの垂直投影３６は補正角度だけ重力垂直部分４３から偏倚している。変数ガンマは視界ベクトル１４の回りの補正角度を説明するために使用される。マイクロプロセッサーは公式によってガンマを計算する。

図４に示すように、ビデオディスプレイ４４は、使用者に垂直方向インジケータ４６に加えて内視鏡画像４５を与えるために使用される。インジケータ４６はこの実施形態では方向矢印であるが、点線又は線のような何れのタイプのグラフィック・オブジェクトとし得る。随意の垂直ストライプ４８はディスプレイ４４の物理的頂部を示し、カメラを回転させるための基準点を与える。使用者が、内視鏡画像の上方向がディスプレイ４４の上方向と整合されるように内視鏡画像４５を配置したい場合には、使用者はインジケータ４６がストライプ４８に沿って並ぶまでカメラ（あるいは、システムが画像回転の或る手段を有する場合には画像自体）を回転することができる。ビデオディスプレイ４４は内視鏡からの画像を表示するための何れかの適切なデバイスとし得る。

画像配向インジケータ４６に加えて、図５Ａに示すように、使用者に内視鏡の配向の感覚を与えるために更なるインジケータ５０の組を使用し得る。この場合、画像４４の外周に沿って摺動する、これらのインジケータ５０は内視鏡が使用者から離れたことを指摘するか、あるいは使用者に向かっているかを示す。あるいは、３次元矢印インジケータ５２を使用し得る（図５Ｂ）。

別の実施形態では、１つ以上のジャイロスコープを電子回転ピックアップ手段として使用し得る。ジャイロスコープ出力は内視鏡の姿勢を決定するために使用される。ジャイロスコープは自身の回転軸線に対する角変位に比例する力を表す信号を作り出す。ジャイロスコープを使用して姿勢を決定する方法に説明されるが、これらの方法の詳細は本発明の理解に必要ではない。

本発明の層なる実施形態では、機械視覚システムが内視鏡の姿勢を計算するために使用される。こうしたシステムでは、内視鏡は、該内視鏡から離れた或るロケーションに位置する受信器によって受信される或るエネルギー形態を放つ少なくとも１つの信号発信要素を自身上又は内部に具備する。こうした信号発信要素は、三脚等に、あるいは壁内に取り付けられ、操作室の天井内にある。信号発信要素から受信したエネルギーを分析することによって、受信器は内視鏡の姿勢を計算する。信号発信要素は、発光ダイオード、磁石等のようなそれら自体でエネルギーを生成し得るか、あるいは、内視鏡から離れた或るロケーションに位置する或る送信源から放たれたエネルギーを反射するための反射器を備え得る。こうした信号発信要素は、三脚等に、あるいは壁内に取り付けられ、操作室の天井内にある。送信源はこうしてエネルギーを送信する。これは信号発信要素から反射されて受信器によって受信される。エネルギーは、例えば、赤外線エネルギー、可視スペクトル光、磁気エネルギー等を備え得る。

本発明の理解を伝えることができるように本発明を最も好ましい実施形態について説明してきた。しかしながら、本願明細書では特に説明していない重力基準内視鏡画像を与える方法のための多くの別の配置構成があるが、本発明はこれらにも適用可能である。例えば、内視鏡を説明する別の数学的フレームワークは垂直な配向を計算するための別の公式に通じる。また、垂直方向を表示する多くの方法が存在する。さらに、実施例は外科手術で使用する内視鏡について与えられたものであるが、本発明は様々な機械構造体内で使用するためにボアスコープ等についても等しく適用可能である。従って、本願明細書で使用される”内視鏡(endscope)”との用語は（医療手術のために使用される）内視鏡、あるいはボアスコープ、ファイバースコープ等のような何れかの類似したデバイスを言及する。

本発明は図面に示され、かつ本願明細書に記載した実施形態によって限定されるものではない。これらの実施形態は例示的なものであって限定のためのものではないが、添付の特許請求の範囲に従うものである。

本発明で有用な内視鏡の概略図である。 内視鏡の姿勢を示す図である。 内視鏡画像が重力による垂直方向から偏倚した角度量を示す図である。 垂直方向のインジケータを有する表示された内視鏡画像を示す図である。 内視鏡の姿勢に関する情報を与える更なるインジケータを含む表示された内視鏡画像を示す図である。 内視鏡の姿勢に関する情報を与える更なるインジケータを含む表示された内視鏡画像を示す図である。

符号の説明

１０ シャフト
１２ 長手方向軸線
１４ 視界ベクトル
１６ 視野
１８ ハウジング
２０ カメラ
２２ 画像
２３ 電子マイクロプロセッサー
２４、２６、２８ 加速度計
３０、３２、３４ 軸線
３４ 垂直軸線
３６ 垂直投影
３８ 軸線
４０ 回動軸線
４２ 水平
４３ 重力垂直部分
４４ 画像
４５ 内視鏡画像
４６ インジケータ
４８ ストライプ
５０ インジケータ
５２ ３次元矢印インジケータ

Claims (14)

1. 内視鏡からの画像の正確な垂直配向を示す方法であって、
   画像垂直方向を計算する段階であって、前記計算する段階は内視鏡ピッチ、ロール、及び視る方向によって生じる画像配向の影響を考慮することを含む、前記計算する段階と、
   前記垂直方向のインジケータを示す段階であって、前記示す段階は表示デバイスに前記画像に加えて前記インジケータを表示することを含む、インジケータを示す前記段階と、を備える方法。
2. 前記インジケータは前記内視鏡画像の端縁周りの少なくとも１つのマーカーである、
   請求項１に記載の方法。
3. 前記インジケータは前記内視鏡画像に隣接するポインターである、請求項１に記載の方法。
4. 内視鏡の視野ベクトルの傾きを示す方法であって、
   視野ベクトルの傾斜を計算する段階であって、前記計算する段階は内視鏡ピッチ、ロール、及び視る方向によって生じる画像配向の影響を考慮することを含む、前記計算する段階と、
   前記視野ベクトルの傾斜のインジケータを提示する段階であって、前記提示する段階は表示デバイスに前記画像に加えて前記インジケータを表示することを含む、前記提示する段階と、を備える方法。
5. 前記インジケータは前記内視鏡画像の端縁周りの少なくとも１つのマーカーである、請求項４に記載の方法。
6. 前記インジケータは前記内視鏡画像に隣接するポインターである、請求項４に記載の方法。
7. 少なくとも１つの回転ピックアップ手段を具備する内視鏡の姿勢を示す方法であって、
   前記回転ピックアップ手段で前記姿勢を監視する段階と、
   前記姿勢をインジケータで提示する段階であって、前記提示する段階は表示デバイスに内視鏡画像に加えて前記インジケータを表示することを含む、前記提示する段階と、を備える方法。
8. 前記インジケータは前記内視鏡画像の端縁周りの少なくとも１つのマーカーである、請求項７に記載の方法。
9. 前記インジケータはポインターである、請求項４に記載の方法。
10. 画像の正確な垂直配向を示すシステムであって、
    画像を取得するためのスコープと、
    前記スコープの回転を監視し、かつそのための信号を生成する回転センサと、
    前記信号を受信し、かつ受信した信号に基づいて画像垂直方向を計算する前記回転センサに連結されたプロセッサと、
    取得した画像を表示するために前記スコープに連結された表示デバイスであって、前記表示デバイスは前記画像に加えて計算された画像垂直方向のインジケータを表示する、前記表示デバイスと、を備えるシステム。
11. 前記回転センサは３つの実質的に直交する軸線回りで前記スコープの回転を監視する３つのピックアップデバイスを備える、請求項１０に記載のシステム。
12. 前記回転ピックアップデバイスは加速度計である、請求項１１に記載のシステム。
13. 前記回転センサは少なくとも１つのジャイロスコープである、請求項１０に記載のシステム。
14. 前記スコープは視野ベクトル、長手方向軸線、及び、前記視野ベクトルがその回りを回動する、前記長手方向軸線から角度偏倚した視野ベクトルの回動軸線を含む、請求項１０に記載のシステム。
    

Images