JP2016527998A - 光学追跡 - Google Patents

Abstract

本発明は、好ましくは医療装置である物体の姿勢を特定する方法に関する。【選択図】図８ａ

Description

本発明は、物体の姿勢、好ましくは超音波プローブなどのハンドヘルド型医療装置の姿勢を特定する方法に関する。

様々な技術分野では、物体が動いている間の物体の姿勢、すなわち３次元方位及び位置を正確に特定することが極めて重要である。例えば、データ取得過程中に超音波プローブの姿勢を正確に特定できれば、超音波撮像中に取得されるデータを改善することができる。このような超音波プローブの姿勢を光学追跡によって特定することが提案されてきた。例えば、米国特許出願公開第２００４／０１００５５７号には、例えば３次元ビデオトラッキングシステムを用いて、超音波プローブから発せられる超音波ビームの位置及び方位を追跡する方法が開示されている。この既知の方法によれば、追跡する物体に特定のマーカ要素を与え、これをビデオシステムによって撮像する。ビデオシステムによって撮影された画像を分析すると、これらのマーカがシステムによって確認できている限り、超音波プローブの３次元位置及び方位を特定することができる。

米国特許出願公開第２００４／０１００５５７号明細書

しかしながら、超音波による患者の撮像過程中には、多くの場合、超音波装置のユーザが、患者を適切に撮像するために複雑な動きを行う必要がある。これらの動きの最中には、例えばユーザの手によって超音波プローブ上のマーカの１つ又はほとんどが覆われてしまい、或いはユーザが別様に２つのカメラの視野を遮ってしまうことがある。マーカがビデオトラッキングシステムによって十分に確認できない間は、十分な姿勢情報を特定することができない。このような時間中に撮影された超音波画像データは画質が悪く、或いは役に立たない場合もある。

従って、本発明の目的は、物体の、特に超音波プローブの姿勢を特定する改善された方法を提供することによって上述の問題に対処することである。この目的は、請求項１に記載の方法によって達成される。従属請求項には、好ましい実施形態を記載する。

従って、本発明は、好ましくは超音波プローブなどの医療装置である物体の姿勢を特定する方法に関する。この方法によれば、好ましくは超音波プローブなどの医療装置である物体が準備される。この物体は、少なくとも１つの視覚的識別要素と、物体の絶対方位及び／又は角速度を求めるための方位センサとを含む。さらに、視覚的識別要素を視覚的に追跡するように適合された少なくとも２つのカメラを設け、この方法中、各カメラは視野を有して固定されたままにする。これらのカメラは、カメラ座標系を定める。

物体が動いている間に、少なくとも２つのカメラの視野の画像データを取得する。同様に、物体が動いている間に、方位センサによって提供される方位データを取得する。従って、この方法は、１又は２以上の所与の時間間隔にわたって、又は複数の時点において、画像データ及び方位データを提供する。言うまでもなく、物体は、時々静止することもある。しかしながら、本発明の方法は、特に移動中の物体の追跡に対処する。

方法は、方位センサをカメラ座標系に対して較正し、例えばカメラ座標系などの全く同じ座標系において画像データと方位データとを比較できるようにするステップをさらに含む。次に、画像データ及び方位データを分析して、（可能性のある静止段階を含む）物体の移動中における物体の姿勢を特定する。物体の姿勢は、３次元位置データ及び３次元方位データで構成される。本発明によれば、物体の位置は、視認性の状態に応じて、画像データのみに基づいて、或いは画像データと方位データとの組み合わせに基づいて特定される。同様に、物体の方位は、識別要素の視認性に応じて、方位データのみに基づいて、或いは方位データ及び／又は画像データに基づいて特定される。

具体的には、視覚的識別要素の少なくとも一部が、物体の方位を特定できるほど十分に両方のカメラによって確認できる場合、物体の方位は、方位データ及び／又は画像データに基づいて決定される。一方で、視覚的識別要素の一部さえも、物体の方位を特定できるほど十分に両方のカメラによって確認できない場合、すなわち視覚的識別要素が両方のカメラによって物体の方位を特定できるほど十分に確認できない場合、物体の方位は、方位データのみに基づいて特定される。従って、視覚情報の不足を、方位センサによって収集された情報で補足又は置換する。

同様に、視覚的識別要素の少なくとも一部が、物体の位置を特定できるほど十分に両方のカメラによって確認できる場合、物体の位置は、画像データのみに基づいて特定される。一方で、視覚的識別要素の少なくとも一部が、この一部を識別してこの一部の位置を特定できるほど十分に両方のカメラによって確認できる場合、物体の位置は、画像データと方位データとの組み合わせに基づいて特定される。

方法は、物体の方位を方位データのみに基づいて特定する精度、及び物体の方位を画像データのみに基づいて特定する精度を推定し、より高い精度をもたらす手順を使用するステップをさらに含むことが好ましい。

第１の時間間隔中に、視覚的識別要素の一部さえも、この一部を識別してこの一部の位置を特定できるほど十分に両方のカメラによって確認できない場合、物体の位置は、補間に基づいて特定されることが好ましい。この補間は、第１の時間間隔の直前に特定された物体の位置、及び／又は第１の時間間隔の直後に特定された物体の位置に基づくことが好ましい。また、この補間は、第１の時間間隔の直前に特定された物体の速度及び／又は加速度、及び／又は第１の時間間隔の直後に特定された物体の速度及び／又は加速度に基づくこともできる。

方法は、物体に対する視覚的識別要素の位置及び／又は方位を特定し、及び／又は物体に対する方位センサの方位を特定するステップをさらに含むことが好ましい。これらの較正データは、システムを「トレーニング」することによって測定することができ、或いはこれらのデータを製造工程から知ることもできる。好ましくは視覚的識別要素は、互いに区別できてカメラによって識別できる複数の副要素及び／又は部分を含む。この場合、物体に対する視覚的識別要素の位置及び／又は方位を特定するステップは、副要素及び／又は部分の各々を識別し、物体に対する各副要素及び／又は部分の位置を特定するステップを含むことが好ましい。

視覚的識別要素は、３又は４以上の離散マーカ要素、２又は３以上のバーコード、１又は２以上の２Ｄバーコード、規則的パターン、不規則パターン、任意のパターン、幾何学的形状、物体の一部又は物体全体の２次元又は３次元表面、能動及び／又は受動マーカ、再帰反射マーカ、時間と共に所定の周期で又は非周期的に外観を変化させるように適合された能動マーカのうちの１つ又はこれらの組み合わせを含むことができる。例えば、視覚的識別要素が３つの離散球状マーカで構成されている場合、物体に対する視覚的識別要素の位置及び／又は方位を（較正の目的で）特定するステップは、球状マーカの各々を識別し、物体に対する各球状マーカの位置を特定するステップを含むことが好ましい。一方、視覚的識別要素が２Ｄパターンで構成されている場合、物体に対する視覚的識別要素の位置及び／又は方位を特定するステップは、互いに区別できてカメラによって識別できるパターンの一部を識別し、物体に対するこのような各部分の位置を特定するステップを含むことが好ましい。

方位センサは、レートジャイロ及び／又はコンパスを含むことが好ましい。

方位センサをカメラ座標系に対して較正するステップは、ｉ）少なくとも２つのカメラの視野の画像データを第１の時刻に取得し、この画像データに基づいて第１の時刻における物体の方位を特定するステップと、ｉｉ）方位センサによって提供される方位データを第１の時刻に取得し、この方位データに基づいて第１の時刻における物体の方位を特定するステップと、ｉｉｉ）ステップｉ）及びｉｉ）に基づいて特定された物体の方位を互いに関連付けることにより、方位センサをカメラ座標系に対して較正するステップとを含むことが好ましい。当然ながら、この較正は、視覚的識別要素の少なくとも一部が物体の方位を特定できるほど十分に両方のカメラによって確認できる第１の時間中に行われるべきである。次の時間間隔中に、画像データによって物体の方位を特定できない場合、この方位は、方位センサによって提供される方位データから導出することができる。

方位センサをカメラ座標系に対して較正するステップは、本発明の方法中の複数の時点で、すなわち物体が動いている間の複数の時点で行われることが好ましい。この場合、方位センサによって提供される方位データの品質は時間と共に低下するので、所与の時点の姿勢は、この所与の時点に時間的に最も近い物体の較正に基づいて特定されることが好ましい。同時追跡の場合、通常は現在時刻よりも前の最後の較正が使用される。データを保存し、後で追跡を行う場合、特定の時点の後に行われた較正をこの特定の時点のために使用することができる。

ユーザには、ステップｅ）に従って正常に行われた較正の指示、画像データから方位を特定する現在の精度、方位データから方位を特定する現在の精度、所定のレベルの精度を達成するために次の較正をいつ行う必要があるかについての指示のうちの１つ又はこれらの組み合わせを含むフィードバックが提供されることが好ましい。

物体は、ハンドヘルド型医療装置であり、好ましくは超音波プローブである。

任意に、物体が動いている間に、少なくとも２つのカメラの視野の画像データが記録される。さらに、物体が動いている間に、任意に方位データも記録される。最終的に、記録された又はライブの画像データ及び記録された又はライブの方位データを分析して、物体が動いている間の物体の姿勢を特定する。

上述したように、この方法は、物体の絶対方位及び／又は角速度を求める手段（方位センサ）を較正するステップを含む。従って、物体の絶対方位及び／又は角速度を求める手段は、物体のいくつかの既知の又は所定の方位に対する物体の相対的方位を測定するようにのみ適合されることが好ましい。一定期間にわたる（世界座標における）絶対方位を確認するためには、例えば画像データを用いて絶対方位を少なくとも一回特定し、その後にこの一回特定された絶対方位と対比して相対方位を測定することが好ましい。この較正は、物体が静止状態の場合に行われることが好ましい。一度物体の方位が正確に分かると、例えば角速度が求められると、後続のあらゆる動きの最中における物体の方位を計算することができる。任意に、物体は、物体の方位が分かっている所定の静止状態又は較正状態に置かれる。その後、この静止状態又は較正状態で、物体の絶対方位及び／又は角速度を求める手段が較正される。これに加えて、又はこれとは別に、１又は２以上の時間間隔中に、視覚的識別要素が物体の方位を特定できるほど十分に両方のカメラによって確認できる画像データを用いて物体の方位を特定することによって較正を行うこともできる。このようなさらなる較正を物体の移動中に行うことにより、物体を動かしている長い間隔中に複数の再較正を可能にすることもできる。

本発明の方法は、物体に対する視覚的識別要素の位置及び／又は方位を特定するステップをさらに含むことが好ましい。換言すれば、例えば視覚的識別要素から取得された画像データに基づいて物体の位置を特定できるように、識別要素がどのように物体に配置又は装着されているかを知っておくことが好ましい。物体に対する視覚的識別要素の位置及び／又は方位は、例えば製造仕様書から測定又は取得することができる。

以下では、３つの個々のマーカ要素で構成された少なくとも１つの視覚的識別要素を含む物体を参照して本発明の主旨を説明する。しかしながら、本発明は、このような識別要素に限定されるものではない。

少なくとも２つの立体的に配置したカメラを用いてこのような３つの異なるマーカを見ると、空間内におけるこれらのマーカの各々の３次元位置を識別することができる。物体に対するマーカの位置を知ることにより、空間内におけるこれらのマーカ位置を用いて、物体の位置及び物体の方位の両方、すなわち姿勢情報全体の計算が可能になる。しかしながら、マーカの１つが両方のカメラによって確認できない場合には、この「見つからない」マーカの位置を特定することはできない。さらに、物体は、２つのマーカによって定められる軸を中心に、これら２つのマーカの位置に影響を与えることなく回転することができ、物体の中心及び／又は基準点は、必ずしもこの軸上に存在するわけではないので、たった２つのマーカの位置を知ることで物体の位置又は方位のいずれも特定することはできない。しかしながら、移動中の物体の絶対方位及び／又は角速度を求めることによって物体の方位が分かれば、この方位データを２つの一意に識別されたマーカの画像データと組み合わせることによって物体の位置を特定することができる。実際に、このことは、物体の方位が単独で特定される限り、１つの一意に識別されたマーカしか両方のカメラによって確認できない場合であっても可能である。画像データと方位データの組み合わせに基づいて物体の位置を特定するには、３次元空間における３つのマーカのうちの少なくとも１つのマーカの位置、及びこのマーカの物体に対する位置の両方が必要であるため、マーカを識別することと、このマーカの位置を特定することの両方が必要である。

３つの異なるマーカの場合、識別して位置を特定できるほど十分な「視覚的識別要素の一部」は、例えばこれらのマーカのうちの１つになる。これらのマーカの１つが、マーカを識別してマーカの位置を特定できるほど十分に両方のカメラによって確認できる限り、（画像データを介した）このマーカの位置と、例えばレートジャイロによって提供される方位データとを組み合わせたものに基づいて物体の位置を特定することができる。

一方で、３つのマーカ、すなわち視覚的識別要素全体が、（これらのマーカの各々の位置を用いて）物体の位置を特定できるほど十分に両方のカメラによって確認できる場合、画像データのみに基づいて物体の位置を特定することができる。

物体の方位は、例えばレートジャイロによって提供される方位データ、又は画像データのいずれかに基づいて特定することができる。視覚的識別要素、すなわちこの例では３つのマーカが、物体の方位を特定できるほど十分に両方のカメラによって確認できない場合、物体の方位は、物体の絶対方位及び／又は角速度を決定する手段によって提供される方位データに基づいて特定される。一方、視覚的識別要素が、物体の方位を特定できるほど十分に両方のカメラによって確認できる場合、物体の方位は、方位データのみに基づいて、画像データのみに基づいて、或いは方位データと画像データの組み合わせに基づいて特定することができる。

物体の方位は、物体の方位を特定する様々な方法の推定される精度に基づいて特定されることが好ましい。物体の方位を方位データに基づいて特定する精度、及び物体の方位を画像データに基づいて特定する精度を推定し、より高い精度をもたらすデータを用いて物体の方位を特定することが好ましい。画像データの精度は、例えば、両方のカメラによって確認できる視覚的識別要素の特徴的長さ、又は物体と２つのカメラとの間の距離に依存し得る。一方、方位データの精度は、例えばレートジャイロの最後の較正からの経過時間に依存し得る。

従って、本発明は、物体の絶対方位及び／又は角速度を求める手段によって提供される補足情報を使用することにより、上記の例では確認できるたった１つのマーカである視覚的識別要素が部分的にしか見えない場合でも、物体の完全な姿勢情報の特定を可能にする。従って、本発明の方法は、はるかに完全かつ正確なデータセットを提供することができる。

第１の時間間隔中に、視覚的識別要素の一部さえも、この一部を識別してこの一部の位置を特定できるほど十分に両方のカメラによって確認できない場合、物体の位置は、補間に基づいて特定されることが好ましい。この補間は、第１の時間間隔の直前に特定された物体の位置、及び／又は第１の時間間隔の直後に特定された物体の位置に基づくことが好ましい。例えば、物体の位置は、第１の時間間隔中におけるこれらの２つの位置間の線形補間とすることができる。また、この補間は、第１の時間間隔の直前に特定された物体の速度、及び／又は第１の時間間隔の直後に特定された物体の速度に基づくことが好ましい。これとは別に、又はこれに加えて、加速度計を用いて、加速度に基づいてこの時間間隔内で補間を行うこともできる。

上述したように、視覚的識別要素は、３つの異なるマーカ要素で構成しなくてもよい。むしろ、視覚的識別要素は、３又は４以上の離散マーカ要素、２又は３以上のバーコード、１又は２以上の２Ｄバーコード、規則的パターン、不規則パターン、任意のパターン、幾何学的形状など、さらには物体の一部又は物体全体の２次元又は３次元表面のうちのいずれか１つ又はこれらの組み合わせを含むことができる。視覚的識別要素は、物体の表面上のディスク型マーカなどの（例えば、再帰反射性とすることができる）受動マーカ、及び／又は、好ましくは時間と共に所定の周期で又は非周期的に外観を変化させることができるＬＥＤなどの能動マーカを含むこともできる。３又は４以上の離散マーカ要素を使用する場合、これらの３又は４以上の離散マーカ要素は、非対称的に配置されることが好ましく、これらの各マーカ要素を個別に一意に識別できるように互いに異なることが好ましい。例えば、離散マーカ要素は、異なる形状、サイズ、色、又はマーカ要素上のさらなるマーキングを有することができる。

いくつかのジャイロセンサの場合、静止状態で行う必要があるリセットを行うことも好ましい。静止状態は、画像データを分析することによって決定されることが好ましい。或いは、物体が静止状態にある旨の入力をユーザによって提供することもできる。

超音波プローブを参照しながら本発明を説明したが、本発明は、あらゆる物体の姿勢を特定するために利用できることを強調したい。本発明は、医療装置の、好ましくはハンドヘルド型医療装置の姿勢を特定するために使用できることが好ましい。本発明は、超音波プローブの姿勢の特定に特に適している。

さらに、本発明は、超音波プローブと、少なくとも２つのカメラと、プロセッサとを含む、超音波撮像のための超音波装置に関する。超音波プローブは、少なくとも１つの視覚的識別要素と、超音波プローブの絶対方位及び／又は角速度を求めるための方位センサとを含む。プロセッサは、本発明の方法を参照しながら上述した方法ステップを実行するように適合される。

以下の図を参照しながら本発明の好ましい実施形態についてさらに説明する。

以下の図の凡例である。 絶対方位及び／又は角速度（ジャイロ）を求める手段の物体に対する較正を示す概略図である。 視覚的識別要素の物体に対する較正を示す概略図である。 ある時間間隔におけるジャイロの相対的回転を示す概略図である。 光学追跡を用いて物体の姿勢を特定するのに十分な視覚的識別要素情報の検出を示す概略図である。 光学追跡を用いた部分的な視覚的識別要素情報の検出を示す概略図である。 物体の姿勢の計算を示す概略図である。 超音波プローブを示す図である。 超音波プローブを示す図である。 超音波装置のブロック図である。 視覚的識別要素を含む超音波プローブを示す図である。 別の視覚的識別要素を含む超音波プローブを示す図である。 位置の精度の関数としての角度精度の決定を示す概略図である。 同一平面上にあるが同一直線上にない４つのマーカの配置を示す概略図である。 十分な視覚的識別要素情報と部分的な視覚的識別要素情報の違いを示す概念図である。 十分な視覚的識別要素情報と部分的な視覚的識別要素情報の違いを示す概念図である。 十分な視覚的識別要素情報と部分的な視覚的識別要素情報の違いを示す概念図である。

以下の詳細な説明の部分では、超音波プローブの姿勢を特定する方法を具体的に参照する。しかしながら、上述したように、全ての好ましい特徴を含む本発明全体は、一般にあらゆる物体の姿勢を特定する方法において利用することができる。

光学追跡は、一般に高い姿勢精度をもたらすが、見通し線の（全てか無か、すなわち完全な姿勢情報が得られるか、それとも全く情報が得られないかの）問題が生じやすい。レートジャイロセンサは、高精度の相対的方位情報をもたらすが、短時間（通常は約１分）に限られる。３次元光学追跡は、既知の形状及び／又はサイズ及び／又は寸法及び／又は形態の視覚的識別要素を認識又は撮像する立体カメラ装置を有することによって機能する。カメラデータの画像分析を既知の形状の視覚的識別要素と共に用いて、カメラ装置に対する視覚的識別要素の姿勢を特定する。カメラ装置は、いずれの所与の追跡セッション中にも静止しているので、カメラの座標系と世界座標系は事実上同じものであり、以下ではこれらを区別しない。現在知られている光学追跡システムは、視覚的識別要素情報が両方のカメラによって十分に確認できる時、すなわち視覚的識別要素が両方のカメラによって物体の位置を特定できるほど十分に確認できる場合に姿勢情報を送出する。カメラのいずれか一方が部分的な視覚的識別要素情報しか利用できない場合、姿勢情報は送出されない。本発明は、この無視される情報を、例えばレートジャイロ及び／又はコンパスから送られてくる相対的及び／又は絶対的方位情報と共に用いて光学追跡システムの効果的有用性を拡張することを目標とする。

カメラによって収集される視覚的識別要素に関する視覚情報は、十分、部分的、及び不十分という３つのカテゴリに分類することができる。現在の最先端光学追跡システムは、視覚的識別要素の視覚化が十分な場合、すなわち姿勢を特定するのに十分な視覚的識別要素の情報が両方のカメラによってはっきりと確認できる場合にのみ姿勢情報を送出する。本発明は、レートジャイロセンサの使用を組み込むことにより、光学追跡システムの能力を、視覚的識別要素が（一方又は両方のカメラによって）部分的にしか見えない場合にも対処するように拡張する。視覚情報が不十分な状況は、例えば視覚的識別要素が遠すぎて識別できない時、又は一般に視覚的識別要素の一部が両カメラの視野内に存在しない時に発生する。

視覚的識別要素の視覚化が十分な場合、光学追跡システムは、追跡中の物体の完全な姿勢を提供する。一方で、視覚的識別要素の視覚化が一部のみの場合、視覚的識別要素の部分的に観察される部分の位置を特定することは依然として可能であるが、追跡中の物体の位置を特定することはできない。一般的なケースでは、物体の位置の基準点が、検出された位置とは場所的に異なるので、追跡中の物体の位置を一意に特定することができない。しかしながら、この情報（視覚的識別要素の部分的に観察される部分の位置）を追跡中の物体全体の方位と組み合わせれば、追跡中の物体の完全な姿勢を取り戻すことができる。十分な視覚情報が存在しない場合には、レートジャイロからの情報を用いて追跡中の物体の完全な姿勢を特定することが好ましい。

従って、レートジャイロと、視覚的識別要素と、走査セッション中の一時点における視覚的識別要素の方位との間の変換を決定することが好ましい。一般に、走査セッションは、視覚的識別要素を追跡する継続時間に関連する。走査セッションは、視覚的識別要素が十分に視覚化される期間、及び部分的にしか視覚化されない期間で構成される。これらの期間では、部分的にしか視覚化されない場合にも、完全な物体姿勢情報を計算することができる。ＶＴＥが部分的にしか視覚化されない期間は、その継続時間を、レートジャイロセンサに依存する最大許容可能時間以下の期間に制限されることが好ましい。通常、視覚的識別要素が完全に視覚化される最低限必要な期間は、光学追跡の１ビデオフレームであり、走査セッション中のあらゆる時点で生じることができる。

図２〜図７に、本発明の方法の複数の好ましいステップを概略的に示す。図１は、座標系に関する変換（Ａ）、座標系間の回転（Ｂ）、完全な姿勢情報に関する座標系間の変換（Ｃ）、検出された十分な視覚的識別要素情報によって計算される姿勢（Ｄ）、及び本発明による、部分的な視覚的識別要素が利用可能な時に計算される姿勢（Ｅ）を示す凡例である。一般に、座標系間の変換（Ｃ）は、並進（Ａ）及び回転（Ｂ）で構成される。

図２には、追跡中の物体（Ｏ）に対するジャイロ（Ｇ）の較正を概略的に示す。ジャイロ−物体較正には相対的方位しか関連しないので、図２には、座標系間の回転（図１のＢ）しか示していない。この較正中には、レートジャイロ基準フレームと物体基準フレームとの間の一定の変換が決定される。この変換は、走査セッションを通じて変化しない。さらに、この変換は、例えば物体（超音波プローブなど）にレートジャイロが取り付けられた時に１回のみ決定すればよい。

図３には、視覚的識別要素（Ｖ）と追跡中の物体（Ｏ）の較正を概略的に示す。この較正は、並進及び回転の両方を含み、従って図３には、完全な姿勢変換（図１のＣ）を示す矢印を示している。この処理は、視覚的識別要素のタイプに応じて、位置ベクトルを各マーカに較正すること、又はスキャンによって視覚表面パターンの３次元表現を取得することで構成される。視覚的識別要素−物体較正も、例えば物体に視覚的識別要素を与える際に１回のみ実行すればよい。

本発明の方法は、世界（カメラ）座標におけるレートジャイロセンサの方位を特定するジャイロ−カメラ較正も含むことが好ましい。この較正は、各走査セッション中に少なくとも１回行われることが好ましい。ある時間間隔［ｔ_i、ｔ_i+1］中におけるジャイロの相対的回転は、レートジャイロを用いて測定することができる（図４を参照）。

一定の角速度オフセットを生じる不正確性を補償するように、レートジャイロ設定を再初期化又はリセットすることがさらに好ましい。この再初期化は、静止状態で行う必要がある。このような較正又は再初期化は、最適な精度のために走査セッション毎に少なくとも１回行われることが好ましい。

図５には、光学追跡を用いた十分な視覚的識別要素情報の検出を概略的に示す。図示の例では、視覚的識別要素（Ｖ）が、点で示す個々の１０個のマーカ要素で構成される。この例では、これらの個々の１０個のマーカ要素の各々が両方のカメラによって確認できることは、十分な視覚的識別要素情報にとって必要ではない。むしろ、これらのマーカ要素のうちの３つが両方のカメラによって確認できれば、視覚的識別要素の姿勢、従って物体の位置を特定するのに十分となり得る。

図６には、追跡を用いた部分的な視覚的識別要素情報の検出を概略的に示す。図６ａでは、視覚的識別要素（Ｖ）の個々の１０個のマーカ要素のうちの１つが、この単一のマーカ要素の位置、すなわち視覚的識別要素（Ｖ）のこの部分の位置を特定できるほど十分に両方のカメラによって確認できる。しかしながら、一般的にはこの単一のマーカ要素の周囲の物体（Ｏ）のあらゆる方位が考えられるので、物体（Ｏ）と世界座標系（Ｗ）との間の変換は不明瞭なままである。ところが、物体（Ｏ）の方位がレートジャイロからさらに識別されれば、図６ｂに示すように完全な姿勢を一意に特定することができる。

図７には、本発明による物体の姿勢を特定する方法の好ましい実施形態を概略的に示す。時刻ｔ₀では、十分な視覚的識別要素情報が利用可能であり、少なくとも２つのカメラによって提供された画像データに基づいて、物体の完全な姿勢を世界座標において特定することができる。レートジャイロは、ｔ₀とｔ₁の間、及びｔ₁とｔ₂の間の相対的回転をもたらす。ｔ₀における世界座標での物体の既知の姿勢（及びジャイロに対する物体の較正）と組み合わせて、ｔ₁及びｔ₂における世界座標に対する物体の完全な方位情報を計算することができる。時刻ｔ₂には、部分的な視覚的識別要素情報しか利用できない。換言すれば、視覚的識別要素は、物体の位置を特定できるほど十分には両方のカメラによって確認できず、視覚的識別要素の少なくとも一部（ここでは単一のマーカ）が、この一部を識別してこの一部の位置を特定できるほど十分に両方のカメラによって確認できる。図６を参照して上述したように、この情報をレートジャイロからの世界座標での方位情報と組み合わせれば、時刻ｔ₂における完全な姿勢情報を得ることができる。また、時刻ｔ₁における物体の完全な姿勢は、レートジャイロ情報を用いて物体の方位を特定し、時刻ｔ₀及びｔ₂における既に特定された位置を用いて物体の位置を補間することによって特定することができる。

上述したように、本発明による方法を用いて、図８ａ及び図８ｂに示すような超音波プローブ１の姿勢を特定することができる。超音波プローブ１は、トランスデューサアレイ２を含み、ケーブル３を介して超音波装置に接続することができる。図示の実施形態では、超音波プローブ１が、３つの離散マーカ要素４ａ、４ｂ及び４ｃで構成された視覚的識別要素４をさらに含む。図８ａでは、これらの別個のマーカ要素４ａ、４ｂ及び４ｃを概略的に同じものとして示しているが、これらのマーカ要素は、２つのカメラ７ａ及び７ｂが各マーカ要素４ａ、４ｂ及び４ｃを識別できるように、形状、サイズ又は色などが互いに異なることが好ましい。超音波プローブ１は、超音波プローブ１の角速度を求めるためのレートジャイロセンサ５をさらに含む。

図８ａに示す状況では、視覚的識別要素４全体、すなわち３つの全ての個々のマーカ要素４ａ、４ｂ及び４ｃが、２つのカメラ７ａ及び７ｂによって提供される画像データを用いて物体の位置を決定できるほど十分に２つのカメラによって確認できる。しかしながら、例えば図８ｂに示すように、マーカ要素４ａ及び４ｂがユーザの手６によって覆われている場合には、１つのマーカ要素４ｃ、すなわち視覚的識別要素４の一部しか、この個々のマーカ要素４ｃを識別してこのマーカ要素４ｃの位置を特定できるほど十分に両方のカメラによって確認できない。この場合、２つのカメラ７ａ及び７ｂによって提供される画像データと、レートジャイロセンサ５の出力との組み合わせに基づいて、上述したように完全な姿勢情報を特定することができる。

図９は、本発明による超音波装置のブロック図である。この超音波撮像のための超音波装置は、超音波プローブと、少なくとも２つのカメラと、ＣＰＵ又はプロセッサとを含む。超音波プローブは、少なくとも１つの視覚的識別要素と、ジャイロなどの、超音波プローブの絶対方位及び／又は角速度を求める手段とを含む。プロセッサ又は中央処理装置は、上述したような本発明による方法を実行するように適合される。

図１０ａ及び図１０ｂの各々には、代替的な視覚的識別要素４を含む超音波プローブ１を示す。図１０ａに示す実施形態では、視覚的識別要素が複数の個々の離散マーカ要素を含み、図１０ｂに示す実施形態の視覚的識別要素は、２Ｄバーコードで構成される。超音波プローブ１の方位を特定するための角度精度は、２つのカメラによって確認できる視覚的識別要素の一部の特徴的距離に依存する。図１０ａに示すような離散マーカを使用する場合、所与の方向の特徴的距離が、確認できるマーカのうちのいずれか２つのマーカ間の最大投影距離によって特定される。例えば、図１０ａに示す状況では、２つのマーカ４ａと４ｂの間の距離によって第１の軸に沿う特徴的距離ｄ₁が定められ、２つのマーカ４ｃと４ｄの間の距離によって第２の垂直軸に沿う特徴的距離ｄ₂が定められる。図１０ｂに示すような連続平面パターンを使用する場合、特徴的距離は、パターンの認識可能部分の各角度の最長投影距離であり、例えば図１０ｂに示すパターンの拡大部分がカメラによって確認できる場合には、第１の軸に沿うｄ₁及び第２の垂直軸に沿うｄ₂である。

いずれにせよ、角度精度は、特徴的距離が増えるにつれて高くなる。図１１には、特徴的距離と、位置誤差と、角度誤差との間の関係を示す。特徴的距離をｄとし、位置誤差をδｘ＜＜ｄとした場合、最大角度誤差δθは、ｔａｎ（δθ）＝２δｘ／ｄによって与えられる。特徴的距離が位置誤差よりも大幅に大きい場合には、微小角近似を用いてｔａｎ（δθ）＝δθとなり、従ってｄが増えるにつれて角度誤差が減少し、或いは換言すれば、ｄが増えるにつれて回転精度が上昇する。特徴的距離ｄによって決まる回転精度は、ｄに垂直な平面内に軸を有する回転に当てはまる。図１１では、平面をＰによって示し、回転軸を

によって示している。ｄ₁及びｄ₂の各々は、ｄ₁軸及びｄ₂軸にそれぞれ垂直な２次元における回転精度を定める。従って、３次元における正確な方位の特定には、図１０ａ及び図１０ｂに示すような単一の平面上の視覚的識別要素、並びにこの平面上の２つの大きな垂直の特徴的距離ｄ₁及びｄ₂があれば十分である。図１２には、同一平面上にあるが同一直線上にない４つのマーカ、並びに特徴的距離ｄ₁及びｄ₂を示す。３次元における総角度精度は、ｄ₁軸及びｄ₂軸とは異なるものを含むいずれかの１次元で達成できる最小角度精度によって与えることができる。図示の回転軸

は、この軸の周囲の角度精度が最も低い軸である。一般に、精度の定義によれば、３次元における任意の回転軸を中心とした角度精度は、この回転軸と、例えば離散光学マーカのうちの１つとの間で得られる最も大きな距離にほぼ比例する。軸

を中心とする角度精度を

とした場合、

となる。３次元空間における総角度精度をＡ°とした場合、

となる。

連続パターンでは、特徴的距離が減少又は増加するにつれ、連続的な精度の減少又は増加が見られる。球状のマーカを用いた場合、精度は、やはり距離に依存するが、被覆によって連続的でなくなり（マーカが見えたり見えなかったりし）、当然ながら視野によって連続的になる。連続パターンでは、十分な視覚的識別要素情報と部分的な視覚的識別要素情報との差異を、最小許容可能回転精度のための閾値によって定めることができる。この概念を図１３に示す。図１３ａには、離散マーカの場合に、視覚的識別要素情報の量（ＶＩ）を十分（Ｓ）、部分的（Ｐ）、及び不十分（Ｉ）という３つの分類に分類したものを示す。情報量は、カメラによって確認できる離散マーカの数（＃Ｍ）によって決まる。非同一線上の３又は４以上のマーカは、完全な姿勢を特定するのに十分な情報の状態に対応する。１つ又は２つのマーカは、確認できる部分の位置は特定できるが完全な方位は特定できない部分的な情報の状態に対応する。確認できるマーカゼロは、いずれかの姿勢データを求めるには不十分な情報の状態に対応する。図１３ｂには、２つの特徴的方向ｄ１及びｄ２と、３つの空間方向全てにおける総角度精度Ａ°との間の関係を示す。最小特徴的距離閾値ｄ_thに直接関連する閾値精度ａ_thが決定される。図１３ｃに示すように、この閾値精度が、２Ｄパターンの場合の部分的な視覚的識別要素情報の状態から十分な視覚的識別要素情報の状態への遷移を決定する。２Ｄパターンの場合の部分的な視覚的識別要素情報と不十分な視覚的識別要素情報との間のカットオフは、パターンが両方のカメラによって確認又は区別できなくなって精度がゼロになった時に行われる。

好ましい実施形態によれば、例えばレートジャイロセンサ及び画像データ（光学追跡）によって提供される回転データを使用する重みを精度に応じて連続的にシフトさせることができる。或いは、精度のカットオフ・ポイントを設けることもできる。これらの好ましい実施形態は、いずれもレートジャイロセンサのドリフトレート及び所望の方位及び精度に基づいてレートジャイロセンサの精度決定と組み合わせることができる。さらに、精度が異なる回転次元（上記を参照）は、単独で取り扱われることが好ましい。

上述したように、十分な視覚的識別要素情報にとって、視覚的識別要素全体が両方のカメラによって確認できることは必ずしも必要でない。むしろ、視覚的識別要素の確認できる部分が、完全な姿勢を許容できる精度で特定するのに十分なものである必要がある。球状マーカ又はディスクマーカを使用する場合、十分な視覚的識別要素情報には、少なくとも３つの一意に識別されるマーカが必要である。ＱＲコード（登録商標）、或いはランダムパターン又は構造化パターンを使用する場合、十分な視覚的識別要素情報には、回転精度のための最小サイズのコード又はパターンの一部が必要である。一方、部分的な視覚的識別要素情報は、１又は２以上の一意に識別される球状マーカ又はディスクマーカ、或いはコード又はパターンの識別可能部分を意味することができる。不十分な視覚的識別要素情報は、確認できるマーカが存在せず、或いは、マーカが離れすぎていて、全てのマーカが例えばＣＣＤアレイの同じ要素を励起し、互いに区別できなくなることに対応する。

本発明の視覚的識別要素は、能動的なもの（例えば、赤外線ダイオード）、或いは受動的なもの（例えば、再帰反射性のもの）とすることができる。これらの要素は、個々のマーカ又はパターンとすることができる。これらの要素は、特定の形状（ディスク、球状及びその他）を有することも、或いは追跡する物体自体の外観とすることもできる。

視覚的識別要素の一部しかカメラによって確認できず、部分的な追跡情報が提供される場合、すなわち確認できる部分の位置は提供されるが、視覚的識別情報自体の位置も方位も提供されない場合、例えば以下のようにして、追跡中の物体の位置及び方位を特定することができる。

カメラによって確認できる視覚的識別要素の一部の世界座標又はカメラ座標（Ｗ）における位置ベクトルをｐ₁とし、カメラによって確認できる視覚的識別要素の一部の視覚的識別要素座標（Ｖ）における位置ベクトルをｐ₂とする。なお、ｐ₁は、物体が移動するにつれて変化するが、視覚的識別要素はそれ自体が剛性であり、そのあらゆる部分は、視覚的識別要素独自の座標系、すなわち視覚的識別要素によって決まる座標系に対して一定の位置及び方位に留まるので、ｐ₂は一定である。図３に示す視覚的識別要素座標系と物体座標系（Ｏ）との間の剛性変換は、物体に対する視覚的識別要素の較正手順によって決定され、視覚的識別要素が物体にしっかりと取り付けられた時点で行われることが好ましい。この剛性変換は、視覚的識別要素座標系に対する物体座標系の姿勢を以下のように表し、

式中、ｐ_OVは、物体座標系から視覚的識別座標系への変換であり、_OＲ^Vは、視覚的識別要素座標の位置ベクトルを物体座標に変換する回転行列である。この姿勢情報を用いて、カメラによって確認できる視覚的識別要素の一部の物体座標における位置ｐ３を以下のように求めることができる。

図６ａでは、ｐ₁が、世界座標系（Ｗ）の基準点からカメラによって確認できる視覚的識別要素の一部を表す黒点までの矢印によって表され、ｐ₃が、物体座標系（Ｏ）の基準点からカメラによって確認できる視覚的識別要素の一部を表す黒点までの矢印によって表される。

世界座標における物体の位置ｐ_WOを求めるには、物体座標における位置ベクトルを世界座標における位置ベクトルに変換する回転行列_WＲ^Oが必要である。この結果、次式が得られる。

しかしながら、回転行列_WＲ^Oは、厳密には世界座標における物体の方位であり、図２に示す世界座標におけるジャイロセンサ（Ｇ）の方位_WＲ^G、及びジャイロセンサと物体との間の予め定められた相対的方位_GＲ^Oから得られる。すなわち、次式のようになる。

従って、世界座標における完全な物体の姿勢は以下のようになる。

１ 超音波プローブ
２ トランスデューサアレイ
３ ケーブル
４ 視覚的識別要素
４ａ、４ｂ、４ｃ 離散マーカ要素
５ レートジャイロセンサ
６ ユーザの手
７ａ、７ｂ カメラ

Claims (15)

1. 好ましくは医療装置である物体の姿勢を特定する方法であって、
   ａ）少なくとも１つの視覚的識別要素と、前記物体の絶対方位及び／又は角速度を求めるための方位センサとを含む、好ましくは医療装置である物体を準備するステップと、
   ｂ）前記少なくとも１つの視覚的識別要素を視覚的に追跡するように適合され、各々が視野を有し、前記方法中に静止している少なくとも２つのカメラであって、カメラ座標系を定める少なくとも２つのカメラを準備するステップと、
   ｃ）前記物体が動いている間に、前記少なくとも２つのカメラの視野の画像データを取得するステップと、
   ｄ）前記物体が動いている間に、前記方位センサによって提供される方位データを取得するステップと、
   ｅ）前記方位センサを前記カメラ座標系に対して較正するステップと、
   ｆ）前記画像データ及び前記方位データを分析して、前記物体の移動中における該物体の姿勢を特定するステップと、
   を含み、
   ｆ１）前記視覚的識別要素の少なくとも一部が、前記物体の前記方位を特定できるほど十分に両方のカメラによって確認できる場合、前記物体の方位は、前記方位データ及び／又は前記画像データに基づいて特定され、
   ｆ２）前記視覚的識別要素が、前記物体の方位を特定できるほどに十分に両方のカメラによって確認できない場合、前記物体の方位は、前記方位データのみに基づいて特定され、
   ｆ３）前記視覚的識別要素の少なくとも一部が、前記物体の前記位置を特定できるほど十分に両方のカメラによって確認できる場合、前記物体の位置は、前記画像データのみに基づいて特定され、
   ｆ４）前記視覚的識別要素の少なくとも一部が、該一部を識別して該一部の位置を特定できるほど十分に両方のカメラによって確認できる場合、前記物体の位置は、ステップｆ１）又はｆ２）によって特定された前記画像データと前記方位データとの組み合わせに基づいて特定される、
   ことを特徴とする方法。
2. ステップｆ１）は、前記物体の方位を前記方位データのみに基づいて特定する精度、及び前記物体の方位を前記画像データのみに基づいて特定する精度を推定し、ステップｆ１）において、より高い精度をもたらす手順を使用するステップをさらに含む、
   請求項１に記載の方法。
3. 第１の時間間隔中に、前記視覚的識別要素の一部さえも、該一部を識別して該一部の位置を特定できるほど十分に両方のカメラによって確認できない場合、前記物体の位置は、補間に基づいて特定される、
   請求項１又は２に記載の方法。
4. 前記補間は、前記第１の時間間隔の直前に特定された前記物体の位置、及び／又は前記第１の時間間隔の直後に特定された前記物体の位置に基づく、
   請求項３に記載の方法。
5. 前記補間は、前記第１の時間間隔の直前に特定された前記物体の速度及び／又は加速度、及び／又は前記第１の時間間隔の直後に特定された前記物体の速度及び／又は加速度に基づく、
   請求項３又は４に記載の方法。
6. 前記物体に対する前記視覚的識別要素の位置及び／又は方位を特定し、及び／又は前記物体に対する前記方位センサの方位を特定するステップをさらに含む、
   請求項１から５のいずれかに記載の方法。
7. 前記視覚的識別要素は、互いに区別できて前記カメラによって識別できる複数の副要素及び／又は部分を含み、前記物体に対する前記視覚的識別要素の位置及び／又は方位を特定するステップは、前記副要素及び／又は前記部分の各々を識別し、前記物体に対する前記副要素及び／又は前記部分の各々の位置を特定するステップを含む、
   請求項６に記載の方法。
8. 前記視覚的識別要素は、３又は４以上の離散マーカ要素、２又は３以上のバーコード、１又は２以上の２Ｄバーコード、規則的パターン、不規則パターン、任意のパターン、幾何学的形状、前記物体の一部又は前記物体全体の２次元又は３次元表面、能動及び／又は受動マーカ、再帰反射マーカ、時間と共に所定の周期で又は非周期的に外観を変化させるように適合された能動マーカのうちの１つ又はこれらの組み合わせを含む、
   請求項１から７のいずれかに記載の方法。
9. 前記方位センサは、レートジャイロ及び／又はコンパスを含む、
   請求項１から８のいずれかに記載の方法。
10. 前記方位センサを前記カメラ座標系に対して較正するステップは、ｉ）前記少なくとも２つのカメラの視野の画像データを第１の時刻に取得し、前記画像データに基づいて前記第１の時刻における前記物体の方位を特定するステップと、ｉｉ）前記方位センサによって提供される方位データを前記第１の時刻に取得し、前記方位データに基づいて前記第１の時刻における前記物体の方位を特定するステップと、ｉｉｉ）ステップｉ）及びｉｉ）に基づいて特定された前記物体の方位を互いに関連付けることにより、前記方位センサを前記カメラ座標系に対して較正するステップとを含む、
    請求項１から９のいずれかに記載の方法。
11. 前記方位センサを前記カメラ座標系に対して較正するステップは、前記物体が動いている間に複数の時点で行われ、所与の時点の前記姿勢は、該所与の時点に時間的に最も近い前記物体の較正に基づいて特定される、
    請求項１から１０のいずれかに記載の方法。
12. ステップｅ）に従って正常に行われた較正の指示、前記画像データから前記方位を特定する現在の精度、前記方位データから前記方位を特定する現在の精度、所定のレベルの精度を達成するために次の較正をいつ行う必要があるかについての指示のうちの１つ又はこれらの組み合わせを含むフィードバックがユーザに提供される、
    請求項１から１１のいずれかに記載の方法。
13. 前記物体は、ハンドヘルド型医療装置であり、好ましくは超音波プローブである、
    請求項１から１２のいずれかに記載の方法。
14. 超音波撮像のための超音波装置であって、超音波プローブと、少なくとも２つのカメラと、プロセッサとを備え、前記超音波プローブは、少なくとも１つの視覚的識別要素と、前記超音波プローブの絶対方位及び／又は角速度を求めるための方位センサとを含み、前記プロセッサは、請求項１の方法ステップｃ）〜ｆ）と、任意に請求項２〜７及び請求項９〜１１の方法ステップとを実行するように適合される、
    ことを特徴とする超音波装置。
15. 前記視覚的識別要素は、３又は４以上の離散マーカ要素、２又は３以上のバーコード、１又は２以上の２Ｄバーコード、規則的パターン、不規則パターン、任意のパターン、幾何学的形状、前記物体の一部又は前記物体全体の２次元又は３次元表面、能動及び／又は受動マーカ、再帰反射マーカ、時間と共に所定の周期で又は非周期的に外観を変化させるように適合された能動マーカのうちの１つ又はこれらの組み合わせを含む、
    請求項１３に記載の超音波装置。

Images