JP2021513412A - 複数の画像のスティッチングによるイメージングシステム及び方法 - Google Patents

Abstract

イメージングシステムが、対象者の表面の下の関心構造に関する画像データを取得するためのプローブと、対象者の表面の画像を取得するための第１のカメラと、環境の画像をキャプチャするための第２のカメラとを組み合わせる。対象者の表面の表面モデルが取得され、表面上のプローブの位置及び／又は配向が追跡される。プローブの追跡された位置に基づいて、異なる位置及び配向において収集された画像データがスティッチされる。

Description

本発明は、関心構造の複数の画像が互いにスティッチされるイメージングシステム及び方法に関する。

一般に、超音波イメージングなど、イメージング技法は、限られた視野を有する。いくつかの適用例、例えば、末梢脈管又は筋骨格の疾患の診断の場合、この視野は、正確で適時の診断のためには小さすぎる。

口語的にパノラマ画像として知られる、より大きい画像を形成するために、超音波プローブの異なる位置及び配向からの複数の画像が必要とされる。パノラマイメージングは、完全な構造と、周囲の解剖学的特徴に対する完全な構造の関係との表示、並びに定量的長距離測定を可能にする。これらの画像は現在、単に、スペックル相関関係などのイメージング技法及びソフトウェアに基づくか、又はそうでなければカメラ又は追加のハードウェアの事前較正されたセットを必要とする外部追跡デバイスに基づく、レジストレーション方法によって一緒にスティッチされる。イメージング技法の場合、レジストレーションされた画像は、エラーを起こしやすく、生成するのが遅く、大きいひずみを有する。追跡手法は、特定のロケーションに配置された複数の高品質カメラと、付随する視覚認識ソフトウェアとが必要とされるので、極めてコストがかかる。他のレジストレーション方法は、光学測定デバイス又は電磁追跡を伴い、これらは、同じくコストがかかり、追加のハードウェアを必要とする。

通常の光学位置測定デバイスは、高い測定速さ及び同等に高い位置精度を提示するが、回転を測定する際のそれらの精度は、カメラ及び物体の構成に応じて限られており、パノラマ超音波又は単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）イメージングなど、いくつかの適用例のために必要とされるサブミリメートル精度にとって不十分であることがある。

さらなる問題は、生成されたパノラマ画像が、対象者の解剖学的構造の特定の特徴に対する知られている位置関係を有せず、それにより、さらなるインターベンション、例えば針穿刺が必要とされる場合、対象者の表面上の正しい入口点を見つけることが困難であることである。

Ｓｕｎ Ｓｈｉｈ Ｙｕら、「Ｐｒｏｂｅ ｌｏｃａｌｉｚａｔｉｏｎ ｆｏｒ Ｆｒｅｅｈａｎｄ ３Ｄ Ｕｌｔｒａｓｏｕｎｄ ｂｙ Ｔｒａｃｋｉｎｇ Ｓｋｉｎ Ｆｅａｔｕｒｅｓ」ＸＰ０４７３１８８８９は、例えば、プローブに搭載されたカメラと、ＳＬＡＭ（同時位置特定及びマッピング）アルゴリズムとを使用する、皮膚表面マッピングにも関与する、超音波プローブ位置特定のためのシステムを開示している。

本発明は特許請求の範囲によって定義される。

本発明の態様による例によれば、イメージングシステムが提供され、イメージングシステムは、
対象者の表面の下の対象者の関心構造の画像データを収集するために対象者の表面の上又は近くに配置されるように適応されたプローブであって、プローブが、
画像データを取得するためのイメージングトランスデューサと、
表面の画像を収集するように適応された第１のカメラと、
第１のカメラと表面との間の距離よりも大きい距離における環境から補足情報を収集するように適応された第２のカメラと、
（ｉ）表面の画像に基づく表面の表面形状及びテクスチャと（ｉｉ）第２のカメラの補足情報に基づく環境との表面モデルを構築し、表面モデルに基づいて表面上のプローブの位置及び／又は配向を追跡するように適応されたプロセッサとを備える、プローブと、
プローブの追跡された位置及び／又は配向に基づいて、異なる位置及び／又は配向において収集された画像データをスティッチするように適応されたプロセッサと
を備える。

このイメージングシステムは、関心構造のスティッチされた画像を生成し、それにより、大きい視野が達成され、したがって、いわゆるパノラマ画像を形成する。カメラで対象者の表面及びテクスチャの画像データ及び画像を収集することによって、好ましくは同時に、追加のハードウェア構成なしにプローブの配向と配置とが知られ得る。このようにして、正しく整合された画像から、得られたイメージングされた関心構造がすでに形成されたので、画像レジストレーションは不要である。

表面の画像は、対象者の表面上のランドマークを与え、これらは可視化され、インターベンショナル目的で使用される。表面上のロケーションが識別される精度は、形状とテクスチャの両方の表面モデルを与えることによって、改善される。例として、表面モデルは、オペレータが、後で（数日、数週間又は数ヶ月後）別のスキャンを実行し、前と同じロケーションにプローブを配置することができることを可能にし、それにより、スキャンされた画像間で正確な比較が行われ得る。

表面モデルは、プローブの位置及び／又は配向の追跡を可能にする。また、画像解析は、プローブが対象者に接触したときの検出を可能にする。

表面モデルは、プローブにおいてローカルに生成される。（画像データ、例えば超音波画像データの）画像スティッチングは、好ましくは、リモートで実施される。表面モデルがプローブにおいてローカルに作成されるので、座標と組み合わせた表面モデル（形状及びテクスチャ）は、画像データ（例えば超音波画像）に対応するプローブ位置及び配向を表す画像データとともに送信される必要があるにすぎない。これは、スティッチングが、プローブからの最小量のデータ送信を伴って実施されることを可能にする。

完全統合ソリューションでは、画像スティッチングもプローブにおいて実施され得る。

スティッチングは、複数の２Ｄ画像から形成されたパノラマ画像を形成するために使用されるか、又はスティッチングは、２Ｄ画像のセットから、あるボリュームの３Ｄ画像を生成するために使用される。

一実施形態では、プローブは超音波トランスデューサである。別の実施形態では、プローブは、ハンドヘルド単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）イメージングデバイスである。さらなる実施形態では、プローブはモバイルＸ線ユニットである。

プロセッサは、好ましくは、同時位置特定及びマッピング（ＳＬＡＭ）アルゴリズムを使用して、対象者の表面モデルを構築するように適応される。

ロボットマッピング及びセルフナビゲーション産業で使用されるＳＬＡＭアルゴリズムなど、ＳＬＡＭアルゴリズムを使用して、空間における（すなわち対象者の皮膚上の）プローブの位置特定が知られ得るだけでなく、追加の画像（すなわち対象者の皮膚のマップ）も同時に作成され得る。

第２のカメラは、環境及び対象者表面からの補足情報を使用する表面モデルの構築を可能にし、したがって、１つではなく２つのデータセットにより位置特定の精度を増加させる。詳細には、配向情報は、第２のカメラを使用すると、より正確である。カメラ及びプローブは、固定され、知られている位置及び配向関係を有する。第２のカメラは、例えば、イメージングが実施されている部屋の天井又は壁を向く。これは、追加の座標系を与える。

本発明のシステムにおいて採用されるカメラは、光学、近赤外、又はハイパースペクトルカメラである。血管及び皮膚のひだなど、カメラ画像中の特徴がない場合、表面モデルの構築は、位置特定機能がうまく機能しないので、最適に動作しない。近ＩＲなどのスペクトル範囲は、これらが、表在血管、並びに対象者の表面詳細のより多くを示すので、使用され得る。ハイパースペクトルイメージングとして知られている、スペクトルの範囲の組合せも、環境並びに対象者の表面に関するより多くのデータを収集することによって精度を増加させるために使用され得る。

カメラ信号は本質的に、カメラによってイメージングされた環境（すなわち対象者の皮膚）のマップを同時に作成しながら、空間におけるカメラの位置（位置及び配向）を特定するための、当技術分野ですでに知られている表面モデル構築方法によって使用され得るビデオストリームである。

プローブが超音波トランスデューサである例では、超音波信号データとカメラビデオデータとが結合され、好ましくは、カメラと超音波トランスデューサとが互いに堅く結合されるので、トランスデューサ−カメラユニットが較正される場合、空間における超音波画像の配向も知られている（すなわち、カメラ空間から超音波空間への座標変換が知られている）。

表面モデルの表現が、画像データ（例えば超音波）と一緒にディスプレイ上でレンダリングされる。その表現は、例えば、対象者の皮膚表面テクスチャの表現とともに対象者の皮膚の３Ｄ表面メッシュを備え、画像データへの空間結合によりディスプレイ上でレンダリングされる。

記録された画像は、さらにセグメント化され得る。例えば、脈管流（ｖａｓｃｕｌａｒ ｆｌｏｗ）マップが生成され、ドップラーモードで超音波プローブを使用するときの対象者の表面モデルに関係付けられる。冠血流予備量比（ＦＦＲ）及び瞬時血流予備量比（ｉＦＲ）など、他のシミュレーションも、セグメント化された３Ｄ画像上で行われる。

好ましい実施形態では、表面モデルが、関心構造の３Ｄ画像と空間的にレジストレーションされて、ディスプレイ上でレンダリングされる。

本発明は、
上記で定義された、イメージングシステムと、
イメージングシステムとともに使用するためのインターベンショナル処置システムと
を備える処置システムをも提供する。

例として、処置システムが、例えばインターベンショナルＸ線システム（Ｃアーム）を使用する場合、マルチモード画像統合のためにＸ線システムに対する表面の画像データ及び画像の位置を特定するために、イメージングシステムの追加のカメラが使用され得る。

また、追加のカメラは、好ましくはプローブに固定されるが、追加のカメラは、対象者の表面から外れてインターベンショナルシステム（例えばＸ線システム）を向く。したがって、それは、プローブに対するインターベンショナルシステムの位置を特定し、その後、インターベンショナルシステムに対する対象者表面及びプローブ画像の位置を特定するために使用され得る。

本発明の別の態様による例によれば、イメージングトランスデューサと第１のカメラ及び第２のカメラとを備えるプローブを使用するイメージング方法であって、イメージングトランスデューサ、第１のカメラ及び第２のカメラが、プローブに対する固定された位置関係を有する、イメージング方法が提供され、イメージング方法は、
プローブが対象者の表面の上又は近くに配置された、プローブのイメージングトランスデューサを使用して、対象者の表面の下の対象者の関心構造の画像データを収集するステップと、
第１のカメラで表面の画像を収集するステップと、
第２のカメラを使用して、第１のカメラと表面との間の距離よりも大きい距離における環境から補足情報を収集するステップと、
プローブにおいて、プローブからの収集された画像データと第１のカメラ及び第２のカメラからの収集された画像とを処理するステップであって、処理するステップが、（ｉ）表面の画像に基づく表面の表面形状及びテクスチャと（ｉｉ）第２のカメラの補足情報に基づく環境との表面モデルを構築するステップと、構築された表面モデルに基づいて表面上のプローブの位置及び／又は配向を追跡するステップとを有する、処理するステップと、
プローブの追跡された位置及び／又は配向に基づいて、収集された画像データをスティッチするステップと
を有する。

表面モデルの構築及び位置追跡は、画像データ処理の一部として同時に行われる。

この処理方法は、隣接する画像間の一連の画像レジストレーションに依拠せず、むしろカメラによる位置特定に依拠する。したがって、それは、長距離精度及び低ひずみをもつボリュメトリック画像を作成する。

対象者の表面モデルを構築することは、例えば、同時位置特定及びマッピング（ＳＬＡＭ）アルゴリズムを使用する。第２のカメラを使用して、環境から補足情報も取得される。

本方法は、表面の３Ｄ表面メッシュを備えるマップの作成のために、カメラからの信号とプローブからの信号とを同期的に読み取るステップを有する。

本発明は、少なくとも部分的にソフトウェアで実施される。

本発明のこれら及び他の態様は、以下で説明される（１つ又は複数の）実施形態から明らかになり、それらに関して解明されるであろう。

次に、添付の図面を参照しながら本発明の例が詳細に説明される。

表面モデル構築において使用するための画像を得るためのカメラをもつ、対象者の表面上のプローブを示す図である。 アキレス腱についてのマルチモード画像データオーバーレイの美術的（ａｒｔｉｓｔｉｃ）表現を示す図である。 環境から補足画像を収集するための追加のカメラをもつ、さらなるプローブを示す図である。 イメージング方法を示す図である。 図１のプローブの超音波トランスデューサ部分を形成する超音波システムを示す図である。

図を参照しながら本発明が説明される。

詳細な説明及び特定の例は、装置、システム及び方法の例示的な実施形態を示すが、単に説明のためのものであり、本発明の範囲を限定するためのものではないことを理解されたい。本発明の装置、システム及び方法のこれら及び他の特徴、態様、及び利点が、以下の説明、添付の特許請求の範囲、及び添付の図面からより良く理解されるようになるであろう。図は概略であるにすぎず、一定の縮尺で描画されていないことを理解されたい。また、同じ又は同様の部分を示すために、図全体にわたって、同じ参照番号が使用されることを理解されたい。

本発明は、対象者の表面の下の関心構造に関する画像データを取得するためのプローブと、対象者の表面の画像を取得するための第１のカメラと、環境の画像をキャプチャするための第２のカメラとを組み合わせるイメージングシステムを提供する。対象者の表面の表面モデルが取得され、同時に表面上のプローブの位置及び／又は配向が追跡される。プローブの追跡された位置に基づいて、異なる位置及び配向において収集された画像データがスティッチされる。

図１は、対象者１０を対象者の表面上の超音波プローブ１２とともに示す。超音波プローブ１２は、対象者の表面の下の関心構造の超音波イメージングを与えるための超音波ヘッド１３を備える。このイメージングプロセスが、画像データを生じる。したがって、「画像データ」という用語は、表面の下の関心ボリュームのイメージングから生じるデータを表すために使用される。したがって、概して、それは、表面の下に進入するイメージング信号の使用に依拠する。以下でさらに説明されるように、超音波イメージングは、可能なイメージングモダリティの一例にすぎない。

さらに、超音波プローブ１２は、表面の画像を集めるために、例えば、近赤外スペクトルにおいて感度が高い第１のカメラ１４を備える。表面画像を生成するために、イメージング信号が表面の下に進入する必要はなく、可視光が使用され得る。しかしながら、近赤外スペクトルなど、光の他の波長が、さらに、表面の下のボリュームに関係する何らかの情報を取得することを可能にする。近赤外検知の使用は、特に、他のスペクトルからの画像では存在しない、表在静脈の検出を可能にする。

表面の画像が、いくらかの深度関係の情報を伝達するときでも、画像データは、表面の画像よりも深い深度に至る関心構造に関係する情報を与える。

カメラ１４の視野内のエリア１６が示されている。

プローブ１２の動作中、カメラ１４によって集められた表面の画像とプローブ１２の超音波ヘッドによって集められた画像データとが、一緒にプロセッサ１８に与えられて、表面モデルが構築される。ディスプレイデバイス２０への出力を与えるために、表面モデルと超音波画像データとが使用される。

プロセッサ１８は、プローブの一部であり、したがって、対象者をスキャンするための装置の一部である。

ロボットマッピング及びセルフナビゲーション産業で使用される同時位置特定及びマッピング（ＳＬＡＭ）アルゴリズムなど、ＳＬＡＭアルゴリズムによって表面モデルが生成される。ＳＬＡＭは、知られていない環境のマップを構築又は更新し、同時にマップ内の計器の現在ロケーションを追跡する、計算上の問題として定義される。この問題を解決するために、限定はしないが、カルマンフィルタ、粒子フィルタ（すなわちモンテカルロ法）及び範囲データのスキャンマッチングを含む、いくつかの統計的方法が使用される。

ＳＬＡＭアルゴリズムは、カメラ１４からの画像と超音波ヘッド１３からの画像データとを使用して、空間における（すなわち対象者の表面上の）プローブ１２の位置を特定しながら、同時にマップ（すなわち対象者の皮膚のマップ）を作成することができる。近赤外カメラによってイメージングされた表在静脈は、マッピングのために、光学画像よりも多くの詳細をＳＬＡＭアルゴリズムに与える。当業者に明らかであるように、様々な構築モデル技法と、プローブ及びカメラからの近赤外画像、Ｘ線画像、光学画像などの画像データソースとの組合せが使用される。

異なるプローブロケーション及び／又は配向に関する画像データがスティッチされて、関心３Ｄボリュームの３Ｄ画像が形成される。このスティッチされた画像は、表面画像と組み合わせられて、２つの画像タイプが互いにレジストレーションされて表示される組み合わせられた画像を形成し、それにより、マルチモード画像を形成する。

図２は、アキレス腱についてのマルチモード画像の美術的表現を示し、この場合、アキレス腱が対象者１０の関心構造である。画像は、３Ｄスティッチされた３Ｄ超音波画像３２とレジストレーションされた、表面モデルの３Ｄ表面メッシュ３０を備える。３Ｄ表面メッシュ３０は、プローブ１２の使用中に表面モデルアルゴリズムによって作成されたマップを表す。超音波画像データは、表面の画像と同時に収集される。表面モデルの作成を可能にする各超音波画像について、空間におけるプローブの位置及び配向が知られている。その場合、使用されるアルゴリズムにより、表面画像の処理に基づくレジストレーションは不要であり、したがって、最小ひずみをもつリアルタイム表示が、ディスプレイデバイス２０上にレンダリングされ得る。開示される処理方法は、隣接する画像間の一連のレジストレーションに依拠せず、カメラによる位置特定に依拠するので、開示される処理方法は、長距離精度をもつ画像を作成する。

技術者がプローブ１２を操作するにつれて、より多くのデータがカメラ１４から収集され、それを使用して、３Ｄ表面メッシュ３０を更新することができるので、ＳＬＡＭアルゴリズムは、３Ｄ表面メッシュ３０を絶えず更新することができる。この絶えず更新する表面は、それがリアルタイムで発展するようにディスプレイ上に示され得るか、又は、空間的に結合された超音波画像と表面メッシュとのスナップショットが、所定の間隔で示される。

空間的結合において表示された画像は、ディスプレイデバイス１０上に表示され得るＦＦＲ／ｉＦＲなどのシミュレーションにおいても有用である。そのようなシミュレーションの場合、画像はセグメント化される必要があり、これは、プロセッサ１８によって実施され得る。

さらに、脈管流マップが生成され、ドップラーモードで超音波プローブを使用するときの対象者の表面モデルに関係付けられ得る。表面メッシュと画像データとが結合されるが、各々からのデータは、何らかのコンピュータソフトウェア（図示せず）によって個々に記憶され、後で呼び出される。したがって、（ドップラーイメージングがその一例である）機能イメージングデータが、３Ｄデータセットに追加される。

図３は、対象者１０を対象者の表面上のプローブ１２とともに示す。図２と同様に、表面画像を得るための第１のカメラ１４が与えられ、表面画像は随意に表在血管１７を含み、これらの画像の例示的なエリア１６が示されている。

本発明によれば、図３はまた、プローブ１２中に存在する（すなわち、プローブに対する固定された位置関係を有し、詳細には、第１のカメラの視野が、第２のカメラの視野に対して固定され、それらが各々、プローブ自体の配向及び位置に対して固定された）第２のカメラ４０を示し、このカメラから得られ得る画像のエリア４２も示されている。

第２のカメラ４０の目的は、周囲から補足画像を取得することであり、これは、天井、室内又は対象者上の別の構造である。これは、周囲及び対象者表面からの補足情報を使用する表面モデルの構築を可能にし、したがって、１つではなく２つのデータセットにより位置特定の精度を大幅に増加させる。

周囲は、固定された特徴を含み、これらは、第２のカメラ画像の画像解析によって識別され得る。第２のカメラはプローブに（例えばプローブ上に）搭載されるので、プローブの配向変化により、それらの固定された特徴は、キャプチャされた画像内で移動することになり、それらの固定された特徴までの距離が相対的に大きいと、配向変化の影響が効果的に増幅され、配向推定がより正確になる。

第２のカメラはまた、他のイメージングシステム又はＸ線アームなどのインターベンショナル処置システムなどの他の物体のロケーションを識別する。両方のカメラをプローブに搭載することにより、外部カメラシステムが、例えば、３Ｄ空間におけるプローブ又はＸ線アーム（又は相対的ロケーションが望まれる他の機器）のロケーション／配向をキャプチャする必要はない。

しばしば、ＳＬＡＭ方法の目的は、環境のモデルを作成することである。カメラの位置及び配向の識別は、実行される処理のまさに必要な部分であるが、通常、環境のモデルが作成されると、別の価値がなくなる。

しかしながら、本発明のシステムでは、位置及び配向（ポーズ）推定がより重要であり、なぜなら、この情報を使用して、パノラマ超音波画像を一緒にスティッチするからである。

カメラは皮膚に相対的に近いが、超音波画像は、カメラからはるかにさらに離れている構造を表す。これは、カメラ画像に基づく位置及び配向推定の不正確さが、スティッチングのはるかにより高い不正確さにつながることを意味する。

組織表面よりもはるかにさらに離れている天井など、よりリモートのシーンを向くように第２のカメラを構成することによって、配向推定の精度は、上記で説明されたようにはるかに高くなる。

両方のカメラが較正される必要があり、これは、プローブに対するそれらの相対位置及び配向が知られる必要があることを意味する。もちろん、両方のカメラがプローブ上に搭載され、したがってプローブの一部を形成するとき、これは単純な問題である。

第２のカメラから取得された追加情報を処理するための様々なやり方がある。

第１の手法は、別個に両方のカメラの画像ストリームに対して、位置及び配向推定を実施することである。したがって、各位置及び配向についての２つの結果が取得される。第１のカメラは、より良い位置を与えるべきであり、第２の（天井を向く）カメラは、より良い配向推定値を与えるべきである。

超音波画像の位置は、第１のカメラからの推定された位置と第２のカメラからの推定された位置との重み付き組合せ（ｗｅｉｇｈｔｅｄ ｃｏｍｂｉｎａｔｉｏｎ）から計算され得る。同様に、超音波画像の配向は、第１のカメラからの推定された配向と第２のカメラからの推定された配向との重み付き組合せから計算され得る。推定された結果の組合せについての重みにより、推定の異なる精度を考慮に入れることができる。例えば、第２のカメラからの配向推定値は、第１のカメラからの配向推定値よりも重く重み付けされるが、第１のカメラからの位置推定値は、第２のカメラからの位置推定値よりも重く重み付けされる。

第２の手法は、ストリームを処理し、２つの表面マップによる最適化を実施し、ただしわずか１つの位置及び配向推定を実施する。したがって、位置及び配向について１つの推定値のみがあるが、両方の画像ストリームが、各カメラに対して１つずつ、２つのマップに組み合わせられる。ただし、第１のカメラが患者のほうを向き、第２のカメラが天井を向くとき、第１のカメラからの画像と第２のカメラからの画像との間に重複がなく、したがって、マップの重複がない。そのような場合、２つのマップを使用することは、両方の視野をカバーする１つのマップを使用することと本質的に同じである。位置特定及びマッピングのためのアルゴリズムは、原則として同じである。

したがって、第３の手法は、画像ストリームを処理し、（対象者の表面と対象者から離れた表面の両方を表す）有効な単一の表面マップによる最適化を実施し、わずか１つの位置及び配向推定を実施することである。

対象者と環境との「表面モデル」という一般的な用語は、すべてのこれらの可能性、すなわち、重複しない２つの独立した表面モデル部分、重複する２つの独立した表面モデル部分、又は組み合わせられた単一の表面モデルを含むことが意図されることに留意されたい。同様に、その表面モデルに基づいて表面上のプローブの位置及び／又は配向を追跡することは、単一の位置推定値及び単一の配向推定値を取得すること、或いはそうでなければ２つの位置推定値及び／又は２つの配向推定値を組み合わせることを含むことが意図される。

第２のカメラ４０及び第１のカメラ１４は、複数のスペクトルにおいて動作するように適応されるか、又はハイパースペクトルイメージングデバイスであり、いずれの場合も、カメラは、カメラがイメージングしているそれぞれの構造に従って、異なるスペクトルにおいて動作するように個々に適応され得る。

第１のカメラ１４及び第２のカメラ４０によって得られた画像は、超音波画像３２及び３Ｄ表面メッシュ３０と空間的にレジストレーションされてディスプレイ２０上に表示されるか、或いは、画像の１つのセットが省略され、単に、表面モデル構築、追跡及びスティッチングにおいてプロセッサによってプローブの位置特定及び配向の拡張のために使用される。

イメージングシステムは、イメージングシステムをインターベンショナルシステムと組み合わせる、全体的処置システムの一部として使用される。イメージングは、その場合、インターベンショナルプロセス、例えば体への挿入のロケーション、或いはレーザー又はＸ線処置の方向をガイドするために使用される。

第１の例として、針挿入手順が、以下のプロセスによって実施される。
組み合わせられた３Ｄ超音波画像データセットが、表面テクスチャを含む表面メッシュと一緒に作成される。
コンピュータ化画像解析によって自動的に、又はそうでなければシステムオペレータによって手動で、３Ｄ画像中のターゲット病変が識別される。コンピュータ化解析は、次いで表面上の入口点を計画する。

次いで、この計画された入口点は手動マップとして使用され、又はそうでなければ、組み合わせられたデータセットとレジストレーションされるライブカメラ画像上に、計画された入口点のオーバーレイが与えられる。

第２の例として、定量的フォローアップイメージングが、以下のプロセスによって実施される。
第１の検査中に、組み合わせられた３Ｄ画像データセットが、テクスチャを含む表面メッシュと一緒に作成される。
第２の検査中に、同じく、組み合わせられた３Ｄ画像データセットが、テクスチャを含む表面メッシュと一緒に作成される。

次いで、画像は、表面特徴レジストレーションに基づいて整合され、次いで、疾患進行が正確に決定され得る。

このようにして、生成された表面モデルは、例えば、病変の時間的進展を比較するための又は侵襲的手順をガイドするための後のセッションにおいて、病変の位置を見つけるために使用される。

図４は、プローブ及びカメラを使用するイメージング方法を示す。本方法は、ステップ５０において、プローブで対象者の表面の下の対象者の関心構造の画像データを収集するステップと、ステップ５２において、カメラで表面の画像を収集するステップと、ステップ５４において、スティッチされた画像データを作成するために、プローブからの収集された画像データとカメラからの収集された画像とを処理するステップとを有する。

この処理するステップは、（例えば、ＳＬＡＭアルゴリズムを使用して）表面の画像に基づいて表面の表面モデルを構築するステップと、構築された表面モデルに基づいて表面上のプローブの位置及び／又は配向を追跡するステップと、プローブの追跡された位置及び／又は配向に基づいて、収集された画像データをスティッチするステップとを有する。

本方法は、ステップ５６によって示されている、第２のカメラを使用して環境から補足情報を収集するステップを有することがある。

上記で説明されたように、本発明の１つの適用例は、ハンドヘルド超音波プローブからの超音波画像のスティッチングのためのものである。プローブ設計は、完全に従来型であり、本発明は、表面マッピング及びプローブ追跡を使用することによる、スティッチされた画像の生成のみに存在する。

しかしながら、完全のために、次に、知られている超音波イメージングシステム、特に、診断イメージングシステムを形成する要素の説明が提示される。したがって、プローブの超音波トランスデューサは、より大きい超音波診断イメージングシステムの一部である。図５は、ブロック図の形態で、アレイトランスデューサプローブ１０２をもつそのような超音波診断イメージングシステム１０１を示す。

アレイトランスデューサプローブ１０２は、トランスデューサセルを備える。旧来、超音波トランスデューサのために圧電材料が使用されてきた。例としては、チタン酸ジルコン酸鉛（ＰＺＴ）及びポリビニリデンジフルオリド（ＰＶＤＦ）があり、ＰＺＴは、選ばれる材料として特に普及している。圧電効果は可逆過程であり、機械的に変形した圧電結晶が、内部電荷を生成し、印加電界を受けるときに機械的ひずみをも生成することを意味する。圧電材料への交流（ＡＣ）の導入により、ＡＣ周波数に関係する周波数における超音波圧力波が生じる。高性能トランスデューサのための高い圧電性及び電気機械結合定数を達成するために、単結晶圧電材料が使用される。

最近の開発により、医療超音波トランスデューサが半導体プロセスによってバッチ製造され得るという見通しがもたらされた。望ましくは、これらのプロセスは、特に３Ｄ超音波の場合、相補型金属酸化物半導体（ＣＭＯＳ）プロセスなど、超音波プローブによって必要とされる特定用途向け集積回路（ＡＳＩＣ）を製作するために使用されるのと同じであるべきである。これらの開発により、微細加工された超音波トランスデューサ（ＭＵＴ）が製作され、その好ましい形態は、容量性ＭＵＴ（ＣＭＵＴ）である。ＣＭＵＴトランスデューサは、受信された超音波信号の音振動を、変調されたキャパシタンスに変換する電極をもつ、小さいダイヤフラムのようなデバイスである。

ＣＭＵＴトランスデューサは、特に、広い帯域幅にわたって機能し、高分解能及び高感度イメージングを可能にし、超音波周波数において大きい被写界深度の音響信号が受信され得るように、大きい圧力の出力を生成することができる。

図５は、超音波を送信し、エコー情報を受信するための、上記で説明されたＣＭＵＴセル１０８のトランスデューサアレイ１０６を示す。システム１０１のトランスデューサアレイ１０６は、３Ｄイメージングのために２Ｄ平面で又は３次元でスキャンすることが可能なトランスデューサ要素の１次元又は２次元アレイである。

トランスデューサアレイ１０６は、ＣＭＵＴアレイセルによって信号の送信及び受信を制御するマイクロビームフォーマ１１２に結合される。ビームフォーミングは、超音波などの信号の指向性伝送又は受信を可能にする信号処理の方法である。特定の角度での信号が、トランスデューサアレイ１０６において強め合う干渉又は弱め合う干渉をこうむり、トランスデューサアレイ１０６は、所望の信号が選択され、他が無視されることを可能にする。また、受信ビームフォーミングは、エコー深度の差による、信号を受信するための時間遅延を利用する。

マイクロビームフォーマは、例えば、米国特許第５，９９７，４７９号（Ｓａｖｏｒｄら）、米国特許第６，０１３，０３２号（Ｓａｖｏｒｄ）、及び米国特許第６，６２３，４３２号（Ｐｏｗｅｒｓら）に記載されているように、トランスデューサ要素の隣接する又は小さいグループの受信された信号の遅延和ビームフォーミングの適用によって、少なくとも部分的なビームフォーミングが可能である。処理されるためにメインビームフォーマに送られる信号の数を低減するために、マイクロビームフォーミングがしばしばプローブ内で行われる。

マイクロビームフォーマ１１２は、プローブケーブル、例えば、同軸ワイヤによって送信／受信（Ｔ／Ｒ）スイッチ１１６に結合され、Ｔ／Ｒスイッチ１１６は、マイクロビームフォーマが存在しないか又は使用されないとき、送信モードと受信モードとの間で切り替わり、メインビームフォーマ２０を高エネルギー送信信号から保護する。トランスデューサアレイ１０６は、メインシステムビームフォーマ１２０によって直接操作される。マイクロビームフォーマ１１２の制御下のトランスデューサアレイ１０６からの超音波ビームの送信は、Ｔ／Ｒスイッチ１１６によってマイクロビームフォーマと、メインシステムビームフォーマ１２０とに結合されたトランスデューサコントローラ１１８によって指示され、トランスデューサコントローラ１１８は、ユーザインターフェース又はコントロールパネル１３８のユーザの動作からの入力を受信する。トランスデューサコントローラ１１８によって制御される機能のうちの１つは、ビームがステアリング及び集束される方向である。ビームは、トランスデューサアレイ１０６からまっすぐに（それに直角に）、又は、場合によっては、アレイトランスデューサセルから送られた励起パルスを遅延させることによって、より広い視野のために異なる角度でステアリングされる。

トランスデューサコントローラ１１８は、トランスデューサアレイのための電圧源１４５を制御するために結合される。例えば、電圧源１４５は、例えば、送信モードで超音波ＲＦパルスを生成するために、ＣＭＵＴアレイ１０６のＣＭＵＴセルに印加される（１つ又は複数の）ＤＣ及びＡＣバイアス電圧を設定する。

マイクロビームフォーマ１１２によって生成された部分的にビームフォーミングされた信号は、メインビームフォーマ１２０にフォワーディングされ、ここで、トランスデューサ要素の個々のパッチからの部分的にビームフォーミングされた信号が組み合わせられて、完全にビームフォーミングされた信号になる。例えば、メインビームフォーマ１２０は、１２８個のチャネルを有し、それらの各々は、数十個又は数百個のＣＭＵＴトランスデューサセル１０８のパッチから、部分的にビームフォーミングされた信号を受信する。このようにして、トランスデューサアレイ１０６の数千個のトランスデューサ要素によって受信された信号は、単一のビームフォーミングされた信号に効率的に資することができる。

ビームフォーミングされた信号は、信号プロセッサ１２２に結合される。信号プロセッサ１２２は、帯域通過フィルタ処理、デシメーション、Ｉ及びＱ成分分離、波及びその９０度位相差サンプルの復調、並びに高調波信号分離など、様々なやり方で、受信されたエコー信号を処理することができ、高調波信号分離は、組織及び微小気泡から戻される、非線形（基本周波数のより高い高調波）エコー信号の識別を可能にするために、線形信号と非線形信号とを分離するように働く。

信号プロセッサ１２２は、随意に、スペックル低減、信号コンパウンディング、及びノイズ除去など、追加の信号強調を実施する。信号プロセッサ１２２中の帯域通過フィルタは、追跡フィルタであり、その通過帯域は、エコー信号がより深い深度から受信されるにつれて、より高い周波数帯域からより低い周波数帯域にスライドし、それにより、より深い深度からのより高い周波数におけるノイズを除去し、ここで、これらの周波数は、解剖学的情報がない。

処理された信号は、明モード（Ｂモード）プロセッサ１２６に、及び、随意に、ドップラープロセッサ１２８に結合される。Ｂモードプロセッサ１２６は、器官の組織及び血管など、体内の構造のイメージングのために、受信された超音波信号の振幅の検出を利用する。

体の構造のＢモード画像が、例えば、米国特許第６，２８３，９１９号（Ｒｏｕｎｄｈｉｌｌら）及び米国特許第６，４５８，０８３号（Ｊａｇｏら）に記載されているように、高調波画像モード又は基本画像モード或いはその両方の組合せで形成される。

ドップラープロセッサ１２８は、存在する場合、画像フィールド中の血球の流れなどの物質の動きの検出のために、組織移動及び血流からの固有の信号を時間的に処理する。ドップラープロセッサは、一般に、体内の選択されたタイプの材料から戻されたエコーを通過させ及び／又は除去するように設定されるパラメータをもつウォールフィルタ（ｗａｌｌ ｆｉｌｔｅｒ）を含む。例えば、ウォールフィルタは、高速度の材料からの比較的低い振幅の信号を通過させ、より低い又はゼロ速度の材料からの比較的強い信号を除去する、通過帯域特性を有するように設定され得る。

この通過帯域特性は、流れる血液からの信号を通過させ、心臓の壁などのすぐ近くの静止した又は低速で動く物体からの信号を除去する。組織ドップラーイメージング（ｔｉｓｓｕｅ Ｄｏｐｐｌｅｒ ｉｍａｇｉｎｇ）と呼ばれるものについて、逆の特性が、心臓の動く組織からの信号を通過させ、血流信号を除去し、組織の動きを検出し、表す。ドップラープロセッサは、画像フィールド中の異なる点からの時間的に離散したエコー信号のシーケンスを受信し、処理し、特定の点からのエコーのシーケンスはアンサンブルと呼ばれる。比較的短い間隔にわたって迅速に連続して受信されたエコーのアンサンブルが、流れる血液のドップラーシフト周波数（Ｄｏｐｐｌｅｒ ｓｈｉｆｔ ｆｒｅｑｕｅｎｃｙ）を推定するために使用され、ドップラー周波数と速度の対応は、血流速度を示す。より遅く流れる血液又はゆっくり動く組織の速度を推定するために、より長い時間期間にわたって受信されたエコーのアンサンブルが使用される。

（１つ又は複数の）Ｂモード（及びドップラー）プロセッサによって生成された構造信号及び動き信号は、スキャンコンバータ１３２とマルチプレーナリフォーマッタ１４４とに結合される。スキャンコンバータ１３２は、所望の画像フォーマットでエコー信号が受信された空間的関係に、エコー信号を構成する。例えば、スキャンコンバータは、２次元（２Ｄ）扇形フォーマット又はピラミッド形３次元（３Ｄ）画像にエコー信号を構成する。

スキャンコンバータは、Ｂモード構造画像に、画像フィールド中の点における動きに対応する色を、それらのドップラー推定された速度とともに、オーバーレイして、画像フィールド中の組織の動き及び血流を表すカラードップラー画像を生成することができる。マルチプレーナリフォーマッタ１４４は、米国特許第６，４４３，８９６号（Ｄｅｔｍｅｒ）にさらに記載されているように、体のボリュメトリック領域中の共通平面における点から受信されたエコーをその平面の超音波画像に変換する。平面を記述するために必要とされるデータ点の最小量は３つであり、その場合、それらの３つの点を測定した後に、ある固定量、平面に直交する方向に動かし、その平面測定を繰り返し、したがって、ボリューム全体自体からのデータを収集することなしにボリュメトリック領域を作ることができる。ボリュームレンダラ１４２は、米国特許第６，５３０，８８５号（Ｅｎｔｒｅｋｉｎら）に記載されているように、３Ｄデータセットのエコー信号を、所与の基準点から見たときの投影された３Ｄ画像に変換する。

画像ディスプレイ１４０上での表示のためのさらなる拡張、バッファリング及び一時的記憶のために、２Ｄ又は３Ｄ画像は、スキャンコンバータ１３２、マルチプレーナリフォーマッタ１４４及びボリュームレンダラ１４２から画像プロセッサ１３０に結合される。イメージングのために使用されることに加えて、ドップラープロセッサ１２８によって生成された血流値及びＢモードプロセッサ１２６によって生成された組織構造情報は、定量化プロセッサ１３４に結合される。定量化プロセッサは、例えば、血流のボリュームレートなどの異なる流れ条件の尺度、並びに器官のサイズ及び妊娠期間などの構造測定値を生成する。定量化プロセッサは、測定が行われるべきである画像の解剖学的構造における点などのユーザコントロールパネル１３８からの入力を受信する。

定量化プロセッサからの出力データが、ディスプレイ１４０上での画像を伴う測定グラフィックス及び値の再生のために、グラフィックスプロセッサ１３６に結合される。グラフィックスプロセッサ１３６はまた、超音波画像とともに表示するためのグラフィックオーバーレイを生成することができる。これらのグラフィックオーバーレイは、患者名、画像の日時、イメージングパラメータなど、標準的な識別情報を含んでいることがある。これらの目的のために、グラフィックスプロセッサは、患者名など、ユーザインターフェース１３８からの入力を受信する。

ユーザインターフェース１３８はまた、トランスデューサアレイ１０６からの超音波信号の生成、したがってトランスデューサアレイ１０６及び超音波システム１０１によって生成される画像を制御するために、送信コントローラ１１８に結合される。ユーザインターフェース１３８はまた、複数のマルチプレーナリフォーマット（ＭＰＲ）画像の平面の選択及び制御のためのマルチプレーナリフォーマッタ１４４に結合され、ＭＰＲ画像は、ＭＰＲ画像の画像フィールドにおいて定量化された測定を実施するために使用される。

当業者によって理解されるように、超音波診断イメージングシステムの上記の実施形態は、そのような超音波診断イメージングシステムの非限定的な例を与えるためのものである。当業者は、超音波診断イメージングシステムのアーキテクチャにおけるいくつかの変形形態が実現可能であることを直ちに了解されよう。例えば、同じく上記の実施形態で示されているように、マイクロビームフォーマ１１２及び／又はドップラープロセッサ１２８は省略されることがある、超音波プローブ１０２は３Ｄイメージング能力を有しないことがある、などである。他の変形形態は当業者には明らかであろう。

好ましい実装形態では、表面の下の３Ｄボリュームの３Ｄ画像が、各プローブ位置及び配向において取得される。その場合、スティッチされた画像は、各個々のプローブ位置及び配向によってカバーされるよりも大きいボリュームの３Ｄ画像である。しかしながら、スティッチされるべき画像データは、３Ｄボリュームのスライスの画像など、２Ｄ画像を備え、３Ｄボリュームの３Ｄ画像を作成するために、これらの２Ｄ画像がスティッチされる。

上記で説明されたように、プロセッサ１８は、プローブ１２の一部である。表面モデルの構築は、プローブにおいてローカルに行われる。プローブは、次いでプローブの位置及び配向情報を導出し、この情報を画像データと、形状及びテクスチャを含む表面モデルとともに与える。

１つの手法では、超音波画像スティッチングは、バックエンドプロセッサにおいて実施される。ただし、超音波画像スティッチングは、代わりにプローブにおいて実施され得、それにより、プローブからパノラマ画像が出力される。

また、本発明が超音波診断イメージングシステムに限定されないことが理解されよう。本発明の教示は、変形形態に等しく適用可能であり、それにより、プローブは、Ｘ線イメージングユニット、単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）イメージングユニット、又は何らかの他の調査イメージングである。当業者に直ちに明らかであるように、そのような他のイメージングシステムでは、図４を参照しながら説明されたシステム構成要素は、それに応じて適応される。

本発明は、表面テクスチャをイメージングすることができるカメラを使用する。これは、構造化光源では可能でなく、構造化光源は、そうではなく表面輪郭のみをマッピングする。

したがって、システムは、表面テクスチャが可視になることを可能にするために、非構造化光源を使用する。この表面テクスチャは、例えば、皮膚のひだ、毛、小胞又は母斑を含む。「表面テクスチャ」は、表面着色をも含むことが意図される。したがって「表面テクスチャ」は、位置を特定された表面の形状、特徴及び色を意味することが理解される。

ただし、システムはさらに、例えば、表面輪郭マッピングのための構造化光源と、表面テクスチャマッピングのための非構造化光源との交互使用による、構造化光源手法を含む。

上述のように、表面モデルは、プローブにおいて生成される。他の処理は、プローブにおいて実施されるか、又はプローブがアタッチされたコンピュータ上でリモートで実施される。例えば、処理のすべてを実施するために、ディスプレイが含まれるモバイルフォンのフォームファクタをもつ超音波スキャナが使用され得る。

処理タスクの可能な分割の一例は、以下の通りである。
プローブにおいてカメラ画像が集められる。
プローブにおいて、ＳＬＡＭアルゴリズムを使用した表面マッピングが行われる。
プローブからバックエンドに超音波画像が送られ、各超音波画像についてのプローブのロケーション及び配向が画像にアタッチされる。
プローブは、バックエンドに表面マップをも送る。
バックエンドは、超音波画像をスティッチする。
バックエンドは、表面マップを、スティッチされたパノラマ超音波画像と組み合わせる。
バックエンドは、組み合わせられた画像をディスプレイに送る。

表面マッピングのためのＳＬＡＭアルゴリズムが知られている。ただし、他の表面マッピングアルゴリズムが使用され得る。

使用されるスティッチングプロセスは、従来型である。特に、特定のカメラによって画像がキャプチャされる位置及び配向が与えられれば、パノラマビューを形成するためにそのような画像をどのように一緒にスティッチするかは、よく知られている。特に、画像再構築並びに複数の画像からのボリューム再構築はよく知られている。

例えば、内視鏡画像スティッチング方法が、Ｂｅｒｇｅｎ Ｔｏｂｉａｓら、「Ｓｔｉｔｃｈｉｎｇ ａｎｄ Ｓｕｒｆａｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｅｎｄｏｓｃｏｐｉｃ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ：Ａ Ｒｅｖｉｅｗ ｏｆ Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｍｅｔｈｏｄｓ」ＸＰ０１１５９６５９１において説明されている。

開示された実施形態に対する他の変形形態が、請求される本発明を実施する際に当業者によって、図面、本開示、及び添付の特許請求の範囲の検討により理解され、実施され得る。特許請求の範囲において、「備える、有する、含む」という単語は他の要素又はステップを除外せず、単数形は複数を除外しない。いくつかの方策が、相互に異なる従属請求項に記載されているという単なる事実は、これらの方策の組合せが有利には使用され得ないことを示しているわけではない。特許請求の範囲中のいかなる参照符号も、その範囲を限定するものと解釈されるべきではない。

Claims (11)

1. 対象者の表面の下の前記対象者の関心構造の画像データを収集するために前記対象者の前記表面の上又は近くに配置されたプローブであって、
   前記プローブが、
   前記画像データを取得するためのイメージングトランスデューサと、
   前記表面の画像を収集する第１のカメラと、
   前記第１のカメラと前記表面との間の距離よりも大きい距離における環境から補足情報を収集する第２のカメラであって、前記イメージングトランスデューサ、前記第１のカメラ及び前記第２のカメラが、前記プローブに対する固定された位置関係を有する、第２のカメラと、
   （ｉ）前記表面の前記画像に基づく前記表面の表面形状及びテクスチャと（ｉｉ）前記第２のカメラの補足情報に基づく前記環境との表面モデルを構築し、前記表面モデルに基づいて前記表面上の前記プローブの位置及び／又は配向を追跡するプロセッサとを備える、プローブと、
   前記プローブの追跡された前記位置及び／又は配向に基づいて、異なる位置及び／又は配向において収集された画像データをスティッチするプロセッサと
   を備える、イメージングシステム。
2. 前記プローブが、前記イメージングトランスデューサとして、
   超音波トランスデューサ、単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）イメージングデバイス、又はＸ線ユニット
   を備える、請求項１に記載のイメージングシステム。
3. 前記画像データが２Ｄ画像を備え、スティッチされた前記画像データが、より大きい視野をもつ２Ｄ画像を備えるか、又は
   前記画像データが２Ｄ画像を備え、スティッチされた前記画像データが、３Ｄボリュームの３Ｄ画像を備える、
   請求項１又は２に記載のイメージングシステム。
4. 前記プローブの前記プロセッサが、同時位置特定及びマッピング（ＳＬＡＭ）アルゴリズムを使用して前記対象者の前記表面モデルを構築する、請求項１から３のいずれか一項に記載のイメージングシステム。
5. 前記第１のカメラ及び／又は前記第２のカメラが、光学、近赤外、又はハイパースペクトルカメラを備える、請求項１から４のいずれか一項に記載のイメージングシステム。
6. 前記イメージングシステムがディスプレイデバイスを備え、前記プロセッサが、前記ディスプレイデバイスを使用して、前記対象者の前記表面の前記画像と前記画像データとを重ねて表示する、請求項１から５のいずれか一項に記載のイメージングシステム。
7. 請求項１から６のいずれか一項に記載のイメージングシステムと、
   前記イメージングシステムとともに使用するためのインターベンショナル処置システムと
   を備える、処置システム。
8. イメージングトランスデューサと第１のカメラ及び第２のカメラとを備えるプローブを使用するイメージング方法であって、前記イメージングトランスデューサ、前記第１のカメラ及び前記第２のカメラが、前記プローブに対する固定された位置関係を有し、前記イメージング方法が、
   対象者の表面の上又は近くに配置された前記プローブの前記イメージングトランスデューサを使用して、前記対象者の前記表面の下の前記対象者の関心構造の画像データを収集するステップと、
   前記第１のカメラで前記表面の画像を収集するステップと、
   前記第２のカメラを使用して、前記第１のカメラと前記表面との間の距離よりも大きい距離における環境から補足情報を収集するステップと、
   前記プローブにおいて、前記プローブからの収集された前記画像データと前記第１のカメラ及び前記第２のカメラからの収集された前記画像とを処理するステップであって、前記処理するステップが、（ｉ）前記表面の前記画像に基づく前記表面の表面形状及びテクスチャと（ｉｉ）前記第２のカメラの補足情報に基づく前記環境との表面モデルを構築するステップと、構築された前記表面モデルに基づいて前記表面上の前記プローブの位置及び／又は配向を追跡するステップとを有する、処理するステップと、
   前記プローブの追跡された前記位置及び／又は配向に基づいて、収集された前記画像データをスティッチするステップと
   を有する、イメージング方法。
9. 前記対象者の前記表面モデルを構築するステップが、同時位置特定及びマッピング（ＳＬＡＭ）アルゴリズムを使用する、請求項８に記載のイメージング方法。
10. 前記ディスプレイデバイスを使用して、前記第１のカメラからの信号と前記プローブからの信号とを同時に表示するステップを有する、請求項８又は９に記載のイメージング方法。
11. コンピュータ上で実行されたとき、請求項８から１０のいずれか一項に記載の方法を実施するコンピュータプログラムコード手段を備える、コンピュータプログラム。

Images