JP2009543588A - インタラクティブ形状操作に対する方法、装置、システム及びコンピュータ可読媒体 - Google Patents

Abstract

オブジェクトの形状をインタラクティブに操作する方法及び装置は、操作されるべきオブジェクトを選択するステップと、操作タイプに依存して前記オブジェクトをレンダリングするステップとを有する。前記方法は、以前のディスプレイ駆動スキームと対照的にスマートオブジェクト適合インタラクション、操作及び視覚化スキームを提供する。前記方法は、前記操作の自由度を所定のオブジェクト又はオブジェクト部分に対して意味のあるものに限定することにより効率的な形状操作を可能にし、したがって、例えば３Ｄインタラクションを２Ｄインタラクションに下げることを可能にする。

Description

本発明は、一般に、画像解析の分野に関する。より具体的には、本発明は、例えば解剖学的構造に対するインタラクティブ形状編集及びレンダリング、並びにＸ線、コンピュータ断層撮影ＣＴ、磁気共鳴撮像ＭＲＩ及び超音波ＵＳのような２次元、３次元及び４次元患者データからのこのような構造の幾何特性の測定に対するモデルに関する。

グラフィック形状を描画及び編集するインタラクティブ手段は、ほとんど全ての医療アプリケーションにおいて見つけられることができる。これらのインタラクティブ手段は、グラフィック形状の輪郭を修正することに基づくことができる。輪郭は、アクティブ若しくはパッシブであることができ、開若しくは閉であることができ、例えばベジエ補間を使用して滑らかであることができ、又は線セグメントから構成されることができる。輪郭は、例えば、モデリング、セグメンテーション又は測定タスクに使用される。

基本的に輪郭を描くには２つの方法、ポイント・バイ・ポイント法又はフリーハンド法が存在する。フリーハンド輪郭の場合、前記輪郭は、しばしばサブサンプリングされ、ユーザが描画を終了した後に滑らかな輪郭に変換される。ポイント・バイ・ポイント及びフリーハンド描画法の両方が、複数の制御点からなる輪郭を作成する。輪郭編集技術は、これらの制御点を操作することに基づく。描画後に、前記輪郭は、画像に関して形状を最適化するアクティブ輪郭に変換されることができる。

３次元（３Ｄ）表面モデルを作成するために、輪郭の系列が使用されることができる。より正確には、１つの輪郭が、例えばＣＴスキャンにより取得された３Ｄデータセットの各スライスにおいて使用される。これらの輪郭は、この場合、実際の３Ｄモデルを形成するように結合される。アクティブ輪郭は、例えば運動追跡のために、自動的に、３Ｄデータセット内の次のスライス又は時系列内の次の画像における前記輪郭の場所を見つけるのに使用されている。体積のスライスを使用する代わりに、３Ｄモデルに結合される輪郭を描くのに体積を通る２次元（２Ｄ）切断面のセットを使用することも可能である。

現在の形状編集法は、使用された表示幾何配置に形状操作に対する自由度を結合することができる。３Ｄ形状は、例えば、再フォーマットされた２Ｄ画像内の切断線として表示され、前記切断線上のオブジェクト点を選択し、前記２Ｄ画像の画像軸に沿って移動することを可能にする。他の方向における運動が望ましい場合、初めに、前記再フォーマットされた画像をそれぞれの変型方向に調節することが必要とされる。他の例は、３Ｄ形状レンダリング及び前記３Ｄレンダリングの３つの軸において表面点を移動することを可能にする３Ｄポインティングデバイス（例えば３Ｄマウス）の使用である。

特願２００２−０３２７８６号公報は、処理パラメータを制御する装置及び方法、３次元モデルプロセッサ並びにプログラム提供媒体を開示している。特願２００２−０３２７８６号公報は、カーソルのサイズ及び色のようなカーソル自体の視覚的特性を処理パラメータに対応させることにより、モデルの変形形式をユーザにとって容易に予測可能にするパラメータコントローラを開示している。特願２００３−０３２７８６号公報は、したがって、ユーザに対する変形処理を視覚的に容易化する方法を開示するが、しかしながら、特願２００２−０３２７８６号公報は、ユーザが３次元において形状を変更することを望む３Ｄ形状の変形に関連した困難に関する問題を解決しない。

現在の方法の不利点は、形状操作を実行するのに要する大量のインタラクションである。大量の時間が、最初に、変形自体に要するインタラクション時間に加えて、前記変形の方向を規定するそれぞれのレンダリングを調整するのに費やされる。

更に、制御される必要がある多すぎる自由度のために、手順が本質的に長たらしいが、これは、形状変形タスクが達成されるのに有益ではない。

したがって、増大されたフレキシビリティ、時間削減、使いやすさ、効率的なユーザインタラクション及び高い費用効果を可能にする改良された形状編集方法、システム、装置及びコンピュータ可読媒体は有利である。

したがって、本発明は、好ましくは、当技術分野における上で示された欠陥及び不利点の１つ以上を単独で又は組み合わせて軽減、緩和又は除去することを求め、添付の特許請求項による方法、装置、システム及びコンピュータ可読媒体を提供することにより少なくとも上述の問題を少なくとも部分的に解決する。

本発明の一態様によると、デジタルオブジェクトの形状を操作する方法が提供され、前記方法は、操作されるべきオブジェクトを選択するステップと、操作タイプに依存して前記オブジェクトをインタラクティブにレンダリングするステップとを有する。

本発明の他の態様によると、添付の請求項１−２０のいずれか一項に記載の方法を実行するインタラクティブデジタル形状操作に対する装置が提供される。前記装置は、操作されるべきオブジェクトを選択する選択ユニットと、操作タイプに依存して前記オブジェクトをインタラクティブにレンダリングするレンダリングユニットとを有する。

本発明の他の態様によると、コンピュータにより処理するコンピュータプログラムに形体を与えるコンピュータ可読媒体が提供され、前記コンピュータプログラムは、オブジェクトの形状を操作する形状操作コードセグメントを有する。前記コンピュータプログラムは、操作タイプに依存して前記オブジェクトをインタラクティブにレンダリングするレンダリングコードセグメントを更に有する。

本発明ができるこれら及び他の態様、フィーチャ及び利点は、添付図面が参照される本発明の実施例の以下の記載から説明され、明らかになる。

以下の記載は、初めに２Ｄマウスジェスチャに対する３Ｄ操作に要する自由度の減少及び第二に形状操作の影響の領域をカバーする適切な視覚化スキームに関するユーザに対する自動化されたフィードバックの提供に焦点を合わせる。

形状モデル及び／又は自由形式変形方法を使用する医療画像セグメンテーションに関連して形状編集を容易化する方法が記載される。

以下の記載は、画像解析システム、特に形状編集することができる医療画像解析システムに応用可能な本発明の実施例に焦点を合わせる。しかしながら、本発明がこの応用に限定されないが、画像の形状編集が望まれる多くの他の応用に使用されることができると理解される。

一実施例によると、以前のディスプレイ駆動方式とは対照的なスマートオブジェクト適合インタラクション、操作及び視覚化スキームに対する方法が提供される。前記方法は、前記操作に対する自由度を所定のオブジェクト又はオブジェクト部分に対して意味のあるものに制限することにより効率的な形状操作を可能にし、したがって例えば３Ｄインタラクションを２Ｄインタラクションに下げることを可能にする。

輪郭、表面及び形状編集は、マウス運動をマッピングすることにより実行されることができる。前記マウスマッピングは、選択された点の輪郭方向に関することができる。この場合、前記マウスマッピングは、例えば前記輪郭に正接及び／又は垂直であることができる。前記マウス運動は、他の基準、すなわち観察面に対する運動のような前記選択された点における前記輪郭方向に関連しない直接的なマウス操作にも対応しうる。この場合、前記マウスマッピングは、他の輪郭編集幾何学的指向性マウス運動に関連してもよく、又は前記マウスマッピングは、前記輪郭の指向性から完全に分離されてもよい。前記マウス運動は、ズーム、パン、ロール、コントラスト及び輝度を制御する直接マウス操作モードと同様な水平及び垂直変位だけであってもよい。

輪郭（境界）の一部は、２自由度を持つ変位機能を使用して再形成されることもできる。これらの変位機能は、マウス運動を一次変位（サイズ及び方向）及び修正されるべき領域のサイズ及び形状のようなパラメータにマッピングする。

更に、前記輪郭の一部は、平滑化処理及び影響を受ける領域の２つのパラメータを操縦するようにマウスインタラクションを使用することにより平滑化されることができる。

アクティブ輪郭も、輪郭を編集するのに使用されることができる。'通常の'輪郭の一部は、画像細部をたどるように作動されることができる。また、この場合、前記マウスは、前記影響を受ける領域のサイズ及び前記アクティブ輪郭の特性にマッピングされる。逆も可能である。アクティブ輪郭の一部は、作動停止されることができる。この場合、前記マウスマッピングは、上述のように前記輪郭の一部を変更するのに使用されることができる。

一実施例において、図１によると、オブジェクトの形状を操作する方法が提供される。前記方法は、前記操作の操作タイプに依存して前記オブジェクトをインタラクティブにレンダリングするステップを有する。前記方法は、
操作されるべきオブジェクト１１を選択するステップと、
前記操作の操作タイプ１２に依存して前記オブジェクトをインタラクティブにレンダリング１３するステップと、
を有する。

他の実施例によると、前記オブジェクトは、データセットに含まれる。

一実施例において、前記データセットは、４Ｄ、３Ｄ又は２Ｄ画像データセットである。

一実施例によると、２つの関連した自由度としてプッシュ／プルの量及び影響の半径を用いてオブジェクトの表面法線に沿った表面パッチの操作に対する方法が提供される。

他の実施例によると、例えば２つの関連した自由度として管軸に垂直に曲がる管の量を用いる管状オブジェクトの操作に対する方法が提供される。

前記インタラクションが、ディスプレイ操縦（display steered）ではなくオブジェクト操縦（object steered）であるので、前記操作は、前記オブジェクトの表示タイプと独立に実行されることができる（これは、例えば３Ｄ表面レンダリング又はマルチプラナ再フォーマット画像における切断線レンダリングである）。前記ユーザは、（例えばマウスポインタを使用して）どんなレンダリングでもオブジェクト点を選択し、レンダリングに独立な標準的スキームで前記変形を実行する。

一実施例において、図２によると、標準的な変形スキームは、表面法線２２に沿った表面パッチ２１のプル２３（左ドラッグ）及びプッシュ２４（右ドラッグ）として解釈される水平運動２５と、（例えば上ドラッグで所定の値だけ増大され、下ドラッグで減少する）影響半径２７の調節として解釈される垂直運動２６とを持つマウスドラッグからなる。

一実施例によると、画像及びオブジェクトレンダリング方法が提供される。前記画像及びオブジェクトレンダリング方法は、前記操作タイプに依存し、前記変形を視覚的に制御するのに使用される。前記方法は、例えば前記変形の特定の"メインモード"で前記レンダリングを整列することにより、前記操作の影響を最良に視覚化するレンダリングを自動的に選択する。

一実施例において、図３によると、マルチプラナ画像再フォーマット３１ａ−ｄのパドルホイール（paddle-wheel）のような組が提供され、変形された形状の切断線が前記変形中にレンダリングされる。前記再フォーマットのパドルホイールのような組の位置及び軸及び位置は、選択された表面点３２及び表面法線３３により規定される。

他の実施例によると、前記再フォーマットのパドルホイールのような組は、管状構造の軸に沿った時系列である。

他の実施例において、前記再フォーマットのパドルホイールのような組は、少なくとも２つの２Ｄ観測面のいずれかを記述することができる。

他の実施例において、前記少なくとも２つの２Ｄ観測面は、所定の関係を持つ。

他の実施例において、前記少なくとも２つの２Ｄ観測面は、任意の決められた関係を持つ。

他の実施例において、インタラクション点の周りで前記変形スキームに従うことを可能にするレンダリングの他のタイプが使用されてもよい。

一部の実施例において、前記方法は、上記の２つの操作スキームに限定されない。他のスキームは、例えば、オブジェクト切断又は結合動作、又は前記操作が形状モデルにより予め規定された方向に沿って実行されるモデルベースインタラクション方法を含むことができる。

一実施例によると、前記方法は、ユーザ選択されたオブジェクト部分又は形状モデルにより提供される先験的情報に依存する、前記操作スキームの自動化された選択を伴いうる。

形状モデルは、実際の形状又は輪郭に対して可能な操作の種類のような、形状編集に対する（典型的な形状可変性のような）ガイダンス情報の符号化（ＰＨ００２８１２ＥＰ１）を含みうる。前記形状モデルは、（例えば解剖学的オブジェクトの統計的性質から得られる）感知可能な操作の種類又は前記形状モデルへのパラメータを更に含みうる。

これらの実施例は、例えば（どんな明示的な形状表現に基づき、潜在的にトポロジの変化を含むどんな拡張ステップの後でも）３Ｄアクティブオブジェクトに関連して、形状モデルが利用可能ではない場合でさえ、使用されうる。更に、これらの実施例は、（例えば陰関数として）暗示的に表現される形状又はボクセルアンサンブルとして規定される形状に対して使用されうる。

一実施例において、形状編集に対する方法が提供され、前記方法は、画像の形状を編集するのにモデル形状、制御点及びマウスマッピング運動の組み合わせを使用する能力を持つ。

他の実施例において、前記方法は、複数の視野で同時に２自由度の変形を視覚化するパドルホイール技術を使用する。

他の実施例によると、前記方法は、局所的な形状特性又は特定の手順、例えば形状オブジェクトの切断又は結合に依存して規定されることができる他の種類の操作を使用することができる。前記操作は、形状モデル（例えば統計的に起こりうる変形タイプ）に含まれる情報により駆動されることもできる。

他の実施例において、前記方法は、３Ｄ＋ｔ形状インタラクションタイプに時空間自由度の専用の減少を提供する。表面点の動きベクトルは、例えば、選択された自由度を規定することができる。

一実施例において、図４によると、インタラクティブ形状操作に対する装置４０が提供され、前記装置４０は、操作されるべきオブジェクトを選択する選択ユニット４１と、前記操作の操作タイプに依存して前記オブジェクトをインタラクティブにレンダリングするレンダリングユニット４２とを有する。前記装置は、前記方法を実行することができる。前記選択ユニットは、通常は、２Ｄ又は３Ｄであるマウス、数字化ボード等のような、このような選択に使用されるユニットであることができる。前記レンダリングユニットは、メモリを持つプロセッサのようなハードウェアでありうる。前記プロセッサは、インテル又はＡＭＤプロセッサ、ＣＰＵ、マイクロプロセッサ、プログラム可能なインテリジェントコンピュータ（ＰＩＣ）マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）等のような、様々なプロセッサのいずれかであることができる。しかしながら、本発明の範囲は、これらの特定のプロセッサに限定されない。前記メモリは、ランダムアクセスメモリ（ＲＡＭ）、倍密度ＲＡＭ（ＤＤＲ、ＤＤＲ２）、単密度ＲＡＭ（ＳＤＲＡＭ）、静止ＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、ビデオＲＡＭ（ＶＲＡＭ）等のような点情報を記憶することができるいかなるメモリであってもよい。前記メモリは、ＵＳＢ、コンパクトフラッシュ（登録商標）、スマートメディア、ＭＭＣメモリ、メモリスティック、ＳＤカード、ミニＳＤ、マイクロＳＤ、ｘＤカード、トランスフラッシュ及びマイクロドライブメモリ等のようなＦＬＡＳＨメモリであってもよい。しかしながら、本発明の範囲は、これらの特定のメモリに限定されない。

他の実施例において、前記装置は、前記形状操作を表示するディスプレイ４３を更に有する。

一実施例において、前記装置は、医療ワークステーション又は医療システムに含まれ、前記医療ワークステーション又は前記医療システムは、ＰＥＴ、ＣＴ及びＭＲＩ機器のような他の医療画像機器をも有しうる。

一実施例において、図５によると、コンピュータにより処理するコンピュータプログラム５０に形体を与えるコンピュータ可読媒体が提供される。前記コンピュータプログラムは、オブジェクトの形状を操作する形状操作コードセグメント５１を有する。更に、前記コンピュータプログラムは、前記操作の操作タイプに依存して前記オブジェクトをレンダリングするレンダリングコードセグメント５２を有する。

他の実施例において、前記コンピュータ可読媒体は、コンピュータ処理特性を持つ装置により実行される場合に、前記実施例のいずれか１つにおいて規定された方法ステップの全てを実行するように構成されたコードセグメントを有する。

上記方法は、形状編集に対して最も意味のある自由度を入力デバイスの利用可能な自由度（例えばマウス運動の２自由度）に割り当てる。加えて、これは、前記ユーザに、前記変形の影響空間をカバーする変形結果のレンダリングの適切なセットを自動的に提供し、このようにして前記結果を確認するようにデータをインタラクティブに後で調査することを廃れさせる。したがって、これは、前記ユーザを、以前に必要とされた操作準備ステップではなく所望の操作に集中させる効率的なオブジェクト操作を可能にする。

本発明による上記の実施例の応用及び使用は、様々であり、インタラクティブ形状操作を、それ自体で（関連した医療画像なしで）又は医療画像適合（例えば医療画像における解剖学的オブジェクトのセグメンテーション）に対する形状に関連してのいずれかで含む。前記方法は、全ての３Ｄ医療撮像モダリティ及び画像適合手順に対して３Ｄ又は４Ｄ形状のインタラクティブ初期化、補正又は確認を必要とする全ての手順に対して使用されることができる。

一実施例によると、前記方法は、データに関連せずに３Ｄ形状を操作するのに使用される。

一実施例において、前記３Ｄ形状は、前記操作の前に、真っ直ぐの管である。前記方法を使用して、前記真っ直ぐな管は、例えば、表面部分を引っ張る及び押すことにより、解剖学的アイテム（例えば、解剖学教科書に描かれた又は心臓により既知である大動脈弓）に似るように段階的に操作される。この場合、前記操作スキームは、前記ユーザに対する自由度を減少することを可能にする管折り曲げスキームであり、付随する画像又はデータセットが存在しない。更に、パドルホイール視覚化は、この場合、前記形状オブジェクトの切断線のみを示すか、又は使用されないかのいずれかであることができる。

本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせを含むいかなる適切な形式でも実施されうる。しかしながら、好ましくは、本発明は、１以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で実行するコンピュータソフトウェアとして実施される。一実施例の要素及び構成要素は、いかなる適切な方法でも物理的に、機能的に及び論理的に実施されることができる。実際に、機能は、単一のユニット、複数のユニット又は他の機能ユニットの一部で実施されてもよい。このように、本発明は、単一のユニットで実施されてもよく、又は異なるユニット及びプロセッサ間に物理的に及び機能的に分散されてもよい。

本発明は、特定の実施例を参照して上に記載されているが、ここに記載された特定の形式に限定されることは意図されない。むしろ、本発明は、添付の請求項によってのみ限定され、上で述べられた以外の実施例は、これらの添付の請求項の範囲内で等しく可能である。

請求項において、用語"有する"は、他の要素又はステップの存在を除外しない。更に、個別に列挙されるが、複数のユニット、要素又は方法ステップは、例えば単一のユニット又はプロセッサにより実施されてもよい。加えて、個別のフィーチャが異なる請求項に含まれうるが、これらは、場合により有利に結合されてもよく、異なる請求項における包含は、フィーチャの組み合わせが実行可能及び／又は有利ではないことを意味しない。加えて、単数形の参照は複数形を除外しない。用語"１つの"、"第１の"、"第２の"等は、複数形を除外しない。請求項内の参照符号は、単に明らかにする例としてのみ与えられ、いかなる形にも請求項の範囲を限定するように解釈されるべきでない。

一実施例による方法のフローチャートである。 一実施例による標準的な変形スキームを示す一連の図である。 他の実施例によるマルチプラナ画像再フォーマットのパドルホイールのような組を示す一連の図である。 一実施例による装置を示す概略図である。 一実施例によるコンピュータ可読媒体を示す概略図である。

Claims (24)

1. デジタルオブジェクトの形状を操作する方法において、
   操作されるべきオブジェクトを選択するステップと、
   操作タイプに依存して前記オブジェクトをインタラクティブにレンダリングするステップと、
   を有する方法。
2. 前記オブジェクトがデータセットに含まれる、請求項１に記載の方法。
3. 前記データセットが４Ｄ、３Ｄ又は２Ｄ画像データセットである、請求項２に記載の方法。
4. 前記操作タイプが、２自由度を使用する操作である、請求項１、２又は３に記載の方法。
5. 前記操作タイプが、表面法線に沿った表面パッチの操作である、請求項１ないし４のいずれか一項に記載の方法。
6. 前記２自由度が、プッシュ／プルの量及び影響の半径に対応する、請求項４又は５に記載の方法。
7. 前記オブジェクトが管状オブジェクトである、請求項１ないし６のいずれか一項に記載の方法。
8. 前記２自由度が、管曲げ垂線及び長手管軸に対応する、請求項４又は７に記載の方法。
9. 前記操作タイプが、局所的な形状特性に依存する、請求項１に記載の方法。
10. 前記操作タイプが、形状オブジェクトの切断及び／又は結合のような形状操作手順に依存する、請求項１に記載の方法。
11. 前記操作タイプが、形状モデルに基づく操作である、請求項１に記載の方法。
12. 前記レンダリングが、少なくとも２つの観測面において同時に前記形状操作の影響を視覚化し、前記少なくとも２つの観測面が、前記形状操作の少なくとも１点を有する線において互いに交差する、請求項１に記載の方法。
13. 前記少なくとも２つの観測面が、少なくとも２つのマルチプラナ画像再フォーマットのパドルホイールのような組に対応する、請求項１２に記載の方法。
14. 前記少なくとも２つのマルチプラナ画像再フォーマットのパドルホイールのような組の位置及び軸が、それぞれ選択された点及び前記データセット形状の表面法線である、請求項１３に記載の方法。
15. 前記少なくとも２つのマルチプラナ画像再フォーマットのパドルホイールのような組の向きが、管状構造の軸に沿って規定される、請求項１４に記載の方法。
16. 前記形状操作が、マウスインタラクションにより実行される、請求項１ないし１５のいずれか一項に記載の方法。
17. 前記画像データセットが、医療画像を含む、請求項３に記載の方法。
18. 前記医療画像が、前記操作を可能にする輪郭を持つ解剖学的構造を有する、請求項１７に記載の方法。
19. 前記操作タイプが、オブジェクト操縦操作である、請求項１に記載の方法。
20. 請求項１ないし１９のいずれか一項に記載の方法を実行するインタラクティブデジタル形状操作に対する装置において、
    操作されるべきオブジェクトを選択する選択ユニットと、
    操作タイプに依存して前記オブジェクトをインタラクティブにレンダリングするレンダリングユニットと、
    を有する装置。
21. 前記形状操作を表示するディスプレイを更に有する、請求項２０に記載の装置。
22. 前記装置が、医療ワークステーションに含まれる、請求項２１に記載の装置。
23. コンピュータにより処理するコンピュータプログラムに形体を与えるコンピュータ可読媒体において、前記コンピュータプログラムが、
    オブジェクトの形状を操作する形状操作コードセグメントと、
    操作タイプに依存して前記オブジェクトをインタラクティブにレンダリングするレンダリングコードセグメントと、
    を有する、コンピュータ可読媒体。
24. コンピュータ処理特性を持つ装置により実行する場合に請求項１ないし１９のいずれか一項に記載の全ての方法ステップを実行するように構成されたコードセグメントを有する、請求項２３に記載のコンピュータ可読媒体。

Images