JP2017524432A - 医用イメージングのための骨セグメンテーションにおけるユーザ誘導される形状モーフィング - Google Patents

Abstract

医用イメージングにおけるユーザ誘導される骨セグメンテーション方法のために、半自動のアプローチを使用する。ユーザは、骨の画像上において複数のランドマークを標識する（１２６）。プロセッサが、画像上のユーザ入力されたランドマークに、骨のモデル上の同一のランドマークをモーフィングすることにより、変換が得られる（１２８）。変換はその後、骨を大まかにセグメンテーションするためにモデルに適用される（１３０）。その後にプロセッサは、たとえば骨モデルをスキャンデータに当てはめたり、他の骨とのいかなるオーバーラップも回避するため、得られた当てはめを編集し（１３４）、編集された当てはめを高精度化する（１３６）。かかるユーザ誘導されるセグメンテーションにより、完全自動のアプローチのための分類子を訓練するために多くのサンプルを使用する必要性を回避し、かつ、手動のアプローチにおける単調な輪郭描出を回避することもできる。

Description

関連出願
本願特許文献は、米国法律第３５号第１１９条（ｅ）の規定により、２０１４年７月３日に出願された米国特許仮出願第６２／０２０，６３６号の出願日の利益を主張するものであり、その記載内容は、参照により本願の開示内容に含まれるものとする。

技術分野
本発明は一般的には、医用イメージング分野に属し、より具体的には、医用イメージングにおける骨セグメンテーションに関する。

背景技術
人口の高齢化および医療技術の進歩の双方により、整形外科手術の数が急速に増加している。２回目以降の再手術のうち、腰および膝から拡大した関節置換術が比較的若い志願者になされる割合が増加している。

医用イメージングから得られる骨セグメンテーションは、かかる整形外科手術のプランニングを支援する。たとえばコンピュータ断層撮影（ＣＴ）像または磁気共鳴（ＭＲ）像等の３次元医用画像から得られた骨組織のセグメンテーションにより、個体別の整形外科手術プロセスにおける上述の置換術および最適化のための工学解析を行うことができる。

膨大な量の研究がなされているにもかかわらず、骨セグメンテーションのための高効率かつ高いコストパフォーマンスのアルゴリズムの開発は、未だに発展途上の分野である。従来のアプローチの大部分は学習ベースのものであり、注釈付き訓練画像の大きなデータベースに大きく依拠している。しかし、人間の専門家によって生成された大量の注釈付き画像を得ることは、非常に高コストであり、かつ長時間を要する。また、手動のセグメンテーションも最適ではない。ＣＴまたは他のボリュームの断層ごとの骨の境界の描出は、非常に単調になり得る。

発明の概要
初めに、以下記載している有利な実施形態は、医用イメージングにおけるユーザ誘導される骨セグメンテーションのための方法、システム、命令およびコンピュータ可読媒体を含む。半自動的なアプローチを使用する。ユーザは、骨の画像上において複数のランドマークを標識する。プロセッサが、画像上のユーザ入力されたランドマークに、骨のモデル上の同一のランドマークをモーフィングすることにより、変換が得られる。この変換はその後、骨を大まかにセグメンテーションするためにモデルに適用される。ユーザはこの得られた当てはめを編集することができ、その後にプロセッサは、たとえば骨モデルをスキャンデータに当てはめたり、他の骨とのいかなるオーバーラップも回避するため、この編集された当てはめを高精度化する。このようなユーザ誘導されるセグメンテーションにより、完全自動のアプローチのための分類子を訓練するために多くのサンプルを使用する必要性を回避し、かつ、手動のアプローチにおける単調な輪郭描出を回避することもできる。

第１の側面では、医用イメージングのためのユーザ誘導される骨セグメンテーション方法を提供する。患者のボリュームを表す医用スキャンデータを受け取る。このボリュームは骨を含む。医用スキャンデータから、ボリュームの１つまたは複数の画像をディスプレイ上に生成する。ユーザ入力部から、前記１つまたは複数の画像上の複数の点のユーザ選択を受け取る。前記複数の点は、ボリューム内に分布する３次元での位置に対応する。プロセッサが、骨のモデル内の各対応する点への前記複数の点の当てはめから、ボリュームにおける骨の姿勢を推定する。プロセッサは、前記当てはめに依存して骨のモデルを変換し、変換した当該モデルを用いてボリュームから骨をセグメンテーションする。

第２の側面では、非一時的なコンピュータ可読記憶媒体が、プログラミングされたプロセッサによって３次元医用イメージングのための骨セグメンテーションを行うために実行可能な命令を表すデータを記憶している。記憶媒体は、骨のスキャンボリュームにおいて骨のモデルの姿勢を求めるための命令と、ユーザ入力部から、スキャンボリュームにおける前記姿勢の編集を受け取るための命令と、編集された姿勢を用いてスキャンボリュームにおける骨のセグメンテーションを高精度化するための命令と、高精度化された骨のセグメンテーションの変更であって、他の骨の他のセグメンテーションとのオーバーラップを回避する変更を行うための命令と、上述の最小化後、第１のセグメントおよび第２のセグメントの画像を生成するための命令とを有する。

第３の側面では、医用イメージングにおけるユーザ誘導される骨セグメンテーション方法を提供する。プロセッサが、骨形状の予め決まったランドマークを、患者のボリュームの画像上にある骨のユーザ入力されたランドマークにモーフィングする。このモーフィングは、非剛性の空間的変換を提供するものである。プロセッサは、この非剛性の空間的変換を用いて骨形状を変換し、変換した当該骨形状を用いてボリュームから骨をセグメンテーションする。セグメンテーション処理から得られたセグメンテーションを用いて、骨の画像を生成する。

本発明は下記の特許請求の範囲により定められ、本節のいかなる事項も、当該特許請求の範囲を限定すると解してはならない。以下、本発明の他の側面および利点について、有利な実施形態を参照して説明する。これらの他の側面や利点は、後で独立して、または組合せで、保護請求され得るものである。

図面の簡単な説明
各構成要素および図面は、必ずしも実寸の比率通りではなく、本発明の基本的構成の説明に主眼を置いている。さらに、図面中において同様の符号は、複数の異なる観察面全てにおいて、対応する部分を示している。

医用イメージングにおけるユーザ誘導される骨セグメンテーション方法の他の一実施形態のフローチャートである。 画像上のユーザ入力されたランドマークを骨モデル上の同一のランドマークに連結させる一実施例を示す図である。 図２の骨モデルを多断面再構成に変換したものの一例を示す図である。 モーフィングにより求められた姿勢のユーザ入力された高精度化の一例を示す図である。 姿勢推定結果の、プロセッサにより求められた高精度化の一例を示す図である。 骨セグメンテーションのオーバーラップのプロセッサベースの回避の一例を示す図である。 医用イメージングにおけるユーザ誘導される骨セグメンテーションのためのシステムの一実施形態を示すブロック図である。

実施例の説明
ユーザ誘導される形状モーフィングと、自動的な最適化とが、骨を効率的にセグメンテーションする。自動セグメンテーションにより達成される高い精度と高い速度とを維持しながら、最低量のユーザ入力を用いて訓練データと機械学習とから得られる従来の知識と、効率的な骨セグメンテーションを置き換えることができる。

１つの半自動アプローチは、ユーザ誘導される形状モーフィングと自動最適化とを組み合わせたものである。最初に、ユーザ指定された対応するランドマークセットから計算された推定姿勢パラメータを用いて、セグメンテーションを初期化する。次に、比較的大きい誤差を補正するため、大まかな編集またはユーザ編集を適用する。セグメンテーションはプロセッサによって、グラフベースのアルゴリズムを用いて大局的にさらに高精度化される。局所的な高精度化を達成すべく、他の骨とのオーバーラップを回避するための関節領域の再セグメンテーション、および／または、インタラクティブ編集アプローチを適用することができる。ユーザ誘導される形状モーフィングまたは自動最適化を単独で使用することもが可能である。

ユーザ誘導されるモーフィングを行うためには、大きい訓練データセットから学習するのではなく、ユーザ指定された対応するランドマークセットから姿勢パラメータを算出する。たとえばユーザは、画像ボリュームの多断面再構成（ＭＰＲ）観察面をクリックすることにより、複数の事前定義された解剖学的ランドマークの位置を指定する。その後、上述のパラメータは、ボリュームで表現された骨または３次元画像と、統計的形状または他の骨モデルをアライメントするために使用される。

最適化のためには、マルチステップ高精度化を使用してセグメンテーション精度を向上させる。その複数のステップは、自動最適化とユーザ誘導される編集との双方を含むことができる。たとえば最初に、並進、回転またはスケール誤差等、形状初期化における大きな誤差を補正するために、大まかな編集を使用する。次に、グラフベースのアルゴリズムを用いる自動的な大局的高精度化を行う。複数の隣り合った器官／構造の境界オーバーラップを回避するため、複数の骨の結合領域が自動的に再セグメンテーションされる。最後に、インタラクティブ編集アプローチを用いて局所的高精度化を行う。自動高精度化またはユーザ誘導される高精度化のいかなる組合せも使用することができる。

図１は、医用イメージングにおけるユーザ誘導される骨セグメンテーション方法の一実施形態を示す図である。本方法は、図７のシステム、医用イメージングシステム、ワークステーション、プロセッサ、サーバ、コンピュータおよび／または別のシステムを使用して実施される。一般的には、プロセッサが３次元データを受け取り、本方法の各工程を行って、当該３次元データにより表現される骨の位置を示すものを出力する。

図２〜６に、図１の方法の例が示されている。本例は、患者を表現するＣＴデータを使用する。骨盤の骨が、患者のスキャンボリュームに含まれている。この骨盤の骨のボクセルまたは位置を、当該ボリュームで表現されている他の残りの組織および／または骨からセグメンテーションする。他の実施形態では、他の骨または器官をセグメンテーションすることができる。さらに他の実施形態ではＣＴデータに代えて、ボリュームを表現するＭＲ、超音波、ＰＥＴ、ＳＰＥＣＴ、透視像データ、Ｘ線データまたは他のデータを使用することができる。

セグメンテーションは、患者のボリュームを表現するデータに施される（たとえば、３次元で分布するボクセル）。セグメンテーションは３次元（たとえば、直交座標空間におけるｘ、ｙおよびｚ）で行われる。これに代わる他の実施形態では、セグメンテーションは２次元で行われる。

図１に示された工程以外の追加的もしくは別の工程、または図１より少数の工程を実施することもできる。たとえば、他の種類のデータにアクセスするための工程、出力を送信するための工程、および／または、セグメンテーションを記憶するための工程が設けられる。他の一例として、工程１３４〜１３８の更なる最適化を行うことなく、工程１２２〜１３２を行う。他の一例では、工程１２４は任意の態様で（たとえばユーザ誘導されるモーフィング、および対応する工程２６〜３２を行って、または行わずに）実施され、最適化工程１３４〜１３８のうちいずれか１つまたは複数を設ける。工程１２０および１４０は、オプションとすることができる。

これらの工程は、図示の順で、または異なる順で行われる。最適化工程１３４〜１４０は、たとえばセグメンテーションのプロセッサベースの高精度化の前にオーバーラップの回避を行い、または高精度化の一部として等、任意の順で行うことができる。

工程１２０において、たとえばＣＴデータ等の医用スキャンデータを受け取る。ＣＴスキャンデータは、図１の各工程を説明するために使用しているのであり、他のモダリティも使用することができる。ＣＴデータは、患者をスキャンすることによって受け取られる。患者のボリュームを透過するＸ線投影像を取得するため、患者を中心としてＸ線源およびＸ線検出器を回転させる。検出された強度は、ボリュームを表現するデータに再構成される。これに代わる実施形態では、たとえばＤＩＣＯＭアーカイブシステムからデータをロードする等、ＣＴデータをメモリから受け取る。

ＣＴデータは患者を表現する。複数の異なる器官、組織種類、骨または他の解剖学的構造の一部または全部が、このデータによって表現される。たとえばデータは、骨盤の一部、または、膝関節にある脛骨および大腿骨の一部を表現する。他の組織、たとえば他の骨および／または軟組織も、ＣＴデータで表現することができる。たとえば図２に、ＣＴスキャンデータの３次元レンダリングの一例を示しており、これは、骨盤の骨を示し、かつ大腿骨の上部と一部の椎骨とを含む。

３次元ＣＴデータの形式は任意である。一実施形態では、３次元ＣＴデータを直交座標系における規則的な格子の形式にする。格子位置またはボクセルが異なる場合、これらは、患者のスキャンされたボリューム内のそれぞれ異なる空間的位置を表現する。たとえば各次元において少なくとも２つのボクセルを有するというように、ボクセルは３次元において分布している。受け取った時または受け取った後の３次元ＣＴデータは、バックグラウンド、軟組織もしくは関心対象外の組織を除去するように、および／または、他のセグメンテーション前操作を行うように、処理されることができる。図２の実施例は、軟組織が除去された状態、または軟組織の影響が低減した状態の骨を示している。図３の実施例は、ボリュームのイメージングにおける軟組織を含む。

工程１２２において、ボリュームの１つまたは複数の画像を生成する。医用スキャンデータを用いて、任意の数の画像をディスプレイ上に生成する。図２の実施例において示されている一実施形態では、ボリュームの３次元レンダリング２０２を生成する。レンダリング２０２は、シェーディングを用いるまたは用いない表面レンダリングまたは投影レンダリングであって、任意の観察方向からのレンダリングである。ユーザは、観察方向または他のレンダリングパラメータを設定または変更することができる。図３の実施例において示されている他の一実施形態では、ＭＰＲ画像３０２，３０４および３０６を生成する。ボリュームを通る複数の異なる平面の２次元画像３０２，３０４および３０６を、たとえば３つの直交平面について作成する。ユーザは、ボリュームに対しておよび／または互いに相対的に各ＭＰＲ平面を並進させ、および／または各ＭＰＲ平面の向きを調整する（たとえば回転させる）ことができる。更なる画像を生成するため、追加の平面を付加することができる。図３に示されている３次元レンダリング３０８も、ＭＰＲによって含めることができる。

他の画像も生成することができる。たとえば、骨形状を設ける。この骨形状は、関心対象の骨のモデルである。かかるモデルは専門家によって作成されるものであるか、または他の複数の患者からの複数の専門家セグメンテーションの平均であるか（たとえば平均形状）、または他の１人の患者からの１つのセグメンテーションから得られるものである。一実施形態では上述のモデルは、平均形状と、当該形状の位置の偏差についての統計結果との双方を含む統計的形状モデルである。モデルは、骨のメッシュまたは他の表現である。モデルは、骨の輪郭（たとえば中空）とすることができ、または、メッシュ境界により定められるソリッドとすることができる。

モデルの画像を生成することができる。図２に、患者ボリュームの３次元レンダリング２０２の隣に生成された骨盤のモデルの画像２０４を示している。このモデルは、ボリュームと同一または異なる画像生成法を用いてレンダリングされたものであり、たとえば、同一の観察方向からの表面レンダリング等である。

一実施形態では、モデルの１つまたは複数の画像を生成して、ボリュームの１つまたは複数の画像と同時に表示する。図２は、サイド・バイ・サイド表示を示している。これに代えて、モデルの画像を設けないか、または、患者のボリュームの画像に続いて表示する。

工程１２４において、骨を含むスキャンボリュームにおける当該骨モデルの姿勢を求める。プロセッサが、ユーザ入力装置からのユーザ誘導に基づいて、患者を表現するボリュームに対する骨モデルの相対姿勢を求める。この姿勢は、位置、向きおよび／またはスケールである。姿勢に係るいかなるパラメータ構造も使用することができる。姿勢は骨の境界を含む。姿勢は、境界または他の態様のセグメントの特定の位置を含まないことが可能であるが、その代わりに、たとえば区切りボックス、スケルトンまたは他のパラメータ表現等によって、骨のパラメータ表現または一般化された位置を示す。

姿勢は、工程１２４において工程１２６および１２８を用いて求められる。推定されたこの姿勢は、その後、工程１３０および１３２において初期セグメンテーションを行うために使用される。姿勢は、ボリューム内の点またはランドマークのパラメータ空間において求められる。このセグメンテーションはさらに、工程１３２におけるセグメンテーションのために、工程１３０において骨モデルの他の部分（すなわち非ランドマーク部分）を変換することにより姿勢推定を提供するものである。姿勢およびセグメントを求めるために、追加の工程または別の工程を使用すること、または使用される工程を減少させることができる。たとえば、工程１３０および１３２はセグメンテーションのための工程１２８の推定された姿勢を使用し、また、設けないことも可能である。

工程１２４において姿勢を求めるためには、プロセッサは、工程１２６においてユーザにより入力された各ランドマーク間の空間的変換を求める。形状初期化が、２つの対応するランドマークセットから算出された推定姿勢パラメータを使用する。これら２つのランドマークセットのうち一方は、骨モデルの事前決定されたセットであり、他方は、工程１２６においてユーザにより入力された同一のランドマークのセットである。事前定義されたランドマークセットは、「ソース」セットと称される。

いかなるランドマークも使用することができ、たとえば、骨モデル上の骨組織境界にある点、曲率が変化する場所にある点、境界に沿って等間隔に離隔された点、および／または、他の関心対象の解剖学的位置等を使用することができる。１つまたは複数の点は、解剖学的には当該骨の一部でないことも可能であり、たとえば、骨の向き、位置またはスケールを表す、他の骨または軟組織の解剖学的構造等とすることが可能である。ランドマークは臨床上重要性を有するもの、および／または、形状初期化を制約するのを助けるものとすることができる。図２には、複数のランドマーク２０６が示されている。ランドマーク２０６は、骨盤モデルの外縁または境界に沿って３次元に分布している。

骨モデルの画像中、ランドマークをユーザに対して強調することができる。これに代えて、またはこれと共に、ランドマークをユーザに対して記述する。任意の数のランドマークを使用することができ、たとえば同一平面内にない３つ以上のランドマークを使用することができる。

「ソース」ランドマークは専門家によって、骨モデル上において事前定義または事前選択される。ランドマークはユーザによって作成もしくは変更することができ、および／または、異なる用途ごとに異なることができる。たとえばユーザは、特定のランドマークが比較的区別しやすいと想定することができ、このことにより、骨モデルにランドマークを追加し、または既存のランドマークに変更を追加する。可能なソースランドマークの複数の異なるセットを、いずれかのセットの選択のためにユーザに対して示すことができる。ユーザはランドマークを追加、除外または変更することができる。

工程１２６において、プロセッサはユーザ入力装置から、ボリュームの１つまたは複数の画像上のランドマーク位置のユーザ選択を受け取る。ユーザ入力を簡素化するため、選択は線または曲線ではなく点で行われる。トレーシングを回避することができる。これに代わる実施形態では、ランドマークのうち１つまたは複数を、線、曲線、領域またはボリュームとして定義する。ユーザは、非点ランドマークの形状または他の指標を入力し、その寸法を決定する。トレーシングを使用することができる。

ユーザは、複数のランドマーク点を入力する。ランドマークはボリューム内において、３次元で分布している。ユーザは、１つまたは複数のランドマークの位置を含むように画像を設定する。たとえばユーザは、レンダリングの観察方向を変化させる。他の一例としては、ユーザはＭＰＲイメージングにおいて平面位置を変化させる。

ボリュームの１つまたは複数の画像が１つまたは複数のランドマーク位置を示すと、ユーザは当該位置を、指定のランドマークの位置であるとして選択する。ユーザは、当該ランドマーク位置を示す画素上にカーソルを位置決めしてクリックし、または当該位置の選択を有効化する。３次元レンダリング上において選択を行うためには、プロセッサは、ボリュームにおいて表現されている骨表面が、選択された点から視軸に沿った投影像と交差する場所を発見することにより、奥行を外挿することができる。ＭＰＲの場合、奥行は平面の位置によって定義される。ユーザによってランドマークを選択するため、他の選択肢のユーザインタフェースを使用することも可能である。選択に使用するため、テキストまたは他のファイルがランドマークのうち１つまたは複数の先行の選択を含むことができる。

ユーザはソースランドマーク全部を一巡して、ボリュームの１つまたは複数の画像上の対応する位置を標識する。たとえば、ユーザはボリュームのＭＰＲ観察面上にてクリックすることにより、患者画像上の各「ソース」ランドマーク点の対応する位置を入力し、プロセッサがこれを受け取る。「ソース」ランドマークセット内の全ての点の対応する点が、「目的」ランドマークセットを構成する。

「ソース」ランドマークセット内の点と「目的」ランドマークセット内の点との間で一対一マッピングを逐次的に作成する。これら２つのセットの相対応するランドマークを連結する。一方のセット内の１つのランドマークは、他方のセット内の同一のランドマークに連結される。たとえば図２には、モデルのレンダリング２０４上の強調された点が、患者のボリュームのレンダリング２０２上にて選択された点と連結されているのが示されている。接続線がこの連結をグラフィック表現している。たとえばラベリングまたは色符号化等の、連結の他の表現も使用することができる。これに代えて、ユーザに対して連結のグラフィック表現を何ら示さないことも可能である。

工程１２８のボリューム内における骨の姿勢を推定するため、プロセッサはモデルのランドマークを、ボリュームにおいて表現されている骨のランドマークに当てはめる。対応するまたは連結されたランドマークが、当てはめのために使用される。プロセッサが、骨形状またはモデルの予め決まったランドマークを、患者のボリュームの画像２０２中にて表現されている骨のユーザ入力されたランドマークにモーフィングする。ランドマークは１つより多くの平面において、または３次元で分布しているので、当てはめは３次元となり得る。

姿勢を推定するためには、任意の当てはめを用いることができる。当てはめは、空間的変換を提供するものである。たとえば、当てはめは変形可能であるか、または非剛性の空間的変換である。目的ランドマークと一致するソースランドマークの当てはめまたは変形を表現するため、３次元の非剛性変換を算出する。これに代わる実施形態では、剛性変換を使用する。

変換は、連結または接続された点またはランドマークから算出される。制約付きで、または何ら制約を用いずに、骨のモデルのランドマークと、ボリュームにおいて表現されている骨についてのユーザから入力された同一のランドマークとの差を最小化する。一実施形態では、「ソース」ランドマークセットおよび「目的」ランドマークセットから、現在の変換パラメータを反復法で使用して当該「目的」ランドマークの位置と投影された「ソース」ランドマークの位置との差を最小化する最適化問題を解くことにより、姿勢パラメータと形状空間（ＰＣＡ）パラメータとを推定する。最小化のための一例のコスト関数は、以下の通りである：

ここで、{p_i} はソースランドマークセットであり、{d_i} は目的ランドマークセットであり、ｔは並進ベクトルであり、T(s,r) は、回転ｒとスケールｓとにより特定される相似変換であり、{λ_ｊ} はＰＣＡ形状係数のセットであり、{u_i,j} は、ソース点 p_i とＰＣＡ係数 λ_ｊ とに対応するＰＣＡ形状基底であり、ω は重みパラメータであり、{η_j} は統計的形状モデルからのＰＣＡ形状係数であり、｜・｜はベクトル長を表し、x={x₁, x₂, x₃} である場合、

である。他のコスト関数を用いることもできる。他の変換計算手法を用いることもできる。たとえば、空間的変換を求めるために薄板スプライン法が用いられる。

工程１３０において、当てはめを用いて骨のモデルを変換する。プロセッサは、モデル形状を空間的変換するため、工程１２８から出力された推定姿勢からの空間的変換を適用する。姿勢を表す空間的変換は、スキャンボリュームのランドマークにモデルを当てはめるための非剛性変換、回転および／またはスケールを提供するものである。非剛性の空間的変換を用いて、モデリングされた骨形状において表現されているランドマークの位置および他の位置を変換する。推定された姿勢パラメータを用いて、かかる変換を、モデリングされた形状内の全ての点に適用することにより、モデルのメッシュまたは他のパラメータ表現をボリューム画像にアライメントする。骨の内部領域および外部領域を含めた、骨モデルの種々の部分を変換する。

工程１３２において、プロセッサは上述の変換されたモデルを用いて、骨をボリュームからセグメンテーションする。変換されたモデル形状を、ランドマーク相互間の当てはめに基づいて変形する。その結果、モデル形状のメッシュまたはパラメータ表現が、骨の位置を他の位置から描出する。変換された骨形状は、スキャンボリュームにおいて表現されている骨をセグメンテーションするために用いられる。

初期のセグメンテーションは、スキャンデータのボクセルにラベリングするものである。ボクセルが骨に分類される場合、ボクセルにその旨のラベリングをする。ボクセルが骨に分類されない場合、ボクセルにその旨のラベリングをする。ボクセルのラベルは、ボクセルが骨に包含されるおよび／または骨の境界に位置することを示す。ボリュームにおける骨の位置が識別される。

セグメンテーションはユーザに対して表示される。図３に、セグメンテーションの位置を定義するアライメントまたは変換されたメッシュの一例を示す。モデルは、セグメンテーションされるボリュームの１つまたは複数の画像（たとえばＭＰＲ）上のオーバーレイとして表示される。各ＭＰＲ画像３０２，３０４および３０６において、当該平面と交差する、モデルの輪郭または境界メッシュが、ボリュームの画像上に示されている。ボリュームレンダリング３０８にも、同じアプローチを使用する。ユーザに対してセグメンテーションの他の表現を提供することもできる。

モデルアライメントのためのパラメータはランドマークセットから推定されるので、モデルのアライメント（たとえば変換）および推定の精度は双方とも、ユーザにより指定される「目的」ランドマークの位置の精度に大きく依存する。ユーザにおいてこれを簡単にするために少数（たとえば３〜１０）のランドマークを使用すると、初期の姿勢推定の精度と、それにより得られるセグメンテーションの精度とが低下し得る。ランドマークの手動での選択の精度はばらつく可能性があるので、工程１３４〜１３８において更なる高精度化を行う。さらに、姿勢推定および初期セグメンテーションはランドマークに基づき、スキャンデータの全部には基づかない。その結果、初期セグメンテーションは一般化となる。

工程１３４において、工程１３２で出力されたセグメンテーションを編集する。プロセッサが、ユーザ入力装置からユーザ入力を受け取って、このセグメンテーションを編集する。姿勢は、ユーザによって編集ツールを使用して編集される。セグメンテーションは、セグメンテーションのためにボリュームに対して骨モデルを相対的に配置する。この配置を編集することができる。この配置は、並進、回転および／またはスケーリングによって編集される。ユーザはこの配置を、画像３０２〜３０６に基づいて変化させる。この編集は、スキャンボリュームにおける姿勢の大まかな編集または粗編集としてプロセッサによって受け取られる。

図４Ａおよび４Ｂに一例を示す。図４Ａのボリュームの輪郭４０２は、ｘ軸に沿ってオフセットしている。ユーザは、図４Ｂに示されているようにｘ軸に沿って輪郭４０２を並進移動させることにより、セグメンテーションを編集する。大まかな編集は、形状初期化結果の大局的または比較的大きい誤差を補正する。かかる手順はオプションであり、アライメントされたメッシュの一部がその正しい位置から遠距離にある場合（たとえば、ユーザに気付かれる程のギャップがある場合）にのみ使用される。かかる大きな規模の誤差は、他の残りの自動的な高精度化手順によって補正するのが困難である場合がある。通常は、粗いレベルの編集（たとえば、並進、回転および／またはスケールのためだけの編集）で十分であり、これによりユーザ入力の量が削減する。モデルの形状の編集、または、並進、回転ならびに／もしくはスケールを超えるワープを行うことができる。

表現されているモデルの独立した各部分または未接続の各部分は、それぞれ別個に編集することができる。図４Ａおよび４Ｂは、平面画像でのモデルの２つの別個の「８の字形」または「砂時計形」の表現４０２を示している。双方とも、画像中にて表現されている実際の骨から内側に向かってシフトしている。双方とも、編集のためにそれぞれ異なる方向に並進移動している。これに代えてまたはこれと共に用いられる実施形態では、１つの特定の画像内にて表現されているモデルの複数の異なるまたは分離している部分を、共にシフトするために連結することができる。

並進移動のためには、ユーザは、骨モデルを表すグラフィックをドラッグすることができる。たとえば、ユーザはワイヤフレームをクリック・アンド・ドラッグする。回転移動のためには、回転ツールが起動されたときに回転中心をプロセッサにより割り当て、またはユーザにより入力することができる。その後、ユーザはクリックして、この回転中心まわりに回転させる。スケーリングのためには、スケールツールが起動されたときにスケール点をプロセッサにより割り当て、またはユーザにより入力することができる。スケールツールをスライド（たとえばクリック・アンド・ドラッグ）することによって、アスペクト比を維持しながらスケールを変化させる。これに代えて、アスペクト比を変化させることもできる。粗調整のための他のツールまたは編集手法を用いることもできる。他の代替的な実施形態では、並進、回転またはスケーリング以外の他の編集ツールを用いる。

編集は平面画像上（たとえばＭＰＲ）またはボリュームのレンダリング上において行われる。その変更は、骨モデル全体に適用することができる。たとえば並進は、骨モデル全体の並進である。かかる変更は、ユーザに対して現在表示されている画像の全部に反映される。これに代えて、変更を局所化することもできる。骨モデルは、距離の増大と共に変形の量を減少することによってワープまたは変形される。１つの平面における変更によって他の平面に比較的小さい変更が生じること、または変更が生じないことが可能である。ユーザは、骨モデルの複数の部分における粗編集を高精度化するため、観察方向および／または平面位置を調整することができる。

工程１３６において、工程１３４のいずれかの粗編集の後のセグメンテーションを高精度化する。プロセッサがセグメンテーションを自動的に高精度化する。この高精度化は、初期のまたは編集されたセグメンテーションを入力として使用して、骨モデルをボリュームのスキャンデータに当てはめる。編集された姿勢からの更なる変形が特定される。

任意の当てはめを使用することができる。セグメンテーションは、たとえばフィルタリングまたは他の処理により変更される。任意の高精度化を使用することができる。高精度化はオプションとすることができる。

一実施形態では、グラフベースのエネルギー関数がプロセッサにより適用される。骨モデルは、メッシュにより表現されている場合、セグメンテーションのためのグラフベースのアルゴリズムを用いて高精度化される。かかるアルゴリズムの一例は、先行の形状を用いるグラフカットセグメンテーションである。編集されたセグメンテーションの導出されたメッシュを先行の形状として使用し、これを用いて、骨である旨または骨でない旨の現在のラベルをボクセルが維持する可能性を特定する信頼性マップを生成する。任意の信頼性マップを使用することができ、たとえば、統計的形状モデルからの出力を使用することができる。この信頼度マップは、骨の一部であると標識されている特定のボクセルが骨の一部である確率、スコアまたは信頼度を表す。一実施形態では信頼性マップは、骨境界からボクセルまでの距離に基づいて算出される。骨の一部であるとラベリングされているボクセルの場合、骨の最近傍の境界位置までの距離が算出されて、信頼性を特定するために用いられる。一般的に、対象内にあるが境界から遠距離にあるボクセルの方が、対象内にありかつ境界からより近距離にあるボクセルより、当該対象の構成要素である確率が高い。距離に基づいて信頼性を割り当てる任意の関数を有する信頼性マップとして、たとえば、距離の逆数のみをもって信頼性とすることにより（または、境界からの距離を信頼性とし、数値が高いほど高信頼性を表すこととすることにより）、距離マップが用いられる。

セグメンテーションは、セグメンテーションのための信頼性マップを用いて高精度化される。グラフベースエネルギー関数は、信頼性マップに基づいて最小化される。一例のアプローチは、ＣＴデータにより良好に当てはめるようにセグメンテーションを高精度化する、というものである。ＣＴデータをより良好に当てはめるためには、グラフベースエネルギー関数は以下のように表される：
E(L)=Σ_ND_p(L_p)+ΣV_p,q(L_p,L_q) (2)
同式中、D_p(L_p) の総和はボリュームＰの構成要素の総和であり、ΣV_p,q(L_p,L_q) の総和は、隣り合ったボクセルＮの対の集合の構成要素ｐ，ｑの総和であり、L = {Lp | p ∈ P} はボリュームＰの２値ラベル（Lp ∈ {0, 1}）であり、Dp(Lp) は単一要素のデータ項であり、これは、
D_p (L_p)= L_p (1 - g(M(p))) + (1 - L_p)g(M(p)) (3)
として定義される。M(p) は、ボクセルｐから境界変形後のセグメンテーションの境界までの正負符号付きの最短距離である。ｐがセグメンテーション内（前景）に位置する場合、M(p) > 0 となり、ｐがセグメンテーション外（背景）に位置する場合、M(p) < 0 となり、ｐがセグメンテーション境界上に位置する場合、M(p)=0 となる。Ｍは、先行のセグメンテーションの信頼性マップとして見ることができる。M(p) が大きいほど（または小さいほど）、ｐを前景に（または背景に）分類すべきとする尤度が高くなる。ボクセルｐがセグメンテーション境界に接近する場合（M(p)≒0）、ラベル Lp の不確かさは高くなり、セグメンテーション高精度化により更新すべきとする尤度が高くなる。g(.) は、距離を信頼性にマッピングする任意の関数であり、たとえば、
g(x)=1/(1 + e^-x/τ) (4)
として定義されるシグモイド関数等である。ここでτは、先行のセグメンテーション結果の不確かさの範囲を制御するパラメータ（たとえば３〜５ｍｍ）である。数式２では、Ｎは隣り合ったボクセルの全ての対の集合であり、V_{p, q} は、対ごとの相互作用項であり、以下の通りである：
V_p,q =λe^{-((Ip-Iq)squared/2σsquared)}δ(L_p ≠ L_q) (5)
ここで、δ(.) はクロネッカーのデルタ関数であり、以下の通りである：
I_p ≠ I_q である場合、δ(L_p ≠ L_q) = 1 であり、I_p = I_q である場合には０である。
さらに、λは正則化パラメータであり、σはコントラスト係数である。任意の値を使用することができ、たとえばλについては１〜２を、σについては３０〜１７５を使用することができる。I_p および I_q は、ボクセルｐおよびｑの各強度を示す。対ごとの項により、同様の強度を有する隣り合ったボクセルに同一のラベルを割り当てることが容易になる。

セグメンテーションは、数式２のエネルギー関数を最小化することにより高精度化される。エネルギー関数のいかなる最適化も用いることができ、たとえば、多項式の時間複雑性を有する最小カット最大フローアルゴリズムを用いて解くことができる。他の解法、関数、他のグラフベースのコスト関数、または高精度化のための他のアプローチも使用することができる。

図５Ａおよび５Ｂに、工程１３６のグラフベースのセグメンテーション高精度化後の改善された結果の一例を示す。図５Ａには、画像中にて表現されているボリュームの骨と、骨のモデルの輪郭との間のギャップ５０２が示されている。初期のセグメンテーションからは、骨モデルの輪郭または境界が骨内にある他の領域および／または他のギャップが生じ得る。グラフカットを用いて骨モデルのメッシュを高精度化した後は、このギャップは縮小または消去される（図５Ｂ）。その結果は、ＣＴデータ中にてラベリングされている通りの骨を表すセグメントとなる。他のセグメンテーションを使用することもできる。

工程１３８において、骨のセグメンテーションの更なる変更を行う。プロセッサによる高精度化の後（たとえば、コスト関数を用いて骨モデルをスキャンデータに当てはめた後）、当該セグメンテーションにおいて他のセグメンテーションされた骨とのオーバーラップの有無を検査する。１つの関節は複数の骨を結合している。各骨のセグメンテーションを個別に行うと、複数の骨についてのセグメンテーション結果が１つのボクセルに対して複数のラベルを割り当てることになる。かかるオーバーラップ誤差は、骨が互いに近接している関節の領域であって、画像コントラストが明確な分離を達成するために十分でない領域において生じることが多い。１つの特定のボクセルが割り当てられる骨は１つのみでなければならないので、２つの骨に分類されるとラベリングされたボクセルは全て、１つの骨のみに対応するように補正される。他の代替的な実施形態では、セグメンテーションは１つの骨についてなされ、オーバーラップは生じない。かかる状況では、本実施例の更なる高精度化は行われない。

他のセグメンテーションとのオーバーラップを回避すべく再セグメンテーションまたはセグメンテーションの変更を行うためには、プロセッサは、関節の領域における空間的関係を強制するための空間的制約を適用する。いかなるオーバーラップも識別されて補正される。再セグメンテーションは、オーバーラップ誤差を除去するために共同して行われる。共同的な再セグメンテーションは、オーバーラップを阻止するための空間的制約を含む。セグメンテーションはこの空間的制約を使用して更に高精度化され、または、工程１３６の高精度化が当該空間的制約を含む。

局所的なオーバーラップ領域が抽出される。このオーバーラップに対応するスキャンデータのみが使用されるか、または、当該オーバーラップの周囲の領域内のデータのみが使用される。再セグメンテーションの計算効率をさらに向上するためには、複数の対象に分類されるとラベリングされたボクセルについてのみ、またはオーバーラップ位置についてのみ、再セグメンテーションを行う。かかるボクセルに対応するラベルにより、オーバーラップが区別される。ボクセルのラベルを検査することにより、１つの特定のボクセルが複数の個別のセグメンテーションによって１つより多くの対象に分類されるとラベリングされているか否かを特定する。これに代えて、オーバーラップ位置を含めた、当該オーバーラップ位置の周囲の事前設定またはユーザ設定されたサイズの局所領域について、再セグメンテーションを行う。さらに他の実施形態では、全ての位置またはボクセルについて再セグメンテーションを行う。

他のデータをデータマスキングすることにより、または、当該領域内のボクセルまたはオーバーラップのボクセルの値を除去することにより、再セグメンテーションのためのスキャンデータが抽出される。これに代えて、抽出なしでスキャンデータを使用して、隣り合ったボクセルを再セグメンテーション計算のために使用できるようにする。

個別のセグメンテーションの複数の結果は、共同で調整される。これらの位置に対するラベルは、２つ以上の骨に属するのではなく１つの骨にのみ排他的に属するように変更される。１つの特定のボクセルに対して複数の骨のうち１つを選択するため、任意の基準を使用することができる。この基準は共同の基準であり、これにより、双方の骨を検討対象に含める。

一実施形態では、信頼性マップが共同的再セグメンテーションのために使用される。２つ以上の骨からの信頼性マップは、位置またはボクセルが各骨の構成要素である確率を示す。最も高い信頼性を有する骨が、当該ボクセルについての対象として選択される。共同で変更するため、なめらかでない境界を回避するための他のアプローチを使用することもできる。

単なる選択以外にも、グラフベースエネルギー関数を使用することができる。空間的制約が課された対ごとの同時セグメンテーションが使用される。対象のオーバーラップ無しで各ボクセルにラベリングするよう制約が課されたグラフベースエネルギー関数の最小化がなされる。距離または信頼性と空間的制約とを組み合わせて使用することにより、ボクセルラベルが１つの骨に排他的に属するように、またはどの骨にも属さないように変更される。特定の空間的除外制約を導入することにより、再セグメンテーションはオーバーラップ誤差の完全な除去を保証することができる。

対象の対には、ＡおよびＢのラベルが付されている。Ｌ_ＡおよびＬ_Ｂはそれぞれ、骨ＡおよびＢのラベリングを意味している。L_A(p) =1 である場合、ボクセルｐは骨Ａ内に含まれており、逆に L_A(p) =0 である場合、ボクセルｐは骨Ｂ内に含まれている。数式２のエネルギー関数は、以下のようにして、対象が２つの場合の事例まで拡張される：
E(L_A,L_B)= E(L_A)+ E(L_B) =ΣD_A(p)(L_A(p))+ΣV_A(p,q)(L_A(p), L_A(q)) + ΣD_B(p)(L_B(p))+ ΣV_B(p,q)(L_B(p), L_B(q)) (6)
ここで、Ｄの総和はボリュームＰに含まれるボクセルの総和であり、Ｖの総和は集合Ｎに含まれるボクセルの総和であり、全ての記号は、数式２と同一の意味を有する。数式６は、セグメンテーションにおいて数式２を使用した上でさらに、別個に適用される。数式６は共同的再セグメンテーションのために使用されるので、Ｍは、高精度化後のセグメンテーション結果に基づくこととなる。数式６において示されているように、E(L_A,L_B) の最小化は E(L_A) の最小化と E(L_B) とに別々に分解することができる。というのも、数式６のエネルギー関数においては、L_A と L_B との間に相互作用項が存在しないからである。骨ＡおよびＢは本質的には、別個にセグメンテーションされる。

共同的再セグメンテーションを行うためには、L_A と L_B との間に空間的除外制約が存在する。というのも、対象ＡおよびＢは空間的にオーバーラップすることがないからである。L_A(p) =1 である場合、L_B(p) は０に等しくなければならず、その逆についても同様である。かかる空間的制約は、以下の対ごとの項
E~(L_A, L_B) = E(L_A, L_B)+ ΣW(L_A(p),L_B(p)) (7)
を追加することにより、数式６のエネルギー関数に組み込まれる。ここで、L_A(p) = L_B(p)=1 である場合、W(L_A(p),L_B(p))= +∞ となり、そうでない場合には０となる。

エネルギー関数E~(L_A, L_B) を最小化する最適解が、L_A(p) とL_B(p) との双方が同時に１にならないことを保証する（∀p ∈Ρ）。W (0, 1)+W (1, 0) <W (0, 0)+W (1, 1) であるから、導入された上述の対ごとの項 W_{A(p), B(p)} (L_A(p), L_B(p)) は優モジュラであり、よって当該項は、最小カット最大フローアルゴリズムを介しては直接最適化することができない。かかる問題に対処するためには、ラベル L_B の２値情報を １ - L_B に切替え、またはその他の変更を施すことにより、その多義性を回避する。エネルギー関数E~(L_A, L_B) は常に劣モジュラとなり、最小カット最大フロー解法を用いて、L_A の最適なラベリングと L_B の最適なラベリングとを共に発見することができる。これに代えて、別の最小化解法を使用することもできる。

最小化は、オーバーラップに関連する局所領域についてのみ行われるので、オーバーラップ状態のボクセルのみが変更される。その調整は、識別されたオーバーラップボクセルについてのみ行われるので、オーバーラップ領域外にあるボクセルのラベルの変更が回避される。空間的制約が課された共同的セグメンテーションは、各骨個別の初期セグメンテーションから生成された局所的なオーバーラップ領域にのみ適用される。初期セグメンテーションにおいてオーバーラップが無い場合、共同的セグメンテーションをスキップする。このことにより、初めから先行空間的制約を使用して共同的セグメンテーションを実行する場合と比較して（すなわち、個別のセグメンテーションを別々に行わずに共同的セグメンテーションを行う場合と比較して）計算が効率的になる。

図６Ａおよび６Ｂは、骨セグメンテーションのオーバーラップおよび補正の一例を示す図である。図６Ａにおいて、２つの骨に対応する２つのメッシュの輪郭が６０２においてオーバーラップしているのが示されている。骨盤および大腿骨骨頭の骨モデルまたはメッシュは、左右の両股関節寛骨臼においてオーバーラップしている。最大１つの骨に対応するとのラベルを各ボクセルに付する再セグメンテーションの後、図６Ｂに示されているようにこのセグメンテーションは補正される。輪郭のオーバーラップは除去される。

他の高精度化を行うことも可能である。セグメンテーション品質をさらに改善するために、得られたメッシュに追加の高精度化処理を適用することが可能である。たとえばグラフカットセグメンテーションアルゴリズムはしばしば、メッシュに穴を生成することが多い。このそれぞれの穴は、背景のうち前景領域によって囲まれている小さい領域（すなわち、骨によって囲まれている非骨領域）である。骨構造はかかる要素を有することがないので、このことは通常は望ましくない。穴が想定外のサイズを有する場合、または穴が想定外の場所に位置する場合、メッシュ穴フィルタが適用される。かかる穴を識別し、そのセグメンテーション誤差を補正するため、骨である旨の再ラベリングをボクセルに施す。メッシュ穴フィルタは穴の位置を検出するために、メッシュまたはセグメンテーションマスクを走査し、穴の中にあるボクセルのラベルを前景に変更する。

他の一例として、更なる高精度化、更なる手動または半自動の高精度化を行うこともできる。インタラクティブ編集アプローチによってメッシュまたはセグメンテーションマスクを高精度化することにより、セグメンテーション品質をさらに向上することができる。たとえばユーザは、境界の一部をトレーシングする。その後、プロセッサが、トレーシングされた境界を含むようにマスクを変更する。プロセッサは、骨モデルをスキャンデータにより良好に当てはめるための先行体として、トレーシングされた境界を使用して再セグメンテーションを行うことができる。スプライス誘導される再セグメンテーションを使用することができる。他の一例として、ユーザは、セグメンテーションに含むべき領域または含むべきでない領域を選択することができる。セグメンテーションを定義する骨モデルは、このユーザ選択を考慮するようにプロセッサによって変更することができる。

工程１４０において、画像を出力する。この画像は、セグメンテーションされた１つまたは複数の骨を示す。骨を区別するため、グラフィック、強調、カラー化または他の視覚的手がかりが、画像中に追加または包含される。たとえば、ボリュームを表現するスキャンデータを使用してＭＰＲを生成し、または画像をレンダリングする。当該骨をカラー化するため、または他の組織および／または骨から他の手法により区別するため、セグメンテーションが使用される。これに代えて、骨セグメントからのスキャンデータだけの画像を生成する場合もある。セグメンテーションは、骨に由来しないデータをマスキングするために使用される。他の残りのデータは、画像を生成するために使用される。

複数の骨をセグメンテーションする場合、画像はこれらの複数の骨セグメントを表現することができる。ラベリングにおける全てのオーバーラップが除去された後、これら複数の個別の骨を区別するための色または他の強調を追加して共に使用し、または追加せずに、これらの骨を表示する。

上記画像は、ユーザまたはプロセッサにより選択された観察方向からのスキャンデータの２次元画像についての３次元レンダリングである。このレンダリングは、表面レンダリング、投影レンダリングまたは他のレンダリングを用いることができる。他の実施形態では上記画像は、ボリュームを通る平面を表す２次元画像であり、これはたとえば、ＭＰＲまたはユーザ選択された観察面を用いて生成されたもの等である。

図７は、医用イメージングにおけるユーザ誘導される自動骨セグメンテーションのためのシステムまたはプラットフォームの一例を示す図である。このシステムは、コンピュータ７０２と、画像取得装置７２０と、ユーザ入力装置７１６と、ディスプレイ７１４とを備えている。コンピュータ７０２は、プロセッサ７０４と、メモリ７１０と、記憶装置７１２と、入力／出力インタフェース７０８と、ネットワークインタフェース７０６とを備えている。ディスプレイ７１４および／またはユーザ入力装置７１６を備えているまたは備えていないコンピュータ７０２は、コンピュータ、ラップトップ、タブレット、ワークステーション、サーバ、ＣＴワークステーションまたは他の処理装置である。コンピュータ７０２は、一実施形態では画像取得装置７２０の一部であるが、別個の装置とすることもできる。

追加的もしくは別の構成要素、またはより少数の構成要素を設けることもできる。たとえば、複数のプロセッサおよび／または他のコンピュータ部品が設けられる。実際のコンピュータの実装は、他の構成要素を含むことができる。図７は説明のため、上述のコンピュータ７０２の一部の構成要素の高度な表現である。他の一例としては、画像取得装置７２０は設けられていない。

画像取得装置７２０はＣＴスキャナ、ＭＲスキャナ、ＰＥＴシステム、ＳＰＥＣＴシステム、超音波スキャナまたは他の医用イメージングモダリティである。ＣＴスキャナである場合、画像取得装置７２０は線源と検出器とを有する。ガントリが患者を中心として線源と検出器とを回転させる。ＣＴデータを生成する、ＣＴに類するイメージングを行うため、ガントリに代えてＣアームを使用することもできる。ＣＴスキャナは、Ｘ線を用いて患者を走査するものである。プロセッサ７０４または他のプロセッサ（たとえば、ＣＴスキャナ７２０のプロセッサ）が、検出されたＸ線投影像から、ボリュームを表すＣＴデータを再構成する。この再構成は、３次元の直交座標グリッドに対するものであるが、他の座標系を使用することもできる。プロセッサ７０４または他のプロセッサは、この再構成されたスキャンデータを用いてボリュームの画像を生成する。

画像取得装置７２０は画像またはスキャンデータをコンピュータ７０２に入力するため、コンピュータ７０２に接続されている。この接続は無線接続または有線接続であり、たとえば医療設備に設けられた通信ネットワーク等を介して行われる。かかる構成に代えて、画像取得装置７２０とコンピュータ７０２とを１つの装置とすることもできる。

ユーザ入力装置７１６は、キーボード、ボタン、スライダ、ノブ、マウス、トラックボール、タッチパッド、タッチスクリーン、これらの組合せ、または、現在公知であるもしくは将来開発される他の任意のユーザ入力装置である。ユーザはこのユーザ入力装置７１６を用いて、コンピュータ７０２に情報を入力する。たとえばユーザは、３次元レンダリングの場合には観察方向を、および／またはＭＰＲの場合には平面位置を変化させる等の、イメージングの操作を行う。ユーザ入力装置７１６は、スキャンデータから生成された１つまたは複数の画像上のランドマーク位置を示すために用いられる。ユーザ入力装置７１６は、たとえばセグメンテーションのためにメッシュまたは他の骨形状を並進、回転および／またはスケーリングするための粗編集等の編集のために使用することができる。ユーザ入力装置７１６からは他の入力を得ることもでき、たとえばセグメンテーションを高精度化するための入力等を得ることができる。

ユーザ入力装置７１６はコンピュータ７０２の入力／出力インタフェース７０８に接続されている。この接続は有線または無線である。入力装置７１６により受け取られた入力は、コンピュータ７０２の入力／出力インタフェース７０８に送信されて受け取られる。

ディスプレイ７１４は、ＣＲＴ、ＬＣＤ、フラットパネルディスプレイ、プラズマディスプレイ、プロジェクタ、プリンタ、これらの組合せ、または、現在公知であるもしくは将来開発される他の任意のディスプレイである。グラフィック処理ユニットまたは他のハードウェアもしくはソフトウェアを用いて、ディスプレイ７１４はグラフィカルユーザインタフェース、編集ツール、医用画像、セグメント情報、セグメント情報を含む医用画像またはこれらの組合せを提示するため、白黒画素またはカラー画素を直交座標形式または他の座標形式で生成する。たとえばディスプレイ７１４は、プロセッサ７０４によって図２〜６の画像を生成するように構成され、たとえば、骨モデルまたはセグメンテーションに係る輪郭またはグラフィックをオーバーレイして用いることによりスキャンデータからレンダリングまたは再構成された画像等を生成するように構成される。プロセッサによっておよび／またはユーザの補助により識別された１つまたは複数のセグメントを表示することができる。他の代替的または付加的な実施形態では、セグメントはメモリ７１０、記憶装置７１２もしくは別のメモリへ出力され、ネットワークを介して転送され、または、後続の演算（たとえば手術プランニング、インプラント設計または切開誘導設計）のためにプロセッサ７０４へ供給される。

プロセッサ７０４は、コンピュータ７０２の動作を定義するコンピュータプログラム命令を実行することにより、その全ての動作を制御する。プロセッサ７０４は汎用プロセッサ、特定用途集積回路、デジタル信号処理プロセッサ、フィールドプログラマブルゲートアレイ、多重プロセッサ、アナログ回路、デジタル回路、ネットワークサーバ、グラフィック処理ユニット、これらの組合せ、または、セグメンテーションを行うための現在公知であるもしくは将来開発される他の装置である。プロセッサ７０４は、ランドマークのユーザ入力に基づいて骨または他の対象をセグメンテーションする。プロセッサ７０４は、セグメンテーションを半自動で行うためにユーザ入力を使用する。ユーザ入力は、ランドマーク、姿勢の粗編集および／またはセグメンテーションの他の高精度化に限定することができる。プロセッサ７０４はユーザ入力を使用して、初期セグメンテーション、ユーザにより編集されたセグメンテーションの高精度化、および／または、オーバーラップする全てのセグメンテーションの除去を行う。プロセッサ７０４は、たとえばユーザ入力されたランドマークからの姿勢の推定、および／またはスキャンデータへの当てはめを用いた初期セグメンテーションの高精度化等の、一部のセグメンテーション機能を自動的に行う。

コンピュータ７０２は、ネットワークを介して他の装置と通信するために、１つまたは複数のネットワークインタフェース７０６も備えている。画像取得スキャナ７２０との直接接続を用いずに、このネットワークを介しての転送によりスキャンデータを取得することもできる。

メモリ７１０および／または記憶装置７１２は、たとえばスキャンデータ、信頼性マップ、距離、モデル、ソースランドマーク、入力された目的ランドマーク、画像、または３次元イメージングのための骨セグメンテーションに用いられる他の情報等のデータを記憶する。他のデータを記憶することもでき、たとえば、セグメンテーションのための任意の処理段階に用いられるデータ等を記憶することもできる。

記憶装置７１２は外部媒体またはリムーバブル媒体であり、たとえばフラッシュドライブまたは光学ディスク等である。メモリ７１０は内蔵メモリ、たとえばＲＡＭ、ハードドライブまたはキャッシュ等である。

コンピュータ７０２は、取得撮像装置７２０、ユーザ入力部７１６およびディスプレイ７１４と協働して、図１の各工程または他の工程を実施する。コンピュータプログラム命令を記憶装置７１２（たとえば磁気ディスク）に記憶し、当該コンピュータプログラム命令の実行が要望されたときにこれをメモリ７１０にロードすることができる。よって、上記にて記載されている方法の各工程は、メモリ７１０および／または記憶装置７１２に記憶されたコンピュータプログラム命令であって、当該コンピュータプログラム命令を実行するプロセッサ７０４によって制御されるコンピュータプログラム命令により定義することができる。メモリ７１０および／または記憶装置７１２は、プログラミングされたプロセッサ７０４によって３次元医用イメージングのための骨セグメンテーションを行うために実行可能な命令を表すデータを記憶する非一時的なコンピュータ可読記憶媒体である。本願において説明した処理、方法、工程および／または技術を具現化するための命令は、コンピュータ可読記憶媒体またはメモリで、たとえばキャッシュ、バッファ、ＲＡＭ、リムーバブル媒体、ハードドライブまたは他のコンピュータ可読記憶媒体で提供される。コンピュータ可読記憶媒体には、種々の種類の揮発性および不揮発性記憶媒体が含まれる。図面中に図示されまたは本願明細書中に記載されている機能、工程またはタスクは、コンピュータ可読記憶媒体内またはコンピュータ可読記憶媒体上に記憶されている１つまたは複数の命令セットに応答して実行される。上記機能、工程またはタスクは、特定の形式の命令セット、記憶媒体、プロセッサまたは処理手法に依存するものではなく、単独動作で、または組み合せて、ソフトウェア、ハードウェア、集積回路、ファームウェアおよびマイクロコード等により実行することができる。また処理手法には、マルチ処理、マルチタスク処理および並列処理等を含むことができる。

一実施形態では命令は、ローカルシステムまたは遠隔システムによって読み出すためにリムーバブル媒体デバイス上に記憶される。他の実施形態では命令は、コンピュータネットワークまたは電話回線を介して転送するために遠隔位置に記憶される。さらに他の実施形態では、命令は、特定のコンピュータ、ＣＰＵ、ＧＰＵまたはシステム内に記憶される。

上記にて種々の実施例を参照して本発明を説明したが、本発明の範囲から逸脱することなく多くの変更や改良を施すことが可能であることは明らかである。よって上記の詳細な説明は、本発明を限定するためのものではなく説明とみなすべきであり、以下の特許請求の範囲が、均等態様も含めて、本発明の思想および範囲を特定するものであると解すべきである。

Claims (19)

1. 医用イメージングにおけるユーザ誘導される骨セグメンテーション方法であって、
   骨を含む患者のボリュームを表現する医用スキャンデータを受け取るステップ（１２０）と、
   前記医用スキャンデータから、前記ボリュームの１つまたは複数の画像をディスプレイ上に生成するステップ（１２２）と、
   ユーザ入力部から、前記１つまたは複数の画像上の、前記ボリュームにおいて３次元で分布する位置に対応する複数の点のユーザ選択を受け取るステップ（１２６）と、
   プロセッサによって、前記骨のモデルにおける対応する点への前記複数の点の当てはめから、前記ボリュームにおける当該骨の姿勢を推定するステップ（１２８）と、
   前記当てはめに依存する前記骨の前記モデルを、前記プロセッサによって変換するステップ（１３０）と、
   前記プロセッサによって、変換された前記モデルを用いて、前記ボリュームから前記骨をセグメンテーションするステップ（１３２）と
   を有することを特徴とする、ユーザ誘導される骨セグメンテーション方法。
2. 前記医用スキャンデータを受け取るステップ（１２０）は、前記骨と他の組織とを含む前記ボリュームを表現する当該医用スキャンデータを受け取ること（１２０）を含む、
   請求項１記載のユーザ誘導される骨セグメンテーション方法。
3. 前記１つまたは複数の画像を生成するステップ（１２２）は、多断面再構成を生成すること（１２２）を含み、
   前記ユーザ選択を受け取るステップ（１２６）は、前記多断面再構成の画像上の点の選択を受け取ること（１２６）を含む、
   請求項１記載のユーザ誘導される骨セグメンテーション方法。
4. 前記生成するステップ（１２２）は、前記ボリュームのレンダリングと、前記モデルのレンダリングとを生成すること（１２２）を含み、
   前記ユーザ選択を受け取るステップ（１２６）は、前記モデルのレンダリング上の強調された対応する点を、前記ボリュームのレンダリング上に示された前記骨と連結することを含む、
   請求項１記載のユーザ誘導される骨セグメンテーション方法。
5. 前記ユーザ選択を受け取るステップ（１２６）は、前記点が何処に前記骨のランドマークを含むかを受け取ること（１２６）を含み、
   前記対応する点は、前記モデルにおいて表現されている前記骨のランドマークに対応する、
   請求項１記載のユーザ誘導される骨セグメンテーション方法。
6. 前記推定するステップ（１２８）は、前記点と前記対応する点との間の差を最小化することを含む、
   請求項１記載のユーザ誘導される骨セグメンテーション方法。
7. 前記推定するステップ（１２８）は、前記対応する点から前記点への変換を算出することを含み、
   前記変換するステップ（１３０）は、前記変換を前記モデルに適用することを含む、
   請求項１記載のユーザ誘導される骨セグメンテーション方法。
8. 前記変換するステップ（１３０）は、前記対応する点以外の位置を含めて前記モデルを非剛性で並進、回転および／またはスケーリングすることを含む、
   請求項１記載のユーザ誘導される骨セグメンテーション方法。
9. 前記セグメンテーションするステップ（１３２）は、変換された前記モデル上または当該変換されたモデル内における、前記ボリュームの前記骨の位置を識別することを含む、
   請求項１記載のユーザ誘導される骨セグメンテーション方法。
10. 前記ユーザ誘導される骨セグメンテーション方法はさらに、
    前記ボリュームの他の部分を含まない、セグメンテーションされた前記骨を示す画像を出力するステップ（１４０）
    を有する、請求項１記載のユーザ誘導される骨セグメンテーション方法。
11. 前記ユーザ誘導される骨セグメンテーション方法はさらに、
    ユーザ入力から、前記セグメンテーション（１３２）を編集するステップ（１３４）
    を有する、請求項１記載のユーザ誘導される骨セグメンテーション方法。
12. 前記ユーザ誘導される骨セグメンテーション方法はさらに、
    グラフベースのエネルギー関数を用いて前記セグメンテーション（１３２）を高精度化するステップ（１３６）
    を有する、請求項１記載のユーザ誘導される骨セグメンテーション方法。
13. 前記ユーザ誘導される骨セグメンテーション方法はさらに、
    前記骨の前記セグメンテーション（１３２）と他の骨のセグメンテーション（１３２）とのオーバーラップを識別するステップ（１３８）と、
    前記オーバーラップを補正するステップと
    を有する、請求項１記載のユーザ誘導される骨セグメンテーション方法。
14. プログラミングされたプロセッサによって３次元医用イメージングにおいて骨セグメンテーションを行うために実行可能な命令を表すデータを記憶する非一時的なコンピュータ可読記憶媒体であって、
    前記記憶媒体は、
    骨のスキャンボリュームにおいて骨のモデルの姿勢を求めるステップ（１２４）と、
    ユーザ入力部から、前記スキャンボリュームにおける前記姿勢の編集を受け取るステップ（１３４）と、
    編集された前記姿勢を用いて前記スキャンボリュームにおける前記骨のセグメンテーションを高精度化するステップ（１３６）と、
    高精度化された前記骨のセグメンテーションの変更であって、他の骨の他のセグメンテーションとのオーバーラップを回避する変更を行い（１３８）、
    最小化後、第１および第２のセグメントの画像を生成するステップ（１４０）と
    のための命令を有することを特徴とする非一時的なコンピュータ可読記憶媒体。
15. 前記姿勢を求めるステップ（１２４）は、ユーザにより入力された、前記スキャンボリュームの画像上のランドマークと、前記骨モデルのランドマークとの空間的変換を求めることを含む、
    請求項１４記載の非一時的なコンピュータ可読記憶媒体。
16. 前記編集を受け取るステップ（１３４）は、前記スキャンボリュームを用いたレンダリングにおける前記姿勢の前記骨モデルの輪郭の並進、回転および／またはスケーリング編集を受け取ること（１３４）を含む、
    請求項１４記載の非一時的なコンピュータ可読記憶媒体。
17. 前記高精度化するステップ（１３６）は、グラフベースのエネルギー関数を適用することを含む、
    請求項１４記載の非一時的なコンピュータ可読記憶媒体。
18. 医用イメージングにおけるユーザ誘導される骨セグメンテーション方法であって、
    プロセッサにより、骨形状の所定のランドマークを、患者のボリュームの画像上にある骨のユーザ入力されたランドマークにモーフィング（１２８）することにより、非剛性の空間的変換を提供するステップと、
    前記プロセッサにより、前記非剛性の空間的変換を用いて、前記骨形状を変換するステップ（１３０）と、
    前記プロセッサによって、変換された前記骨形状を用いて、前記ボリュームから前記骨をセグメンテーションするステップ（１３２）と、
    前記セグメンテーションするステップ（１３２）により得られたセグメンテーションを用いて、前記骨の画像を生成するステップ（１４０）と
    を有することを特徴とするユーザ誘導される骨セグメンテーション方法。
19. モーフィング（１２８）は、前記非剛性の変換が３次元の空間的変換となるように３次元のモーフィングを含む、
    請求項１８記載のユーザ誘導される骨セグメンテーション方法。

Images