JP2009536859A - 体積測定画像にカラーテクスチャ化された外部表面をマッチングさせること - Google Patents

Abstract

被験体の体積測定画像および被験体のカラーテクスチャ化された外部表面を表す組み合わされた画像データを生成するためのシステムおよび方法。体積測定画像データ（ボクセルデータ）（４１０）は、体積測定スキャナから取得され、該体積測定画像データは、被験体の内部および外部の構造を含む。写真の二次元画像データ（４０５）は、被験体の外部の色およびテクスチャを保持し、例えば、患者の正面の顔のショット（ｆａｃｅ ｓｈｏｔ）写真を表し得る。二次元の画像データ（４０５）は、カラーテクスチャされた外部表面データを体積測定データ（４１０）に提供し、体積測定データおよび外部のカラーテクスチャ化された表面データの両方を有する表示画像データを生成するために用いられ得る。

Description

（関連出願の引用）
この出願は、２００６年５月１１日に出願された米国仮特許出願第６０／７９９，３８８号の本出願であり、該仮特許出願の利益を主張し、該仮特許出願は、すべての目的のために、その全体が本明細書に参考として援用される。

（発明の背景）
体積測定イメージングすなわちボリュームレンダリングは、測定された三次元の対象または被験体の図的表現を提供し、対象または被験体の内部構造を可視化するために用いられ得る。例えば、医療画像化において、コンピュータ断層撮影（ＣＡＴ）スキャナ、磁気共鳴画像（ＭＲＩ）スキャナ、円錐ビームコンピュータ断層撮影（ＣＴ）スキャナ、または他のタイプのスキャナなどの体積測定スキャナが、患者の体の部分などのスキャンされた対象の体積測定データを生成するために用いられ得る。この体積測定データから、スキャンされた対象の体積測定画像が生成され得る。体積測定画像は、体積測定データを同一表面モデルに変換後のレイトレーシング（ｒａｙ ｔｒａｃｉｎｇ）または表面レンダリングなどの体積測定レンダリング技術を用いる三次元の対象表現であり得る。本明細書において用いられる場合、「被験体」は、スキャナなどの入力デバイスによって、観察され、スキャンされるなどがされる、物理的に存在する対象、患者、患者の体の部分、物などを表すために文脈において用いられる。

被験体の体積測定データに基づきレンダリングされた画像は、被験体の異なるビュー（ｖｉｅｗ）を提示するように調整され得る。例えば、不透明および透明の制御の閾値を変化させることによって、被験体の内部形状もしくは外部形状および／またはその構造が可視化され得る。医療用途において、画像閾値は、堅い組織または柔らかい組織（すなわち骨または筋肉および肉）を可視化するために調整され得る。体積測定画像は被験体の外部形状を視覚化するために調整されるので、その結果は、三次元表面スキャナによって提供される結果と非常に類似し得る。すなわち、外部体積密度と周囲の空気または他の含有する背景物質との間に十分なコントラストがあるとき、被験体の表面は非常に鮮明に視覚化され得る。例えば、医療用途において、患者の三次元の顔の輪郭は、鮮明に作成され、視覚化され得る。

被験体の体積測定スキャンの目的は必ずしも、被験体の外部輪郭を視覚化することではないが、外部輪郭が内部構造と共に示される場合、有用であり得る。例えば、形成外科、歯列矯正術、口腔外科および顎顔面外科のような医療用途において、顔の輪郭およびその下にある頭蓋構造は、診断または治療計画の進展に対して有用な情報を提供し得る。

そのような方法によって作成された三次元外部輪郭は、被験体の表面の形状の正確な幾何学的表現を生成し得るが、被験体の外部表面の色またはテクスチャが欠けている。一部の用途に関して、外部輪郭の光学的ビューは非常に有用である。例えば、形成外科または歯列矯正術の用途において、顔の光学的ビューは、目、唇、および眉毛に関して、より良い画定を生成し得る。同時に、三次元形状およびテクスチャは、仮想的な患者モデルを生成し得る。そのような画像は、診断、治療計画または患者提示を高め得る。

一部の三次元の光学またはレーザの表面スキャナは、カラーテクスチャを有する三次元モデルを生成し得るが、体積測定スキャナは、その性質上表面テクスチャを再現し得ない。なぜなら、体積測定スキャナは、被験体の表面の光学的反射ではなく、被験体を構成する塊（ｍａｓｓ）の物理的特性を検出するからである。

被験体の表面テクスチャおよび体積測定画像を得るために、数種の方式の表現が用いられ得る。すなわち、体積測定スキャナによって生成された体積測定画像および表面スキャナによって生成されたテクスチャ化された表面スキャンモデルは、組合せデータに一緒にされ得る。例えば、顔表面の光学スキャンと体積測定画像の組合せは、内部の頭蓋構造が重ねられているフォトリアリスティック（ｐｈｏｔｏｒｅａｌｉｓｔｉｃ）な顔を示し得る仮想の顔モデルを生成し得る。そのような組合せモデルは、形成外科の用途および歯列矯正の用途において非常に効果的かつ有用であり得る。

そのような数種の方式の画像表現に関する課題の一つは、重ね合わせの問題である。２つの組のデータ、すなわち表面スキャンデータおよび体積測定スキャンデータは独立して作成されるので、それらは２つの異なる座標系にある。表面スキャンデータを体積測定スキャンデータに正確に重ね合わせ、正確なビューを生成するために、２つの組のデータは、三次元空間において同じ座標に重ね合わされなければならない。そのような画像とモデルとの重ね合わせは、スキャン前に共通の基準データ特徴を設定することおよびスキャン後にデータの計算による最良適合を生成することなどの余分のステップを必要とし得る。余分なステップを用いたとしても、誤差の源および一致の問題がある。従って、２つの独立したスキャンからの数種の方式の重ね合わせは、時間がかかりかつ信頼できないことであり得る。

一体化したスキャナシステムが、数種の方式の重ね合わせの問題を解決するために用いられてきた。一体化したスキャナシステムは、レーザスキャナなどの表面スキャンユニットおよびＣＴスキャナなどの体積測定スキャンユニットを共通の構造に備えており、すなわち、センサは同じハウジング内に取り付けられる。そのような一体化したスキャナは、表面スキャンデータおよび体積測定スキャンデータの両方を同時に作成し得る。表面スキャナおよび体積測定スキャナは同じハウジング内に物理的に取り付けられるので、表面スキャンデータおよび体積測定スキャンデータは同じ座標系において一致して整列され得る。そのような場合、スキャン前のデータ基準設定またはスキャン後の最良適合マッチングの余分のステップの必要がない。

しかしながら、そのような一体化したスキャナシステムは、商業的に実行可能であり得ない。第１に、システムは体積測定スキャナおよび表面スキャナの両方を必要とするので、システムのコストが増加する。第２に、２つのユニットが異なる空間要求を有するので、システムのサイズが増加し得る。第３に、データは、体積測定スキャンデータと、表面スキャンデータと、カラーテクスチャデータとから構成されるので、メモリおよび計算はより多くのリソースを要求する。

従って、表面スキャナユニットの追加の費用、サイズおよび計算リソースを必要とせず、画像の重ね合わせの必要性を起こすことなく、現在ある体積測定スキャナに適合され得る、カラーテクスチャ化された外部表面を有する体積測定画像を生成するための改善された方法およびシステムの必要性がある。

（発明の概要）
本発明の実施形態は、被験体のカラーテクスチャ化された外部表面を有する該被験体の体積測定画像を生成するためのシステムおよび方法を提供する。一実施形態に従って、被験体の体積測定画像および被験体の外部表面のカラーテクスチャ化された画像を表す組み合わされた画像データを生成するための方法は、二次元画像装置から被験体の表面の二次元画像（「二次元表面画像データ」）を表すデータを取得することを含み得る。二次元画像データは、例えば、デジタル写真を含み得る。被験体の体積測定データは、体積測定スキャナから取得され得る。体積測定データは、コンピュータ断層撮影（ＣＡＴ）スキャン、磁気共鳴画像（ＭＲＩ）スキャン、円錐ビームコンピュータ断層撮影（ＣＴ）スキャン、または他のタイプの体積測定スキャンからのデータを含み得る。二次元画像装置および体積測定スキャナは、互いに対して既知の物理的な位置を有し得る。

一部の場合において、方法は、二次元画像装置の視野が体積測定スキャナの視野にマッチングするかどうかを決定することも包含し得る。そのような場合において、二次元画像装置の視野が体積測定スキャナの視野にマッチングしない場合、結果として生じる二次元表面画像データおよび／または体積測定データは、クロッピングされ、二次元画像装置の視野の境界に適合され得る。

外部表面メッシュデータは、体積測定データに基づき生成され得る。二次元の表面画像データは、二次元の画像装置および体積測定スキャナの既知の物理的な位置に基づき、外部表面メッシュデータにマップされ得る。体積測定データに組み合わされた外部表面マップデータにマップされる二次元表面画像データを含む表示データは、組み合わされた表示画像として生成かつ表示され得る。外部表面メッシュデータは、例えば、区分的平面（ｐｉｅｃｅｗｉｓｅ ｐｌａｎａｒ ｓｕｒｆａｃｅ）を画定する多角形のリストとして格納され得る。

別の実施形態に従って、被験体の体積測定画像および被験体の外部表面のカラーテクスチャ化された画像を表す組み合わされた画像データを生成するための画像システムは、体積測定スキャナおよび二次元画像装置を備え得る。二次元画像装置は、例えば、デジタルカメラを備え得る。体積測定スキャナは、例えば、コンピュータ断層撮影（ＣＡＴ）スキャナ、磁気共鳴画像（ＭＲＩ）スキャナ、円錐ビームコンピュータ断層撮影（ＣＴ）スキャナ、または他のタイプの体積測定スキャナを備え得る。二次元画像装置および体積測定スキャナは、互いに対して既知の物理的な位置を有し得る。

システムはまた、体積測定スキャナおよび二次元画像装置と通信するように結合されるプロセッサを含み得る。プロセッサは、二次元画像装置から二次元表面画像データを取得し、体積測定スキャナから被験体の体積測定データを取得するように適合され得る。一部の場合において、プロセッサは、二次元画像装置の視野が体積測定スキャナの視野にマッチングするかどうかを決定するように適合され得る。そのような場合、プロセッサは、二次元画像装置の視野が体積測定スキャナの視野にマッチングしないという決定に応答して、二次元画像データおよび／または体積測定データをクロッピングし、可能性としては、一方のデータセットは表されているが他方のデータセットが表されていない領域を除去するように適合され得る。

プロセッサはまた、体積測定データに基づき外部表面メッシュデータを生成し、二次元画像装置および体積測定スキャナの既知の物理的な位置に基づき、二次元表面画像データを外部表面メッシュデータにマップするように適合され得る。プロセッサは、体積測定データと組み合わされた外部表面マップデータにマップされた二次元表面画像データを含む、表示画像または表示画像データを生成するようにさらに適合され得る。システムは、プロセッサと通信するように結合される表示デバイスをさらに備え得る。そのような場合、プロセッサは、表示画像データを表示デバイスに表示するようにさらに適合され得る。

さらに別の実施形態に従って、機械読み取り可能媒体は、一連の命令をそこに格納し得、該一連の命令は、プロセッサによって実行されるとき、二次元の画像装置から二次元表面画像データを取得することと、体積測定スキャナから被験体の体積測定データを取得することとによって、被験体の体積測定画像および被験体の外部表面のカラーテクスチャされた画像を表す組み合わされた画像データをプロセッサに生成させ、この場合、二次元画像装置および体積測定スキャナは、互いに対して既知の物理的な位置を有する。二次元画像データは、例えば、デジタル写真を含み得る。体積測定データは、コンピュータ断層撮影（ＣＡＴ）スキャン、磁気共鳴画像（ＭＲＩ）スキャン、円錐ビームコンピュータ断層撮影（ＣＴ）スキャン、または他のタイプの体積測定スキャンからのデータを含み得る。

機械読み取り可能媒体はまた、二次元画像装置の視野が体積測定スキャナの視野にマッチングするかどうかを決定するための命令を有し得る。そのような場合、二次元画像データおよび／または体積測定データは、二次元画像装置の視野が体積測定スキャナの視野にマッチングしないという決定に応答して、クロッピングされ得る。

機械読み取り可能媒体はまた、体積測定データに基づき外部表面メッシュデータを生成するための命令を含み得る。二次元表面画像データは、二次元画像装置および体積測定スキャナの既知の物理的な位置に基づき、外部表面メッシュデータにマップされ得る。体積測定データと組み合わされた外部表面マップにマップされた二次元表面画像データからの二次元画像を含む表示画像が、生成および表示され得る。

（発明の詳細な説明）
以下の説明において、説明の目的のために、本発明の完全な理解を提供するために多数の特定の詳細が述べられる。しかしながら、本発明がこれらの特定の詳細のうちの一部がなくても実行され得ることは当業者にとって明らかである。他の例において、周知の構造およびデバイスはブロック図形式にて示される。

本発明の実施形態は、カラーテクスチャ化された外部表面を有する体積測定画像を生成するためのシステムおよび方法を提供する。一般的に言って、カラーテクスチャ化された外部表面を有する体積測定画像を生成することは、デジタルカメラまたは他の二次元画像装置などの二次元画像装置から被験体の表面を表す二次元画像データを得ることを包含し得る。被験体の体積測定データは、コンピュータ断層撮影（ＣＡＴ）スキャナ、磁気共鳴画像（ＭＲＩ）スキャナ、円錐ビームコンピュータ断層（ＣＴ）スキャナまたは他のタイプの体積測定スキャナを含むがこれらに限定されない体積測定スキャナから得られ得る。

二次元画像装置および体積測定スキャナは、互いに対して既知の物理的な位置を有し得る。すなわち、以下に詳細に説明されるように、二次元画像装置および体積測定スキャナは、互いに対して一定の物理的な位置または所定の物理的な位置を有し得る。あるいは、二次元画像装置および体積測定スキャナは、必ずしも一定の物理的な位置または所定の位置ではないが、各々によって生成される二次元画像データおよび体積測定データが、一方のデータの座標に対してもう一方のデータに座標を重ね合わせる必要なしに、装置の位置に基づき互いに対して整列またはマップされ得るように決定可能である互いに対する物理的な位置を有し得る。理解されるように、表示画像は、二次元画像データおよび体積測定データに基づいて、生成され得る。一般的に言って、表示画像は、体積測定データにマップされるかまたはそれにオーバレイされる被験体の表面を表す二次元画像データを含み、体積測定画像およびカラーテクスチャ化された外部表面の両方を有する画像を生成し得る。

重要なことであるが、本明細書に説明される例示は医療および／または歯科の用途を参照し得るが、本発明の実施形態が異なる用途における使用にも適し得ることは理解されるべきである。例えば、画像の被験体が人または人体の一部分である医療および歯科の用途に加えて、他の使用法は、被験体が１つの装置、１つの製品、または他の物理的な対象である産業の用途を含む。さらに、図を参照して以下に説明される実施形態は、例示として提供されるのであって、限定ではないことは注意されるべきである。それどころか、これらの例示的な実施形態に対する多数の変形が本発明の範囲内であることは意図されかつ考慮される。例えば、任意の種々様々な開放型または密閉型の体積測定スキャナは、本発明の様々な実施形態と共に使用されることに適していると考えられる。同様に、任意の様々なあり得る二次元画像装置も用いられ得る。

図１は、本発明の一実施形態に従う、カラーテクスチャ化された外部表面を有する体積測定画像データを生成するためのシステムを例示する。この例示において、システム１００は、ＣＡＴスキャナ、ＭＲＩスキャナ、ＣＴスキャナまたは他のタイプの体積測定スキャナを含む。体積測定スキャナ１０５は、患者または被験体が直立して座り得るシート１１０を有する直立ユニットとしてここに例示されるが、代わりに、患者または被験体が横たわることを可能にするベッドまたはテーブルを有する水平の配向を有し得る。さらに、体積測定スキャナ１０５は、患者が多少とも開放の視野を有することを可能にしながら、患者または被験体の周りを回転するヘッドユニット１１５を有する「開放」タイプのスキャナとしてここに示されるが、代わりに、患者または被験体を囲む（ｅｎｃｌｏｓｅ）かまたは取り巻く（ｓｕｒｒｏｕｎｄ）「密閉」タイプであり得る。

システムは、デジタルカメラなどの二次元画像装置１２５も含み得る。二次元画像装置は、単一の二次元画像装置１２５としてここに示されるが、他の実施形態において、複数の二次元画像装置が用いられ得る。例えば、１つの画像装置は患者または被験体の前面のビューまたは画像を得るために用いられ、一方、他の画像装置は患者または被験体の側面のビューおよび／または背面のビューを得るために用いられ得る。上記のように、二次元画像装置１２５は、体積測定スキャナ１０５に対して既知の物理的な位置を有し得る。この例示において、二次元画像装置１２５は、体積測定スキャナ１０５のヘッドユニット１１５から延びる支持１２０によって体積測定スキャナ１０５に固定されて、示される。あるいは、他の配置が、二次元画像装置１２５と体積測定スキャナ１０５との間の一定の位置を維持するために用いられ得る。例えば、支持構造は、ヘッドユニット１１５以外の別の位置または場所において、二次元画像装置１２５を体積測定スキャナ１０５に固定するために用いられ得る。別の代案に従ってかつ上記のように、体積測定スキャナ１０５に固定されるよりはむしろ、二次元画像装置１２５は、体積測定スキャナ１０５に対して所定の位置またはそうでなければ既知の位置に置かれ得る。そのような配置は、図２を参照して以下に詳細に説明される。

図１に例示されるように、システム１００はまた、有線または無線の通信リンク１４５を介して、体積測定スキャナ１０５および二次元画像装置１２５と通信するように結合される、コンピュータ１３０または他のプロセッサを含み得る。コンピュータ１３０は、二次元画像装置１２５から被験体の表面を表す二次元画像データを得、体積測定スキャナ１０５から被験体の体積測定データを得るように適合され得る。以下に詳細に説明されるように、表示画像データは、二次元画像データおよび体積測定データに基づきコンピュータ１３０によって生成され得る。一般的に言って、表示画像データは、体積測定データにマップされるかまたはそれにオーバレイされる被験体の表面を表す二次元画像データを含み、体積測定画像およびカラーテクスチャ化された外部表面の両方を有する画像を生成し得る。

システムはまた、表示画像および／または他の情報を表示するための、コンピュータ１３０に結合されるディスプレイ１３５またはモニタを含み得る。コンピュータ１３０はまた、人間のオペレータがコンピュータ１３０と対話し、表示画像を操作し、体積測定スキャナ１０５および／または二次元画像装置１２５を制御し、または他の操作を実行することを可能にする、キーボード１４０または他の入力デバイスに結合され得る。

使用時、被験体の１つ以上の写真または他の二次元画像は二次元画像装置１２５によってとられ、体積測定スキャンは体積測定スキャナ１０５によってとられ得る。二次元画像は、体積測定スキャンの前もしくは後か、または体積測定スキャナ１０５のヘッド１１５もしくは他の構造が被験体に対する二次元画像装置のビューをふさいでいない間の任意の他の時間にとられ得る。従って、二次元画像データは、被験体の外部の色およびテクスチャを提供し得る。医療用途において、二次元画像データは、例えば、患者の正面の顔のショットを表し得る。体積測定画像データは、内部および外部の構造を提供し得る。コンピュータ断層撮影画像に関して、体積測定データは、スキャナの視野における質量密度分布を提供し得る。理解されるように、これらのデータは、組み合わされ、体積測定画像およびカラーテクスチャ化された外部表面画像の両方を含む画像のためのデータを生成し得る。そのような画像は、例えば、ディスプレイ１３５上に表示され、システム１００のオペレータによって操作され得る。

一実施形態に従って、二次元画像装置はさらに、視覚モニタとして働き、実況かつ／または連続する画像を提供し得る。すなわち、スキャナが作動している間、技術者またはオペレータは、スキャンルームの外にいて、ｘ線放射に対する不要な被爆を回避し得る。そのような場合、患者を監視することまたは患者に位置決めを指示することが困難であり得る。二次元画像装置からの実況の画像の供給によって、技術者は、スキャンルームの中に入ることなく、患者を監視および手助けし得る。

上記のように、本のシステムの他の配置は、可能であり、本発明の範囲内であると考えられる。例えば、図２は、本発明の代替の実施形態に従う、カラーテクスチャ化された表面のデータを有する体積測定画像を生成するためのシステムを例示する。ここで、システム２００は、上記のように、体積測定スキャナ１０５ならびにディスプレイ１３５およびキーボード１４０を有するコンピュータ１３０を含む。しかしながら、この例示において、二次元画像装置２０５は、体積測定スキャナ１０５に取り付けられていないかまたは固定されていない。そうではなくて、二次元画像装置２０５は、体積測定スキャナ１０５から離れた三脚２１０または他の支持に取り付けられる。この配置は、本明細書に記述されるようにカラーテクスチャ化された外部表面データを体積測定データに追加する能力を含むように既存の体積測定スキャナを改修するかまたは修正するとき、有用であり得る。二次元画像装置２０５はまた、有線の接続２１５または無線の接続によってコンピュータ１３０に通信するように結合され得る。

しかしながら、上記のように、二次元画像装置２０５および体積測定スキャナ１０５は、互いに対して物理的な位置を有し得るが、該物理的な位置は、必ずしも一定の位置または所定の位置ではなく、各々によって生成される二次元画像データおよび体積測定データが、一方のデータの座標に対してもう一方のデータに座標を重ね合わせる必要なしに、装置の位置に基づき互いに対して整列またはマップされ得るように、決定可能であり、求められる。例えば、二次元画像装置２０５および体積測定スキャナ１０５の位置は、例えば、装置製造業者からの仕様一式に基づいて、物理的装置の実測から、かつ／または他の手段または手順によって装置が設置される時点において、決定および／または配置され得る。さらに、上記のようにここに１つのみの二次元画像装置２０５が示されるが、２つ以上の画像装置が被験体の複数のビューを提供するために用いられ得る。例えば、１つの画像装置は正面のビューを提供するために用いられ得、一方、他の画像装置は側面のビューを提供するために用いられ得る。

動作時、システム２００は上記のように機能し得る。すなわち、被験体を表す１つ以上の写真または他の二次元画像データは二次元画像装置２０５によってとられ得、体積測定スキャンは体積測定スキャナ１０５によってとられ得る。二次元データは、体積測定スキャンの前もしくは後か、または体積測定スキャナ１０５のヘッド１１５もしくは他の構造が被験体に対する二次元画像装置２０５のビューをふさいでいない間の任意の他の時間にとられ得る。これらのデータは、組み合わされ、体積測定画像データおよびカラーテクスチャ化された外部表面の両方を含む画像データを生成し得る。この組み合わされたデータに基づく画像は、例えば、ディスプレイ１３５上に表示され、システム２００のオペレータによって操作され得る。

図３は、本発明の一実施形態に従う、カラーテクスチャ化された外部表面データを有する体積測定画像データを生成するためのシステム用のシステムの機能構成要素を例示するブロック図である。この例示において、システムは、上記のように、体積測定スキャナ１０５と、二次元画像装置２０５と、ディスプレイ１３５と、キーボードまたは他の入力デバイス１４０と、コンピュータ１３０とを含む。コンピュータ１３０は、単なる例示であるが、Ｍｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎのＷｉｎｄｏｗｓ（登録商標）オペレーティングシステム、Ａｐｐｌｅ Ｃｏｒｐｏｒａｔｉｏｎのオペレーティングシステム、任意の様々な市販のＵＮＩＸ（登録商標）またはＵＮＩＸ（登録商標）ライクなオペレーティングシステム（ＧＮＵ／Ｌｉｎｕｘオペレーティングシステムの種類を含むがこれに限定しない）、などの様々なバージョンを実行させるパーソナルコンピュータおよび／またはラップトップコンピュータを含む任意の様々な汎用コンピュータであり得る。

コンピュータ１３０はまた、１つ以上のストレージデバイス３２５を含み得る。例示として、ストレージデバイス３２５は、プログラマブルでありフラッシュ更新可能であり得る、ディスクドライブ、光ストレージデバイス、ランダムアクセスメモリ（「ＲＡＭ」）および／または読出し専用メモリ（「ＲＯＭ］）などの固体ストレージデバイス、および／または類似のものであり得る。コンピュータシステム１３０はまた、オペレーティングシステムおよび／またはアプリケーションプログラムなどの他のコード３５０などのソフトウェア要素を含むストレージを含み得る。アプリケーションプログラムは、本明細書に説明されるように、本発明の画像システムの構成要素および／または方法をインプリメントし得る。コンピュータシステム１３０の代替の実施形態は上記のシステムからの多数の変形を有し得ることは理解されるべきである。例えば、カスタマイズされたハードウェアも用いられ得、かつ／または特定の要素は、ハードウェア、ソフトウェア（アプレットなどのポータブルソフトウェアを含む）、またはその両方においてインプリメントされ得る。

ソフトウェアにおいてインプリメントされる場合であろうとカスタマイズされたハードウェアにおいてインプリメントされる場合であろうと、コンピュータシステム１３０は、上記の様々な特徴および機能をインプリメントするための構成要素を含み得る。例えば、コンピュータシステム１３０は、体積測定スキャナ１０５と通信し、体積測定データを取得するための体積測定スキャナコントローラおよび／またはインタフェースモジュール３０５を含み得る。同様に、コンピュータ１３０は、二次元画像装置２０５と通信し、二次元画像データを取得するための二次元画像コントローラおよび／またはインタフェースモジュール３１０を含み得る。

さらに、コンピュータ１３０は、コンピュータシステム１３０の他のモジュール３０５〜３３０とインタフェースし、かつ／またはそれらを制御するための制御モジュール３１５を含み得る。さらにまたは代わりに、制御モジュール３１５または他のモジュールは、スキャンデバイス、マウス、キーボードなどの入力デバイス１４０、およびディスプレイ１３５またはプリンタ、プロッタなどの他の出力デバイスとインタフェースし得る。

コンピュータ１３０はまた、ネットワーク３３５および／または任意の他のコンピュータまたは他のタイプのデバイスとデータが交換されることを可能にする通信モジュールを含み得る。ネットワーク３３５は、ＴＣＰ／ＩＰ、ＳＮＡ、ＩＰＸ、ＡｐｐｌｅＴａｌｋなどを含むがこれらに限定しない任意の様々な市販のプロトコルを用いるデータ通信をサポートし得る、当業者にとってよく知られた任意のタイプのネットワークであり得る。単なる例示として、ネットワーク３３５は、イーサネット（登録商標）ネットワーク、トークンリングネットワークおよび／または類似のものなどのローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク、仮想私設網（「ＶＰＮ」）を含むがこれに限定しない仮想ネットワーク、インターネット、イントラネット、エキストラネット、公衆交換電話網（「ＰＳＴＮ」）、赤外線ネットワーク、無線ネットワーク（例えば、ＩＥＥＥ８０２．１１のプロトコル一式、当該分野において公知のブルートゥースプロトコル、および／または任意の他の無線プロトコル）、ならびに／または、これらおよび／または他のネットワークの任意の組合せであり得る。

ネットワーク３３５を介して、コンピュータ１３０は、１つ以上の他のコンピュータシステム３４０と通信し、例えば、被験体の画像データを提供すること、画像システム３００の制御および／または遠隔操作を提供するなどを行い得る。コンピュータ１３０はまた、ネットワーク３３５を介して、画像を格納および／または検索するための大容量記憶装置３４５にアクセスし得る。さらにまたは代わりに、コンピュータシステムは、ネットワーク３３５を介して１つ以上のディスプレイに画像を送り得る。

上記に紹介されるように、コンピュータシステム１３０は、１つ以上の二次元画像装置２０５から取得される二次元画像データ、および体積測定スキャナ１０５から取得される体積測定データに基づき、表示画像データ生成し得る。表示画像データは、体積測定データにマップされるか、またはそれに重ねられる被験体の表面を表す二次元画像データを含み、体積測定画像データおよびカラーテクスチャ化された外部表面データの両方を有する画像データを生成し得る。図４は、本発明の一実施形態に従う、カラーテクスチャ化された外部表面データを有する体積測定画像データを生成することを概念的に例示する。

図４に示されるように、写真または他の二次元画像データ４０５は、例えば、スキャナ構造が被験体に対する二次元画像装置のビューをふさいでいない間、体積測定スキャンの直前またはスキャンの直後にとられる。体積測定画像データ（ボクセルデータ）４１０はまた、体積測定スキャナから取得され得る。上記のように、写真の二次元画像データ４０５は、被験体の外部のカラーおよびテクスチャを保持する。医療用途において、二次元画像データ４０５は、例えば、患者の正面顔のショットを表し得る。体積測定画像データ４１０は、内部および外部構造を含む。コンピュータ断層撮影画像に関して、体積測定画像データ４１０は、視野における質量密度分布を含み得る。二次元画像データ４０５は、カラーテクスチャ化された外部表面データを体積測定データ４１０に提供するために用いられ、体積測定データおよび外部のカラーテクスチャ化された表面データの両方を有する表示画像データを生成し得る。

中間のプロセスとして、二次元画像データ４０５は、三次元空間すなわち座標系にマップされ得る。一実施形態に従って、これは、体積測定データ４１０に基づき、まず外部表面メッシュデータを生成することによって達成され得る。二次元画像データ４０５は、次いで、外部表面メッシュデータにマップされ得、事実上、二次元画像データを二次元座標系から体積測定データの座標系に対応する三次元座標系に変換または平行移動させ得る。さらに、二次元画像装置および体積測定画像装置は、互いに対して既知の物理的な位置を有するので、二次元画像データの座標系を体積測定データの座標系に重ね合わせる必要がない。それどころか、二次元画像データを外部表面メッシュデータおよびそれが生成される体積測定データにマップすることは、二次元画像装置および体積測定スキャナの既知の物理的な位置に基づき得る。

図５は、本発明の一実施形態に従う、カラーテクスチャ化された外部表面データを有する体積測定画像データを生成することをさらに例示する。この例示は、上記の二次元画像データ４０５および体積測定データから生成される外部表面メッシュデータ５０５を示す。一般的に言って、外部表面メッシュデータ５０５上の座標５１０は、二次元画像データ４０５上の固有のマッチングする座標５１５を有する。テクスチャマップおよび５１０からのマッチングするテクスチャ座標５１５として二次元画像データ４０５を用いて、カラー画像は三次元表面メッシュデータにマップされ得る。

より詳細には、体積測定データが取得された後に、外部表面メッシュデータ５０５は、例えば、体積測定データから同位相面生成法（ｉｓｏ−ｓｕｒｆａｃｅ ｇｅｎｅｒａｔｉｏｎ ｍｅｔｈｏｄ）または体積ラッピング法（ｖｏｌｕｍｅ ｗｒａｐｐｉｎｇ ｍｅｔｈｏｄ）によって作成され得る。表面メッシュデータ５０５は、空気と被験体との間の外部境界を表す。従って表面メッシュデータ５０５は、被験体の三次元幾何学的形状を表す。例えば、医療用途において、表面メッシュデータ５０５は、患者の顔輪郭を表し得る。

二次元画像装置の光学的特性および体積測定スキャナに対する位置が所定または既知であるので、二次元画像データ４０５の座標系における位置は体積測定データの三次元座標に変換され得る。二次元画像データ４０５が体積測定スキャナの視野全体をカバーする場合、表面メッシュデータ５０５の三次元位置、および従って、表面メッシュデータが生成される体積測定データの表面は、二次元画像データ４０５における対応するマッチングする二次元の点を有し得る。図５に示されるように、表面メッシュデータ５０５の三次元座標系（例えば、ｘ，ｙ，ｚ）において、従って、体積測定データ座標系においても、定義される点５１０は、二次元画像データ４０５の二次元座標系（例えば、ｕ，ｖ）において定義される対応する二次元の点５１５を有し得る。同様に、表面メッシュデータ５０５における他の点は、二次元画像データ４０５における対応する座標を有する。この座標マッピングを用いて、表面メッシュデータ５０５のテクスチャマップが構成され得る。

一実施形態に従って、二次元画像を表面メッシュにマップする前に、二次元画像装置の視野が体積測定スキャナの視野にマッチングするかどうかについて決定がなされ得る。必要に応じて、すなわち、視野がマッチングしない場合、表面メッシュデータの一部は、トリミングされ削除されるか、またはクロッピングされ得る。代わりにまたはさらに、二次元画像データの部分はクロッピングされ得る。さらに別の場合において、体積測定データは、例えば、表面メッシュデータの生成の前に、さらにまたは代わりにクロッピングされ得る。

どの画像またはデータがクロッピングされるかにかかわらず、二次元画像データの境界および表面メッシュデータの境界は、マッチングされ得る。クロッピングは、例えば、二次元画像装置または体積測定スキャナのいずれかの視野の既知の限界または外部境界に基づき得る。二次元画像データ、体積測定データ、および／または表面メッシュデータの座標系における点は、他の限界にマッチングするように削除され得る。

一実施形態に従って、二次元画像装置の視点からは見えない被験体の表面の一部は削除され得る。例えば、１つの二次元画像装置が患者の顔の画像を捕捉するために用いられる医療用途において、患者の頭の後側は表面メッシュデータから削除され得る。別の例示において、表面メッシュが同位相面生成法によって作成される場合、表面メッシュデータにおいて表され得るが実際には外部表面にはない気道などを含む内部構造は、削除され得る。

それで例えば、医療用途において、顔の輪郭は体積測定スキャンから作成され得、患者の顔の正面写真または他の二次元画像は、カメラユニットまたは他の二次元画像装置によって作成され得る。顔輪郭メッシュの各頂点は、正面写真における対応する点を有し得る。カラーテクスチャがメッシュ上に作成されるので、詳細な目、唇、眉毛、および肌色が、仮想三次元患者モデルを作成する顔輪郭上に作成され得る。

このようにして、カラーテクスチャ化されたメッシュモデルは、体積測定画像データと同じ座標にある。従って、内部構造および外部写真の現実的な輪郭は、同時に、視覚化され、測定され、かつ操作され得る。すなわち、表示画像は、カラーテクスチャ化されたメッシュモデルと体積測定データとを重ねるかまたはそうでなければ、組み合せることによって作成され得る。それで例えば、医療用途において、フォトリアリスティックな顔のモデルおよび内部の頭蓋骨、歯列、脳、または気道構造は、同じデータにおいて同時に表され得る。

図６は、本発明の一実施形態に従う、カラーテクスチャ化された外部表面データを有する体積測定画像データを生成するためのプロセスを例示する。この例示において、プロセスは、二次元画像装置から被験体の表面を表す二次元画像データを取得することから開始する６０５。例えば、被験体の写真は、デジタルカメラによってとられ得る。同様に、被験体の体積測定データは、体積測定スキャナから取得され得る６１０。例えば、ＣＡＴスキャン、ＭＲＩスキャン、または他の体積測定スキャンが、とられ得る。上に詳細に説明されるように、二次元画像装置および体積測定スキャナは、互いに対して既知の物理的な位置を有し得る。

外部表面メッシュデータは、体積測定データに基づき生成され得る６１５。すなわち、体積測定データが取得された後６１０、外部表面メッシュデータは、例えば、体積測定データから同位相面生成法または体積ラッピング法によって作成され得る６１５。表面メッシュデータは、空気と被験体との間の外部境界を表し得る。従って表面メッシュデータは、被験体の三次元幾何学的形状を表す。例えば、医療用途において、表面メッシュデータは、患者の顔輪郭を表し得る。

被験体の表面を表す二次元画像データは、二次元画像装置および体積測定スキャナの既知の物理的な位置に基づき、外部表面メッシュデータにマップされ得る６２０。すなわち、上記のように、表面メッシュデータの三次元座標系（例えば、ｘ，ｙ，ｚ）において、また従って、表面メッシュが生成された体積測定データ座標系において、定義される点は、二次元画像データの二次元座標系（例えば、ｕ，ｖ）において定義される対応する二次元の点を有し得る。同様に、表面メッシュデータ上の他の点は、二次元画像データにおける対応する座標を有する。被験体の表面の二次元画像データを外部表面メッシュデータにマップすることによって、表面メッシュデータのテクスチャマップ、および従って、表面メッシュデータが作成された体積測定データが、構成され得る。

図７は、本発明の代替の実施形態に従う、カラーテクスチャ化された外部表面データを有する体積測定画像データを生成するためのプロセスを例示する。ここで、前の例示におけるように、プロセスは、二次元画像装置から被験体の表面を表す二次元画像データを取得すること７０５から開始する。例えば、被験体の写真は、デジタルカメラによってとられ得る。同様に、被験体の体積測定データは、体積測定スキャナから取得され得る７１０。例えば、ＣＡＴスキャン、ＭＲＩスキャン、ＣＴスキャン、または他の体積測定スキャンが、とられ得る。上に詳細に説明されるように、二次元画像装置および体積測定スキャナは、互いに対して既知の物理的な位置を有し得る。

図７に例示されるように、体積測定データに対するカラーテクスチャ化された表面は、二次元画像に基づき作成され得る７１５。すなわち、図７に関して上に説明されるように、外部表面メッシュデータを生成することと、二次元画像データを表面メッシュにマップすることとよりはむしろ、カラーテクスチャ化された表面の視覚化は、表面メッシュデータを作成することなく、作成され得る７１５。例えば、レイキャスティングボリュームレンダリングは、どの多角形表面メッシュも作成することなく、陰影表面に類似の視覚化を作成し得る。カラーテクスチャは、レイキャスティングレンダリングに向けられ追加され得る。

一実施形態に従って、ボリュームレンダリング、すなわち体積測定データに基づく画像データは、被験体の外部輪郭を視覚化するために設定され得る。例えば、不透明閾値レベルは、被験体の外部の柔らかい組織輪郭または他の外部表面を示すように設定され得る。二次元画像データおよび三次元体積測定データは所定の座標マッチングを有するので、体積測定データにおけるボクセルは、二次元の画像データにおける対応するテクスチャ画像カラー値を有する。レイキャスティングボリュームレンダリングは、光線が閾値より高い体積測定データのボクセルに当るまで、すなわち、光線が被験体の表面に遭遇するまで、二次元像の視点からアレイレイを延ばすことを含み得る。

光線が体積測定データの外部輪郭ボクセルに達すると、ボクセルの視覚化照度は、レイの集積密度（ｄｅｎｓｉｔｙ ａｃｃｕｍｕｌａｔｉｏｎ）と、ボクセルにおける表面の通常および照明の状態と、事前設定のカラーマップとを含むいくつかの因子によって計算され得る。ボリュームレンダリングのためのレイキャスティングは、ボクセルグレースケールからの事前設定のカラーマップを用い得る。一実施形態に従って、カラーマップは、二次元画像、すなわち写真の画像、データに由来する。ボクセルと二次元画像との間の座標マッチングは既知であるので、ボクセルに対するカラー値は二次元画像から決定され得る。レイキャスティングと、陰影因数と、カラー値とを組み合せて、体積測定データに対する最終のレンダリング照度およびカラー値が決定され得る。次いで、体積測定データの三次元体積測定レンダリングは表示され７２０、外部表面上におけるテクスチャマッピングを示し得る。そのように、外部表面輪郭を視覚化する不透明閾値が与えられるとすると、レイキャスティング技術は、表面メッシュを生成することなく、カラーテクスチャ化された外部輪郭を有する体積測定データの三次元レンダリングを生成し得る。

図８は、本発明の一実施形態に従う、カラーテクスチャ化された外部表面データを有する体積測定画像データを生成するためのプロセスのさらなる詳細を例示する。ここで、前の例示におけるように、プロセスは、ここで、二次元画像装置から被験体の表面を表す二次元画像データを取得すること８０５から開始する。例えば、被験体の写真は、デジタルカメラによってとられ得る。同様に、被験体の体積測定データは、体積測定スキャナから取得され得る８１０。例えば、ＣＡＴスキャン、ＭＲＩスキャン、または他の体積測定スキャンが、とられ得る。上に詳細に説明されるように、二次元画像装置および体積測定スキャナは、互いに対して既知の物理的な位置を有し得る。

外部表面メッシュは、体積測定データに基づき生成され得る８１５。すなわち、体積測定データが取得された後８１０、外部表面メッシュデータは、例えば、体積測定データから同位相面生成法または体積測定ラッピング法によって作成され得る８１５。表面メッシュデータは、空気と被験体との間の外部境界を表し得る。従って表面メッシュデータは、被験体の三次元幾何学的形状を表す。例えば、医療用途において、表面メッシュデータは、患者の顔輪郭を表し得る。

二次元画像装置の視野が体積測定スキャナの視野にマッチングするかどうかについて決定８２０がなされ得る。この決定８２０は、例えば、二次元画像装置または体積測定スキャナのいずれかの視野の既知の限界または外部境界に基づき得る。視野がマッチングしないという決定８２０がなされた場合、表面メッシュデータ、二次元画像データ、および／または体積測定データの一部は、トリミングされ削除されるか、またはクロッピング８２５され得る。すなわち、二次元画像データ、体積測定データ、および／または表面メッシュデータの座標系における点、は、他の限界にマッチングするように削除され得る。

被験体の表面を表す二次元画像データは、二次元画像装置および体積測定スキャナの既知の物理的な位置に基づき、外部表面メッシュデータにマップされ得る８３０。すなわち、上記のように、表面メッシュデータの三次元座標系（例えば、ｘ，ｙ，ｚ）において、また従って、表面メッシュが生成された体積測定データ座標系において、定義される点は、二次元画像データの二次元座標系（例えば、ｕ，ｖ）において定義される対応する二次元の点を有し得る。同様に、表面メッシュデータ上の他の点は、二次元画像データにおける対応する座標を有する。二次元画像データを外部表面メッシュデータにマップすることによって、表面メッシュデータのテクスチャマップ、および従って、表面メッシュが作成された体積測定データが、構成され得る。

表示画像は、生成され得る８３５。表示画像は、体積測定データと組み合わされた外部表面マップデータにマップされた被験体の表面を表す二次元画像データを含み得る。すなわち、表面メッシュデータのカラーテクスチャマップ、および従って、表面メッシュデータが作成された体積測定データは、重ねられるかまたはそうでなければ、体積測定データと組み合わされ、表示画像データを作成し得る。それで例えば、医療用途において、フォトリアリスティックな顔のモデルおよび内部の頭蓋骨、歯列、脳、または気道構造は、同じデータにおいて同時に表され得る。表示画像データは、次いで、ビデオディスプレイまたはモニタ上などに表示され得る８４０。

上記の説明において、例示の目的のために、方法は特定の順序で説明される。代替の実施形態において、説明される順序とは異なる順序で実行され得ることは理解されるべきである。さらに、方法は、上記に追加するステップまたは上記のステップより少ないステップを含み得る。上記の方法は、ハードウェア構成要素によって実行され得、機械実行可能なシーケンスで実施され得、機械実行可能な命令は、命令によってプログラムされた、汎用または専用のプロセッサまたは論理回路などの機械に方法を実行させるために用いられることも理解されるべきである。これらの機械実行可能な命令は、ＣＤ−ＲＯＭまたは他のタイプの光ディスク、フロッピー（登録商標）ディスケット、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ，磁気カードまたは光学式カード、フラッシュメモリ、あるいは、電子命令を格納するのに適した他のタイプの機械読み取り可能媒体などの１つ以上の機械読み取り可能媒体に格納され得る。あるいは、方法は、ハードウェアとソフトウェアとの組合せによって実行され得る。

本発明の例示的かつ現在好ましい実施形態が本明細書に詳細に説明されたが、発明の概念は、他の方法で様々に実施されかつ用いられ得、添付の請求項は、先行技術によって限定されることを除いて、そのような変形を含むように解釈することが意図されることは理解されるべきである。

図１は、本発明の一実施形態に従う、カラーテクスチャ化された外部表面を有する体積測定画像データを生成するためのシステムを例示する。 図２は、本発明の代替の実施形態に従う、カラーテクスチャ化された外部表面データを有する体積測定画像データを生成するためのシステムを例示する。 図３は、本発明の一実施形態に従う、カラーテクスチャ化された外部表面データを有する体積測定画像データを生成するためのシステム用のシステムの機能構成要素を例示するブロック図である。 図４は、本発明の一実施形態に従うデータに従う、カラーテクスチャ化された外部表面を有する体積測定画像データを生成することを例示する。 図５は、本発明の一実施形態に従う、カラーテクスチャ化された外部表面データを有する体積測定画像データを生成することをさらに例示する。 図６は、本発明の一実施形態に従う、カラーテクスチャ化された外部表面データを有する体積測定画像データを生成するためのプロセスを例示する。 図７は、本発明の代替の実施形態に従う、カラーテクスチャ化された外部表面データを有する体積測定画像データを生成するためのプロセスを例示する。 図８は、本発明の一実施形態に従う、カラーテクスチャ化された外部表面データを有する体積測定画像データを生成するためのプロセスのさらなる詳細を例示する。

Claims (36)

1. 被験体の体積測定画像および該被験体の外部表面のカラーテクスチャ化された画像を表す組み合わされた画像データを生成する方法であって、該方法は、
   二次元画像装置を用いて該被験体の表面の二次元画像データを取得することと、
   体積測定スキャナが該二次元画像装置に対して既知の物理的な位置を有する間、該体積測定スキャナを用いて該被験体の体積測定データを取得することと、
   該体積測定データに基づき外部表面メッシュデータを生成することと、
   該二次元画像装置および該体積測定スキャナの該既知の物理的な位置に基づき、該二次元画像データを該外部表面メッシュにマップすることと
   を包含する、方法。
2. 前記体積測定データに組み合わされた前記外部表面マップデータにマップされた前記二次元画像データを含む表示画像データを生成することをさらに包含する、請求項１に記載の方法。
3. 前記表示画像データを表示することをさらに包含する、請求項２に記載の方法。
4. 前記二次元画像装置の視野が前記体積測定スキャナの視野にマッチングするかどうかを決定することをさらに包含する、請求項１に記載の方法。
5. 前記二次元画像装置の視野が前記体積測定スキャナの視野にマッチングしないという決定に応答して、前記二次元画像データをクロッピングすることをさらに包含する、請求項４に記載の方法。
6. 前記二次元画像装置の視野が前記体積測定スキャナの視野にマッチングしないという決定に応答して、前記体積測定データをクロッピングすることをさらに包含する、請求項４に記載の方法。
7. 前記二次元画像データは、デジタル写真を含む、請求項１に記載の方法。
8. 前記体積測定データは、コンピュータ断層撮影（ＣＡＴ）スキャンからのデータを含む、請求項１に記載の方法。
9. 前記体積測定データは、磁気共鳴画像（ＭＲＩ）スキャンからのデータを含む、請求項１に記載の方法。
10. 前記体積測定データは、円錐ビームコンピュータ断層撮影（ＣＴ）スキャンからのデータを含む、請求項１に記載の方法。
11. 被験体の体積測定画像および該被験体の外部表面のカラーテクスチャ化された画像を表す組み合わされた画像データを生成するためのイメージングシステムであって、該システムは、
    体積測定スキャナと、
    二次元画像装置であって、該二次元画像装置は該体積測定スキャナに対して既知の物理的な位置を有する、画像装置と、
    該体積測定スキャナおよび該二次元画像装置と通信するように結合されるプロセッサであって、該プロセッサは、該二次元画像装置から該被験体の該表面の二次元画像データを取得することと、該体積測定スキャナから該被験体の体積測定データを取得することと、該体積測定データに基づき外部表面メッシュデータを生成することと、該体積測定データと該二次元画像データとの間の座標マッチングに基づき、該二次元画像データを該外部表面メッシュデータにマップすることを行うように適合される、プロセッサと
    を備えている、システム。
12. 前記体積測定データと前記二次元画像データとの間の座標マッチングは、前記体積測定スキャナに対する前記二次元画像装置の既知の物理的な位置および光学的特性に基づく、請求項１１に記載のシステム。
13. 前記プロセッサは、前記体積測定データと組み合わされた前記外部表面マップデータにマップされた前記二次元画像データを含む表示画像データを生成するようにさらに適合される、請求項１１に記載のシステム。
14. 前記プロセッサと通信するように結合される表示デバイスをさらに備え、該プロセッサは、前記表示画像データを該表示デバイスに表示するようにさらに適合される、請求項１３に記載のシステム。
15. 前記プロセッサは、前記二次元画像装置の視野が前記体積測定スキャナの視野にマッチングするかどうかを決定するようにさらに適合される、請求項１１に記載のシステム。
16. 前記プロセッサは、前記二次元画像装置の視野が前記体積測定スキャナの視野にマッチングしないという決定に応答して、前記二次元画像データをクロッピングするようにさらに適合される、請求項１５に記載のシステム。
17. 前記プロセッサは、前記二次元画像装置の視野が前記体積測定スキャナの視野にマッチングしないという決定に応答して、前記体積測定データをクロッピングするようにさらに適合される、請求項１５に記載のシステム。
18. 前記二次元画像装置は、デジタルカメラを備えている、請求項１１に記載のシステム。
19. 前記体積測定スキャナは、コンピュータ断層撮影（ＣＡＴ）スキャナを備えている、請求項１１に記載のシステム。
20. 前記体積測定スキャナは、磁気共鳴画像（ＭＲＩ）スキャナを備えている、請求項１１に記載のシステム。
21. 前記体積測定スキャナは、円錐ビームコンピュータ断層撮影（ＣＴ）スキャナを備えている、請求項１１に記載のシステム。
22. 一連の命令を格納している機械読み取り可能媒体であって、該一連の命令がプロセッサによって実行されるとき、
    二次元画像装置を用いて被験体の表面の二次元画像データを取得することと、
    体積測定スキャナが該二次元画像装置に対して既知の物理的な位置を有する間、該体積測定スキャナを用いて該被験体の体積測定データを取得することと、
    該体積測定データに基づき外部表面メッシュデータを生成することと、
    該二次元画像装置および該体積測定スキャナの該既知の物理的な位置に基づき、該二次元画像データを該外部表面メッシュデータにマップすることと
    によって、該一連の命令は、該被験体の体積測定画像および該被験体の外部表面のカラーテクスチャ化された画像を表す組み合わされた画像データを該プロセッサに生成させる、機械読み取り可能媒体。
23. 前記体積測定データに組み合わされた前記外部表面マップデータにマップされた前記二次元画像データを含む表示画像データを生成する命令をさらに含む、請求項２２に記載の機械読み取り可能媒体。
24. 前記表示画像データを表示する命令をさらに含む、請求項２３に記載の機械読み取り可能媒体。
25. 前記二次元画像装置の視野が前記体積測定スキャナの視野にマッチングするかどうかを決定する命令をさらに含む、請求項２２に記載の機械読み取り可能媒体。
26. 前記二次元画像装置の視野が前記体積測定スキャナの視野にマッチングしないという決定に応答して、前記二次元画像データをクロッピングする命令をさらに含む、請求項２５に記載の機械読み取り可能媒体。
27. 前記二次元画像装置の視野が前記体積測定スキャナの視野にマッチングしないという決定に応答して、前記体積測定データをクロッピングする命令をさらに含む、請求項２５に記載の機械読み取り可能媒体。
28. 前記二次元画像データは、デジタル写真を含む、請求項２２に記載の機械読み取り可能媒体。
29. 前記体積測定データは、コンピュータ断層撮影（ＣＡＴ）スキャンからのデータを含む、請求項２２に記載の機械読み取り可能媒体。
30. 前記体積測定データは、磁気共鳴画像（ＭＲＩ）スキャンからのデータを含む、請求項２２に記載の機械読み取り可能媒体。
31. 前記体積測定データは、円錐ビームコンピュータ断層撮影（ＣＴ）スキャンからのデータを含む、請求項２２に記載の機械読み取り可能媒体。
32. 被験体の体積測定画像および該被験体の外部表面のカラーテクスチャ化された画像を表す組み合わされた画像データを生成する方法であって、該方法は、
    二次元画像装置を用いて該被験体の表面の二次元画像データを取得することと、
    体積測定スキャナが該二次元画像装置に対して既知の物理的な位置を有する間、該体積測定スキャナを用いて該被験体の体積測定データを取得することと、
    該二次元画像データに基づき、該体積測定データのためにカラーテクスチャ化された表面を作成することと
    を包含する、方法。
33. 前記二次元画像データに基づき、前記体積測定データのためにカラーテクスチャ化された表面を作成することは、レイキャスティングボリュームレンダリングを用いて実行される、請求項３２に記載の方法。
34. レイキャスティングボリュームレンダリングは、前記被験体の表面をレンダリングするために前記体積測定データの不透明閾値を設定することを含む、請求項３３に記載の方法。
35. レイキャスティングレンダリングは、前記二次元画像データの視点から、閾値よりも高い不透明レベルを有する前記体積測定データのボクセルまで配列レイを拡張することをさらに含む、請求項３４に記載の方法。
36. レイキャスティングレンダリングは、前記二次元画像データから前記ボクセルに色をマップすることによって該ボクセルの可視化照度を計算することをさらに包含する、請求項３５に記載の方法。

Images