JP2020503628A - 複雑なデータのリアルタイムレンダリングのためのシステムおよび方法 - Google Patents

複雑なデータのリアルタイムレンダリングのためのシステムおよび方法 Download PDF

Info

Publication number
JP2020503628A
JP2020503628A JP2019547572A JP2019547572A JP2020503628A JP 2020503628 A JP2020503628 A JP 2020503628A JP 2019547572 A JP2019547572 A JP 2019547572A JP 2019547572 A JP2019547572 A JP 2019547572A JP 2020503628 A JP2020503628 A JP 2020503628A
Authority
JP
Japan
Prior art keywords
voxel
value
intermediate frame
imaging data
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019547572A
Other languages
English (en)
Other versions
JP7039607B2 (ja
JP2020503628A5 (ja
Inventor
オレン クレディ
オレン クレディ
ヤロン ヴァックスマン
ヤロン ヴァックスマン
ロイ ポラット
ロイ ポラット
Original Assignee
３ディー システムズ インコーポレイテッド
３ディー システムズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ３ディー システムズ インコーポレイテッド, ３ディー システムズ インコーポレイテッド filed Critical ３ディー システムズ インコーポレイテッド
Publication of JP2020503628A publication Critical patent/JP2020503628A/ja
Publication of JP2020503628A5 publication Critical patent/JP2020503628A5/ja
Priority to JP2021203590A priority Critical patent/JP7324268B2/ja
Application granted granted Critical
Publication of JP7039607B2 publication Critical patent/JP7039607B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

３Ｄオブジェクトデータのボリュームレンダリングのための方法が提供される。本方法は、３Ｄオブジェクトデータを分類し、分類に基づいて３Ｄオブジェクトデータをレンダリングするのに用いるための伝達関数を決定するステップと、３Ｄオブジェクトデータからレンダリングするためのボクセルをインクリメンタルに決定するステップと、および／またはボクセルを表すグリッドを決定し、ボクセルグリッドに基づいてレンダリングするステップと、を含むことができる。【選択図】図１

Description

本発明は、一般に、コンピュータ上でデータをレンダリングすることに関する。より具体的には、本発明は、３次元（３Ｄ：ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ）オブジェクトを２次元（２Ｄ：ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌ）ディスプレイ、仮想現実および／または拡張現実上にレンダリングすることに関する。
現在、３次元（３Ｄ）オブジェクトをレンダリングすることができる。現在のシステムは、例えば、イメージングデバイス、他のシステムおよび／または入力を用いて得られた３Ｄオブジェクトを視覚化することを可能にできる。現在、３Ｄオブジェクトを３Ｄプリンティングのために処理する、２次元（「２Ｄ」）スクリーン上に視覚化する、ならびに／または拡張および／もしくは仮想現実中に視覚化することができる。
現在の３Ｄオブジェクトは、医療専門家のために極めて重要な情報を提供できる。例えば、新生児に心臓手術を行う医師にとって、一般的な新生児心臓モデルではなく、新生児の心臓を視覚化することが手術の成否を分けることになりうる。新生児のモデルをコンピュータスクリーン（例えば、２次元（「２Ｄ」）スクリーン）を通じて、仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）を通じて、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）を通じて、および／または３Ｄプリンティングによって視覚化することが望ましいことがありうる。
３Ｄオブジェクトを視覚化するための現在のシステムは、限定的になりかねない。例えば、３Ｄオブジェクトをユーザ（例えば、医師）に提示できるが、その提示は、典型的にオブジェクトをズームまたは回転するときの遅延を回避するのに十分な速度で３Ｄオブジェクトをレンダリングしない提示となる可能性がある。遅延があまりにも長くなることがあり、これらの現在のシステムの使用法を実現不可能にしかねない。例えば、医師は、３Ｄオブジェクトを眺めている患者と一緒に視覚化するのを望むかもしれない。別の例では、医師は、別の医師と一緒に３Ｄオブジェクトを再吟味することを望むかもしれない。これらのシナリオでは、ボリュームをレンダリングするのに現行システムが要する持続時間が、リアルタイム処理がより重要でありうるシナリオにおいて医師がこれらの現行システムを用いることを妨げかねない。例えば、１００スライスをもつＣＴイメージをレンダリングするための現在の方法は、２フレーム／秒のレンダリング速度を有することができる。仮想現実は、９０フレーム／秒のレンダリングを必要としうる。
別に、現在のシステムは、オブジェクトの細部（例えば、心臓の血管）を見たときに理解できるように、高レベルの解像度で３Ｄオブジェクトをレンダリングする能力に欠けるという問題がありうる。精度の１つの難しさが３Ｄオブジェクトの異なる部分を差別化することを含むことがある。例えば、組織を含む３Ｄオブジェクトをレンダリングするときに、現在のレンダリング技術は、軟組織と血管とを区別できない。結果として、両方の部分が典型的に同じ色を有してレンダリングされる。それゆえに、レンダリングが使用可能であるように十分な速度および／または精度で３Ｄオブジェクトをボリュームレンダリングするのが望ましいことがありうる。
本発明の１つの利点は、例えば、既知の方法より高速でありうるおよび／またはより少ない計算を必要としうる方法を提供することによって、本発明が視覚化および／または３Ｄプリンティングの間のレンダリング速度の増加および／またはデータ量の削減を提供できるということである。
本発明の別の利点は、例えば、オブジェクトの細部を高レベルの忠実度で示す、３Ｄオブジェクトのより正確な表現をそれが提供できることである。本発明の別の利点は、視覚化されたときに３Ｄオブジェクトのより高速のズーミング、回転、メッシュ作成、マスク作成、データ修正、ならびにセグメントの追加および／または除去をそれが提供できることである。本発明の別の利点は、オブジェクトの部分間の区別をそれが改善できることである。
本発明の実施形態によれば、３次元（３Ｄ）イメージデータをボリュームレンダリングするための方法、およびそれらの方法をもたらすためのプログラム命令を含んだ非一時的コンピュータ可読媒体が提供される。
本発明の実施形態によれば、１つの方法は、３Ｄイメージングデータ中のボクセルごとに物質分類を決定するステップ、物質分類ごとに対応する伝達関数を決定するステップ、および３Ｄイメージングデータ中の各ボクセルをボクセルに対応する物質分類に対応する伝達機能に基づいてレンダリングするステップを含むことができる。対応する伝達関数を決定するステップは、ＨＵ値にさらに基づいてよい。
本発明のいくつかの実施形態において、物質分類の決定は、初期物質分類を決定するステップ、３Ｄイメージングデータをセグメント化するステップ、および初期物質分類およびセグメント化された３Ｄイメージングデータに基づいて物質分類を決定するステップをさらに含むことができる。初期物質分類値を決定するステップは、それぞれのボクセルのＨＵ値、確率マップ、またはそれらの任意の組み合わせに基づいてよい。
本発明のいくつかの実施形態において、セグメント化するステップは、各ボクセルの勾配の大きさに基づく。３Ｄイメージングデータをセグメント化するステップは、セグメント化された３Ｄイメージングデータ間の交差を決定するステップをさらに含んでよい。
本発明の実施形態によれば、別の方法は、第１の中間フレームを作り出すために３Ｄオブジェクト上で第１のレイキャスティングを行うステップ、第２の中間フレームを作り出すために３Ｄオブジェクト上で第２のレイキャスティングを行うステップ、および３Ｄオブジェクトをレンダリングするために第１の中間フレームと第２の中間フレームとをミキシングするステップを含みうるであろう。
第１のレイキャスティングは、第１の位置および第１のステップサイズを有することができて、第２のレイキャスティングは、第２の開始位置および第２のステップサイズを有することができる。第１の開始位置と第２の位置とは異なってもよく、第１のステップサイズと第２のステップサイズとは異なってもよい。第１のステップサイズは、レイキャスティングのサンプリング速度に基づくことができる。第２のステップサイズは、第１のステップサイズおよびオフセットに基づくことができる。
本発明のいくつかの実施形態において、第２の開始位置は、オフセット値を伴う第１の開始位置とすることができる。オフセット値は、ランダムに生成されるか、ユーザによって入力されるか、またはそれらの任意の組み合わせとすることができる。
本発明のいくつかの実施形態において、第１の中間フレーム値と第２の中間フレーム値とをミキシングするステップは、第１の中間フレームおよび第２の中間フレーム中で同じピクセルロケーションにあるピクセルごとに、そのピクセルロケーションにおける最終ピクセル値を決定するために、そのピクセルロケーションにおいて第１の中間フレーム値と第２の中間フレーム値とをミキシングするステップをさらに含むことができる。
本発明のいくつかの実施形態において、第１の中間フレーム値と第２の中間フレーム値とをミキシングするステップは、第１の中間フレーム値と第２の中間フレーム値とを平均するステップ、第１の中間フレーム値と第２の中間フレーム値との加重平均化、累積平均化、またはそれらの任意の組み合わせを行うステップをさらに含むことができる。
本発明の実施形態によれば、別の方法は、３Ｄオブジェクトに基づいてボクセルグリッドを生成するステップを含みうるであろう。ボクセルグリッド中の各ボクセルは、３次元ロケーション、サイズ指定、およびボクセル値を有することができる。ボクセルグリッド中の各ボクセルは、それぞれのサイズ指定を有する３Ｄ立方体ボリュームの中心ポイントを表すことができる。サイズ指定は、ユーザによって入力される、３Ｄオブジェクトのタイプ、３Ｄオブジェクトのサイズまたはそれらの任意の組み合わせに基づくことができる。
ボクセルグリッド中のボクセルごとに、３Ｄ立方体ボリュームが空であるかどうかを決定できる。３Ｄ立方体ボリュームが空であれば、ボクセルグリッド中の現在のボクセルに空の値を割り当てることができる。３Ｄ立方体ボリュームが空でなければ、ボクセルグリッド中の現在のボクセルに存在値を割り当てることができる。存在値を有するボクセルグリッド中のボクセルごとに、対応する３Ｄオブジェクトに基づく対応する３Ｄ立方体ボリュームを３Ｄスクリーン上の表示のためのフレームへレンダリングできる。
いくつかの実施形態において、本方法は、ボクセルグリッドを存在値および空の値に基づいて３Ｄスクリーン上の表示のためのフレームへレンダリングするステップを伴う。レンダリングは、グラフィック処理ユニット上で行うことができる。
この節に続いて列挙される本明細書の添付図を参照して、本開示の実施形態の非限定の例が以下に記載される。１つより多い図に現われる同一の特徴には、それらが現れるすべての図で全般的に同じラベルが付される。図中で本開示の実施形態の所定の特徴を表すアイコンに付したラベルをその所定の特徴を参照するために用いることができる。図中に示された特徴の寸法は、簡便かつ明確な提示のために選ばれ、必ずしも縮尺通りには示されない。
本発明と見なされる主題は、本明細書の結論部分で特に指摘され、明確に請求される。本発明は、しかしながら、動作の構成および方法のいずれについても、以下の詳細な記載が添付図面とともに読まれたときにその記載への参照によって、その目的、特徴、および利点と併せてそれを最もよく理解できる。本発明の実施形態は、例として示され、同様の参照数字が対応する類似または同様の要素を示す添付図面の図には限定されない。
本発明の例示的な実施形態による、ボリュームレンダリングのためのコンピューティングシステムのブロック図を示す。 本発明の例示的な実施形態による、３Ｄオブジェクトをレンダリングするための方法のフローチャートを示す。 本発明の例示的な実施形態による、図２の方法とともに用いることができる表を示す。 本発明の例示的な実施形態による、３Ｄオブジェクトをレンダリングするための方法のフローチャートを示す。 本発明の例示的な実施形態による、３Ｄオブジェクトをレンダリングするための方法のフローチャートを示す。 本発明のいくつかの実施形態による、ボリューム、最適化されたツリーおよびフレームのスクリーンショットを示す。
説明の簡潔さおよび明確さのために、図に示された要素は、必ずしも正確にまたは縮尺通りには描かれなかったことが理解されよう。例えば、明確さのためにいくつかの要素の寸法を他の要素と比較して誇張することができ、またはいくつかの物理的構成要素を１つの機能ブロックまたは要素に含めることができる。さらに、適切と考えられるところでは、対応または類似する要素を示すために複数の図の間で参照数字を繰り返すことができる。
以下の詳細な記載においては、本発明の十分な理解を与えるために多くの具体的な詳細が提示される。しかしながら、これらの具体的な詳細なしに本発明を実施できることを当業者は理解するであろう。他の事例では、本発明を曖昧にしないために、よく知られている方法、手順、ならびにコンポーネント、モジュール、ユニットおよび／または回路は詳細に記載されなかった。一実施形態に関して記載されたいくつかの特徴または要素を他の実施形態に関して記載された特徴または要素と組み合わせることができる。明確さのために、同じかもしくは同様の特徴または要素の考察を繰り返すことはできない。
本発明の実施形態は、この点について限定されないが、例えば、「処理する（ｐｒｏｃｅｓｓｉｎｇ）」、「計算する（ｃｏｍｐｕｔｉｎｇ）」、「算出する（ｃａｌｃｕｌａｔｉｎｇ）」、「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」、「確立する（ｅｓｔａｂｌｉｓｈｉｎｇ）」、「分析する（ａｎａｌｙｚｉｎｇ）」、「チェックする（ｃｈｅｃｋｉｎｇ）」、または同様のものなどの用語を利用した考察は、コンピュータのレジスタおよび／またはメモリ内に物理（例えば、電子的な）量として表されたデータを、コンピュータのレジスタおよび／またはメモリ、あるいは、動作および／または処理を行うための命令を記憶できる他の情報非一時的記憶媒体内に物理量として同様に表された他のデータへ操作および／または変換する、コンピュータ、コンピューティングプラットフォーム、コンピューティングシステム、または他の電子コンピューティングデバイスの動作（単数または複数）および／または処理（単数または複数）に言及できる。本発明の実施形態は、この点について限定されないが、「複数（ｐｌｕｒａｌｉｔｙ）」および「複数（ａ ｐｌｕｒａｌｉｔｙ）」という用語は、本明細書では、例えば、「多数（ｍｕｌｉｐｌｅ）」または「２つ以上（ｔｗｏ ｏｒ ｍｏｒｅ）」を含むことができる。２つ以上のコンポーネント、デバイス、要素、ユニット、パラメータ、または同様のものを記述するために、「複数（ｐｌｕｒａｌｉｔｙ）」または「複数（ａ ｐｌｕｒａｌｉｔｙ）」という用語を本明細書全体にわたって用いることができる。セット（ｓｅｔ）という用語は、本明細書では、１つ以上の項目を含むことができる。明示的に述べられない限り、本明細書に記載される方法の実施形態は、特定の順序または系列に制約されない。加えて、記載される方法の実施形態のいくつかまたはそれらの要素が同時に、同じ時点で、または一斉に発生し、または行われることが可能である。
図１は、本発明の例示的な実施形態による、ボリュームレンダリングのためのコンピューティングシステムのブロック図を示す。コンピューティングシステム１００は、例えば、グラフィカル処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）および／または中央処理装置プロセッサ（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ ｐｒｏｃｅｓｓｏｒ）、チップまたは任意の適切なコンピューティングもしくはコンピュテーショナルデバイスとすることができるコントローラ１０５、オペレーティングシステム１１５、メモリ１２０、実行可能なコード１２５，記憶システム１３０、入力デバイス１３５および出力デバイス１４０を含むことができる。
コントローラ１０５（または、場合によっては多数のユニットまたはデバイスにわたる１つ以上のコントローラまたはプロセッサ）は、本明細書に記載される方法を実施し、および／または様々なモジュール、ユニットを実行することができる。
オペレーティングシステム１１５は、コンピューティングシステム１００の調整、スケジューリング、調停、監督、制御または他の管理オペレーションを伴う、例えば、ソフトウェアプログラムもしくは実行可能なコードセグメントの実行をスケジュールする、あるいはソフトウェアプログラムもしくは他のモジュールまたはユニットが通信することを可能にする、タスクを行うことができる任意のコードセグメント（例えば、本明細書に記載される実行可能なコード１２５と同様のもの）を含むことができる。オペレーティングシステム１１５は、市販のオペレーティングシステムであってもよい。
メモリ１２０は、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、リードオンリメモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ダイナミックＲＡＭ（ＤＲＡＭ：Ｄｙｎａｍｉｃ ＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤ−ＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）、ダブルデータレート（ＤＤＲ：ｄｏｕｂｌｅ ｄａｔａ ｒａｔｅ）メモリチップ、フラッシュメモリ、揮発性メモリ、不揮発性メモリ、キャッシュメモリ、バッファ、短期メモリユニット、長期メモリユニット、もしくは他の適切なメモリユニットまたは記憶ユニット、あるいはそれらの任意の組み合わせとすることができる。メモリ１２０は、複数のメモリユニットとすることができ、またはそれらを含むことができる。メモリ１２０は、コンピュータもしくはプロセッサ非一時的可読媒体、またはコンピュータ非一時的記憶媒体、例えば、ＲＡＭとすることができる。
実行可能なコード１２５は、任意の実行可能なコード、例えば、アプリケーション、プログラム、プロセス、タスクまたはスクリプトとすることができる。実行可能なコード１２５は、場合によってはオペレーティングシステム１１５の制御下でコントローラ１０５によって実行できる。例えば、実行可能なコード１２５は、本明細書にさらに記載されるように、３Ｄオブジェクトを２Ｄスクリーン上へレンダリングする、または３Ｄオブジェクトを３Ｄプリンタによってプリントするための命令を作り出すアプリケーションとすることができる。明確さのために、図１では実行可能なコード１２５の単一の項目が示されるが、本発明のいくつかの実施形態によるシステムは、実行可能なコード１２５と同様の複数の実行可能なコードセグメントを含むことができ、それらのコードセグメントをメモリ１２０に読み込んで、本明細書に記載される方法をコントローラ１０５に実施させることができる。例えば、本明細書に記載されるユニットまたはモジュールは、コントローラ１０５、メモリ１２０および実行可能なコード１２５とすることができ、またはそれらを含むことができる。
記憶システム１３０は、例えば、ハードディスクドライブ、コンパクトディスク（ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｋ）ドライブ、追記型ＣＤ（ＣＤ−Ｒ：ＣＤ−Ｒｅｃｏｒｄａｂｌｅ）ドライブ、Ｂｌｕ−ｒａｙディスク（ＢＤ：Ｂｌｕ−ｒａｙ ｄｉｓｋ）、ユニバーサルシリアルバス（ＵＳＢ：ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）デバイス、もしくは他の適切なリムーバブルおよび／または固定記憶ユニットとすることができ、あるいはそれらを含むことができる。コンテンツは、記憶システム１３０に記憶でき、記憶システム１３０からメモリ１２０へ読み込むことができて、そこでプロセッサ１０５によって処理することができる。図示されるように、記憶システム１３０は、３Ｄオブジェクト（例えば、イメージングデータ１３１）、マスクデータ１３２、レンダリングデータ１３３、伝達関数データ１３４、ボクセルグリッドデータ１３６、および／または物質ＩＤリスト１３７を記憶できる。３Ｄオブジェクトは、３Ｄオブジェクトを表す任意のデータを含むことができる。３Ｄオブジェクトは、３Ｄイメージングデータ、メッシュデータ、ボリューメトリックオブジェクト（ｖｏｌｕｍｅｔｒｉｃ ｏｂｊｅｃｔ）、ポリゴンメッシュオブジェクト、ポイントクラウド、３Ｄオブジェクトの関数表現、ＣＡＤファイル、３Ｄ ｐｄｆファイル、ＳＴＬファイル、および／または３Ｄオブジェクトを表すことができる任意の入力を含むことができる。３Ｄイメージングデータは、コンピュータ断層撮影（「ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ」イメージングデータ、コーンビーム・コンピュータ断層撮影（「ＣＢＣＴ：Ｃｏｎｅ Ｂｅａｍ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ」イメージングデータ、磁気共鳴断層撮影（「ＭＲＩ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ」）イメージングデータおよび／またはＭＲＡイメージングデータ（例えば、造影剤を用いたＭＲＩ）あるいは超音波イメージングデータを含めて、医療イメージングデータを含むことができる。３Ｄオブジェクトは、解剖学的構造（例えば、複雑な解剖学的構造）、工業データ、または任意の３Ｄオブジェクトとすることができる。
本明細書では記憶システム１３０に記憶されたデータがさらに記載される。当業者には明らかなように、記憶システム１３０およびその中の各データセットは、すべてが１つの記憶システム中にあってもよく、または様々な構成で、多数の記憶システム中へ分散されてもよい。
いくつかの実施形態では、図１に示されたコンポーネントのいくつかを省略できる。例えば、メモリ１２０を記憶システム１３０の記憶容量を有する不揮発性メモリとすることができる。従って、分離したコンポーネントとして示されるが、記憶システム１３０をメモリ１２０中に埋め込むかまたは含めることができる。
入力デバイス１３５は、マウス、キーボード、タッチスクリーンもしくはパッド、または任意の適切な入力デバイスとすることができ、またはそれらを含むことができる。ブロック１３５によって示されるように、任意の適切な数の入力デバイスをコンピューティングシステム１００へ作動的に接続できることが認識されるであろう。出力デバイス１４０は、１つ以上のスクリーン、ディスプレイもしくはモニタ、スピーカおよび／または任意の他の適切な出力デバイスを含むことができる。ブロック１４０によって示されるように、任意の適切な数の出力デバイスをコンピューティングシステム１００へ作動的に接続できることが認識されるであろう。
ブロック１３５および１４０によって示されるように、任意の適用可能な入力／出力（Ｉ／Ｏ）デバイスをコンピューティングシステム１００へ接続できる。例えば、有線または無線ネットワークインターフェースカード（ＮＩＣ：ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｃａｒｄ）、プリンタ、ユニバーサルシリアルバス（ＵＳＢ）デバイスあるいは外部ハードドライブを入力デバイス１３５および／または出力デバイス１４０中に含めることができる。
本発明のいくつかの実施形態によるシステムは、以下には限定されないが、複数の中央処理装置（ＣＰＵ）あるいは任意の他の適切な多目的もしくは特定のプロセッサまたはコントローラ（例えば、コントローラ１０５と同様のコントローラ）、複数の入力ユニット、複数の出力ユニット、複数のメモリユニット、および複数の記憶ユニットのようなコンポーネントを含むことができる。システムは、他の適切なハードウェアコンポーネントおよび／またはソフトウェアコンポーネントをさらに含むことができる。いくつかの実施形態において、システムは、例えば、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ワークステーション、サーバコンピュータ、ネットワークデバイス、または任意の他の適切なコンピューティングデバイスを含むことができ、あるいはそれらとすることができる。例えば、本明細書に記載されるシステムは、コンピューティングシステム１００のような１つ以上のデバイスを含むことができる。
イメージングデータ１３１は、当技術分野で知られる任意のイメージングデータとすることができ、例えば、イメージングデータ１３１は、ＣＴシステムによって、もしくはＭＲＩシステムによって、および／またはＣＢＣＴシステムによって作り出されるような医療データとすることができる。
マスク１３２に含まれるマスクは、オブジェクトタイプに対応できる。例えば、心臓のオブジェクトについては、マスクは、右心室、左心室、右大動脈、左大動脈とすることができる。携帯電話については、マスクは、キー、ボタン、ワイヤ、コンピュータチップ、スクリーンなどとすることができる。例えば、マスクは、例えば、ボクセルごとのブール（例えば、１／０、ｙｅｓ／ｎｏ）値またはより大きいデータセット中のデータポイントを含んだデータ構造であってよい。マスクは、ボクセルの外観を指定する視覚的マーカ（例えば、色および／またはパターン）を含んでよい。マスクは、より大きいデータセットへ適用されたときに、ボクセルがマーク付けされているか、またはマーク付けされていないかを示してよい。
いくつかの実施形態では、３Ｄオブジェクト（例えば、頭部または心臓のような器官）の入力が受信される。システムは、オブジェクトのタイプに対応するマスクのセットをメモリから読み出すことができる。システムは、マスクのセット中の各マスクに対応する３Ｄオブジェクトデータを追加できる。例えば、心臓のイメージングデータ、左腔マスクおよび右腔マスクをメモリから読み出すことができる。右心腔に対応するイメージングデータの一部分を右腔マスクに割り当てることができ、左腔マスクに対応するイメージングデータの一部分を左腔マスクに割り当てることができる。
マスクに対して行われる演算は、ボクセルに対して行われる演算、例えば、侵食、膨張、ボクセルサイズの拡大または縮小などを含むことができる。マスク、メッシュおよびボクセルは、当技術分野で知られるデジタルオブジェクトとすることができ、またはそれらによって表現もしくは記述することができ、従って、本明細書に記載されるようなマスク、メッシュおよびボクセルについて、またはそれらに対して、任意のモルフォロジカルもしくは論理演算を行いうることが理解されよう。例えば、ボクセルを膨張させるステップは、ボクセルの１つ以上の値、例えば、サイズ、ロケーションなどを変化されるステップを含むことができる。
例えば、モルフォロジカルもしくは論理演算を用いて、ボクセルの群Ａを半径Ｒの球要素で膨張させることができ（本明細書では
Figure 2020503628
 として示される）、ボクセルの群Ａを半径Ｒの球要素で侵食することができ（本明細書では
Figure 2020503628
 として示される）、ボクセルの群Ａを半径Ｒの球要素でオープンすることができ（本明細書では
Figure 2020503628
 として示される）、ボクセルの群Ａを半径Ｒの球要素でクローズすることができる（本明細書では
Figure 2020503628
 として示される）。
システムは、割り当てられたイメージングデータを有するマスクのセットを２Ｄスクリーン上に表示できる、仮想現実に表示できる、拡張現実に表示できるおよび／または３Ｄプリントできるフォーマットへレンダリングすることができる。例えば、ＣＴまたはＭＲＩから受信されたイメージングデータに基づいて、およびマスクのセットに基づいて、いくつかの実施形態は、３Ｄオブジェクトを２Ｄスクリーン上に表示するためのフレームを作り出すことができる。
レンダリングデータ１３３は、イメージをレンダリングするため、または３Ｄオブジェクトをプリントするために使用可能な任意のデータとすることができる。例えば、レンダリングデータ１３３は、本技術分野で知られるようなイメージもしくはオブジェクトをレンダリングまたはプリントするために用いることができるピクセル値のセット（例えば、ＲＧＢＡおよびＨＵ値、色相、強度など）とすることができ、および／または、レンダリングデータ１３３は、本技術分野で知られるようなオブジェクトを３Ｄプリンタにプリントさせるために用いることができる命令のセットとすることができる。
伝達関数１３４は、任意の関数または論理とすることができる。例えば、伝達関数１３４は、入力値（例えば、ＨＵ値および物質識別）のセットを受信し、出力としてピクセルの記述、例えば、ＲＧＢＡ値、ピクセルのロケーションまたはオフセットなどを作り出す関数または論理とすることができる。例えば、伝達関数１３４は、器官のそれぞれのセットのための変換表のセット、例えば、心臓のための第１の変換表、骨のための第２の変換表を含むことができ、各変換表は、ＨＵ値を記載されるようなピクセルの記述と関連付けることができる。
ボクセルグリッド１３６は、空間またはボリュームを表すボクセルのセットとすることができる。例えば、ボクセルグリッドは、３Ｄ器官または器官系を含んだ空間を表すボクセルのセットとすることができ、例えば、ボクセルグリッド中のボクセルは、血管または血管系、頭部などの３Ｄ表現を含む空間をカバーする、含む、または占有することができる。任意の数のボクセルグリッドを用いることができて、例えば、第１のボクセルグリッドは、全部のオブジェクト、器官または空間をカバーでき、第２のボクセルグリッドは、骨をカバーするかまたは骨に関係することができて、第３のボクセルグリッドは、血管を記述する、含む、カバーすることができ、別の状況では血管と関連付けることができるなどである。
物質識別（ＩＤ）リスト１３７は、値のセットを物質のそれぞれのセットへマッピングまたはリンクする任意のリスト、表または構造とすることができる。例えば、物質ＩＤリスト１３７は、例えば、図３の表３１０に示されるように、ＨＵ値を物質へマッピングすることができる。
メッシュ（または当技術分野で知られる多角形メッシュまたは三角形メッシュ）は、３Ｄオブジェクトを定義または記述する頂点、辺、および面のセットとすることができる。当技術分野で知られるように、３Ｄプリンティングのためのフォーマットへの変換のためにメッシュを用いることができる。
ボリュームレンダリング中に、３Ｄイメージングデータの部分間を区別するボリュームをレンダリングするのが望ましいことがありうる。例えば、イメージング中に骨と患者が横たわるベッドとを区別する。
一態様において、本発明は、物質分類インデックスに基づいて、３Ｄイメージングデータ中のボクセルごとに伝達関数のセットからある１つの伝達関数を決定するステップを伴うことができる。３Ｄイメージングデータ内のボクセル間で伝達関数を変化させるステップは、例えば、レンダリングされるオブジェクトの特定の部分に対応する伝達関数を選択することによって、明確さを有する高品質イメージを可能にする。
図２は、本発明の例示的な実施形態による、ボリュームレンダリングのための方法のフローチャートである。本方法は、３Ｄイメージングデータ中のボクセルごとに物質分類を決定するステップを伴う（ステップ２１０）。物質分類は、ボクセルの１つ以上の属性値に基づいて決定できる。例えば、物質分類は、以下のようにHU属性に基づいて決定できる：−２０４８〜−６００の範囲内のＨＵ値をもつボクセルに空気の物質分類を割り当てることができ、２００〜４５０の範囲内にあるＨＵ値をもつボクセルには骨の物質分類を割り当てることができる。
いくつかの実施形態において、物質分類は、ｉ）３Ｄイメージングデータ中のボクセルの初期物質分類を行い、ｉｉ）３Ｄイメージングデータ中のボクセルをセグメント化し、および／またはｉｉｉ）３Ｄイメージングデータ中のセグメント化されたボクセルの最終物質分類を行うことによって決定される。
ｉ．初期物質分類を行うステップ
初期分類は、３Ｄイメージングデータ（例えば、ＣＴイメージングデータ、ＣＢＣＴイメージングデータ、またはＭＲＡ（ＭＲプラス造影剤）イメージングデータ）のタイプに基づいて変化することができる。
ＣＴイメージングデータについては、初期物質分類は、ＨＵ属性に基づくことができる。例えば、図３は、初期物質分類を決定するために用いることができる表３１０の例を示す。表３１０によって示されるように、ＨＵの範囲は、物質タイプに対応することができる。当業者には明らかなように、表３１０は、例であるに過ぎず、ＨＵ値が異なる物質タイプに割り当てられてもよい。
ＣＢＣＴイメージングデータについては、初期物質分類は、バイアスフィールド推定の結果に基づくことができる。バイアスフィールド推定は、参照によりその全体が本明細書に組み込まれる、Ｍ．Ｎ．Ａｈｍｅｄ ｅｔ．ａｌ．“Ａ Ｍｏｄｉｆｉｅｄ Ｆｕｚｚｙ Ｃ−Ｍｅａｎｓ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｂｉａｓ Ｆｉｅｌｄ ｅｓｔｉｍａｔｉｏｎ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ＭＲＩ Ｄａｔａ”２００２，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇに示されるように決定することができ、入力例としては、期待平均，σ＝０．５，ε＝１０−５，α＝１，ｐ＝２を用いる。期待平均は、平均Ｕｉをもつ６つのガウス分布の混合ガウス分布モデルを決定することによって決定できる。各物質の期待平均は、［−５００，３０００］の範囲内のボクセル上の最大化によって決定できる。期待平均は、［Ｕ１，．．．Ｕ６，−１０００］に設定できる。バイアスフィールド推定の出力がバイアスフィールドおよび物質ごとの確率３ＤボリュームＰｉのセットを表すことができる。ボクセルごとの最大確率のインデックスｉに基づいて最良確率マップ（ＢＰＭ：Ｂｅｓｔ Ｐｒｏｂａｂｉｌｉｔｙ Ｍａｐ）を決定できる。初期物質分類は、ＢＰＭ値に基づくことができる。例えば、７のＢＰＭ値をもつボクセルを最初に「空気」として分類でき、１、２、３のＢＰＭ値をもつボクセルを最初に「軟組織」として分類できて、４、５、６のＢＰＭ値をもつボクセルを最初に「骨」として分類できる。
ＭＲＡイメージングデータについては、初期物質分類は、例えば、ＣＢＣＴイメージングデータについて先に記載されたように、バイアスフィールド推定に基づくことができ、入力例としては、期待平均，σ＝１，ε＝１０−５，α＝１，ｐ＝２を用いる。期待平均は、平均Ｕｉをもつ５つのガウス分布の混合ガウス分布モデルを決定することによって決定できる。各物質の期待平均は、平滑化および／またはフィルタされたＭＲＡイメージングデータに基づいて算出できる。
例えば、ＭＲＡイメージングデータを平滑化でき、および／またはバックグラウンド閾値を決定できる。ＭＲＡイメージングデータは、σ＝１を用いたガウシアン平滑化方法によって平滑化できる。バックグラウンド閾値は、以下の通り、ＥＱＮ．１および２に示されるように決定できる。
Figure 2020503628
期待平均を［Ｕ１，．．．Ｕ５］に設定できる。ＢＰＭは、バイアスフィールド推定の出力に基づいて決定できる。ＭＲＡイメージングデータのための初期物質分類は、ＢＰＭ値に基づくことができる。例えば、１のＢＰＭ値をもつボクセルを最初に「空気」として分類でき、空気として分類されないすべてのボクセルを「体」として分類でき、「体」の周囲におけるボクセルを「皮膚」として分類でき、「体」として分類されて「皮膚」として分類されない、２のＢＰＭ値をもつボクセルを「軟組織」として分類でき、「体」として分類されて「皮膚」として分類されない３のＢＰＭ値をもつボクセルを「筋肉」として分類でき、「体」として分類されて「皮膚」として分類されない４を超えるＢＰＭ値をもつボクセルは、「脈管構造」として分類され、残りのボクセルは、「ノイズ」として分類される。
ｉｉ．ボクセルのセグメント化
３Ｄイメージングデータのボクセルは、初期物質分類インデックスに基づいてセグメント化できる。例えば、物質分類が骨、脈管構造、および筋肉であると仮定する。骨の物質分類を有する３Ｄイメージングデータ中の各ボクセルを第１のセグメント中へセグメント化でき、脈管構造の物質分類を有する３Ｄイメージングデータ中の各ボクセルを第２のセグメント中へセグメント化でき、筋肉の物質分類を有する３Ｄイメージングデータ中の各ボクセルを第３のセグメント中へセグメント化できる。
いくつかの実施形態において、セグメント化は、最初にセグメント化されたボクセルを膨張させる、侵食、オープンおよび／またはクローズするステップをさらに伴うことができる。いくつかの実施形態において、セグメント化は、３Ｄイメージングデータのタイプ（例えば、ＣＴイメージングデータ、ＣＢＣＴイメージングデータ、またはＭＲＡイメージングデータ）に基づいて変化することができる。
いくつかの実施形態において、ＣＴイメージングデータを脈管、骨、筋肉、および／または低コントラスト脈管構造へセグメント化できる。脈管セグメント（「ＶｅｓｓｅｌＳｅｇｍｅｎｔ」）について、セグメント化は、以下のように決定できる：
ａ．「骨」または「脈管構造」として最初に分類されたボクセルを一般的なセグメント（「ＧｅｎｅｒａｌＳｅｇｍｅｎｔ」）へセグメント化できる。
ｂ．「緻密骨」または「歯」として最初に分類されたボクセルをおそらくは金属セグメント（「ＰｏｓｓｉｂｌｅＭｅｔａｌＳｅｇｍｅｎｔ」）へセグメント化できる。
ｃ．「脈管構造」として最初に分類されたボクセルを間歇的に低脈管セグメント（「ＬｏｗＶｅｓｓｅｌＳｅｇｍｅｎｔ」）へセグメント化できる。
ｄ．ＶｅｓｓｅｌＳｅｇｍｅｎｔ＝ＧｅｎｅｒａｌＳｅｇｍｅｎｔ∪（｜∇ｇ｜＜１５０）：
勾配｜∇ｇ｜の大きさは、以下の通り、ＥＱＮ．３〜６に示されるように決定できる：
Figure 2020503628
 ここでｘ’、ｙ’およびｚ’は、物質分類インデックスが決定される現在のボクセルの座標である。勾配の大きさは、以下の通り、ＥＱＮ．７に示されるように決定できる：
Figure 2020503628
 −例えば、ステップ「ｆ」は、脈管の周りのステントまたは他の金属元素のイメージを除去できる；
Figure 2020503628
 −例えば、ステップ「ｇ」は、小さい脈管を互いに接続できて、オープニング演算は、筋肉組織によって生じるノイズを除去できる；
Figure 2020503628
 −例えば、ステップ「ｖ」は、小さい脈管をＶｅｓｓｅｌＳｅｇｍｅｎｔ中の大きい脈管へ接続できて、脈管の周りの骨組織からのノイズを除去できる；
ｉ．例えば、小さい接続された構成要素によって、特徴付けられる、または生じる、ノイズを、例えば、なくすために−１０００個のボクセル下にあるすべての接続された構成要素をＶｅｓｓｅｌＳｅｇｍｅｎｔから除去する；および
Figure 2020503628
 −例えば、ＶｅｓｓｅｌＳｅｇｍｅｎｔは、脈管組織、または軟組織の境界を含むことができる。
骨セグメント（「ＢｏｎｅＳｅｇｍｅｎｔ」）は、以下のように決定できる。
ａ．「骨」もしくは「緻密骨」または「歯」として最初に分類されたボクセルを真の骨セグメント（「ＴｒｕｅＢｏｎｅＳｅｇｍｅｎｔ」）へセグメント化できる；
ｂ．ＴｒｕｅＢｏｎｅＳｅｇｍｅｎｔから５０個のボクセル未満の接続された構成要素を除去する−例えば、ステップ「ｂ」は、骨として分類されたカルシウム沈着を削減できる；
Figure 2020503628
 −例えば、ＴｒｕｅＢｏｎｅＳｅｇｍｅｎｔが緻密骨組織を囲む区域を確実にカバーするようにできる；
Figure 2020503628
 ｅ．ＢｏｎｅＳｅｇｍｅｎｔを得るために、１００個のボクセルによってＴｒｕｅＢｏｎｅＳｅｇｍｅｎｔにタッチしないすべての接続された構成要素をＰｏｓｓｂｌｅＢｏｎｅＳｅｇｍｅｎｔから除去する−例えば、ステップ「ｅ」は、柔らかい骨組織ボクセルを緻密骨組織ボクセルへ接続できる。
筋肉セグメント（「ＭｕｓｃｌｅＳｅｇｍｅｎｔ」）は、以下のように決定できる：
ａ．「筋肉」として最初に分類されたボクセルをＭｕｓｃｌｅＳｅｇｍｅｎｔへセグメント化できる；
ｂ．「脈管構造」として最初に分類されたボクセルを低コントラストセグメント（「ＬｏｗＣｏｎｔｒａｓｔＳｅｇｍｅｎｔ」）へセグメント化できる。
いくつかの実施形態において、「脈管構造」または「骨」としてセグメント化されたいくつかのボクセルは、それらが別のオブジェクト（例えば、ＨＵ＞１００をもつオブジェクト）のものでありうるので、不適切にセグメント化される。いくつかの実施形態では、ボクセルを、以下のように、「ベッド」または「皮膚」としてセグメント化できる。
ａ．−１５０を超えるＨＵをもつボクセルは、関連セグメント（「ＲｅｌｅｖａｎｔＳｅｇｍｅｎｔ」）へセグメント化できる；
ｂ．ＲｅｌｅｖａｎｔＳｅｇｍｅｎｔ中の最も大きい接続された構成要素は、オブジェクトセグメント（「ＯｂｊｅｃｔＳｅｇｍｅｎｔ」）へセグメント化できる；
Figure 2020503628
 −例えば、ステップ「ｃ」は、ＯｂｊｅｃｔＳｅｇｍｅｎｔ中の穴を満たすことができ、ＯｂｊｅｃｔＳｅｇｍｅｎｔは、シーン中のオブジェクト本体を、その近接した周囲とともに、記述できる；
Figure 2020503628
いくつかの実施形態において、ＣＢＣＴイメージングデータを皮膚および／またはノイズへセグメント化できる。ＣＢＣＴ皮膚セグメント（「ＳｋｉｎＳｅｇｍｅｎｔ」）およびノイズセグメント（「ＮｏｉｓｅＳｅｇｍｅｎｔ」）は、以下のように決定できる：
ａ．最小ＨＵのＣＢＣＴ ３Ｄイメージングデータを（「ＭｉｎＨＵＶａｌ」）としてマーク付けできる。
ｂ．確からしいオブジェクトセグメント（「ＰｒｏｂａｂｌｅＯｂｊｅｃｔＳｅｇｍｅｎｔ」）を決定できる：
Figure 2020503628
 ｃ．オブジェクトセグメント（「ＯｂｊｅｃｔＳｅｇｍｅｎｔ」）は、標準偏差（例えば、１０）をもち、ＨＵ値を［−６００，−５００］の間に制限する、領域拡張ＰｒｏｂａｂｌｅＯｂｊｅｃｔＳｅｇｍｅｎｔによって決定できる；
ｄ．緩和されたオブジェクトセグメント（「ＯｂｊｅｃｔＳｅｇｍｅｎｔＲｅｌａｘｅｄ」）は、［−７００，−５００］のＨＵ値および１０の標準偏差をもつ領域拡張ＰｒｏｂａｂｌｅＯｂｊｅｃｔＳｅｇｍｅｎｔの結果とすることができる；
Figure 2020503628
 −例えば、ステップ「ｅ」は、ＯｂｊｅｃｔＳｅｇｍｅｎｔ中の穴を満たすことができる；
Figure 2020503628
 ｈ．ＤＩＣＯＭシーンセグメント（「ＤｉｃｏｍＳｃｅｎｅＳｅｇｍｅｎｔ」）を決定できる：
ＤｉｃｏｍＳｃｅｎｅＳｅｇｍｅｎｔ＝［ＨＵ＞ＭｉｎＨＵＶａｌ］
Figure 2020503628
 −例えば、ステップ「ｉ」は、ＤｉｃｏｍＳｃｅｎｅＳｅｇｍｅｎｔ中の穴を満たすことができる；
ｊ．ＤｉｃｏｍＳｃｅｎｅＭａｓｋ中の最後の５０個の行を除去する−例えば、ステップ「ｊ」は、大部分のスキャンがチューブの形状であり、従って、頭蓋の後部を無視できるという事実のために必要とされうる。
Figure 2020503628
ｉｉｉ．最終物質分類を行うステップ
最終物質分類を決定できる。いくつかの実施形態において、３Ｄイメージングデータは、初期物質分類と等しい最終物質分類を有することができる。
３Ｄイメージングデータをセグメント化に基づいて最終的に物質により分類できる。
様々な実施形態において、ＣＴイメージングデータについては、
Figure 2020503628
 に属するボクセルを「緻密骨」として最終的に物質により分類でき、
Figure 2020503628
 に属するボクセルを「脈管構造」として最終的に物質により分類でき、
Figure 2020503628
 に属するボクセルを「骨／脈管構造」として分類でき、
Figure 2020503628
 に属するボクセルを「ノイズ」として最終的に物質により分類できる。
いくつかの実施形態において、「脂肪」の初期物質分類を有するボクセルは、「脂肪」ボクセルの１ボクセル半径によるオープン演算を用いて除去される。除去されたボクセルを「ノイズ」として最終的に物質により分類できる。
様々な実施形態において、ＳｋｉｎＳｅｇｍｅｎｔ中のボクセルを「皮膚」として最終的に物質により分類でき、および／または「ＢｅｄＳｅｇｍｅｎｔ」中のボクセルを「ベッド」として最終的に物質により分類できる。
様々な実施形態において、ＣＢＣＴイメージングデータについては、ＮｏｉｓｅＳｅｇｍｅｎｔに属するボクセルを「ノイズ」として最終的に物質により分類でき、ＳｋｉｎＳｅｇｍｅｎｔを「皮膚」として最終的に物質により分類できる。
いくつかの実施形態において、ＭＲＡイメージングデータのボクセルは、それらの初期物質分類に従って最終的に物質により分類される。
ボクセル物質分類の様々な補正または修正を行うことができる。例えば、誤って分類されかねない、（例えば、上記のような演算に起因する）それらの初期閾値からほど遠いＨＵ値をもつボクセルがありうる。かかる誤分類を補正するために、ある実施形態は、以下のステップのいくつかまたはすべてを行うことができる：
ａ．−２０を超えるＨＵをもつ「脂肪」ボクセルが脈管構造として分類される；
ｂ．骨組織ボクセルに隣接した「脂肪」ボクセルが「骨」として分類される；
ｃ．３９０を超えるＨＵを有する「筋肉」ボクセルが骨／脈管構造として分類される；
ｄ．１０を超えるＨＵをもつ「皮膚」ボクセルが筋肉として分類される。
ＣＴイメージングデータのための物質分類インデックスを決定するステップも入力ＣＴイメージングデータの最大寸法（例えば、最大幅／長さ／奥行き）を決定するステップを伴うことができ、最大寸法が閾値を超えるならば、ＣＴイメージングデータを、例えば、所定の寸法へスケーリングできる。
本方法は、物質分類ごとに伝達関数（例えば、図１において上に記載されたような、伝達関数１３４）を決定するステップも伴うことができる（ステップ２１５）。例えば、３Ｄイメージングデータの第１のボクセルの物質分類（例えば、骨を示す）が第２のボクセルの物質分類（例えば、値が組織を示す）と異なるならば、そのときには第１のボクセルを第１の伝達関数を用いてレンダリングできて、第２のボクセルを第２の伝達関数を用いてレンダリングできる。第１の伝達関数と第２の伝達関数とは異なってもよい。
伝達関数は、伝達関数のセットから１つの伝達関数を選択することによって決定できる。伝達関数のセットをメモリに記憶するか、および／またはユーザによって入力することができる。伝達関数のセットは、特定のオブジェクトタイプのための所望の色に基づくことができる。例えば、脈管が典型的に赤色であり、骨が典型的に白色である。それゆえに、伝達関数は、赤色と白色との間の色の滑らかな伝達を含むことができる。当業者には明らかなように、考察されるこの伝達関数および色は、例示のために過ぎない。いくつかの実施形態では、伝達関数が異なるＨＵ／グレースケール値に対して（例えば、ＣＢＣＴおよび／またはＭＲＡに対して）一定とすることができる。表１は、分類およびＨＵ値に基づく伝達関数の例を以下のように示す。
Figure 2020503628
いくつかの実施形態において、多数の物質分類が同じ伝達関数を有することができる。例えば、ＣＢＣＴイメージングデータについて、「軟組織」として分類された物質は、「脂肪」として分類された物質と同じ伝達関数を有することができる。別の例では、「骨」として分類された物質が「緻密骨」として分類された物質と同じ伝達関数を有することができる。
本方法は、ボクセルに対応する物質分類に対応する伝達関数を適用することによって各ボクセルをレンダリングするステップも伴うことができる（ステップ２２０）。伝達関数は、それぞれのボクセルのためのＨＵ値を入力として受信できる。ＨＵ値に基づいて、伝達関数は、ボクセルをレンダリングするための色（例えば、ＲＧＢ色）を出力できる。
図４は、本発明のいくつかの実施形態による、ボリュームレンダリングのための方法のフローチャートである。３Ｄオブジェクトをレンダリングするステップは、関心領域を特定するステップ、およびその関心領域中のどのポイントをレンダリングすべきかを決定するステップを伴うことができる。例えば、３Ｄオブジェクトをレンダリングするステップは、レイキャスティングを伴うことができる。２Ｄスクリーン上に、仮想現実環境へ、および／または拡張現実環境へレンダリングされたフレームごとに、レイキャスティングを行うことができる。視覚化されたイメージが変更される（例えば、ズーム、回転、および／または修正される）たびに、典型的に多数の新しいフレームを決定できて、新しいフレームごとに、レイキャスティングを行うことができる。レイキャスティングのための現在の方法は、計算を多用する、および／または多量のデータを生じる可能性があり、レイキャスティングを介した３Ｄオブジェクトのレンダリングを法外に遅くしかねない。例えば、ユーザが心臓を回転させることができるように心臓の３Ｄオブジェクトを２Ｄスクリーン上へレンダリングするステップは、心臓のイメージを回転するときにピクセル化を目立たせる可能性があり、および／またはユーザのコンピュータをクラッシュさせかねない。本方法は、インクリメンタルにレイキャスティングするステップを伴うことができ、それによって、計算の多用および／またはデータ量を抑えることができる。
本方法は、第１の中間フレームを作り出すために３Ｄオブジェクト上で第１のレイキャスティングを行うステップを伴うことができ、第１のレイキャスティングは、第１の開始位置および第１のステップサイズを有する（ステップ４１０）。レイキャスティングは、あるサンプリング速度を有することができ、ステップサイズは、そのサンプリング速度に基づくことができる。例えば、サンプリング速度がレイ当たり１０ポイントであれば、そのときにはステップサイズを１／１０とすることができる。３Ｄオブジェクトは、ボリュームによって記述できる。ボリュームは、３Ｄオブジェクトを完全に包含する（または実質的に完全に包含する）立方体とすることができる。
ボリュームサイズは、３Ｄオブジェクトのサイズ、３Ｄオブジェクトの解像度、またはそれらの任意の組み合わせに依存することができる。例えば、小児心臓ＣＴは、物理的に小さくできるが、例えば、高解像度スキャンに起因して、ボリュームが大きくなりうる。いくつかの実施形態では、ボリュームが２５５×２５５×３００ボクセルのサイズを有することができる。様々な実施形態において、ボリュームは、当技術分野で知られるような任意のボリューメトリック形状である。
第１の開始位置は、ボリューム中にデータを有するビューポイント方向からの第１のボクセルとすることができる。
本方法は、第２の中間フレームを作り出すために３Ｄオブジェクト上で第２のレイキャスティングを行うステップを伴うことができる（ステップ４１５）。第２のレイキャスティングは、第２の開始位置、第２のステップサイズを含むことができる。第１の開始位置と第２の開始位置とは異なってもよい。第２の開始位置は、第１の開始位置からオフセットすることができる。オフセットは、ランダムに生成された数、ユーザ入力、ＧＰＵのノイズ関数に基づく、一定値、またはそれらの任意の組み合わせとすることができる。いくつかの実施形態では、オフセットは、０と１との間のランダム数である。いくつかの実施形態では、第２の開始位置が第１の開始位置から所定の距離を超えないことを確かめるためにオフセットがチェックされる。
第１のステップサイズと第２のステップサイズとは異なってもよい。第２のステップサイズは、第１のステップサイズからオフセットすることができる。いくつかの実施形態では、オフセットは、第１のステップサイズの１／４より大きい。
ステップ４２０によって示されるように、本方法は、３Ｄオブジェクトをレンダリングするために第１の中間フレームと第２の中間フレームとをミキシングするステップを含むことができる。第１の中間フレームと第２の中間フレームとをミキシングするステップは、フレーム中の同じロケーションにある第１のフレームおよび第２のフレームのピクセルの値（例えば、色値）をミキシングするステップを伴うことができる。
いくつかの実施形態において、値をミキシングするステップは、フレーム中の同じロケーションにある第１の中間フレームおよび第２の中間フレームのピクセルの平均をとるステップを伴うことができる。いくつかの実施形態において、値をミキシングするステップは、ピクセルの重み付き平均をとるステップを伴うことができる。例えば、結果として生じるピクセルまたはフレームに対して第２の後続フレームの方がより低い影響を有するように、高い方の重みを第１のフレームに与えることができ、低い方の重みを第２の後続フレームに与えることができる。いくつかの実施形態では、ミキシングを３Ｄオブジェクトのデータタイプに基づいて選択される他の機能とともに実行できる。例えば、３Ｄオブジェクトのデータタイプがメッシュであり、レイ交差が行われるならば、そのときには２つ以上のレイ交差をミキシングできるミキシング関数を用いることができる。
いくつかの実施形態では、レイキャスティングがｎ回より多く行われ、ここでｎは整数である。いくつかの実施形態では、ｎは、レンダリングされるオブジェクトにおける詳細さの所望のレベルに基づく。いくつかの実施形態では、ｎは、入力である。レイキャスティングが実行されるたびに、行われるレイキャスティングごとの開始位置および／またはステップサイズは、前のレイキャスティング演算と異なっても、または同じであってもよい。これらの実施形態では、レイキャスティングが実行されるたびに、ミキシングがすべてのレイキャスティングの累積平均を決定するステップを伴うことができる。いくつかの実施形態では、レイがキャストされるたびに、詳細が加えられるか、および／またはレンダリングされたオブジェクトがよりリッチに見えるであろう。いくつかの実施形態では、レイキャスティングが行われる回数は、イメージのための忠実度の所望のレベルに依存する。
上記のように、ボリュームレンダリングのための現在の方法は、法外に遅いことがありうる。１つの難しさは、典型的に、ボリューム内のすべてのボクセルが、存在するしないに係わらず、ボリュームレンダリング中にレンダリングされることである。例えば、ボリュームのいくつかの部分は、対応するデータが何も入っていないかまたは含まないことがありうる。例えば、頭部の３Ｄオブジェクトは、６４×６４×２５６ボクセルのサイズを有するボリュームの一部のみを占有できる。ボクセルの多くがレンダリングされるべき興味のあるデータを何も有さない（例えば、データがオブジェクトの外部にあるか、またはオブジェクトに無関係である）ので、６４×６４×２５６ボリューム中のすべてのボクセルをレンダリングするステップは、非効率的なことがありうる。様々な実施形態において、ボリュームは、当技術分野で知られるような任意のボリューメトリック形状である。
図５は、本発明の例示的な実施形態による、ボリュームレンダリングのための方法のフローチャートである。一般に、本方法は、ボリューム内に立方体を作成するステップ、および各立方体内に任意のデータが存在するかどうかを判定するステップ（例えば、ボクセルグリッドを決定するステップ）を伴うことができる。立方体が空であれば、本方法は、例えば、所定の値をボクセルに割り当てることによって、立方体を空としてマーク付けするステップを伴うことができる。立方体が空でなく、例えば、データを含むならば、そのときには本方法は、３Ｄオブジェクトを２Ｄスクリーン上の表示のためのフレームへレンダリングのために立方体の値を用いるステップを伴うことができる。このようにして、レンダリングする立方体の数を削減できる。様々な実施形態において、立方体は、当技術分野で知られる任意のボリューメトリック形状である。
本方法は、３Ｄオブジェクトに基づいてボクセルグリッドを生成するステップを伴うことができ、ボクセルグリッド中の各ボクセルは、３Ｄロケーション、サイズ指定およびボクセル値を有する（ステップ５１０）。ボクセルグリッド中の各ボクセルは、３Ｄ立方体ボリュームの中心ポイントを表すことができる。多数の３Ｄ立方体ボリュームをそれらがボリューム空間を満たすように用いることができる。
例えば、ボリュームは、２５５×２５５×３００ボクセルのサイズを有することができる。多数の３Ｄ立方体をボリューム内で３Ｄ立方体ボリュームに生成できて、多数の３Ｄ立方体の各々がボリューム内でユニークな３Ｄロケーションを有する。３Ｄ立方体ボリュームは、サイズ指定を有することができる。サイズ指定は、３Ｄ立方体ボリューム内に含むためのボクセルの数または３Ｄサイズ指定（例えば、Ａ×Ｂ×Ｃボクセル）とすることができる。例えば、３Ｄ立方体ボリュームは、２７個の近接ボクセルのサイズ指定を有することができる。この例では、３Ｄ立方体ボリュームは、３×３×３ボクセルのサイズを有する。別の例では、３Ｄ立方体ボリュームは、４×４×４ボクセルのサイズ指定を有することができる。この例では、３Ｄ立方体ボリュームは、その中に配置された６４ボクセルを有する。サイズ指定は、ユーザによって入力される、および／または３Ｄオブジェクトのオブジェクトタイプに依存することができる。
ボクセルグリッドは、各３Ｄ立方体ボリュームの中心ポイントを決定して、その中心ポイントをボクセルグリッドへ割り当てることによって生成できる。例えば、４つの３Ｄ立方体を有し、各３Ｄ立方体がその中に配置された４ボクセルを有するボリュームを仮定する。この例では、ボリュームが１６ボクセルを有し、ボクセルグリッドが４ボクセルを有する。
本方法は、ボクセルグリッド中のボクセルごとに、ｉ）３Ｄ立方体ボリュームが空であるかどうかを判定するステップ、およびｉｉ）３Ｄ立方体ボリュームが空であれば、そのときにはボクセルグリッド中の現在のボクセルに空の値を割り当て、そうでない場合にはボクセルグリッド中の現在のボクセルに存在値を割り当てるステップも伴う（ステップ５１５）。
３Ｄ立方体ボリュームが空であるかどうかを判定するステップは、サンプリングされたボクセルを評価するステップを伴うことができる。サンプリングされたボクセルが値を含むならば、そのときには３Ｄ立方体ボリュームが空ではないと判定される。サンプリングされたボクセルが値を含まなければ、そのときには３Ｄ立方体ボリュームが空であると判定される。いくつかの実施形態では、サンプリングされたボクセルの値が閾値を超えれば、そのときには３Ｄ立方体ボリュームが空ではないと判定され、それらの値が閾値未満であれば、３Ｄ立方体ボリュームが空であると判定される。
ほとんどまたはまったくデータを有さないボリュームの部分を特定し、無視することによって、処理を劇的に減少させることができる。例えば、頭部の３Ｄモデルの周りの空間（例えば、空気）中に位置する立方体にゼロの値を与えることができて、それらを無視し、結果として、要求される処理を大幅に減少させることができる。
いくつかの実施形態では、立方体のサイズを（例えば、３Ｄオブジェクトのサイズと比較して、および／または１／６４の立方体サイズ、６４×６４×６４に）設定し、立方体ごとに入力データ（例えば、ＣＴデータ）をチェックすることによって、ツリー構造が作成され、立方体中の入力データ（例えば、ＣＴデータ）が閾値より大きい値を有さなければ、いくつかの実施形態は、立方体を興味なしとマーク付けできる（例えば、ゼロの値またはデータを表さないその他の所定の値を立方体に与える）。興味なしとマーク付けされた（例えば、データを含まない）立方体は、さらなる処理では無視できて、例えば、ツリー構造から出される。
立方体中で閾値より大きい値が見つかれば、いくつかの実施形態は、立方体を興味ありとマークを付けできる（例えば、１の値またはデータを表すその他の所定の値を立方体に与える）。興味ありとマーク付けされた（例えば、データを含んだ）立方体をツリー構造に挿入し、または含めることができる。いくつかの実施形態では、ツリー構造に基づいて、例えば、興味ありとマーク付けされた立方体に基づいてメッシュを作成できる。
本方法は、存在値を有するボクセルグリッド中の立方体ごとに、対応する３Ｄオブジェクトに基づいて対応する３Ｄ立方体ボリュームをレンダリングするステップも伴うことができる（ステップ５２０）。例えば、ボリューム中の立方体がデータ（例えば、骨または血管のようなオブジェクトを示すか、またはそれらに対応するＲＧＢＡ値）を含むならば、そのときには立方体のデータに基づいて２Ｄフレーム中で立方体を表すピクセルの値を決定できる。いくつかの実施形態では、興味ありとマーク付けされた立方体を含むツリーをＣＰＵによって、例えば、コントローラ１０５によって作成できる。いくつかの実施形態では、ツリーを専用ハードウェアユニットによって、例えば、グラフィックス処理ユニット（ＧＰＵ）によって作成できる。
例えば、いくつかの実施形態では、ボクセルグリッドをＧＰＵが定義できて、例えば、ＧＰＵのメモリ中の６４×６４×６４ボクセルに基づいて、ポイントの各々に立方体を有する（各々が３Ｄ位置および３Ｄサイズを有する）ボクセルグリッドを生成できる。ＧＰＵを用いて図５の方法を実装すると、ＣＰＵと比較して速度を増加できることに留意されたい。
記載されるようなデータをもつ（および／またはもたない）立方体を実施形態が検索できる３Ｄスペースのサイズは、ユーザによって定義できる。例えば、記載されるような６４×６４×２５６サイズのボリュームではなく、ユーザによってその他のサイズを選択できる。任意のサンプリング速度、ステップまたは解像度を用いることができて、例えば、ＧＰＵ中で立方体を解析するために用いられる８×８×８個の立方体の代わりに、例えば、性能を高めるために１６×１６×１６個の立方体を用いることができる。
図６は、本発明のいくつかの実施形態による、ボリューム、最適化されたツリーおよびフレームのスクリーンショットを示す。スクリーンショット６１０によって示されるように、ボリュームは、単一の立方体で表すことができる。スクリーンショット６２０によって示されるように、ボリュームをより小さい立方体に分けることができる。例えば、全ボリュームまたはボリューム全体に対して１つの立方体を用いる代わりに、いくつかの実施形態は、ボリュームを、場合によっては同じサイズをもつ、より小さい立方体に分けることができる。立方体の色は、ボリューム中の区域がデータを含むか否かに基づくことができる。スクリーンショット６３０は、記載されるようなツリーを用いて作成されたレンダリングされたボリュームの例を示す。
当業者には明らかなように、ボリュームレンダリングは、物質分類、ツリー最適化およびインクリメンタルなレイキャスティングを行う任意の組み合わせを含むことができる。
本出願の記載および請求項において、「備える（ｃｏｍｐｒｉｓｅ）」、「含む（ｉｎｃｌｕｄｅ）」および「有する（ｈａｖｅ）」の各々の動詞、ならびにそれらの活用形は、動詞の１つまたは複数の目的語が、動詞の１つまたは複数の主語の成分、要素もしくは部分の必ずしも完全なリスティングではないことを示すために用いられる。別に明記されない限り、本開示の実施形態の１つまたは複数の特徴に特有の状態または関係を修飾する「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」および「約（ａｂｏｕｔ）」のような形容詞は、記載されるような実施形態の動作にとって受入れ可能な許容範囲内でその状態または特性が定義されることを意味すると理解される。加えて、単語「または（ｏｒ）」は、排他的ｏｒではなく、むしろ包含的「ｏｒ」であると見做されて、それが結合する項目の少なくとも１つまたは任意の組み合わせを示す。
本出願における発明の実施形態の記載は、例として提供され、本開示の範囲を限定することは意図されない。記載される実施形態は、そのすべてがすべての実施形態に必要とされるわけではない、異なる特徴を備える。いくつかの実施形態は、特徴のいくつかのみ、または特徴の可能な組み合わせを利用する。記載される本発明の実施形態の変形例および記載される実施形態に記される特徴の異なる組み合わせを備える実施形態が当業者には想起されるであろう。本発明の範囲は、特許請求の範囲によってのみ限定される。
明示的に述べられない限り、本明細書に記載される方法の実施形態は、特定の時間順または時系列には制約されない。加えて、記載された方法の要素のいくつかを省略することができ、または方法の動作のシーケンス中にそれらを繰り返すことができる。
本発明のいくつかの特徴が本明細書に図示され、記載されたが、多くの修正、置換、変更、および均等物が当業者には想起できるであろう。それゆえに、理解されるべきは、添付される特許請求の範囲が本発明の真の趣旨の範囲内にあるすべてのかかる修正および変更に及ぶことが意図されることである。
様々な実施形態が提示された。これらの実施形態の各々が、もちろん、提示される他の実施形態からの特徴を含むことができ、具体的には記載されない実施形態が本明細書に記載される様々な特徴を含むことができる。

Claims (22)

  1. ３次元（３Ｄ）イメージデータをボリュームレンダリングするための方法であって、前記方法は、
    前記３Ｄイメージングデータ中のボクセルごとに、物質分類を決定するステップと、
    物質分類ごとに対応する伝達関数を決定して、
    前記３Ｄイメージングデータ中の各ボクセルを前記ボクセルに対応する前記物質分類に対応する伝達関数に基づいてレンダリングするステップと、
    を含む、方法。
  2. 前記物質分類を決定するステップは、
    初期物質分類を決定するステップと、
    前記３Ｄイメージングデータをセグメント化するステップと、
    前記初期物質分類および前記セグメント化された３Ｄイメージングデータに基づいて前記物質分類を決定するステップと、
    をさらに含む、請求項１に記載の方法。
  3. 初期物質分類値を決定するステップは、それぞれのボクセルのＨＵ値に基づく、請求項２に記載の方法。
  4. 初期物質分類値を決定するステップは、確率マップに基づく、請求項２に記載の方法。
  5. 前記セグメント化するステップは、各ボクセルの勾配の大きさに基づく、請求項２に記載の方法。
  6. 前記３Ｄイメージングデータをセグメント化するステップは、前記３Ｄイメージングデータのすべてまたは一部分を膨張、侵食、オープンおよび／またはクローズするステップをさらに含む、請求項２に記載の方法。
  7. 前記物質分類を決定するステップは、前記セグメント化された３Ｄイメージングデータ間の交差を決定するステップをさらに含む、請求項２に記載の方法。
  8. 前記対応する伝達関数を決定するステップは、ＨＵ値にさらに基づく、請求項１に記載の方法。
  9. コンピュータに以下の方法を行わせるためのプログラム命令を含む非一時的コンピュータ可読媒体であって、前記方法は、
    ３Ｄイメージングデータ中のボクセルごとに、物質分類を決定するステップと、
    物質分類ごとに対応する伝達関数を決定して、
    前記３Ｄイメージングデータ中の各ボクセルを前記ボクセルに対応する前記物質分類に対応する伝達関数に基づいてレンダリングするステップと、
    を含む、非一時的コンピュータ可読媒体。
  10. ３次元（「３Ｄ」）オブジェクトをボリュームレンダリングするための方法であって、前記方法は、
    第１の中間フレームを作り出すために前記３Ｄオブジェクト上で第１のレイキャスティングを行うステップであって、前記第１のレイキャスティングは、第１の開始位置および第１のステップサイズを有する、ステップと、
    第２の中間フレームを作り出すために前記３Ｄオブジェクト上で第２のレイキャスティングを行うステップであって、前記第２のレイキャスティングは、第２の開始位置および第２のステップサイズを有し、前記第１の開始位置と前記第２の開始位置とは異なり、前記第１のステップサイズと前記第２のステップサイズとは異なる、ステップと、
    前記３Ｄオブジェクトをレンダリングするために前記第１の中間フレームおよび前記第２の中間フレームをミキシングするステップと、
    を含む、方法。
  11. 前記第１のステップサイズは、前記レイキャスティングのサンプリング速度に基づく、請求項１０に記載の方法。
  12. 前記第２のステップサイズは、前記第１のステップサイズおよびオフセットに基づく、請求項１０に記載の方法。
  13. ミキシングするステップは、
    同じピクセルロケーションにある前記第１の中間フレームおよび前記第２の中間フレーム中のピクセルごとに、前記ピクセルロケーションにおける最終ピクセル値を決定するために、前記ピクセルロケーションにおいて前記第１の中間フレーム値および前記第２の中間フレーム値をミキシングするステップをさらに含む、
    請求項１０に記載の方法。
  14. 前記ピクセルロケーションにおいて前記第１の中間フレーム値および前記第２の中間フレーム値をミキシングするステップは、前記第１の中間フレーム値および前記第２の中間フレーム値を平均するステップと、前記第１の中間フレーム値および前記第２の中間フレーム値の加重平均化、累積平均化、またはそれらの任意の組み合わせを行うステップと、をさらに含む、請求項１０に記載の方法。
  15. 前記第２の開始位置は、オフセット値を伴う前記第１の開始位置である、請求項１０に記載の方法。
  16. 前記オフセット値は、ランダムに生成されるか、ユーザによって入力されるか、またはそれらの任意の組み合わせである、請求項１５に記載の方法。
  17. コンピュータに以下の方法を行わせるためのプログラム命令を含む非一時的コンピュータ可読媒体であって、前記方法は、
    第１の中間フレームを作り出すために３Ｄオブジェクト上で第１のレイキャスティングを行うステップであって、前記第１のレイキャスティングは、第１の開始位置および第１のステップサイズを有する、ステップと、
    第２の中間フレームを作り出すために前記３Ｄオブジェクト上で第２のレイキャスティングを行うステップであって、前記第２のレイキャスティングは、第２の開始位置、第２のステップサイズを有し、前記第１の開始位置と前記第２の開始位置とは異なり、前記第１のステップサイズと前記第２のステップサイズとは異なる、ステップと、
    前記３Ｄオブジェクトをレンダリングするために前記第１の中間フレームおよび前記第２の中間フレームをミキシングするステップと、
    を含む、非一時的コンピュータ可読媒体。
  18. ３次元（３Ｄ）イメージデータをボリュームレンダリングするための方法であって、前記方法は、
    前記３Ｄオブジェクトに基づいてボクセルグリッドを生成するステップであって、前記ボクセルグリッド中の各ボクセルは、３次元ロケーション、サイズ指定およびボクセル値を有し、前記ボクセルグリッド中の各ボクセルは、それぞれのサイズ指定を有する３Ｄ立方体ボリュームの中心ポイントを表す、ステップ、
    を含み、
    前記ボクセルグリッド中のボクセルごとに、
    ｉ）前記３Ｄ立方体ボリュームが空であるかどうかを判定し、
    ｉｉ）前記３Ｄ立方体ボリュームが空であれば、前記ボクセルグリッド中の現在のボクセルに空の値を割り当て、そうでない場合には前記ボクセルグリッド中の現在のボクセルに存在値を割り当て、
    存在値を有する前記ボクセルグリッド中のボクセルごとに、対応する前記３Ｄオブジェクトに基づく対応する前記３Ｄ立方体ボリュームを２Ｄスクリーン上の表示のためのフレームへレンダリングする、
    方法。
  19. 前記サイズ指定は、ユーザによって入力されるか、前記３Ｄオブジェクトのタイプ、前記３Ｄオブジェクトのサイズまたはそれらの任意の組み合わせに基づく、請求項１８に記載の方法。
  20. 前記ボクセルグリッドを前記存在値および空の値に基づいて前記２Ｄスクリーン上の表示のためのフレームへレンダリングするステップをさらに含む、請求項１８に記載の方法。
  21. 前記レンダリングは、グラフィック処理ユニット上で行われる、請求項１８に記載の方法。
  22. コンピュータに以下の方法を行わせるためのプログラム命令を含む非一時的コンピュータ可読媒体であって、前記方法は、
    前記３Ｄオブジェクトに基づいてボクセルグリッドを生成するステップであって、前記ボクセルグリッド中の各ボクセルは、３次元ロケーション、サイズ指定およびボクセル値を有し、前記ボクセルグリッド中の各ボクセルは、それぞれのサイズ指定を有する３Ｄ立方体ボリュームの中心ポイントを表す、ステップ、
    を含み、
    前記ボクセルグリッド中のボクセルごとに、
    ｉｉｉ）前記３Ｄ立方体ボリュームが空であるかどうかを判定し、
    ｉｖ）前記３Ｄ立方体ボリュームが空であれば、前記ボクセルグリッド中の現在のボクセルに空の値を割り当て、そうでない場合には前記ボクセルグリッド中の現在のボクセルに存在値を割り当て、
    存在値を有する前記ボクセルグリッド中のボクセルごとに、対応する前記３Ｄオブジェクトに基づく対応する前記３Ｄ立方体ボリュームを２Ｄスクリーン上の表示のためのフレームへレンダリングする、
    非一時的コンピュータ可読媒体。
JP2019547572A 2016-11-23 2017-09-21 複雑なデータのリアルタイムレンダリングのためのシステムおよび方法 Active JP7039607B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021203590A JP7324268B2 (ja) 2016-11-23 2021-12-15 複雑なデータのリアルタイムレンダリングのためのシステムおよび方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/360,326 US10726608B2 (en) 2016-11-23 2016-11-23 System and method for real-time rendering of complex data
US15/360,326 2016-11-23
PCT/US2017/052692 WO2018097881A1 (en) 2016-11-23 2017-09-21 System and method for real-time rendering of complex data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021203590A Division JP7324268B2 (ja) 2016-11-23 2021-12-15 複雑なデータのリアルタイムレンダリングのためのシステムおよび方法

Publications (3)

Publication Number Publication Date
JP2020503628A true JP2020503628A (ja) 2020-01-30
JP2020503628A5 JP2020503628A5 (ja) 2020-11-05
JP7039607B2 JP7039607B2 (ja) 2022-03-22

Family

ID=62147169

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019547572A Active JP7039607B2 (ja) 2016-11-23 2017-09-21 複雑なデータのリアルタイムレンダリングのためのシステムおよび方法
JP2021203590A Active JP7324268B2 (ja) 2016-11-23 2021-12-15 複雑なデータのリアルタイムレンダリングのためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021203590A Active JP7324268B2 (ja) 2016-11-23 2021-12-15 複雑なデータのリアルタイムレンダリングのためのシステムおよび方法

Country Status (5)

Country Link
US (2) US10726608B2 (ja)
EP (1) EP3545499A4 (ja)
JP (2) JP7039607B2 (ja)
CN (2) CN117422812A (ja)
WO (1) WO2018097881A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586400B2 (en) * 2018-02-23 2020-03-10 Robert E Douglas Processing 3D medical images to enhance visualization
EP3669331A4 (en) * 2017-12-20 2021-04-07 Hewlett-Packard Development Company, L.P. FEATURE PROTECTION FOR THREE-DIMENSIONAL PRINTING
JP2020040219A (ja) * 2018-09-06 2020-03-19 富士ゼロックス株式会社 三次元形状データの生成装置、三次元造形装置、及び三次元形状データの生成プログラム
US11636650B2 (en) * 2018-09-24 2023-04-25 K2M, Inc. System and method for isolating anatomical features in computerized tomography data
US11010931B2 (en) * 2018-10-02 2021-05-18 Tencent America LLC Method and apparatus for video coding
US10964095B1 (en) * 2020-04-07 2021-03-30 Robert Edwin Douglas Method and apparatus for tandem volume rendering
CN111068313B (zh) * 2019-12-05 2021-02-19 腾讯科技（深圳）有限公司 一种应用中的场景更新控制方法、装置及存储介质
CN111144449B (zh) * 2019-12-10 2024-01-19 东软集团股份有限公司 图像处理方法、装置、存储介质及电子设备
CN111070664B (zh) * 2019-12-30 2022-03-04 上海联影医疗科技股份有限公司 一种3d打印切片生成方法、装置、设备和存储介质
US11151771B1 (en) 2020-05-07 2021-10-19 Canon Medical Systems Corporation Image data processing method and apparatus
EP4002288A1 (en) * 2020-11-12 2022-05-25 Koninklijke Philips N.V. Methods and systems for rendering representations of subject vasculature
CN112597662B (zh) * 2020-12-30 2024-05-14 博锐尚格科技股份有限公司 一种建筑模型正误校验方法和系统
CN115953372B (zh) * 2022-12-23 2024-03-19 北京纳通医用机器人科技有限公司 骨骼磨削图像显示方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005506140A (ja) * 2001-10-16 2005-03-03 ザ・ユニバーシティー・オブ・シカゴ コンピュータ支援の３次元病変検出方法
JP2008018016A (ja) * 2006-07-12 2008-01-31 Toshiba Corp 医用画像処理装置及び医用画像処理方法
JP2009160306A (ja) * 2008-01-09 2009-07-23 Ziosoft Inc 画像表示装置、画像表示装置の制御方法、および画像表示装置の制御プログラム
JP2015029860A (ja) * 2013-08-06 2015-02-16 株式会社東芝 画像処理装置および医用画像診断装置
JP2016013438A (ja) * 2014-07-01 2016-01-28 株式会社東芝 医用画像処理装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002504729A (ja) * 1998-02-23 2002-02-12 アルゴテック システムズ リミテッド レイキャスティングシステムおよび方法
US7085406B2 (en) * 2001-07-27 2006-08-01 General Electric Company Method and system for unsupervised transfer function generation for images of rendered volumes
KR100450823B1 (ko) * 2001-11-27 2004-10-01 삼성전자주식회사 깊이 이미지 기반 3차원 물체의 표현을 위한 노드 구조
US20050043835A1 (en) 2002-09-30 2005-02-24 Medical Modeling Llc Method for design and production of custom-fit prosthesis
DE102004036726A1 (de) * 2004-07-29 2006-03-16 Siemens Ag Verfahren und Vorrichtung zur Visualisierung von Ablagerungen in Blutgefäßen, insbesondere in Herzkranzgefäßen
US7755625B2 (en) * 2005-05-04 2010-07-13 Medison Co., Ltd. Apparatus and method for rendering volume data
US7532214B2 (en) * 2005-05-25 2009-05-12 Spectra Ab Automated medical image visualization using volume rendering with local histograms
US20070165917A1 (en) 2005-11-26 2007-07-19 Zhujiang Cao Fully automatic vessel tree segmentation
US20070297560A1 (en) * 2006-03-03 2007-12-27 Telesecurity Sciences, Inc. Method and system for electronic unpacking of baggage and cargo
US7660461B2 (en) 2006-04-21 2010-02-09 Sectra Ab Automated histogram characterization of data sets for image visualization using alpha-histograms
US8294706B2 (en) * 2006-08-03 2012-10-23 Siemens Medical Solutions Usa, Inc. Volume rendering using N-pass sampling
WO2011091378A1 (en) * 2010-01-22 2011-07-28 The Research Foundation Of The State University Of New York System and method for prostate visualization and cancer detection
US20110227934A1 (en) * 2010-03-19 2011-09-22 Microsoft Corporation Architecture for Volume Rendering
US9401047B2 (en) * 2010-04-15 2016-07-26 Siemens Medical Solutions, Usa, Inc. Enhanced visualization of medical image data
US8379955B2 (en) * 2010-11-27 2013-02-19 Intrinsic Medical Imaging, LLC Visualizing a 3D volume dataset of an image at any position or orientation from within or outside
US8754888B2 (en) 2011-05-16 2014-06-17 General Electric Company Systems and methods for segmenting three dimensional image volumes
US9245208B2 (en) * 2011-08-11 2016-01-26 The Regents Of The University Of Michigan Patient modeling from multispectral input image volumes
EP2815381B1 (en) 2012-02-17 2016-09-07 Advanced MR Analytics AB Method of classification of organs from a tomographic image
US9218524B2 (en) 2012-12-06 2015-12-22 Siemens Product Lifecycle Management Software Inc. Automatic spatial context based multi-object segmentation in 3D images
US9363501B2 (en) * 2013-07-18 2016-06-07 A. Tron3D Gmbh Combining depth-maps from different acquisition methods
US9582923B2 (en) 2013-11-20 2017-02-28 Fovia, Inc. Volume rendering color mapping on polygonal objects for 3-D printing
EP2886043A1 (de) * 2013-12-23 2015-06-24 a.tron3d GmbH Verfahren zum Fortsetzen von Aufnahmen zum Erfassen von dreidimensionalen Geometrien von Objekten
US20150320507A1 (en) * 2014-05-09 2015-11-12 Siemens Aktiengesellschaft Path creation using medical imaging for planning device insertion
CN105785462B (zh) * 2014-06-25 2019-02-22 同方威视技术股份有限公司 一种定位三维ct图像中的目标的方法和安检ct系统
US10004403B2 (en) 2014-08-28 2018-06-26 Mela Sciences, Inc. Three dimensional tissue imaging system and method
US9704290B2 (en) * 2014-09-30 2017-07-11 Lucasfilm Entertainment Company Ltd. Deep image identifiers
US9964499B2 (en) 2014-11-04 2018-05-08 Toshiba Medical Systems Corporation Method of, and apparatus for, material classification in multi-energy image data
US9552663B2 (en) 2014-11-19 2017-01-24 Contextvision Ab Method and system for volume rendering of medical images
EP3035290B1 (de) 2014-12-17 2019-01-30 Siemens Healthcare GmbH Verfahren zur Erzeugung eines Anzeigedatensatzes durch Volumenrendern, Recheneinrichtung und Computerprogramm
US9697603B2 (en) * 2014-12-19 2017-07-04 Toshiba Medical Systems Corporation Medical image data processing system and method for vessel segmentation using pre- and post-contrast data
JP5957109B1 (ja) * 2015-02-20 2016-07-27 株式会社日立製作所 超音波診断装置
EP3106096B1 (en) * 2015-06-12 2020-02-19 Samsung Medison Co., Ltd. Method and apparatus for displaying ultrasound images
WO2016202973A1 (en) * 2015-06-19 2016-12-22 Koninklijke Philips N.V. Selecting transfer functions for displaying medical images
US9799135B2 (en) * 2015-09-01 2017-10-24 Siemens Healthcare Gmbh Semantic cinematic volume rendering
US10282888B2 (en) * 2016-01-28 2019-05-07 Biosense Webster (Israel) Ltd. High definition coloring of heart chambers
US10121277B2 (en) * 2016-06-20 2018-11-06 Intel Corporation Progressively refined volume ray tracing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005506140A (ja) * 2001-10-16 2005-03-03 ザ・ユニバーシティー・オブ・シカゴ コンピュータ支援の３次元病変検出方法
JP2008018016A (ja) * 2006-07-12 2008-01-31 Toshiba Corp 医用画像処理装置及び医用画像処理方法
JP2009160306A (ja) * 2008-01-09 2009-07-23 Ziosoft Inc 画像表示装置、画像表示装置の制御方法、および画像表示装置の制御プログラム
JP2015029860A (ja) * 2013-08-06 2015-02-16 株式会社東芝 画像処理装置および医用画像診断装置
JP2016013438A (ja) * 2014-07-01 2016-01-28 株式会社東芝 医用画像処理装置

Also Published As

Publication number Publication date
US20180144539A1 (en) 2018-05-24
CN110249367B (zh) 2023-11-07
EP3545499A4 (en) 2020-06-17
CN110249367A (zh) 2019-09-17
JP7039607B2 (ja) 2022-03-22
WO2018097881A1 (en) 2018-05-31
EP3545499A1 (en) 2019-10-02
JP7324268B2 (ja) 2023-08-09
CN117422812A (zh) 2024-01-19
US10726608B2 (en) 2020-07-28
US20200265632A1 (en) 2020-08-20
JP2022043168A (ja) 2022-03-15

Similar Documents

Publication Publication Date Title
JP7324268B2 (ja) 複雑なデータのリアルタイムレンダリングのためのシステムおよび方法
EP3545500B1 (en) System and method for rendering complex data in a virtual reality or augmented reality environment
JP6877868B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
EP3493161B1 (en) Transfer function determination in medical imaging
Morgan et al. Convolutional neural network for automatic maxillary sinus segmentation on cone-beam computed tomographic images
US7924279B2 (en) Protocol-based volume visualization
US12073528B2 (en) System and method for segmentation and visualization of medical image data
US9224236B2 (en) Interactive changing of the depiction of an object displayed using volume rendering
JP2020501954A (ja) 三次元印刷指向の画像区分化のための方法およびシステム
NL2019905B1 (en) Systems and methods for segmenting images
Udupa 3D imaging: principles and approaches
EP3989172A1 (en) Method for use in generating a computer-based visualization of 3d medical image data
JP2010538729A (ja) 経路近傍レンダリング
US20100265252A1 (en) Rendering using multiple intensity redistribution functions
Preim et al. Visualization, Visual Analytics and Virtual Reality in Medicine: State-of-the-art Techniques and Applications
Singh et al. A Narrative Review on 3D Visualization Techniques in Neurosurgical Education, Simulation and Planning
Tory et al. Visualization of time-varying MRI data for MS lesion analysis
Paulo et al. 3D Reconstruction from CT Images Using Free Software Tools
CN112541882B (en) Implicit surface coloring in medical volume rendering
JP2024140470A (ja) 画像処理装置、画像処理方法、画像処理プログラム、学習装置、学習方法、及び学習プログラム
CN112541882A (zh) 医学体积渲染中的隐式表面着色
JP2023161110A (ja) 画像識別プログラム、画像識別方法、画像識別装置および情報処理システム
Lindholm Medical Volume Visualization Beyond Single Voxel Values

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200916

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220309

R150 Certificate of patent or registration of utility model

Ref document number: 7039607

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150