JP2014500774A - ボリュームデータセットを可視化する方法及びシステム - Google Patents

ボリュームデータセットを可視化する方法及びシステム Download PDF

Info

Publication number
JP2014500774A
JP2014500774A JP2013540960A JP2013540960A JP2014500774A JP 2014500774 A JP2014500774 A JP 2014500774A JP 2013540960 A JP2013540960 A JP 2013540960A JP 2013540960 A JP2013540960 A JP 2013540960A JP 2014500774 A JP2014500774 A JP 2014500774A
Authority
JP
Japan
Prior art keywords
data set
image
volume data
rendered
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013540960A
Other languages
English (en)
Other versions
JP5976003B2 (ja
Inventor
マッケンジー、リー、アール.
マッケンジー、マーク、シー.
Original Assignee
イントリンシック メディカル イメージング、インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イントリンシック メディカル イメージング、インコーポレイテッド filed Critical イントリンシック メディカル イメージング、インコーポレイテッド
Publication of JP2014500774A publication Critical patent/JP2014500774A/ja
Application granted granted Critical
Publication of JP5976003B2 publication Critical patent/JP5976003B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

レンダリングされているボリュームデータセットに対して、使用者が如何なる空間位置にもナビゲートでき、そして如何なる方向にも見ることができる、マシンが実行する表示方法。好ましくは、ボリュームデータセットは、コンピュータ断層撮影(CT)又は磁気共鳴映像法(MRI)スキャンに由来する。記述されたアプローチを用いて、使用者は、従来の可視化アプローチを用いては入手できない、データセット内の詳細を見ることができる。運動の自由度と言う能力によって、使用者は、ボリューム内の場所(位置)に行くことができ、さもなければ従来の「軌道」及び「ズーム」表示技術を用いて可能でないものをレンダリングする。このように、例えば、記述されたアプローチを用いて、表示画像によって、使用者は、物理的構造(例えば、患者の心臓、脳、動脈など)の内部を移動することが可能になる。

Description

この出願は、2010年11月27日に出願された出願番号No.12/954、856に基づき、そしてその優先権を請求する。
本発明は、一般的に、医用画像に関する。
医用画像は、臨床目的(病気を明らかにし、診断し又は調べることを求める医用手順)、又は(通常な解剖学及び生理学の研究を含む)医用科学のために、人体又はその部分の画像を生み出すために使用される技術である。コンピュータ断層撮影法(CT)及び磁気共鳴映像法(MRI)は最も普通のアプローチの二つである。これらの技術によって、「ボリュームデータセット」として3D可視化において表示できる個々の2D画像のセットが生じる。しかしながら、一般的に、3D可視化の程度は「軌道周回」及び「ズーミング」に限られる。「軌道」モードにおいて、レンダリングされている対象物の眺めは、見る人が如何なる角度からも見られる対象物のまわりを動き得るが、対象物内の位置から「外」を見ることができないという点で、旋回している人工衛星のようである。ズーム操作によって、見る人には対象物についての追加の有用な詳細が供される;しかしながら、ズーミングは、見る人がボリュームの表面又は内部に下へ移動することを可能にしない。従って、軌道及びズームプローチは、ボリューム医用データセットをレンダリング及び見るための限られた適応性を有する。
開示された主題は、レンダリングされているボリュームデータセットに対して、使用者が如何なる空間位置にもナビゲートでき、そして如何なる方向にも見ることができる、マシンが実行する(machine‐implemented)表示方法を供する。好ましくは、ボリュームデータセットはコンピュータ断層撮影又は磁気共鳴映像法スキャンに由来する。記述されたアプローチを用いて、使用者は、従来の可視化方法を用いては入手できない、データセット内の詳細を見ることができる。動きが自由と言う能力(freedom‐of motion capabilityによって、使用者は、従来の「軌道」及び「ズーム」表示技術を用いては不可能であるボリュームレンダリング内の場所(位置)に行くことができる。このように、例えば、記述されたアプローチを用いて、表示画像によって、使用者は、物理的構造(例えば、患者の心臓、脳、動脈など)の内部を移動することが可能になる。
一つの実施形態において、レンダリング方法は、ディスプレイを含むコンピュータのようなマシン上で実行される。マシンはCT又はMRIスキャンによって生み出されるボリュームデータセットを受信する。典型的に、データセットは、個々の2D画像のセットを含むデジタルデータのセットである。ボリュームデータセットの画像は、毎秒、所定の数のフレームでディスプレイ上にレンダリングされ、ここで、画像の各フレームは、均一であるピクセルを有する。本技術によれば、(表示速度で表示されているフレームのセット内)の如何なるフレームも、別のフレームのそれと異なる解像度を有し得る。この概念は本明細書において、連続実時間動的レンダリング解像度と称される。更に、所与のフレーム内の如何なるピクセルも、フレーム中の別のピクセルのそれとは異なる点で、眺め内に前方に向かって放たれた光線を横切り得る。この後者の概念は、本明細書において、ボリュームデータセット内の光線追跡のためのピクセル当たりの連続動的サンプリング距離と称される。このように、本明細書におけるレンダリング方法によれば、画像シーケンスの少なくとも二つのフレームは、互いに対して変化する解像度を有し、そして特定のフレーム内の少なくとも二つのピクセルは、互いにに対して変化する数の光線追跡ステップを有する。ボリュームデータセットがこのようにしてレンダリングされるとき、見る人は3D可視化内で如何なる位置及び向きにもナビゲートできる。
この開示の別の態様によれば、マシンは、如何なる空間点からもそして如何なる方向においても、実時間表示フレーム更新速度で、表示対象物の表示モニタ上へのレンダリングを助けるために、入力デバイス(例えば、ポインティングデバイス、キーボードなど)を用いて使用者が制御できる「仮想カメラ」を使用者に供する。上述の通り、好ましくは、ボリュームデータセットは動的レンダリング解像度及び光線追跡のためのピクセル当たりの動的サンプリング距離の両方を用いてレンダリングされる。このレンダリング法によって使用者は、レンダリングされた画像に応じて、画像の内部又は外部の如何なる点からも仮想カメラを動かしそして回転させることが可能になる。
先に述べたことは、本発明のより適切な機能の幾つかを概括した。これらの機能は単なる説明的なものと考えられるべきである。多くの他の便益ある結果が、開示された発明を異なる方法で適用することによって、又はこれから述べられるであろう通り、本発明を改良することによって達成できる。
本発明及びその有利な点のより完全な理解のために、ここで、添付図と関連して以下の記述が参照され、ここで:
医用画像システムに連結されたコンピュータシステムを図示する; ボリュームデータセットをレンダリングし、そしてその回りに「軌道周回する」ための公知技術を図示する; 仮想カメラを用いて最終画像を生み出すために如何に光線追跡が使用されるかを図示する; データセットの外部又は内部の如何なる位置からもボリュームデータセットをレンダリングしそして見るためのこの開示の技術を図示する; この開示の動的レンダリング解像度技術を図示する; 公知の固定ステップ光線追跡技術を図示する; この開示の動的レンダリング解像度技術を図示する; 組織が置かれる領域において、光線に沿って如何にステップ数が変わるかを示す動的ステッピングアプローチを図示する; 図8の動的ステッピングアプローチを示す別の図である;及び 開示された可視化法が実行され得るマシンである。
図1において図示された通り、本明細書における主題が実行されるシステム100は、表示モニタ108を有するコンピュータシステム102及び、キーボード、ポインティングデバイスなどのような、一つ又はそれ以上の入力デバイス110を含む。コンピュータシステム102はデスクトップ型のワークステーションとして図示されるが、これに限るものではない、何故なら、システムはラップトップ又はノートブックコンピュータ、(iPadのような)ワイヤレスコンピューティングデバイス、(アプリケーション支援を備えたスマートフォンを含む)移動携帯デバイス、又はディスプレイを含む如何なる他のコンピューティングマシンにおいても実行され得るからである。この開示の技術は、如何なる特定のタイプのコンピューティングデバイス、システム又は構成にも限定されるものではなく、そしてマシンの一つ又はそれ以上のエレメントは異なる場所にも置かれ得る。このように、例えば、ディスプレイモニタは、他のコンポーネントから離れて位置付けられ得る。図解の便宜のためのみに、コンピュータシステム102は支持体104に関連する一対の撮像デバイス106からの入力を受信するものとして示される。支持体104は、スキャンされている対象物の個々の2D画像のセットを生み出すために、撮像デバイス106に対して回転又は往復動する。典型的に、支持体104は、位置又は回転速度を制御する、関連する機械エレメント、油圧エレメント及び/又は電子エレメント(示されていない)を有する。支持体はコンピュータの管理下にあり得る。同様に、一つ又はそれ以上の撮像デバイス106は、デバイスの位置及び操作を制御する、関連の光学エレメント、機械エレメント及び/又は他の制御エレメントを含む。典型的に、撮像されるべき対象物(例えば、人体又はそのある部分)は支持体104上に置かれる。支持体は固定され得て、この場合、撮像デバイス106はそれに対して回転し又は往復動する。当業者は、支持体104及び撮像デバイス106がコンピュータ断層撮影(CT)、磁気共鳴映像法(MRI)等のような従来の医用画像システムを表し得ると理解するであろう。本明細書における技術は、如何にデータセットが生み出されるかに関わらず、他のデジタルデータの3D可視化を生み出すために使用され得る。典型的に、そのような画像システムは、本明細書における技術がそのような公知の画像システム内で本質的に実行され得るものの、この開示のディスプレイシステム及び方法の外側にある。特定のスキャンを含む2D画像は、典型的には、標準デジタルデータ様式(例えば、DICOM)に従い、そして、例えば、CD、DVD、USBスティック、ハードドライブ、ネットワークドライブ、PACS(医療用CTライブラリ)などのような如何なる便利な方法においても、コンピュータシステム102によって受信される。コンピュータシステム102はネットワークアクセスが可能であり得て、その場合、ボリュームデータセットを含むデジタルデータは、インターネットプロトコール(IP)ベースのネットワーク、有線ネットワーク、無線ネットワーク、それらの組合せなどのような通信ネトワークによって受信され得る。
上述の通り、この開示は、好ましくは、図1において示されたようなワークステーションのようなコンピュータにおいて実行される表示方法を提供する。より一般的には、方法は、発明の機能を助ける又は提供する、一つ又はそれ以上のコンピュータ関連の実体(entities)(システム、マシン、プロセス、プログラム、ライブラリ、機能、コードなど)を用いて実行される。限定するものではないが、代表的な実施において、本明細書において述べられた表示方法は、如何なるIntel又はAMDベースのチップ、(少なくとも1GB)RAMのようなコンピュータメモリ、(少なくとも8GB)ハードドライブ、及び(好ましくは24〜48×)のCDドライブのようなCPU(中央処理装置)を含むマシンにおいて実行される。マシンソフトウエアには、オペラーティングシステム(例えば、32ビット又は64ビットの何れかの、Windows(登録商標)XP、Windows(登録商標)Vista、Windows(登録商標)7、如何なるApple OS)及び一般的支援アプリケーションが含まれる。もし、プロセスがグラフィックプロセッサにおいて実行されるならば、好ましくは、マシンは、AMD Radeonシリーズ4850又は(好ましくは、少なくともDirectX 9−規格及びPixel Shader 3.0−規格)同等物のようなグラフィック処理ユニット(GPU)を含む。
背景として、図2は、ボリュームデータセット200の可視化のための公知技術を図示する。ボリュームデータセットは、キューブ(3Dデータベース)を形成する2D画像のスタック又はアセンブリである。このアプローチにおいて、仮想カメラ202は、制約204に沿ってデータセットの回りを旋回し、その制約が図において円として示されるが、実際には三次元において球である。仮想カメラ202は位置、向き及び解像度を有する、マシンによって実行され、ソフトウエアによって生み出される構成体(construct)である。仮想カメラは、光線追跡によってディスプレイ速度で最終画像206をレンダリングする。図において、単一の仮想カメラが、軌道制約に沿った種々の位置で示される。各位置において、仮想カメラは、図3において図示された方法で最終画像を生み出す。光線追跡は、ピクセルのセットを含む最終画像を生み出すために、それによって光線のセットが仮想カメラからボリュームデータセット内に前方に放たれ、そしてその中の構造物(structures)で横切られるプロセスである。特に、空間における点に置かれた方向を備えた線である光線208は、最終画像における単一ピクセル210に対する最終値(明るさ又は色)に寄与する一つの横切る点又は複数の横切る点を見つけるために、シーン内で前方に放たれる。各「光線」はソフトウエアにおいて生み出され、そしてカメラから生み出される光をシミュレートする。仮想カメラは、所与のフレーム速度(つまり、「毎秒当たり」のフレーム)で(もう一度、仮想的に)「操作」される。このように、もしフレームが24であれば、仮想カメラは、画像シーケンスにおいて毎秒24個の明確なフレームを備えた最終画像206を生み出す。各フレームは多くの2Dピクセルを含む。特定のフレーム中のピクセルはそれらが同じサイズのものであるという点で均一である。ボリュームデータセットにおける如何なる個々のピクセルも、時々、ボクセルと称される。
図2において説明された「軌道」アプローチは、それが幾つかの基本的双方向性(interactivity)を供するものの、非常に限界がある。図4は、主題の開示のアプローチを図示し、ここでボリュームデータセット400は、如何なる位置制約もなしに最終画像406をディスプレイする仮想カメラ402を用いて、レンダリングされる。このアプローチにおいて、仮想カメラ402は、ボリュームデータセットの外部又は内部でさえも、如何なる位置にも動かされ得る。これらの内部位置の幾つかが図示される。この新規なアプローチにおいて、仮想カメラは(入力デバイスを用いて)ボリュームデータセットの内部で可動であり、そして見る人はその中にレンダリングされる内部構造物に沿って及びそれを通してナビゲートできる。このように、このアプローチによれば、そして従来技術と異なり、見る人は、ボリュームデータセット又はその如何なる部分もの内部又はその回りで完全に自由な動きを有する。この双方向性の程度によって、それが内部構造物のもっとより大きな詳細を供するので、著しく向上されたそして価値ある使用者の経験が供される。この技術によって、使用者はあらゆる位置及び可能な向きから非侵襲的に人体を探索することが可能になる。仮想カメラ(ひいては見る人)は、他の方法では見ることが阻止されているかもしれない組織を通過して動くができ、そしてカメラは、以前は達成できなかった体の内部からの眺めを提示できる。実際に、技術によって、見る人が同時に組織の複数のタイプを通して見ること、そして体の異なる部分の空間関係を調べることが可能になる。
開示された方法を助ける二つ(2)の技術がある:(i)連続実時間動的レンダリング解像度、及び(ii)ボリュームデータセットを光線追跡するためのピクセル当たりの連続動的サンプリング距離。これらの技術の各々がここで述べられる。
本明細書において使用される「解像度」は、特定のディスプレイフレームから描かれる映像(picture)(画像)に対して、水平又は垂直のピクセルの空間の数のことである。「レンダリングする」とは、それによって最終的な映像が開示された技術によって描かれるプロセスである。代表的実施形態において、レンダリングするとは、限られることはないが、光線追跡よって実行される。用語「動的」とは、各フレームで又は必要に応じて出力レンダリング解像度に対する変化のことである。用語「実時間」とは一般的に、24のような所定の値より大きな、毎秒当たりのフレーム更新速度のことである。用語「連続」とは、滑らかさを確保するべく、少ない量でのみ映像が変わることを確保するために各フレームで最終の映像に追加される又はそこから差し引かれるピクセルの数のことである。「連続実時間動的レンダリング解像度」機能によって、高解像度レンダリングを供するために、フレーム更新速度(好ましくは>毎秒24フレーム)で描かれる映像に対して、現在のフレーム速度と望まれるフレーム速度の間の違いに関係して、ピクセルの数が水平又は垂直に少量だけ変化する。この特徴は、それが、特に如何なる空間位置に対しても実時間フレーム速度を保証できない固定解像度に対して可能であるものより高いレンダリングの質を可能にする故に、便益がある。
動的レンダリング解像度は図5に図示される。この図は、ディスプレイされた画像のディスプレイフレームのセットの3(3)つの代表的な(ランダム)フレームを示す。各フレームは単一の最終画像を表し、そして(フレームのセットからの)最終画像のセットは、ある時点でディスプレイ上にレンダリングされたものとしてのディスプレイされた画像を表す。図示された通り、各フレーム中の各ピクセルは、この開示の「動的レンダリング解像度」機能によれば、解像度は特定のフレームを横切って変化できるものの、均一である。このように、この例において、フレーム1は16ピクセルを有し、フレーム26は256ピクセルを有し、そしてフレーム53は64ピクセルを有する。一般的に言うと、ボリュームデータセットの画像が、毎秒当たり所与のフレーム数でレンダリングされるとき、画像シーケンス中の少なくとも二つのフレームは変化する解像度を有する。
この動的レンダリング解像度機構は、好ましくは、以下のように達成される。主ディスプレイプロセシングループの内部で、そして最小の毎秒当たり「望まれる」フレームで、「現在の」フレーム速度と「望まれる」フレーム速度の間の違いがルーチンによって計算される。このフレーム速度の違いは、このフレームに対して解像度が如何に変わるかを決定するものである。違いが正のとき(つまり、望まれるフレーム速度が現在のフレーム速度より速いとき)、ディスプレイルーチンは次のフレームをレンダリングするために最終画像において、一つ小さいピクセル行又はピクセル列を交互に(又は各々の一つ小さいものを)使用する。この操作によってレンダリングアプリケーションが「スピードアップ」され、そして望まれるフレーム速度の達成が助けられる。もし、他方で、フレーム速度における違いが負のとき(つまり、望まれるフレーム速度が現在のフレーム速度より遅いとき)、ディスプレイルーチンは次のフレームをレンダリングするために最終画像において、一つ大きいピクセル行又はピクセル列を交互に(又は各々の一つ小さいものを)使用する。これによって、レンダリングの解像度ひいてはレンダリングされた画像の質が上がる。各フレームの最後で、ルーチンは、ピクセルの数における変化を説明する補間を用いて又は用いることなく、画像の大きさを変更してスクリーン解像度へと戻す。このプロセスによって、光線追跡が最終画像における放たれた光線の合計数に本質的に非常に依存している故に、レンダリングがスピードアップされる。もし、その数が減少されると、アプリケーションはスピードアップする。
動的レンダリング解像度に加えて、ここで述べられるように、この開示の表示方法は「光線追跡のためのピクセル当たりの連続動的サンプリング距離」と称されるアプローチを実行する。背景として、図6は、光線の長さに沿った、そこで(点で表された)前回の各サンプリング場所からの距離が同じである、「固定されたステップ」アプローチを図示する。この固定されたステップパターン600は、ボリュームデータセット自身の特性(例えば、CTスキャンにおける特定の交点での密度、又はMRIスキャンにおける特定の点での電子スピンの値、またはデータのタイプに依存するあるそのような値)を考慮しておらず、光線に沿った特定の均一な場所でサンプルを単純に生み出す。この固定されたステップアプローチは、満足がいく結果を生み出さない。この開示によれば、光線の長さに沿ったサンプリング距離は、各ピクセル内で動的に変わることが許される。好ましくは、データセットのサンプリング後(そして、特に、各サンプリングの後)、そしてデータセットに含まれる値に関連して、ステップが変わる。特に、この関連性の値は、好ましくは、現在のボクセルでの値(例えば、CTデータに対する密度))及び目標又は焦点の値(つまり、放射密度を述べるための標準単位である、750Housfield単位の密度)である。目標又は焦点の値は、使用者が構成でき得るか又はシステムが構成でき得る。更に、好ましくは、光線に沿って現在のステップに加えられる又はそこから差し引かれる距離は、光線がデータセットを通って横切るときの滑らかさを確保するために小さい。好ましい実施形態において、各光線(各々はピクセルに対応する)は、それがデータセットを通って横切りそしてサンプリングするときに、それ自身の独特なステップを動的に調節する。実際に、光線は必要に応じて速度を増減する。サンプルごとの基準で、出力画像におけるあらゆるピクセルに対して、ディスプレイルーチンは、データセットからサンプリングされた値(つまり、現在サンプリングされた値と目標値との間の違いの絶対値)に関して、レンダリングされた画像における単一ピクセルを表す、空間で前方に放たれる光線の長さに沿った独特のサンプリング距離を調節する。一般的に言うと、特定のフレーム内の二つのピクセルは、互いに対して光線追跡ステップの変化する数を有する。このアプローチによって、仮想カメラ上の、空間におけるその位置及び向きに関する如何なる制約をも避けつつ、実時間フレーム速度での高解像度のレンダリングが助けられる。
光線追跡のためのピクセル当たりの動的サンプリング距離を実行する好ましいアプローチがここで述べられる。実時間速度でのあらゆるフレームに対して、そして最終画像におけるあらゆるピクセルに対して、ルーチンはカメラ位置での光線を「開始する」。次いで、ルーチンは、光の方向を、カメラの方向プラス、空間内に変換された画像におけるピクセル位置であるように設定する。この操作は3Dカメラに対する開口部又はレンズに達する:その結果、光線は位置及び方向の両者を有する。次いで、プログラムは光線をステップダウンさせ、ボリュームデータセットをサンプリングするための場所で停止する。各フレームでステップされる距離は、ボリュームデータセットの現在のサンプリング点での値、及び現在焦点の中の望ましい組織の値(例えば、CT密度、MRI電子スピン又は同等物)に依存する。好ましくは、そして上述の通り、ステップされた距離は、現在サンプリングされた値(例えば、密度)と、滑らかさを確保するための小さい数を掛けた使用者が構成した又はシステムが構成した目標の間の違いの絶対値に等しい。一般的に、もし、望まれる組織の値と現在サンプリングされたボリュームデータの間の違いの絶対値が高いならば、次いでより大きなステップが取られる。しかしながら、もし、望まれる組織の値と現在サンプリングされたボリュームデータの間の違いの値が小さいならば、次いでより小さなステップが取られる。
好ましくは、そして図8〜9において説明された通り、プロセスは、望みの組織値が存在する領域においてステップ及びサンプルを集中し、一方、焦点にない領域は割愛される(つまり、動的ステッピングにかける必要がない)。各ステップで、好ましくは、ルーチンは、スカラー性のサンプリングされたボリュームデータ値を取り、そしてそれを(例えば、−1000から1000標準Hounsfield単位の範囲に)拡大縮小し(scale)、そして次いでルーチンは、Hounsfield数に基づいて、或るタイプの材料に対応する色を検索する(look-up)ためにこの値を使用する。(あるいは、値は、グレースケール画像ために直接使用できる)。次いでルーチンはピクセル自身上へこのステップのための色を蓄積するために、蓄積法(例えば、ピクセルの色は、ステップ色をかけられた組織の違いに等しい)を使用する。好ましくは、各ステップで、蓄積された密度に小さい値が加えられる。このプロセスは、密度が望まれる値より大きくなるまで、又はステップ距離自身が非常に小さくなるまで(例えば、それを超えて目が見ることができる、望まれる小さい値)、又は最大の公知の深さが達せられるまでの何れかまで繰り返される。終了したとき、ルーチンはこのピクセルに対する最終色を有する。好ましくは、このアプローチは、次いで、最終画像におけるあらゆるピクセルに対して繰り返される。
次のフレームがレンダリングされるべき時間が来たとき、カメラはその新しい位置及び向きに動かされ、そして次いでプロセスが再び繰り返される。
計算効率のために、多くのピクセルが平行して処理できるよう、上述の方法はGPUを用いて実行され得る。あるいは、平行処理を助けるためにマルチコアCPUが使用できる。
図10は、上述の方法におけるデジタルデータの処理において使用するための代表的なデータ処理システム1000を説明する。プログラムコードの保存及び/又は実行するために適したデータ処理システム1000は、直接又は間接的にシステムバス1005を通してメモリエレメントに連結された少なくとも一つのプロセッサ1002を含むであろう。メモリエレメントは、プログラムコードの実際の実行中に採用されるローカルメモリ1004、バルク保存部1006、及びキャッシュメモリ1008を含み得て、それによって、実行中にバルク保存から検索されなければならないタイムコードの数を減らすために、少なくとも幾つかのプログラムコードの一時的保存が供される。(制限するものではないが、キーボード1010、ディスプレイ1012、ポインティングデバイス1014などを含む)入力/出力つまりI/Oデバイスは、直接的に又は介在するI/Oコントローラ1016を通してシステムに連結できる。ネットワークアダプタ1018も、データ処理システムがネットワーク1020を通して他のデータ処理システム又はデバイスに連結されるようになることを可能にするために、システムに連結され得る。動的レンダリング解像度及びピクセル当たりの動的光線追跡を実行するレンダリングプログラムは、データ構造及び関連するデータがレンダリングプロセス中に生み出されるので、ローカルメモリ1004中に保存される。上述の通り、代替実施形態において、データプロセシングシステムはGPU及び関連したグラフィックカード部材を含み、そしてこの場合、好ましくは、レンダリングプログラム及びボリュームデータはグラフィックカードメモリ中に保存される。
或る態様又は機能が、コンピュータベースの方法又はプロセスの文脈において、開示されたが、これは本発明を限定するものではない。更に、そのようなコンピュータベースの方法は、記述された操作を実行するための装置又はシステムにおいて、又は他の歯の修復装置、デバイス又はシステムへの付加物として実行され得る。この装置は、要求される目的に対して特別に構築され得るか、又はそれはコンピュータ中に保存されたコンピュータプログラムによって選択的に起動される又は再構成される汎用コンピュータを含み得る。そのようなコンピュータプログラムは、制限するものではないが、光ディスク、CD−ROM、磁気的−光学的ディスクを含む如何なるタイプのディスク、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気的又は光学的カード、若しくは電子的命令を保存するために適する、そしてコンピュータシステムバスに各々連結された如何なるタイプの媒体などのコンピュータ可読保存媒体中に保存され得る。上述の機能はまた、ファームウエア、ASICにおいて、又は如何なる他の公知の又は開発されたプロセッサ制御デバイスにおいても実行され得る。
上では本発明の或る実施形態によって実行される操作の特定な順序を述べているが、そのような順序は例示的であり、代替実施形態が異なる順序で操作を実行し得て、或る操作を組み合せ得て、そしてある操作を重ね得るなどと理解されるべきである。所与の実施形態への明細書を参照すれば、記述された実施形態は、特定の機能、構造又は特性を含み得ることを示すが、あらゆる実施形態が特定の機能、構造又は特性を必ずしも含まなくてもよい。
システムの所与の部材は別個に述べられたが、当業者は、機能の幾つかが、所与のシステム、マシン、デバイス、プロセス、命令、プログラムシーケンス、コード部分などにおいて組み合わされ又は共有され得ると理解するであろう。
ボリュームデータセットは如何なるデータ源からも発生され得る。ボリュームデータセットがCT又はMRIデータであること、若しくはデータ自身が医用画像データであることは要求されない。本明細書における技術は、内容に関係なく如何なるボリュームデータセット内でも使用され得る。
一つの実施形態において、有形の(非一時的)機械可読媒体は、ディスプレイ上のボリュームデータセットのレンダリングのプロセス中に、動的レンダリング解像度及びピクセル当たりの動的光線追跡を実行するコンピュータプログラムを保存する。プログラムは、ボリュームデータセットを受信し、そして(マシンの内部で存在する(live))仮想カメラ構成体をレンダリングする。プログラムは、使用者の制御下でカメラを動かしそして再度向きを変え、そして望まれように眺めを変える。記述された通り、動的レンダリング解像度プロセスは、フレームのセットの各フレーム中のピクセルの数を増減し、一方、ピクセル当たりの動的ステッピングは、ピクセル当たりの光線追跡ステップの数を増減する。フレームを横切って解像度を連続的に減じることによって、及びフレーム内のピクセル毎のステップの数を減じることによって、プログラムは、望ましいフレーム速度で、画像のその全体的レンダリングをスピードアップでき、そしてこのようにして仮想カメラ構成体は、ボリュームデータセット自身内を含む、如何なる場所にも位置取りされ及び向けられ得る。仮想カメラは、ボリュームデータセット内及びその回りでの完全な動きの自由を有する;従って、見る人は、3D空間において如何なる位置にも動く能力、及び如何なる向きにおいても実時間で見る能力を有する。記述されたアプローチによって、連続して3Dメッシュを再構築するためのプログラムを要求することなく又は事前に設定された組織パレットを使用することなく、(骨を含む)種々の組織が可視化されるように、3Dにおける実時間組織選択及びセグメント化が可能になる。
我々の発明を記述して、我々がクレームするのは下記のとおりである。

Claims (15)

  1. プログラムを保存する、有形の機械可読媒体を含んでなる物品であって、
    ボリュームデータセットを受信すること;及び
    毎秒、所定の数のフレームで、ボリュームデータセットの画像、ここで、画像の各フレームは均一であるピクセルを有する、変化する解像度を有する画像シーケンスの少なくとも二つのフレーム、及び変化する数の光線追跡ステップを有する特定のフレーム内の少なくとも二つのピクセルをレンダリングすること、
    を含んでなる方法を実行するマシンによって、プログラムが実行可能である、上記物品。
  2. ボリュームデータセットを医用画像スキャンから受信する、請求項1に記載の物品。
  3. 画像が、ボリュームデータセットに対して外部にある透視図からレンダリングされる、請求項1に記載の物品。
  4. 画像が、ボリュームデータセットに対して内部にある透視図からレンダリングされる、請求項1に記載の物品。
  5. ピクセルと関連する光線に沿った一対のサンプルの間のステップのサイズが、各サンプル点でのボリュームデータセットにおける値の関数である、請求項1に記載の物品。
  6. 装置であって、
    ディスプレイ;
    プロセッサ;及び
    プロセッサによって又はそれに関連して実行されるとき、画像シーケンスの二つのフレームが互いに対して変化する解像度を有し、そして特定のフレーム内の二つのピクセルが、互いに対して変化する数の光線追跡ステップを有するフレーム速度で、3D画像をディスプレイ上にレンダリングするコンピュータプログラム命令を保持するコンピュータメモリ:
    を含んでなる、上記装置。
  7. 画像が、3D画像に対して外部にある透視図からレンダリングされる、請求項6に記載の装置。
  8. 画像のセットが、3D画像に対して内部にある透視図からレンダリングされる、請求項6に記載の装置。
  9. プロセッサが、CPU及びGPUの一つである、請求項6に記載の装置。
  10. 3D画像が、CTスキャン及びMRIスキャンの一つである、請求項6に記載の装置。
  11. 表示方法であって;
    ボリュームデータセットを受信すること;及び
    プロセッサを用いて、仮想カメラの透視図からボリュームデータセットの画像、互いに対して変化する解像度を有する画像シーケンスの少なくとも二つのフレーム、及び互いにに対して変化する数の光線追跡ステップを有する特定のフレーム内の少なくとも二つのピクセルをレンダリングすること:
    を含んでなる、上記表示方法。
  12. 画像が、ボリュームデータセットに対して外部にある仮想カメラの透視図からレンダリングされる、請求項11に記載の表示方法。
  13. 画像が、ボリュームデータセットに対して内部にある仮想カメラの透視図からレンダリングされる、請求項11に記載の表示方法。
  14. 仮想カメラの向きが、ボリュームデータセットに対して内部の位置内から調節される、請求項13に記載の表示方法。
  15. ボリュームデータセットが医用画像スキャンから受信される、請求項11項に記載の表示方法。
JP2013540960A 2010-11-27 2011-11-09 ボリュームデータセットを可視化する方法及びシステム Expired - Fee Related JP5976003B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/954,856 2010-11-27
US12/954,856 US8379955B2 (en) 2010-11-27 2010-11-27 Visualizing a 3D volume dataset of an image at any position or orientation from within or outside
PCT/US2011/059897 WO2012071172A2 (en) 2010-11-27 2011-11-09 Method and system for visualizing a volume dataset

Publications (2)

Publication Number Publication Date
JP2014500774A true JP2014500774A (ja) 2014-01-16
JP5976003B2 JP5976003B2 (ja) 2016-08-23

Family

ID=46126306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013540960A Expired - Fee Related JP5976003B2 (ja) 2010-11-27 2011-11-09 ボリュームデータセットを可視化する方法及びシステム

Country Status (4)

Country Link
US (3) US8379955B2 (ja)
EP (1) EP2643818A4 (ja)
JP (1) JP5976003B2 (ja)
WO (1) WO2012071172A2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2217137A4 (en) * 2007-12-03 2011-09-07 Gripping Heart Ab VALIDATION AND USER INTERFACE SYSTEM OF STATE MACHINE
US8682053B2 (en) * 2010-01-08 2014-03-25 Siemens Aktiengesellschaft Method for sampling volume data of an object in an imaging device
KR101334188B1 (ko) * 2011-11-25 2013-11-28 삼성전자주식회사 볼륨 데이터의 렌더링 장치 및 방법
KR102078335B1 (ko) 2013-05-03 2020-02-17 삼성전자주식회사 의료 영상 장치 및 그 제어 방법
KR20150080820A (ko) 2014-01-02 2015-07-10 삼성전자주식회사 관심 영역 표시 장치 및 방법
US9652887B2 (en) 2014-01-22 2017-05-16 Hankookin, Inc. Object oriented image processing and rendering in a multi-dimensional space
US9842424B2 (en) * 2014-02-10 2017-12-12 Pixar Volume rendering using adaptive buckets
KR20150095144A (ko) * 2014-02-12 2015-08-20 삼성전자주식회사 그래픽스 데이터를 렌더링하는 방법 및 장치
US10169909B2 (en) * 2014-08-07 2019-01-01 Pixar Generating a volumetric projection for an object
US10650571B2 (en) * 2016-03-25 2020-05-12 Outward, Inc. Adaptive virtual camera sensor
JP6739539B2 (ja) * 2016-10-21 2020-08-12 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
US10726608B2 (en) * 2016-11-23 2020-07-28 3D Systems, Inc. System and method for real-time rendering of complex data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006055213A (ja) * 2004-08-17 2006-03-02 Konica Minolta Medical & Graphic Inc 画像処理装置、及びプログラム
JP2007087425A (ja) * 2006-12-18 2007-04-05 Namco Bandai Games Inc 画像生成システム、プログラム及び情報記憶媒体
US20090027382A1 (en) * 2007-07-27 2009-01-29 Siemens Medical Solutions Usa, Inc. Method and system for direct rendering of multi-volume data

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734384A (en) 1991-11-29 1998-03-31 Picker International, Inc. Cross-referenced sectioning and reprojection of diagnostic image volumes
US5920319A (en) 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
US7486811B2 (en) 1996-09-16 2009-02-03 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
AU758086B2 (en) 1998-02-23 2003-03-13 Algotec Systems Ltd. Raycasting system and method
US6091422A (en) * 1998-04-03 2000-07-18 Avid Technology, Inc. System for editing complex visual data providing a continuously updated rendering
US6166742A (en) 1998-06-13 2000-12-26 Lucent Technologies, Inc. Wavelet-assisted volume ray casting
US6850564B1 (en) * 1998-06-26 2005-02-01 Sarnoff Corporation Apparatus and method for dynamically controlling the frame rate of video streams
JP2000149047A (ja) 1998-11-12 2000-05-30 Mitsubishi Electric Inf Technol Center America Inc ボリュ―ムレンダリングプロセッサ
IL127314A0 (en) 1998-11-27 1999-09-22 Algotec Systems Ltd A method for forming a perspective rendering from a voxel space
US6664961B2 (en) 2000-12-20 2003-12-16 Rutgers, The State University Of Nj Resample and composite engine for real-time volume rendering
US6933939B2 (en) * 2001-03-16 2005-08-23 Mitsubishi Electric Research Labs, Inc. Method for correcting an adaptively sampled distance field
US6741246B2 (en) * 2001-03-16 2004-05-25 Mitsubishi Electric Research Laboratories, Inc. Hierarchical control point editing of adaptively sampled distance fields
EP1436780A2 (en) 2001-05-16 2004-07-14 Koninklijke Philips Electronics N.V. Method and apparatus for visualizing a 3d data set
AU2002359444A1 (en) 2001-11-21 2003-06-10 Viatronix Incorporated Imaging system and method for cardiac analysis
US20030132936A1 (en) 2001-11-21 2003-07-17 Kevin Kreeger Display of two-dimensional and three-dimensional views during virtual examination
EP1565808A2 (en) 2002-11-29 2005-08-24 Bracco Imaging, S.P.A. System and method for managing a plurality of locations of interest in 3d data displays
US7577298B2 (en) * 2003-06-20 2009-08-18 Siemens Medical Solutions Usa, Inc. Method and system for response image feature collection and candidate summit, surface, and core estimation
US7091967B2 (en) * 2003-09-01 2006-08-15 Realtek Semiconductor Corp. Apparatus and method for image frame synchronization
JP3836097B2 (ja) 2003-09-19 2006-10-18 ザイオソフト株式会社 医用画像生成装置および方法、ならびに、プログラム
WO2005091226A1 (en) 2004-03-15 2005-09-29 Philips Intellectual Property & Standards Gmbh Image visualization
US7734119B2 (en) 2004-09-21 2010-06-08 General Electric Company Method and system for progressive multi-resolution three-dimensional image reconstruction using region of interest information
US7505037B2 (en) 2004-10-02 2009-03-17 Accuray, Inc. Direct volume rendering of 4D deformable volume images
US7574071B2 (en) * 2004-10-05 2009-08-11 Seiko Epson Corporation Method and apparatus for resizing images
US7494338B2 (en) 2005-01-11 2009-02-24 Duane Durbin 3D dental scanner
WO2006085266A1 (en) 2005-02-08 2006-08-17 Philips Intellectual Property & Standard Gmbh Medical image viewing protocols
US7755625B2 (en) * 2005-05-04 2010-07-13 Medison Co., Ltd. Apparatus and method for rendering volume data
US7333107B2 (en) 2005-08-18 2008-02-19 Voxar Limited Volume rendering apparatus and process
US20070127791A1 (en) 2005-11-15 2007-06-07 Sectra Ab Automated synchronization of 3-D medical images, related methods and computer products
US7574029B2 (en) 2005-11-23 2009-08-11 Vital Images, Inc. Characteristic path-based colon segmentation
EP1966767A2 (en) 2005-12-31 2008-09-10 BRACCO IMAGING S.p.A. Systems and methods for collaborative interactive visualization of 3d data sets over a network ("dextronet")
WO2007102377A1 (ja) * 2006-03-03 2007-09-13 Olympus Corporation 撮像装置、高解像度化処理方法、高解像度化処理プログラム、及び記録媒体
DE102006014902B4 (de) 2006-03-30 2009-07-23 Siemens Ag Bildverarbeitungseinrichtung zur erweiterten Darstellung von dreidimensionalen Bilddatensätzen
JP4416753B2 (ja) * 2006-03-31 2010-02-17 キヤノン株式会社 固体撮像装置
US7660486B2 (en) * 2006-07-10 2010-02-09 Aten International Co., Ltd. Method and apparatus of removing opaque area as rescaling an image
US7839404B2 (en) * 2006-07-25 2010-11-23 Siemens Medical Solutions Usa, Inc. Systems and methods of direct volume rendering
US7675517B2 (en) * 2006-08-03 2010-03-09 Siemens Medical Solutions Usa, Inc. Systems and methods of gradient assisted volume rendering
EP2054860B1 (en) 2006-08-11 2011-04-06 Koninklijke Philips Electronics N.V. Selection of datasets from 3d renderings for viewing
US20080094398A1 (en) 2006-09-19 2008-04-24 Bracco Imaging, S.P.A. Methods and systems for interacting with a 3D visualization system using a 2D interface ("DextroLap")
US20080084415A1 (en) 2006-10-06 2008-04-10 Lutz Gundel Orientation of 3-dimensional displays as a function of the regions to be examined
US7889902B2 (en) 2007-06-25 2011-02-15 Accuray Incorporated High quality volume rendering with graphics processing unit
US8057394B2 (en) 2007-06-30 2011-11-15 St. Jude Medical, Atrial Fibrillation Division, Inc. Ultrasound image processing to render three-dimensional images from two-dimensional images
JP2009021809A (ja) * 2007-07-11 2009-01-29 Canon Inc 撮像装置の駆動方法、撮像装置、及び撮像システム
US8730237B2 (en) 2007-08-03 2014-05-20 Koninklijke Philips N.V. Coupling the viewing direction of a blood vessel's CPR view with the viewing angle on the 3D tubular structure's rendered voxel volume and/or with the C-arm geometry of a 3D rotational angiography device's C-arm system
JP4931238B2 (ja) * 2007-08-14 2012-05-16 キヤノン株式会社 撮像装置及びその駆動方法
US9858716B2 (en) 2008-02-28 2018-01-02 International Business Machines Corporation Fast three-dimensional visualization of object volumes without image reconstruction by direct display of acquired sensor data
TWI430223B (zh) * 2009-04-30 2014-03-11 Chunghwa Picture Tubes Ltd 畫面更新頻率調整器及其方法
US8819591B2 (en) 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006055213A (ja) * 2004-08-17 2006-03-02 Konica Minolta Medical & Graphic Inc 画像処理装置、及びプログラム
JP2007087425A (ja) * 2006-12-18 2007-04-05 Namco Bandai Games Inc 画像生成システム、プログラム及び情報記憶媒体
US20090027382A1 (en) * 2007-07-27 2009-01-29 Siemens Medical Solutions Usa, Inc. Method and system for direct rendering of multi-volume data

Also Published As

Publication number Publication date
US20120133656A1 (en) 2012-05-31
EP2643818A2 (en) 2013-10-02
WO2012071172A2 (en) 2012-05-31
US20130155066A1 (en) 2013-06-20
JP5976003B2 (ja) 2016-08-23
US20120134560A1 (en) 2012-05-31
US8379955B2 (en) 2013-02-19
US8244018B2 (en) 2012-08-14
WO2012071172A3 (en) 2012-09-27
EP2643818A4 (en) 2015-07-29

Similar Documents

Publication Publication Date Title
JP5976003B2 (ja) ボリュームデータセットを可視化する方法及びシステム
US7496222B2 (en) Method to define the 3D oblique cross-section of anatomy at a specific angle and be able to easily modify multiple angles of display simultaneously
EP2220621B1 (en) Volume rendering apparatus and method
EP2080170B1 (en) Combined intensity projection
JP5818531B2 (ja) 画像処理システム、装置及び方法
JP2007537770A (ja) 内視鏡画像内の管腔状構造のディスプレイ最適化のための動的なクロップボックス決定方法
US10540745B2 (en) Zooming of medical images
CN111430012B (zh) 使用实时边缘感知刷来半自动地分割3d医学图像的系统和方法
Hachaj et al. Visualization of perfusion abnormalities with GPU-based volume rendering
JP4122314B2 (ja) 投影画像処理方法、投影画像処理プログラム、投影画像処理装置
US9237849B1 (en) Relative maximum intensity projection
US7692651B2 (en) Method and apparatus for providing efficient space leaping using a neighbor guided emptiness map in octree traversal for a fast ray casting algorithm
US9082217B1 (en) Avoidance-based ray tracing for volume rendering
US9342920B1 (en) Volume rendering using scalable GPU-based cloud computing
US9035945B1 (en) Spatial derivative-based ray tracing for volume rendering
Williams A method for viewing and interacting with medical volumes in virtual reality
Gallo et al. High-fidelity visualization of large medical datasets on commodity hardware
GB2497832A (en) Measuring a ratio of a variable in medical imaging data
EP4129182A1 (en) Technique for real-time volumetric imaging from multiple sources during interventional procedures
JP6780935B2 (ja) 医用画像表示装置
JP2005058327A (ja) 投影画像作成表示方法及びこの方法を用いる手術支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150625

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150925

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151026

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160719

R150 Certificate of patent or registration of utility model

Ref document number: 5976003

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees