JP2022087789A - 医用画像処理装置および医用画像処理方法 - Google Patents
医用画像処理装置および医用画像処理方法 Download PDFInfo
- Publication number
- JP2022087789A JP2022087789A JP2021077748A JP2021077748A JP2022087789A JP 2022087789 A JP2022087789 A JP 2022087789A JP 2021077748 A JP2021077748 A JP 2021077748A JP 2021077748 A JP2021077748 A JP 2021077748A JP 2022087789 A JP2022087789 A JP 2022087789A
- Authority
- JP
- Japan
- Prior art keywords
- data
- value
- values
- medical image
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 109
- 238000003672 processing method Methods 0.000 title claims description 8
- 230000006835 compression Effects 0.000 claims abstract description 78
- 238000007906 compression Methods 0.000 claims abstract description 78
- 230000006870 function Effects 0.000 claims description 79
- 238000009877 rendering Methods 0.000 abstract description 56
- 238000000034 method Methods 0.000 description 61
- 238000012546 transfer Methods 0.000 description 61
- 230000008859 change Effects 0.000 description 15
- 238000002591 computed tomography Methods 0.000 description 13
- 238000002059 diagnostic imaging Methods 0.000 description 11
- 238000013500 data storage Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000002407 reforming Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
【課題】レンダリング画像への影響を低減可能に、ボリュームデータを圧縮すること。【解決手段】本実施形態に係る医用画像処理装置は、処理回路を備える。処理回路は、圧縮対象であるボリュームデータを取得する。処理回路は、色値とオパシティ値とのうち少なくとも一つを前記ボリュームデータの各データ値に関連付ける関数を取得する。処理回路は、前記ボリュームデータの領域毎の圧縮率を、各領域の複数の色値と複数のオパシティ値とのうち少なくとも一つに基づいて決定する。【選択図】図2
Description
本明細書に記載の実施形態は、概して、例えば、グラディエントビジビリティ(gradient visibility:可視性勾配)に依存する複数の圧縮率を用いて画像データボリュームを圧縮する画像データ処理のための医用画像処理装置および医用画像処理方法に関する。
例えば、CT、PET、MRI、超音波、X線など様々な画像診断法のいずれかを用いて3次元医用イメージングデータを生成可能なボリューメトリック医用イメージング技術が、イメージングまたは診断用途として広く使われている。
ボリューメトリック医用画像データ(ボリュームデータ)は、各ボクセルが3次元空間の特定の位置を表し、各ボクセルが1つまたは複数のデータ値を有するボクセルの3次元アレイを備えるかもしれない。例えば、CTデータの場合では、各ボクセルは、当該ボクセルが表すロケーションに付与された、適用されたX線照射の減衰を表す関連付けられた強度値を有するかもしれない。当該強度値を画像値、グレイ値、グレイレベル、ボクセル値、または、CT値と称するかもしれない。当該強度値はハウンズフィールド単位(Hounsfield units:HU)で測定してもよい。
いくつかのデータ処理方法において、グラフィック処理装置(Graphics Processing Unit:GPU)は、例えば、医用イメージングスキャナから取得するボリューメトリックイメージングデータなどのボリューメトリックデータのボリュームレンダリングを行うために使われる。
典型的なGPUは、グラフィックカードに位置し得る専用のグラフィックメモリを有する。典型的なGPUによって操作されるデータにおいて、当該データは当該専用のグラフィックメモリでアクセス可能でなければならない。入力データは、操作のために当該グラフィックカードにアップロードされる。
典型的なGPUは、異なる入力に対して同一の計算を多数回同時に実行できるパラレルアーキテクチャを有する。例えば、GPUは、各ピクセル位置で同一のアルゴリズムを適用することにより、画像の全てのピクセルを同時に計算するかもしれない。
GPUボリュームレンダリングは、例えば多断面リフォーマッティング(Multi-Planar Reformatting:MPR(断面変換))、影付きボリュームレンダリング(Shaded Volume Rendering:SVR)、強度投影(Intensity Projection:IP)、またはスラブレンダリングなどの標準のボリュームレンダリング技術を促進するために、GPUの利用を必然的に伴うかもしれない。
ボリュームレンダリング(SVR)は、任意の所与のデータ値に対する色値とオパシティ値を特定するための伝達関数を用いる3次元ボクセルデータセットのレンダリングを含む。伝達関数は、取り得る一連のボクセル値のそれぞれを、個別のオパシティ値と色値(通常は、赤、緑、青の色値の組み合わせによって表される)に対してマッピングする。伝達関数は、典型的には、特定のマテリアルまたは特徴をシミュレートするように選択される。例えば、筋肉を赤でレンダリングし、骨を白でレンダリングするかもしれない。
典型的には、ボリュームの大部分は完全に透明であるかもしれない。ボリュームは、色および/または透明さにおいて類似する広い領域を有するかもしれない。
大量のイメージングボリュームを使用することが増々一般的になりつつある。例えば、医用イメージングの場合において、上昇した医用スキャナ解像度により、非常に大きいイメージングボリュームとなるかもしれない。大きすぎて、全体がGPUの専用のグラフィックメモリに適合できないボリュームがあるかもしれない。
より大きな画像マトリクスが医用イメージングにおいて使用される。例えば、スライスは、512×512、1024×1024、または、2048×2048ピクセルを備えるかもしれない。より多くのスライスを取得するかもしれない。例として、2048×2048×6000ボリュームは、47GBのストレージを必要とする。512×512より大きなマトリクスサイズをラージスケール(Large Scale)と称することがある。
ボリュームから画像を直ちにレンダリングすることが望ましく、時には、リアルタイムで画像をレンダリングすることが望ましい。
データ周辺の移動の処理コストは高いかもしれない。大きなデータボリュームは、典型的なグラフィック処理装置(GPU)のデータ容量よりも大きいかもしれない。高性能なGPUであっても、最大のボリュームを収納するには苦労するかもしれない。モバイルおよび仮想現実(VR)装置は、典型的には、512マトリクスのボリュームがメモリおよび容量を広げる程度にメモリにおいて限定されている。
既存の圧縮方式には、受け入れがたいほどの非可逆圧縮がある。例えば、そうした圧縮方式により可視のブロッキングアーチファクト(blocking artefacts)が結果として生じるかもしれない。既存の圧縮方式には、リアルタイムレンダリングの使用に適用できないものがある。既存の圧縮方式には、オンザフライでの復号にコストがかかりすぎるものがある。既存の圧縮方式には、データ値をレンダリングすることで得られる画像よりも、データ値そのものにより関心を置くものがある。
例えば、マルチマップ・アトラスベース方法などのアトラスベースの方法は、大きなボリュームをレンダリングするために使用されることがある。アトラスベース方法の例が米国特許10,719,907に説明されている。米国特許10,719,907は参照により本願に含まれる。
アトラスベース方法では、全てのボリュームデータを同時にアップロードする代わりに、ボリュームデータのサブ領域がレンダリングでの必要に応じて装置メモリへ送信される。アトラスベースのシステムでは、現在の圧縮システムが良いパフォーマンスを得るために必ずしも十分であるとは限らない。アップロード処理が比較的遅く、レンダリング処理にボトルネックがあるかもしれない。各フレームをレンダリングするために、システムが全てのボリュームデータをレンダリング装置にアップロードする必要がないことが、良いパフォーマンスをもつシステムのひとつの基準であるかもしれない。
メモリ容量が過重にオーバーサブスクライブ(heavily over-subscribed)であるとき、データ転送オーバーヘッドが支配的になるかもしれない。各フレームをレンダリングするためにアップロードが必要なデータが大きすぎるときに、メモリ容量がオーバーサブスクライブであると言われることがある。レンダリング対象のデータがレンダリング装置によって記憶可能な量の2倍であるときに、メモリ容量は過重にオーバーサブスクライブであるとみなされるかもしれない。画像をレンダリングするために必要なデータがレンダリング装置の使用可能なメモリの2倍より大きい場合は、全体のボリュームがフレームごとにアップロードされるかもしれない。
レンダリング対象のデータがメモリ容量の2倍を下回るようにデータを圧縮することが望ましいかもしれない。ラージスケールデータの場合には、データボリュームサイズが、標準的な可逆圧縮手法では当該データボリュームサイズを十分に縮小されない程度に大きいかもしれない。
いくつかの状況では、現在実装している圧縮方式では、データサイズをメモリ容量の2倍より小さくボリュームを圧縮することができないかもしれない。システムは、レンダリング対象のフレーム毎に、合計データボリュームの少なくとも50%を転送する必要があるかもしれない。
例えば、レンダリング対象のデータボリュームのサイズが12GBである場合、標準的な可逆圧縮方法では当該データボリュームのサイズを10GBに縮小するだけかもしれない。圧縮データをレンダリングするために使用されるレンダリング装置のメモリのサイズが4GBであれば、レンダリング処理は、アップロードデータのオーバーヘッドにより、非常に効率が悪いだろう。
最良条件でのGPU転送速度は、例えば、約8GB/sかもしれない。ラージスケールボリュームの場合において、最良条件でのGPU転送速度であっても、1秒またはそれ以上の遅滞を生じるかもしれない。
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、レンダリング画像への影響を低減可能に、ボリュームデータを圧縮することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
本実施形態に係る医用画像処理装置は、処理回路を備える。処理回路は、圧縮対象であるボリュームデータを取得する。処理回路は、色値とオパシティ値とのうち少なくとも一つを前記ボリュームデータの各データ値に関連付ける関数を取得する。処理回路は、ボリュームデータの領域毎の圧縮率を、各領域の複数の色値と複数のオパシティ値とのうち少なくとも一つに基づいて決定する。
実施形態に従った医用画像処理装置10が、図1に概略的に示される。装置10は、複数の医用イメージングスキャナ(図示せず)の任意の1つまたは複数のスキャナにより取得される画像データのボリュームレンダリングを行うように構成される。医用イメージングスキャナは、CT(コンピュータ断層撮影)スキャナ、MRI(磁気共鳴イメージング)スキャナ、X線スキャナ、PET(陽電子放出断層撮影)スキャナ、SPECT(単一光子放射コンピュータ断層撮影)スキャナ、超音波スキャナ、または任意の好適なスキャナのうちの少なくとも1つを備えるかもしれない。他の実施形態において、装置10は任意の好適な2次元または3次元画像データを処理するように構成されるかもしれない。
装置10は、本例ではパーソナルコンピュータ(PC)またはワークステーションであるコンピューティング装置12を備える。他の実施形態において、コンピューティング装置12は、例えば、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、モバイル装置などの、任意の好適なコンピューティング装置であるかもしれない。更なる実施形態において、コンピューティング装置12の機能は2つまたはそれ以上のコンピューティング装置によって与えられるかもしれない。
コンピューティング装置12は、ディスプレイスクリーン16、または、他の表示装置と、コンピュータキーボードやマウスなどの1つまたは複数の入力装置18とに接続される。代替の実施形態において、ディスプレイスクリーン16は、入力装置18としても機能するタッチスクリーンである。
本実施形態において、コンピューティング装置12は、データ記憶部20から処理対象の医用画像データを受け取るように構成される。データ記憶部20は複数の医用イメージングスキャナによって取得されるデータを記憶する。
代替の実施形態において、コンピューティング装置12は、データ記憶部20の代わりに、または、データ記憶部20に加えて、1つまたは複数の更なるデータ記憶部(図示せず)からデータを受け取る。例えば、コンピューティング装置12は、医用画像保管伝送システム(Picture Archiving and Communication System:PACS)、または、例えば、臨床検査値アーカイブ、電子医療記録(Electronic Medical Record:EMR)システム、入院・退院・転院(Admission Discharge and Transfer:ADT)システムなどの他の情報システムの一部を形成し得る1つまたは複数の遠隔のデータ記憶部(図示せず)からデータを受け取るかもしれない。更なる実施形態において、コンピューティング装置12は1つまたは複数のスキャナからデータを直接受け取るかもしれない。
コンピューティング装置12は中央処理装置(CPU)22とグラフィック処理装置(GPU)30とを備える。CPU22はメモリ24を備える。CPU22は、画像データセットのダウンサイズ版を作成するように構成されるダウンサイジング回路26と、伝達関数から合計グラディエントビジビリティ(summed gradient visibility)テーブルを決定し、ダウンサイズされたデータセットのブロック毎のビジビリティを決定するために合計グラディエントビジビリティテーブルを使用するビジビリティ回路27と、ダウンサイズされたデータセットの混合解像度版から画像をレンダリングするように構成されるレンダリング回路28と、を備える処理回路を更に備える。GPU30はグラフィックメモリ32を備える。GPU30は、グラフィックメモリ32に記憶されたデータの高速並列処理を実行するように構成される。
CPU22とGPU30は共に、自動的に、または、半自動で医療イメージングデータを処理するための処理リソースを提供する。
本実施形態において、回路26,27,28は各々、実施形態の方法を実行するために実行可能であるコンピュータが読み出し可能な命令を有するコンピュータプログラムにより、コンピューティング装置12に実装される。しかし、他の実施形態では、種々の回路が、1つまたは複数の特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)またはフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)として実装されてよい。
コンピューティング装置12は、ハードドライブと、RAM、ROM、データバス、種々のデバイスドライバを含むオペレーティングシステム、および、グラフィックカードを含むハードウェア装置を含んだPCの他のコンポーネントとを有する。その様なコンポーネントは、明瞭化のために、図1には示されない。
図1の装置は、図2に示す医用画像データ処理方法を実行するように構成される。
ステージ40において、ダウンサイジング回路26は画像データセットを受け取る。本実施形態において、画像データセットはCTスキャンから得るボリューメトリック画像データを含む。ボリューメトリック画像データセットは、データボリューム、ボリュームデータまたは画像データボリュームとも称することがある。すなわち、処理回路は、圧縮対象であるボリュームデータを取得する。
画像データセットは、当該画像データセットの複数のボクセルの個別の強度値を備える。更なる実施形態において、画像データセットは、任意の好適な医用画像データまたは非医用画像データを備えてよい。
いくつかの実施形態において、ステージ40で受け取るデータセットには、例えば、スペックル雑音を低減するプレフィルタリングなどの前処理を行っているかもしれない。
ステージ41において、ダウンサイジング回路26はダウンサイズされたボリュームのセットを作成する。ダウンサイズされたボリュームのそれぞれは、ステージ40で受け取る画像データセットのダウンサイズ版である。ダウンサイズされたボリュームそれぞれにおけるダウンサイジングのレベルは、前回のレベルの解像度の半分である。すなわち、処理回路は、ボリュームデータから、異なる解像度を用いて、複数のダウンサイズされたボリュームを生成する。例えば、オリジナルの画像データセットのサイズが2048×2048×3000であれば、第1のダウンサイズされたボリュームのサイズは1024×1024×1500であり、第2のダウンサイズされたボリュームのサイズは512×512×7500、等々。本実施形態において、オリジナルボリュームに加えて4つのダウンサイズされたボリュームが作成される。他の実施形態において、例えば、5,6,7,8,9,または、10個など、任意の好適な数のダウンサイズされたボリュームを作成してよい。
ダウンサイズされたボリュームを作成するために、任意の好適なダウンサイジング方法を使用してよい。例えば、平均ダウンサイジング法(averaging downsizing scheme)を使用してもよい。
ダウンサイジング回路26は画像データセットとダウンサイズされたボリュームをビジビリティ(visibility)回路27に与える。
いくつかの実施形態において、ダウンサイズされたボリュームは、インタラクティブなレンダリングモードに使用する他の回路によって既に作成されている。そのような実施形態において、ビジビリティ回路27は、ステージ40で画像データセットとダウンサイズされたボリュームを受け取り、ステージ41を省略してもよい。ダウンサイジング回路26は、いくつかの実施形態において省略され得る。
他の実施形態において、ダウンサイジング回路26によって作成されたダウンサイズされたボリュームは、インタラクティブなレンダリングモードに使用するために、レンダリング回路28にも与えられる。
ステージ42において、ビジビリティ回路27は、伝達関数tfを受け取る。例えば、処理回路は、色値とオパシティ値とのうち少なくとも一つをボリュームデータの各データ値に関連付ける関数を取得する。当該関数は、オパシティ値をボリュームデータの各データ値にさらに関連付ける。具体的には、当該関数に対応する伝達関数tfは、データ値を対応するオパシティ値と色値にマッピングする。本実施形態において、データ値はハウンズフィールド単位のCT値である。伝達関数は、整数である各CT値を、対応するオパシティ値と色値にマッピングする。他の実施形態において、任意の好適なタイプのデータ値を使用してよい。
伝達関数tfは、例えばデータ記憶部20またはメモリ24に記憶される所定の伝達関数であるかもしれない。他の実施形態において、伝達関数tfはユーザによって特定され、ユーザ入力を介して得られるかもしれない。
図3は、伝達関数tfの例を示す。伝達関数tfはオパシティ曲線50Aから50Fおよび色勾配(color gradient)52を備え、それぞれが、本実施形態ではボクセルCT値であるデータ値の同一の水平軸54に対してプロットされる。図3に示す例において、データ値のスケールは0から1600である。垂直軸56はマテリアルのオパシティである。オパシティ値のスケールは0から1である。
オパシティ曲線は6つのセクション50A,50B,50C,50D,50E,50Fを含み、それぞれのセクションは個別のオパシティ値の勾配を有する。
セクション50Aは0から40までのデータ値からなる。セクション50Aにおいて、オパシティの値は低く、ほぼ一定である。セクション50Bにおいて、データ値は40から260までであり、オパシティはゆっくりと上昇する。セクション50Cにおいて、データ値は260から550までであり、オパシティはセクション50Bよりは早く上昇する。セクション50Dにおいて、データ値は550から1020までであり、オパシティは急激に上昇する。セクション50Eにおいて、データ値は1020から1470までであり、オパシティの上昇率は下がる。セクション50Fにおいて、データ値は1470から1600であり、オパシティはほぼ一定である。
図3に示す例において、赤、緑、青の全てに対して共通のオパシティ値が使用されている。tfopacity,r=tfopacity,g=tfopacity,bにおける他の実施形態において、色に依存するオパシティ値を使用してもよい。
色勾配52はCT値ごとの色マッピングである。色勾配52の色値は、図3において、再現の容易性のためグレイスケールで表されている。色勾配52のフルカラー版においては、500を下回るデータ値は徐々にオレンジへ変化する赤として表されるだろう。約600のデータ値は黄に着色される。750より上では、色値はグレイとなり、その後最終的には白になる。
ステージ43において、ビジビリティ回路27は、合計グラディエントビジビリティテーブル(summed gradient visibility table)を作成するために伝達関数tfを使う。合計グラディエントビジビリティテーブルは、ピクセルまたはボクセルのブロックを分析してピクセルまたはボクセルの所与のブロックにおいて可視の色勾配が存在するかを判断するために使用するように設計される。
合計グラディエントビジビリティテーブルを構築するために、ビジビリティ回路27は、まず、合計グラディエントビジビリティテーブルの最小データ値DataMinと最大データ値DataMaxとを決定する。本実施形態において、合計グラディエントビジビリティテーブルは、関心対象の伝達関数tfと等しい長さをもつ。最小データ値DataMinは伝達関数で最も低いデータ値であり、図3の伝達関数ではゼロである。最大データ値DataMaxは伝達関数で最も高いデータ値であり、図3の伝達関数では1600である。ビジビリティ回路27は、DataMinからDataMaxまでの整数のデータ値iのセットを検討する。
伝達関数tfにおける各データ値iの合計グラディエントビジビリティ値sgv(i)は下記のように算出され、合計グラディエントビジビリティテーブルに記憶される。合計グラディエントビジビリティ値sgv(i)は指標値として説明されてもよい。処理回路は、上記関数を用いて各データ値の指標値を決定する。指標値は、例えば、色値とオパシティ値とのうち少なくとも一つに依存する。指標値は、合計グラディエントビジビリティ値を含む。
ビジビリティ回路27は、整数データ値iごとに、当該データ値の色値tfcolor(i)とオパシティ値tfopacity(i)を乗算することにより、乗算前色tfpremul(i)を算出するために、伝達関数tfを用いる。乗算前色は、所与のデータ値の色値とオパシティ値の組み合わせである。
本実施形態において、色はRGB(赤、緑、青)色空間を用いて記載される。tfcolor(i)は3つの色成分tfcolor(i)r、tfcolor(i)g、tfcolor(i)bを有し、これらはまとめてtfcolor(i)rgbと記載されることがある。tfopacity(i)は3つの色成分tfopacity(i)r、tfopacity(i)g、tfopacity(i)bを有し、これらはまとめてtfopacity(i)rgbと記載されることがある。
色差の効果はオパシティに依存するため、オパシティは乗算前色に含まれる。透明度が高い領域での大きな色差であっても、なお多少の視覚的インパクトを有することがある。
他の実施形態において、色値を表すために、任意の好適な色空間を用いてもよい。いくつかの実施形態において、RGBの代わりにCIELABカラースケールを使用する。CIELABカラースケールは、黒から白の明度(Lightness)L*、緑から赤のa*、青から黄色のb*である三成分で色を表す。CIELABは視覚的に均等な色空間として表現されてもよい。CIELAB色空間は、L*、a*、またはb*の値における所与の数値的変化が、当該数値的変化が当該色空間のどこで発生しても、視聴者が一貫している知覚するだろう色変化量を引き起こすように設計される。
合計グラディエントビジビリティテーブルの各エントリは下記式を用いて算出される。
ここで、gtは受付可能な勾配の閾値である。図2の実施形態において、閾値はgt=0.00031である。
閾値gtはメモリ24に記憶される。他の実施形態において、閾値gtは任意の好適なデータ記憶部に記憶されてよい。更なる実施形態において、閾値gtはユーザにより入力されてよい。
まとめると、式2は、式1に示すように色とオパシティとが乗算された乗算前値を比較する。所与のデータ値の乗算前色と直前のデータ値の乗算前色との差が閾値 gt より小さい場合は、当該所与のデータ値のインターバルグラディエントビジビリティ値(interval gradient visibility value)を0に設定する。所与のデータ値と直前のデータ値との乗算前値の差が閾値gt以上であれば、インターバルグラディエントビジビリティ値は1に設定される。データ値iの合計グラディエントビジビリティsgv(i)は、DataMinからiまでのデータ値に対応する全てのインターバルグラディエントビジビリティ値の合計である。すなわち、処理回路は、所与のデータ値の指標値の決定においては、所与のデータ値の色およびオパシティの組み合わせと、直前のデータ値の色およびオパシティの組み合わせとの差を得て、所与のデータ値のインターバルグラディエントビジビリティを決定するために当該差を使用する。具体的には、処理回路は、当該差と閾値とを比較して、インターバルグラディエントビジビリティを決定する。次いで、処理回路は、複数のインターバルグラディエントビジビリティ値を、最小データ値から所与のデータ値まで加算することで、所与のデータ値の合計グラディエントビジビリティ値を得る。なお、処理回路は、複数の指標値を、CIELAB色空間で計算してもよい。
結果として、乗算前伝達関数の有意な勾配がない全てのロケーションにおいて、平坦な関数が得られる。
図4は、図3の伝達関数で得た合計グラディエントビジビリティ値の曲線を示す。水平軸54は図3と同じスケール上のデータ値を示す。垂直軸58は合計グラディエントビジビリティsgv(i)を示す。合計グラディエントビジビリティ関数の垂直軸58は合計である。伝達関数の最小CT値とx軸上に示される現在のCT値との間の、伝達関数における可視のカラートランジション(color transition)の数のカウントである。
合計グラディエントビジビリティ曲線60A,60B,60Cが図3の伝達関数tfおよび閾値gt=0.00031に対して示される。
合計グラディエントビジビリティ曲線の第1セクション60Aは、データ値0から120である。0から120までの乗算前伝達関数には有意な勾配がないため、合計グラディエントビジビリティ曲線は平坦である。
合計グラディエントビジビリティ曲線の第2セクション60Bは、データ値120から1520である。この領域において、合計グラディエントビジビリティは、伝達関数の勾配のため増加する。セクション60Bにおいて、この領域の全てのカラートランジションは可視であるように計算されるため、データ値ごとに1の増加がみられる。sgv(x)関数の値は、x軸の増分ごとに1増加する。
合計グラディエントビジビリティ曲線の第3セクション60Cは、データ値1520から1600である。1520から1600には乗算前伝達関数に有意な勾配がないため、合計グラディエントビジビリティ曲線は平坦である。
ビジビリティ回路27は合計グラディエントビジビリティテーブルをメモリ24に記憶する。すなわち、メモリ24は、ボリュームデータにおける複数のデータ値と複数の指標値を記憶する。他の実施形態において、合計グラディエントビジビリティテーブルは任意の好適なロケーションに記憶してよい。更なる実施形態において、合計グラディエントビジビリティを記憶するために任意の好適な方法を用いてよい。例えば、合計グラディエントビジビリティはリスト、ルックアップテーブル、または、関数として記憶してもよい。
図5は合計グラディエントビジビリティテーブル70の単純化版を示す。図5の合計グラディエントビジビリティテーブルは、0から10までの11個のデータ値のみを有する。図5のデータ値は、図3に示す伝達関数と無関係である。図5の合計グラディエントビジビリティテーブルは、合計グラディエントビジビリティの値の算出方法の簡単な例のために示されている。
合計グラディエントビジビリティテーブル70の第1行71は、本例では0であるDataMinから、本例では10であるDataMaxまでのデータ値を含む。合計グラディエントビジビリティテーブル70の第2行72は、適切な伝達関数(不図示)から得た第1行70の各データ値の色値を含む。色値は、図5において、例えば(x,x,x)などの文字で表現されるRGB値を含む。例示的な合計ビジビリティテーブル70で使用する表記法では、例えば(x,x,x)と(x,x,x’)など、非常に類似する値を示すためにプライム記号が使われる。例えば(x,x,x)と(x,x,y)など、より違いがある色を示すためには、異なる文字が使われる。
実際には、第2行は赤、緑、青の色値である3つの数字のセットを記憶する。
合計グラディエントビジビリティテーブル70の第3行73は、適切な伝達関数(不図示)から得た第1行70の各データ値のオパシティ値を含む。図5に示す例において、データ値0,1,9,10のオパシティ値はゼロである。他のデータ値のオパシティ値は、0.1である。
合計グラディエントビジビリティテーブル70の第4行74は、データ値ごとに0または1の値を含む。これらは、合計する前のグラディエントビジビリティ値である。tfpremul(i)とtfpremul(i-1)との差が閾値gtより小さい場合は、第4行74での対応するインターバルグラディエントビジビリティは0であり、tfpremul(i)とtfpremul(i-1)との差が閾値gt以上である場合は、第4行74での対応するインターバルグラディエントビジビリティは1である。
合計グラディエントビジビリティテーブル70の第5行75は、合計グラディエントビジビリティ値の値を含む。第5行の値は、DataMinからiまでのインターバルグラディエントビジビリティ値を加算して得られる。
図2のフローチャートに戻り、ステージ44にてビジビリティ回路27は、ステージ41で得たダウンサイズされたボリュームそれぞれのブロック毎のグラディエントビジビリティを計算する。
ダウンサイズされたボリュームの例を検討する。ビジビリティ回路27は、ダウンサイズされたボリューム内の複数のブロックを検討する。例えば、処理回路は、ボリュームデータを、それぞれが複数のピクセルまたはボクセルを有する複数のブロックに分割する。具体的には、処理回路は、ダウンサイズされた複数のボリュームのそれぞれを、個別の複数のブロックに分割する。各ブロックはk×k×kピクセルまたはボクセルのブロックサイズを有する。k×k×kは、k3と記載してよい。本実施形態において、ブロックサイズは8×8×8ボクセルである。他の実施形態において、任意の好適なブロックサイズを使用してよい。ブロックサイズが小さいほど、結果として圧縮は大きくなるかもしれないが、ブロックのビジビリティを計算するために必要なオーバーヘッドが大きくなる。いくつかの実施形態において、小さなブロックサイズ1×1×1であってもよい。
ダウンサイズされたボリュームのレベルごとに、ビジビリティ回路27は、ソースデータが可視の勾配を表示するだろう領域をみつけるために、合計グラディエントビジビリティテーブルを用いる。ブロック内のボクセルごとに、ビジビリティ回路27は、合計グラディエントビジビリティテーブルに対して、最小および最大の補間データ値をチェックする。例えば、処理回路は、ブロック内の複数のピクセルまたは複数のボクセルの複数のデータ値の補間によって取得可能な複数のデータ値の範囲を決定する。
ブロック内の個々のボクセルを検討する。各ボクセルは個別の座標値セット(x,y,z)を有する。ビジビリティ回路27は、ボクセル近傍とも称される、当該ボクセル周辺の関心領域を設定する。例えば、関心領域は、関心ボクセルと、当該関心ボクセルの最近傍ボクセルと、を含むかもしれない。関心領域は、補間中に、選択されたボクセルに組み合わされる可能性があるボクセルを含むかもしれない。本実施形態において、関心領域のサイズはブロックサイズと同一である。他の実施形態において、任意の好適な関心領域を用いてよい。例えば、関心領域はブロックサイズよりも大きくてもよい。
ビジビリティ回路27は、関心領域内のボクセルのデータ値を読出し、関心領域内のボクセルの最小データ値を決定する。ビジビリティ回路27は、(x,y,z)にあるボクセル周辺の関心領域内の最小データ値の合計グラディエントビジビリティ値gvmin(x,y,z)を取得するために、記憶された合計グラディエントビジビリティテーブルをルックアップする。
式3により、ブロックサイズがk3であり、xからx+k、yからy+k、zからz+kの3D領域のボリューム内の最小データ値をみつけ、最小データ値の合計グラディエントビジビリティを決定する。
ビジビリティ回路27は、関心領域内のボクセルのデータ値を読出し、関心領域内のボクセルの最大データ値を決定する。ビジビリティ回路27は、(x,y,z)にあるボクセル周辺の関心領域内の最大データ値の合計グラディエントビジビリティ値gvmax(x,y,z)を取得するために、記憶された合計グラディエントビジビリティテーブルをルックアップする。
式4により、ブロックサイズがk3であり、xからx+k、yからy+k、zからz+kの3D領域のボリューム内の最大データ値をみつけ、最大データ値の合計グラディエントビジビリティを決定する。
最小データ値と最大データ値が、可能な補間データ値の範囲を定めると考えてよい。他の実施形態において、最大データ値と最小データ値をみつけるために、任意の好適な方法を用いてよい。
最小データ値の合計グラディエントビジビリティgvmin(x,y,z)が最大データ値の合計グラディエントビジビリティgvmax(x,y,z)と等しい場合は、ビジビリティ回路27は、当該ボクセルを不可視に指定する。
最小データ値の合計グラディエントビジビリティgvmin(x,y,z)が最大データ値の合計グラディエントビジビリティgvmax(x,y,z)と等しくない場合は、ビジビリティ回路27は、当該ボクセルを可視に指定する。
生成した値が異なる場合は、当該ボクセルは潜在的に可視である勾配を含むと判断し、VoxelVisible(x,y,z)は真に設定される。生成された値が等しい場合は、当該ボクセルは潜在的に可視である勾配を含まないと判断し、VoxelVisible(x,y,z)は偽に設定される。
最小データ値の合計グラディエントビジビリティが最大データ値の合計グラディエントビジビリティと等しい場合は、当該ボクセルの近傍には閾値を上回る色勾配がないとみなされるかもしれない。色値とオパシティ値の組み合わせは、当該ボクセルの近傍において可能な補間データ値の全てで類似するだろう。当該ボクセルの近傍は、均質だとみなされるだろう。
潜在的に可視である勾配を有するブロックを、最終レンダリングにおいて保持することを意図している。ブロック内のボクセルのいずれかが可視に指定される場合は、ビジビリティ回路27は当該ブロックを可視に指定する。
ビジビリティ回路27は、ダウンサイズされたボリュームそれぞれのブロックにおける、ブロックごとのグラディエントビジビリティを決定する。ダウンサイジングのレベルが高いボリュームは、ダウンサイジングのレベルが低いボリュームよりも少ないブロックで形成される。
図2の実施形態において、合計グラディエントビジビリティ値は、ブロックごとのビジビリティ(可視性)を決定する際の指標値として使われる。すなわち、処理回路は、ブロック内の複数のピクセルまたは複数のボクセルの複数のデータ値に対応する複数の指標値を用いて、各ブロックにおいて、可視勾配を含むこと、または、可視勾配を含まないこととして指定する。例えば、処理回路は、複数のデータ値の範囲内の複数の指標値に差分がない場合、ブロックを可視勾配が含まないこととして指定し、複数のデータ値の範囲内の複数の指標値に差分がある場合、ブロックを可視勾配が含むこととして指定する。より詳細には、処理回路は、ダウンサイズされたボリュームのそれぞれの各ブロックを、可視勾配を含むこと、または、可視勾配を含まないこととして指定する。他の実施形態において、任意の好適な指標値を使用してよい。ビジビリティは、各データ値のインターバルグラディエントビジビリティ値に基づいて決定されるかもしれない。ビジビリティは、オパシティと色値、若しくは、オパシティと色値に基づくパラメータまたは関数の任意で好適な組み合わせから決定されてもよい。指標値は、例えば任意の好適なテーブル、リスト、または、関数など、任意の好適なフォーマットで記憶してよい。なお、処理回路は、更に低減した閾値を用いて、複数の指標値を再計算してもよい。
ステージ45において、ビジビリティ回路27は疎な八分木構造を計算する。疎な八分木構造は、ダウンサイズされたボリュームと同数のレベルを有する。本実施形態において、疎な八分木構造は、4つのダウンサイズされたレベルと、オリジナルのダウンサイズされていないボリュームを表すレベルとを有する。疎な八分木構造は、ステージ44で算出したブロックごとのビジビリティ値を用いて計算される。すなわち、処理回路は、ボリュームデータの領域毎に、可視勾配を含まないこととして指定された当該領域における最もダウンサイズされたブロックを示す疎な八分木を計算する。
八分木構造は、各ノードが8つの子ノードに分岐するノード構造である。八分木構造は、3次元レンダリングにしばしば使われる。
本実施形態において、八分木構造の第1レベルのノードは、最もダウンサイズされたボリュームのブロックを表わす。
最もダウンサイズされたボリュームのブロックが閾値より大きな勾配を有さず、ステージ44で不可視に指定された場合は、第1レベルの当該ブロックを表すノードから子ノードを生成しない。
最もダウンサイズされたボリュームのブロックが閾値より大きな勾配を有し、ステージ44で可視に指定された場合は、第1レベルの当該ブロックを表すノードから、第2レベルの8つの子ノードが生成される。8つの子ノードのそれぞれは、ダウンサイジング率が2番目に高いレベルであり、最もダウンサイズされたレベルのブロックのサイズの8分の1である。
子ノードが閾値より大きな勾配を有さない場合は、当該子ノードから孫ノードを生成しない。当該子ノードが閾値より大きな勾配を有する場合は、当該子ノードから、第3レベルの8つの孫ノードを生成する。
各ポイントでの八分木の深さは、閾値より大きい勾配を表示しない領域における最もダウンサイズされたブロックと等しい。閾値より大きい勾配があるところでは、八分木は下へ進み、閾値より大きい勾配がなくなるまで、または、オリジナルのダウンサイズされていないボリュームに至るまで、更なるノードを生成する。
図6は、疎な八分木構造80の一部の単純化した例を示す。疎な八分木構造80の第1レベルのノード82は、最もダウンサイズされたボリュームのブロックに対応する。疎な八分木構造の第1レベルはまた、図5に図示されていないが、最もダウンサイズされたボリュームのその他のブロックに対応する他のノードを含む。
図6の例では、ノード82によって表されるブロックは、少なくとも1つの可視勾配を含むことが、ステージ44で判断された。このため、ノード82から8つの子ノード84Aから84Hが生成される。当該8つの子ノードは、ノード82によって表されるブロックと同一のボリュームを共に占めるブロックを表す。当該8つの子ノードは、疎な八分木構造80の第2レベルである。第2レベルの各ブロックは、第1レベルのブロックのサイズの8分の1である。
ビジビリティ回路27は、ステージ44にて、8つの子ノード84Aから84Hそれぞれのビジビリティを決定する。図5の例では、子ノード84Aと84Gのブロックは、それぞれ可視勾配を含むと判断される。子ノード84B,84C,84D,84E,84F,84Hのブロックは、可視勾配を含まないと判断される。このため、子ノード84Aと84Gから孫ノードを生成するが、子ノード84B,84C,84D,84E,84F,84Hからは孫ノードを生成しない。八分木構造80は、八分木の所与のレベルにあるノードの一部だけが子ノードを有するため、疎である。
8つの孫ノード86Aから86Hは、子ノード84Aから生成される。8つの孫ノード88Aから88Hは、子ノード84Gから生成される。
実際には、疎な八分木構造80は、3レベルより多くをもつ可能性が高い。ステージ44のビジビリティ決定は、疎な八分木構造80のどのノードが子ノードを有するかを判断するために使われる。
疎な八分木構造80は、より大きなカラーバリエーション(color variation)がある画像ボリュームの領域において、より深くなる。これは、これらの領域により詳しい解剖学的詳細があることを示唆するかもしれない。疎な八分木構造80は、色が実質的に均質である画像ボリュームの領域において、浅くなる。
疎な八分木構造80は、画像ボリュームの疎な空間ルックアップを行う迅速な方法を与えるかもしれない。当該空間ルックアップを行うために、全てのデータをインデックス化する必要がないだろう。
ステージ46において、レンダリング回路28は、ボリューメトリック画像データセットからの画像を、ステージ45で決定した疎な八分木構造80を用いてレンダリングする。
レンダリング回路28は、疎な八分木構造80を用いて、混合解像度データセットを決定する。混合解像度データセットは、混合解像度データボリュームまたは混合解像度ボリュームデータとも称することがある。混合解像度データセットは、画像ボリュームの領域ごとに、可視勾配を含まない領域の最もダウンサイズされたブロックを含む。よって、混合解像度データセットの異なる部分は、ダウンサイズされた異なるボリュームに由来する。混合解像度データセットのいくつかの領域は、他の領域よりも圧縮率が高い。
例えば、処理回路は、混合解像度ボリュームデータがダウンサイズされた複数のボリュームの異なるものからの複数のブロックを含むように、混合解像度ボリュームデータを、疎な八分木を用いて計算する。すなわち、処理回路は、ボリュームデータの領域毎の圧縮率を、各領域の複数の色値と複数のオパシティ値とのうち少なくとも一つに基づいて決定する。換言すれば、処理回路は、圧縮率を、各ブロックの複数の色値と複数のオパシティ値とのうち少なくとも一つに依存して決定する。例えば、処理回路は、ボリュームデータの領域毎の圧縮率を、各領域の複数の色値と複数のオパシティ値とに基づいて決定する。具体的には、処理回路は、各領域内の複数のデータ値に対応する複数の指標値に依存して、圧縮率を決定する。なお、更に低減した閾値を用いて複数の指標値が再計算された場合、処理回路は、更に低減した閾値に基づいて混合解像度データボリュームを更新する。
疎な八分木構造80は、ボリューメトリックイメージングデータセットの使用中ブロックごとに、使用する最良のダウンサイジングレベルを究明する。レンダリング回路28は、ステージ44で不可視に指定された最もダウンサイズされたブロックをみつけるように、疎な八分木構造80に問い合わせを行う。
サンプリング時にダウンサイジングレベルを参照することにより、可視勾配を含まない最もダウンサイズされたレベルを用いて、レンダリングを行うかもしれない。例えば、処理回路は、異なる圧縮率を用いて異なる領域がレンダリングされるように、各領域の複数の色値と複数のオパシティ値とのうち少なくとも一つに基づく圧縮率を用いて、ボリュームデータをレンダリングする。ほとんどカラーバリエーションを含まない領域のレンダリングに、ボリューメトリックイメージングデータセットのダウンサイジング率が高いバージョンを使い、カラーバリエーションを多く含む領域のレンダリングに、ダウンサイジング率が低いバージョンまたはダウンサイズされていないバージョンを使うかもしれない。
レンダリング回路28は、混合解像度データセットをGPUメモリ32に渡す。GPU30は、従来のサンプリング方法を用いて、混合解像度データセットをサンプリングする。本実施形態において、各種ボリュームデータブロックの管理およびアップロードに対処するためにアトラスベースのシステムを使用する。アトラスベースのシステムの一例が、米国特許10,719,907に記載されており、参照することにより本願に組み込まれる。GPU30上のメモリの領域は、ボリュームデータの、および、指定されたロケーションのメモリロケーションを与える指標のストレージとして前もって割り当てられている。上記のように算出された許容可能な圧縮に基づき、当該データのダウンサイズされた領域が、当該ダウンサイズされたデータを示すように更新された指標と共に、GPUに送られる。
本実施形態において、使用されるレンダリング方法は、レイトレーシングを含む影付きボリュームレンダリング(Shaded Volume Rendering:SVR)である。ブロックをレンダリングするときは、レンダリング回路28は、当該ブロックに使用されるダウンサイジングレベルをみつけるために、疎な八分木構造80をルックアップする。レイトレーシングで使用する光線のステップサイズは、現在使用中のブロックのダウンサイジングレベルに基づいて修正される。光線が通過するブロックがダウンサイズされていない場合は、光線サンプリングポイントの間の第1の光線ステップサイズが用いられる。光線が通過するブロックがダウンサイズされている場合は、光線サンプリングポイントの間の光線ステップサイズを増大するかもしれない。例えば、2×ダウンサイズされたボリュームからのサンプリングのときは、使用する光線ステップサイズは、第1の光線ステップサイズの2倍であるかもしれない。増大した光線ステップサイズを使用することで、レンダリングが加速するかもしれない。例えば、処理回路は、疎な八分木に基づくレイトラバーサルのために光線のステップサイズを選択して、混合解像度ボリュームデータをレンダリングする。
いくつかの状況において、疎な八分木構造80のルックアップが、レンダリング速度の低下を引き起こすかもしれない。ダウンサイズされたブロックにおける光線ステップサイズの減少は、このような低下を補償するかもしれない。
ステージ47にて、レンダリング回路28はレンダリングされた画像をディスプレイスクリーン16に表示する。
図2の方法により、利用可能な装置メモリよりもずっと大きなボリュームのレンダリングが可能になるかもしれない。ラージスケールのメモリ要求が大きく低下するかもしれない。GPUにアップロードされるデータ量が著しく減少するかもしれない。
図2の方法は、現実的なケースで10:1オーダーの圧縮を達成し得る、ボリュームレンダリングのための伝達関数で認識するブロックベースの圧縮方式(transfer function aware block-based compression scheme)を提供するかもしれない。すなわち、図2に示す手順により本実施形態に係る技術的思想を医用画像処理方法で実現する場合、当該医用画像処理方法は、圧縮対象であるボリュームデータを取得し、ボリュームデータの各データ値に色値とオパシティ値とのうち少なくとも一つを関連付ける関数を取得し、ボリュームデータの領域毎の圧縮率を、各領域の複数の色値と複数のオパシティ値とのうち少なくとも一つに基づいて決定する。例えば、圧縮範囲は、使用するデータと適用する伝達関数に依存して、3:1から30:1であるかもしれない。較正値(閾値gt)は、圧縮の度合いを変更するために使用されるかもしれない。
図2の方法は、ボリュームが大きくなるほど、適切にスケールする(scale)ことがわかっている。
疎な八分木構造80は、全てのデータをインデックス化せずに、疎な空間ルックアップを行う迅速な方法を提供するかもしれない。当該データセットの同様のエリアを、疎な八分木構造80のより高いレベルのノード、すなわち、より高いレベルの圧縮に、さらに分割せずに使ってよい。
例示的な大きいマトリクスボリュームが、図2を参照して上で説明した方法を用いて圧縮された。最大解像度1024×1024×221では、ボリューメトリック画像データセットのサイズは442MBであった。画像ボリュームの各領域の解像度が図2の方法を用いて決定される混合解像度では、ボリューメトリック画像データセットのサイズは45MBであった。最大解像度を用いてレンダリングされた画像と、混合解像度を用いてレンダリングされた画像は、酷似している。よって、図2の方法を使って、有意なレベルの圧縮が達成された。以上により、本実施形態によれば、レンダリング画像への影響を低減可能に、ボリュームデータを圧縮することができる。
図2の方法をテストする実験において、図3の伝達関数を使って、9.8:1の圧縮率が達成されたことがわかった。30:1の圧縮率は、フラッシュなしで骨だけが可視化されるボックスボーン(box bone)伝達関数を用いるときに、達成された。圧縮率3:1は、全てのボリュームが可視化されるが、一部はうっすらとだけ視覚するフォギー(foggy)伝達関数を用いるときに、達成された。
グラディエントビジビリティ閾値gtを修正することで、圧縮率は、視覚忠実度に対してトレードオフされるかもしれない。閾値gtが高いほど圧縮率が高くなるが、最大解像度で生成した画像とは幾分異なるかもしれない。ある状況では、このような画像の変化がユーザに受け入れられるかもしれない。いくつかの実施形態において、ユーザが直接グラディエントビジビリティ閾値gtを選択できる、または、受け入れられるレベルの画像低下を選択できる。
一例では、同一のボリューメトリック画像データセットから、閾値gtの異なる値を用いて、複数の画像がレンダリングされる。最大サイズのボリュームのサイズは422MBである。
第1画像は、gt=0.001を用いてレンダリングされる。結果として得られる圧縮されたデータセットのサイズは、14.3MBであり、圧縮率は、30.8:1である。
第2画像は、gt=0.0003を用いてレンダリングされる。結果として得られる圧縮されたデータセットのサイズは、20.2MBであり、圧縮率は、21.9:1である。
第3画像は、gt=0.00005を用いてレンダリングされる。結果として得られる圧縮されたデータセットのサイズは、33.4MBであり、圧縮率は、13.2:1である。
4画像は、gt=0.000025を用いてレンダリングされる。結果として得られる圧縮されたデータセットのサイズは、82.2MBであり、圧縮率は、5.4:1である。
第1画像から第4画像のそれぞれに対して、当該画像と、最大の圧縮されていないデータセットでレンダリングされた画像との差を表す個別の差分画像が得られる。閾値 gt が低下するに従って、個別の差分画像が示す差が小さくなる。最も低い閾値では、ユーザが画像で差を知覚することが非常に困難であるかもしれない。
第5画像は、2×ダウンサイジングを用いてダウンサイズされたボリュームを使ってレンダリングされた。ダウンサイズされたボリュームは、混合解像度ではなく固定解像度を有する。ダウンサイズされたボリュームは、図2の方法を用いて取得されたものではない。ダウンサイズされたボリュームのサイズは55MBである。圧縮率は、8:1である。
最大サイズボリュームを用いてレンダリングされる画像と、2×ダウンサイズされたボリュームを用いてレンダリングされる第5画像との差を取得する。
第6画像は、図2の方法と、gt=0.0000275を用いてレンダリングされる。閾値は、第5画像をレンダリングするために使用する2×ダウンサイズされたデータセットと同じ程度のサイズのデータセットを結果として得るように選択される。第6画像をレンダリングするときに使用される混合解像度データセットのデータセットは、54MBである。圧縮率は、8.2:1である。
最大サイズボリュームを用いてレンダリングされる画像と、図2の方法を使って得た混合解像度データセットからレンダリングされる第6画像との差を取得する。
(図2の方法を使ってレンダリングされる)第6画像と最大サイズボリュームからレンダリングされる画像との差は、(固定解像度の2×ダウンサイズを使ってレンダリングされる)第5画像と最大サイズボリュームからレンダリングされる画像との差よりも、ずっと小さい。図2の方法を使ってレンダリングされる第6画像は、純粋なダウンサイジングを使って取得される第5画像よりも、ずっと多くの細部を維持している。
図2の方法を使うことにより、固定した圧縮率ではなくデータセットの領域毎に変化する圧縮率を用いることにより、同程度のデータサイズから、より向上した画像品質を得るだろう。
図2の方法のアプリケーションは、ラージスケールのボリュームデータだけに限定されないだろう。より小さいマトリクスのボリュームは典型的にはより大きな勾配を含むため、より小さいマトリクスのボリュームのための圧縮の度合いは低下するかもしれない。しかし、より大きなマトリクスのボリュームのための圧縮と同様の方法で、より小さいマトリクスのボリュームのための圧縮がなお達成されるかもしれない。
図2の方法はまた、利用可能なメモリが更に限られているハードウェア上のアプリケーションに使用されるかもしれない。携帯装置、拡張現実(augmented reality :AR)、または、仮想現実(virtual reality :VR)では、従来のデータ解像度であっても、レンダリングされたデータの圧縮から利益を得るかもしれない。例えば、レンダリングされたデータの実際の6:1圧縮は、携帯装置による大きな従来のボリュームのレンダリングを可能にするという点で、非常に有用かもしれない。
いくつかの実施形態において、図2の方法は、装置間のデータ転送を促進するために使用される。例えば、混合解像度データセットは、第1装置により図2の方法を用いて取得されるかもしれない。当該混合解像度データセットは、レンダリングのために第2装置へ転送されるかもしれない。
最大データボリュームではなく圧縮されたデータセットを送信することで、例えば、従来的データボリュームをブラウザ内で非常に高速でレンダリングすることが可能になるかもしれない。例えば、ネットワークを介した400MBの従来ボリューム(512×512×800)の転送には、高い費用がかかるかもしれない。ネットワークを介した40MBの圧縮されたボリュームの転送は、ずっと速いかもしれない。
いくつかの実施形態において、閾値gtを変更することにより、ボリューム品質が徐々にリファインされる。例えば、ある実施形態において、第1装置が第1閾値 gt を用いてオリジナルのデータボリュームを圧縮することにより、第1データセットを作成する。例えば、第1データセットは30:1の圧縮を有するかもしれない。第1装置は、第1データセットを第2装置に転送する。第2装置は、第1データセットから画像をレンダリングし、レンダリングされた画像を表示する。
第2装置が第1データセットから画像をレンダリングする間に、第1装置は、オリジナルのデータボリュームのより低い圧縮率で圧縮した表現である第2データセットを作成し転送する。第2データセットは、第2の、より低い閾値 gt を用いて圧縮される。第2データセットは、第1データセットより大きい。第2装置は、第2データセットをレンダリングして、表示されたデータをリファインする。
異なる圧縮の度合いをもつ、任意の数のデータセットが送信されてもよい。閾値 gt が低下すると、レンダリングされた画像における細部のレベルが向上する。
いくつかの実施形態において、全てのレンダリングを1つの装置で実行する場合であっても、閾値の低下をレンダリングにおいて使用するかもしれない。はじめに高い度合いの圧縮を用いることにより、ユーザが受容可能だと考えられる時間で画像が表示されるだろう。その後、時間をかけて当該画像をリファインしてもよい。
図2の方法において、レンダリングはSVRを用いて実行される。他の実施形態において、グローバルイルミネーション(Global Illumination)レンダリングが実行される。グローバルイルミネーションを使用するシステムにおいて、メモリはボリューメトリック画像データとフォトンマップとで共有される。多くの場合、メモリの50%がボリューメトリック画像データに割り当てられ、メモリの50%がフォトンマップに割り当てられる。ボリューメトリック画像データを有意に圧縮することにより、システム全体のメモリ要求において有意なゆとりとなるかもしれない。
いくつかの実施形態において、合計グラディエントビジビリティロジックが、フォトンマッピング時に使用する透過率伝達関数に適用される。透過率伝達関数は、マテリアルを通過可能な光の色を説明する。透過率伝達関数は、当該透過率をモデル化して現実的な影を得ることでより現実的にすることを目的とするフォトンレンダリングの方法を実行するために使用される。フォトンレンダリングは、一次レンダリング前のフォトンマッピングステージを含む。フォトンマッピングステージでは、当該シーンでの個々の光子の経路がトレースされる。マテリアルを通過する際の光子のエネルギー損失がモデル化される。合計グラディエントビジビリティ方法を用いてフォトンボリュームを圧縮するために、透過率伝達関数が使われる。
いくつかの実施形態において、強度投影(intensity projection :IP)ビューがレンダリングされる。レンダリングは、多断面再構成(multi-planar reconstruction)を含んでもよい。合計グラディエントビジビリティテーブルは、ウィンドウ幅とウィンドウレベルを用いて構築される。いくつかの実施形態において、IPビューは、データ値からグレイスケールシェードへのマッピングを用いてレンダリングされる。他の実施形態において、フルカラー伝達関数がデータ値に適用される。各インターバルの色値(色はグレイスケールを含んでもよい)の差を得て、色値の差と閾値とを比較して、インターバルビジビリティ値が決定される。その後インターバルビジビリティ値は、最小値から所与のデータ値までを加算して、当該データ値の合計グラディエントビジビリティ値を得る。合計グラディエントビジビリティ値を用いて、上記のように圧縮が実行される。
いくつかの実施形態において、min-max木を用いて、各ブロックに必要なダウンサンプリングの計算を高速化してもよい。min-max木は、各ブロックの最小および最大データ値を含む。
いくつかの実施形態において、合計グラディエントビジビリティの使用は、アトラスベースのシステムの使用と組み合わせられる。あるアトラスベースのシステムが、参照により本願に含まれる米国特許10,719,907に説明されている。当該アトラスベースのシステムは、構造ブロックとも説明されることがあるレンガ構造(bricked structure)を採用する。当該アトラスベースのシステムで使用されるオフセット圧縮システムを、図2の方法を用いる合計グラディエントビジビリティ圧縮と併せて使用してもよい。重み付け又はオフセットによりデータ値を変換するために、データセットの領域を、マルチチャネルアトラステクスチャの領域に、変換ベクトルを使って記憶してもよい。その後データ値は、当該変換ベクトルを使って回復される。
アトラスベースの方法を混合解像度データセットと併せて使用することにより、さらに性能が改善されるかもしれない。アップロードの負担が軽減されるかもしれない。
上記実施形態は医用イメージングデータについて説明したが、他の実施形態において、上記方法を用いて任意のデータを圧縮および/またはレンダリングしてかまわない。例えば、当該データはオイルおよびガスデータを含んでよい。当該データは、3次元の顕微鏡データを含んでよい。当該データは、例えば、気候データ、地質調査、人口統計、またはゲームデータを含んでよい。当該方法は、例えば、異なるデータタイプの高速パラレルサンプリングなど、高速パラレルサンプリングが行われる任意のアプリケーションに使用されてもよい。当該方法は、ボクセル化した伝達関数に基づく任意のシステムに使用されてもよい。
特定の回路が本明細書において説明されているが、代替の実施形態において、これらの回路の内の1つまたは複数の機能を、1つの処理リソースまたは他のコンポーネントによって提供することができ、または、1つの回路によって提供される機能を、2つまたはそれより多くの処理リソースまたは他のコンポーネントを組み合わせることによって提供することができる。1つの回路への言及は、当該回路の機能を提供する複数のコンポーネントを包含し、そのようなコンポーネントがお互いに隔たっているか否かにかかわらない。複数の回路への言及は、それらの回路の機能を提供する1つのコンポーネントを包含する。
所定の実施形態が説明されているが、これらの実施形態は、例示のためにのみ提示されており、発明の範囲を限定することは意図されない。実際は、本明細書において説明された新規な方法およびシステムは、様々な他の形態で具体化することができる。更に、本明細書において説明された方法およびシステムの形態における様々な省略、置き換え、および、変更が、発明の要旨を逸脱することなくなされてよい。添付の特許請求の範囲の請求項およびそれらに均等な範囲は、発明の範囲にはいるような形態および変更をカバーすると意図される。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
以上の実施形態等に関し、発明の一側面および選択的な特徴として以下の付記を開示する。
(付記1)
第1の態様において、圧縮対象であるデータボリュームを取得し、色値を前記データボリュームの各データ値に関連付ける関数を取得し、前記データボリュームの領域毎の圧縮率を、各領域の色値に基づいて変更する、ように構成された処理回路を備えた医用画像処理装置を提供する。
(付記2)
前記関数は、オパシティ値を前記データボリュームの各データ値にさらに関連付けてよい。前記データボリュームの前記領域毎の圧縮率の前記変更は、各領域の色値とオパシティ値に基づいてよい。
(付記3)
前記関数は伝達関数であってよい。前記関数は反射率伝達関数であってよい。前記関数は透過率伝達関数であってよい。
(付記4)
前記処理回路は、異なる領域が異なる圧縮率を用いてレンダリングされるように、前記データボリュームからの画像を各領域の色値に基づく圧縮率を用いてレンダリングするようにさらに構成されてよい。前記処理回路は、異なる領域が異なる圧縮率を用いてレンダリングされるように、前記データボリュームからの画像を各領域の色値とオパシティ値に基づく圧縮率を用いてレンダリングするようにさらに構成されてよい。
(付記5)
前記処理回路は、前記データボリュームを、それぞれが複数のピクセルまたはボクセルを有する複数のブロックに分割するようにさらに構成されてよい。前記圧縮率の前記変更は、各ブロックの色値に依存してよい。前記圧縮率の前記変更は、各ブロックの色値とオパシティ値に依存してよい。
(付記6)
前記処理回路は、前記関数を用いて各データ値の指標値を決定するようにさらに構成されてよい。前記指標値は色値に依存してよい。前記指標値は色値とオパシティ値に依存してよい。
(付記7)
前記装置は、前記データ値と指標値を記憶するように構成されるメモリをさらに備えてよい。前記圧縮率の前記変更は、各領域内の前記データ値に対応する前記指標値に依存してよい。
(付記8)
所与のデータ値の前記指標値の前記決定は、前記所与のデータ値の色およびオパシティの組み合わせと、直前のデータ値の色およびオパシティの組み合わせとの差を得て、前記所与のデータ値のインターバルグラディエントビジビリティ(interval gradient visibility)を決定するために前記差を使用することを含んでよい。インターバルグラディエントビジビリティを決定するために前記差を使用することは、前記差と閾値とを比較することを含んでよい。
(付記9)
前記指標値は、合計グラディエントビジビリティ値(summed gradient visibility value)を含んでよい。所与のデータ値の前記合計グラディエントビジビリティ値は、インターバルグラディエントビジビリティ値を、最小データ値から前記所与のデータ値まで加算することで得られてもよい。
(付記10)
前記指標値は、CIELAB色空間で計算されてよい。色値はグレイスケール値を含んでよい。
(付記11)
前記処理回路は、各ブロックを、可視勾配を含む、または、可視勾配を含まないに指定するようにさらに構成されてよい。各ブロックの前記指定は、前記ブロック内のピクセルまたはボクセルの前記データ値に対応する前記指標値を用いて行われてよい。
(付記12)
可視勾配を含む、または、可視勾配を含まないに各ブロックを前記指定することは、前記ブロック内のピクセルまたはボクセルのデータ値の補間によって取得可能な前記データ値の範囲を決定し、前記データ値の範囲内の指標値に差分がない場合は、前記ブロックを可視勾配が含まれないに指定し、前記データ値の範囲内の指標値に差分がある場合は、前記ブロックを可視勾配が含まれるに指定すること、を含んでよい。
(付記13)
前記処理回路は、前記データボリュームから複数のダウンサイズされたボリュームを生成するように構成されてよい。前記ダウンサイズされたボリュームのそれぞれは、異なる圧縮率を用いて生成されてよい。
(付記14)
前記処理回路は、前記ダウンサイズされたボリュームのそれぞれを、個別の複数のブロックに分割し、前記ダウンサイズされたボリュームのそれぞれの各ブロックを、可視勾配を含む、または、可視勾配を含まないに指定するようにさらに構成されてよい。
(付記15)
前記処理回路は、前記データボリュームの領域毎に、可視勾配を含まないと指定された当該領域における最もダウンサイズされたブロックを示す疎な八分木を計算するようにさらに構成されてよい。
(付記16)
前記処理回路は、混合解像度データボリュームを前記疎な八分木(sparse octree)を用いて計算するようにさらに構成されてよい。前記混合解像度データボリュームは、前記ダウンサイズされたボリュームの異なるものからのブロックを含んでよい。
(付記17)
前記処理回路は、前記疎な八分木に基づくレイトラバーサル(ray traversal)のために光線のステップサイズを選択するように構成されてよい。
(付記18)
前記処理回路は、前記混合解像度データボリュームを、レンダリングのために、ネットワーク接続を介して更なる装置へ送るように構成されてよい。
(付記19)
前記処理回路は、更に低減した閾値を用いて、前記指標値を再計算するように構成されてよい。
(付記20)
前記処理回路は、圧縮率が前記更に低減した閾値を用いて計算された指標値に基づく前記データボリュームからの更なる画像をレンダリングするように構成されてよい。
(付記21)
前記処理回路は、前記更に低減した閾値に基づいて前記混合解像度データボリュームを更新するように構成してよい。前記処理回路は、前記更新された混合解像度データボリュームを前記更なる装置へレンダリングのために前記ネットワーク接続を介して送るように構成されてよい。
(付記22)
更なる態様において、圧縮対象であるデータボリュームを取得し、色値を前記データボリュームの各データ値に関連付ける関数を取得し、前記データボリュームの領域毎の圧縮率を、各領域の色値に基づいて変更する、ことを備えた医用画像処理方法を提供する。
(付記23)
前記関数は、オパシティ値を前記データボリュームの各データ値にさらに関連付けてよい。前記データボリュームの前記領域毎の圧縮率の前記変更は、各領域の色値とオパシティ値に基づいてもよい。
(付記24)
更なる態様において、コンピュータで実行されたときに前記コンピュータに下記の方法を実行させるコンピュータ読取可能な命令をコードされた非一時的なコンピュータ読取可能媒体を提供する。前記方法は、圧縮対象であるデータボリュームを取得し、色値を前記データボリュームの各データ値に関連付ける関数を取得し、前記データボリュームの領域毎の圧縮率を、各領域の色値に基づいて変更する、ことを備える。
(付記25)
独立して提供され得る更なる態様において、圧縮対象であるデータを取得し、前記データの各データ値に対応する色値とオパシティ値の割り当て情報に基づいて圧縮率を変更する、ように構成された処理回路を備えた医用画像処理装置を提供する。
(付記26)
前記処理回路は、前記データを複数のボクセルで構成されるブロックに分割し、前記ブロックに含まれる前記複数のボクセルの各データ値に対応する色値とオパシティ値の割り当て情報に基づいて、前記圧縮率を変更する、ようにさらに構成されてよい。
(付記27)
前記処理回路は、前記ブロック内のボクセルの前記データ値に対応する指標値の差分に基づいて、各ブロックの圧縮の必要性を決定するように、更に構成されてよい。
(付記28)
前記指標値は、前記データ値に対応する伝達関数の指標値の差分に基づいて決定されるsgv値により決定されてよい。
(付記29)
前記指標値は、前記データ値に比例する前記sgv値を加算して決定されてもよい。
(付記30)
独立して提供され得る更なる態様において、各ブロックのダウンサイジングの必要レベルが、レンダリング伝達関数から生成される合計グラディエントビジビリティテーブルの使用を通して計算され、結果としての混合解像度ボリュームが表示用の画像へとレンダリングされる、圧縮されたブロックベースのデータフォーマットを用いるボリュームデータを視覚化する方法を提供する。
(付記31)
前記合計グラディエントビジビリティテーブルは、CIELABの視覚的に均等な色空間で計算される色勾配を用いて生成されてよい。
(付記32)
前記常駐するダウンサンプルされたブロックのスケーリングに合致するように、前記光線ステップサイズを修正してよい。
(付記33)
前記勾配閾値試験を通過する所与の領域において最もダウンサイズされたブロックを説明し、その後、前記ステップサイズを動的に変化させるためにレイトラバーサルの間に使用される、疎な八分木を計算してよい。
(付記34)
レンダリングサブシステムは、第2の連結された機械に存在するかもしれない。前記混合解像度データボリュームは、顧客側でレンダリングするためにネットワーク接続を介して送られてもよい。
(付記35)
追加の高解像度領域が前記ネットワークを介してストリームされるに従って、前記混合解像度データボリュームがゆっくりと細部を得るように、前記合計グラディエントビジビリティテーブルを計算するために使用される前記閾値を、時間をかけて徐々に下げてもよい。
(付記36)
独立して提供され得る更なる態様において、ボリュームを表すボリューメトリックイメージングデータセットのビューをレンダリングする方法を提供する。前記方法では、圧縮されたブロックベースのデータフォーマットが使用され、前記ボリューメトリックイメージングデータセットは、前記データセットよりも低い解像度のブロックにダウンサイズされる。前記方法は、異なるサイズのブロックに対して、例えば勾配などの潜在的に可視である画像関心特徴が、前記ブロックに適用される前記レンダリングからの結果としての画像に存在するかを判断し;例えば勾配などの潜在的に可視である画像関心特徴が存在するかの前記判断に依存して、ブロックサイズを選択し;画像を作成するために、前記選択されたブロックサイズを用いてレンダリングを行う、ことを備える。
(付記37)
前記レンダリングは、色および/またはオパシティおよび/または他の画像パラメータを前記データセットの値に基づいて決定する伝達関数を使うことを備えてよい。前記方法は、前記伝達関数に基づきグラディエントビジビリティテーブルを作成し、前記テーブルを用いて前記ブロックサイズの決定を行う、ことを備えてよい。
(付記38)
異なるサイズのブロックに対して、例えば勾配などの潜在的に可視である画像関心特徴が存在するかの前記判断は、閾値より大きい勾配値を有する勾配が存在するかを判断することを含んでよい。
(付記39)
異なるダウンサイジングレベルは、前記ボリューム内の異なる領域に対して、前記ダウンサイズされたデータからレンダリングされる画像に閾値より大きい勾配をもたらす異なる領域に対するダウンサイジングレベルに依存して、使用されてもよい。
(付記40)
前記グラディエントビジビリティテーブルは、視覚的に均等な色空間で計算される色勾配を用いて生成されてよい。
(付記41)
前記レンダリングは、レイキャスティング処理を使用することを含んでよい。光線のステップサイズを、ダウンサンプルされた1つまたは複数のブロックの前記スケーリングに合致するように、光線のステップサイズを修正してよい。
(付記42)
前記勾配閾値試験を通過する所与の領域において最もダウンサイズされたブロックを説明し、その後、前記ステップサイズを動的に変化させるためにレイトラバーサルの間に使用される、疎な八分木を計算してよい。
(付記43)
前記方法は、第1処理リソースを用いて前記ダウンサイジングを行い、前記ダウンサイズされたデータを第2処理リソースにネットワークを介して送信し、前記第2処理リソースで画像を生成するために前記レンダリングを行う、ことを備えてよい。
(付記44)
高解像度のダウンサイズされたデータがネットワークを介して送信され、レンダリングされるに従って、レンダリングされた画像が時間をかけて細部を得るように、前記またはある勾配閾値が時間をかけて下げてよい。
(付記45)
ある態様における特徴を、任意の他の態様における特徴として適宜提供してよい。例えば、方法の特徴を装置の特徴として提供してよく、逆も同様である。ある態様の任意の1つ又は複数の特徴を、任意の他の態様における任意の適切な1つ又は複数の特徴と組み合わせて提供してよい。
(付記1)
第1の態様において、圧縮対象であるデータボリュームを取得し、色値を前記データボリュームの各データ値に関連付ける関数を取得し、前記データボリュームの領域毎の圧縮率を、各領域の色値に基づいて変更する、ように構成された処理回路を備えた医用画像処理装置を提供する。
(付記2)
前記関数は、オパシティ値を前記データボリュームの各データ値にさらに関連付けてよい。前記データボリュームの前記領域毎の圧縮率の前記変更は、各領域の色値とオパシティ値に基づいてよい。
(付記3)
前記関数は伝達関数であってよい。前記関数は反射率伝達関数であってよい。前記関数は透過率伝達関数であってよい。
(付記4)
前記処理回路は、異なる領域が異なる圧縮率を用いてレンダリングされるように、前記データボリュームからの画像を各領域の色値に基づく圧縮率を用いてレンダリングするようにさらに構成されてよい。前記処理回路は、異なる領域が異なる圧縮率を用いてレンダリングされるように、前記データボリュームからの画像を各領域の色値とオパシティ値に基づく圧縮率を用いてレンダリングするようにさらに構成されてよい。
(付記5)
前記処理回路は、前記データボリュームを、それぞれが複数のピクセルまたはボクセルを有する複数のブロックに分割するようにさらに構成されてよい。前記圧縮率の前記変更は、各ブロックの色値に依存してよい。前記圧縮率の前記変更は、各ブロックの色値とオパシティ値に依存してよい。
(付記6)
前記処理回路は、前記関数を用いて各データ値の指標値を決定するようにさらに構成されてよい。前記指標値は色値に依存してよい。前記指標値は色値とオパシティ値に依存してよい。
(付記7)
前記装置は、前記データ値と指標値を記憶するように構成されるメモリをさらに備えてよい。前記圧縮率の前記変更は、各領域内の前記データ値に対応する前記指標値に依存してよい。
(付記8)
所与のデータ値の前記指標値の前記決定は、前記所与のデータ値の色およびオパシティの組み合わせと、直前のデータ値の色およびオパシティの組み合わせとの差を得て、前記所与のデータ値のインターバルグラディエントビジビリティ(interval gradient visibility)を決定するために前記差を使用することを含んでよい。インターバルグラディエントビジビリティを決定するために前記差を使用することは、前記差と閾値とを比較することを含んでよい。
(付記9)
前記指標値は、合計グラディエントビジビリティ値(summed gradient visibility value)を含んでよい。所与のデータ値の前記合計グラディエントビジビリティ値は、インターバルグラディエントビジビリティ値を、最小データ値から前記所与のデータ値まで加算することで得られてもよい。
(付記10)
前記指標値は、CIELAB色空間で計算されてよい。色値はグレイスケール値を含んでよい。
(付記11)
前記処理回路は、各ブロックを、可視勾配を含む、または、可視勾配を含まないに指定するようにさらに構成されてよい。各ブロックの前記指定は、前記ブロック内のピクセルまたはボクセルの前記データ値に対応する前記指標値を用いて行われてよい。
(付記12)
可視勾配を含む、または、可視勾配を含まないに各ブロックを前記指定することは、前記ブロック内のピクセルまたはボクセルのデータ値の補間によって取得可能な前記データ値の範囲を決定し、前記データ値の範囲内の指標値に差分がない場合は、前記ブロックを可視勾配が含まれないに指定し、前記データ値の範囲内の指標値に差分がある場合は、前記ブロックを可視勾配が含まれるに指定すること、を含んでよい。
(付記13)
前記処理回路は、前記データボリュームから複数のダウンサイズされたボリュームを生成するように構成されてよい。前記ダウンサイズされたボリュームのそれぞれは、異なる圧縮率を用いて生成されてよい。
(付記14)
前記処理回路は、前記ダウンサイズされたボリュームのそれぞれを、個別の複数のブロックに分割し、前記ダウンサイズされたボリュームのそれぞれの各ブロックを、可視勾配を含む、または、可視勾配を含まないに指定するようにさらに構成されてよい。
(付記15)
前記処理回路は、前記データボリュームの領域毎に、可視勾配を含まないと指定された当該領域における最もダウンサイズされたブロックを示す疎な八分木を計算するようにさらに構成されてよい。
(付記16)
前記処理回路は、混合解像度データボリュームを前記疎な八分木(sparse octree)を用いて計算するようにさらに構成されてよい。前記混合解像度データボリュームは、前記ダウンサイズされたボリュームの異なるものからのブロックを含んでよい。
(付記17)
前記処理回路は、前記疎な八分木に基づくレイトラバーサル(ray traversal)のために光線のステップサイズを選択するように構成されてよい。
(付記18)
前記処理回路は、前記混合解像度データボリュームを、レンダリングのために、ネットワーク接続を介して更なる装置へ送るように構成されてよい。
(付記19)
前記処理回路は、更に低減した閾値を用いて、前記指標値を再計算するように構成されてよい。
(付記20)
前記処理回路は、圧縮率が前記更に低減した閾値を用いて計算された指標値に基づく前記データボリュームからの更なる画像をレンダリングするように構成されてよい。
(付記21)
前記処理回路は、前記更に低減した閾値に基づいて前記混合解像度データボリュームを更新するように構成してよい。前記処理回路は、前記更新された混合解像度データボリュームを前記更なる装置へレンダリングのために前記ネットワーク接続を介して送るように構成されてよい。
(付記22)
更なる態様において、圧縮対象であるデータボリュームを取得し、色値を前記データボリュームの各データ値に関連付ける関数を取得し、前記データボリュームの領域毎の圧縮率を、各領域の色値に基づいて変更する、ことを備えた医用画像処理方法を提供する。
(付記23)
前記関数は、オパシティ値を前記データボリュームの各データ値にさらに関連付けてよい。前記データボリュームの前記領域毎の圧縮率の前記変更は、各領域の色値とオパシティ値に基づいてもよい。
(付記24)
更なる態様において、コンピュータで実行されたときに前記コンピュータに下記の方法を実行させるコンピュータ読取可能な命令をコードされた非一時的なコンピュータ読取可能媒体を提供する。前記方法は、圧縮対象であるデータボリュームを取得し、色値を前記データボリュームの各データ値に関連付ける関数を取得し、前記データボリュームの領域毎の圧縮率を、各領域の色値に基づいて変更する、ことを備える。
(付記25)
独立して提供され得る更なる態様において、圧縮対象であるデータを取得し、前記データの各データ値に対応する色値とオパシティ値の割り当て情報に基づいて圧縮率を変更する、ように構成された処理回路を備えた医用画像処理装置を提供する。
(付記26)
前記処理回路は、前記データを複数のボクセルで構成されるブロックに分割し、前記ブロックに含まれる前記複数のボクセルの各データ値に対応する色値とオパシティ値の割り当て情報に基づいて、前記圧縮率を変更する、ようにさらに構成されてよい。
(付記27)
前記処理回路は、前記ブロック内のボクセルの前記データ値に対応する指標値の差分に基づいて、各ブロックの圧縮の必要性を決定するように、更に構成されてよい。
(付記28)
前記指標値は、前記データ値に対応する伝達関数の指標値の差分に基づいて決定されるsgv値により決定されてよい。
(付記29)
前記指標値は、前記データ値に比例する前記sgv値を加算して決定されてもよい。
(付記30)
独立して提供され得る更なる態様において、各ブロックのダウンサイジングの必要レベルが、レンダリング伝達関数から生成される合計グラディエントビジビリティテーブルの使用を通して計算され、結果としての混合解像度ボリュームが表示用の画像へとレンダリングされる、圧縮されたブロックベースのデータフォーマットを用いるボリュームデータを視覚化する方法を提供する。
(付記31)
前記合計グラディエントビジビリティテーブルは、CIELABの視覚的に均等な色空間で計算される色勾配を用いて生成されてよい。
(付記32)
前記常駐するダウンサンプルされたブロックのスケーリングに合致するように、前記光線ステップサイズを修正してよい。
(付記33)
前記勾配閾値試験を通過する所与の領域において最もダウンサイズされたブロックを説明し、その後、前記ステップサイズを動的に変化させるためにレイトラバーサルの間に使用される、疎な八分木を計算してよい。
(付記34)
レンダリングサブシステムは、第2の連結された機械に存在するかもしれない。前記混合解像度データボリュームは、顧客側でレンダリングするためにネットワーク接続を介して送られてもよい。
(付記35)
追加の高解像度領域が前記ネットワークを介してストリームされるに従って、前記混合解像度データボリュームがゆっくりと細部を得るように、前記合計グラディエントビジビリティテーブルを計算するために使用される前記閾値を、時間をかけて徐々に下げてもよい。
(付記36)
独立して提供され得る更なる態様において、ボリュームを表すボリューメトリックイメージングデータセットのビューをレンダリングする方法を提供する。前記方法では、圧縮されたブロックベースのデータフォーマットが使用され、前記ボリューメトリックイメージングデータセットは、前記データセットよりも低い解像度のブロックにダウンサイズされる。前記方法は、異なるサイズのブロックに対して、例えば勾配などの潜在的に可視である画像関心特徴が、前記ブロックに適用される前記レンダリングからの結果としての画像に存在するかを判断し;例えば勾配などの潜在的に可視である画像関心特徴が存在するかの前記判断に依存して、ブロックサイズを選択し;画像を作成するために、前記選択されたブロックサイズを用いてレンダリングを行う、ことを備える。
(付記37)
前記レンダリングは、色および/またはオパシティおよび/または他の画像パラメータを前記データセットの値に基づいて決定する伝達関数を使うことを備えてよい。前記方法は、前記伝達関数に基づきグラディエントビジビリティテーブルを作成し、前記テーブルを用いて前記ブロックサイズの決定を行う、ことを備えてよい。
(付記38)
異なるサイズのブロックに対して、例えば勾配などの潜在的に可視である画像関心特徴が存在するかの前記判断は、閾値より大きい勾配値を有する勾配が存在するかを判断することを含んでよい。
(付記39)
異なるダウンサイジングレベルは、前記ボリューム内の異なる領域に対して、前記ダウンサイズされたデータからレンダリングされる画像に閾値より大きい勾配をもたらす異なる領域に対するダウンサイジングレベルに依存して、使用されてもよい。
(付記40)
前記グラディエントビジビリティテーブルは、視覚的に均等な色空間で計算される色勾配を用いて生成されてよい。
(付記41)
前記レンダリングは、レイキャスティング処理を使用することを含んでよい。光線のステップサイズを、ダウンサンプルされた1つまたは複数のブロックの前記スケーリングに合致するように、光線のステップサイズを修正してよい。
(付記42)
前記勾配閾値試験を通過する所与の領域において最もダウンサイズされたブロックを説明し、その後、前記ステップサイズを動的に変化させるためにレイトラバーサルの間に使用される、疎な八分木を計算してよい。
(付記43)
前記方法は、第1処理リソースを用いて前記ダウンサイジングを行い、前記ダウンサイズされたデータを第2処理リソースにネットワークを介して送信し、前記第2処理リソースで画像を生成するために前記レンダリングを行う、ことを備えてよい。
(付記44)
高解像度のダウンサイズされたデータがネットワークを介して送信され、レンダリングされるに従って、レンダリングされた画像が時間をかけて細部を得るように、前記またはある勾配閾値が時間をかけて下げてよい。
(付記45)
ある態様における特徴を、任意の他の態様における特徴として適宜提供してよい。例えば、方法の特徴を装置の特徴として提供してよく、逆も同様である。ある態様の任意の1つ又は複数の特徴を、任意の他の態様における任意の適切な1つ又は複数の特徴と組み合わせて提供してよい。
10 装置
12 コンピューティング装置
16 ディスプレイスクリーン
18 入力装置
20 データ記憶部
22 CPU
24 メモリ
26 ダウンサイジング回路
27 ビジビリティ回路
28 レンダリング回路
30 GPU
32 グラフィックメモリ
12 コンピューティング装置
16 ディスプレイスクリーン
18 入力装置
20 データ記憶部
22 CPU
24 メモリ
26 ダウンサイジング回路
27 ビジビリティ回路
28 レンダリング回路
30 GPU
32 グラフィックメモリ
Claims (19)
- 圧縮対象であるボリュームデータを取得し、
色値とオパシティ値とのうち少なくとも一つを前記ボリュームデータの各データ値に関連付ける関数を取得し、
前記ボリュームデータの領域毎の圧縮率を、各領域の複数の色値と複数のオパシティ値とのうち少なくとも一つに基づいて決定する、
処理回路を備えた医用画像処理装置。 - 前記関数は、オパシティ値を前記ボリュームデータの各データ値にさらに関連付け、
前記処理回路は、前記ボリュームデータの前記領域毎の圧縮率を、各領域の複数の色値と複数のオパシティ値とに基づいて決定する、
請求項1に記載の医用画像処理装置。 - 前記処理回路は、異なる圧縮率を用いて異なる領域がレンダリングされるように、各領域の複数の色値に基づく圧縮率を用いて、前記ボリュームデータをレンダリングする、
請求項1または2に記載の医用画像処理装置。 - 前記処理回路は、
前記ボリュームデータを、それぞれが複数のピクセルまたはボクセルを有する複数のブロックに分割し、
前記圧縮率を、各ブロックの複数の色値と複数のオパシティ値とのうち少なくとも一つに依存して決定する、
請求項1乃至3のうちいずれか一項に記載の医用画像処理装置。 - 前記処理回路は、前記関数を用いて各データ値の指標値を決定し、
前記指標値は色値に依存し、
前記ボリュームデータにおける複数のデータ値と複数の指標値を記憶するメモリをさらに備え、
前記処理回路は、各領域内の前記複数のデータ値に対応する前記複数の指標値に依存して、前記圧縮率を決定する、
請求項4に記載の医用画像処理装置。 - 前記処理回路は、所与のデータ値の前記指標値の決定において、前記所与のデータ値の色およびオパシティの組み合わせと、直前のデータ値の色およびオパシティの組み合わせとの差を得て、前記所与のデータ値のインターバルグラディエントビジビリティを決定するために前記差を使用する、
請求項5に記載の医用画像処理装置。 - 前記処理回路は、前記差と閾値とを比較して、前記インターバルグラディエントビジビリティを決定する、
請求項6に記載の医用画像処理装置。 - 前記指標値は、合計グラディエントビジビリティ値を含み、
前記処理回路は、複数のインターバルグラディエントビジビリティ値を、最小データ値から前記所与のデータ値まで加算することで、前記所与のデータ値の前記合計グラディエントビジビリティ値を取得する、
請求項7に記載の医用画像処理装置。 - 前記複数の指標値は、CIELAB色空間で計算される、
請求項5乃至8のうちいずれか一項に記載の医用画像処理装置。 - 前記処理回路は、前記ブロック内の複数のピクセルまたは複数のボクセルの前記複数のデータ値に対応する前記複数の指標値を用いて、各ブロックにおいて、可視勾配を含むこと、または、可視勾配を含まないこととして指定する、
請求項5乃至9のうちいずれか一項に記載の医用画像処理装置。 - 前記処理回路は、
前記ブロック内の複数のピクセルまたは複数のボクセルの複数のデータ値の補間によって取得可能な前記複数のデータ値の範囲を決定し、
複数のデータ値の前記範囲内の前記複数の指標値に差分がない場合、前記ブロックを可視勾配が含まないこととして指定し、
複数のデータ値の前記範囲内の複数の指標値に差分がある場合、前記ブロックを可視勾配が含むこととして指定すること、
を含む、請求項10に記載の医用画像処理装置。 - 前記処理回路は、前記ボリュームデータから、異なる解像度を用いて、複数のダウンサイズされたボリュームを生成する、
請求項7に記載の医用画像処理装置。 - 前記処理回路は、
前記ダウンサイズされた複数のボリュームのそれぞれを、個別の複数のブロックに分割し、
前記ダウンサイズされたボリュームのそれぞれの各ブロックを、可視勾配を含むこと、または、可視勾配を含まないこととして指定する、
請求項12に記載の医用画像処理装置。 - 前記処理回路は、前記ボリュームデータの領域毎に、可視勾配を含まないこととして指定された当該領域における最もダウンサイズされたブロックを示す疎な八分木を計算する、
請求項13に記載の医用画像処理装置。 - 前記処理回路は、混合解像度ボリュームデータが前記ダウンサイズされた複数のボリュームの異なるものからの複数のブロックを含むように、前記混合解像度ボリュームデータを、前記疎な八分木を用いて計算する、
請求項14に記載の医用画像処理装置。 - 前記処理回路は、前記疎な八分木に基づくレイトラバーサルのために光線のステップサイズを選択して、前記混合解像度ボリュームデータをレンダリングする、
請求項15に記載の医用画像処理装置。 - 前記処理回路は、更に低減した閾値を用いて、前記複数の指標値を再計算する、
請求項15に記載の医用画像処理装置。 - 前記処理回路は、前記更に低減した閾値に基づいて前記混合解像度ボリュームデータを更新する、
請求項17に記載の医用画像処理装置。 - 圧縮対象であるボリュームデータを取得し、
前記ボリュームデータの各データ値に色値とオパシティ値とのうち少なくとも一つを関連付ける関数を取得し、
前記ボリュームデータの領域毎の圧縮率を、各領域の複数の色値と複数のオパシティ値とのうち少なくとも一つに基づいて決定すること、
を備えた医用画像処理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/108,355 US11417027B2 (en) | 2020-12-01 | 2020-12-01 | Image data processing method and apparatus |
US17/108,355 | 2020-12-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022087789A true JP2022087789A (ja) | 2022-06-13 |
Family
ID=81752829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021077748A Pending JP2022087789A (ja) | 2020-12-01 | 2021-04-30 | 医用画像処理装置および医用画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11417027B2 (ja) |
JP (1) | JP2022087789A (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100441082B1 (ko) | 2002-07-31 | 2004-07-21 | 학교법인연세대학교 | 가시 순차적 분할 렌더링 알고리즘을 이용한 3차원 텍스쳐기반의 볼륨 그래픽 구조 및 방법 |
US7301538B2 (en) | 2003-08-18 | 2007-11-27 | Fovia, Inc. | Method and system for adaptive direct volume rendering |
SE0401021D0 (sv) * | 2004-04-21 | 2004-04-21 | Sectra Imtec Ab | Datareduktion för framställning av datorgenererad grafik och analys |
US7692651B2 (en) * | 2005-09-22 | 2010-04-06 | Siemens Medical Solutions Usa, Inc. | Method and apparatus for providing efficient space leaping using a neighbor guided emptiness map in octree traversal for a fast ray casting algorithm |
WO2009029671A1 (en) * | 2007-08-27 | 2009-03-05 | University Of Chicago | Systems and methods for image colorization |
CN102096939B (zh) | 2011-02-25 | 2013-06-05 | 浙江工业大学 | 面向医学海量数据的多分辨率体绘制方法 |
CN104200511B (zh) | 2014-08-27 | 2017-02-15 | 电子科技大学 | 基于块内插值的多分辨率体绘制方法 |
US10719907B2 (en) | 2018-02-27 | 2020-07-21 | Canon Medical Systems Corporation | Method of, and apparatus for, data processing |
-
2020
- 2020-12-01 US US17/108,355 patent/US11417027B2/en active Active
-
2021
- 2021-04-30 JP JP2021077748A patent/JP2022087789A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220172402A1 (en) | 2022-06-02 |
US11417027B2 (en) | 2022-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3358528B1 (en) | Point cloud proxy for physically-based volume rendering | |
US10893262B2 (en) | Lightfield rendering based on depths from physically-based volume rendering | |
US7439974B2 (en) | System and method for fast 3-dimensional data fusion | |
US7912264B2 (en) | Multi-volume rendering of single mode data in medical diagnostic imaging | |
US7893940B2 (en) | Super resolution contextual close-up visualization of volumetric data | |
JP5117490B2 (ja) | 深さ重み付けされたカラライゼーションを使用するボリュームレンダリング方法及び装置 | |
US20110228055A1 (en) | Space skipping for multi-dimensional image rendering | |
US20050143654A1 (en) | Systems and methods for segmented volume rendering using a programmable graphics pipeline | |
US20050219241A1 (en) | Processing three dimensional data for spatial three dimensional displays | |
US20060203010A1 (en) | Real-time rendering of embedded transparent geometry in volumes on commodity graphics processing units | |
US11100696B2 (en) | Systems, methods, and media for rendering voxel-based 3D content | |
US9846973B2 (en) | Method and system for volume rendering color mapping on polygonal objects | |
JP6215057B2 (ja) | 可視化装置、可視化プログラムおよび可視化方法 | |
Zinger et al. | View interpolation for medical images on autostereoscopic displays | |
JP2006526834A (ja) | ボリューム・レンダリング用の適応画像補間 | |
Wang et al. | LOD map-a visual interface for navigating multiresolution volume visualization | |
KR20160018675A (ko) | 다중 분류에 의한 영상의 볼륨 렌더링 | |
CN108573523B (zh) | 用于分割体积渲染的方法和系统 | |
JP7131080B2 (ja) | ボリュームレンダリング装置 | |
JP7297539B2 (ja) | 医用画像処理装置、及びレンダリング方法 | |
US12033268B2 (en) | Volumetric dynamic depth delineation | |
JP2022087789A (ja) | 医用画像処理装置および医用画像処理方法 | |
US20230237616A1 (en) | Image processing system and method for generating a super-resolution image | |
JP2023535340A (ja) | ダイレクトボリュームレンダリング装置 | |
JP7250546B2 (ja) | 医用画像処理装置、医用画像診断装置及び医用画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240312 |