JP2022063206A - 画像レンダリング装置および画像処理方法 - Google Patents

Abstract

【課題】グローバルイルミネーションの計算負荷を低減すると共に、表示変更時における見た目の不自然さを低減すること。【解決手段】実施形態に係る画像処理装置は、処理回路を備える。処理回路は、ボリューメトリック画像データからの画像を、少なくとも１つのシミュレートされた光源からの照明に基づいてレンダリングするように構成される。前記少なくとも１つのシミュレートされた光源の位置または他のプロパティが変化する場合に、前記照明は、光の強度の現在部分と、少なくとも１つの光の強度のトレイル部分と、から決定される。【選択図】図１

Description

本明細書及び図面に開示の実施形態は、画像レンダリング装置および画像処理方法に関する。

例えばボクセルのセットなど、ボリューメトリック画像データからのシーンおよび／または関心特徴を表す画像を生成するための各種画像レンダリング技術が知られている。そのような画像レンダリング技術は、ＣＴ（Computed Tomography）、ＭＲ（Magnetic Resonance）、超音波，ＰＥＴ（Positron-Emission Tomography）、ＳＰＥＣＴ（Single photon emission computed tomography）イメージングなどの任意の好適な画像診断法を用いて取得したボリューメトリック画像データから画像をレンダリングする、医用イメージングでの応用を含み、多くの分野で応用されている。

画像レンダリング技術の多くは、高い計算能力が必要であり、特に、例えば画像をナビゲーションすることにより、または、視点、ライティング（lighting）、または他の条件を変更することにより、ユーザが画像とインタラクションを行うときに必要である。そのようなインタラクションは、例えば患者または他の被検者の状態を診断または評価するために、例えば、ユーザが解剖学的特徴、病理、またはその他の特徴を異なる位置からまたは異なる条件下での視認を希望するかもしれない医用イメージングの応用において一般的である。

グローバルイルミネーション（Global Illumination）およびその他の高度なレンダリング技術では、性能を最大レベルで発揮するためには、利用可能な計算能力より高い能力をしばしば必要とする。例えば、仮想カメラまたは光源の移動またはその他の条件の変更などのユーザによるインタラクションのため、再レンダリングまたは再計算が必要になるときに、これが顕著になる。例えば、イラディアンスボリューム（irradiance volume）の解像度を低くすることにより、仮想光源が移動または光を伴って仮想カメラが移動する場合に、低い画像品質および／または低い精度またはライティング条件の他の品質でインタラクティブレンダリングを行うことが知られている。インタラクションが停止すると、例えば、仮想カメラまたは光の移動が停止すると、現在固定した位置で最高品質でレンダリングを実行することができる。しかし、カメラおよび／または光源の移動終了の後の不自然な遷移を結果として生じ、カメラまたは光の明らか移動はないが、ユーザはその後、全体画像にわたる微妙な変化に気付くかもしれない。そのような効果は、低または中レベルの計算能力を有するシステム、特に、臨床セッティングで使用するワークステーションまたはその他のコンピューティング装置である場合に、重大な品質結果をもたらし得る。

米国特許出願公開第２０１６０６３７５８号明細書 米国特許出願公開第２０１６２１７５６３号明細書 米国特許出願公開第２０１８２２７５６８号明細書

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、グローバルイルミネーションの計算負荷を低減すると共に、表示変更時における見た目の不自然さを低減することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

第１の態様において、処理回路を備える画像処理装置が提供される。前記処理回路は、ボリューメトリック画像データに基づく画像を、少なくとも１つのシミュレートされた光源からの照明に基づいてレンダリングするように構成される。前記少なくとも１つのシミュレートされた光源の位置または他のプロパティが変化する場合に、前記照明は、光の強度の現在部分と、少なくとも１つの光の強度のトレイル部分と、から決定される。

前記光の強度の現在部分と、前記光の強度のトレイル部分との光の強度の合計は、前記少なくとも１つの光源の前記位置が変化する前の光の強度の合計と等しくてもよい。

前記光の強度の現在部分と前記光の強度のトレイル部分は、前記少なくとも１つの光源の位置または他のプロパティの変化に基づいて変化してもよい。

前記少なくとも１つの光源の位置または他のプロパティの変化により、複数の照明状態であってそれぞれが異なる時点に対する照明状態が生成されてもよい。前記処理回路は、一連の前記異なる時点ごとに、現在の時点のための前記現在の強度に基づく現在の照明状態と、少なくとも１つの過去の時点のための少なくとも１つの前記光の強度のトレイル部分に基づく少なくとも１つのトレイル照明状態との組み合わせを使って、前記画像を再レンダリングするように構成してもよい。

前記照明状態は、イラディアンスボリューム、または、位置の関数として放射照度を表す他のデータセットを備えてもよい。

前記少なくとも１つのトレイル照明状態は、前記少なくとも１つの過去の時点が現在の時点であった時に現在の照明状態であったものの変換されたおよび／またはフェードされたバージョンを備えてもよい。

前記少なくとも１つの過去の時点のための前記トレイル照明状態を得るために、時間依存関数または他の関数が、当該少なくとも１つの過去の時点が現在の時点であった時に現在の照明状態であったものに適用されてもよい。

前記時間依存関数または他の関数は、指数関数を含んでもよい。

前記再レンダリングに使用する過去の時点の数は、画像処理装置の性能の測定結果と、入手可能な計算リソースと、のいずれか一方または両方に依存して決定されてもよい。

ブラーまたは他の所望のエフェクトを提供するために、前記過去の照明状態において、位置の関数としての放射照度の変動が変更してもよい。双方向反射率分布関数または他の関数を適用することにより、前記変動を変更させてもよい。

仮想光源の固定に応じて、または、前記光源の少なくとも１つのプロパティにおける他の変化の停止に応答じて、再レンダリングに使用されるトレイル照明状態の数を徐々に減らしゼロにしてもよい。

前記現在の時点のための前記照明状態は、前記過去の時点の少なくとも１つのための前記照明状態よりも低い解像度または他の品質測定で計算されてもよい。

前記現在の時点のための前記照明状態は、その後、オリジナルのより低い解像度または他の品質測定よりも高い解像度または他の品質測定で再計算されてもよい。

前記処理回路は、ジャンプを表す前記シミュレートされた光源の移動を特定し、特定されたジャンプに応答して、前記光の強度の前記現在部分および前記光の強度の前記トレイル部分の両方またはいずれか一方を使わずに、前記画像をレンダリングするように構成されてもよい。

前記処理回路は、複数のフレームであって、それぞれが前記時点の個別の１つと対応し、当該時点でのレンダリングされた画像を表すフレームを作成するように構成されてもよい。

前記処理回路は、ユーザ入力を受け付け、前記少なくとも１つのシミュレートされた光源の位置または他のプロパティの変化を前記ユーザ入力に基づいて生成するように構成されてもよい。

前記他のプロパティは、向き、ビーム方向またはサイズ、または光の色のうちの少なくとも１つを備えてもよい。

前記ボリューメトリック画像データは、医用イメージングデータ、ＣＴ、ＭＲ、超音波、ＰＥＴ、またはＳＰＥＣＴイメージングデータのうちの少なくとも１つを備えてもよい。

独立して提供し得るさらなる態様において、ボリューメトリック画像データからの画像を、少なくとも１つのシミュレートされた光源からの照明に基づいてレンダリングする、ことを備える画像処理方法を提供する。前記少なくとも１つのシミュレートされた光源の位置または他のプロパティが変化する場合に、前記照明は、光の強度の現在部分と、少なくとも１つの光の強度のトレイル部分と、から決定される。

一つの態様による特徴を任意の他の態様による特徴として提供してもよい。例えば、装置の特徴を方法の特徴として提供してもよく、その逆であってもよい。

図１は、実施形態に従う装置の概略図の一例である。 図２は、仮想光源の位置がカメラから視たシーンに対して相対的に移動するインタラクティブ処理の間の仮想カメラと仮想光源の相対位置の一例を示す概略図である。 図３は、実施形態に従った概略的なフローチャートの一例である。

ある実施形態は、処理回路を備える画像処理装置を提供する。前記処理回路は、ボリューメトリック画像データからの画像を、少なくとも１つのシミュレートされた光源からの照明に基づいてレンダリングするように構成される。前記少なくとも１つのシミュレートされた光源の位置または他のプロパティが変化する場合に、前記照明は、光の強度の現在部分と、少なくとも１つの光の強度のトレイル部分と、から決定される。

ある実施形態は、ボリューメトリック画像データからの画像を、少なくとも１つのシミュレートされた光源からの照明に基づいてレンダリングする、ことを備える画像処理方法を提供する。前記少なくとも１つのシミュレートされた光源の位置または他のプロパティが変化する場合に、前記照明は、光の強度の現在部分と、少なくとも１つの光の強度のトレイル部分と、から決定される。

実施形態に従ったデータ処理装置２０の一例が、図１に概略的に示される。本実施形態において、データ処理装置２０は、医用イメージングデータを処理するように構成される。他の実施形態において、データ処理装置２０は、任意の好適な画像データを処理するように構成されてよい。

データ処理装置２０は、本例ではパーソナルコンピュータ（ＰＣ）またはワークステーションであるコンピューティング装置２２を備える。コンピューティング装置２２は、表示スクリーン２６、または、他の表示装置と、コンピュータキーボードやマウスなどの１つまたは複数の入力装置２８とに接続される。

コンピューティング装置２２は、データ記憶部３０から画像データセットを取得するように構成される。画像データセットは、スキャナ２４によって取得され、データ記憶部３０に記憶されたデータを処理することにより生成された。

スキャナ２４は、医用イメージングデータを生成するように構成され、医用イメージングデータは、任意の画像診断法における２次元、３次元、または、４次元のデータを備えてよい。例えば、スキャナ２４は、磁気共鳴（ＭＲまたはＭＲＩ）スキャナ、ＣＴ（コンピュータ断層撮影）スキャナ、コーンビームＣＴスキャナ、Ｘ線スキャナ、超音波スキャナ、ＰＥＴ（陽電子放出断層撮影）スキャナ、または、ＳＰＥＣＴ（単一光子放射コンピュータ断層撮影）スキャナを備えてよい。医用イメージングデータは、例えば、非イメージングデータを備える追加的な条件付けデータを備える、または、関連付けられてよい。

コンピューティング装置２２は、データ記憶部３０の代わりに、または、データ記憶部３０に加えて、１つまたは複数の更なるデータ記憶部（図示されない）から医用画像データおよび／または更なる条件付けデータを受け取ってもよい。例えば、コンピューティング装置２２は、医用画像保管伝送システム（ＰＡＣＳ）または他の情報システムの一部を形成してもよい１つまたは複数の遠隔のデータ記憶部（図示されない）から医用画像データを受け取ることができる。

コンピューティング装置２２は、自動的に、または、半自動で画像データを処理するための処理リソースを提供する。コンピューティング装置２２は、処理装置３２を備える。処理装置３２は、例えば、少なくとも１つの仮想光源を与え、当該少なくとも１つの仮想光源を用いてイラディアンスボリュームまたはその他の照明状態(illumination states)を生成して、ライティングをシミュレートするライティング回路３４を備える。処理装置３２はまた、画像データとシミュレートされたライティングに基づいて画像をレンダリングするレンダリング回路３６と、ユーザまたはその他の入力を取得し、および／または、例えば、表示のために表示スクリーン２６にレンダリング回路からのレンダリングされた画像フレームまたはレンダリングされたデータを出力するインターフェイス回路３８とを備える。

本実施形態において、回路３４、３６、３８は、各々、実施形態の方法を実行するために実行可能であるコンピュータが読み出し可能な命令を有するコンピュータプログラムにより、コンピューティング装置２２に実装される。しかし、他の実施形態では、種々の回路が、１つまたは複数の特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）として実装されてよい。また、処理装置３２は、本実施形態における処理回路の一例である。また、処理装置３２を処理部と称しても良い。なお、ライティング回路３４、レンダリング回路３６、およびインターフェイス回路３８を、本実施形態における処理回路の一例としても良い。また、ライティング回路３４をライティング部、レンダリング回路３６をレンダリング部、インターフェイス回路３８をインターフェイス部としても良い。

また、コンピューティング装置２２は、ハードドライブと、ＲＡＭ、ＲＯＭ、データバス、種々のデバイスドライバを含むオペレーティングシステム、および、グラフィックカードを含むハードウェア装置を含んだＰＣの他のコンポーネントとを有する。その様なコンポーネントは、明瞭化のために、図１には示されない。

図１のデータ処理装置２０は、図示するおよび／または以下に記載する方法を実行するように構成される。

ある実施形態は、１つまたは複数の光源の相対移動中のライティング計算の解像度をただダウンサイズ／低減する代わりに、処理装置３２はシミュレートされた光を少なくとも２つの部分、すなわち、現在部分とトレイル部分に分けることにより、いくつかのフレームにわたる光の移動を償却する（amortize）ように構成されることを特徴とする。トレイル部分は、エネルギーが現在部分に加えられるたびに、フェード／減少させることができ、これにより強度を安定に維持する。１つまたは複数の光源の相対的移動に応じて、新しい位置からのライティングを開始する前に、光の強度の現在部分は光の強度のトレイル部分に加えることができる。相対的移動が停止すると、現在部分はfull強度になるまで継続してリファイン／上昇できる。相対的動きに基づく現在の光の更新をいくつかのフレームにわたって償却することにより高い画像品質を維持することができ、画像は鮮明になる。１秒当たり２０フレームのレンダリング率（fps）において、５フレームにわたる償却は、最大光遅延に値する２５０ｍｓである。これはまた、一種のモーションブラーエフェクトを生じ得る。光の強度の現在部分とは、現在の光源位置における光の強度である。また、光の強度のトレイル部分とは、過去の光源位置における光の強度である。

ある実施形態に従った償却処理（amortization processes）を図２，３に関連してより詳細に説明する。

図２は、画像データセットにより表されるボリュームへの視点を与える仮想カメラ５０の一例を示す。画像データセットは、当該ボリューム内に存在する関心特徴５２の表現を備える。医用応用の場合では、関心特徴は、例えば、解剖学的特徴または病理を備えるかもしれない。

本実施形態のボリューメトリック画像データセットは、ボクセルの配列を備える。ボクセルの配列は、患者の３次元領域の一部または全てに対応する３次元ボリュームを表す。各ボクセルは、ボリューメトリックイメージングデータセットの座標空間における位置と、関連付けられた信号強度とを有する。代替となる実施形態において、ボリューメトリックイメージングデータセットは信号強度の複数のチャネルを備えるかもしれない。例えば、ボリューメトリックイメージングデータセットが二重エネルギーＣＴデータを備える場合、ボリューメトリックイメージングデータセットが造影前データと造影後データの両方を備える場合、またはボリューメトリックイメージングデータセットがマルチボリューム・フュージョンシナリオにおいて取得したデータを備える場合は、１つより多い信号強度チャネルを使用するかもしれない。更なる実施形態において、ボリューメトリックイメージングデータセットは非ボクセルベースのデータを備えるかもしれない。

図２はまた、ライティング回路３４によって与えられる仮想光源５４を示す。仮想光源は、図２において一連の位置５４ａ，５４ｂ，５４ｃ，５４ｄで示され、各位置は異なる時間に対応する。本実施形態において、仮想光源の位置５４ａから、５４ｂと５４ｃを介して、５４ｄに至る移動は、インターフェイス回路によって判断されたユーザ入力に応答して与えられる。ユーザ入力は、例えば、タッチスクリーン、トラックボール、ロータリースイッチ、マウス、またはキーボードなどの任意の好適なユーザ入力装置を介して取得することができる。本例において仮想カメラがボリュームに対して固定されている場合は、図２に示す仮想光源の移動により、結果として光源５４と仮想カメラ５０による視点との相対的移動が生じる。

図２の実施形態において、仮想光源は、５４ｄへの移動以前の長期間にわたって位置５４ａに固定しており、この期間では償却が行われない、または、そのような償却の効果はほとんどない、又は、ない。はじめに、仮想光源が位置５４ａに固定している状態でレンダリングされた画像を生成するレンダリング処理を概略的に説明し、その後、仮想光源が５４ａから５４ｄに移動する間のライティングおよびレンダリング処理を説明する。

仮想光源５４が位置５４ａにあるとき、ライティング回路３４は、ライティングシミュレーション処理を用いて光源５４からの光をシミュレートする。ライティングシミュレーション処理は、光源５４からボリュームを通る光線の投射を備える。

仮想光源からのシミュレートされた光線のそれぞれは、当該光線の光路に沿って仮想光エネルギーをボリュームに分配する。ライティング回路３４は、光線ごとに、一連のサンプルポイントそれぞれでの当該光線による放射照度を当該光線に沿って計算する。当該サンプルポイントのスペーシング（spacing）は、任意の好適なものを使用してよい。各サンプルポイントでの放射照度は、当該サンプルポイント到達時の光線の仮想光エネルギーと、当該サンプルポイントでの吸収関数（absorption function）との積である。

本実施形態において、吸収関数は、サンプルポイントに隣接するボクセルの強度に依存して、各サンプルポイントに割り当てられる。例えば、隣接するボクセルからの強度を補間することにより、サンプルポイントでの強度を決定し、決定した強度に依存して吸収関数を割り当てるかもしれない。高いボクセル強度が高い吸収に関連付けられるかもしれない。別の実施形態では、ボクセル強度に依存して吸収関数が各ボクセルに割り当てられ、サンプルポイントの吸収関数が近隣するボクセルからの吸収関数を補間することにより決定されるかもしれない。

いくつかの実施形態において、吸収関数は色に依存する吸収特性を有する関数であり、分光吸収として説明されるかもしれない。吸収関数は、組織吸収を表すために、例えば、青色と緑色の光が赤色の光よりも強く吸収されるように定義されるかもしれない。サンプルポイントごとに計算された放射照度は、赤色、緑色、青色の要素の組み合わせとして記載され得る分光放射照度である。他の実施形態において、放射照度は分光放射照度ではないかもしれない。

本実施形態において、計算された放射照度は方向放射照度（ディレクショナルイラディアンス：directional irradiance）ではない。他の実施形態において、関連付けられた放射照度方向は、放射照度が計算される各サンプルポイントで決定されるかもしれない。放射照度方向は、各サンプルポイントでの光の入射方向かもしれない。任意の好適な放射照度モデルを使用してよい。

放射照度が計算される光線上の複数のサンプルポイントごとに、ライティング回路３４は任意の好適な方法を用いて複数の隣接するボクセルに放射照度を分配するかもしれない。例えば、いくつかの実施形態において、放射照度は最も近い８つの隣接ボクセルに分配されるかもしれない。他の実施形態において、各サンプルポイントでの放射照度は任意の好適な数のボクセルに分配されるかもしれない。

本実施形態において、各光線がボリュームを通過するに従って、仮想光エネルギーの一部が各サンプルポイントで吸収され、当該光線は弱く且つ赤くなる。光線の仮想光エネルギーの十分な部分が吸収されると、光線に沿った更なる位置に関して、光線に対してそれ以上の計算を行われないかもしれない。本実施形態において、光線の仮想光エネルギーの９９％が吸収された場合、光線に沿った更なる位置に関して、当該光線に対してそれ以上の計算を行われない。他の実施形態において、当該部分は、例えば９０％または９５％などと異なってもよい。

いくつかの実施形態において、ライティングシミュレーション処理は、直接照明（direct illumination）と同様に散乱をシミュレートするかもしれない。光線上のいくつかのサンプルポイントで、吸収と同様に、または、吸収に代わって散乱が生じるかもしれない。本実施形態においては単一散乱のみを考慮する。いくつかの実施形態において、多重散乱を考慮するかもしれない。いくつかの実施形態において、反射も考慮するかもしれない。

本実施形態において、ライティング回路３４が位置５４ａにある仮想光源５４に対して行ったライティングシミュレーション処理の結果が、ボリューメトリックイメージングデータセット内のボクセル位置ごとに少なくとも１つの放射照度値を備えるイラディアンスボリュームである。イラディアンスボリュームにおいて、各ボクセルは関連する放射照度を有し、関連する放射照度は当該ボクセルの近くにあるサンプルポイントでの仮想光エネルギーを蓄積した複数の光線からの放射照度寄与（irradiance contributions）の組み合わせであるかもしれない。当該イラディアンスボリュームは、当該イラディアンスボリューム内の各ボクセル位置に個別の放射照度を与えることにより、当該イラディアンスボリューム内の放射照度を位置の関数として表す。

本実施形態において、イラディアンスボリュームを計算するためにグローバルイルミネーション・ライティングモデルを使用する。他の実施形態において、任意の好適なライティングモデルを使用してもよい。

イラディアンスボリューム（例えば、ボリューム内の各ボクセルの放射照度値）を照明状態と称することがあり、例えば、仮想光源が位置５４ａにある時点での現在の照明状態などと使う。

他の実施形態において、イラディアンスボリュームは、基準ポイントのグリッドとして定義されるかもしれない。基準ポイントはボクセルと一致しても、一致しなくてもよい。いくつかの実施形態において、イラディアンスボリュームはサンプル数を低減したボクセルのグリッドとして定義されるかもしれない。更なる実施形態において、イラディアンスボリュームはグリッドを形成しないポイントのセット、例えば、ポイントクラウド、ツリー構造、又はツリー構造化ポイントクラウドとして定義されるかもしれない。放射照度を位置の関数として示すために、任意の好適な方法を使用してよい。

照明状態（例えば、イラディアンスボリューム）が計算されると、レンダリング回路は画像データと、位置５４ａにある仮想光源５４の計算された照明状態と、に基づいてレンダリング処理を行う。レンダリング処理は、仮想カメラ５０によって与えられる、視点位置と視点向きを備える視点で行われる。

仮想カメラは、ユーザ（例えば、臨床医または放射線医）からの入力に従って位置づけられるかもしれない。代わりに、レンダリング回路３６が、仮想カメラ５０を自動で位置づけてもよい。

その後、レンダリング回路３６はイラディアンスボリュームに基づいて画像をレンダリングする。レンダリングにおいて、レンダリング回路３６は、イラディアンスボリュームとボリューメトリックイメージングデータセットの両方を使用する。

画像は、仮想カメラ５０から見たようにレンダリングされる。レンダリング回路３６は、カメラから、ボリューメトリックイメージングデータセットによって表されるボリュームに光線を投射する。各光線はレンダリングによって得られる２次元画像データセットのピクセルに対応するかもしれない。カメラからの各光線は、ボリューメトリックイメージングデータセットによって表されるボリュームを、ボクセルスペーシング単位でステップする。他の実施形態において、異なるスペーシングを使ってもよい。

カメラから投射される所与の光線に対して、レンダリング回路３６は、計算した照明状態（例えば、イラディアンスボリューム）から、光線に沿った一連の増分ポイントそれぞれでの放射照度の値を決定する。増分ポイントが空隙 を表す場合は、光線は次の増分ポイントへとスキップする。

ライティング回路３４は、イラディアンスボリュームの隣接するボクセルから放射照度を補間することにより、各増分ポイントでの放射照度を決定できる。本実施形態では、各ポイントの補間において、最も近い８つの隣接ボクセルを考慮する。他の実施形態では、異なる数のボクセルを考慮するかもしれない。レンダリング回路３６は、光線のピクセル色値を得るために、カメラからの光線に沿った各増分ポイントでの放射照度を統合する。それによって、レンダリング回路３６は２次元画像データセットの各ピクセルの色値を決定する。

レンダリング回路３６によってレンダリングされた画像データが計算されると、インターフェイス回路３８がレンダリングされた画像データを、その後レンダリングされた画像を表示する表示スクリーン（ディスプレイ）２６に出力する。代わりに、インターフェイス回路はレンダリングされた画像データを、例えばネットワークを介して遠隔装置に送信してもよい、および／または記憶するためにデータ記憶部３０またはその他の記憶装置に送ってもよい。

位置５４ａに固定している仮想光源５４であり、仮想光源５４ａとカメラが視るボリュームとに相対的な移動がない場合に行われるライティングおよびレンダリング処理について上で説明した。実施形態の特徴は、仮想光源５４の相対的移動がある期間のライティングおよびレンダリング処理を変更することである。仮想光源の相対的移動がある期間のライティングおよびレンダリング処理の流れの一例を、図３のフローチャートを参照して以下で説明する。

処理の第１ステージ１００において、処理装置３２は新しいフレームが必要とされているかまたは要求されているかを判断する。本実施形態において、この判断は、フレームを再作成および／または再表示する、要望のまたは所定のフレームリフレッシュレートに基づく。フレームリフレッシュレートは、例えば、１秒あたり２５フレームまたはその他の任意の好適なフレームレートである。

次のステージ１０２において、仮想光源５４とカメラが視るボリュームとの相対的位置に変化があったかを判断する。

本実施形態において、仮想光源５４は位置５４ａから位置５４ｂに動いたところであるため、相対的移動があり、処理は、ライティングおよび／またはレンダリング処理において光トレイルが目下存在しているかを判断するステージ１０４に移る。

移動は始まったばかりであり、光トレイルは目下存在していないため、ステージ１０６で光トレイルが作成される。本実施形態の光トレイルの作成は、過去の時点に対応する過去の位置での仮想光の照明状態、本実施形態ではイラディアンスボリューム、を表すデータの作成および／または記憶することを含む。

本例では、光トレイルデータが、移動するまで現在のイラディアンスボリュームであったもの（例えば、過去の位置５４ａでの光で作成されたイラディアンスボリューム）のイラディアンスボリュームデータに加えられる。

ステージ１１０において、新しい現在の照明状態が作成される、本実施形態においては、新しい現在位置５４ｂにおける仮想光源のためのイラディアンスボリュームが作成される。仮想光源からの光線の投射に基づく上述した処理を用いて、光源の強度と吸収関数および／または散乱またはイラディアンスボリュームを作り上げるための他の関数に基づく光線に沿った一連のサンプルポイントでの各光線の放射照度を計算して、イラディアンスボリュームが計算される。

図３の実施形態は、計算負荷を低減するために、相対的移動の間に現在の光の状態（例えば、イラディアンスボリューム）がカメラおよび光源が固定されているときよりも低い解像度および／または精度および／またはその他の品質パラメータで計算されることを特徴とする。

このように、本例で、位置５４ｂにある仮想光源（現在の光の状態）のために計算されるイラディアンスボリュームは、仮想光源が位置５４ａに長期間固定されていた時にイラディアンスボリューム（処理のこの点での位置５４ａからの当該イラディアンスボリュームは、トレイル光部分として現在使用される）を計算するために使ったサンプルポイント間のステップサイズよりも大きいサンプルポイント間のステップサイズで計算される。計算負荷を減らし大きなステップサイズを使用するかもしれないが、現在の光部分のためのイラディアンスボリュームデータセット（例えば、位置５４ｂでの光のためのイラディアンスボリューム）の解像度が、トレイル光部分のためのイラディアンスボリューム（例えば、処理のこの点において、位置５４ａでの光のためのイラディアンスボリューム）の解像度と同一（例えば、各ボクセルの放射照度値）であることを保証するように、補間またはその他の処理を使用することができる。

実施形態は、現在の光とトレイル光からの寄与のトータル強度が一定を維持することを特徴とする。例えば、実施形態の変形例では、現在のイラディアンスボリューム（位置５４ｂでの光）を計算するときに使用される仮想光源の強度は、固定時である通常の強度から５０％低減され、現在の光の状態のイラディアンスボリュームにおける放射照度値（本例では、仮想光源５４が位置５４ａに固定していたときに計算された）もまた５０％低減されることで、移動があり２つ又はそれ以上の位置から仮想光源の寄与があるにもかかわらず、全体のライティング強度を一定に維持する。いくつかの変形例または代替の実施形態において、任意の好適な時間依存またはその他の関数を、現在およびトレイル部分に付与する相対的重みを決定するために使用できる、例えば、いくつかの実施形態において、１つまたは複数のトレイル光部分による寄与が時間に対して指数関数的に減衰するように、指数関数が例えば強度および／または放射照度値に適用されるかもしれない。いくつかの実施形態において、使用する関数またはそのパラメータおよび／またはトレイル光の状態が使用される過去の時点の数は、例えば、使用可能な計算リソースに依存して、および／または性能測定に依存して変化可能である。

少なくとも１つのトレイル照明状態は、当該少なくとも１つの過去の時点が現在の時点であった時に現在の照明状態であったものの変換されたおよび／またはフェードされたバージョンを備えるようにできる。

本実施形態の変形例の任意選択ステージである次のステージ１１２において、例えばブラー関数（blurring function）などの関数がトレイル光状態（例えば、仮想光源５４の過去の位置５４ａのイラディアンスボリューム）に適用される。当該関数は、例えば、インタラクションを追跡する光による方向性の不確かさを表す、または、考慮するようなものであるかもしれない。当該関数は任意の好適な所望のエフェクトを与えるかもしれない。

次のステージ１１４において、レンダリング回路３６は、ステージ１１４に関連して上述したレンダリング処理を用いて、放射照度とボリューメトリックイメージングデータセットに基づき、ボリュームの画像を再レンダリングする。しかし、レンダリング計算の実行において使用される放射照度値は、トレイル光位置と現在の光位置の両方（例えば、処理の本ステージでは５４ａと５４ｂ）のために得たイラディアンスボリュームの放射照度値の組み合わせから、ここで取得される。

レンダリング回路３６によりレンダリングされた画像データが計算されると、インターフェイス回路３８はレンダリングされた画像データを、レンダリングされた画像データを表示する表示スクリーン２６に出力する。

処理はステージ１００に戻る。例えば現在のフレームレートに基づき新しいフレームを表示する時間であれば、処理はステージ１０２に進み、仮想光源５４の更なる相対的移動があったかを判断する。実施形態の本オペレーション例では、仮想光源５４は位置５４ｃに移動したところなので、更なる相対的移動があった。

その後処理はステージ１０４に進み、現段階では、光トレイルが目下存在している（例えば、過去の仮想光位置５４から生じるイラディアンスボリューム）と、判断される。

その後処理はステージ１１６に進み、フォールオフ関数（fall-off function）が既存のトレイル光状態に適用される。フォールオフ関数は、時間依存関数である。任意の好適な関数を使用してよく、例えば、トレイル光寄与の重要性が時間経過で減少するようにしてよい。実施形態の本オペレーション例において、指数関数が適用され、仮想光位置５４ａで取得されたイラディアンスボリュームにおける放射照度値の大きさが、例えば、指数関数またはその他の関数の適用により得たスケーリング因子（scaling factor）により、更に減少する。

その後処理はステージ１０８に進み、再び、光トレイルデータが、直近の移動まで現在のイラディアンスボリュームであったもの（例えば、現在においては、過去の位置５４ｂでの光で作成したイラディアンスボリューム）のためのイラディアンスボリュームデータを含むように、修正される。このように、光トレイルデータは、過去の仮想光位置５４ａ，５４ｂの両方で得た放射照度データからの寄与を現在は備えているが、より新しい仮想光位置５４ｂの放射照度データに、より大きい重み付けが与えられている。

上記したように、位置５４ｂにある仮想光源のために計算されるイラディアンスボリュームは、仮想光源が位置５４ａに長期間固定されていた時にイラディアンスボリュームを計算するために使ったサンプルポイント間のステップサイズよりも大きいサンプルポイント間のステップサイズで計算され、それにより計算負荷が軽減された。実施形態の変形例または代替の実施形態において、ステージ１１０の前回の反復とステージ１０８への復帰との間の時間は、ライティング回路３４が、例えば、固定位置５４ａのためのイラディアンスボリュームを計算するために使用した時と同じステップサイズなど、より小さなステップサイズを用いて仮想光源５４ｂのために計算されたイラディアンスボリュームをリファインするために使われる。代わりに、オリジナルの、より大きいステップサイズをもつ位置５４ｂのためのイラディアンスボリュームを引き続き使用してもよい。

次のステージ１１０において、新しい現在の照明状態が再び作成される、本実施形態においては、新しい現在位置５４ｃにおける仮想光源のためのイラディアンスボリュームが再び作成される。仮想光源５４からの光線の投射に基づく上述した処理を用いて、光源の強度と吸収関数および／または散乱またはイラディアンスボリュームを作り上げるための他の関数に基づく光線に沿った一連のサンプルポイントでの各光線の放射照度を計算して、イラディアンスボリュームが計算される。計算負荷を軽減するために、大きくしたステップサイズを再び使用する。

処理は再びステージ１１２と１１４に進み、ブラーまたはその他の処理を光トレイルデータに適用し、現在の光データ（例えば、仮想光位置５４ｃのイラディアンスボリュームデータ）とトレイル光データ（例えば、異なる重みを有し、全体的な有効な光の強度を一定に維持する仮想光位置５４ａ，５４ｂのイラディアンスボリュームデータ）に基づきレンダリングを行い、レンダリングされた画像が表示される。

本例において、その後処理はステージ１００，１０２，１０４，１１６，１０８，１１０，１１２，１１４に再び進むが、現在の光部分寄与は新しい仮想光位置５４ｄにおいて計算されるイラディアンスボリュームであり、過去の仮想光位置５４ａ，５４ｂ，５４ｃにおいて得たイラディアンスボリュームはトレイル光部分に寄与し、仮想光位置５４ｃから生じる放射照度が仮想光位置５４ｂと５４ａからのものよりも大きく寄与するように時間経過で減衰する重み付けが与えられている。

図３の実施形態の本オペレーション例における仮想光源５４は、その後固定する。このように、処理が次にステージ１０２へ進むと、更なる相対的移動がなかったと判断され、ステージ１１８で光トレイルデータ（例えば、仮想光位置５４ａ，５４ｂ，５４ｃのイラディアンスボリューム寄与）があると判断し、ステージ１２０へ進む。

ステージ１２０において、例えば、上述した指数関数などのフォールオフ関数がトレイル光データに適用され、それによりトレイル光寄与（例えば、仮想光位置５４ａ，５４ｂ，５４ｃのイラディアンスボリューム寄与）が現在の光寄与（例えば、仮想光位置５４ｄのイラディアンスボリューム寄与）に対して低下する。このステージでは、仮想光位置（例えば、仮想光位置５４ａ，５４ｂ，または５４ｃ）のトレイル光寄与が閾値を下回る場合は、ゼロに設定するようにカットオフ（cut-off）も適用する。

次のステージ１２２において、現在の光寄与（例えば、仮想光位置５４ｄのイラディアンスボリュームデータ）が更新される。これは、低下したステップサイズでのイラディアンスボリュームデータの再計算またはリファイン、さもなければ、精度の向上（例えば、いくつかの実施形態において、光源が移動している間の計算から省略されていたかもしれない散乱または反射などの追加的エフェクトの考慮）を備え得る。

図３では示していないが、次のステージにおいて、レンダリング回路３６は上述のように放射照度とボリューメトリックイメージングデータセットに基づいて画像をレンダリングする。レンダリング計算の実行において使用される放射照度値は、現在の光位置（例えば、位置５４ｄ）で得たイラディアンスボリュームと、指数関数またはその他のフォールオフ関数の適用によりまだゼロまで低下していないトレイル光位置（例えば、位置５４ａ，５４ｂ，５４ｃ）のための残りの放射照度寄与と、の放射照度値の組み合わせから取得する。

次のステージ１２４において、全てのトレイル光寄与がゼロに低下したかを判断する。否であれば、処理はステージ１００に戻り、ステージ１０２，１１８，１２０，１２２，１２４が繰り返され、結果として、仮想光の過去の位置から生じる寄与が減少し、現在位置のライティング計算がよりリファインおよび／または精密になった、一連のレンダリングされた画像が表示される。

全てのトレイル光寄与がゼロに低下すると、処理はステージ１２４から１２６に移り、そこからステージ１００へ戻る。光源の更なる移動、または、ライティングまたはレンダリングにおけるその他の変化があるまで、同一の、レンダリングされた画像が表示スクリーン２６に表示され続ける。

上述の図３の実施形態のオペレーションを、仮想カメラ位置が固定されている一方で、照明しているボリュームに対して仮想光源が移動する場合に関連して説明する。いくつかの実施形態において、１つまたは複数の仮想光源は仮想カメラの位置にリンク付けられ、カメラ位置の変化が、例えばステージ１０２で監視される。他の実施形態において、仮想光源の位置と同様に、または、その代わりに光のプロパティの変化に応答して、トレイル光状態が再レンダリングに使用される。光のプロパティとは、例えば、光源の向き、ビーム方向、仮想光源によって生じる光ビームのサイズまたは形状、または、光の色の少なくとも１つである。

いくつかの実施形態では複数の仮想光源があり、当該光源の任意の１つまたは複数の光源の位置またはその他のプロパティの変化に応答して、トレイル光状態が使用されるかもしれない。

いくつかの実施形態において、処理回路は、位置またはその他のプロパティの変化がジャンプ（例えば、閾値量より大きく閾値時間よりも短い変化）を示すかを判断し、特定されたジャンプに応答して、光の強度の現在部分のみを用いておよび／または光の強度のトレイル部分を用いずに、画像をレンダリングする。このように、ジャンプが生じたときは、例えば、通常のレンダリング処理を使用することができる。

特定の光計算およびレンダリング処理を、レイキャスティングに基づいて、特定の実施形態に関連して説明したが、任意の好適な光計算およびレンダリング処理を代替の実施形態において使用することができる。

例えば、指向性光源または非指向性光源、単色光源、および／または光源の組み合わせ、などの任意の好適な仮想光源を使用できる。

ある実施形態は、新しい光の構成の部分的な更新を、過去の光の状態の変換されたおよび／またはフェードされた部分に組み合わせることにより、連続的な光の移動またはカメラと光の移動を償却する、グローバルイルミネーション・レンダリング装置を提供する。

光のトレイル部分と最新の部分とは別々の状態で蓄積され、光の構成における追加的変化により当該最新の部分が最新でなくなるときに組み合わせられるかもしれない。

償却は、更新のいくつかのフレームにわたって行われるかもしれない。

フォールオフ関数はトレイル光に使用されるかもしれない、また、トータルの残り強度は追加フレームが必要かを判断するために使用されるかもしれない。指数関数的フォールオフは適切なフォールオフ関数であり得る。

償却フレームカウントは、実行中のシステムの現在または以前のインタラクティブ性能に基づいて計算されるかもしれない。複数の移動光は、別々の最新のライティング状態を維持しつつ、同一のトレイル状態に寄与するかもしれない。

双方向反射率分布関数（bidirectional reflectance distribution function：ＢＲＤＦ)は、インタラクションを追跡する光によって生じる方向性の不確かさをモデル化するために、トレイル光状態に対して与えられる、または、トレイル光状態に応じて修正されるかもしれない。

装置は、連続した移動ではなく、システムが通常の画像品質管理メトリクスに頼るジャンプとみなすべきインタラクションを特定してもよい。

ある実施形態においては、照明状態がイラディアンスボリュームの形式で説明された。その他の任意の好適な照明状態を使用してもよい。ある実施形態に関するイラディアンスボリュームへの言及は、放射輝度ボリュームへの言及に置き換えることができる。

特定の回路が本明細書において説明されているが、代替の実施形態において、これらの回路の内の１つまたは複数の機能を、１つの処理リソースまたは他のコンポーネントによって提供することができ、または、１つの回路によって提供される機能を、２つまたはそれより多くの処理リソースまたは他のコンポーネントを組み合わせることによって提供することができる。１つの回路への言及は、当該回路の機能を提供する複数のコンポーネントを包含し、そのようなコンポーネントがお互いに隔たっているか否かにかかわらない。複数の回路への言及は、それらの回路の機能を提供する１つのコンポーネントを包含する。

所定の実施形態が説明されているが、これらの実施形態は、例示のためにのみ提示されており、発明の範囲を限定することは意図されない。実際は、本明細書において説明された新規な方法およびシステムは、様々な他の形態で具体化することができる。更に、本明細書において説明された方法およびシステムの形態における様々な省略、置き換え、および、変更が、発明の要旨を逸脱することなくなされてよい。添付の特許請求の範囲の請求項およびそれらに均等な範囲は、発明の範囲にはいるような形態および変更をカバーすると意図される。

２０ データ処理装置
２２ コンピューティング装置
２４ スキャナ
２６ 表示スクリーン
２８ 入力装置
３０ データ記憶部
３２ 処理装置
３４ ライティング回路
３６ レンダリング回路
３８ インターフェイス回路
５０ 仮想カメラ
５２ 関心特徴
５４，５４ａ～５４ｄ 仮想光源、仮想光源の位置、仮想光位置

Claims (20)

1. 処理回路を備える画像処理装置であって、
   前記処理回路は、ボリューメトリック画像データに基づく画像を、少なくとも１つのシミュレートされた光源からの照明に基づいてレンダリングするように構成され、
   前記少なくとも１つのシミュレートされた光源の位置または他のプロパティが変化する場合に、前記照明は、光の強度の現在部分と、少なくとも１つの光の強度のトレイル部分と、から決定される、
   画像処理装置。
2. 前記光の強度の現在部分と、前記光の強度のトレイル部分との光の強度の合計は、前記少なくとも１つの光源の前記位置が変化する前の光の強度の合計と等しい、
   請求項１に記載の画像処理装置。
3. 前記光の強度の現在部分と前記光の強度のトレイル部分は、前記少なくとも１つの光源の位置または他のプロパティの変化に基づいて変化する、
   請求項２に記載の画像処理装置。
4. 前記少なくとも１つの光源の位置または他のプロパティの変化により、複数の照明状態であってそれぞれが異なる時点に対する照明状態が生成され、
   前記処理回路は、一連の前記異なる時点ごとに、現在の時点のための前記現在の強度に基づく現在の照明状態と、少なくとも１つの過去の時点のための少なくとも１つの前記光の強度のトレイル部分に基づく少なくとも１つのトレイル照明状態との組み合わせを使って、前記画像を再レンダリングするように構成される、
   請求項１に記載の画像処理装置。
5. 前記照明状態は、イラディアンスボリューム、または、位置の関数として放射照度を表す他のデータセットを備える、
   請求項４に記載の画像処理装置。
6. 前記少なくとも１つのトレイル照明状態は、前記少なくとも１つの過去の時点が現在の時点であった時に現在の照明状態であったものの変換されたおよび／またはフェードされたバージョンを備える、
   請求項４または５に記載の画像処理装置。
7. 前記少なくとも１つの過去の時点のための前記トレイル照明状態を得るために、時間依存関数または他の関数が、当該少なくとも１つの過去の時点が現在の時点であった時に現在の照明状態であったものに適用される、
   請求項４に記載の画像処理装置。
8. 前記時間依存関数または他の関数は、指数関数を含む、
   請求項７に記載の画像処理装置。
9. 前記再レンダリングに使用する過去の時点の数は、前記画像処理装置の性能の測定結果と、入手可能な計算リソースと、のいずれか一方または両方に依存して決定される、
   請求項４から８のいずれか１項に記載の画像処理装置。
10. ブラーまたは他の所望のエフェクトを提供するために、前記過去の照明状態において、位置の関数としての放射照度の変動が変更される、
    請求項４から９のいずれか１項に記載の画像処理装置。
11. 双方向反射率分布関数または他の関数を適用することにより、前記変動を変更させる、
    請求項１０に記載の画像処理装置。
12. 仮想光源の固定に応じて、または、前記光源の少なくとも１つのプロパティにおける他の変化の停止に応じて、再レンダリングに使用されるトレイル照明状態の数を徐々に減らしゼロにする、
    請求項４に記載の画像処理装置。
13. 前記現在の時点のための前記照明状態は、前記過去の時点の少なくとも１つのための前記照明状態よりも低い解像度または他の品質測定で計算される、
    請求項４に記載の画像処理装置。
14. 前記現在の時点のための前記照明状態は、その後、オリジナルのより低い解像度または他の品質測定よりも高い解像度または他の品質測定で再計算される、
    請求項１３に記載の画像処理装置。
15. 前記処理回路は、複数のフレームであって、それぞれが前記時点の個別の１つと対応し、当該時点でのレンダリングされた画像を表すフレームを作成するように構成される、
    請求項４に記載の画像処理装置。
16. 前記処理回路は、ジャンプを表す前記シミュレートされた光源の移動を特定し、特定されたジャンプに応答して、前記光の強度の前記現在部分および前記光の強度の前記トレイル部分の両方またはいずれか一方を使わずに、前記画像をレンダリングするように構成される、
    請求項１に記載の画像処理装置。
17. 前記処理回路は、ユーザ入力を受け付け、前記少なくとも１つのシミュレートされた光源の位置または他のプロパティの変化を前記ユーザ入力に基づいて生成するように構成される、
    請求項１に記載の画像処理装置。
18. 前記他のプロパティは、向き、ビーム方向またはサイズ、または光の色のうちの少なくとも１つを備える、
    請求項１に記載の画像処理装置。
19. 前記ボリューメトリック画像データは、医用イメージングデータ、ＣＴ（Computed Tomography）、ＭＲ（Magnetic Resonance）、超音波、ＰＥＴ（Positron-Emission Tomography）、またはＳＰＥＣＴ（Single photon emission computed tomography）イメージングデータのうちの少なくとも１つを備える、
    請求項１に記載の画像処理装置。
20. ボリューメトリック画像データに基づく画像を少なくとも１つのシミュレートされた光源からの照明に基づいてレンダリングすることを含み、
    前記少なくとも１つのシミュレートされた光源の位置または他のプロパティが変化する場合に、前記照明は、光の強度の現在部分と、少なくとも１つの光の強度のトレイル部分と、から決定される、
    画像処理方法。

Images