JP2005011043A

JP2005011043A - Real time visualization method and device for tensor volume data

Info

Publication number: JP2005011043A
Application number: JP2003174122A
Authority: JP
Inventors: Shigeru Muraki; 茂村木
Original assignee: Japan Science and Technology Agency; National Institute of Advanced Industrial Science and Technology AIST
Current assignee: Japan Science and Technology Agency; National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2003-06-18
Filing date: 2003-06-18
Publication date: 2005-01-13
Anticipated expiration: 2023-06-18
Also published as: JP3960382B2

Abstract

<P>PROBLEM TO BE SOLVED: To change a local structure emphasizing texture color and its opacity by inputting attribute values associated with tensor volume data as attribute value volume data in addition to tensor volume data of local structure emphasizing texture and using the attribute values. <P>SOLUTION: Color data and opacity data are generated from the attribute values such as a flow rate, a temperature, a pressure, a vector length, and anisotropy of a natural value included in the attribute value volume data related with the tensor volume data and a transfer function. A product of a volume data density value of the local structure emphasizing texture and the opacity data is used as the opacity of the local structure emphasizing texture. Using the sum of the color data and those obtained from other information as the color of the local structure emphasizing texture, the tensor volume data are visualized on a real time basis. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、テンソルボリュームデータを実時間で可視化する方法及び装置並びに流体の流れ及び流体の拡散を実時間で処理する方法に関するものである。
【０００２】
【従来の技術】
ボリュームレンダリングは、三次元空間の各点に色（ＲＧＢ）と不透明度（α）を与えることにより、透かして見る過程を計算機でシミュレーションすることで実現される。具体的には、図１に示すように、１本の視線に沿って色・不透明度（Ｒ，Ｇ，Ｂ，α）を手前から順番に積算し、視線に対応する画素の色・不透明度（Ｒ’，Ｇ’，Ｂ’，α’）を決定する。
【０００３】
各点のＲ，Ｇ，Ｂ，α（以下ＲＧＢαと言う）は、三次元ＣＴ画像や、数値シミュレーション結果等のスカラーボリューム値ｗから、伝達関数と呼ばれる対応関係によって、Ｒ（ｗ）、Ｇ（ｗ）、Ｂ（ｗ）、 α（ｗ）のように決められる。伝達関数は、離散値を扱うコンピュータでは、単純なテーブル参照によって実現される。
【０００４】
このボリュームレンダリング処理をソフトウェアで実行すると時間がかかる。しかしながら三次元テクスチャマッピング機能を持つ最新のパーソナルコンピュータ用グラフィックスアクセラレータを適切にプログラムすると、リアルタイム即ち実時間でのボリュームレンダリングが可能になることが知られている。テクスチャマッピングとは、コンピュータグラフィックスで形の表現に使われるポリゴン（多角形）の表面に模様（テクスチャ）を貼り付ける手法である。ハイエンドのグラフィックスアクセラレータでは、テクスチャとして任意の三次元画像（例えば、大理石模様や木目など）を使うことができる。つまり図２のように、ボリュームデータ（各点がＲＧＢαを持つとする）をグラフィックスアクセラレータの三次元テクスチャメモリにロードし、視線に垂直なポリゴンを手前から順番に等間隔に生成し、その頂点の空間座標とテクスチャアドレスを対応付ける。生成したポリゴンを、グラフィックスアクセラレータのアルファブレンディング機能を使って、手前から順番に重ねて描画すると、ボリュームレンダリングと同等の画像をリアルタイムに生成することができる。
【０００５】
最新のグラフィックスアクセラレータのプログラミング機能はさらに優れており、各点がＲＧＢαを持つ三次元テクスチャを用意しなくても、１個のスカラー値だけを持つ三次元テクスチャに、別に与えた伝達関数テーブルを適用して、グラフィックスアクセラレータ内部でＲＧＢαを発生したり、あるいは、複数のテクスチャの値を使って演算を行った結果からＲＧＢαを発生するようにプログラムすることができる。したがって、差分演算でスカラーボリュームデータの三次元勾配（δｗ／δｘ、 δｗ／δｙ、 δｗ／δｚ）を計算し、ＲＧＢの代わりに（−δｗ／δｘ、 −δｗ／δｙ、 −δｗ／δｚ）を格納した法線ベクトルボリュームデータを用意し、拡散反射（デフューズ）モデルや、鏡面反射（スペキュラー）モデルを用いた陰影付けを行い、より立体感のある画像を生成するようにプログラムすることもできる。
【０００６】
図３は従来のグラフィックスアクセラレータで使用するプログラムにより実現する色及び不透明度変更手段１０１の構成を示すブロック図である。色及び不透明度変更手段１０１は、色・不透明度（アンビエント）発生部１０２と、陰影（デフューズ、スペキュラー）発生部１０３とから構成される。図４は、図３中の色・不透明度（アンビエント）発生部１０２を実現するプログラムのアルゴリズムを示している。この従来プログラムで使用する方法（アルゴリズム）は、３ＤＣＴ画像のようなスカラーボリュームデータの可視化には適している。しかしながら、計算流体力学などで生成されるベクトルボリュームデータや、拡散強調ＭＲＩで得られる拡散テンソルボリュームデータ等のいわゆるテンソルボリュームデータの可視化には適していない。
【０００７】
流れや拡散は直接見ることができないため、これまで数多くの可視化法が提案されてきた。中でもＬｉｎｅＩｎｔｅｇｒａｌＣｏｎｖｏｌｕｔｉｏｎ（ＬＩＣ）と呼ばれる方法は、密な流れ構造を表現できることから、最近、頻繁に利用されている。基本的にＬＩＣ法は、図５に示すように、ランダムドットを流線に沿ってぼかす処理である。図５（Ａ）はランダムドットを示しており、図５（Ｂ）はベクトルデータから流線を抽出する概念を示しており、図５（Ｃ）はＬＩＣ法によりランダムドットを流線に沿ってぼかした結果を示している。
【０００８】
ＬＩＣ法はホワイトノイズテクスチャとベクトル場データを入力し、流線に沿ってテクスチャをぼかしたような画像を生成する流れ場の可視化法である。オリジナルの二次元ＬＩＣアルゴリズムでは、図５（Ｂ）のような二次元直交格子にベクトル場を与え、ある一つのセルの中心Ｐ（ｘ，ｙ）を始点として各セルのベクトルに沿って一定の長さの折れ線状の局所流線を生成する。オリジナルな二次元ＬＩＣアルゴリズムは、Ｂ．Ｃａｂｒａｌ，Ｌ．Ｌｅｅｄｏｍ著の“Ｉｍａｇｉｎｇｖｅｃｔｏｒｆｉｅｌｄｓｕｓｉｎｇｌｉｎｅｉｎｔｅｇｒａｌｃｏｎｖｏｌｕｔｉｏｎ” ［ＩｎＰｒｏｃ．ＳＩＧ−ＧＲＡＰＨ９３，Ａｕｇｕｓｔ１９９３，ｐｐ．２６３−２７０］［非特許文献１］に記載されている。
【０００９】
このとき、まずＰ（ｘ，ｙ）から正方向に折れ線の長さを下記式で求める。
【００１０】
【数１】

そしてこの長さが定数ｌ以下になるようにセル数ｎを定める。ここでΔＳｉはセルｉを横切る折れ線の長さとする。同様に負方向についても、Ｐ（ｘ，ｙ）の中心を始点としてｍ個の画素値を抽出する。次に、各ΔＳｉを重みとしてｎ＋ｍ個の画素値（色）を対応する大きさのホワイトノイズテクスチャから抽出し、ｎ＋ｍ個の画素値の重み和を計算してＰ（ｘ，ｙ）における出力画素値を下記の式で求める。
【００１１】
【数２】

上記式は、流線に沿ったホワイトノイズテクスチャの線積分に相当する。
【００１２】
ここでｈｉは
【数３】

であり、Ｓｏ＝０、Ｓｉ＝Ｓ_ｉ−１＋ΔＳ_ｉであり、Ｆ_ｉｎ（ｘ，ｙ）はホワイトノイズテクスチャの画素値，Ｐｉ；Ｐｉ´は正負方向のｉ番目に通過する画素，ｋ（ｗ）はＢｏｘフィルタ等の窓関数である。以上の操作をすべての画素について繰り返すことで、二次元ＬＩＣ画像が得られる。また、ＬＩＣ法では周期的な位相をもつフィルタをかけることで、その位相をシフトさせた時系列テクスチャをアニメーション表示し、流速を表現することができる。
【００１３】
３ＤＬＩＣボリュームは、この二次元の原理をそのまま三次元に拡張して生成できる。セルＰ（ｘ，ｙ；ｚ）における流線は，図６（Ａ）に示すように三次元の流線として生成され、この流線にそって三次元ホワイトノイズテクスチャのボクセル値をぼかし、二次元の場合と同様のパラメタを用いて出力セル値Ｆｏｕｔ（ｘ，ｙ；ｚ）を決定する。しかし単純にＦｏｕｔ（ｘ，ｙ；ｚ）のボリュームレンダリングを行うことは、流線状の相関テクスチャが視線方向に重なってしまうため従来は効果的でないと考えられてきた。しかし流体位相解析から導出される重要度マップと、三次元流線にハイライト効果を与える照明モデルを用いて、位相の特徴部分を選択的にボリュームレンダリングすることが提案されている。例えば、一例は、鈴木靖子、藤代一成、陳莉著の論文「重要度マップと流線照明モデルに基づく選択的３次元ＬＩＣボリュームレンダリング」［画像電子学会誌，ｖｏｌ．３０，ｎｏ．４，ｐｐ．３７９−３８７，２００１年７月］［非特許文献２］に記載されている。
【００１４】
また位相シフト法により時系列３ＤＬＩＣテクスチャを生成し、ＶｏｌｕｍｅＰｒｏ５００カード（商標）を用いることでレンダリングを高速化し、流れ場の様子をアニメーション表示することも提案されている。この提案は、Ｙ．Ｓｕｚｕｋｉ，Ｉ．Ｆｕｊｉｓｈｉｒｏ，Ｌ．Ｃｈｅｎ，Ｈ．Ｎａｋａｍｕｒａ著の“Ｈａｒｄｗａｒｅ−ａｃｃｅｌｅｒａｔｅｄｓｅｌｅｃｔｉｖｅｖｏｌｕｍｅｒｅｎｄｅｒｉｎｇｏｆ３ＤＬＩＣｔｅｘｔｕｒｅｓ”［ＩｎＰｒｏｃ．ＩＥＥＥＶｉｓｕａｌｉｚａｔｉｏｎ’ ０２，Ｂｏｓｔｏｎ，Ｏｃｔｏｂｅｒ−Ｎｏｖｅｍｂｅｒ２００２，ｐｐ．４８５−４８８］［非特許文献３］に記載されている。
【００１５】
また村木茂、鈴木靖子、藤代一成著の「ボリュームグラフィックス（ＶＧ）クラスタによる３ＤＬＩＣレンダリングの並列化」［情報処理学会研究報告２００２−ＣＧ−１０８−１２，２００２年８月、ｐｐ．６７−７２］［非特許文献４］には、ＶＧクラスタ上に実装することでさらなる高速化を図り、よりサイズの大きなデータを扱える技術が提案されている。このＶＧクラスタを用いてＬＩＣ法をそのまま三次元へ拡張した可視化例が図６（Ｂ）に示したものである。この可視化したデータは、竜巻のシミュレーションにより生成された１２０^３ボクセルの三次元ベクトルボリュームデータである。なおこの例では、ＶＧクラスタで並列に、時相の異なる８個の３ＤＬＩＣテクスチャを生成した。そしてシェーディングのための法線は、３ＤＬＩＣテクスチャの勾配の逆方向としている。
【００１６】
またＬＩＣ法の他にも、ダイアドべクションと呼ばれる類似法も存在する。
【００１７】
【発明が解決しようとする課題】
これらの局所構造を強調するテクスチャを三次元に拡張することは容易であるが、そうして生成した局所構造強調テクスチャボリュームデータに、図３に示すような色及び不透明度変更手段１０１でボリュームレンダリングを行うと、視線方向にテクスチャが重なり、三次元の流れや拡散構造の把握が非常に難しいことが報告されている。図６（Ｂ）は竜巻のベクトルデータから生成した３ＤＬＩＣテクスチャを、図３の従来のボリュームレンダリング法で用いる色及び不透明度変更手段１０１で可視化した例である。しかしながらこのような画像から竜巻の内部構造を知ることは困難である。
【００１８】
本発明の目的は、局所構造強調テクスチャのテンソルボリュームデータ以外に、テンソルボリュームデータに関連する属性値を属性値ボリュームデータとして入力し、その値を使って、局所構造強調テクスチャの色と不透明度を変更する方法及び装置を提供することにある。
【００１９】
本発明の他の目的は、流体の流れについてのベクトル（１階のテンソル）や流体の拡散についてのテンソルなどの、三次元空間のテンソルボリュームデータから生成した局所構造強調テクスチャの色と不透明度とを変更して流体の流れや拡散を実時間で可視化する方法及び装置を提供することにある。
【００２０】
【課題を解決するための手段】
本発明の方法は、三次元空間のテンソルボリュームデータから生成した局所構造強調テクスチャの色と不透明度とを変更してテンソルボリュームデータを実時間で可視化する方法を改良の対象とする。本発明においては、テンソルボリュームデータに関連する属性値ボリュームデータに含まれる流速、温度、圧力、ベクトルの長さ、固有値の不等方度等の属性値と伝達関数とから色データと不透明度データとを生成する。そして局所構造強調テクスチャのボリュームデータの濃淡値と不透明度データとを乗算したものを局所構造強調テクスチャの不透明度とする。また色データと他の情報から得た色データとを加算したものを局所構造強調テクスチャの色としてテンソルボリュームデータを実時間で可視化する。ここで局所構造強調テクスチャとしては、３ＤＬＩＣテクスチャやダイアドべクションテクスチャを用いることができる。また属性値ボリュームデータは、計算流体力学では計算過程で自然に導出され（流速、温度、圧力、ベクトルの長さなど）、拡散強調ＭＲＩ画像などの実測データでも、計算や他の計測手段によって容易に入手できる（固有値の不等方度など）。また「他の情報から得た色データ」とは、例えば、１以上の照射情報から求めた陰影の色データである。照射情報は好ましくは２以上の照射情報を用いるのが好ましい。また陰影のデータの他に、ノンフォトリアリスティックレンダリング法により生成されたデータ等も他の色データとして用いることができる。
【００２１】
本発明によれば、３ＤＬＩＣなどの局所構造強調テクスチャの色と不透明度を、属性値によって変更することにより、流体の流れや流体の拡散などの構造を従来よりも明瞭に可視化することができる。
【００２２】
なお本発明の方法により流体の流れについての三次元空間のベクトル（１階のテンソル）ボリュームデータから生成した局所構造強調テクスチャの色と不透明度とを変更すると、流体の流れを実時間で明瞭に可視化することができる。この場合には、特に１階のテンソルボリュームデータであるベクトルボリュームデータを扱うことになる。また本発明の方法によれば、流体の拡散を実時間で可視化することも可能である。流体の拡散を可視化する場合には、２階以上のテンソルボリュームデータを扱うことになる。
【００２３】
本発明の装置は、三次元空間のテンソルボリュームデータから生成した局所構造強調テクスチャの色と不透明度とを変更する色及び不透明度変更手段を備えて、前記色と不透明度とを変更することによりテンソルボリュームデータを実時間で可視化する。色及び不透明度変更手段は、テンソルボリュームデータに関連する属性値ボリュームデータに含まれる流速、温度、圧力、ベクトルの長さ、固有値の不等方度等の属性値と伝達関数とから色データと不透明度データとを生成する色及び不透明度データ生成手段と、局所構造強調テクスチャのボリュームデータの濃淡値を生成する濃淡値生成手段と、濃淡値と不透明度データとを乗算したものを局所構造強調テクスチャの不透明度として出力する不透明度出力部と、色データと他の情報から得た色データとを加算したものを局所構造強調テクスチャの色として出力する色出力部とを備えている。
【００２４】
【発明の実施の形態】
以下図面を参照して、本発明の実施の形態の一例を詳細に説明する。前述の通り、特徴部分を選択的にボリュームレンダリングすることで３ＤＬＩＣ法が改良され［非特許文献２］、さらにＶｏｌｕｍｅＰｒｏ５００カードを用いて３ＤＬＩＣの高速化が図され［非特許文献３］、高並列計算可視化システムであるＶＧ（ＶｏｌｕｍｅＧｒａｐｈｉｃｓ）クラスタ上への実装が行われていること［非特許文献４］が、本発明の実施の形態の基本前提である。科学現象のシミュレーションや計測から実際に得られる流れ場のデータは、ベクトル量だけでなく、流速や圧力，温度，密度といった流れとは何らかの因果関係をもつ特性量を有する場合が多い。しかし、フィールド値を一つしか持てないＶｏｌｕｍｅＰｒｏ５００（商標）では、ＬＩＣテクスチャ以外の特性量を十分効果的に可視化できず、因果関係の解析を対話的に行うことができなかった。以下の実施の形態では、以下の二つの技術をＶＧクラスタシステムに実装して、属性付き三次元流のリアルタイムアニメーションを対話的に生成し、かつスケーラブルなシステムを提供する。１つの技術は、プログラム可能なＰＣ用グラフィックスエンジン（ＧＰＵ）を使い、３ＤＬＩＣテクスチャの色と不透明度を、流速などの属性値によって変更できるハードウェアボリュームレンダラであり、この技術が本発明の対象となる。もう一つの技術は、ボリュームの位相構造を表すボリューム骨格木（ＶｏｌｕｍｅＳｋｅｌｔｏｎＴｒｅｅ：ＶＳＴ）を利用して、特徴を強調した伝達関数が設計可能な伝達関数エディタである（この技術は本発明の対象となるものではない）。
【００２５】
本発明の実施の形態の処理プロセスの概要を図７に示す。まず流れ場を表す三次元ベクトルデータを入力し、３ＤＬＩＣの時系列テクスチャを生成する。ＬＩＣ法のオリジナルアルゴリズムとその三次元化については後に説明する。次にベクトルのノルム計算から流速ボリュームを求め、その位相的骨格を示すＶＳＴを生成し、位相の特徴的な領域を選択的に強調描画するような伝達関数を自動生成する。ユーザは目的に応じて、伝達関数エディタを用いて対話的に伝達関数を編集できる。次に、プログラム可能なＧＰＵを用いたＶＧクラスタ上で、３ＤＬＩＣテクスチャと、流速から得られた色と不透明度を合成し、三次元の流れ場を可視化する。ＧＰＵを用いたハードウェアボリュームレンダリングと、その実験結果は後に説明する。
【００２６】
実施の形態における実装環境は、ＮＶＩＤＩＡ社製ＧｅＦｏｒｃｅ４Ｔｉ４６００（商標）を搭載したＸｅｏｎ（１．７ＧＨｚ）Ｄｕａｌ（商標）ＰＣシステム１７台と，三菱プレシジョン社製フレーム重畳装置３台を用いてＶＧクラスタを構築した。なおこのフレーム重畳装置については、Ｓ．Ｍｕｒａｋｉ，Ｍ．Ｏａｔａ，Ｋ．Ｋａｊｉｈａｒａ，Ｋ−Ｌ．Ｍａ，Ｋ．Ｋｏｓｈｉｚｕｋａ，Ｘ．Ｌｉｕ，Ｙ．Ｎａｇａｎｏ，Ｋ．Ｓｈｉｍｏｋａｗａ著の“Ｎｅｘｔ−ｇｅｎｅｒａｔｉｏｎｖｉｓｕａｌｓｕ−ｐｅｒｃｏｍｐｕｔｉｎｇｕｓｉｎｇＰＣｃｌｕｓｔｅｒｓｗｉｔｈｖｏｌｕｍｅｇｒａｐｈｉｃｓｈａｒｄｗａｒｅｄｅｖｉｃｅｓ”［ＩｎＰｒｏｃ．ＩＥＥＥＳＣ２００１，Ｎｏｖｅｍｂｅｒ２００１］に詳しく説明されている。また伝達関数エディタとボリュームレンダラは、ＲｅｄＨａｔＬｉｎｕｘ７．３（商標）をベースとするＰＣクラスタ用ＯＳ（ＰＣクラスタコンソーシアム製ＳＣｏｒｅ５．２）上にＣ＋＋で実装した。またレジスタコンビナーのプログラミングは、ＮＶＩＤＩＡ社のホームページからダウンロードできるＬｉｎｕｘ（商標）ディスプレイドライバ（Ｖｅｒ．１．０−４１９１）とＯｐｅｎＧＬの拡張命令を使用した。
【００２７】
ここでボリューム骨格木を用いた伝達関数設計について説明する。三次元流れ場の形状構造を決定する要素として，流速を表すスカラー値の分布を解析し、それに基づき伝達関数を設計する。具体的には、流速の値に応じた等値面の特徴的な変化を強調することで、より流れ場の構造を視覚化できるような伝達関数を設計する。ここではそのような等値面の特徴的な変化をボリューム骨格木（ＶＳＴ）によって表現する。
【００２８】
ボリュームデータは三次元一価関数ｗ＝ｆ（ｘ，ｙ，ｚ）の離散表現と考えることができる。フィールド値が小さくなる方向に沿って等値面の変化を追うと、あるフィールド値で等値面が併合，分岐など位相的な変化を起こす点がみられる。このような点を臨界点（ｃｒｉｔｉｃａｌｐｏｉｎｔ）、そのフィールド値を臨界フィールド値（ｃｒｉｔｉｃａｌｆｉｅｌｄｖａｌｕｅ）と呼ぶ。臨界点は等値面の生成，併合，分岐，消滅に対応して、極大点（Ｃ３），鞍点（Ｃ２），鞍点（Ｃ１），極小点（Ｃ０）の４つに分類できる。なおこの点は、竹島由里子，高橋成雄，藤代一成著の「ボリューム骨格抽出とその伝達関数設計への応用」と題する論文［画像電子学会ＶｉｓｕａｌＣｏｍｐｕｔｉｎｇ情報処理学会グラフィクスとＣＡＤの合同シンポジウム２００１予稿集，２００１年６月，ｐｐ．７９−８４］に詳しく説明されている。等値面の生成（Ｃ３），消滅（Ｃ０）の変化，そして併合（Ｃ２），分岐（Ｃ１）の変化を図８に示す。ＶＳＴはこれらの臨界点をノードで表し、等値面の各連結成分の（位相変化を伴わない）遷移をリンクで表すようなグラフとして定義され、図９に示されるような要素を組み合わせて構成される。
【００２９】
実際の解析では、対象ボリュームデータを三次元の球と同相にするために仮想極小点を導入する。これにより、臨界点の個数は次のオイラーの公式を満たすことが数学的に知られている。
【００３０】
Ｎ（Ｃ３）−Ｎ（Ｃ２）＋Ｎ（Ｃ１）−Ｎ（Ｃ０）＝０
ここで、Ｎ（Ｃｉ）は指数ｉの臨界点の個数を示す。現実のデータに対してボリューム位相解析を行う場合は、データにノイズが含まれているため、局所的な臨界点が多数発生してしまい、ボリューム全体としての構造を隠してしまう。そこで、２つの臨界フィールド値の差が、ある閾値以下になる臨界点のペアを削除してＶＳＴを簡単化することで、ボリュームデータの大局的な特徴を抽出する。図６（Ｂ）に示した可視化した竜巻の流速データを位相解析した結果のＶＳＴと、臨界フィールド値における等値面を図１０に示す。このＶＳＴには，大局的な特徴を表す８個の臨界点が含まれている。
【００３１】
次に、伝達関数編集について説明する。臨界点に対応する流速ｗの値を臨界フィールド値としてとらえ、その値付近を強調するような伝達関数を生成する。臨界点の周辺に見るべき特徴が分布している可能性が高いという仮定に基づき、本エディタでは属性ボリュームのＶＳＴを読み込み、半自動的に以下のように伝達関数を設計する。色相伝達関数は、ＨＬＳ表色系に基づき、青（２＝３）から赤（０）に変化し、かつ位相変化を伴わない区間内で線形に変化するように設計する（図１１（Ａ））。一方、不透明度伝達関数は、図１１（Ｂ）のような山型の関数を使い、臨界フィールド値の等値面を強調する。また、遮蔽の効果を極小化するように、フィールド値が高いほど不透明度が高くなるように設計する。伝達関数エディタで、竜巻の流速データのＶＳＴ（図１０）から図１１（Ａ）（Ｂ）の方針にそって自動的に設計された伝達関数が表示されている様子を図１２に示す。本エディタでは色、不透明度とも各臨界フィールド値の位置にカーソルが割り当てられており、目的に応じてユーザが簡単に各フィールド値における色と不透明度の設定を対話的に編集することができる。
【００３２】
図１３は、本発明のテンソルボリュームデータを実時間で可視化する方法を実施するための装置において、三次元空間のテンソルボリュームデータから生成した局所構造強調テクスチャの色と不透明度とを変更する色及び不透明度変更手段１の構成を示すブロック図である。この構成は、プログラムにより実現されるものである。色及び不透明度変更手段１は、色・不透明度（アンビエント）発生部２と、陰影（デフューズ、スペキュラー）発生部３と、加算部４とから構成される。色及び不透明度変更手段１の詳細は、図１４に示すとおりである。そして図１５は、色・不透明度（アンビエント）発生部２を実現するプログラムのアルゴリズムを示している。色・不透明度（アンビエント）発生部２は、色及び不透明度データ生成手段２１と、濃淡値生成手段２２と、不透明度出力部２３とから構成される。色及び不透明度データ生成手段２１は、局所構造強調テクスチャ（例えば３ＤＬＩＣ）のテンソルボリュームデータに関連する属性値ボリュームデータに含まれる流速、温度、圧力、ベクトルの長さ、固有値の不等方度等の属性値と前述の伝達関数とから色データと不透明度データとを生成する。濃淡値生成手段２２は、局所構造強調テクスチャのボリュームデータの濃淡値を生成する。濃淡値は、例えば、三次元ベクトル場データに３ＤＬＩＣ法を適用することにより生成することができる。不透明度出力部２３は、濃淡値と不透明度データとを乗算したものを局所構造強調テクスチャの不透明度として出力する。図１４の他の色データ発生部３´は、図１３の陰影（デフューズ、スペキュラー）発生部３に相当するものである。また色出力部４´は、色及び不透明度データ生成手段２１から出力された陰影（デフューズ、スペキュラー）発生部３等の他の色データ発生部３´から出力された色データとを加算したものを局所構造強調テクスチャの色として出力する。陰影（デフューズ、スペキュラー）発生部３は、照明情報１（方向と色）から照明情報ｎ（方向、色）を差分演算でスカラーボリュームデータの三次元勾配（δｗ／δｘ、 δｗ／δｙ、 δｗ／δｚ）を計算する。そしてこの計算結果と、ＲＧＢの代わりに（−δｗ／δｘ、 −δｗ／δｙ、 −δｗ／δｚ）を格納した法線ベクトルボリュームデータとを入力として、拡散反射（デフューズ）モデルや、鏡面反射（スペキュラー）モデルを用いた陰影付けを行って、陰影（デフューズ、スペキュラー）発生部３は他の色データを出力する。ここで照明情報（方向と色）とは、可視化対象となるテンソルボリュームデータを照らす仮想的な平行光源などの方向と色などである。
【００３３】
図１５のアルゴリズムに示すように、本実施の形態では、伝達関数テーブルによって属性値から参照された（即ち属性値の大きさにより一意に決定された）不透明度α（ｗ）に、局所構造強調テクスチャの濃淡値（最小値０、最大値１）を乗算したものを不透明度として出力する。これによって、３ＤＬＩＣなどの局所構造強調テクスチャの色と不透明度を、属性値によって自由に変更し、流れなどの構造を明瞭に可視化することができる。
【００３４】
次に実際に試験的に作製した、３ＤＬＩＣテクスチャを局所構造強調テクスチャとする場合におけるハードウエアボリュームレンダリングについて説明する。３ＤＬＩＣテクスチャは，三次元ベクトルデータの方向に沿って、２値の三次元ホワイトノイズをぼかした濃淡ボリュームデータである。一方、三次元ベクトルデータは、数値流体力学などのシミュレーションや、拡散強調ＭＲＩなどの実測値から得られるが、各ボクセルには流速，温度，密度，固有値の不等方度などの複数の属性値を伴う場合が多い。ＶｏｌｕｍｅＰｒｏ５００（商標）のようなリアルタイムボリュームグラフィックスエンジンは、３ＤＬＩＣテクスチャだけを高速に可視化する用途には適しているが、複数のパラメータを同時に表示する機能はない。
【００３５】
そこでプログラム可能なマルチテクスチャ機能を有するＧＰＵを用いて、３ＤＬＩＣテクスチャに１つの属性値（スカラー値）を加えて可視化するボリュームレンダラを作製した。プログラム可能なマルチテクスチャ機能については、Ｃ．Ｒｅｚｋ−Ｓａｌａｍａ，Ｋ．Ｅｎｇｅｌ，Ｍ．Ｂａｕｅｒ，Ｇ．Ｇｒｅｉｎｅｒ，Ｔ．Ｅｒｔｌ著の“ＩｎｔｅｒａｃｔｉｖｅｖｏｌｕｍｅｒｅｎｄｅｒｉｎｇｏｎｓｔａｎｄａｒｄＰＣｇｒａｐｈｉｃｓｈａｒｄｗａｒｅｕｓｉｎｇｍｕｌｔｉ−ｔｅｘｔｕｒｅｓａｎｄｍｕｌｔｉ−ｓｔａｇｅｒａｓｔｅｒｉｚａｔｉｏｎ”と題する論文［ＩｎＰｒｏｃ．ＡＣＭＳＩＧＧＲＡＰＨ／ＥｕｒｏｇｒａｐｈｉｃｓＷｏｒｋｓｈｏｐｏｎＧｒａｐｈｉｃｓＨａｒｄｗａｒｅ２０００，Ａｕｇｕｓｔ２０００，ｐｐ．１０９−１１８］に詳しく説明されている。
【００３６】
ＬＩＣテクスチャに属性を付加した先行研究（Ｈ−Ｗ．Ｓｈｅｎ，Ｃ．Ｊｏｈｎｓｏｎ，Ｋ−Ｌ．Ｍａ著の“Ｖｉｓｕａｌｉｚｉｎｇｖｅｃｔｏｒｆｉｅｌｄｓｕｓｉｎｇｌｉｎｅｉｎｔｅｇｒａｌｃｏｎｖｏｌｕｔｉｏｎａｎｄｄｙｅａｄｖｅｃｔｉｏｎ”［ＩｎＰｒｏｃ．ＩＥＥＥ１９９６ＳｙｍｐｏｓｉｕｍｏｎＶｏｌｕｍｅＶｉｓｕａｌｉｚａｔｉｏｎ，Ｏｃｔｏｂｅｒ１９９６，ｐｐ．６３−７０］）では、スカラー属性量により定義された等値面や不透明部分にＬＩＣテクスチャをマッピングすることで、ベクトル場とその属性データセットを合成している。これに対して本実施の形態では、ＬＩＣテクスチャがその画素値の最大値（１）で不透明、最小値（０）で透明になると仮定し、属性データの伝達関数で参照される不透明度にＬＩＣテクスチャの画素値を掛け合わせてボリュームレンダリングに使用する。これにより、ユーザが属性値に合わせて対話的にＬＩＣテクスチャの不透明度と色を編集することが可能になる。
【００３７】
図１６は、本発明の実施の形態で用いるボリュームレンダラを、ＮＶＩＤＩＡ社製ＧｅＦｏｒｃｅ４Ｔｉ４６００（商標）のレジスタコンビナー設定で構成した場合の設定構成を示している。この設定では、光源２個の拡散照明モデルによる陰影付けも行える。この構成では、３ＤＬＩＣテクスチャ（Ｌ：８ビットスカラ）からなる局所構造強調テクスチャと属性値テクスチャ（ｗ：８ビットスカラ：本例では流速）と法線ベクトル（各成分８ビットの三次元ベクトル）ボリュームデータの３つの三次元テクスチャ、属性値用の伝達関数テーブルを入力とする。法線は可視化する対象によって異なった計算法がある。
【００３８】
例えば、Ｙ．Ｓｕｚｕｋｉ，Ｉ．Ｆｕｊｉｓｈｉｒｏ，Ｌ．Ｃｈｅｎ，Ｈ．Ｎａｋａｍｕｒａ著の“Ｈａｒｄｗａｒｅ−ａｃｃｅｌｅｒａｔｅｄｓｅｌｅｃｔｉｖｅｖｏｌｕｍｅｒｅｎｄｅｒｉｎｇｏｆ３ＤＬＩＣｔｅｘｔｕｒｅｓ”と題する論文［ＩｎＰｒｏｃ．ＩＥＥＥＶｉｓｕａｌｉｚａｔｉｏｎ’０２，Ｂｏｓｔｏｎ，Ｏｃｔｏｂｅｒ−Ｎｏｖｅｍｂｅｒ２００２，ｐｐ．４８５−４８８］には、その一例が示されている。本実施の形態では、流速の減少方向を使っている。この実施の形態では、属性値テクスチャの画素値から伝達関数テーブルによってＲＧＢ値と不透明度（α値）が生成される。そしてα値にはレジスタコンビナーＲＣによってＬＩＣテクスチャの画素値が掛け合わされて出力される。この設定でボリュームデータの断面を切り出せば、３ＤＬＩＣテクスチャの色と不透明度を属性値により変化させ、任意に設定した２つの平行光源による拡散照明をピクセル毎に施したポリゴンが生成できる。視線に垂直に手前から順にポリゴンを切り出し、画面上でブレンドすることでボリュームレンダリングが高速に実行できる。３ＤＬＩＣテクスチャの時系列（４Ｄ画像）のアニメーションを生成する場合は、時系列をｚ軸方向につないで一つの大きな三次元ボリュームとみなし、各時相の部分ボリュームを順次可視化すればよい。しかし、ＧｅＦｏｒｃｅ４Ｔｉ４６００（商標）のメモリの容量が１２８Ｍバイト、三次元テクスチャの１辺の長さｎはｎ＝２ｍに制限されていることと、さらに本ボリュームレンダラがボクセルごとに５バイトのメモリを消費することから、可視化できるボリュームのサイズや時系列の長さには制限がある。また、一般にＧＰＵの描画速度は、使用する三次元テクスチャメモリが大きいほど低下する。ＶＧクラスタを用いて空間を分割して処理することで、こうしたＧＰＵの制限を越えた大規模ベクトルボリュームデータの高速レンダリングが可能になる。
【００３９】
図６（Ｂ）に可視化した竜巻のシミュレーションデータを本実施の形態により可視化した。図１７は、それらを連続にアニメーション表示した際の一コマである。図１７（Ａ）はＶＳＴから自動生成された伝達関数を用いた可視化結果であり、図１２の伝達関数エディタを用いて対話的に不透明度を調整して得られた結果を図１７（Ｂ）に示す。両者とも竜巻の流速の層状構造が明瞭に描出されているのがわかる。この例では、ベクトルのノルム（長さ）を属性とし、異なる２つの伝達関数テーブルを使った例を示している。図６（Ｂ）と異なり、竜巻の内部構造がはっきりと把握できる。
【００４０】
ＬＩＣ法では、流線に沿ってぼかしを行う際に位相をずらすことで、本来変動しないベクトルデータに、流れ方向を強調する周期的な動きをつけることが可能である（位相シフト法）。本発明では、その位相シフト法とリアルタイム可視化性能を併用し、実時間アニメーションを生成することで、より効果的にベクトルデータを可視化することも可能である。
【００４１】
また、ＶＧクラスタの性能を調べるため、アニメーションのフレームレートを測定した結果を図１８に示す。画像サイズを２５６×２５６，５１２×５１２，７６８×７６８の三通りで、クラスタのパーソナルコンピュータの台数を変えて実験した。この実験より、画像サイズが大きくなるほど描画に時間がかかることがわかる。また、並列度を上げるほどフレームレートが増す傾向があるので、大規模なベクトル場の可視化に有効であることが分かる。
【００４２】
【発明の効果】
本発明によれば、３ＤＬＩＣなどの局所構造強調テクスチャの色と不透明度を、属性値によって変更することにより、流体の流れや流体の拡散などの構造を従来よりも明瞭に可視化することができる利点が得られる。
【図面の簡単な説明】
【図１】ボリュームレンダリングの概念を示す図である。
【図２】テクスチャベースボリュームレンダリングを説明するために用いる図である。
【図３】従来の構成を示すブロックである。
【図４】従来の方法で用いるプログラムのアルゴリズムを示す図である。
【図５】（Ａ）はランダムドットを示しており、（Ｂ）はベクトルデータから流線を抽出する概念を示しており、（Ｃ）はＬＩＣ法によりランダムドットを流線に沿ってぼかした結果を示している。
【図６】（Ａ）は三次元局所流線の定義を説明するための図であり、（Ｂ）は３ＤＬＩＣによる竜巻データの可視化結果を示す図である。
【図７】実施の形態の処理プロセスの概要を図である。
【図８】臨界点における等値面の変化の例を示す図である。
【図９】臨界点周りのＶＳＴの構成要素を示す図である。
【図１０】竜巻の流速データのＶＳＴと臨界等値面の一例を示す図である。
【図１１】（Ａ）は位相強調型伝達関数の設定法の色相の一例を示す図であり、（Ｂ）はその不透明度の一例を示す図である。
【図１２】位相解析機能を備えた伝達関数エディタの一例を示す図である。
【図１３】実施の形態で用いる色・不透明度変更手段の構成を示すブロック図である。
【図１４】図１３のより具体的な構成を示すブロック図である。
【図１５】図１３の色・不透明（アンビエント）発生部をプログラムで実現する場合のアルゴリズムを示す図である。
【図１６】実施の形態で用いるレジスタコンビナーの設定を示す図である。
【図１７】（Ａ）は流速と３ＤＬＩＣテクスチャを使った竜巻のアニメーションからのスナップで自動生成伝達関数を用いたときのスナップの図であり、（Ｂ）は伝達関数編集後のスナップの図である。
【図１８】ＶＧクラスタを用いたＬＩＣボリュームレンダリングのフレームレートを示す図である。
【符号の説明】
１色及び不透明度変更手段
２色・不透明度（アンビエント）発生部
３陰影（デフューズ、スペキュラー）発生部
４加算部
２１色及び不透明度データ生成手段
２２濃淡値生成手段
２３不透明度出力部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for visualizing tensor volume data in real time and a method for processing fluid flow and fluid diffusion in real time.
[0002]
[Prior art]
Volume rendering is realized by simulating with a computer the process of seeing through a watermark by giving colors (RGB) and opacity (α) to each point in the three-dimensional space. Specifically, as shown in FIG. 1, the color and opacity (R, G, B, α) are sequentially integrated from one side along one line of sight, and the color and opacity of the pixel corresponding to the line of sight are accumulated. (R ′, G ′, B ′, α ′) is determined.
[0003]
R, G, B, α (hereinafter referred to as RGBα) of each point is represented by R (w), G () according to a correspondence relationship called a transfer function from a scalar volume value w such as a three-dimensional CT image or numerical simulation result. w), B (w), α (w). The transfer function is realized by a simple table reference in a computer that handles discrete values.
[0004]
When this volume rendering process is executed by software, it takes time. However, it is known that when the latest personal computer graphics accelerator having a three-dimensional texture mapping function is appropriately programmed, volume rendering in real time, that is, in real time is possible. Texture mapping is a technique in which a pattern (texture) is pasted on the surface of a polygon (polygon) used to represent a shape in computer graphics. A high-end graphics accelerator can use any three-dimensional image (for example, marble pattern or wood grain) as a texture. That is, as shown in FIG. 2, the volume data (assuming that each point has RGBα) is loaded into the graphics accelerator 3D texture memory, and polygons perpendicular to the line of sight are generated at regular intervals in order from the front, Correlate the spatial coordinates of and texture addresses. If the generated polygons are drawn by overlapping in order from the front using the alpha blending function of the graphics accelerator, an image equivalent to volume rendering can be generated in real time.
[0005]
The programming function of the latest graphics accelerator is even better, and even if you do not prepare a 3D texture with each point RGBα, a separate transfer function table is provided for a 3D texture with only one scalar value. It can be applied to generate RGBα inside the graphics accelerator, or to generate RGBα from the result of calculation using a plurality of texture values. Therefore, the three-dimensional gradient (δw / δx, δw / δy, δw / δz) of the scalar volume data is calculated by difference calculation, and (−δw / δx, −δw / δy, −δw / δz) is used instead of RGB. It is also possible to prepare the stored normal vector volume data and perform a shading process using a diffuse reflection (diffuse) model or a specular reflection (specular) model to generate a more stereoscopic image.
[0006]
FIG. 3 is a block diagram showing the configuration of the color and opacity changing means 101 realized by a program used in a conventional graphics accelerator. The color and opacity changing unit 101 includes a color / opacity (ambient) generation unit 102 and a shadow (diffuse, specular) generation unit 103. FIG. 4 shows an algorithm of a program for realizing the color / opacity (ambient) generation unit 102 in FIG. The method (algorithm) used in this conventional program is suitable for visualizing scalar volume data such as 3DCT images. However, it is not suitable for visualization of so-called tensor volume data such as vector volume data generated by computational fluid dynamics or the like, or diffusion tensor volume data obtained by diffusion weighted MRI.
[0007]
Since the flow and diffusion cannot be seen directly, many visualization methods have been proposed so far. Among them, a method called Line Integral Convolution (LIC) has been frequently used recently because it can express a dense flow structure. Basically, the LIC method is a process of blurring random dots along a streamline as shown in FIG. FIG. 5A shows random dots, FIG. 5B shows the concept of extracting streamlines from vector data, and FIG. 5C shows random dots along streamlines by the LIC method. The blurred result is shown.
[0008]
The LIC method is a flow field visualization method that inputs a white noise texture and vector field data and generates an image in which the texture is blurred along the streamline. In the original two-dimensional LIC algorithm, a vector field is given to a two-dimensional orthogonal lattice as shown in FIG. 5B, and a constant along the vector of each cell starting from the center P (x, y) of one cell. Generates a local streamline with a polygonal length. The original two-dimensional LIC algorithm is Cabral, L.M. "Imaging vector fields using line integral convolution" by Leedom [In Proc. SIG-GRAPH 93, August 1993, pp. 263-270] [Non-Patent Document 1].
[0009]
At this time, first, the length of the polygonal line in the positive direction from P (x, y) is obtained by the following equation.
[0010]
[Expression 1]

The number of cells n is determined so that the length is equal to or less than a constant l. Here, ΔSi is the length of the broken line that crosses the cell i. Similarly, in the negative direction, m pixel values are extracted starting from the center of P (x, y). Next, n + m pixel values (colors) are extracted from the corresponding white noise texture using each ΔSi as a weight, and a sum of weights of n + m pixel values is calculated to output pixels at P (x, y). The value is obtained by the following formula.
[0011]
[Expression 2]

The above equation corresponds to the line integral of the white noise texture along the streamline.
[0012]
Where hi is
[Equation 3]

So = 0, Si = S _i-1 + ΔS _i And F _in (X, y) is the pixel value of the white noise texture, Pi; Pi ′ is the i-th passing pixel in the positive / negative direction, and k (w) is a window function such as a Box filter. A two-dimensional LIC image is obtained by repeating the above operation for all pixels. Further, in the LIC method, by applying a filter having a periodic phase, a time series texture whose phase is shifted can be displayed as an animation to express a flow velocity.
[0013]
A 3D LIC volume can be generated by extending this two-dimensional principle to three dimensions. A streamline in the cell P (x, y; z) is generated as a three-dimensional streamline as shown in FIG. 6A, and the voxel value of the three-dimensional white noise texture is blurred along the streamline. The output cell value Fout (x, y; z) is determined using the same parameters as in the case of dimensions. However, simply performing volume rendering of Fout (x, y; z) has conventionally been considered ineffective because streamlined correlation textures overlap in the line-of-sight direction. However, it has been proposed to selectively perform volume rendering of phase features using an importance map derived from fluid phase analysis and an illumination model that gives a three-dimensional streamline a highlight effect. For example, the paper “Selective 3D LIC Volume Rendering Based on Importance Map and Streamline Illumination Model” written by Atsuko Suzuki, Kazunari Fujishiro and Chen Sung [Journal of Image Electronics Society, vol. 30, no. 4, pp. 379-387, July 2001] [Non-Patent Document 2].
[0014]
It has also been proposed to generate a time-series 3D LIC texture by the phase shift method, speed up rendering by using a VolumePro500 card (trademark), and display a flow field animation. This suggestion is Suzuki, I. et al. Fujishiro, L .; Chen, H.C. “Hardware-accelerated selected volume rendering of 3D LIC textures” by Nakamura [In Proc. IEEE Visualization '02, Boston, October-November 2002, pp. 485-488] [Non-Patent Document 3].
[0015]
Also, Shigeru Muraki, Atsuko Suzuki and Kazunari Fujishiro, “Parallelization of 3D LIC Rendering by Volume Graphics (VG) Cluster” [Information Processing Society of Japan Research Report 2002-CG-108-12, August 2002, pp. 67-72] [Non-Patent Document 4] proposes a technique capable of further increasing the speed by mounting on a VG cluster and handling data of a larger size. FIG. 6B shows a visualization example in which the LIC method is directly extended to three dimensions using the VG cluster. This visualized data is 120 generated by a tornado simulation. ³ This is voxel three-dimensional vector volume data. In this example, eight 3D LIC textures having different time phases are generated in parallel in the VG cluster. The normal for shading is the reverse direction of the gradient of the 3D LIC texture.
[0016]
In addition to the LIC method, there is a similar method called dyadection.
[0017]
[Problems to be solved by the invention]
Although it is easy to extend the texture that emphasizes these local structures to three dimensions, volume rendering is performed on the generated local structure-enhanced texture volume data by color and opacity changing means 101 as shown in FIG. It is reported that the texture overlaps in the line of sight and it is very difficult to grasp the three-dimensional flow and diffusion structure. FIG. 6B is an example in which a 3D LIC texture generated from tornado vector data is visualized by the color and opacity changing means 101 used in the conventional volume rendering method of FIG. However, it is difficult to know the internal structure of the tornado from such an image.
[0018]
The object of the present invention is to input attribute values related to tensor volume data as attribute value volume data in addition to the tensor volume data of the local structure enhanced texture, and use the values to determine the color and opacity of the local structure enhanced texture. It is to provide a method and apparatus for changing.
[0019]
Another object of the present invention is to determine the color and opacity of local structure-enhanced textures generated from tensor volume data in 3D space, such as vectors for fluid flow (first-order tensors) and tensors for fluid diffusion. It is an object to provide a method and apparatus for visualizing the flow and diffusion of fluid in real time by changing the above.
[0020]
[Means for Solving the Problems]
The method of the present invention aims to improve the method of visualizing the tensor volume data in real time by changing the color and opacity of the local structure enhanced texture generated from the tensor volume data in the three-dimensional space. In the present invention, color data and opacity data are obtained from attribute values and transfer functions such as flow velocity, temperature, pressure, vector length, eigenvalue anisotropy, etc. included in attribute value volume data related to tensor volume data. And generate Then, the opacity of the local structure enhancement texture is obtained by multiplying the gray value of the volume data of the local structure enhancement texture by the opacity data. Also, the tensor volume data is visualized in real time using the sum of the color data and the color data obtained from other information as the color of the local structure-enhanced texture. Here, a 3D LIC texture or a dyad effect texture can be used as the local structure enhancement texture. In addition, attribute value volume data is naturally derived in the calculation process in computational fluid dynamics (flow velocity, temperature, pressure, vector length, etc.), and even measured data such as diffusion-weighted MRI images can be easily calculated and calculated by other measurement means. (E.g. eigenvalue anisotropy). The “color data obtained from other information” is, for example, shadow color data obtained from one or more pieces of irradiation information. The irradiation information is preferably two or more irradiation information. In addition to shading data, data generated by a non-photorealistic rendering method can also be used as other color data.
[0021]
According to the present invention, by changing the color and opacity of a local structure-enhanced texture such as a 3D LIC according to attribute values, structures such as fluid flow and fluid diffusion can be visualized more clearly than before. .
[0022]
By changing the color and opacity of the local structure-enhanced texture generated from 3D space vector (1st floor tensor) volume data of fluid flow by the method of the present invention, the fluid flow can be clarified in real time. Can be visualized. In this case, vector volume data that is tensor volume data on the first floor is handled. Also, according to the method of the present invention, it is possible to visualize the diffusion of fluid in real time. When visualizing the diffusion of fluid, tensor volume data of the second and higher floors is handled.
[0023]
The apparatus of the present invention comprises color and opacity changing means for changing the color and opacity of a local structure-enhanced texture generated from tensor volume data in a three-dimensional space, and changing the color and opacity. Visualize tensor volume data in real time. The color and opacity changing means includes color data from attribute values and transfer functions such as flow velocity, temperature, pressure, vector length, eigenvalue anisotropy, etc. included in attribute value volume data related to tensor volume data. Color and opacity data generating means for generating opacity data, gray value generating means for generating gray value of volume data of local structure enhancement texture, and local structure enhancement obtained by multiplying gray value and opacity data An opacity output unit that outputs the opacity of the texture and a color output unit that outputs the sum of the color data and color data obtained from other information as the color of the local structure-enhanced texture are provided.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an example of an embodiment of the present invention will be described in detail with reference to the drawings. As described above, the 3D LIC method is improved by selectively performing volume rendering of the feature [Non-Patent Document 2], and further, the 3D LIC is accelerated using the VolumePro500 card [Non-Patent Document 3]. Implementation on a VG (Volume Graphics) cluster which is a parallel computation visualization system [Non-Patent Document 4] is a basic premise of the embodiment of the present invention. In many cases, flow field data actually obtained from simulation and measurement of scientific phenomena has not only vector quantities but also characteristic quantities that have some kind of causal relationship with flows such as flow velocity, pressure, temperature, and density. However, VolumePro 500 (trademark), which has only one field value, cannot visualize characteristic quantities other than the LIC texture sufficiently effectively, and the causal relationship cannot be interactively analyzed. In the following embodiments, the following two technologies are implemented in a VG cluster system to interactively generate attributed 3D flow real-time animation and provide a scalable system. One technique is a hardware volume renderer that uses a programmable PC graphics engine (GPU) to change the color and opacity of 3D LIC textures depending on attribute values such as flow velocity. It becomes a target. Another technique is a transfer function editor that can design a transfer function that emphasizes features using a volume skeleton tree (VST) that represents the phase structure of the volume (this technique is the subject of the present invention). Is not something).
[0025]
FIG. 7 shows an outline of the processing process according to the embodiment of the present invention. First, 3D vector data representing a flow field is input to generate a 3D LIC time series texture. The original algorithm of the LIC method and its three-dimensionalization will be described later. Next, a flow velocity volume is obtained from the vector norm calculation, a VST indicating its topological skeleton is generated, and a transfer function for selectively emphasizing and drawing a characteristic region of the phase is automatically generated. The user can interactively edit the transfer function using the transfer function editor according to the purpose. Next, on a VG cluster using a programmable GPU, the 3D LIC texture and the color and opacity obtained from the flow velocity are combined to visualize the 3D flow field. Hardware volume rendering using GPU and the experimental results will be described later.
[0026]
The mounting environment in the embodiment is a VG cluster using 17 Xeon (1.7 GHz) Dual (trademark) PC systems equipped with GeForce4 Ti 4600 (trademark) manufactured by NVIDIA and three frame superimposing devices manufactured by Mitsubishi Precision Corporation. Built. Note that this frame superimposing apparatus is described in S.A. Muraki, M .; Oata, K .; Kajihara, KL. Ma, K .; Koshizuka, X. et al. Liu, Y .; Nagano, K .; “Next-generation visual su-percomputing using PC clusters with volumetric hardware devices” by Shimokawa [In Proc. IEEE SC2001, November 2001]. The transfer function editor and volume renderer were implemented in C ++ on a PC cluster OS (Score 5.2, PC Cluster Consortium) based on RedHat Linux 7.3 (trademark). The register combiner was programmed using a Linux (registered trademark) display driver (Ver. 1.0-4191) that can be downloaded from the homepage of NVIDIA and an extension instruction of OpenGL.
[0027]
Here, transfer function design using a volume skeleton tree will be described. As an element that determines the shape structure of the three-dimensional flow field, the distribution of scalar values representing the flow velocity is analyzed, and the transfer function is designed based on this. Specifically, by emphasizing a characteristic change of the isosurface according to the value of the flow velocity, a transfer function that can visualize the structure of the flow field is designed. Here, such a characteristic change of the isosurface is expressed by a volume skeleton tree (VST).
[0028]
Volume data can be considered as a discrete representation of a three-dimensional monovalent function w = f (x, y, z). When the change of the isosurface follows the direction in which the field value decreases, there is a point where the isosurface causes a phase change such as merging and branching at a certain field value. Such a point is called a critical point and its field value is called a critical field value. The critical points can be classified into four points: a maximum point (C3), a saddle point (C2), a saddle point (C1), and a minimal point (C0) corresponding to generation, merging, branching, and annihilation of isosurfaces. This is a paper titled “Volume Skeleton Extraction and Its Application to Transfer Function Design” written by Yuriko Takeshima, Naruo Takahashi, and Kazunari Fujishiro [Joint Symposium 2001 of Image Electronics Society of Japan, Visual Computing, Information Processing Society of Japan, and CAD] , June 2001, pp. 79-84]. FIG. 8 shows isosurface generation (C3), annihilation (C0) changes, and merge (C2) and branch (C1) changes. VST is defined as a graph in which these critical points are represented by nodes, and transitions (without phase change) of each connected component of the isosurface are represented by links, and are configured by combining elements as shown in FIG. Is done.
[0029]
In the actual analysis, virtual minimum points are introduced to make the target volume data in phase with the three-dimensional sphere. Thus, it is mathematically known that the number of critical points satisfies the following Euler formula.
[0030]
N (C3) -N (C2) + N (C1) -N (C0) = 0
Here, N (Ci) indicates the number of critical points of index i. When volume phase analysis is performed on actual data, since the data contains noise, a large number of local critical points are generated and the structure of the entire volume is hidden. Therefore, the global feature of volume data is extracted by simplifying VST by deleting a pair of critical points where the difference between two critical field values is below a certain threshold. FIG. 10 shows VST as a result of phase analysis of the visualized tornado flow velocity data shown in FIG. 6B and the isosurface in the critical field value. This VST includes eight critical points representing global features.
[0031]
Next, transfer function editing will be described. A value of the flow velocity w corresponding to the critical point is regarded as a critical field value, and a transfer function that emphasizes the vicinity of the value is generated. Based on the assumption that there is a high possibility that the features to be seen around the critical point are distributed, this editor reads the VST of the attribute volume and semi-automatically designs the transfer function as follows. The hue transfer function is designed to change from blue (2 = 3) to red (0) based on the HLS color system, and to change linearly within an interval without phase change (FIG. 11A). ). On the other hand, the opacity transfer function uses a mountain-shaped function as shown in FIG. 11B to emphasize the isosurface of the critical field value. Also, the opacity is designed to be higher as the field value is higher so as to minimize the shielding effect. FIG. 12 shows a state in which a transfer function automatically designed according to the policies of FIGS. 11A and 11B from the VST (FIG. 10) of the tornado flow velocity data is displayed in the transfer function editor. In this editor, the cursor is assigned to the position of each critical field value for both color and opacity, and the user can easily edit the color and opacity settings for each field value according to the purpose.
[0032]
FIG. 13 is a diagram showing an example of a method for visualizing tensor volume data in real time according to the present invention; a color for changing the color and opacity of a local structure-enhanced texture generated from tensor volume data in a three-dimensional space; 3 is a block diagram showing a configuration of opacity changing means 1. FIG. This configuration is realized by a program. The color and opacity changing means 1 includes a color / opacity (ambient) generation unit 2, a shadow (diffuse, specular) generation unit 3, and an addition unit 4. The details of the color and opacity changing means 1 are as shown in FIG. FIG. 15 shows an algorithm of a program that realizes the color / opacity (ambient) generation unit 2. The color / opacity (ambient) generation unit 2 includes a color and opacity data generation unit 21, a gray value generation unit 22, and an opacity output unit 23. The color and opacity data generation means 21 is used to calculate the flow velocity, temperature, pressure, vector length, and eigenvalue anisotropy included in the attribute value volume data related to the tensor volume data of the local structure enhancement texture (for example, 3D LIC). The color data and the opacity data are generated from the attribute value such as the above and the above transfer function. The gray value generation unit 22 generates a gray value of the volume data of the local structure enhancement texture. The gray value can be generated, for example, by applying the 3D LIC method to the three-dimensional vector field data. The opacity output unit 23 outputs the product of the gray value and the opacity data as the opacity of the local structure enhanced texture. The other color data generation unit 3 ′ in FIG. 14 corresponds to the shade (diffuse, specular) generation unit 3 in FIG. The color output unit 4 ′ is obtained by adding the color data output from another color data generation unit 3 ′ such as the shadow (diffuse, specular) generation unit 3 output from the color and opacity data generation unit 21. Is output as the local structure-enhanced texture color. The shadow (diffuse, specular) generation unit 3 calculates the three-dimensional gradients (δw / δx, δw / δy, δw /) of the scalar volume data by performing a difference operation on the illumination information 1 (direction and color) from the illumination information 1 (direction and color). δz) is calculated. Then, using this calculation result and normal vector volume data storing (−δw / δx, −δw / δy, −δw / δz) instead of RGB, the diffuse reflection (diffuse) model or specular reflection ( By performing shading using a specular model, the shading (diffuse, specular) generation unit 3 outputs other color data. Here, the illumination information (direction and color) is the direction and color of a virtual parallel light source that illuminates tensor volume data to be visualized.
[0033]
As shown in the algorithm of FIG. 15, in this embodiment, local structure emphasis is applied to the opacity α (w) referenced from the attribute value by the transfer function table (that is, uniquely determined by the size of the attribute value). The texture multiplied by the gray value (minimum value 0, maximum value 1) is output as opacity. Thereby, the color and opacity of the local structure emphasis texture such as 3D LIC can be freely changed according to the attribute value, and the structure such as the flow can be clearly visualized.
[0034]
Next, hardware volume rendering in the case where a 3D LIC texture actually produced experimentally is used as a local structure-enhanced texture will be described. The 3D LIC texture is gray volume data obtained by blurring binary three-dimensional white noise along the direction of three-dimensional vector data. On the other hand, 3D vector data can be obtained from simulations such as computational fluid dynamics and measured values such as diffusion-weighted MRI. Each voxel has multiple attribute values such as flow velocity, temperature, density, and eigenvalue anisotropy. Is often accompanied. A real-time volume graphics engine such as VolumePro 500 ™ is suitable for applications in which only the 3D LIC texture is visualized at high speed, but does not have a function to display a plurality of parameters simultaneously.
[0035]
Therefore, we created a volume renderer that uses a GPU with a programmable multi-texture function to visualize the 3DLIC texture by adding one attribute value (scalar value). For programmable multi-texture functions, see C.I. Rezk-Salama, K .; Engel, M.M. Bauer, G.M. Greiner, T .; Ertl's paper entitled “Interactive volume rendering on standard PC graphics hardware using multi-textures and multi-stage rasterization” [In Proc. ACMSIGGRAPH / Eurographics Works on Graphics Hardware 2000, August 2000, pp. 109-118].
[0036]
Previous work on adding attributes to LIC textures ("Visualizing vector fields using line integral convolution and dyes edu edu edu" by HW Shen, C. Johnson, KL Ma) [In Proc. In October 1996, pp. 63-70], a vector field and its attribute data set are synthesized by mapping an LIC texture onto an isosurface or opaque portion defined by a scalar attribute amount. On the other hand, in the present embodiment, it is assumed that the LIC texture is opaque at the maximum value (1) of the pixel value and transparent at the minimum value (0), and the LIC texture is set to the opacity referenced by the transfer function of the attribute data. Multiply texture pixel values and use for volume rendering. Accordingly, the user can interactively edit the opacity and color of the LIC texture according to the attribute value.
[0037]
FIG. 16 shows a setting configuration when the volume renderer used in the embodiment of the present invention is configured with a register combination setting of GeForce4 Ti 4600 (trademark) manufactured by NVIDIA. With this setting, shading can also be performed using a diffuse illumination model with two light sources. In this configuration, a local structure emphasis texture and attribute value texture (w: 8-bit scalar: flow velocity in this example) and a normal vector (three-dimensional vector of each component 8 bits) composed of a 3D LIC texture (L: 8-bit scalar) The transfer function table for three three-dimensional textures and attribute values of volume data is input. Normals have different calculation methods depending on the object to be visualized.
[0038]
For example, Y. Suzuki, I. et al. Fujishiro, L .; Chen, H .; A paper entitled “Hardware-accelerated selected volume rendering of 3D LIC textures” by Nakamura [In Proc. IEEE Visualization '02, Boston, October-November 2002, pp. 485-488], an example is shown. In this embodiment, the decreasing direction of the flow velocity is used. In this embodiment, the RGB value and the opacity (α value) are generated from the pixel value of the attribute value texture by the transfer function table. Then, the α value is multiplied by the pixel value of the LIC texture by the register combiner RC and output. If the cross section of the volume data is cut out with this setting, the color and opacity of the 3DLIC texture can be changed according to the attribute value, and a polygon can be generated in which diffuse illumination by two arbitrarily set parallel light sources is performed for each pixel. Volume rendering can be executed at high speed by cutting out polygons in order from the front perpendicular to the line of sight and blending them on the screen. When generating a time series (4D image) animation of a 3D LIC texture, the time series may be regarded as one large three-dimensional volume by connecting them in the z-axis direction, and partial volumes of each time phase may be visualized sequentially. However, the memory capacity of GeForce4 Ti 4600 (trademark) is limited to 128 Mbytes, the length n of one side of the three-dimensional texture is limited to n = 2 m, and the volume renderer is a memory of 5 bytes per voxel. Therefore, there are limitations on the size of volume that can be visualized and the length of time series. In general, the drawing speed of the GPU decreases as the three-dimensional texture memory used increases. By dividing and processing a space using a VG cluster, high-speed rendering of large-scale vector volume data exceeding the limitation of such GPU becomes possible.
[0039]
The tornado simulation data visualized in FIG. 6B was visualized by this embodiment. FIG. 17 shows one frame when animations are continuously displayed. FIG. 17A is a visualization result using a transfer function automatically generated from the VST, and the result obtained by interactively adjusting the opacity using the transfer function editor of FIG. 12 is shown in FIG. Shown in In both cases, it can be seen that the layered structure of the tornado flow velocity is clearly depicted. In this example, a vector norm (length) is used as an attribute, and two different transfer function tables are used. Unlike FIG. 6B, the internal structure of the tornado can be clearly grasped.
[0040]
In the LIC method, it is possible to add a periodic motion that emphasizes the flow direction to vector data that does not originally change by shifting the phase when blurring along the streamline (phase shift method). In the present invention, it is possible to visualize vector data more effectively by using the phase shift method and real-time visualization performance together and generating a real-time animation.
[0041]
FIG. 18 shows the result of measuring the frame rate of animation in order to investigate the performance of the VG cluster. Experiments were performed with three image sizes of 256 × 256, 512 × 512, 768 × 768, and varying the number of personal computers in the cluster. From this experiment, it can be seen that the larger the image size, the longer it takes to draw. Further, since the frame rate tends to increase as the degree of parallelism increases, it can be seen that this is effective for visualization of a large-scale vector field.
[0042]
【The invention's effect】
According to the present invention, by changing the color and opacity of a local structure-enhanced texture such as a 3D LIC according to attribute values, structures such as fluid flow and fluid diffusion can be visualized more clearly than before. Benefits are gained.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating the concept of volume rendering.
FIG. 2 is a diagram used for explaining texture-based volume rendering.
FIG. 3 is a block diagram showing a conventional configuration.
FIG. 4 is a diagram showing an algorithm of a program used in a conventional method.
FIG. 5A shows random dots, FIG. 5B shows the concept of extracting streamlines from vector data, and FIG. 5C shows random dots blurred along the streamlines by the LIC method. Results are shown.
6A is a diagram for explaining the definition of a three-dimensional local stream line, and FIG. 6B is a diagram showing a visualization result of tornado data by 3D LIC.
FIG. 7 is a diagram illustrating an outline of a processing process according to the embodiment.
FIG. 8 is a diagram illustrating an example of a change in isosurface at a critical point.
FIG. 9 is a diagram showing components of a VST around a critical point.
FIG. 10 is a diagram showing an example of VST and critical isosurface of tornado flow velocity data.
FIG. 11A is a diagram illustrating an example of a hue of a phase-enhanced transfer function setting method, and FIG. 11B is a diagram illustrating an example of the opacity thereof.
FIG. 12 is a diagram illustrating an example of a transfer function editor having a phase analysis function.
FIG. 13 is a block diagram showing a configuration of color / opacity changing means used in the embodiment.
14 is a block diagram showing a more specific configuration of FIG.
15 is a diagram showing an algorithm in the case where the color / opacity (ambient) generation unit of FIG. 13 is realized by a program.
FIG. 16 is a diagram illustrating setting of a register combiner used in the embodiment.
FIG. 17A is a snap diagram when using an automatically generated transfer function in a snap from a tornado animation using a flow velocity and a 3D LIC texture, and FIG. 17B is a snap diagram after editing the transfer function. It is.
FIG. 18 is a diagram illustrating a frame rate of LIC volume rendering using a VG cluster.
[Explanation of symbols]
1 Color and opacity change means
2 color / opacity (ambient) generation part
3 Shadow (diffuse, specular) generation part
4 Adder
21 Color and opacity data generation means
22 Gray value generation means
23 Opacity output part

Claims

A method for visualizing the tensor volume data in real time by changing the color and opacity of the local structure-enhanced texture generated from the tensor volume data in a three-dimensional space,
Color data and opacity data are generated from attribute values and transfer functions such as flow velocity, temperature, pressure, vector length, eigenvalue anisotropy, etc. included in the attribute value volume data related to the tensor volume data. ,
The opacity of the local structure-enhanced texture is obtained by multiplying the gray value of the volume data of the local structure-enhanced texture and the opacity data.
The tensor volume data real-time visualization method characterized in that the tensor volume data is visualized in real time as the color of the local structure-enhanced texture obtained by adding the color data and color data obtained from other information. .

2. The tensor volume data real-time visualization method according to claim 1, wherein the color data obtained from the other information is shadow color data obtained from one or more pieces of irradiation information.

The tensor volume data real-time visualization method according to claim 1, wherein the local structure-enhanced texture is a 3D LIC texture or a dyad kinetic texture.

Color and opacity changing means for changing the color and opacity of the local structure-enhanced texture generated from the tensor volume data in the three-dimensional space, and changing the color and the opacity to change the tensor volume data. A device that visualizes in real time,
The color and opacity changing means is
Color data and opacity data are generated from attribute values and transfer functions such as flow velocity, temperature, pressure, vector length, eigenvalue anisotropy, etc. included in the attribute value volume data related to the tensor volume data. Color and opacity data generation means;
A gray value generating means for generating a gray value of the volume data of the local structure-enhanced texture;
An opacity output unit that outputs the product of the gray value and the opacity data as the opacity of the local structure enhancement texture;
A real-time visualization device of tensor volume data, comprising: a color output unit that outputs the color data and color data obtained from other information as the color of the local structure-enhanced texture .

A method for visualizing the fluid flow in real time by changing the color and opacity of the local structure-enhanced texture generated from the vector volume data of the three-dimensional space about the fluid flow,
Generate color data and opacity data from attribute values and transfer functions such as flow velocity, temperature, pressure, vector length, etc. included in the attribute value volume data related to the vector volume data,
The opacity of the local structure-enhanced texture is obtained by multiplying the gray value of the volume data of the local structure-enhanced texture and the opacity data.
Visualizing the fluid flow in real time by visualizing the vector volume data in real time as the color of the local structure-enhanced texture obtained by adding the color data and color data obtained from other information how to.

A method for visualizing the diffusion of the fluid in real time by changing the color and opacity of the local structure-enhanced texture generated from the tensor volume data of the three-dimensional space for the diffusion of the fluid,
Color data and opacity data are generated from attribute values and transfer functions such as eigenvalues, eigenvector directions, eigenvalue anisotropies included in attribute value volume data related to the tensor volume data,
The opacity of the local structure-enhanced texture is obtained by multiplying the gray value of the volume data of the local structure-enhanced texture and the opacity data.
Visualization of fluid diffusion in real time, wherein the tensor volume data is visualized in real time as the color of the local structure-enhanced texture obtained by adding the color data and color data obtained from other information how to.