JP2003233600A - ボリュームレンダリング処理方法、ボリュームレンダリング処理システム、計算機及びプログラム - Google Patents

Abstract

(57)【要約】 【課題】 複数のノードの計算資源を協調分散処理によ
り有効活用し、高コストパフォーマンスを満たす単一計
算機では扱うことが不可能な大容量ボクセルデータを高
速にボリュームレンダリング処理する。 【解決手段】 メインの画像処理システムＡは、他の画
像処理システムＢ，Ｃの処理能力を確認しながらノード
割り当てと動的負荷（データ負荷・計算負荷）割り当て
とを行う。ノード割当情報および負荷割当情報がストレ
ージサーバー２に送られる。ストレージサーバー２は、
各割り当てノード（計算機）３に対し割り当てデータ負
荷に応じたボクセルデータ（医療画像データ）を送る。
各ノード３ではメモリに読み込んだ割り当てデータに対
し割り当て計算負荷に応じた分散ボリュームレンダリン
グ処理が行われる。メインの画像処理システムＡでは各
分散処理結果が一つに連結されたボリュームレンダリン
グ画像が表示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のノード（計
算機）を備えたコンピュータネットワーク上で行われ
る、動的負荷割り当てを用いた協調分散処理によるボリ
ュームレンダリング処理方法、ボリュームレンダリング
処理システム、計算機及びプログラムに関するものであ
る。

【０００２】

【従来の技術】近年、ネットワーク環境および計算機が
低価格化・高性能化により多くの病院に普及するように
なってきている。病院内の複数箇所での利用ニーズに従
い、院内ネットワークに複数台の画像処理システムがあ
る場合も珍しくなくなってきている。ＣＴ，ＭＲＩなど
医療画像診断機器で撮影された医療画像データ（ボクセ
ルデータ）を画像処理システムの画面で見るときの画像
処理にはボリュームレンダリング処理が行われる。

【０００３】ＣＴ，ＭＲＩなど医療画像診断機器の発達
による測定分解能の向上とともに、医療画像データ（ボ
クセルデータ）のデータ容量が増大している。リアルタ
イムでデータ本来の分解能を反映させながらデータを間
引かずにボリュームレンダリング処理を行うためには、
大容量のメモリと高速なＣＰＵなど膨大な計算資源を持
つ計算機が必要である。現状では上記条件を満たすよう
な計算機は現実的なコストでは得られない。そのためボ
リュームレンダリング処理を行うことができるボクセル
データの容量に限界がある。すなわち、現状ではコスト
パフォーマンスの高い計算機１台当たりが装備可能なメ
モリ容量と計算能力に限界があるため、ボリュームレン
ダリング処理を行うことができるボクセルデータの容量
に限界がある。

【０００４】特に医療画像データのデータ容量の増加が
著しい。この要因には時間分解能と空間分解能の向上が
挙げられる。通常使用される３Ｄ医療画像データは、幅
（Ｘ軸）、高さ（Ｙ軸）が同じ２Ｄ画像（体の断面画
像、1スライス）を体軸方向（Ｚ軸）に何枚も積層する
ことで構成される。さらに時間軸（Ｔ軸）が加わった４
Ｄ医療画像データは、３Ｄ医療画像データの時系列で構
成されるが、すでにデータ容量が大きい３Ｄデータを複
数持つことになるため、膨大なデータ容量となる。診断
機器の技術革新による時間分解能の向上（Ｔ軸方向）に
よって、３Ｄ医療画像の時系列データを臨床現場で取得
できるようになってきた。

【０００５】また、空間分解能の向上（Ｘ軸、Ｙ軸方
向）も進み、現在は１スライスの解像度は512 × 512
が主流であるがいずれ1024 × 1024 になると言われて
いる。さらに、空間分解能の向上（Z軸方向）も挙げら
れ、１スライスの厚さが薄くなることで同じ撮影部位が
従来よりも多くのスライス枚数から構成されるため、デ
ータ容量が増加している。

【０００６】従来、図１６に示すように、１台の計算機
５０で完結する画像処理システムがあった。この画像処
理システムでは、一台の計算機（複数ＣＰＵの場合有
り）５０でボリュームレンダリング処理の全工程が行わ
れる。

【０００７】また図１７に示すように、ボクセルデータ
のストレージを行うストレージサーバー５２とボリュー
ムレンダリング処理・表示を行う画像処理システム５３
とに分け、ストレージサーバー５２と複数台の計算機５
０をネットワークで繋いで構築されるシステム５１があ
った。画像処理システム５３は、必要なボクセルデータ
をストレージサーバー５２から動的に取得して、画像処
理システム内のメモリに読み込んだ後、ボリュームレン
ダリング処理を行う。長所としては、ボリュームレンダ
リングで編集したい、必要なボクセルデータのみ画像処
理システム５３で保持すればよい。つまり、ローカル・
ストレージの浪費や、ローカル・ストレージ容量による
制限がなくなる。

【０００８】さらに図１８に示すように、ボクセルデー
タのストレージとボリュームレンダリング処理を行うス
トレージ・計算サーバー５６と、ボリュームレンダリン
グ処理結果を表示する画像表示システム５７とに分け、
このサーバー５６と複数台の計算機５０をネットワーク
で繋いで構築されるシステム５５があった。長所として
は、(1) 処理結果を表示する計算機５０は計算資源が少
なくてもよく、画像表示システム５７を低コストにする
ことができる、(2) 動的に計算資源を複数のユーザーに
配分することができるなどが挙げられる。

【０００９】

【発明が解決しようとする課題】図１６に示すように一
台の計算機（複数ＣＰＵの場合有り）５０でボリューム
レンダリング処理の全工程が行われる画像処理システム
では、短所として以下の点が挙げられる。 (1) ネットワーク環境上に複数のシステムが存在する場
合、大容量ボクセルデータのコピーを全てのシステムに
置くことになり、資源の浪費になる。 (2)大容量ボクセルデータをデータ本来の分解能を維持
しつつリアルタイムで処理するにはメモリ容量が乏しい
ため、リアルタイムで扱えるデータ容量に限界がある。
（リアルタイムで処理するためには、データをメインメ
モリ上に配置することが必須である。データ本来の分解
能を維持するためにはダウンサンプリングを行うことが
できないため、データ全領域をメインメモリ上に配置し
なければならず、大量のメモリ容量が必要とされる。） (3) 事前に対象とするデータをローカル・ストレージに
転送しておく必要がある。 (4) ローカル・ストレージの容量は大きくないため、容
量確保のために煩雑な管理が不可避であり、新しいデー
タを使うために、長い間使用していない不要なデータを
探し出して削除しなければならない。

【００１０】また、図１７に示すようにストレージサー
バー５２とボリュームレンダリング処理・表示を行う画
像処理システム５３とにより構築されたシステム５１で
は、ストレージサーバー５２はデータの保存に特化して
いる。ストレージサーバー５２とのデータ取得のやりと
りの部分を除けば本質的には図１６の場合と変わらな
い。短所としては、大容量ボクセルデータをリアルタイ
ムで処理するにはメモリ容量が乏しいため、計算資源は
図１６の場合と変わらない。よって、リアルタイムで扱
えるデータ容量に限界があった。ユーザーが使用してい
ない計算機の計算資源は活用されていなかった。

【００１１】さらに図１８に示すようにストレージ・計
算サーバー５６とボリュームレンダリング処理結果を表
示する画像表示システム５７とにより構築されたシステ
ム５５では、次の短所が挙げられる。すなわち、ストレ
ージ・計算サーバー５６に、データ容量（メモリ容量）
による負荷および計算負荷の両方が集中する。計算能力
に限界がある点は図１６と本質的に同じである。またユ
ーザーが使用していない計算機の計算資源はやはり活用
されていなかった。

【００１２】つまり、高コストパフォーマンス、大容量
データ、リアルタイム高速処理の３つを全て満足させる
ことが望ましいが、従来のシステム５１，５５では、ど
れか１つをあきらめるしかなかった。

【００１３】本発明は上記課題を解決するためになされ
たものであって、その目的は、複数のノード（計算機）
に動的に負荷を割り当てて協調分散処理することで、高
コストパフォーマンスを満たす単一計算機では扱うこと
が難しい大容量ボクセルデータでも高速にボリュームレ
ンダリング処理することができるボリュームレンダリン
グ処理方法、ボリュームレンダリング処理システム、計
算機及びプログラムを提供することにある。

【００１４】

【課題を解決するための手段】上記目的を達成するため
に請求項１に記載の発明は、複数のノードと、該複数の
ノードのうち少なくとも一つが兼ねるか又は前記複数の
ノードとは別に設けられたサーバとによってコンピュー
タネットワークが構築され、前記サーバに格納された三
次元以上のボクセルデータに施すべきボリュームレンダ
リング処理を少なくとも二つのノードが分散処理で実行
するボリュームレンダリング処理システムにおいて、少
なくとも一つのノードは、入力手段からボクセルデータ
の表示処理を受け付けると、他ノードからその時々に取
得した計算資源使用状況の情報を基に自ノードと共に分
散処理可能な余力のあるノードの有無を調べ、余力のあ
る他ノードがあれば自ノードと共にノード割り当てをす
るノード割当手段と、前記ボクセルデータのデータ負荷
と計算負荷とのうち少なくとも一方を前記計算資源使用
状況に応じて分割して前記各割り当てノードに対し動的
負荷割り当てを行う負荷割当手段と、前記各割り当てノ
ードにおいて割り当て負荷に応じて実行される各分散ボ
リュームレンダリング処理の処理結果を取得して一つに
整合させて連結する連結手段とを備え、該連結により生
成されたボリュームレンダリング画像を表示手段に表示
することを要旨とする。

【００１５】この発明によれば、少なくとも一つのノー
ドにおいては、入力手段からボクセルデータの表示処理
を受け付けると、ノード割当手段が他ノードからその時
々に取得した計算資源使用状況の情報を基に自ノードと
共に分散処理可能な余力のあるノードの有無を調べ、余
力のある他ノードがあれば自ノードと共に分散処理を行
うノードとしてノード割り当てをする。負荷割当手段
は、前記ボクセルデータのデータ負荷と計算負荷とのう
ち少なくとも一方を計算資源使用状況に応じて分割して
各割り当てノードに対し動的負荷割り当てを行う。各割
り当てノードにおいては割り当て負荷に応じた分散ボリ
ュームレンダリング処理がそれぞれ実行され、連結手段
は、各分散ボリュームレンダリング処理の処理結果を取
得して一つに整合させて連結する。その連結により生成
されたボリュームレンダリング画像は当該ノードの表示
手段に表示される。従って、計算資源に余力のある他ノ
ードがあればその計算資源を有効活用し、複数のノード
（計算機）が動的に負荷を分担しながらボリュームレン
ダリング演算を協調分散処理することで、単一計算機
（ノード）では扱うことが難しい大容量データでも高速
にボリュームレンダリング処理することが可能となる。

【００１６】上記目的を達成するために請求項２に記載
の発明は、複数のノードと、該複数のノードのうち少な
くとも一つが兼ねるか又は前記複数のノードとは別に設
けられたサーバとによってコンピュータネットワークが
構築され、前記サーバに格納された三次元以上のボクセ
ルデータに施すべきボリュームレンダリング処理を少な
くとも二つのノードが分散処理で実行するボリュームレ
ンダリング処理システムにおいて、前記複数のノードの
うち少なくとも一つのノードの入力手段により表示対象
として指定されたボクセルデータを前記サーバに要求す
る要求手段と、前記表示対象のボクセルデータについて
協調分散処理でボリュームレンダリング処理を行う少な
くとも二つのノードを前記複数のノードの中から各々の
処理能力に応じて選択し割り当てるノード割当手段と、
前記ノード割当手段により割り当てられた各ノードに対
し各々の処理能力に応じて動的負荷割り当てを行う負荷
割当手段と、前記割り当てノードにおいて割り当て負荷
に応じた分散ボリュームレンダリング処理の演算を行う
演算手段と、前記割り当てノードにおける演算手段の処
理結果を一つに整合させて連結する連結手段と、前記連
結手段による処理結果の連結により生成された画像を前
記表示対象指定元のノードの表示手段に表示する表示制
御手段とを備えたことを要旨とする。なお、「サーバ」
とは、サーバを兼ねるノードにおいては、一台のノード
内に格納されたボクセルデータをメモリに読み込むとき
に要求するその要求先のサーバモジュールをも含む概念
である。つまり、一台のノード内でサーバモジュールに
対してボクセルデータの要求を出す処理の主体（プログ
ラム等）も要求手段に含まれる。

【００１７】この発明によれば、ノード割当手段によ
り、表示対象のボクセルデータについて協調分散処理で
ボリュームレンダリング処理を行う少なくとも二つのノ
ードが、各ノードの処理能力に応じて選択され割り当て
られる。ノード割当手段により割り当てられた各ノード
に対し各々の処理能力に応じて動的負荷が割り当てられ
る。各割り当てノードにおいて演算手段により負荷に応
じて行われた分散ボリュームレンダリング処理の処理結
果が連結手段により整合された状態で一つに連結され、
表示制御手段により表示対象指定元のノード（メインノ
ード）の表示手段にその画像が表示される。複数のノー
ド（計算機）が協調して動的に負荷を分担しながらボリ
ュームレンダリング演算の分散処理（協調分散処理）を
行うことで、単一計算機（ノード）では扱うことが難し
い大容量データでも高速にボリュームレンダリング処理
することが可能となる。

【００１８】請求項３に記載の発明は、請求項１又は２
に記載のボリュームレンダリング処理システムにおい
て、前記ノード割当手段は、各ノードの処理能力の判断
情報として計算余力とメモリ空き容量のうち少なくとも
一方を含む計算資源利用状況の情報を各ノードから通信
により取得し、該計算資源利用状況の情報を基に割り当
てノードを選択するとともに、前記負荷割当手段は、前
記計算資源利用状況に応じた負荷割り当てとなるように
前記割り当てノードに対し分散ボリュームレンダリング
処理を割り当てることを要旨とする。

【００１９】この発明によれば、請求項１又は２に記載
の発明の作用に加え、ノード割当手段により、計算余力
とメモリ空き容量のうち少なくとも一方を含む計算資源
利用状況が各ノードから通信により取得され、この計算
資源利用状況の情報を基に割り当てノードが選択され
る。負荷割当手段により、割り当てノードに対し計算資
源利用状況に応じた負荷割り当てとなるように分散ボリ
ュームレンダリング処理が割り当てられる。この結果、
各ノード間で協調分散処理が可能である。

【００２０】請求項４に記載の発明は、請求項３に記載
のボリュームレンダリング処理システムにおいて、前記
計算余力とはＣＰＵ余力であることを要旨とする。この
発明によれば、請求項３に記載の発明の作用に加え、Ｃ
ＰＵ余力とメモリ空き容量のうち少なくとも一方を含む
計算資源利用状況が通信により取得され、ノード割当手
段により該計算資源利用状況を基に割り当てノードが選
択されるとともに、負荷割当手段により該計算資源利用
状況に応じた負荷割り当てとなるように分散ボリューム
レンダリング処理が割り当てられる。

【００２１】請求項５に記載の発明は、請求項１〜４の
いずれか一項に記載のボリュームレンダリング処理シス
テムにおいて、前記負荷割当手段は、負荷割り当てした
分散ボリュームレンダリング処理を予め設定された所定
量又は所定割合終了した処理結果を返してきたノードに
対して、次の分散ボリュームレンダリング処理の負荷割
り当てを行うことを要旨とする。

【００２２】この発明によれば、請求項１〜４のいずれ
か一項に記載の発明の作用に加え、負荷割当手段により
負荷割り当てされた分散ボリュームレンダリング処理が
予め設定された所定量又は所定割合終了した処理結果を
返してきたノードに対して、次の分散ボリュームレンダ
リング処理の負荷割り当てが行われる。処理速度の速い
ノードに優先的に負荷が割り当てられる。この結果、各
ノード間の協調分散処理を高速で実現することが可能で
ある。

【００２３】請求項６に記載の発明は、請求項１〜５の
いずれか一項に記載のボリュームレンダリング処理シス
テムにおいて、前記負荷割当手段は、前記割り当てノー
ドに対し、前記表示対象のボクセルデータを分割して割
り当てるデータ分割割当方式を採用することを要旨とす
る。

【００２４】この発明によれば、請求項１〜５のいずれ
か一項に記載の発明の作用に加え、負荷割当手段によ
り、割り当てノードに対し、表示対象のボクセルデータ
を分割して割り当てるデータ分割割当方式が採用され
る。従って、メモリ空き容量が多いノードを割り当て先
に選んで、分散処理のためのボクセルデータを割り当て
ることが可能となる。

【００２５】請求項７に記載の発明は、請求項１〜６の
いずれか一項に記載のボリュームレンダリング処理シス
テムにおいて、前記負荷割当手段は、前記割り当てノー
ドに対し、前記表示対象のボクセルデータに施すボリュ
ームレンダリングの計算処理を分割して割り当てる計算
分割割当方式を採用することを要旨とする。

【００２６】この発明によれば、請求項１〜６のいずれ
か一項に記載の発明によれば、負荷割当手段により、割
り当てノードに対し、表示対象のボクセルデータに施す
ボリュームレンダリングの計算処理を分割して割り当て
る計算分割割当方式が採用される。従って、計算余力
（ＣＰＵ余力）が多く例えばＣＰＵの空きが多いノード
を割り当て先に選んで、分散処理のためのボリュームレ
ンダリング演算を割り当てることが可能となる。

【００２７】請求項８に記載の発明は、請求項１〜７の
いずれか一項に記載のボリュームレンダリング処理シス
テムにおける前記ノードを構成する計算機であって、前
記ノード割当手段、前記負荷割当手段及び前記連結手段
を備えたことを要旨とする。

【００２８】この発明によれば、計算機（コンピュー
タ）により、請求項１〜７のいずれか一項に記載の発明
と同様の作用効果が得られる。請求項９に記載の発明
は、請求項２〜７のいずれか一項に記載のボリュームレ
ンダリング処理システムにおける前記ノードを構成する
計算機であって、前記要求手段、前記ノード割当手段、
前記負荷割当手段、前記演算手段、連結手段及び表示制
御手段を備えたことを要旨とする。

【００２９】この発明によれば、計算機（コンピュー
タ）により、請求項２〜７のいずれか一項に記載の発明
と同様の作用効果が得られる。請求項１０に記載の発明
は、請求項２〜７のいずれか一項に記載のボリュームレ
ンダリング処理システムを構成する前記ノードの機能を
コンピュータに実現させるプログラムであって、コンピ
ュータを、前記入力手段により指定されたボクセルデー
タの画像表示を前記サーバに要求する要求手段と、前記
表示対象のボクセルデータについて協調分散処理でボリ
ュームレンダリング処理を行う少なくとも二つの他のノ
ードを前記複数のノードの中から各々の処理能力に応じ
て選択し割り当てるノード割当手段と、前記ノード割当
手段により割り当てられた前記他の各ノードに対し各々
の処理能力に応じて動的負荷割り当てを行う負荷割当手
段と、前記割り当てられた他の各ノードから受信した複
数の分散ボリュームレンダリング処理結果を一つに整合
させて連結する連結手段と、前記連結手段により連結さ
れ生成されたボリュームレンダリング画像を前記表示手
段に表示する表示制御手段として機能させることを要旨
とする。

【００３０】この発明によれば、ボリュームレンダリン
グ処理システムを構成するこのノードは、コンピュータ
がプログラムを実行することによって実現される。この
ノードは、比較的負荷のかかるボリュームレンダリング
演算処理は他のノード（割り当てノード）の演算手段に
任せ、自身はボリュームレンダリング演算処理を行なわ
ず、要求手段、ノード割当手段、負荷割当手段、連結手
段、表示制御手段による各処理を担当する。従って、こ
のノードの機能を実現させるだけならば比較的演算能力
の低い計算機を使用できる。例えば４次元のボリューム
レンダリング処理では３次元空間に時間の次元が増える
ためボリュームレンダリング演算を行うノードに高い演
算能力が要求される。しかし、ボリュームレンダリング
演算を不要としたノードであれば、例えばパーソナルコ
ンピュータ（ノートパソコン等）でも対応可能となり、
システムを構築するうえで比較的高価な例えばワークス
テーションばかりを取り揃える必要がなくなる。

【００３１】請求項１１に記載の発明は、請求項２〜７
のいずれか一項に記載のボリュームレンダリング処理シ
ステムを構成する前記ノードの機能をコンピュータに実
現させるプログラムであって、コンピュータを、前記入
力手段により指定されたボクセルデータの画像の表示を
前記サーバに要求する要求手段と、前記連結手段を有す
る他のノードから、前記連結手段による連結により生成
されたボリュームレンダリング画像のデータを受信し、
該データに基づきボリュームレンダリング画像を前記表
示手段に表示する表示制御手段として機能させることを
要旨とする。

【００３２】この発明によれば、ボリュームレンダリン
グ処理システムを構成するこのノードは、コンピュータ
がプログラムを実行することによって実現される。この
ノードは、ノード割当処理、負荷割当処理、連結処理の
比較的負荷のかかる各処理を他のノードのノード割当手
段、負荷割当手段、連結手段に任せる他、かなり負荷の
かかるボリュームレンダリング演算処理も他のノード
（割り当てノード）の演算手段に任せる。このノード自
身は、ノード割当処理、負荷割当処理、連結処理および
ボリュームレンダリング演算処理を行なわず、他のノー
ドから連結処理後のボリュームレンダリング画像のデー
タを受信しこれに基づいて表示制御手段がボリュームレ
ンダリング画像を表示手段に表示させる表示処理を担当
する。従って、このノードの機能を実現させるだけなら
ば比較的演算能力の低い計算機を使用できる。例えば４
次元以上の高次元ボリュームレンダリング処理にはノー
ドに高い演算能力が要求されるが、ボリュームレンダリ
ング演算を不要としたノードであるので、例えばパーソ
ナルコンピュータ（ノートパソコン等）でも対応可能と
なり、比較的高価な例えばワークステーションばかりを
取り揃える必要がなくなる。

【００３３】請求項１２に記載の発明は、請求項２〜７
のいずれか一項に記載のボリュームレンダリング処理シ
ステムを構成する前記ノードの機能をコンピュータに実
現させるプログラムであって、コンピュータを、請求項
２〜７のいずれか一項に記載の前記要求手段、前記ノー
ド割当手段、前記負荷割当手段、前記演算手段及び前記
連結手段として機能させることを要旨とする。

【００３４】この発明によれば、プログラムによりコン
ピュータを、要求手段、ノード割当手段、負荷割当手
段、演算手段及び連結手段として機能させることができ
るため、請求項２〜７のいずれか一項に記載の発明と同
様の作用効果が得られる。

【００３５】請求項１３に記載の発明は、複数のノード
と、該複数のノードのうち少なくとも一つが兼ねるか又
は前記複数のノードとは別に設けられたサーバとによっ
てコンピュータネットワークが構築され、前記サーバに
格納された三次元以上のボクセルデータ群の中から指定
されたボクセルデータに対して少なくとも二つのノード
が分散処理でボリュームレンダリング処理を施すボリュ
ームレンダリング処理方法であって、前記複数のノード
のうち少なくとも一つを構成するコンピュータの要求手
段が入力手段により表示対象として指定されたボクセル
データを前記サーバに要求する段階と、前記ボクセルデ
ータについてボリュームレンダリング処理を協調分散処
理で行わせる少なくとも二つのノードを前記複数のノー
ドの中から各ノードの処理能力に応じて選択してコンピ
ュータのノード割当手段が割り当てる段階と、前記協調
分散処理の割り当てノードに対し各々の処理能力に応じ
てコンピュータの負荷割当手段が動的負荷割り当てを行
う段階と、前記割り当てノードの演算手段が協調分散処
理の動的負荷として割り当てられた分散ボリュームレン
ダリング処理を実行する段階と、前記各ノードによる前
記分散ボリュームレンダリング処理結果をコンピュータ
の連結手段が一つに整合させて連結する段階と、前記連
結手段により連結されて生成された画像を前記表示対象
指定元の前記ノードの表示手段にコンピュータの表示制
御手段が表示する段階とを備えたことを要旨とする。

【００３６】この発明によれば、請求項２に記載の発明
と同様の作用効果が得られる。

【００３７】

【発明の実施の形態】以下、本発明を具体化した一実施
形態を図１〜図１５に従って説明する。図１に示すボリ
ュームレンダリング協調分散処理システム１は、例えば
病院内に配備されている。病院内の複数箇所には、Ｃ
Ｔ，ＭＲＩなどの医療画像を見るための複数台（ここで
は３台）の画像処理システムＡ，Ｂ，Ｃが設置されてい
る。これらの画像処理システムＡ，Ｂ，Ｃが医療画像デ
ータ（ボクセルデータ）を記憶（蓄積）するサーバー
（ストレージサーバー）２と通信線を介して接続され、
コンピュータネットワークとしての院内ネットワーク
（ＬＡＮ））が構築されている。

【００３８】画像処理システムＡ，Ｂ，Ｃは、コンピュ
ータ（例えばワークステーション）によって構成されて
おり、計算機（ノード）としてのコンピュータ本体３、
表示装置４および入力装置５をそれぞれ備えている。ス
トレージサーバー２には、ＣＴ，ＭＲＩなど医療画像診
断機器で撮影された医療画像データ（ボクセルデータ）
が蓄積されている。医師は画像処理システムＡ，Ｂ，Ｃ
の画面を通してストレージサーバー２に蓄積された例え
ば患者の医療画像を見ることができる。

【００３９】医療画像データ（ボクセルデータ）は、Ｃ
Ｔ，ＭＲＩなど医療画像診断機器の発達による測定分解
能の向上とともに、そのデータ容量が増大している。医
療画像データのデータ容量増大の要因として診断機器の
空間分解能及び時間分解能の向上が挙げられる。空間分
解能向上としては、(1)X-Y軸方向：現在は1スライスの
解像度は512×512が主流であるが、いずれ1024×1024に
なると言われている、(2)Ｚ軸方向：1スライスの厚さが
薄くなることで、物体を構成するスライス枚数が従来よ
りも多くなる、などがある。また時間分解能向上として
は、(1)マルチスライスＣＴという技術により、単位時
間内で撮影できるスライス枚数が増えているため、短時
間でより多くのスライス画像を得ることができる、(2)
(1)と撮影時間の短縮により、心臓の拍動など器官の動
きを３次元で撮影することが容易になりつつある、など
がある。

【００４０】医療画像データ（ボクセルデータ）を表示
装置４の画面で見るときの画像処理にはボリュームレン
ダリング処理が行われる。リアルタイムでデータ本来の
分解能を反映させながらデータを間引かずにボリューム
レンダリング処理を行うために、複数の計算機で分散処
理を行う。各計算機3は計算資源に余裕がある場合、別
計算機3のプロセスに計算資源を提供することができる
ため、ユーザーが直接使用していない場合にも計算資源
が有効に活用される。また、冗長性を持たせることによ
る高可用性を実現する。

【００４１】ここで、「ボリュームレンダリング」と
は、ボリュームデータ(volume data，volumetric data)
を２次元（２Ｄ）画像に表示する方法である。視点位置
から視線方向に向かってレイキャスティングを行い、画
像を生成する。通常ボリュームデータは、３次元物体を
サンプリングした三次元ボクセルデータを指すことが多
いが、本実施形態ではボクセルデータの次元を３次元に
限定しない。特に３次元と４次元のボクセルデータ（空
間軸３＋時間軸１）を想定している。一般的に用いられ
る４Ｄボクセルデータは、３Ｄボクセルデータを時系列
にしたものである。従って、４Ｄボクセルデータに対す
るボリュームレンダリング処理は、一般にはアニメーシ
ョン（３Ｄボクセルデータに対するボリュームレンダリ
ングを時系列に従って高速に行う）を指す場合が多い。
ボクセルデータの次元としては、３次元と４次元に留ま
らず、さらに５次元以上であっても構わない。４Ｄデー
タのアニメーション処理は、多次元ボリュームレンダリ
ング処理の視点から見ると、ｎ次元データの異なる（ｎ
−１）次元断面を高速に次々表示する処理に対応する。
また「ボクセルデータ」とは、３次元以上の離散的な配
列データであって、２Ｄ配列データのピクセルデータに
対応するものである。

【００４２】ボリュームレンダリングの種類としては、
各ボクセルに不透明度を設定してレイキャスティングを
行う方法（一般にボリュームレンダリングはこれを指す
場合が多い）、ＭＩＰ(Maximum Intensity Projectio
n), Ｍｉｎ ＩＰ(Minimum Intensity Projection)、Ｒ
ａｙＳｕｍ等が挙げられる。

【００４３】また、応用範囲は多岐に渡り、使用するデ
ータがボクセルデータであればデータ取得方法には特に
よらない。例えば、医療分野の他、顕微鏡解析、気象解
析、地質調査（石油探査など）、非破壊検査などが挙げ
られる。なお、５次元以上のボクセルデータには、例え
ば分子間力の解析（結合角）などが挙げられる。

【００４４】本システム１の特徴は、ボクセルデータの
ストレージ（保管）を行うストレージサーバー２と、ボ
リュームレンダリング処理・表示を行う画像処理システ
ムＡ，Ｂ，Ｃとに分けた点にある。複数台の画像処理シ
ステムＡ，Ｂ，Ｃは互いに協調して計算を行い、互いに
対等な関係にある。従来技術で述べた図１７，１８の手
法において計算資源を提供する計算機が一台であるのに
対し、本実施形態による新規手法では計算資源を複数台
の計算機３が提供する。各計算機３には、協調分散処理
対応の同一のプログラムがそれぞれインストールされて
いる。

【００４５】図１に括弧( )で示した数字は、ボリュー
ムレンダリング協調分散処理の流れを示すものである。
以下、処理の手順について順に説明する。なお、医師
（ユーザー）が画面上で医療画像を見るために入力装置
５が操作される画像処理システムが「メイン」となる。
ここでは画像処理システムＡをメインとする。

【００４６】(1) データリスト要求 メインの画像処理システムの入力装置５を操作して医療
画像を選択するためのデータリストをストレージサーバ
ー２に対して要求する。

【００４７】(2) データリスト取得 上記データリスト要求に応答してストレージサーバー２
から送られてくるデータリストを取得する。

【００４８】(3) ノード割り当て データリスト取得によって画像表示の指示が予想される
と、メインとなる画像処理システムＡは、ネットワーク
上の他の画像処理システムの計算資源利用状況を確認す
る。この計算資源利用状況確認のため本実施形態では、
その情報としてメモリ空き容量およびＣＰＵ使用率を取
得する。そしてＣＰＵ使用率から例えばＣＰＵ余力（＝
（１−ＣＰＵ使用率）×ＣＰＵクロック周波数）を求め
る。そしてＣＰＵ余力とメモリ空き容量とを基に処理能
力（計算資源）上の余力が必要量ある他ノードの存在の
有無を判断し、該当する他ノードが存在すればそれを分
散処理に加わる画像処理システムとして決定する。つま
りメインノード３と共に分散処理に加わるサブノード３
をその余力（処理能力の空き）に応じて決定し、分散処
理を担当する各ノードを割り当てる。

【００４９】ここで、ＣＰＵ余力とは、上記計算式から
ＣＰＵ使用率を用いて算出されたものに限定されず、Ｃ
ＰＵの種類・性能の違いの要素を考慮して決定されるも
のであってもよい。またノード割り当て前などにベンチ
マークを行い、各ノードの処理能力（又は余力）を計測
する方法を採用しても構わない。さらにＣＰＵ性能やメ
モリ性能の違いを考慮してＣＰＵ余力とメモリ空き容量
とから決まるトータルパフォーマンスを考慮して計算資
源の余力を決める方法を採用することも可能である。同
図では、画像処理システムＡの他、画像処理システム
Ｂ，Ｃが協調分散処理のノードとして選択されている。
なお、本実施形態では、各ノード３からメモリ使用率の
情報を通信で取得し、メモリ空き容量（＝（１−メモリ
使用率）×メモリ容量）を求めている。特に本実施形態
では全てのノード３のメモリが同一性能（種類）・同一
容量であることから、メモリ空き容量をメモリ空き率
（＝１−メモリ使用率）から判断している。もちろん、
メモリ使用率そのものからメモリ空き容量を判断しても
よい。

【００５０】メインとなる画像処理システムＡ（メイン
ノード３）は、他の画像処理システムＢ，Ｃ（サブノー
ド３）の動作状況を確認しながら各々の処理能力に応じ
て、協調分散処理を担当する各画像処理システムＡ，
Ｂ，Ｃ（各割り当てノード３）のそれぞれに割り当てる
べきデータ負荷と計算負荷の分担割合を決める。つま
り、各ノード３のその時々の処理能力に応じて割り当て
負荷を決める動的負荷割り当てを行う。なお、メインノ
ードはユーザーに使用されている表示対象指定元のノー
ドであり、サブノードはユーザーが利用しておらずその
計算資源の空きを利用して分散処理が行われるノードで
ある。

【００５１】動的負荷割り当ての手法として、本実施形
態では、データコピーモード、データ分割モード、混合
モードの３モードが用意されている。データ分割モード
あるいは混合モードの場合では、単にノードを割り当て
るだけでなく、さらに各ノードに対するボクセルデータ
の分割割合を決定する。以下、これら３モードについて
詳しく説明する。

【００５２】(a) 「データコピーモード」では、ボクセ
ルデータの容量がそれほど大きくなければ全ての計算機
（ノード）３にボリュームレンダリングの対象となるボ
クセルデータを分割せずまるごとコピーする。単一計算
機による処理性能の限界を突破することを目的とする。
しかし、後述する(b) のモードに比べ扱えるボクセルデ
ータの容量が制限される。

【００５３】(b) 「データ分割モード」では、ボクセル
データの容量が大きい場合、ボリュームレンダリングの
対象となるボクセルデータを分割し、各計算ノードに割
り当てる。単一計算機による処理容量の限界を突破する
ことを目的とする。しかし、処理速度は(a) のモードに
比べ多少遅くなる。

【００５４】(c) 「混合モード」とは、上記(a), (b)
両方の特徴を持つモードである。例えばボクセルデータ
を２つに分割し、それぞれ２つの分割データコピーを用
いれば、４台の計算機（ノード）３がボリュームレンダ
リング処理を行う。この場合、データ（メモリ負荷）と
計算処理（計算負荷）の両方が分割され、２データ分割
×２データコピーによって４台の計算機（ノード）３に
負荷が割り当てられる。

【００５５】(4) データ選択 データ分割モード、混合モードの場合は、上記(3) で決
定したボクセルデータの割り当ての情報も転送される。
サーバー２は割り当ての情報を解釈し、ボクセルデータ
の分割転送を行う機能を持っている。

【００５６】(5) データ転送・メモリ読み込み データコピーモードでは、全ての割り当てノード３にボ
クセルデータ全体を転送する。データ分割モードでは、
分割したボクセルデータを対応する各ノード３に転送す
る。このモードでは、各ノード３に割り当てられる分割
データがそれぞれ異なる。混合モードでは、分割したボ
クセルデータを対応する各ノード３に転送するが、複数
のノード３に同じ分割データが重複して割り当てられ
る。

【００５７】(6) 分散ボリュームレンダリング処理要求 前記(3) で割り当てたノード３に対し前記(4) で決定し
たモードに応じて割り当てた動的負荷の計算を行わせる
分散ボリュームレンダリング処理を要求する。

【００５８】(7) 分散ボリュームレンダリング処理 各ノード３において分散ボリュームレンダリング処理が
実行される。 (8) 処理結果転送 各サブノード３で行われた分散ボリュームレンダリング
処理の処理結果がメインノード３に転送される。

【００５９】(9) 分散処理結果の連結 各ノードから転送された分散ボリュームレンダリング処
理の処理結果を連結する処理が行われる。

【００６０】(10)表示 前記(9) で連結された処理結果に基づいて画像データを
生成し、表示装置４の画面に表示させる。

【００６１】(6) 〜(10)の処理がループで行われる。ボ
クセルデータの割り当ては処理開始時の他、各画像処理
システムＡ，Ｂ，Ｃの利用状況が変わった場合に実行さ
れる。

【００６２】図２は、ボリュームレンダリング協調分散
処理システムの機能ブロック図を示す。計算機３には、
ＣＰＵ、メモリ及びプログラムによって、同図に示す各
機能部１０〜１３が構築されている。すなわち、要求処
理部１０、割当処理部１１、分散ボリュームレンダリン
グ処理部１２およびデータ連結処理部１３を備えてい
る。またメモリにより構成されるボクセルデータ格納部
１４および画像メモリ１５が備えられている。また画像
メモリ１５に格納された画像データを基に表示装置４の
画面に画像を表示させる表示制御部１６が備えられてい
る。なお、要求処理部１０により要求手段が構成され
る。

【００６３】割当処理部１１は、ノード割当部１７と負
荷割当部１８とから構成されている。負荷割当部１８は
さらにモード決定部１９、データ分割割当部２０および
計算分割割当部２１を備えている。割当処理部１１は他
のノード３との通信によって他のノード３のＣＰＵ使用
率およびメモリ空き容量を含む計算資源利用状況情報を
取得する。

【００６４】要求処理部１０は、入力装置５の操作によ
りデータリスト要求を受け付けると、ストレージサーバ
ー２に対しデータリストを要求し、データリストを取得
すると、表示制御部１６を介して表示装置４の画面上に
リストを表示させる。リストデータにはその一覧中の医
療画像に関するボクセルデータのデータ容量を示す情報
が含まれている。画面上に表示されたリスト中からユー
ザー（医師）が入力装置５を操作して例えば患者の医療
画像（例えば心臓ＣＴ画像等）を選択すると、要求処理
部１０は、リストから選択指定された医療画像のボクセ
ルデータをストレージサーバー２に対し要求する処理を
行う。このボクセルデータ要求処理に先立ち要求処理部
１０はリストから選ばれた医療画像に関するボクセルデ
ータのデータ量情報を割当処理部１１に送る。そして割
当処理部１１では、ノード割当部１７がボクセルデータ
量情報に基づき協調分散処理の必要性判断を行い、協調
分散処理が必要と判断したときには、ノード割り当てが
可能であるかどうかを判断する。そしてノード割当部１
７は、協調分散処理必要かつノード割り当て可能である
場合、ボクセルデータ量情報と各ノード３における計算
資源利用状況情報（ＣＰＵ使用率、メモリ空き容量）と
に基づき、協調分散処理を担当するノードを割り当てる
ノード割当処理を実行し、割り当てノードを決定する。
また割り当てノードが決定すると、次に負荷割当部１８
が各ノード３に対して負荷（データ負荷・計算負荷）を
割り当てる負荷割当処理が実行され、各ノード３に対す
る負荷割り当て（データ負荷割当・計算負荷割当）を決
定する。ノード割り当て・負荷割り当ての決定情報は要
求処理部１０に渡され、要求処理部１０はこれらの情報
を付してストレージサーバー２に対しボクセルデータ要
求を出す。このように要求処理部１０は、図１における
「(1) データリスト選択」および「(4) データ選択」を
司る。

【００６５】ノード割当部１７は、他の計算機（ノー
ド）から通信によって入手した他の各計算機３のＣＰＵ
使用率およびメモリ空き容量の情報に基づき協調分散処
理を行うノードを割り当てる。ノード割当部１７は、図
１における「(3) ノード割り当て」を司る。

【００６６】負荷割当部１８は、協調分散処理のため選
択された各ノードに対しリストから指定されたボクセル
データの容量や計算負荷（表示条件等から決まる計算負
荷）に応じて、各ノード３のＣＰＵ使用率およびメモリ
空き容量を考慮しつつ各ノード毎のデータ負荷および計
算負荷を割り当てる。すなわちモード決定部１９が動的
負荷割り当て手法の違いによって３モードで設定され
た、「データコピーモード」、「データ分割モード」、
「混合モード」のうちいずれを採用するかを決定する。

【００６７】データ分割割当部２０は、データ分割モー
ドまたは混合モードにおいてボクセルデータの分割割合
を決定する。また計算分割割当部２１は、データコピー
モードまたは混合モードにおいて計算負荷分割処理を行
う。混合モードでは、データ分割割当部２０と計算分割
割当部２１との協働によって、データ分割処理と計算負
荷分割処理が行われる。また、要求処理部１０は割り当
てノード３に対して割り当て負荷内容を指示する分散ボ
リュームレンダリング処理要求を行う。

【００６８】ストレージサーバー２は、指定されたボク
セルデータを必要に応じて指示に従い分割して割り当て
先の各ノード３に転送する。ノード３に転送されたボク
セルデータはボクセルデータ格納部１４に格納される。
分散ボリュームレンダリング処理部１２は、ボクセルデ
ータ格納部１４に格納された割り当てデータに対し割り
当てられた計算処理を行う分散ボリュームレンダリング
処理を実行する。

【００６９】各ノード３における分散ボリュームレンダ
リング処理結果は通信によりメインのノード３に転送さ
れる。データ連結処理部１３は、自身のノード３の分散
ボリュームレンダリング処理部１２からの処理結果と各
ノード３から転送された分散ボリュームレンダリング処
理結果を一つに連結する。連結されることで生成された
画像データは画像メモリ１５に送られる。表示制御部１
６は画像メモリ１５に格納された画像データを基に表示
装置４の画面に画像を表示する。

【００７０】図３は、計算負荷割り当て手法を説明する
ものである。ここでは512×512ピクセルのボリュームレ
ンダリング画像を作成する場合、512×512=262,144本の
レイをキャストするため、処理を各レイごとの区画に分
割している。

【００７１】計算処理を複数の処理区画に分割し、各ノ
ードに割り当てる処理区画を決定する。各ノード３はそ
れぞれに割り当てられた処理区画に従い計算処理を行
う。一定数（または一定割合）の処理区画の計算処理が
終了したら、処理結果をメインとなる画像処理システム
Ａへ返す。処理結果を返すにあたり、必ずしも割り当て
られた処理区画の処理が全て終了するのを待たなくても
よい。そのため、全ての処理が終わり、次の割り当てが
くるまで待機するようなことがない。メインとなる画像
処理システムＡは、処理結果を返してきたノード３に、
次の処理区画を割り当てる。例えばメインの画像処理シ
ステムＡが画像処理システムＢに対し区画１−2000の処
理要求を行う。これに対して画像処理システムＢは区画
１−1000の処理を終了するとそこまでの処理結果を画像
処理システムＡに返す。画像処理システムＡは区画１−
1000の処理結果を受け取ると、画像処理システムＢに対
して次の区画2000−4000の処理要求をする。結果として
処理結果が速いノード３ほど多くの区画が割り当てられ
ることになり、それぞれのノード３の能力に見合った計
算負荷を動的に割り当てることができる。

【００７２】図４，図５は本実施形態の協調分散処理シ
ステムの特徴的な作動状況を説明するものである。図４
に示すように例えば４台の画像処理システムＡ〜Ｄのう
ち、メインの画像処理システムＣの１台のみ医師が使用
していると、使用されていない他の画像処理システム
Ａ，Ｂ，Ｄの各計算機３を有効活用して協調分散処理で
計算処理（ボリュームレンダリング処理）を行う。この
結果、メインの画像処理システムＣではデータを間引く
ことなくリアルタイムの速度で大容量医療画像データの
ボリュームレンダリング画像を見ることができる。

【００７３】また図５に示すように、複数台の画像処理
システムＡ，Ｃ，Ｄを医師が使用しているとする。この
とき例えばボクセルデータ容量の多い医療画像を扱うメ
インの画像処理システムＣは、使用されていない画像処
理システムＢや使用されていても計算負荷に余裕のある
画像処理システムＤに対し計算処理（ボリュームレンダ
リング処理）を分担させる。この結果、メインの画像処
理システムＡ，Ｃ，Ｄが複数台であっても、負荷の大き
い計算処理を他の画像処理システムＢ，Ｄの計算資源を
有効活用して協調分散することによりデータを間引くこ
となくリアルタイムの速度でボリュームレンダリング画
像を見ることができる。なお、各ノード３はローカルス
トレージを持っており、過去に使用した割り当てデータ
を既に持っているときはサーバ２からノード３にデータ
を転送することはせず、既に持っているデータを用いて
計算処理を行うようになっている。

【００７４】図６，図７は、ノード割り当ておよび負荷
割り当ての変更処理を説明するものである。ノード割り
当ておよび負荷割り当ては、処理開始時の他、処理中に
も行われる場合がある。再割り当てのトリガーとなる状
況が図６，図７にそれぞれ示す２つある。

【００７５】（Ａ）ユーザーが直接使用していないが、
分散処理を割り当てられているサブノードを、新たなユ
ーザーが使用しようとした場合（図６）と、（Ｂ）ユー
ザーが処理を終了し、１つの分散処理に携わっていたノ
ードが開放された場合（図７）である。

【００７６】まずノード割り当てについて説明する。割
り当てノードには、ＣＰＵ使用率とメモリ空き容量の利
用状況から、ＣＰＵとメモリにある程度の空きがある必
要がある。ＣＰＵの空きは計算処理（ボリュームレンダ
リング処理）を行うために必要で、これに基づき計算負
荷割り当て量（分散ボリュームレンダリング処理割当
量）が決まる。一方、メモリの空きはボクセルデータを
格納するために必要で、これに基づきボクセルデータ割
当量が決まる。ここで、ユーザーが使うノードを「メイ
ンノード」、ユーザーに使われていないが処理が割り当
てられるノードを「サブノード」と呼ぶことにすると、
上記（Ａ），（Ｂ）の状況は、メインノードの数が変わ
った状況と考えることができる。以下、計算負荷割り当
ておよびボクセルデータ割り当ての変更処理について説
明する。

【００７７】(1) 計算負荷割り当て 計算負荷割り当てはノードの利用状況に対応できる。図
６に示すように、ユーザーがないサブノード（例えば画
像処理システムＢの計算機）３を、ユーザーが使い始め
た場合は、そのサブノード３に割り当てる計算負荷が軽
減される。一方、図７に示すように、ユーザーがいたメ
インノード（例えば画像処理システムＢの計算機）３か
ら、ユーザーがいなくなる場合は、そのサブノードとな
ったノード３に割り当てる計算負荷が大きくなる。

【００７８】(2) ボクセルデータ割り当て ボクセルデータの割り当てはメモリ空き容量に対応する
ように行われる。図６に示すように、ユーザーが直接使
用していないが、分散処理を割り当てられているサブノ
ード（例えば画像処理システムＢの計算機）３を、新た
なユーザーが使用しようとした場合を考える。このと
き、その空きメモリ容量が十分でない場合は新しい処理
にメモリを確保するために、既に割り当てられている処
理で使用されているメモリを減らさなければならない。
新しい処理開始時に画像処理システムＢは他の画面処理
システムＡ，Ｃにメッセージを通知する。メッセージを
受信した既存処理のメインノード（メイン１）は、メッ
セージを送信したノード（画像処理システムＢの計算
機）３に対するボクセルデータの割り当てを減らし、減
らした分を他のノード（画像処理システムＣの計算機）
３に振り分ける。この結果、画像処理システムＢの計算
機３のメモリのうちメイン１の画像処理システムＡの既
存処理に使用されていたメモリ容量「Ｍ１」が減り、メ
イン２の画像処理システムＢで新しく開始される処理に
使用するメモリ容量「Ｍ２」が確保される。

【００７９】一方、図７に示すように、メイン１の画像
処理システムＡを使用していたユーザーが処理を終了
し、１つの分散処理に携わっていたメインノード（例え
ば画像処理システムＡの計算機）３が開放された場合、
終了した処理が使用していたメモリが開放されるため、
既存処理はそのメモリを活用することができる。すなわ
ち、画像処理システムＡはノード開放時点に他の画面処
理システムＢ，Ｃにメッセージを通知する。メッセージ
を受信した既存処理のメインノード（画像処理システム
Ｂの計算機）３は、必要であればメッセージを送信した
ノード（画像処理システムＡの計算機）３の空きメモリ
容量を利用してボクセルデータを割り当てる。この結
果、メイン２の画像処理システムＢにおけるノード割り
当て数が増え、大容量・高速処理に対処できる。

【００８０】次にボリュームレンダリング処理の詳細に
ついて説明する。図８（ａ），（ｂ）に示すように、ボ
リュームレンダリング処理には、「平行投影法」と「透
視投影法」とがある。平行投影法の方が計算負荷が軽い
ため、通常この投影法がよく用いられる。透視投影法で
は内視鏡から得られるような画像を生成するため、血管
内部など組織内の様子を観察したい場合に用いられる。

【００８１】図８に示すように、ボクセルデータＶＤは
３次元（但し同図では２次元的に描かれている）の格子
点にボクセル値（例えばＣＴ値）を持つデータである。
ボリュームレンダリングには一般的にレイキャスティン
グ法が用いられる。レイキャスティング法とは、観察す
る側（フレーム側）から光の経路を考えるもので、フレ
ーム側のピクセルから光のレイを飛ばし、一定距離を進
むごとにその位置での反射光を計算する（図８では
「…，Ｖn-1 ，Ｖn ，Ｖn+1 ，Ｖn+2 ，…」の符号が各
到達位置のボクセルに対応している）。レイ到達位置が
格子上にない場合はその周りのボクセルのボクセル値か
ら補間処理を行ってその位置でのボクセル値を計算す
る。

【００８２】図９は、レイキャスティング法の計算方法
を説明するもので、図８における1本のレイに対応した
処理である。同図におけるブロックはボクセルに相当す
るもので、これら各ボクセルは光に対する特性パラメー
タとして不透明度(opacity)αn およびシェーディング
係数βn を有する。ここで、不透明度αn は、０≦αn
≦１を満たす数値で表され、値（１−αn ）は透明度(t
ransparency)を示す。不透明度αn＝１は不透明、αn＝
０は透明、０＜αn＜１は半透明にそれぞれ対応する。
シェーディング係数は色、グラディエントなどシェーデ
ィングに関する情報を持つ。

【００８３】初期入射光（光線）Ｉ1 は、各ボクセルを
順次透過してゆくとともに各ボクセルで一部反射および
吸収されることによりその残存光（透過光）は徐々に減
衰する。各ボクセルにおける部分反射光Ｒn （ｎ＝1,2,
…）の積算値（積算反射光）が、フレーム側におけるピ
クセルの輝度に相当する。ここで、減衰光Ｄn （ｎ＝1,
2,…）は、ｎ番目のボクセルの入射光Ｉn を用いて、式
Ｄn ＝αn Ｉn で表されるため、部分反射光Ｒn
は、式 Ｒn ＝βn Ｄn ＝βn αn Ｉn で表される。
また各ボクセルにおける入射光と残存光（透過光）との
関係式から、式Ｉn+1 ＝（１−αn ）Ｉn が成り立
つ。よって積算反射光Ｅは、次式により表される。

【００８４】

【数１】 なお、各ボクセル値に対して不透明度αnとの関係付け
が予めなされており、その関係付け情報に基づきボクセ
ル値から不透明度αnを得ている。例えば、血管のボリ
ュームレンダリング画像を得たい場合、血管のＣＴ値が
０から200に分布していることから、ボクセル値０から2
00には不透明度1を対応させ、他のボクセル値には不透
明度０を対応させることで、血管を表示することができ
る。

【００８５】次にボクセルデータ分割割り当ておよび計
算負荷割り当てを実施したときの計算方法について説明
する。図１０（ａ）はデータ分割割り当てを示すもの
で、同図（ｂ）は計算負荷割り当てを示すものである。
同図（ａ）のデータ分割はボクセルデータを２つに分割
した例を示す。ボクセルデータＶＤは分割ボクセルデー
タＶＤ１とＶＤ２とに分割され、それぞれ別々のノード
３に割り当てられる。分割ボクセルデータＶＤ１が割り
当てられたノード３では、Ｖ1 〜Ｖk までのボクセルに
ついて分散ボリュームレンダリング処理を行い、分割ボ
クセルデータＶＤ２が割り当てられたノード３では、Ｖ
k+1 〜Ｖn までのボクセルについて分散ボリュームレン
ダリング処理を行う。

【００８６】また図１０（ｂ）の計算負荷分割は、割り
当てられたボクセルデータに対して行うべき計算処理を
複数に分割し、それぞれ別々のノード３に割り当てる。
計算負荷分割の仕方としては光線（レイ）の本数で分割
する方法が挙げられるが、光線の光軸方向（奥行き方
向）に計算を分割しても構わない。例えば図３に挙げた
処理区画で分割する方法は、光線の本数で分割した計算
負荷分割である。フレーム側のピクセルがボリュームレ
ンダリングを行う際の光線に相当するため、光線の本数
で分割するこの計算負荷分割は、フレームをエリア分割
した計算処理に相当する。なお、データ分割したとき
は、その分割に伴って計算処理も必然的に光軸方向に分
割される。

【００８７】図１１は、光線が光軸方向で分割された計
算分割の場合における計算方法を説明するものである。
使用されている記号の意味は図９と同じである。同図の
ように、符号「Ｖ1 〜Ｖn 」のボクセル群が、符号「Ｖ
1 〜Ｖk 」のボクセル群と「Ｖk+1 〜Ｖn 」のボクセル
群とに分割されたとすると、符号「Ｖ1 〜Ｖk 」のボク
セル群に対する計算と、符号「Ｖk+1 〜Ｖn 」のボクセ
ル群に対する計算とが別々に行われる。よって、積算反
射光Ｅは、次式のように表される。

【００８８】

【数２】 ここで、分割された計算処理の計算結果を連結するとき
には、符号「Ｖk+1 〜Ｖn 」のボクセル群に対する計算
結果に初期入射光として入射光Ｉk+1 の条件を採用し、
１つのデータとして連結したときに整合がとれるよう
に、各分割計算処理結果の連結を行う。また図１２に示
すように、データ分割は、ボクセルデータＶＤを一部デ
ータが重複するように分割し、冗長性を持たせている。
これは、光線があるボクセルに到達したときに格子上に
ないときのボクセル値を求める際の補間計算をするとき
などに周囲のボクセルが必要になるからである。このよ
うに周囲のボクセルも必要になるその他の処理として
は、ボリュームレンダリングにおけるグラディエントの
計算方法（グレイレベルグラディエント）が挙げられ
る。このようにグラディエントやボクセル補間値などボ
リュームレンダリングに必要なパラメータを計算するた
めに、注目座標の周囲のボクセルも必要になる。

【００８９】次に、各モードにおける計算負荷割り当て
およびデータ分割割り当ての詳細について説明する。図
１３はデータコピーモード、図１４はデータ分割モー
ド、図１５は混合モードをそれぞれ示す。

【００９０】図１３に示すようにデータコピーモードで
は、ボクセルデータは各ノード３にまるごと割り当てら
れる。計算負荷割り当ての仕方によって同図（ａ）〜
（ｃ）が挙げられる。同図（ａ），（ｂ）は平行投影
法、同図（ｃ）が透視投影法である。同図（ａ）は光線
（レイ）の本数で分割することにより計算分割したもの
で、光線の本数を４分割したそれぞれが４つのノード３
に割り当てられる。同図（ｂ）は多数本の光線（レイ）
をデータの領域別に４分割することにより計算分割した
もので、４分割したそれぞれの計算負荷が４つのノード
３に割り当てられる。同図（ｃ）は透視投影による多数
本の光線（レイ）をデータの領域別に４分割することに
より計算分割したもので、４分割したそれぞれの計算負
荷が４つのノード３に割り当てられる。

【００９１】図１４に示すようにデータ分割モードで
は、ボクセルデータは複数分割され、各分割データＶＤ
１〜ＶＤ４がそれぞれ異なる各ノード３に割り当てられ
る。つまりノード毎にデータ負荷が割り当てられる。デ
ータコピーモードの図１３（ｂ）における計算負荷割当
では、ボクセルデータの回転時に計算負荷分割されるボ
クセルデータのエリアの変更が有り得るが、データ分割
モードでは、ボクセルデータの回転時でも計算分割され
るデータの分割面は変わらない。

【００９２】図１５に示すように混合モードでは、ボク
セルデータは複数分割され、各分割データＶＤ１，ＶＤ
２のうち同一データがそれぞれ異なるノード３に割り当
てられる。さらに同一データが割り当てられた異なるノ
ード３間で計算負荷割当が実施される。

【００９３】従って、この実施形態によれば以下の効果
を得ることができる。 （１） 大容量のメモリと高速なＣＰＵなどの膨大な計
算資源を持つ計算機ではなく、現実的なコストで得られ
るコンピュータ（ワークステーション）を使用しても、
ボリュームレンダリング処理を行うことができるボクセ
ルデータの容量を著しく増やすことができる。すなわ
ち、コストパフォーマンスの高い計算機１台あたりが装
備可能なメモリ容量と計算能力に限界があっても、ボリ
ュームレンダリング処理を行うことができるボクセルデ
ータの容量にほぼ限界がない。従来はバッチ的な長時間
処理、あるいは極めて高価な専用システムによる処理で
しか扱うことができなかった大容量データを低コスト、
リアルタイムで扱うことができる。

【００９４】（２）データ転送時に画像処理システムの
ローカル・ストレージに保存せずに、受信と同時に直接
メモリに読み込むため、ローカル・ストレージの浪費が
なく、事前のデータ転送も不要となる。

【００９５】（３）計算資源（メモリ・ＣＰＵ）に余力
がある利用可能なノードをその時々に探し出して動的に
ノード割り当てを行うので、他ノードの計算資源を有効
活用でき、高可用性を実現できる。

【００９６】（４）画像表示処理受け付け時にノード数
および負荷（データ負荷・計算負荷）を動的に割り当て
ることで動的にノードを活用できる。このため、時間帯
により刻々と変化する運用形態・状況にも無駄なく、最
適なオペレーション環境を全てのユーザーに対して常に
提供することができる。

【００９７】（５）動的負荷割り当ての種類として３モ
ード用意し、ＣＰＵ使用率やメモリ空き容量に応じて大
容量データの高速処理により適したノード割り当ておよ
び負荷割り当てができるようにしたので、大容量データ
の高速処理をより適切に実現できる。すなわち、院内ネ
ットワーク上の複数の計算機３の計算資源を有効活用で
きる。

【００９８】（６）負荷割当部１８は、負荷割り当てし
た分散ボリュームレンダリング処理のうち予め設定され
た所定量又は所定割合終了した処理結果を返してきたノ
ードに対して、次の分散ボリュームレンダリング処理の
負荷割り当てを行う（図３）。従って、処理速度の速い
ノード３に優先的に負荷が割り当てられるため、各ノー
ド３間の協調分散処理を高速に実現可能である。

【００９９】（７）メインノード３のメモリ容量やＣＰ
Ｕの空きが必要なだけ確保される場合は、ボクセルデー
タを分割せずメインノード３に全て送り、メインノード
３単独で（単独計算機で）ボリュームレンダリング処理
が行われる。よって、不要な分散処理の実施によるボリ
ュームレンダリング演算の処理速度低下を防ぐことがで
きる。

【０１００】（８）サーバー２に対し要求されたボクセ
ルデータのうち割り当てるべきデータを既にローカル・
ストレージに持つノードに対しては、サーバー２からそ
の割り当てデータを送信することなく、その割り当てノ
ード３はローカル・ストレージに持つデータを用いてボ
リュームレンダリング処理を実行する。従って、割り当
てノード３が既にローカルストレージに必要なボクセル
データを持つ場合は、サーバー２から割り当てノード３
へのデータ送信時間を省き一層の高速処理を実現でき
る。

【０１０１】（９）メインノード３の数に変更がある
と、ノード割当部１７はノードの割り当てをし直すとと
もに、負荷割当部１８は割り当てノード３に対する動的
負荷割り当てをし直す。従って、メインノード３の数の
増減により計算資源の空き度合いに変更が生じた時にノ
ード割り当てと動的負荷割り当ての見直しが図られるの
で、他ノード３の処理を妨げずその計算資源を有効活用
でき、高速なボリュームレンダリング処理を実行でき
る。

【０１０２】（１０）複数のノード３はサブノード、メ
インノードに必要な機能を全て持っており、役割に応じ
てサブノード、メインノードと切り替わる。よって、ど
のノード３もメインノードになることができ、どのノー
ド３の画面からもボリュームレンダリング画像を見るこ
とができる。

【０１０３】なお、実施形態は前記に限定されず、例え
ば次の態様に変更してもよい。 ・ ＣＰＵ使用率とメモリ空き容量のうち少なくとも一
方を含む計算資源利用状況の情報から割り当てノードを
決定すれば足りる。例えばＣＰＵ使用率のみ、あるいは
メモリ空き容量だけをノード割り当てを決めるときに使
う情報としてもよい。

【０１０４】・ 前記実施形態では、３つのモードを設
定し、動的負荷割り当ての種類を幾つか用意したが、い
ずれか１つのモードだけを実施するものであっても構わ
ない。

【０１０５】・ メインノード（またはサブノード）の
数に変更があったときには、負荷割り当てをし直した
が、対象とする画像処理が開放されるまで処理開始時の
割り当てを維持する構成であっても構わない。

【０１０６】・ ストレージサーバーとノードの機能を
両方持つ計算機であってもよい。前記実施形態ではスト
レージサーバー２と画像処理システム（例えばＡ）５は
別々の計算機に分かれていたが、これが同一の計算機で
あっても構わない。つまり、ストレージサーバー２とな
る計算機は固定されているが、ユーザーがストレージサ
ーバー２上でボリュームレンダリング処理を行いその画
像をストレージサーバー２び画面で見ることができる。

【０１０７】・ サーバーにＣＰＵやメモリの空きがあ
るときにサーバーにボリュームレンダリングの計算処理
を負担させても構わない。この場合、ストレージサーバ
ー２はボリュームレンダリング画像を表示する表示装置
４を備えず、単に分散処理目的で分散ボリュームレンダ
リング処理のみを実行する構成でも構わない。

【０１０８】・ ネットワークを構成する複数のノード
のうち少なくとも一つに入力手段及び表示手段が備えら
れるだけの構成でも構わない。例えば複数のノードのう
ち幾つかが画像処理計算用ではなく他の用途で使われる
もので、他の用途のノード（計算機）のＣＰＵ使用率や
メモリ空き容量から空きがあれば分散ボリュームレンダ
リング処理に利用する構成でも構わない。

【０１０９】・ １つのノードが、要求手段、ノード割
当手段、負荷割当手段、演算手段、連結手段及び表示制
御手段のすべての機能を実現するプログラムを持つ必要
はない。つまりノードのすべてがメインノードとなる機
能を備えるのではなく、サブノードとなる機能のプログ
ラムだけを持つノードが含まれていてもよい。サブノー
ドは例えば演算手段の機能（ボリュームレンダリング演
算機能）のプログラムを持つ。またサーバ機能を持つノ
ードについては、要求手段の機能をプログラムから削除
することができる。

【０１１０】また、ボリュームレンダリング処理システ
ムを構成する複数台のノードの中に、比較的負荷のかか
るボリュームレンダリング演算はせず、画像表示などの
比較的演算負荷の小さい処理だけを主に担当するノード
が存在してもよい。すなわち、このノードは、入力手
段、要求手段、ノード割当手段、負荷割当手段、連結手
段および表示制御手段は備えるが、比較的負荷のかかる
演算手段の機能は他のノード（割り当てノード）に任せ
る。具体的には、演算能力の低い計算機に端末機能を持
たせ、ボリュームレンダリング画像の演算はネットワー
クを通じて他のノードに任せる形とする。例えば４次元
以上の高次元ボリュームレンダリング処理をするにはノ
ードに高い演算能力が要求されるが、ボリュームレンダ
リング演算を行わないノードであれば演算能力の低いパ
ーソナルコンピュータ（ノートパソコン等）で済ませら
れ、比較的高価なワークステーションばかりを取り揃え
る必要がなくなる。なお、この例のノードは、図２にお
ける要求処理部１０、割当処理部１１、データ連結処理
部１３、画像メモリ１５および表示制御部１６を備え、
分散ボリュームレンダリング処理部１２およびボクセル
データ格納部１４は備えていない。また、要求処理部１
０、割当処理部１１、データ連結処理部１３および表示
制御部１６は、コンピュータにより実行されるプログラ
ムにより実現される。

【０１１１】さらにノード割当手段、負荷割当手段、連
結手段も他のノードに任せ、他のノードで連結処理まで
終わったボリュームレンダリング画像のデータを受信
し、ボリュームレンダリング画像を表示手段に表示させ
る表示制御手段の機能だけを持つノード（端末ノード）
が存在してもよい。つまり、この場合のノードは、入力
手段、要求手段、表示制御手段を備えるが、ノード割当
手段、負荷割当手段、演算手段、連結手段は他のノード
が受け持つ。例えば連結手段はメインノードが受け持
ち、このノードは、メインノードから受信したボリュー
ムレンダリング画像データに基づき画像表示処理を行
う。見かけ上は、この端末ノードとは別の、演算処理を
受け持つ複数台のノードのうち一台がメインノードとな
る。

【０１１２】具体的には、この端末ノードは回転、縮
小、オパシティ値の変更、色の変更などの表示指示をメ
インノードに送信する。このメインノードがノード割当
ておよび負荷分割からデータ連結処理までを行い、得ら
れた画像を端末ノードに送信する。端末ノードは受信し
た画像を表示する。この例の端末ノードは、図２におけ
る要求処理部１０と、画像メモリ１５と、表示制御部１
６とを備え、割当処理部１１、分散ボリュームレンダリ
ング処理部１２およびデータ連結処理部１３、ボクセル
データ格納部１４は備えていない。端末ノードでは、メ
インノードから受信したボリュームレンダリング画像デ
ータが画像メモリ１５に格納され、表示制御部１６はこ
の画像データを基に表示装置４の画面にボリュームレン
ダリング画像を表示させる。なお、要求処理部１０およ
び表示制御部１６は、コンピュータにより実行されるプ
ログラムにより実現される。

【０１１３】・ サーバに対するボクセルデータの要求
元はメインノードのみに限定されない。例えばサブノー
ドが割り当てられたボクセルデータ（または分割ボクセ
ルデータ）をサーバに対して個々に要求する方法を採用
しても構わない。この場合、メインノードの要求処理部
１０とサブノードの要求処理部１０とにより要求手段が
構成される。

【０１１４】・ ノード割当手段がノード割り当て時に
各ノードの計算資源使用状況の情報を基に判断する「分
散処理可能な余力」、「ノードの処理能力」とは、ノー
ドのＣＰＵ余力およびメモリ空き容量のみを指標とする
方法に限定されない（計算余力もＣＰＵ余力に限定され
ない）。要するに、計算能力の指標とデータ容量の指標
の２種類の指標からノード割り当てを判断することを基
本とし、各指標としてＣＰＵ余力とメモリ空き容量のみ
を用いることに限定されない。計算能力の指標はＣＰＵ
以外にも計算処理する部分がある場合、例えばボリュー
ムレンダリング専用拡張ボード上でも計算を行う場合は
これも考慮する。またデータ容量の指標は、通常のメモ
リのほかに専用拡張ボード上のメモリがある場合は、専
用拡張ボード上のメモリのメモリ空き容量も考慮する。
また同一ノード上で異なるメモリ構成を取る場合、メモ
リの種類の違いを考慮して指標とする。また、同一のボ
リュームレンダリング専用拡張ボードに専用演算チップ
と、専用メモリの両方がある場合、それらも指標として
考慮する。さらに計算能力の指標として、例えばシステ
ムバスの性能（帯域幅、クロック）を考慮する。システ
ム バスは、ＣＰＵとその他のコンポーネント(メモリや
ビデオカードなど)を結ぶ重要なパイプで、大量の命令
やデータをＣＰＵに送ったり、ＣＰＵが処理した結果を
メモリやビデオカードなどに送り返す役割を果たし、計
算能力に影響を与えるからである。

【０１１５】計算能力の指標の算出方法としては以下の
例が挙げられる。各ノードは、能力値ベクトルを持って
おり、能力値ベクトルの要素として考えられるものを以
下に列挙する。ベクトルの個々の要素はそれぞれ相対的
な値を持つ。なお、以下の(3)，(7)，(12)，(15)はノー
ド割り当て時にその都度計測の必要がある。 (1)ＣＰＵクロック (2)ＣＰＵキャッシュ容量 (3)ＣＰＵ未使用率（＝１−ＣＰＵ使用率） (4)システムバス帯域幅 (5)システムバスクロック (6)専用拡張ボード演算処理部クロック (7)専用拡張ボード演算処理部未使用率（＝１−ボード
使用率） (8)拡張ボードとシステム間のバス帯域幅 (9)拡張ボードとシステム間のバスクロック (10)メモリ総容量 (11)メモリの動作クロック (12)メモリ空き容量 (13)専用拡張ボードの総メモリ容量 (14)専用拡張ボードのメモリの動作クロック (15)専用拡張ボードのメモリ空き容量 ここで、能力値ベクトルを入力とし、スカラー値を出力
する関数を定義すれば、計算能力の指標を得ることがで
きる。例えばスカラー値を出力する関数の例を以下に示
す。なお、以下の関数式において（ ）内に示す各要素
の数値は、機種間の相違を考慮した相対値で表してい
る。また（ ）の前の乗算値は各要素の重み付け値であ
る。

【０１１６】（Ａ） 計算能力の指標（計算余力）＝[35
*(40:CPUクロック)＋10*(10:CPUキャッシュ容量) ]*(0.
70:CPU未使用率)＋15*(20:システムバス帯域幅)＋10*(3
0:システムバスクロック)＋[17.5*(50:専用拡張ボード
演算処理部クロック) ]*(0.65:専用拡張ボード演算処理
部未使用率)＋5*(70:拡張ボードとシステム間のバス帯
域幅)＋7.5*(60:拡張ボードとシステム間のバスクロッ
ク) （Ｂ）データ容量の指標（保持可能データ余力）＝5*(7
0:システムバス帯域幅)＋ 5*(40:システムバスクロッ
ク)＋[ 70*(10:メモリ総容量) ＋ 5*(3:メモリの動作ク
ロック)]*(0.55:メモリ空き容量)＋ [ 5*(30:専用拡張
ボードのメモリの動作クロック)＋ 10*(20:専用拡張ボ
ードの総メモリ容量) ] * (0.35:専用拡張ボードのメモ
リ空き容量) なお、上記(1)〜(15)の要素は全て採用する必要はもち
ろんなく、必要に応じて適宜選択することができるが、
ＣＰＵ余力（例えばCPU未使用率）とメモリ空き容量は
必須とすることが好ましい。

【０１１７】・ ノード割り当てをする際に、通信オー
バーヘッドを考慮してもよい。例えば通信オーバーヘッ
ドは、データ容量が小さい場合は複数ノードで分散処理
するよりも、一台のノードで行う方が効率的であること
を判断する条件の1つになる。データ分割モードではノ
ード割り当てをせざるを得ないが、データコピーモード
および混合モードでは、通信オーバーヘッドが大きいと
判断されれば同一データ（同一分割データを含む）を複
数ノードに割り当てることはせず一台のノードのみ割り
当てるか、ノード割り当て数を通常より減らすようにす
る。このように構成すれば、通信オーバーヘッドに起因
する画像処理速度の低下を防ぐことができる。

【０１１８】・ メインノード数が変化したときに動的
負荷割り当て内容を見直す制御方法を採用したが、動的
負荷割り当て内容の見直し時期は特にメインノード数変
化時に限らない。例えば所定時間（例えば数１００ミリ
秒〜数秒）ごとに動的負荷割り当て内容の見直しを行っ
てもよい。

【０１１９】・ 各割り当てノードへのボクセルデータ
（分割ボクセルデータを含む）のサーバへの転送要求
は、メインノードがサーバに対して一括的に行うことに
限定されない。例えばメインノードがサブノードに対し
て割当負荷の情報を伝え、各ノードがそれぞれサーバに
対し自分が使うボクセルデータ（分割ボクセルデータを
含む）を個々に要求するシステム構成を採用することも
できる。さらにメインノードから１つのサブノードに対
し各割り当てノード分すべての割当負荷の情報を伝え、
そのサブノードがサーバに対し各割り当てノード分すべ
てのボクセルデータ（分割ボクセルデータを含む）を一
括要求するシステム構成を採用することもできる。つま
りノードは、ボクセルデータをサーバに対して一括要求
する要求手段を必ずしも持つ必要はなく、他ノードが一
括要求したボクセルデータ（分割ボクセルデータを含
む）を受け付けるだけの構成であっても構わない。

【０１２０】・ ４次元（４Ｄ）以上のボリュームレン
ダリング処理においては、複数のノードに動的に負荷を
割り当てる際の負荷分割方法は前記実施形態の方法に限
定されない。次元に応じた負荷分割方法を採用できる。
４Ｄ処理の具体例を以下に示す。４Ｄ処理は３Ｄ処理を
時系列方向に繰り返す。データコピーモード、分割モー
ド、混合モードのいずれも採用できる。但し、データの
分割は、３Ｄ処理の場合は空間的な分割であったが、４
Ｄ処理の場合は空間的な分割とともに時系列方向の分割
も含まれる。例えば、「300スライス×10フェーズ（時
刻）＝計3000スライス」のような４Ｄデータ、計算ノー
ド２台（同等の能力）があったとする。計算ノード1が
メインノードとする。 (1)時間コピーモード 計算ノード1,2 に全データをコピーする。メインノード
（ノード1）は時刻1を計算しながら、ノード2に時刻2の
データの分散処理要求を出す。ノード1の演算結果に基
づき時刻1の画像を表示手段に表示した後、ノード2の演
算結果に基づき時刻2の画像を表示する。 (2)時間分割モード 計算ノード1 に「時刻1,3,5,7,9」、計算ノード2 に
「時刻2,4,6,8,10」を分担させる。各計算ノードに全て
のデータをコピーすることがベストだが、ストレージ容
量の都合により、時刻別に半分の容量ずつ重複しないよ
うに割り当てるとする。各ノードに割り当てる時刻は割
り当て手段が決定する（この例では交互の時刻）。 (3)時間混合モード (1),(2)の組み合わせ (4)時間＆空間分割ノード 時間分割と空間分割（空間分割モード、空間混合モー
ド）を組み合わせる負荷分担方法も採用できる。現実的
には４Ｄデータの分割は、同時刻では空間的に分割せ
ず、異なる時刻をそれぞれ別のノードに振り分ける時間
的な分割のみを行う場合が多いと考えられるが、時間的
な分割に加え同時刻のデータを重複しないように別々の
ノードに空間的にも分割する方法も採用できる。従っ
て、これらの方法の採用により、３Ｄ処理よりも扱うデ
ータ容量が大きい４Ｄ処理において、時系列方向に分割
して協調分散処理を行うことで、空間的な分割のみ採用
する場合に比べ、システムの処理能力をより効果的に向
上させることができる。よって、４Ｄデータのボリュー
ムレンダリング処理の需要が増えつつある医療業界で、
従来技術よりも著しい性能差が出る。

【０１２１】前記実施形態及び別例から把握できる技術
的思想を、以下に記載する。 （１）請求項１〜７のいずれか一項の発明において、前
記サーバは前記複数のノードとは別に設けられ、三次元
以上のボクセルデータを記憶するサーバと、前記サーバ
からボクセルデータを受け付けてボリュームレンダリン
グ処理を行う複数のノードとによってコンピュータネッ
トワークが構築されたボリュームレンダリング処理シス
テムであることを特徴とする。この構成であれば、サー
バがデータを保管することで、ノードの計算資源をデー
タの計算処理のためにより多く活用でき、一層の高速処
理に対応できる。

【０１２２】（２）請求項１〜７のいずれか一項の発明
において、前記サーバは前記複数のノードのうち少なく
とも一つが兼ねていることを特徴とする。この構成であ
れば、サーバ機能を持つノードからも表示対象指定によ
る表示要求を出してその表示手段に協調分散処理結果の
画像（ボリュームレンダリング画像）を表示させること
ができる。

【０１２３】（３）請求項１〜７のいずれか一項に記載
の発明において、前記複数のノードのうち少なくとも二
つは、前記入力手段、前記要求手段、前記ノード割当手
段、前記負荷割当手段、前記演算手段、前記連結手段及
び表示制御手段をそれぞれ備え、表示手段に画像を表示
可能な表示対象指定元のメインノードとなり得るノード
であることを特徴とする。この構成によれば、複数のノ
ードのうち各手段のすべてを備える少なくとも二つのノ
ードは、ボリュームレンダリング画像を見ることが可能
なメインノードにも、分散処理（分散ボリュームレンダ
リング処理）でメインノードを支援するサブノードにも
なり得る。よって、ユーザーは少なくとも二つ（二つ以
上）のどのノードからも、入力手段で指定したボクセル
データのボリュームレンダリング画像を表示手段を通し
て見ることができる。

【０１２４】（４）前記技術的思想（３）において、前
記複数のノードのすべてが前記メインノードとなり得る
ノードである。この構成によれば、各ノードはサブノー
ド、メインノードに必要な機能を全て持っており、役割
に応じてサブノード、メインノードと切り替わるので、
どのノードもメインノードに成り得る。よって、どのノ
ードからもボリュームレンダリング画像を見ることがで
きる。

【０１２５】（５）請求項１〜７及び技術的思想（１）
〜（４）のいずれかにおいて、前記ノード割当手段は、
ノード割り当て条件として前記計算資源使用状況以外に
通信オーバーヘッドを考慮し、計算資源使用状況から決
まるノード数では通信オーバーヘッドが大きいと判断し
たときには、前記表示対象指定元となるメインノードを
含む割り当てノード数を、前記計算資源使用状況から決
まるノード数より少なく設定し、前記負荷割当手段は、
前記割り当てノードに対し当該割り当てノード数に応じ
た負荷割り当てを行うことを特徴とする。

【０１２６】（６）請求項１〜７及び技術的思想（１）
〜（５）のいずれかにおいて、前記ノード割当手段は、
前記表示対象指定元となるメインノードの処理能力で足
りると判断すれば他のノードに割り当てをせず当該メイ
ンノード単独で割り当て、前記負荷割当手段は、当該メ
インノードにのみ前記表示対象のボクセルデータとボリ
ュームレンダリング処理を割り当て、当該メインノード
の前記演算手段が前記表示対象のボクセルデータに対す
るボリュームレンダリング処理を単独で実行することを
特徴とする。この構成によれば、メインノードの処理能
力で足りると判断すればメインノード単独でボクセルデ
ータに対するボリュームレンダリング処理が行われる。
そして、ノード割当手段は、メインノードの処理能力で
は足りないと判断したときに他のノードをも割り当て、
各割り当てノードにより協調分散処理が行われる。

【０１２７】（７）請求項１〜７及び技術的思想（１）
〜（６）のいずれかにおいて、前記表示対象指定元とな
るメインノードから入力手段により指定されて前記サー
バに要求されたボクセルデータのうち少なくとも割り当
てるべきデータを既にローカルストレージに持つ割り当
てノードに対しては、前記サーバはその割り当てデータ
を送信することはせず、当該割り当てノードにおける前
記演算手段は前記ローカルストレージに持つデータを用
いて当該データに対するボリュームレンダリング処理を
実行することを特徴とする。この構成によれば、サーバ
から割り当てノードへのデータ送信時間を省け一層の高
速処理に対応できる。

【０１２８】（８）請求項１〜７及び技術的思想（１）
〜（７）のいずれかにおいて、前記負荷割当手段は、前
記ノード割当手段により割り当てられた各ノードに対し
各々の処理能力に応じて前記表示対象のボクセルデータ
と該ボクセルデータに施すボリュームレンダリング処理
とのうち少なくとも一方の分割割合を決定して動的負荷
割り当てを行うことを特徴とする。

【０１２９】（９）請求項１〜７及び技術的思想（１）
〜（８）のいずれかにおいて、前記負荷割当手段は、前
記ノード割当手段により割り当てられた各ノードの処理
能力に応じて、前記表示対象のボクセルデータに施すべ
き計算処理のみの分割割合を決定するデータコピーモー
ドと、前記表示対象のボクセルデータのみの分割割合を
決定するデータ分割モードと、前記表示対象のボクセル
データと該ボクセルデータに施すべき計算処理との両方
の分割割合を決定する混合モードとの中から一つを選択
することを特徴とする。この構成によれば、ノードの計
算資源を一層効率よく活用できボリュームレンダリング
処理を高速に実行できる。

【０１３０】（１０）請求項１〜７及び技術的思想
（１）〜（９）のいずれかにおいて、前記表示対象指定
元のメインノードは、他のノードとの通信によって各ノ
ードの計算資源利用状況の情報を取得しており、前記ノ
ード割当手段は前記各ノードの計算資源利用状況の情報
に基づいて当該各ノードの処理能力を判断して処理能力
上必要な空きのあるノードを選択してノード割り当てを
行い、前記負荷割当手段は、前記各割り当てノードの計
算資源利用状況の情報に基づいて当該各割り当てノード
の処理能力を判断して処理能力上の空きに応じてボクセ
ルデータとボリュームレンダリング処理との少なくとも
一方の分割割合を決定して動的負荷割り当てを行うこと
を特徴とする。

【０１３１】（１１）請求項１〜７及び技術的思想
（８）〜（１０）のいずれかにおいて、前記要求手段
は、前記ノード割当手段によるノード割当情報と、前記
負荷割当手段による負荷割当情報とを前記サーバに要求
として送り、前記サーバは前記ノード割当情報で指定さ
れた割り当てノードに対し、前記負荷割当情報で指定さ
れた割合でデータ分割された分割ボクセルデータ又はボ
クセルデータをそのまま送ることを特徴とする。

【０１３２】（１２）前記技術的思想（１１）におい
て、前記各割り当てノードの演算手段は、前記サーバか
ら取得した分割ボクセルデータ又はボクセルデータに対
し前記表示対象指定元となるメインノードから得た負荷
割当情報で指定された計算負荷の計算処理を実行するこ
とを特徴とする。

【０１３３】（１３）請求項１〜７及び技術的思想
（１）〜（１２）のいずれかにおいて、前記負荷割当手
段は、予め通信で情報として得た各ノードの処理能力に
応じて、前記各割り当てノードのメモリ空き容量に応じ
てデータ容量負荷を決定するとともにＣＰＵ空き容量に
応じて計算負荷を決定して動的負荷割り当てを行うこと
を特徴とする。この場合、複数のノード（計算機）が動
的にデータ容量負荷と計算負荷を分担しながら協調分散
処理を行うことにより、請求項１の発明と同様の効果が
得られる。

【０１３４】（１４）請求項１〜７及び技術的思想
（１）〜（１３）のいずれかにおいて、前記表示対象指
定元となるメインノードの数に変更があると、前記ノー
ド割当手段はノードの割り当てをし直すとともに、前記
負荷割当手段は割り当てノードに対する動的負荷割り当
てをし直すことを特徴とする。この構成によればメイン
ノードの数に変更があったときにノード割り当てと動的
負荷割り当ての見直しが図られるので、他ノードの処理
を妨げず計算資源を有効に活用でき、ボクセルデータに
施すボリュームレンダリング処理を高速に実行できる。

【０１３５】（１５）請求項１〜３のいずれか一項の発
明において、前記ノード割当手段は、計算能力の指標と
データ容量の指標に基づいてノード割当を行う。 （１６）前記技術的思想（５）〜（１５）のいずれかに
おける前記ノード割当手段及び前記負荷割当手段を備え
る請求項６に記載の計算機。

【０１３６】（１７）請求項１〜７及び技術的思想（１
１），（１２）のいずれかに記載の分散処理システムに
おいて使用されるサーバであって、前記表示対象指定元
となるメインノードからノード割当情報及びデータ分割
割当情報と共にボクセルデータの要求を受け付けると、
前記割り当てノードに対しデータ分割割当情報から決ま
る分割ボクセルデータを送信することを特徴とするサー
バ。

【０１３７】（１８）請求項１３に記載のボリュームレ
ンダリング処理方法において、コンピュータの前記ノー
ド割当手段は、前記ノードを割り当てる段階において、
前記表示対象指定元となるメインノードの処理能力で足
りると判断すれば他のノードに割り当てをせず当該メイ
ンノード単独で割り当て、コンピュータの負荷割当手段
は前記動的負荷割り当てを行う段階において当該メイン
ノードにのみボクセルデータとボリュームレンダリング
処理を割り当て、当該メインノードを構成するコンピュ
ータの前記演算手段は単独で前記表示対象のボクセルデ
ータに対するボリュームレンダリング処理を実行するこ
とを特徴とする。

【０１３８】（１９）請求項１３に記載のボリュームレ
ンダリング処理方法において、前記表示対象指定元とな
るメインノードから入力手段により指定されて前記サー
バに要求されたボクセルデータのうち少なくとも割り当
てるべきデータを既にローカルストレージに持つ割り当
てノードに対しては、前記サーバはその割り当てデータ
を送信することはせず、当該割り当てノードにおけるコ
ンピュータの前記演算手段は前記ローカルストレージに
持つデータを用いて当該データに対するボリュームレン
ダリング処理を実行することを特徴とする。この方法に
よれば、割り当てノードが既にローカルストレージに必
要なボクセルデータを持つ場合は、サーバから割り当て
ノードへのデータ送信時間を省け一層の高速処理に対応
できる。

【０１３９】

【発明の効果】以上詳述したように請求項１〜１３に記
載の発明によれば、各ノードの処理能力（余力）に応じ
て割り当てた少なくとも二つのノード（計算機）に対し
ボクセルデータ（データ負荷）とボリュームレンダリン
グ処理（計算負荷）との少なくとも一方を分割して動的
負荷割り当てを行い協調分散処理する。よって、高コス
トパフォーマンスを満たす単一計算機では扱うことが難
しい大容量ボクセルデータでも高速にボリュームレンダ
リング処理することができる。

【図面の簡単な説明】

【図１】 一実施形態におけるボリュームレンダリング
処理システムのブロック図。

【図２】 ボリュームレンダリング処理システムの機能
ブロック図。

【図３】 計算負荷割り当て手法の説明図。

【図４】 協調分散処理システムの特徴的な作動状況を
説明する説明図。

【図５】 協調分散処理システムの特徴的な作動状況を
説明する説明図。

【図６】 ノード割り当ておよび負荷割り当ての変更処
理の説明図。

【図７】 ノード割り当ておよび負荷割り当ての変更処
理の説明図。

【図８】 （ａ）「平行投影法」、（ｂ）「透視投影
法」を示す説明図。

【図９】 ボリュームレンダリング処理を説明するブロ
ック図。

【図１０】 （ａ）データ分割、（ｂ）は計算負荷分割
の説明図。

【図１１】 計算分割時のボリュームレンダリング処理
を説明するブロック図。

【図１２】 ボクセルデータ分割の説明図。

【図１３】 データコピーモードにおける計算負荷割当
の説明図。

【図１４】 データ分割モードにおけるデータ分割の説
明図。

【図１５】 混合モードにおけるデータ分割および計算
分割の説明図。

【図１６】 従来技術における画像処理システムのブロ
ック図。

【図１７】 従来技術における画像処理用ネットワーク
システムのブロック図。

【図１８】 同じくブロック図。

【符号の説明】

１…ボリュームレンダリング処理システムとしての協調
分散処理システム、２…サーバとしてのストレージサー
バー、３…ノード（計算機）、４…表示手段としての表
示装置、５…入力手段としての入力装置、１０…要求手
段としての要求処理部、１２…演算手段としての分散ボ
リュームレンダリング処理部、１３…連結手段としての
データ連結処理部、１６…表示制御手段としての表示制
御部、１７…ノード割当手段としてのノード割当部、１
８…負荷割当手段としての負荷割当部、ＶＤ…ボクセル
データ。

Claims (13)

【特許請求の範囲】
1. 【請求項１】 複数のノードと、該複数のノードのうち
   少なくとも一つが兼ねるか又は前記複数のノードとは別
   に設けられたサーバとによってコンピュータネットワー
   クが構築され、前記サーバに格納された三次元以上のボ
   クセルデータに施すべきボリュームレンダリング処理を
   少なくとも二つのノードが分散処理で実行するボリュー
   ムレンダリング処理システムにおいて、 少なくとも一つのノードは、入力手段からボクセルデー
   タの表示処理を受け付けると、他ノードからその時々に
   取得した計算資源使用状況の情報を基に自ノードと共に
   分散処理可能な余力のあるノードの有無を調べ、余力の
   ある他ノードがあれば自ノードと共にノード割り当てを
   するノード割当手段と、前記ボクセルデータのデータ負
   荷と計算負荷とのうち少なくとも一方を前記計算資源使
   用状況に応じて分割して前記各割り当てノードに対し動
   的負荷割り当てを行う負荷割当手段と、前記各割り当て
   ノードにおいて割り当て負荷に応じて実行される各分散
   ボリュームレンダリング処理の処理結果を取得して一つ
   に整合させて連結する連結手段とを備え、該連結により
   生成されたボリュームレンダリング画像を表示手段に表
   示することを特徴とするボリュームレンダリング処理シ
   ステム。
2. 【請求項２】 複数のノードと、該複数のノードのうち
   少なくとも一つが兼ねるか又は前記複数のノードとは別
   に設けられたサーバとによってコンピュータネットワー
   クが構築され、前記サーバに格納された三次元以上のボ
   クセルデータに施すべきボリュームレンダリング処理を
   少なくとも二つのノードが分散処理で実行するボリュー
   ムレンダリング処理システムにおいて、 前記複数のノードのうち少なくとも一つのノードの入力
   手段により表示対象として指定されたボクセルデータを
   前記サーバに要求する要求手段と、前記表示対象のボク
   セルデータについて協調分散処理でボリュームレンダリ
   ング処理を行う少なくとも二つのノードを前記複数のノ
   ードの中から各々の処理能力に応じて選択し割り当てる
   ノード割当手段と、前記ノード割当手段により割り当て
   られた各ノードに対し各々の処理能力に応じて動的負荷
   割り当てを行う負荷割当手段と、前記割り当てノードに
   おいて割り当て負荷に応じた分散ボリュームレンダリン
   グ処理の演算を行う演算手段と、前記割り当てノードに
   おける演算手段の処理結果を一つに整合させて連結する
   連結手段と、前記連結手段による処理結果の連結により
   生成された画像を前記表示対象指定元のノードの表示手
   段に表示する表示制御手段とを備えたことを特徴とする
   ボリュームレンダリング処理システム。
3. 【請求項３】 前記ノード割当手段は、各ノードの処理
   能力の判断情報として計算余力とメモリ空き容量のうち
   少なくとも一方を含む計算資源利用状況の情報を各ノー
   ドから通信により取得し、該計算資源利用状況の情報を
   基に割り当てノードを選択するとともに、 前記負荷割当手段は、前記計算資源利用状況に応じた負
   荷割り当てとなるように前記割り当てノードに対し分散
   ボリュームレンダリング処理を割り当てることを特徴と
   する請求項１又は２に記載のボリュームレンダリング処
   理システム。
4. 【請求項４】 前記計算余力とはＣＰＵ余力であること
   を特徴とする請求項３に記載のボリュームレンダリング
   処理システム。
5. 【請求項５】 前記負荷割当手段は、負荷割り当てした
   分散ボリュームレンダリング処理を予め設定された所定
   量又は所定割合終了した処理結果を返してきたノードに
   対して、次の分散ボリュームレンダリング処理の負荷割
   り当てを行うことを特徴とする請求項１〜４のいずれか
   一項に記載のボリュームレンダリング処理システム。
6. 【請求項６】 前記負荷割当手段は、前記割り当てノー
   ドに対し、前記表示対象のボクセルデータを分割して割
   り当てるデータ分割割当方式を採用することを特徴とす
   る請求項１〜５のいずれか一項に記載のボリュームレン
   ダリング処理システム。
7. 【請求項７】 前記負荷割当手段は、前記割り当てノー
   ドに対し、前記表示対象のボクセルデータに施すボリュ
   ームレンダリングの計算処理を分割して割り当てる計算
   分割割当方式を採用することを特徴とする請求項１〜６
   のいずれか一項に記載のボリュームレンダリング処理シ
   ステム。
8. 【請求項８】 請求項１〜７のいずれか一項に記載のボ
   リュームレンダリング処理システムにおけるノードを構
   成する計算機であって、 前記ノード割当手段、前記負荷割当手段及び前記連結手
   段を備えたことを特徴とする計算機。
9. 【請求項９】 請求項２〜７のいずれか一項に記載のボ
   リュームレンダリング処理システムにおけるノードを構
   成する計算機であって、 前記要求手段、前記ノード割当手段、前記負荷割当手
   段、前記演算手段、前記連結手段及び表示制御手段を備
   えたことを特徴とする計算機。
10. 【請求項１０】 請求項２〜７のいずれか一項に記載の
    ボリュームレンダリング処理システムを構成する前記ノ
    ードの機能をコンピュータに実現させるプログラムであ
    って、 コンピュータを、前記入力手段により指定されたボクセ
    ルデータの画像表示を前記サーバに要求する要求手段
    と、前記表示対象のボクセルデータについて協調分散処
    理でボリュームレンダリング処理を行う少なくとも二つ
    の他のノードを前記複数のノードの中から各々の処理能
    力に応じて選択し割り当てるノード割当手段と、前記ノ
    ード割当手段により割り当てられた前記他の各ノードに
    対し各々の処理能力に応じて動的負荷割り当てを行う負
    荷割当手段と、 前記割り当てられた他の各ノードから受信した複数の分
    散ボリュームレンダリング処理結果を一つに整合させて
    連結する連結手段と、前記連結手段により連結され生成
    されたボリュームレンダリング画像を前記表示手段に表
    示する表示制御手段として機能させることを特徴とする
    プログラム。
11. 【請求項１１】 請求項２〜７のいずれか一項に記載の
    ボリュームレンダリング処理システムを構成する前記ノ
    ードの機能をコンピュータに実現させるプログラムであ
    って、 コンピュータを、前記入力手段により指定されたボクセ
    ルデータの画像の表示を前記サーバに要求する要求手段
    と、前記連結手段を有する他のノードから、前記連結手
    段による連結により生成されたボリュームレンダリング
    画像のデータを受信し、該データに基づきボリュームレ
    ンダリング画像を前記表示手段に表示する表示制御手段
    として機能させることを特徴とするプログラム。
12. 【請求項１２】 請求項２〜７のいずれか一項に記載の
    ボリュームレンダリング処理システムを構成する前記ノ
    ードの機能をコンピュータに実現させるプログラムであ
    って、 コンピュータを、請求項２〜７のいずれか一項に記載の
    前記要求手段、前記ノード割当手段、前記負荷割当手
    段、前記演算手段及び前記連結手段として機能させるこ
    とを特徴とするプログラム。
13. 【請求項１３】 複数のノードと、該複数のノードのう
    ち少なくとも一つが兼ねるか又は前記複数のノードとは
    別に設けられたサーバとによってコンピュータネットワ
    ークが構築され、前記サーバに格納された三次元以上の
    ボクセルデータ群の中から指定されたボクセルデータに
    対して少なくとも二つのノードが分散処理でボリューム
    レンダリング処理を施すボリュームレンダリング処理方
    法であって、 前記複数のノードのうち少なくとも一つを構成するコン
    ピュータの要求手段が入力手段により表示対象として指
    定されたボクセルデータを前記サーバに要求する段階
    と、前記ボクセルデータについてボリュームレンダリン
    グ処理を協調分散処理で行わせる少なくとも二つのノー
    ドを前記複数のノードの中から各ノードの処理能力に応
    じて選択してコンピュータのノード割当手段が割り当て
    る段階と、前記協調分散処理の割り当てノードに対し各
    々の処理能力に応じてコンピュータの負荷割当手段が動
    的負荷割り当てを行う段階と、前記割り当てノードの演
    算手段が協調分散処理の動的負荷として割り当てられた
    分散ボリュームレンダリング処理を実行する段階と、前
    記各ノードによる前記分散ボリュームレンダリング処理
    結果をコンピュータの連結手段が一つに整合させて連結
    する段階と、前記連結手段により連結されて生成された
    画像を前記表示対象指定元の前記ノードの表示手段にコ
    ンピュータの表示制御手段が表示する段階とを備えたボ
    リュームレンダリング処理方法。