JP4588736B2 - 画像処理方法および装置並びにプログラム - Google Patents

Description

本発明は、ボリュームレンダリング法によって、多数の２次元画像の群からなる３次元画像データから擬似３次元画像を生成する画像処理方法および装置ならびにプログラムに関するものである。

被写体の３次元的な構造等の把握を容易にするため、ＣＴ装置、ＭＲＩ装置、超音波診断装置等により取得された多数の２次元画像の群からなる被写体の３次元画像データを、コンピュータグラフィックスの技術等を用いて２次元平面上に立体的に可視化した擬似３次元画像を生成・表示する処理が行われている。

このような擬似３次元画像を生成する方法としては、たとえば特許文献１に示されているように、３次元画像を構成する各ボクセルに不透明度（Opacity）およびＲ、Ｇ、Ｂの色情報を割付け、観察する側から投影面の各画素へのボクセル追跡（レイキャスティング）を行い、被写体の組織間の境界面のみならず内部の情報構造も多重に透かして可視化するボリュームレンダリング法が知られている。

このようなボリュームレンダリング法においては、任意の光源を設定し、その光源により照明された３次元画像中の任意の点に対して、光源からその点に入射される光の入射方向と、その点における画素値の勾配値により規定された面の傾斜との関係に基づいて、立体感を表現する「陰影づけ」処理が行われている。具体的には、３次元画像中の任意の点Ｐ_Ｖにおける輝度値ｂ(Ｐ_Ｖ)の算出を、下記の式（２）に示すように、予め被検体の組織毎（ＣＴ値等の入力画素値毎）に定義された色情報に基づいて割り当てられた色情報ｃ(Ｐ_Ｖ)に、その点Ｐ_Ｖにおける画素値の勾配により規定される面の法線ベクトルＮ(Ｐ_Ｖ)と、点Ｐ_Ｖから光源への単位ベクトルＬとのベクトル内積を積算することにより行う。ここで、ｈは拡散反射によるシェーディング係数である。
特開２００６−０００３３８号公報

しかし、上記従来の技術における陰影処理では、光源から発せられた光が３次元画像中の各点へ照射されるとき、任意の他の被写体の像により遮られて生ずる照度の減衰が考慮されていないため、たとえば、図６（ａ）に示すように、被写体Ｂを照射する光源Ｓから発せられた光の一部が被写体Ａにより遮られ、被写体Ｂ上に被写体Ａの影が現れるはずの場合にも、図６（ｂ）に示すように、ボリュームレンダリングにより生成された擬似３次元画像Ｉ_２は、そのような影が表現されない不自然な画像となるという問題がある。

本発明は、上記事情に鑑み、ボリュームレンダリング法によって生成される擬似３次元画像のリアリティを向上させる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。

本発明の画像処理方法は、任意の視点と、任意の光源により照明された３次元画像が投影される投影面上の各画素とを結ぶ複数の視線に沿って、その３次元画像をサンプリングした各探査点における輝度値を用いて、投影面上の画素の画素値を決定するボリュームレンダリング法によって、擬似３次元画像を生成する画像処理方法において、光源と各探査点とを結ぶ複数の光線に沿ってその３次元画像をサンプリングした各計算点における不透明度に基づいて、各探査点における照度を算出し、算出された照度に基づいてその探査点における輝度値を決定することを特徴とするものである。

ここで「３次元画像」というのは、多数の２次元画像の群からなる３次元画像データにより構成される仮想的３次元画像であり、「擬似３次元画像」というのは、ボリュームレンダリング法によって生成され、３次元的に可視表示される２次元画像を意味する。

本発明の画像処理装置は、任意の視点と、任意の光源により照明された３次元画像が投影される投影面上の各画素とを結ぶ複数の視線に沿って、その３次元画像をサンプリングした各探査点における輝度値を用いて、投影面上の画素の画素値を決定するレイキャスティング手段とを備えた、ボリュームレンダリング法によって擬似３次元画像を生成する画像処理装置において、光源と各探査点とを結ぶ複数の光線に沿ってその３次元画像をサンプリングした各計算点における不透明度に基づいて、各探査点における照度を算出する照度算出手段と、算出された照度に基づいてその各探査点における輝度値を決定する輝度値決定手段を備えたことを特徴とするものである。

本発明の画像処理プログラムは、上記画像処理方法をコンピュータに実行させるものである。

上記方法および装置ならびにプログラムは、上記各視線を視線Ｅ_ｊ（ｊ＝１、２、…、Ｌ）とし、視線Ｅ_ｊに沿って３次元画像をサンプリングした各探査点を探査点Ｐ_ｊｉ（ｉ＝１、２、…、ｎ）とし、光源と探査点Ｐ_ｊｉとを結ぶ光線に沿って３次元画像をサンプリングした各計算点を計算点ｑ_ｋ（ｋ＝１、２、…、ｍ）とし、計算点ｑ_ｋにおける不透明度がα（ｑ_ｋ）であるとき、探査点Ｐ_ｊｉにおける照度Ｄ（Ｐ_ｊｉ）の算出を、下記式（１）により行うものとすることができる。

ここで、Ｌは、視線の数であり、ｎは、視線Ｅ_ｊ上の探査点の数であり、ｍは、光源と探査点Ｐ_ｊｉとを結ぶ光線上の計算点の数である。

本発明の画像処理方法および装置ならびにプログラムによれば、ボリュームレンダリング法によって擬似３次元画像を生成する際に、光源から発せられた光が３次元画像中の各点へ照射されるとき、任意の他の被写体の像により遮られて生ずるその点における照度の減衰が考慮された陰影処理が行われるようにしたので、リアリティの高い擬似３次元画像を生成することができる。

以下、図面を参照して、本発明の一実施の形態について説明する。

図１は、３次元医用画像処理システムの概要を示すハードウェア構成図である。図に示すように、このシステムでは、モダリティ１と、画像保管サーバ２と、画像処理ワークステーション３とが、ネットワーク９を経由して通信可能な状態で接続されている。

モダリティ１は、被検体を表す３次元医用画像Ｖを取得するものであり、具体的には、ＣＴ装置やＭＲＩ装置、超音波診断装置等である。

画像保管サーバ２は、モダリティ１で取得された３次元医用画像Ｖや画像処理ワークステーション３での画像処理によって生成された医用画像を画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理ソフトウェア（たとえば、ＯＲＤＢ(Object Relational Database)管理ソフトウェア）を備えている。

画像処理ワークステーション３は、読影者からの要求に応じて、モダリティ１や画像保管サーバ２から取得した３次元医用画像Ｖに対して画像処理を行い、生成された画像を表示するコンピュータであり、特に、読影者からの要求を入力するキーボードやマウス等の入力装置と、取得した３次元医用画像Ｖを格納可能な容量の主記憶装置と、生成された画像を表示するディスプレイとを備えている。

画像データの格納形式やネットワーク９経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）等のプロトコルに基づいている。

図２は、画像処理ワークステーション３のボリュームレンダリング機能に関連する部分を示すブロック図である。図に示すように、画像処理ワークステーション３は、読影者からの要求に応じて、読影対象の患者の３次元医用画像Ｖをモダリティ１や画像保管サーバ２から取得する画像取得手段１０、任意の視点と投影面上の各画素とを結ぶ複数の視線に沿って、３次元医用画像Ｖを所定の間隔でサンプリングした複数の探査点の輝度値と不透明度とを用いて、投影面上の画素の画素値を決定し、ボリュームレンダリング画像（擬似３次元画像）を生成するレイキャスティング手段６０、および生成されたボリュームレンダリング画像をディスプレイに表示する画像表示手段７０から構成されており、レイキャスティング手段６０は、各探査点における輝度値と不透明度をそれぞれ決定する輝度値決定手段４０と不透明度決定手段５０とを備える。また、輝度値決定手段４０は、光源と各探査点とを結ぶ複数の光線に沿って３次元医用画像Ｖをサンプリングした各計算点における不透明度に基づいて、その各探査点における照度を算出する照度算出手段４２、および算出された照度に基づいて、その各探査点における輝度値を算出する輝度値算出手段４３から構成されている。

次に、この医用画像処理システム、特に画像処理ワークステーション３によって、ボリュームレンダリング画像を生成する処理の流れについて説明する。

まず、画像取得手段１０が、読影者からの要求に応じて、読影対象の患者の３次元医用画像Ｖをモダリティ１や画像保管サーバ２から取得する。この３次元医用画像Ｖは、マルチスライス画像をボクセルに分割し、３次元座標空間内に配列してなるものであり、各ボクセルの位置は、被写体の左右方向をｘ軸、前後方向をｙ軸、上下方向をｚ軸とする３次元座標系で定義され、各ボクセルの画素値は、そのボクセルの位置の座標と関連づけられている。

次に、レイキャスティング手段６０が、ボリュームレンダリング画像を構成する画素の画素値（出力画素値）を求める。まず、初期設定ファイルや読影者によるキーボードやマウス等からの入力等により設定された視点Ｅ、光源Ｓ、投影面Ｆ（大きさ、位置、画素数）により、たとえば、図３に示すように、その視点Ｅと投影面Ｆ上の投影画素の各々とを結ぶ複数の視線Ｅ_ｊ（ｊ＝１、２、…、Ｌ；Ｌは、視線の数）に沿って３次元医用画像Ｖを所定の間隔でサンプリングした複数の探査点Ｐ_ｊｉ（ｉ＝１、２、…、ｎ；ｎは、視線Ｅ_ｊ上の探査点の数）を設定する。次に、各視線Ｅ_ｊに沿って、各探査点Ｐ_ｊｉにおける輝度値ｂ(Ｐ_ｊｉ)と不透明度α(Ｐ_ｊｉ)とを後述する輝度値決定手段４０および不透明度決定手段３０により順次取得し、次の式（３）に示すように、それらの積を加算していき、不透明度αの累積が所定の閾値となるか、またはレイが対象としている３次元医用画像Ｖから抜け出たとき、その視線Ｅ_ｊに対する処理を終了し、加算結果をその視線Ｅ_ｊが通る投影面上の投影画素の出力画素値Ｃ_ｊとして決定する。

このような処理を各視線について行い、投影面上のすべての投影画素の出力画素値を決定し、ボリュームレンダリング画像を生成する。生成されたボリュームレンダリング画像は、画像表示手段７０によって画像処理ワークステーション３のディスプレイに表示される。

次に、輝度値決定手段４０によって、各探査点Ｐ_ｊｉにおける輝度値ｂ(Ｐ_ｊｉ)を決定する処理の流れについて説明する。

輝度値決定手段４０は、照度算出手段４２、および輝度値算出手段４３から構成されており、まず、照度算出手段４２が、各探査点Ｐ_ｊｉにおける光源からの照度Ｄ（Ｐ_ｊｉ）を算出する。図４に示すように、光源Ｅと各探査点Ｐ_ｊｉとを結ぶ光線Ｂ_ｊｉに沿って、３次元医用画像Ｖをサンプリングした各計算点ｑ_ｋ（ｋ＝１、２、…、ｍ；ｍは、光線Ｂ_ｊｉ上の計算点の数）を設定し、設定された各計算点ｑ_ｋにおける不透明度α(ｑ_ｋ)を用いて、下記式（１）により、各探査点Ｐ_ｊｉにおける光源からの照度Ｄ（Ｐ_ｊｉ）を算出する。ここで、算出された照度Ｄ（Ｐ_ｊｉ）は、光源Ｓから各探査点Ｐ_ｊｉへ照射される光が、任意の他の被写体の像により遮られて減衰することによる、照度の低下が反映されたものである。

次に、輝度値算出手段４３が、照度算出手段４２において算出された各探査点Ｐ_ｊｉにおける照度に基づいて、その探査点の輝度値ｂ(Ｐ_ｊｉ)を、たとえば、次の式（４）により算出する。

ここで、ｈは、拡散反射によるシェーディング係数である。なお、本実施形態では、環境光や鏡面反射光については考慮していない。また、Ｎ(Ｐ_ｊｉ)は、探査点Ｐ_ｊｉにおける法線ベクトルであり、次の式（５）により算出される。

ここで、∇ｆ(Ｐ_ｊｉ)は、探査点Ｐ_ｊｉにおける画素値の勾配であり、探査点Ｐ_ｊｉがらｘ軸方向、ｙ軸方向、又はｚ軸方向に近接する６つの近傍点における画素値を用いて、次の式（６）により求めることができる。

ここで、ｆはその点における画素値を表すものであり、上記各近傍点の画素値は、その近傍点が含まれる格子を構成する８つのボクセルの画素値を線形補間して求める。また、ここでは、簡単のため、Ｐ_ｊｉ＝（ｘ、ｙ、ｚ）としている。

さらに、Ｌは、探査点Ｐ_ｊｉから光源Ｓへの単位方向ベクトル、「・」はベクトルの内積、ｃ(Ｐ_ｊｉ)は、予め被検体の組織毎（ＣＴ値等の入力画素値毎）に定義された色情報に基づき、割り当てられた色情報である。

なお、ここでは、各探査点における画素値の勾配により規定される面の法線ベクトルをその探査点における法線ベクトルとして決定する場合について説明したが、その探査点における画素値の勾配値に限らず、その探査点における不透明度の勾配値により規定される面に基づいて法線ベクトルを決定するなど、他の方法により法線ベクトルを決定してもよい。

次に、不透明度決定手段５０によって、上記各探査点Ｐ_ｊｉにおける不透明度α(Ｐ_ｊｉ)を決定する処理について説明する。各探査点Ｐ_ｊｉにおける不透明度α(Ｐ_ｊｉ)は、予め被検体の組織毎（ＣＴ値等の入力画素値毎）に定義された不透明度に基づき、その探査点Ｐ_ｊｉおける画素値により決定される。なお、各探査点Ｐ_ｊｉの画素値は、その探査点が含まれる格子を構成する８つのボクセルの画素値を線形補間して求める。

なお、上記輝度値の決定処理と不透明度の決定処理とは、互いに独立した処理のため、直列処理で行う場合にはどちらの処理を先に行ってもよいし、並列処理により同時並行で行ってもよい。

このように本発明による画像処理の実施形態となる３次元医用画像処理システムでは、ボリュームレンダリング法によって擬似３次元画像を生成する際に、光源から発せられた光が３次元画像中の各点へ照射されるとき、任意の他の被写体の像により遮られて生ずるその点における照度の減衰が考慮された陰影処理が行われるようにしたので、たとえば、図５（ａ）に示すように、被写体Ｂを照射する光源Ｓから発せられた光の一部が被写体Ａにより遮られ、被写体Ｂ上に被写体Ａの影が現れる場合、図５（ｂ）に示すように、ボリュームレンダリングにより生成された擬似３次元画像Ｉ_１に、そのような影が表現でき、リアリティの高い擬似３次元画像を生成することができる。

上記の実施形態では、画像処理ワークステーション３で画像処理と画像表示の両方を行うようにしたが、画像処理サーバを別途設けてネットワーク９に接続し、画像処理はこの画像処理サーバに行なわせるようにしてもよい。これにより、分散処理が図られ、たとえば、画像の表示を複数の端末で行なう場合には、高性能の画像処理ワークステーションを複数台設置する必要がなくなり、システム全体のコストの低減に資する。

本発明の実施の形態となる３次元医用画像処理システムの概略構成図 図１の画像処理ワークステーションのボリュームレンダリング機能を示すブロック図 レイキャスティング手段６０による探査点の設定処理を説明するための図 照度算出手段４２による照度の算出処理を説明するための図 本発明の画像処理により生成された擬似３次元画像の一例を示す図 従来の画像処理方法により生成された擬似３次元画像の一例を示す図

符号の説明

１ モダリティ
２ 画像保管サーバ
３ 画像処理ワークステーション
９ ネットワーク
４０ 輝度値決定手段
４２ 照度算出手段
４３ 輝度値算出手段
５０ 不透明度決定手段
６０ レイキャスティング手段
Ｅ 視点
Ｆ 投影面
Ｓ 光源
Ｅ_ｊ 視線
Ｐ_ｊｉ 探査点
ｑ_ｋ 計算点

Claims (5)

1. 任意の視点と、任意の光源により照明された３次元画像が投影される投影面上の各画素とを結ぶ複数の視線に沿って、前記３次元画像をサンプリングした各探査点における輝度値を用いて、前記投影面上の画素の画素値を決定するボリュームレンダリング法によって、擬似３次元画像を生成する画像処理方法において、
   前記光源と前記各探査点とを結ぶ複数の光線に沿って前記３次元画像をサンプリングした各計算点における不透明度に基づいて、前記各探査点における照度を算出し、
   算出された前記照度に基づいて、前記各探査点における輝度値を決定することを特徴とする画像処理方法。
2. 前記各視線を視線Ｅ_ｊ（ｊ＝１、２、…、Ｌ）とし、
   前記視線Ｅ_ｊに沿って前記３次元画像をサンプリングした各探査点を探査点Ｐ_ｊｉ（ｉ＝１、２、…、ｎ）とし、
   前記光源と前記探査点Ｐ_ｊｉとを結ぶ光線に沿って前記３次元画像をサンプリングした各計算点を計算点ｑ_ｋ（ｋ＝１、２、…、ｍ）とし、
   前記計算点ｑ_ｋにおける不透明度がα（ｑ_ｋ）であるとき、
   前記探査点Ｐ_ｊｉにおける照度Ｄ（Ｐ_ｊｉ）の算出が、下記式（１）により行われることを特徴とする請求項１記載の画像処理方法。
   前記Ｌは、前記視線の数
   前記ｎは、前記視線Ｅ_ｊ上の探査点の数
   前記ｍは、前記光源と前記探査点Ｐ_ｊｉとを結ぶ光線上の計算点の数
3. 任意の視点と、任意の光源により照明された３次元画像が投影される投影面上の各画素とを結ぶ複数の視線に沿って、前記３次元画像をサンプリングした各探査点における輝度値を用いて、前記投影面上の画素の画素値を決定するレイキャスティング手段を備えた、ボリュームレンダリング法によって擬似３次元画像を生成する画像処理装置において、
   前記光源と前記各探査点とを結ぶ複数の光線に沿って前記３次元画像をサンプリングした各計算点における不透明度に基づいて、前記各探査点における照度を算出する照度算出手段と、
   算出された前記照度に基づいて、前記各探査点における輝度値を決定する輝度値決定手段とを備えたことを特徴とする画像処理装置。
4. 前記各視線を視線Ｅ_ｊ（ｊ＝１、２、…、Ｌ）とし、
   前記視線Ｅ_ｊに沿って前記３次元画像をサンプリングした各探査点を探査点Ｐ_ｊｉ（ｉ＝１、２、…、ｎ）とし、
   前記光源と前記探査点Ｐ_ｊｉとを結ぶ光線に沿って前記３次元画像をサンプリングした各計算点を計算点ｑ_ｋ（ｋ＝１、２、…、ｍ）とし、
   前記計算点ｑ_ｋにおける不透明度がα（ｑ_ｋ）であるとき、
   前記照度算出手段が、前記探査点Ｐ_ｊｉにおける照度Ｄ（Ｐ_ｊｉ）の算出を、下記式（１）により行うものであることを特徴とする請求項３記載の画像処理装置。
   前記Ｌは、前記視線の数
   前記ｎは、前記視線Ｅ_ｊ上の探査点の数
   前記ｍは、前記光源と前記探査点Ｐ_ｊｉとを結ぶ光線上の計算点の数
5. コンピュータに、任意の視点と、任意の光源により照明された３次元画像が投影される投影面上の各画素とを結ぶ複数の視線に沿って、前記３次元画像をサンプリングした各探査点における輝度値を用いて、前記投影面上の画素の画素値を決定するボリュームレンダリング法によって、擬似３次元画像を生成する画像処理を実行させるためのプログラムにおいて、
   前記光源と前記各探査点とを結ぶ複数の光線に沿って前記３次元画像をサンプリングした各計算点における不透明度に基づいて、前記各探査点における照度を算出し、
   算出された前記照度に基づいて、前記各探査点における輝度値を決定することを特徴とするプログラム。