JP2007014706A - 画像融合処理方法、画像融合処理プログラム、画像融合処理装置 - Google Patents

画像融合処理方法、画像融合処理プログラム、画像融合処理装置 Download PDF

Info

Publication number
JP2007014706A
JP2007014706A JP2005202313A JP2005202313A JP2007014706A JP 2007014706 A JP2007014706 A JP 2007014706A JP 2005202313 A JP2005202313 A JP 2005202313A JP 2005202313 A JP2005202313 A JP 2005202313A JP 2007014706 A JP2007014706 A JP 2007014706A
Authority
JP
Japan
Prior art keywords
image
fusion processing
calculating
image fusion
voxel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005202313A
Other languages
English (en)
Other versions
JP4267598B2 (ja
Inventor
Kazuhiko Matsumoto
和彦 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ziosoft Inc
Original Assignee
Ziosoft Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ziosoft Inc filed Critical Ziosoft Inc
Priority to JP2005202313A priority Critical patent/JP4267598B2/ja
Priority to US11/484,059 priority patent/US7817877B2/en
Publication of JP2007014706A publication Critical patent/JP2007014706A/ja
Application granted granted Critical
Publication of JP4267598B2 publication Critical patent/JP4267598B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering

Abstract

【課題】 情報量が縮退することなく、同一の観察対象から得た複数の３次元以上の画像を融合することのできる画像融合処理方法、画像融合処理プログラム、画像融合処理装置を提供する。
【解決手段】 ＣＰＵは第１ボクセル値Ｄ１n に対応する光パラメータを算出し（ステップＳ２−３０）、第２ボクセル値Ｄ２n に対応する光パラメータを算出する（ステップＳ２−３５）。次に、ＣＰＵは現在位置Ｘ１ｎ，Ｘ２ｎ毎に合成比率決定処理（ステップＳ２−４０）を行って得た合成比率に基づいて合成したそれぞれの光パラメータを算出し（ステップＳ２−４５）、それら光パラメータを用いて残存光Ｉn 、反射光Ｅn を更新する（ステップＳ２−５０）。現在位置Ｘ１n 又は現在位置Ｘ２n が終了位置であるとき（ステップＳ２−６０でＹＥＳ）、ＣＰＵは反射光Ｅn をピクセル値とし（ステップＳ２−６５）、フレームを構成する１ピクセルについての融合画像データ生成処理を終了する。
【選択図】 図８

Description

本発明は、画像融合処理方法、画像融合処理プログラム、画像融合処理装置に関する。
従来、人体の臓器等の同一の観察対象をＣＴ（Computerized Tomography ）画像撮影装置やＰＥＴ（Positron Emission Tomography）画像撮影装置等の複数の異なるモダリティで撮影し、得られた画像を融合して診察等に利用している。例えば、異常の有無等の臓器の機能情報を示すＰＥＴ画像と、解像度が高いＣＴ画像とを融合することで、異常部の大きさ、位置関係を一層正確に把握できる。
このような画像融合において、図２１に示すように、２つのボリュームデータ（ＣＴ画像１０１、ＰＥＴ画像１０３）を別々にレンダリングした後、それぞれの投影画像１０５，１０７を一定の比率で融合して融合画像１０９を得る方法がある。しかし、この方法では、２つの画像を２次元的に合成するので色が不鮮明になるとともに、ＣＴ画像で精細に表現されていた表面の凹凸が見えにくくなる。
これに対し、図２２に示すように、所定のサンプリング点毎に、ボクセル値を合成し、その合成したボクセル値１１１をレンダリングして融合画像１１３を得る画像融合処理方法がある（例えば、非特許文献１）。これにより、前後関係の表現が可能となり、得られる画像が鮮明となっている。
マリア・フェレ（Maria Ferre）、アンナ・ピュイグ（Anna Puig）、ダニー・トスト（Dani Tost）、「多様なボリュームデータの合成方法及びレンダリング技術（A framework for fusion methods and rendering techniques of multimodal volume data ）」、ジャーナルオブヴィジュアライゼーションアンドコンピュータアニメーション（Journal of Visualization and Computer Animation）、（米国）、2004年5月、１５巻（Volume 15）、第２号（Number 2）、p.63-67
しかしながら、この画像融合処理方法では、レンダリング前にボクセル値を合成してしまうので、不透明度、シェーディング係数、色等のボリュームデータから得られる光パラメータが全て合成後のボクセル値に従属することから、複数のボリュームデータで多次元の情報量を有していたボクセル値の情報が１次元情報となり、情報量が縮退していた。すなわち、ＣＴ画像、ＰＥＴ画像のいずれかの持つ光パラメータでレンダリングされることとなるため、融合後の画像の表現が限定されていた。特にＣＴ画像の解像度とＰＥＴ画像の解像度とが異なるとき、得られる画像は不自然になっていた。
本発明は、上記問題点を解消するためになされたものであって、その目的は、情報量が縮退することなく、同一の観察対象から得た複数の３次元以上の画像を融合することのできる画像融合処理方法、画像融合処理プログラム、画像融合処理装置を提供することにある。
上記問題点を解決するために、請求項１に記載の発明は、１つのコンピュータが単独処理でまたは複数のコンピュータが単独処理と分散処理とのうち少なくとも１つの処理で、同一の観察対象から得た複数の３次元以上の画像データの位置関係を互いに対応させ、前記複数の３次元以上の画像データにそれぞれ対応する複数の仮想光線を投射し、同複数の
３次元以上の画像データを２次元画面上に融合した融合画像を得る画像融合処理方法において、前記複数の仮想光線上のそれぞれ対応するサンプリング位置のボクセル値にそれぞれ対応付けられた複数の光パラメータを前記融合画像を生成するために合成する比率を合成比率として前記仮想光線上で少なくとも二度決定する合成比率決定段階と、前記合成比率に基づいて合成光パラメータを算出する算出段階と、前記合成光パラメータを基に前記仮想光線に対する部分反射光を前記サンプリング位置毎に算出する部分反射光算出段階と、前記部分反射光を積算して前記融合画像の画素値を算出する画素値算出段階とを備えた。
この発明によれば、複数の仮想光線上のそれぞれ対応するサンプリング位置のボクセル値にそれぞれ対応付けられた複数の光パラメータを融合画像を生成するために合成する合成比率を仮想光線上で少なくとも二度決定し、合成比率に基づいて合成光パラメータを算出し、合成光パラメータを基に仮想光線に対する部分反射光をサンプリング位置毎に算出し、部分反射光を積算して融合画像の画素値を算出する。この結果、複数の光パラメータを合成する合成比率を仮想光線上で少なくとも二度決定するため、情報量が縮退することなく、同一の観察対象から得た複数の３次元以上の画像を融合することができる。
請求項２に記載の発明は、請求項１に記載の画像融合処理方法において、前記光パラメータは色情報および不透明度情報であって、前記合成比率決定段階は、前記ボクセル値に対応付けられた色情報を合成する色合成比率を前記仮想光線上で少なくとも二度決定する色合成比率決定段階と、前記ボクセル値に対応付けられた不透明度情報を合成する不透明度合成比率を前記仮想光線上で少なくとも二度決定する不透明度合成比率決定段階とを備え、前記算出段階は、前記色合成比率に基づいて合成色情報を算出する第１算出段階と、前記不透明度合成比率に基づいて合成不透明度情報を算出する第２算出段階とを備えた。
この発明によれば、光パラメータは色情報および不透明度情報であって、各ボクセル値に対応付けられた色情報を合成し、仮想光線上で少なくとも二度決定する色合成比率に基づいて合成色情報を算出し、各ボクセル値に対応付けられた不透明度情報を合成し、仮想光線上で少なくとも二度決定する不透明度合成比率に基づいて合成不透明度情報を算出する。この結果、仮想光線上で少なくとも二度、色情報によって観察対象の状態を、不透明度情報によって観察対象の形状をそれぞれ出力することができることから、一層正確に観察対象の状態及び形状を把握可能な融合画像を生成することができる。
請求項３に記載の発明は、請求項２に記載の画像融合処理方法において、前記合成比率決定段階は、前記複数の仮想光線上のそれぞれ対応するサンプリング位置のボクセル値に対応付けられたシェーディング係数を合成する陰影合成比率を前記仮想光線上で少なくとも二度決定する陰影合成比率決定段階をさらに備え、前記算出段階は、前記陰影合成比率に基づいて合成シェーディング係数を算出する第３算出段階をさらに備え、前記部分反射光算出段階は、前記合成色情報及び前記合成不透明度情報及び前記合成シェーディング係数を基に前記仮想光線に対する部分反射光を前記サンプリング位置毎に算出する。
この発明によれば、ボクセル値に対応付けられたシェーディング係数を合成し、前記仮想光線上で少なくとも二度決定する陰影合成比率に基づいて合成シェーディング係数を算出し、合成色情報及び合成不透明度情報及び合成シェーディング係数を基に仮想光線に対する部分反射光を算出する。この結果、シェーディング係数を動的に設定することができるので、観察対象の表面の凹凸を出力することができることから、一層、正確に観察対象の凹凸を把握可能な融合画像を生成することができる。
請求項４に記載の発明は、請求項１乃至３のいずれか１項に記載の画像融合処理方法において、前記合成比率決定段階は、前記複数の３次元以上の画像データのうち少なくとも
１つの３次元以上の画像データに投射した仮想光線上のサンプリング位置のボクセル値と第１基準値とを比較する第１比較段階をさらに備え、前記第１比較段階での比較結果に応じて前記合成比率を決定する。
この発明によれば、複数の３次元以上の画像データのうち少なくとも１つの３次元以上の画像データに投射した仮想光線上のサンプリング位置のボクセル値と第１基準値とを比較し、その比較結果に応じて合成比率を決定する。この結果、例えば、ボクセル値が第１基準値より大きい部分を強調表示することができる。従って、一層、観察しやすい融合画像を生成することができる。
請求項５に記載の発明は、請求項１乃至３のいずれか１項に記載の画像融合処理方法において、前記合成比率決定段階は、前記合成比率を多段階で決定する。この発明によれば、合成比率決定段階は合成比率を多段階で決定するので、一層、各３次元以上の画像データの特徴を生かした融合画像を生成することができる。
請求項６に記載の発明は、請求項１乃至５のいずれか１項に記載の画像融合処理方法において、前記合成比率決定段階は、前記合成比率を前記ボクセル値の勾配に応じて設定する。この発明によれば、合成比率をボクセル値の勾配に応じて設定するので、例えば、ボクセル値の勾配（陰影）と組織情報とを区別することができることから、観察対象の輪郭を出力しながらも、観察対象内に３次元的に含まれている組織情報を出力することができる。従って、観察対象上のみならず観察対象内部の状態も観察することができる。
請求項７に記載の発明は、請求項１乃至６のいずれか１項に記載の画像融合処理方法において、前記ボクセル値のうちの１つと第２基準値とを比較する第２比較段階と、前記第２比較段階での比較結果に応じてマスク領域を生成するマスク領域生成段階とをさらに備えた。この発明によれば、ボクセル値のうちの１つと第２基準値とを比較し、その比較結果に応じてマスク領域を生成する。この結果、例えば、ボクセル値が異常である部分のみマスク領域として画面に出力することができる。従って、所望の箇所のみ観察することができるので、一層、観察しやすい融合画像を得ることができる。
請求項８に記載の発明は、請求項１または２に記載の画像融合処理方法において、同一の複数の３次元以上の画像データのサンプリング位置のボクセル値の前記光パラメータをそれぞれ異なる合成比率で生成した複数の融合画像を用いてアニメーションを作成する。この発明によれば、同一の複数の３次元以上の画像データのサンプリング位置のボクセル値の光パラメータをそれぞれ異なる合成比率で生成した複数の融合画像を用いてアニメーションを作成するので、動的に変更した合成比率に対応した融合画像を動的に観察することができることから、一層、正確に融合画像を観察することができる。
請求項９に記載の発明は、１つのコンピュータが単独処理でまたは複数のコンピュータが単独処理と分散処理とのうち少なくとも１つの処理で、同一の観察対象から得た複数の３次元以上の画像データの位置関係を互いに対応させ、前記複数の３次元以上の画像データにそれぞれ対応する複数の仮想光線を投射し、同複数の３次元以上の画像データを２次元画面上に融合した融合画像を得る画像融合処理プログラムにおいて、前記１つのコンピュータまたは複数のコンピュータを、前記複数の仮想光線上のそれぞれ対応するサンプリング位置のボクセル値にそれぞれ対応付けられた複数の光パラメータを前記融合画像を生成するために合成する比率を合成比率として前記仮想光線上で少なくとも二度決定する合成比率決定手段と、前記合成比率に基づいて合成光パラメータを算出する算出手段と、前記合成光パラメータを基に前記仮想光線に対する部分反射光を前記サンプリング位置毎に算出する部分反射光算出手段と、前記部分反射光を積算して前記融合画像の画素値を算出する画素値算出手段として機能させる。この発明によれば、請求項１に記載の発明と同様
の作用効果が得られる。
請求項１０に記載の発明は、請求項９に記載の画像融合処理プログラムにおいて、前記光パラメータは色情報および不透明度情報であって、前記合成比率決定手段は、前記ボクセル値に対応付けられた色情報を合成する色合成比率を前記仮想光線上で少なくとも二度決定する色合成比率決定手段と、前記ボクセル値に対応付けられた不透明度情報を合成する不透明度合成比率を前記仮想光線上で少なくとも二度決定する不透明度合成比率決定手段とを備え、前記算出手段は、前記色合成比率に基づいて合成色情報を算出する第１算出手段と、前記不透明度合成比率に基づいて合成不透明度情報を算出する第２算出手段とを備えた。この発明によれば、請求項２に記載の発明と同様の作用効果が得られる。
請求項１１に記載の発明は、請求項１０に記載の画像融合処理プログラムにおいて、前記合成比率決定手段は、前記複数の仮想光線上のそれぞれ対応するサンプリング位置のボクセル値に対応付けられたシェーディング係数を合成する陰影合成比率を前記仮想光線上で少なくとも二度決定する陰影合成比率決定手段をさらに備え、前記算出手段は、前記陰影合成比率に基づいて合成シェーディング係数を算出する第３算出手段をさらに備え、前記部分反射光算出手段は、前記合成色情報及び前記合成不透明度情報及び前記合成シェーディング係数を基に前記仮想光線に対する部分反射光を前記サンプリング位置毎に算出する。この発明によれば、請求項３に記載の発明と同様の作用効果が得られる。
請求項１２に記載の発明は、請求項９乃至１１のいずれか１項に記載の画像融合処理プログラムにおいて、前記合成比率決定手段は、前記複数の３次元以上の画像データのうち少なくとも１つの３次元以上の画像データに投射した仮想光線上のサンプリング位置のボクセル値と第１基準値とを比較する第１比較手段をさらに備え、前記第１比較手段での比較結果に応じて前記合成比率を決定する。この発明によれば、請求項４に記載の発明と同様の作用効果が得られる。
請求項１３に記載の発明は、請求項９乃至１１のいずれか１項に記載の画像融合処理プログラムにおいて、前記合成比率決定手段は、前記合成比率を多段階で決定する。この発明によれば、請求項５に記載の発明と同様の作用効果が得られる。
請求項１４に記載の発明は、請求項９乃至１３のいずれか１項に記載の画像融合処理プログラムにおいて、前記合成比率決定手段は、前記合成比率を前記ボクセル値の勾配に応じて設定する。この発明によれば、請求項６に記載の発明と同様の作用効果が得られる。
請求項１５に記載の発明は、請求項９乃至１４のいずれか１項に記載の画像融合処理プログラムにおいて、前記ボクセル値のうちの１つと第２基準値とを比較する第２比較手段と、前記第２比較手段での比較結果に応じてマスク領域を生成するマスク領域生成手段とをさらに備えた。この発明によれば、請求項７に記載の発明と同様の作用効果が得られる。
請求項１６に記載の発明は、請求項９または１０に記載の画像融合処理プログラムにおいて、同一の複数の３次元以上の画像データのサンプリング位置のボクセル値の前記光パラメータをそれぞれ異なる合成比率で生成した複数の融合画像を用いてアニメーションを作成する。この発明によれば、請求項８に記載の発明と同様の作用効果が得られる。
請求項１７に記載の発明は、１つのコンピュータが単独処理でまたは複数のコンピュータが単独処理と分散処理とのうち少なくとも１つの処理で、同一の観察対象から得た複数の３次元以上の画像データの位置関係を互いに対応させ、前記複数の３次元以上の画像データにそれぞれ対応する複数の仮想光線を投射し、同複数の３次元以上の画像データを２
次元画面上に融合した融合画像を得る画像融合処理装置であって、前記複数の仮想光線上のそれぞれ対応するサンプリング位置のボクセル値にそれぞれ対応付けられた複数の光パラメータを前記融合画像を生成するために合成する比率を合成比率として前記仮想光線上で少なくとも二度決定する合成比率決定手段と、前記合成比率に基づいて合成光パラメータを算出する算出手段と、前記合成光パラメータを基に前記仮想光線に対する部分反射光を前記サンプリング位置毎に算出する部分反射光算出手段と、前記部分反射光を積算して前記融合画像の画素値を算出する画素値算出手段とを備えた。この発明によれば、請求項１，９に記載の発明と同様の作用効果が得られる。
請求項１８に記載の発明は、請求項１７に記載の画像融合処理装置において、前記光パラメータは色情報および不透明度情報であって、前記合成比率決定手段は、前記ボクセル値に対応付けられた色情報を合成する色合成比率を前記仮想光線上で少なくとも二度決定する色合成比率決定手段と、前記ボクセル値に対応付けられた不透明度情報を合成する不透明度合成比率を前記仮想光線上で少なくとも二度決定する不透明度合成比率決定手段とを備え、前記算出手段は、前記色合成比率に基づいて合成色情報を算出する第１算出手段と、前記不透明度合成比率に基づいて合成不透明度情報を算出する第２算出手段とを備えた。この発明によれば、請求項２，１０に記載の発明と同様の作用効果が得られる。
請求項１９に記載の発明は、請求項１８に記載の画像融合処理装置において、前記合成比率決定手段は、前記複数の仮想光線上のそれぞれ対応するサンプリング位置のボクセル値に対応付けられたシェーディング係数を合成する陰影合成比率を前記仮想光線上で少なくとも二度決定する陰影合成比率決定手段をさらに備え、前記算出手段は、前記陰影合成比率に基づいて合成シェーディング係数を算出する第３算出手段をさらに備え、前記部分反射光算出手段は、前記合成色情報及び前記合成不透明度情報及び前記合成シェーディング係数を基に前記仮想光線に対する部分反射光を前記サンプリング位置毎に算出する。この発明によれば、請求項３，１１に記載の発明と同様の作用効果が得られる。
請求項２０に記載の発明は、請求項１７乃至１９のいずれか１項に記載の画像融合処理装置において、前記合成比率決定手段、前記算出手段、前記部分反射光算出手段、前記画素値算出手段の一部または全部は、ＧＰＵである。この発明によれば、合成比率決定手段、算出手段、部分反射光算出手段、画素値算出手段の一部または全部は、ＧＰＵであるので、合成比率の決定、光パラメータの算出、部分反射光の算出、画素値の算出に要する時間を短縮することができる。
請求項２１に記載の発明は、請求項１７乃至２０のいずれか１項に記載の画像融合処理装置において、前記画素値算出手段が算出した画素値を出力部に出力可能な形式に変換する後処理は、ＧＰＵで行う。この発明によれば、画素値算出手段が算出した画素値を出力部に出力可能な形式に変換する後処理は、ＧＰＵで行うので、後処理に要する時間を短縮することができる。
本発明によれば、情報量が縮退することなく、同一の観察対象から得た複数の３次元以上の画像を融合することができる。
（第１実施形態）
以下、本発明を具体化した第１実施形態を図１〜図１０に従って説明する。
図１に示すように、画像表示装置１は、データベース２から例えば、ＣＴ画像撮影装置により撮影されたＣＴ画像データ及びＰＥＴ画像撮影装置により撮影されたＰＥＴ画像データを読み取って、医療診断用の画像を生成し画面に表示する。本実施形態では、ＣＴ画
像データ及びＰＥＴ画像データを例に説明するが、これに限定されない。すなわち、使用される画像データは、ＣＴ画像データ、ＰＥＴ画像データに限らず、ＭＲＩ（Magnetic Resonance Imaging）、ＭＲＡ（Magnetic Resonance Angiography）等の医用画像処理装置より得られる画像データ及びそれらを組み合わせたり加工したりしたものである。
画像表示装置１は、計算機（コンピュータ、ワークステーション、パーソナルコンピュータ）３と、モニタ４と、キーボード５及びマウス６などの入力装置とを備えている。計算機３はデータベース２と接続されている。
図２は、画像表示装置１の概略構成を示す。計算機（コンピュータ）３にはＣＰＵ（中央処理装置）７、ハードディスク等からなるメモリ８が備えられており、メモリ８には、画像融合処理を実行するためのプログラム（アプリケーションソフト）９が記憶されている。メモリ８はデータベース２又はハードディスクから読み取ったＣＴ画像データから得られた第１ボクセルデータＶＤ１及び、ＰＥＴ画像データから得られた第２ボクセルデータＶＤ２を一時記憶するメモリ部８ａを備えている。また、メモリ部８ａは、投影開始点Ｏ１，Ｏ２、サンプリング間隔Ｓ１，Ｓ２、サンプリング位置としての現在位置Ｘ１n ，Ｘ２n 、終了位置を一時記憶するが、詳細は後述する。
メモリ８は、第１及び第２ボクセルデータＶＤ１，ＶＤ２に属するボクセル値からそれぞれ得られる情報であって、観察対象の形状、組織情報、表面の凹凸等を表す光パラメータＰを記憶する光パラメータ記憶部ＭＰを備えている。また、メモリ８は、第１及び第２ボクセルデータＶＤ１，ＶＤ２のいずれに属するボクセル値の光パラメータＰを用いるかを判断するための第１基準値を記憶する基準値記憶部ＳＶを備えている。そして、メモリ８は、第１及び第２ボクセルデータＶＤ１，ＶＤ２に属する各ボクセルのボクセル値の光パラメータＰを合成する比率である合成比率を記憶する合成比率記憶部ＣＶを備えている。さらに、メモリ８は、第１及び第２ボクセルデータＶＤ１，ＶＤ２にそれぞれ照射された仮想光線が第１及び第２ボクセルデータＶＤ１，ＶＤ２に属する各ボクセルにてそれぞれ反射する反射光を記憶する反射光記憶部ＲＶを備えている。
そして、ＣＰＵ７は、プログラム９を実行することにより、データベース２から取得したＣＴ画像データ、ＰＥＴ画像データから得られた第１及び第２ボクセルデータＶＤ１，ＶＤ２を用いて複数のモダリティで撮影して得られた画像を融合する画像融合処理を実行する。すなわち、本実施形態では、ＣＰＵ７（計算機３）が、画像融合処理（合成比率決定段階、算出段階、部分反射光算出段階、画素値算出段階、色合成比率決定段階、不透明度合成比率決定段階、第１算出段階、第２算出段階、陰影合成比率決定段階、第３算出段階、第１比較段階、第２比較段階等）の画像融合処理プログラムを実行する。これにより、計算機３は、合成比率決定手段、算出手段、部分反射光算出手段、画素値算出手段、色合成比率決定手段、不透明度合成比率決定手段、第１算出手段、第２算出手段、陰影合成比率決定手段、第３算出手段、第１比較手段、第２比較手段等として機能する。そして、モニタ４（画面４ａ）には、図１０に示すように、画像融合処理を実行した後の画像である融合画像Ｐ１が表示されるようになっている。
ここで、３次元以上の画像データとしての第１ボクセルデータＶＤ１、第２ボクセルデータＶＤ２とは、図３に示すように、ボクセル（Voxel ）の集合であり、３次元の格子点にボクセル値として濃度値が割り当てられている。本実施形態では、例えば、第１ボクセルデータＶＤ１と第２ボクセルデータＶＤ２とは、同じ患者の同じ部位（肺）を異なるモダリティで撮影したものであるため、第２ボクセルデータＶＤ２は、第１ボクセルデータＶＤ１と符号を同一にし、その詳細な説明を省略する。そして、本実施形態では、ＣＴ画像データの画素値、すなわちＣＴ値をそのまま第１ボクセルデータＶＤ１の濃度値としている。また、同様に、ＰＥＴ画像データの画素値、すなわちＰＥＴ値をそのまま第２ボク
セルデータＶＤ２の濃度値としている。
ＣＴ画像データは、患者等の人体を断層撮影したもので、１枚については骨、血管、臓器等の観察対象の２次元断層画像であるが、多数の隣接するスライス（断層）について得られていることから、これら全体では３次元の画像データと言える。従って、以下、ＣＴ画像データは、複数のスライスを含んだ３次元の画像データを意味する。
また、ＣＴ画像データは、被写体としての組織（骨、血管、臓器等）毎に異なるＣＴ値を持っている。ＣＴ値は、水を基準として表現した組織のＸ線減弱係数であり、ＣＴ値により組織や病変の種類等が判断できるようになっている。また、ＣＴ画像データには、ＣＴ撮影装置によりＣＴスキャンされた人体の断層画像（スライス画像）の座標データもすべてあり、視線方向（奥行き方向）における異なる組織間の位置関係は、座標データから判別できるようになっている。すなわち、第１ボクセルデータＶＤ１は、ＣＴ値（以下、ボクセル値としての第１ボクセル値Ｄ１n という。）及び座標データを備えている。
ＰＥＴ画像データは、ポジトロンを放出する放射性同位元素で標識された放射性薬剤を投与された患者の人体を断層撮影したもので、１枚については臓器等の２次元断層画像であるが、多数の隣接するスライス（断層）について得られていることから、これら全体では３次元の画像データと言える。従って、以下、ＰＥＴ画像データは、複数のスライスを含んだ３次元の画像データを意味する。
また、ＰＥＴ画像データは、臓器の機能情報（異常の有無）毎に異なるＰＥＴ値を持っている。ＰＥＴ値は放射性薬剤の集積度であって、ＰＥＴ値により臓器局所の血流、代謝等の生理的、生化学的機能等が判断できるようになっている。また、ＰＥＴ画像データには、ＰＥＴ撮影装置によりＰＥＴスキャンされた人体の断層画像（スライス画像）の座標データもすべてあり、視線方向（奥行き方向）における異なる組織間の位置関係は、座標データから判別できるようになっている。すなわち、第２ボクセルデータＶＤ２は、ＰＥＴ値（以下、ボクセル値としての第２ボクセル値Ｄ２n という。）及び座標データを備えている。
融合画像Ｐ１とは、第１ボクセルデータＶＤ１と第２ボクセルデータＶＤ２がそれぞれ持つ光パラメータＰを予め定めたサンプリング間隔毎に決定される合成比率で合成したときの反射光を２次元平面上に投影した画像であって、本実施形態では、ボリュームレンダリング処理により生成される。
まず、ボリュームレンダリング処理について説明する。ボリュームレンダリングには一般的にレイキャスティング法が用いられる。レイキャスティング法とは、図３に示すように、観察する側（フレームＦＲ側）から光の経路を考えるもので、フレームＦＲ側のピクセルＰＸから光線（仮想光線Ｒ）を飛ばし、一定距離を進むごとにその位置での反射光を計算する（図３では「…、Ｖ１、Ｖ２、Ｖ３、…」の符号が各到達位置のボクセルに対応している）。
視線方向からボクセルデータに１本の仮想光線Ｒを照射すると、仮想光線Ｒは第１ボクセルデータＶＤ１に当たって一部反射しながら第１ボクセルデータＶＤ１を構成するボクセルを順次透過して進むことになる。そして、ボクセル毎に光の吸収・反射の離散的な計算をし、その反射光を演算することでフレームＦＲに投影される画像のピクセル値（画素値）を求めて２次元画像を生成する。
図４は、レイキャスティング法の計算方法を説明するもので、単一画像のボリュームレンダリングに対応した処理である。図４において、投影位置Ｘｎ（仮想光線到達位置の現
在位置）が格子上になかったとすると、まず、その投影位置Ｘｎ（仮想光線到達位置の現在位置）の周りのボクセルのボクセル値から補間処理を行ってその位置でのボクセル値Ｄｎを計算する。次に、光に対する特性パラメータ（以下、光パラメータＰという）を決定する。
光パラメータＰとは、不透明度情報としての不透明度（オパシティ（opacity ）値）αn およびシェーディング係数βn 、色情報としての色γn であって、それぞれ独立した光学的特性を表す情報である。ここで、不透明度αn は、ボクセルデータの形状を表すパラメータであって、０≦αn ≦１を満たす数値で表され、値（１−αn ）は透明度（transparency）を示す。不透明度αn ＝１は不透明、αn ＝０は透明、０＜αn ＜１は半透明にそれぞれ対応する。なお、各ボクセル値に対して不透明度αn との関係付けが予めなされており、その関係付け情報に基づきボクセル値から不透明度αn を得ている。例えば、骨のボリュームレンダリング画像を得たい場合、骨に対応したボクセル値には不透明度「１」を関係付け、他のボクセル値には不透明度「０」を関係付けることで、骨を表示することができる。このようにある値に対応する別の値を柔軟に導く関数としてＬＵＴ(Look Up
Table)関数がある。シェーディング係数βn は、ボクセルデータの表面の凹凸（陰影）
を表すパラメータである。そして、色γn は、ボクセルデータの組織情報、すなわち、ボクセルデータが骨、血液、内臓、あるいは腫瘍であるかの情報を表している。
図５に示すように、初期入射光（光線）Ｉ１は、各ボクセルを順次透過してゆくとともに各ボクセルで一部反射および吸収されることによりその残存光（透過光）は徐々に減衰する。なお、図５は、レイキャスティング法の計算方法を説明するもので、図３における１本の仮想光線に対応した処理である。そして、各ボクセルにおける部分反射光Ｆn （ｎ＝１，２，…）の積算値（積算反射光）が、フレームＦＲ側におけるピクセルＰＸの輝度に相当する。ここで、減衰光Ａn （ｎ＝１，２，…）は、ｎ番目のボクセルの入射光Ｉn を用いて、式 Ａn ＝αn ×Ｉn で表されるため、部分反射光Ｆn は、式 Ｆn ＝βn ×γn ×Ａn ＝βn ×γn ×αn ×Ｉn で表される。
よって残存光Ｉn 、積算反射光である反射光Ｅn は、次式により表される。
Ｉn ＝Ｉn-1 −αn-1 ×Ｉn-1 ＝Ｉn-1 −Ａn-1
Ｅn ＝Ｅn-1 ＋αn ×βn ×γn ×Ｉn ＝Ｅn-1 ＋Ｆn
そして、図４に示すように、この反射光Ｅｎがサンプリング位置毎に加算され、ピクセル値として画像が生成される。
図６は、本実施形態における画像融合処理方法を説明するものである。なお、本実施形態では、第１ボクセルデータＶＤ１において投影を開始する投影開始点Ｏ１が、ユーザのマウス６等の入力装置を介した操作によって入力され、メモリ部８ａに予め記憶されているとする。また、第２ボクセルデータＶＤ２において投影開始点Ｏ１と同じ座標に相当する投影開始点Ｏ２が、ＣＰＵ７によって算出され、メモリ部８ａに予め記憶されているとする。同様に、第１ボクセルデータＶＤ１をサンプリングする間隔であるサンプリング間隔Ｓ１と第２ボクセルデータＶＤ２をサンプリングする間隔であるサンプリング間隔Ｓ２とがマウス６によって入力され、メモリ部８ａに予め記憶されているとする。また、投影位置（仮想光線到達位置の現在位置）Ｘ１n は、第１ボクセルデータＶＤ１において、投影開始点Ｏ１にサンプリング間隔Ｓ１を積算することによって算出され、メモリ部８ａに記憶される。同様に、投影位置（仮想光線到達位置の現在位置）Ｘ２n は、第２ボクセルデータＶＤ２において、投影開始点Ｏ２にサンプリング間隔Ｓ２を積算することによって算出され、メモリ部８ａに記憶される。
なお、本実施形態では、第１ボクセルデータＶＤ１、第２ボクセルデータＶＤ２がそれぞれ光パラメータＰを備えている。すなわち、第１ボクセルデータＶＤ１の光パラメータ
Ｐは、ＣＴ不透明度α１n 、ＣＴシェーディング係数β１n 、ＣＴ色γ１n を備えており、第２ボクセルデータＶＤ２の光パラメータＰは、ＰＥＴ不透明度α２n 、ＰＥＴシェーディング係数β２n 、ＰＥＴ色γ２n を備えている。さらに、メモリ部８ａには終了位置が予め記憶されている。そして、ＣＰＵ７は、第１ボクセルデータＶＤ１の光パラメータＰと第２ボクセルデータＶＤ２の光パラメータＰとをそれぞれ現在位置Ｘ１n ，Ｘ２n 毎に定めた合成比率ＣＲで投影開始点Ｏ１，Ｏ２から終了位置まで合成する。
詳述すると、合成比率ＣＲは、不透明度合成比率としての第１合成比率ａ、陰影合成比率としての第２合成比率ｂ、色合成比率としての第３合成比率ｃを備えている。第１合成比率ａは、ＣＴ不透明度α１n とＰＥＴ不透明度α２n とを合成する比率（合成比率）を表しており、第２合成比率ｂは、ＣＴシェーディング係数β１n とＰＥＴシェーディング係数β２n との合成比率を表している。また、第３合成比率ｃは、ＣＴ色γ１n とＰＥＴ色γ２n との合成比率を表している。そして、合成後の合成光パラメータ（合成不透明度情報としての合成不透明度α３n 、合成シェーディング係数β３n 、合成色情報としての合成色γ３n ）は、この合成比率ＣＲ（第１合成比率ａ、第２合成比率ｂ、第３合成比率ｃ）を用いて次式により表される。
α３n ＝ａα１n ＋（１−ａ）α２n
β３n ＝ｂβ１n ＋（１−ｂ）β２n
γ３n ＝ｃγ１n ＋（１−ｃ）γ２n
そして、本実施形態では、図６に示すように、第１合成比率ａ、第２合成比率ｂ、第３合成比率ｃのそれぞれをＰＥＴ画像データＤＴ２の投影位置Ｘ２n （仮想光線到達位置の現在位置）の第２ボクセル値Ｄ２n に応じて仮想光線到達位置の現在位置毎に決定する。詳述すると、第２ボクセル値Ｄ２n が第１基準値Ｔ１以下であったとき、第１合成比率ａ＝「１」、すなわち合成不透明度α３n はＣＴ画像データＤＴ１の投影位置（仮想光線到達位置の現在位置）Ｘ１n におけるＣＴ不透明度α１n とする。また、第３合成比率ｃ＝「１」、すなわち合成色γ３n はＣＴ画像データＤＴ１の現在位置Ｘ１n におけるＣＴ色γ１n とする。一方、第２ボクセル値Ｄ２n が第１基準値Ｔ１以上であったとき、第１合成比率ａは同様に「１」とし、第３合成比率ｃ＝「０」、すなわち合成色γ３n はＰＥＴ画像データＤＴ２の投影位置（仮想光線到達位置の現在位置）Ｘ２n におけるＰＥＴ色γ２n とする。なお、本実施形態では、第２ボクセル値Ｄ２n の値によらず、第２合成比率ｂ＝「１」、すなわち合成シェーディング係数β３n はＣＴ画像データＤＴ１の現在位置Ｘ１n におけるＣＴシェーディング係数β１n とする。これは、ＰＥＴ画像データＤＴ２は異常部分の有無を表現するのみであるが、ＣＴ画像データＤＴ１はボクセルデータの表面の凹凸の精細な表現が可能なためである。
従って、第２ボクセル値Ｄ２n （ＰＥＴ値）が正常な部分は第１ボクセル値Ｄ１n （ＣＴ値）に基づいて通常の画像を表示し、第２ボクセル値Ｄ２n が異常な部分は第２ボクセル値Ｄ２n に従属した合成色γ３n を表示することにより、異常部分のみを強調表示した融合画像データＤＴ３（融合画像Ｐ１）を得ることができる。
また、図２に示すように、計算機（コンピュータ）３は、ＧＰＵ（Graphics Processing Unit）１０を備えている。ＧＰＵ１０は、主に３次元の高度なグラフィックス機能をサポートしたグラフィックス用のコントローラ・チップであり、ユーザから与えられたプログラム等に基づいて２次元や３次元のグラフィックス描画を高速化する機能を持つ。本実施形態では、ＧＰＵ１０により融合画像データＤＴ３に対して後処理が実行され、融合画像Ｐ１が生成される。これにより、融合画像Ｐ１の表示に要する時間を短縮することができる。
後処理は、算出した融合画像データＤＴ３をモニタ４等の出力装置に表示するために色
、コントラスト及び明るさ等を補正する処理である。詳しくは、多くの医用画像装置の出力（ＣＴ画像、ＰＥＴ画像等）は１２ｂｉｔ階調データであるため、画像融合処理で生成された融合画像Ｐ１も１２ｂｉｔ階調データであるが、コンピュータ３等のモニタ４はＲＧＢ各色を８ｂｉｔで表現する画像を表示することが多い。そのため、ＷＬ変換（Window
Level Transformation ）やＬＵＴ変換（Color Look-Up Table Transformation）等を行い、色、コントラスト及び明るさ等をモニタ４に表示できるように変換する。また、画面の大きさ等に合わせてアフィン変換（Affine Transformation ）を行い、それぞれのモニタ４に表示できるように変換する。
次に、このように構成された画像融合処理の作用について説明する。
図７は、画像融合処理のフローチャートを示している。
まず、ＣＰＵ７は、融合画像データ生成処理を実行する（ステップＳ１−１０）。融合画像データ生成処理は図８に示す処理が実行される。まず、ＣＰＵ７は、第１ボクセルデータＶＤ１における投影開始点Ｏ１及びサンプリング間隔Ｓ１、第２ボクセルデータＶＤ２における投影開始点Ｏ２及びサンプリング間隔Ｓ２を設定する（ステップＳ２−１０）。このとき、ＣＰＵ７は、投影開始点Ｏ１，Ｏ２及びサンプリング間隔Ｓ１，Ｓ２をメモリ部８ａに記憶する。次に、ＣＰＵ７は、反射光Ｅn 、残存光Ｉn 、現在位置Ｘ１n ，Ｘ２n の初期化をする（ステップＳ２−１５）。すなわち、反射光Ｅn ＝０、残存光Ｉn ＝１、第１ボクセルデータＶＤ１における現在位置Ｘ１n ＝０、第２ボクセルデータＶＤ２における現在位置Ｘ２n ＝０とする。そして、ＣＰＵ７は、現在位置Ｘ１n における第１ボクセル値Ｄ１n 、勾配ｇ１n を算出する（ステップＳ２−２０）。本実施形態では、現在位置Ｘ１n が格子上になかったとすると、現在位置Ｘ１n の周りのボクセルのボクセル値から補間処理を行い、その位置での第１ボクセル値Ｄ１n を計算する。また、勾配ｇ１n を公知の方法で算出する。同様に、ＣＰＵ７は、現在位置Ｘ２n における第２ボクセル値Ｄ２n 、勾配ｇ２n を算出する（ステップＳ２−２５）。
次に、ＣＰＵ７は、第１ボクセル値Ｄ１n に対応するＣＴ不透明度α１n とＣＴ色γ１n 、勾配ｇ１n に対応するＣＴシェーディング係数β１n を算出する（ステップＳ２−３０）。すなわち、光パラメータ記憶部ＭＰにルックアップテーブル（Look Up Table ）として記憶されている現在位置Ｘ１n に対応するＣＴ不透明度α１n 、ＣＴ色γ１n を読み出す。また、勾配ｇ１n を用いて公知の方法でＣＴシェーディング係数β１n を算出する。同様に、ＣＰＵ７は、光パラメータ記憶部ＭＰにルックアップテーブル（Look Up Table ）として記憶されている第２ボクセル値Ｄ２n に対応するＰＥＴ不透明度α２n とＰＥＴ色γ２n を読み出し、また、勾配ｇ２n に対応するＰＥＴシェーディング係数β２n を算出する（ステップＳ２−３５）。
そして、ＣＰＵ７は、合成比率決定処理を実行する（ステップＳ２−４０）。合成比率決定処理は、図９に示すような、第１合成比率ａ、第２合成比率ｂ、第３合成比率ｃのそれぞれを現在位置毎に決定する処理が実行される。まず、ＣＰＵ７は、第１合成比率ａ＝「１」とする（ステップＳ３−１０）。これにより、合成不透明度α３n は、ＣＴ画像データＤＴ１のＣＴ不透明度α１n を用いる。そして、ＣＰＵ７は、第２合成比率ｂ＝「１」とする（ステップＳ３−１５）。これにより、合成シェーディング係数β３n は、ＣＴ画像データＤＴ１のＣＴシェーディング係数β１n を用いる。次に、ＣＰＵ７は、第２ボクセル値Ｄ２n が第１基準値Ｔ１より大きいか否かを判断する（ステップＳ３−２０）。ＣＰＵ７は、第１基準値Ｔ１を基準値記憶部ＳＶから読み出して、第２ボクセル値Ｄ２n と比較する。そして、第２ボクセル値Ｄ２n が第１基準値Ｔ１より大きいとき（ステップＳ３−２０でＹＥＳ）、第３合成比率ｃ＝「０」とする（ステップＳ３−２５）。すなわち、ＰＥＴ値が異常であるため、合成色γ３n は、ＰＥＴ画像データＤＴ２のＰＥＴ色γ２n を用いる。一方、第２ボクセル値Ｄ２n が第１基準値Ｔ１より小さいとき（ステップＳ３−２０でＮＯ）、第３合成比率ｃ＝「１」とする（ステップＳ３−３０）。すなわち
、ＰＥＴ値が正常であるため、合成色γ３n は、ＣＴ画像データＤＴ１のＣＴ色γ１n を用いる。そして、ＣＰＵ７は、それら合成比率ＣＲを合成比率記憶部ＣＶに記憶し、この合成比率決定処理を終了する。
合成比率決定処理が終了すると、それら第１合成比率ａ、第２合成比率ｂ、第３合成比率ｃに基づいて合成不透明度α３n 、合成シェーディング係数β３n 、合成色γ３n を算出する（図８のステップＳ２−４５）。すなわち、ＣＰＵ７は、合成比率ＣＲを合成比率記憶部ＣＶから、ＣＴ不透明度α１n 、ＣＴシェーディング係数β１n 、ＣＴ色γ１n （ＰＥＴ色γ２n ）を光パラメータ記憶部ＭＰからそれぞれ読み出し、合成不透明度α３n 、合成シェーディング係数β３n 、合成色γ３n を算出する。そして、ＣＰＵ７は、それら光パラメータＰを用いて残存光Ｉn 、反射光Ｅn を更新する（ステップＳ２−５０）。詳述すると、ＣＰＵ７は、まず、減衰光Ａn （＝α３n Ａn-1 ）、部分反射光Ｆn （＝β３γ３Ａn ）を算出する。そして、それら算出した減衰光Ａn 、部分反射光Ｆn を用いて残存光Ｉn 、反射光Ｅn を更新する。なお、このステップＳ２―１０〜Ｓ２−５０の処理を、以下、融合処理という。
次に、ＣＰＵ７は、現在位置Ｘ１n ，Ｘ２n をそれぞれ進行させる（ステップＳ２−５５）。すなわち、ＣＰＵ７は、サンプリング間隔Ｓ１，Ｓ２をそれぞれメモリ部８ａから読み出し、現在位置Ｘ１n をサンプリング間隔Ｓ１、現在位置Ｘ２n をサンプリング間隔Ｓ２、それぞれ進行させる。そして、ＣＰＵ７は、現在位置Ｘ１n または現在位置Ｘ２n が予め定めた終了位置であるか否かを判断する（ステップＳ２−６０）。すなわち、ＣＰＵ７は、終了位置をメモリ部８ａから読み出し、現在位置Ｘ１n ，Ｘ２n とそれぞれ比較する。そして、現在位置Ｘ１n または現在位置Ｘ２n が終了位置でないとき（ステップＳ２−６０でＮＯ）、ＣＰＵ７は、再び融合処理を実行する。一方、現在位置Ｘ１n または現在位置Ｘ２n が終了位置であるとき（ステップＳ２−６０でＹＥＳ）、ＣＰＵ７は、反射光Ｅn をピクセル値とし（ステップＳ２−６５）、フレームＦＲを構成する１ピクセルについての融合画像データ生成処理を終了する。
フレームＦＲ内の全てのピクセルについて融合画像データ生成処理を終了して融合画像データＤＴ３を得ると、ＧＰＵ１０は、その融合画像データＤＴ３について後処理を行い、融合画像Ｐ１を生成する（図７のステップＳ１−１５）。後処理が終了すると、図１０に示すように、融合画像Ｐ１をモニタ４の画面４ａに出力する（図７のステップＳ１−２０）。このとき、融合画像Ｐ１は、その光パラメータＰ（合成不透明度α３n 、合成シェーディング係数β３n 、合成色γ３n ）のそれぞれについて、それぞれの現在位置Ｘ１ｎ,Ｘ２ｎのＰＥＴ値が正常である正常部分ではＣＴ画像データＤＴ１のＣＴ不透明度α１n
とＣＴ色γ１n を用いる。そして、ＰＥＴ値が異常である異常部分Ｕ１ではＰＥＴ画像
データＤＴ２のＰＥＴ色γ２n を用いている。これにより、正常部分ではＣＴ画像データＤＴ１に基づいて通常の画像を表示しながらも、異常部分Ｕ１のみをＰＥＴ画像データＤＴ２に基づいて強調表示した融合画像Ｐ１を得ることができる。
すなわち、ＣＴ画像データＤＴ１に基づくことによって観察対象の形状を把握し、ＰＥＴ画像データＤＴ２に基づくことによって観察対象の状態を把握することができる。従って、観察対象の形状の観察を妨げることなく状態を把握しながらも、異常部分Ｕ１の位置を把握することができるため、一層正確に画像診断をすることができる。
上記第１実施形態によれば、以下のような効果を得ることができる。
（１） 第１実施形態によれば、第１合成比率ａ、第２合成比率ｂ、第３合成比率ｃはそれぞれサンプリング位置毎に計算される。この結果、それぞれの光パラメータＰ（合成不透明度α３n 、合成シェーディング係数β３n 、合成色γ３n ）をそれぞれ現在位置Ｘ１n ，Ｘ２n 毎に第２ボクセル値Ｄ２n に応じて決定した合成比率ＣＲで合成することに
よって、融合画像Ｐ１を生成することができる。従って、現在位置Ｘ１n ，Ｘ２n 毎にそれぞれ独立した光学的特性を表す情報である光パラメータＰを合成することができるので、情報量を縮退することなく、融合画像Ｐ１を生成することができる。
（２） 第１実施形態によれば、第１合成比率ａ、第２合成比率ｂ、第３合成比率ｃはそれぞれサンプリング位置毎に計算される。この結果、それぞれの臓器や臓器の状態に適した合成比率ＣＲが動的に計算され、異常部分Ｕ１の形状や正常部分の観察を妨げることがなく、異常部分Ｕ１を強調表示することができる。従って、一層正確に観察することができる。
（３） 第１実施形態によれば、ＣＴスキャンによって得られたＣＴ画像データＤＴ１に従属している光パラメータＰとＰＥＴスキャンによって得られたＰＥＴ画像データＤＴ２に従属している光パラメータＰをそれぞれ現在位置Ｘ１n ，Ｘ２n 毎に第２ボクセル値Ｄ２n に応じて決定した合成比率ＣＲで合成することによって、融合画像Ｐ１を生成した。この結果、現在位置Ｘ１n ，Ｘ２n 毎にそれぞれ独立した光学的特性を表す情報である光パラメータＰを合成することができるので、情報量を縮退することなく、それぞれの画像データの持つ特性を生かした融合画像Ｐ１を生成することができる。
（４） 第１実施形態によれば、合成比率ＣＲは、現在位置Ｘ１n ，Ｘ２n 毎に決定したので、現在位置Ｘ１n ，Ｘ２n 毎に第２ボクセル値Ｄ２n に応じてＣＴ画像データＤＴ１、ＰＥＴ画像データＤＴ２、それぞれの画像データの持つ特性を生かした画像を生成することができる。従って、一層正確に画像診断をすることができる。
（５） 第１実施形態によれば、ＣＴ画像データＤＴ１とＰＥＴ画像データＤＴ２とを融合した１つの画像である融合画像Ｐ１をモニタ４の画面４ａ上に表示する。従って、例えば、ＣＴ画像とＰＥＴ画像とを並べて観察するときと比較して、簡単でありながらも正確に観察することができる。
（６） 第１実施形態によれば、合成比率決定処理は複雑な計算を行わないため、リアルタイムに複数種類の画像データを融合して融合画像Ｐ１を生成し、モニタ４の画面４ａに表示することができる。
（７） 第１実施形態によれば、融合画像Ｐ１は、ＣＴ画像データＤＴ１とＰＥＴ画像データＤＴ２にそれぞれ従属している光パラメータＰを合成するので、例えば、ＣＴ画像データＤＴ１とＰＥＴ画像データＤＴ２とを２次元的に合成するときと比較して、視線方向を変えた観察が可能となる。従って、一層正確に観察することができる。
（８） 第１実施形態によれば、融合画像Ｐ１は、ＣＴ画像データＤＴ１とＰＥＴ画像データＤＴ２にそれぞれ従属している光パラメータＰを合成するので、観察者が前後関係を把握することができる。従って、一層、正確に観察することができる。
（９） 第１実施形態によれば、第２ボクセル値Ｄ２n が第１基準値Ｔ１より大きい、すなわち異常部分Ｕ１であるとき、合成色γ３n はＰＥＴ画像データＤＴ２に従属しているＰＥＴ色γ２n を用いたため、異常部分Ｕ１のみ強調表示することができる。
（１０） 第１実施形態によれば、光パラメータＰのうち、合成不透明度α３n 、合成シェーディング係数β３n はＣＴ画像データＤＴ１のＣＴ不透明度α１n 、ＣＴシェーディング係数β１n を用いたため、異常部分Ｕ１の形状や正常部分の観察を妨げることがなく、異常部分Ｕ１を強調表示することができる。従って、一層正確に観察することができる。
（第２実施形態）
次に、本発明を具体化した第２実施形態を図１０〜図１３に従って説明する。なお、第２実施形態は、合成比率決定処理において多段階で合成比率ＣＲを決定し、さらに、例えば骨に転移した腫瘍のように、組織内部に３次元的に含まれた異常部分を表示することに特徴がある。そのため、第１実施形態と同様の部分については同一の符号を付し、その詳細な説明を省略する。
本実施形態では、図１１に示すように、合成比率ＣＲをＣＴ画像データＤＴ１の勾配ｇ１n とＰＥＴ画像データＤＴ２の第２ボクセル値Ｄ２n とに応じて決定する。詳述すると、図１０に示すように、融合画像上に表示したいＰＥＴ値（第２ボクセル値Ｄ２n ）、すなわち異常部分Ｕ２が観察対象の組織内部にあったとしても、その組織のＣＴ値（第１ボクセル値Ｄ１n ）の高い部分や観察者の視線方向に対して影になる部分等は黒く表示されてしまうため、観察者がその異常部分Ｕ２を視認することができない。そこで、ＣＴ値が高く且つＰＥＴ値が高いとき、合成不透明度α３n 及び合成色γ３n をＰＥＴ値に応じた値にすることによって、ＰＥＴ画像データＤＴ２から得られる情報を優先的に表示する。
本実施形態では、例えば、骨への腫瘍（異常部分Ｕ２）の転移を強調表示したいとする。そして、ＣＴ画像データＤＴ１は骨を表示するデータであって、ＰＥＴ画像データＤＴ２は腫瘍を表示するデータであるとする。このとき、骨及び腫瘍の両方を表示可能な合成比率ＣＲを決定するため、第１中間変数ｄ、第２中間変数ｅ、第３中間変数ｆを算出してメモリ部８ａに記憶する。第１中間変数ｄは、骨の領域とその周辺を表示するための変数である。そして、ＣＴ値（第１ボクセル値Ｄ１n ）は、骨の領域では１０００以上の値を示すことから、第１中間変数ｄは次式により表される。
第１中間変数ｄ＝Ｄ１n ／１０００
このようにすることによって、骨の領域及びその周辺を多少含んだ領域を柔軟に表現することができる。なお、第１中間変数ｄの最大値を「１」、最小値を「０」とすることによって、範囲外の値によって不適切な結果が得られることを低減することができる。
第２中間変数ｅは、異常部分Ｕ２を表示するための変数であって、異常部分Ｕ２ではＰＥＴ値（第２ボクセル値Ｄ２n ）が１００以上の値であることから、次式により表される。
第２中間変数ｅ＝Ｄ２n ／１００
このようにすることによって、異常の度合いをより柔軟に表現することができる。なお、第２中間変数ｅの最大値を「１」、最小値を「０」とすることによって、範囲外の値によって不適切な結果が得られることを低減することができる。
第３中間変数ｆは、骨の領域と腫瘍の領域の両方の条件を兼ねる箇所を特にＰＥＴ画像データＤＴ２の情報（腫瘍の情報）を用いて表示するための変数であって、次式により表される。
第３中間変数ｆ＝１−ｄ×ｅ
次に、このように構成された合成比率決定処理の作用について説明する。
図１２は、ピクセル毎の合成比率決定処理のフローチャートを示している。
まず、ＣＰＵ７は、第１中間変数ｄを算出する（ステップＳ４−１０）。すなわち、第１ボクセル値Ｄ１n を用いて第１中間変数ｄを算出し、メモリ部８ａに記憶する。次に、ＣＰＵ７は、第２中間変数ｅを算出する（ステップＳ４−１５）。すなわち、第２ボクセ
ル値Ｄ２n を用いて第２中間変数ｅを算出し、メモリ部８ａに記憶する。次に、ＣＰＵ７は、第３中間変数ｆを算出する（ステップＳ４−２０）。すなわち、メモリ部８ａから、第１中間変数ｄ及び第２中間変数ｅを読み出して第３中間変数ｆを算出し、メモリ部８ａに記憶する。そして、ＣＰＵ７は、第１合成比率ａにその第３中間変数ｆを代入し、合成比率記憶部ＣＶに記憶する（ステップＳ４−２５）。また、ＣＰＵ７は、第２合成比率ｂに「１」を代入し、合成比率記憶部ＣＶに記憶する（ステップＳ４−３０）。さらに、ＣＰＵ７は、第３合成比率ｃにその第３中間変数ｆを代入し、合成比率記憶部ＣＶに記憶し（ステップＳ４−３５）、この合成比率決定処理を終了する。その後、ＣＰＵ７は、第１実施形態と同様に画像融合処理を実行し、図１３に示すように、骨（第１ボクセル値Ｄ１n ）に転移した腫瘍（第２ボクセル値Ｄ２n ）のような異常部分Ｕ２の観察が可能な融合画像Ｐ２を得る。
これにより、ＰＥＴ値（第２ボクセル値Ｄ２n ）が高く、融合画像Ｐ２上に表示したい異常部分Ｕ２がＣＴ値（第１ボクセル値Ｄ１n ）の高い部分の内部に３次元的に含まれているときであっても、融合画像Ｐ２上に表示することができる。また、第１中間変数ｄ、第２中間変数ｅ、第３中間変数ｆによって、現在位置Ｘ１ｎ，Ｘ２ｎ毎にそれぞれの合成比率ＣＲ（第１合成比率ａ、第２合成比率ｂ、第３合成比率ｃ）を多段階で設定することができるため、一層精細な融合画像Ｐ２を生成することができる。
上記第２実施形態によれば、第１実施形態に記載の（１）〜（８）の効果に加えて以下のような効果を得ることができる。
（１１） 第２実施形態によれば、融合画像Ｐ２上に黒く表示され得る箇所が、ＣＴ値（第１ボクセル値Ｄ１n ）によるものか、第１ボクセル値Ｄ１n の勾配ｇ１n （影）によるものかを判断し、ＣＴ値によるものであったとき、ＣＴ値よりもＰＥＴ値（第２ボクセル値Ｄ２n ）を優先して表示した。これにより、例えば、骨に転移した腫瘍等の組織内部の異常部分Ｕ２も観察することができる。
（１２） 第２実施形態によれば、第１中間変数ｄ、第２中間変数ｅ、第３中間変数ｆによって多段階で合成比率ＣＲを設定し、その合成比率ＣＲを用いて融合画像Ｐ２を生成したので、一層、ＣＴ画像データＤＴ１とＰＥＴ画像データＤＴ２の特性を生かした融合画像Ｐ２を生成することができる。
（１３） 第２実施形態によれば、第１中間変数ｄは第１ボクセル値Ｄ１n と所定のＣＴ値（「１０００」）によって算出し、第２中間変数ｅは第２ボクセル値Ｄ２n と所定のＰＥＴ値（「１００」）によって算出した。この結果、所定のＣＴ値、所定のＰＥＴ値を変更することによって、合成比率ＣＲの算出基準を変更することができるので、多様な観察対象に対応した融合画像Ｐ１を生成することができる。
（１４） 第２実施形態によれば、融合画像Ｐ２上に黒く表示され得る原因が、ＣＴ値（第１ボクセル値Ｄ１n ）によるものか、勾配ｇ１n （影）によるものかを切り分けた。この結果、観察者の視線の変化に応じて表示される影の部分を生かしながらも、例えば、ＣＴ値（第１ボクセル値Ｄ１n ）の高い部分の内部に３次元的に含まれたＰＥＴ値（第２ボクセル値Ｄ２n ）を表示することができる。
（第３実施形態）
次に、本発明を具体化した第３実施形態を図１４〜図１７に従って説明する。なお、第３実施形態は、マスク領域を生成し、観察対象のうちそのマスク領域のみ融合画像Ｐ３として表示することに特徴がある。そのため、第１及び第２実施形態と同様の部分については同一の符号を付し、その詳細な説明を省略する。
本実施形態では、図１４及び図１５に示すように、第２ボクセル値Ｄ２n に応じたマスク領域Ｍ１を生成する。すなわち、第２ボクセル値Ｄ２n （ＰＥＴ値）が第２基準値Ｔ２を超えた箇所は異常部分であり、マスク領域Ｍ１内であるとする。一方、第２ボクセル値Ｄ２n （ＰＥＴ値）が第２基準値Ｔ２以下の箇所は正常部分であり、マスク領域Ｍ１外であるとする。そして、このマスク領域Ｍ１内のみ、第１合成比率ａ、第２合成比率ｂ、第３合成比率ｃのそれぞれを現在位置毎に決定する合成比率決定処理を行い、融合画像Ｐ３を生成する。なお、本実施形態では、第２基準値Ｔ２は、基準値記憶部ＳＶに予め記憶されている。また、ＣＰＵ７（計算機３）が、さらに、画像融合処理（マスク領域生成段階等）の画像融合処理プログラムを実行する。これにより、計算機３は、さらにマスク領域生成手段等として機能する。
次に、このように構成された融合画像データ生成処理の作用について説明する。
図１６は、ピクセル毎の融合画像データ生成処理のフローチャートを示している。
まず、ＣＰＵ７は、投影開始点Ｏ１及びサンプリング間隔Ｓ１、投影開始点Ｏ２及びサンプリング間隔Ｓ２を設定し（ステップＳ２−１０）、反射光Ｅn 、残存光Ｉn 、現在位置Ｘ１n ，Ｘ２n の初期化をする（ステップＳ２−１５）。次に、マスク生成処理を実行する（ステップＳ５−１０）。マスク生成処理は、図１７に示すような処理が実行される。まず、ＣＰＵ７は、現在位置Ｘ２n における第２ボクセル値Ｄ２n を算出し（ステップＳ６−１０）、その第２ボクセル値Ｄ２n が第２基準値Ｔ２を超えているか否かを判断する（ステップＳ６−１５）。すなわち、ＣＰＵ７は、基準値記憶部ＳＶから第２基準値Ｔ２を読み出し、第２ボクセル値Ｄ２n とその読み出した第２基準値Ｔ２とを比較する。そして、第２ボクセル値Ｄ２n が第２基準値Ｔ２を超えているとき（ステップＳ６−１５でＹＥＳ）、ＣＰＵ７は、現在位置Ｘ２n はマスク領域Ｍ１内であると判断し（ステップＳ６―２０）、融合処理を実行する。一方、第２ボクセル値Ｄ２n が第２基準値Ｔ２以下であるとき（ステップＳ６−１５でＮＯ）、ＣＰＵ７は、現在位置Ｘ２n はマスク領域Ｍ１外であると判断し（ステップＳ６―２５）、融合処理を実行しない。
そして、いずれの場合も、ＣＰＵ７は現在位置Ｘ１n ，Ｘ２n を進行し（図１６のステップＳ２−５５）、現在位置Ｘ１n または現在位置Ｘ２n が予め定めた終了位置であるか否かを判断する（ステップＳ２−６０）。そして、現在位置Ｘ１n または現在位置Ｘ２n が終了位置でないとき（ステップＳ２−６０でＮＯ）、ＣＰＵ７は、再度マスク生成処理及び融合処理を実行する。一方、現在位置Ｘ１n または現在位置Ｘ２n が終了位置であるとき（ステップＳ２−６０でＹＥＳ）、反射光Ｅn をピクセル値として（ステップＳ２−６５）、フレームＦＲを構成する１ピクセルについての融合画像データ生成処理を終了する。
その後、ＣＰＵ７は、第１及び第２実施形態と同様に画像融合処理を実行し、図１５に示すように、腫瘍が疑われる箇所である、ＰＥＴ値（第２ボクセル値Ｄ２n ）の高い箇所のみを表示した融合画像Ｐ３を得る。これにより、観察したい箇所のみ表示した融合画像Ｐ３を観察することができる。
上記第３実施形態によれば、第１実施形態に記載の（１）〜（８）の効果に加えて以下のような効果を得ることができる。
（１５） 第３実施形態によれば、第２ボクセル値Ｄ２n に応じてマスク領域Ｍ１を動的に生成したので、異常部分とその周辺のみを融合画像Ｐ３上に表示することができる。この結果、観察したい箇所のみ表示するため、容易でありながらも正確に観察対象を観察することができる。
（１６） 第３実施形態によれば、第２ボクセル値Ｄ２n に応じてマスク領域Ｍ１を動的に生成したので、異常部分とその周辺のみを融合画像Ｐ３上に表示することができるこ
とから、融合画像Ｐ３の表示に要する時間を低減することができる。従って、一層、リアルタイムに融合画像Ｐ３を観察することができる。
（１７） 第３実施形態によれば、融合処理前にマスク生成処理を実行したので、マスク領域Ｍ１外の部分について融合処理を行う必要がないことから、融合処理に要する時間を低減することができる。従って、一層、リアルタイムに融合画像Ｐ３を観察することができる。
（第４実施形態）
前記第１実施形態では、１台のワークステーションなどの計算機（コンピュータ）３が単独で画像融合処理を行ったが、本実施形態では、画像融合処理を構成する各処理のうち少なくとも１つの手段を複数のコンピュータが分散処理で行う。以下の実施形態において、前記第１〜第３実施形態と同様の部分については、同一の符号を付し、その詳細な説明は省略する。
例えば、複数台のワークステーションが接続された病院内ネットワークにおいて、少なくとも１つの処理を複数台のワークステーションが分散処理で行う構成を採用できる。以下、画像融合処理を分散処理で行う場合の例として、仮想光線Ｒの本数を分割する場合と、後処理だけ分割する場合の２つを示す。なお、説明の便宜上、図１８及び図１９に示すように、２台のワークステーションＷＳ１，ＷＳ２を用いて、サイズ５１２×５１２の画像をつくる場合を例とするが、これを複数台のワークステーションで分散処理を行ってもよい。また、本実施形態では、ワークステーションＷＳ２にのみＧＰＵ１０を搭載しているとする。
（例１）図１８に示すように、例１は、仮想光線Ｒを仮想光線ＲＡ（仮想光線Ｒ１〜仮想光線Ｒｋ）と仮想光線ＲＢ（仮想光線Ｒｋ＋１〜仮想光線Ｒｎ）とに分割する場合である。仮想光線ＲＡが通過するボクセルＶ１〜Ｖｋと、仮想光線ＲＢが通過するＶｋ＋１〜Ｖｎとに分割する。また、仮想光線ＲＡと仮想光線ＲＢの分割は、第１ボクセルデータＶＤ１（第２ボクセルデータＶＤ２）の一部データが重複するように分割し、冗長性を持たせている。これは、仮想光線ＲＡ，ＲＢが格子点上に到達しなかった場合に、第１ボクセル値Ｄ１n （第２ボクセル値Ｄ２n ）を求める際の補間計算等に周囲のボクセルが必要になるからである。この場合、それぞれのワークステーションＷＳ１，ＷＳ２で画像融合処理を行う。このようにすれば、ワークステーション毎の合成比率記憶部ＣＶ、光パラメータ記憶部ＭＰ及び反射光記憶部ＲＶのメモリ量、転送量が全体の融合画像サイズの半分で済む。処理の手順は以下のようになる。
（１−１）ワークステーションＷＳ１は、仮想光線ＲＡ上の第１ボクセルデータＶＤ１（第２ボクセルデータＶＤ２）（ボクセルＶ１〜Ｖｋ）について、融合処理を行う。そして、反射光ＥＡn を算出し、その反射光ＥＡn を反射光記憶部ＲＶＡに記憶させる。一方、ワークステーションＷＳ２は、仮想光線ＲＢ上の第１ボクセルデータＶＤ１（第２ボクセルデータＶＤ２）（ボクセルＶｋ＋１〜Ｖｎ）について、融合処理を行う。そして、反射光ＥＢn を算出し、その反射光ＥＢn を反射光記憶部ＲＶＢに記憶させる。
（１−２）ワークステーションＷＳ２の反射光記憶部ＲＶＢに記憶した反射光ＥＢn をワークステーションＷＳ１に転送する。このときの転送サイズは５１２×２５６で済む。
（１−３）ワークステーションＷＳ１は、反射光記憶部ＲＶＡの反射光ＥＡn と、反射光記憶部ＲＶＢの反射光ＥＢn とを合成した反射光Ｅn を記憶した反射光記憶部ＲＶに対して後処理を行い、ＣＴ画像データＤＴ１とＰＥＴ画像データＤＴ２とが融合された融合画像Ｐ１（Ｐ２，Ｐ３）を得る。
（例２）図１９に示すように、例２は、後処理だけ分割する場合である。この場合、ワークステーションＷＳ１で第１ボクセルデータＶＤ１、第２ボクセルデータＶＤ２全体に
対して融合画像データ生成処理を行う。そして、高速画像処理に適しているＧＰＵ１０を搭載したワークステーションＷＳ２で後処理を行うようにすれば、後処理に要する時間を短縮できる。処理の手順は以下のようになる。
（２−１）ワークステーションＷＳ１は、第１ボクセルデータＶＤ１及び第２ボクセルデータＶＤ２について、融合画像データ生成処理を行い、その算出した融合画像データＤＴ３をメモリ部８ａに記憶する。
（２−２）ワークステーションＷＳ１のメモリ部８ａに記憶した融合画像データＤＴ３をワークステーションＷＳ２に転送する。このときの転送サイズは５１２×５１２である。（２−３）ワークステーションＷＳ２は、融合画像データＤＴ３に対して後処理を行い、ＣＴ画像データＤＴ１とＰＥＴ画像データＤＴ２とが融合された融合画像Ｐ１（Ｐ２，Ｐ３）を得る。
上記第４実施形態によれば、第１〜第３実施形態の（１）〜（１７）の効果に加えて、以下のような効果を得ることができる。
（１８）第４実施形態によれば、複数の計算機（コンピュータ）３による分散処理を採用するため画像融合処理の速度向上を図ることができるので、例えば、モニタ４の画面４ａに表示される融合画像Ｐ１（Ｐ２，Ｐ３）のリアルタイム性を確保し易くなる。
（１９）第４実施形態によれば、複数の計算機（コンピュータ）３による分散処理を採用するため、反射光記憶部ＲＶのために使用する一台あたりのメモリ量を低減することができる。
なお、上記各実施形態は以下のように変更してもよい。
○上記第１実施形態では、合成比率決定処理において、第２ボクセル値Ｄ２n が予め定めた第１基準値Ｔ１より大きいとき、合成色γ３n はＰＥＴ画像データＤＴ２に従属しているＰＥＴ色γ２n を用いたが、第１基準値Ｔ１を可変にしてもよい。すなわち、キーボード５等の入力装置を用いてその都度入力してもよいし、観察対象の種類に応じた第１基準値Ｔ１を複数種類予め記憶しておき、観察者がその複数種類の第２基準値Ｔ２からマウス６等の入力装置を用いて選択してもよい。これにより、一層動的に合成比率を決定することができる。
○上記第１実施形態では、まず、現在位置Ｘ１n における第１ボクセル値Ｄ１n 、勾配ｇ１n を算出し（図８のステップＳ２−２０）、現在位置Ｘ２n における第２ボクセル値Ｄ２n 、勾配ｇ２n を算出した（ステップＳ２−２５）。その後、ＣＴ不透明度α１n 、ＣＴシェーディング係数β１n 、ＣＴ色γ１n を算出し（ステップＳ２−３０）、ＰＥＴ不透明度α２n 、ＰＥＴシェーディング係数β２n 、ＰＥＴ色γ２n を算出した（ステップＳ２−３５）。これを、まず、現在位置Ｘ１n における第１ボクセル値Ｄ１n 、勾配ｇ１n を算出し（ステップＳ２−２０）、ＣＴ不透明度α１n 、ＣＴシェーディング係数β１n 、ＣＴ色γ１n を算出する（ステップＳ２−３０）。その後、現在位置Ｘ２n における第２ボクセル値Ｄ２n 、勾配ｇ２n を算出し（ステップＳ２−２５）、ＰＥＴ不透明度α２n 、ＰＥＴシェーディング係数β２n 、ＰＥＴ色γ２n を算出（ステップＳ２−３５）してもよい。
○上記第１実施形態では、ＰＥＴ画像データＤＴ２に従属した光パラメータＰを用いることによって、異常部分Ｕ１を強調表示した。これを、例えば、異常部分Ｕ１を強調していない融合画像Ｐ１を生成し、異常部分Ｕ１を表示した融合画像Ｐ１と交互に表示することによってその異常部分Ｕ１を点滅させるアニメーションを作成し、一層、異常部分Ｕ１を強調表示してもよい。これにより、観察者が異常部分Ｕ１を直感的に把握することができる。
○上記第２実施形態では、第１ボクセル値Ｄ１n 及び第２ボクセル値Ｄ２n に応じて、多段階で第１合成比率ａ及び第３合成比率ｃを決定し、第２合成比率ｂはＣＴシェーディング係数β１n を用いた。これを、まず、勾配ｇ１n が所定の基準値以上の値であって、画面上に黒く表示されるか否かを判断してもよい。すなわち、勾配ｇ１n が所定の基準値以上の値であるとき、その現在位置Ｘ１n ，Ｘ２n は観察時に影になる部分であって、ＣＴ値及びＰＥＴ値に関わらず画面上に黒く表示されるので、第１合成比率ａ及び第３合成比率ｃを算出せず、初期値のままとしてもよい。これにより、合成比率決定処理の計算量を低減することができるため、一層、リアルタイムに融合画像Ｐ２を表示することができる。
○上記第２実施形態では、第１中間変数ｄ、第２中間変数ｅは予め定めた定数を用いて算出したが、変数にしてもよい。すなわち、キーボード５等の入力装置を用いてその都度入力してもよいし、観察対象の種類に応じた変数を複数種類、予め記憶しておき、その複数種類の変数からマウス６等の入力装置を用いて選択してもよい。また、ＣＰＵ７が計算によって求めてもよく、例えば、ボリュームデータのボクセル値の平均値や分散値、あるいは領域抽出処理の結果などを利用して計算することができる。これにより、一層動的に合成比率を決定することができる。
○上記第３実施形態では、マスク生成処理は、第２ボクセル値Ｄ２n が予め定めた第２基準値Ｔ２を超えたか否かによってマスク領域Ｍ１を設定したが、第２基準値Ｔ２を可変にしてもよい。すなわち、キーボード５等の入力装置を用いてその都度入力してもよいし、観察対象の種類に応じた第２基準値Ｔ２を複数種類、予め記憶しておき、その複数種類の第２基準値Ｔ２からマウス６等の入力装置を用いて選択してもよい。
○上記第３実施形態では、マスク生成処理後に融合処理を実行したが、融合処理後にマスク生成処理を実行してもよい。これにより、例えば、一度融合画像Ｐ３を観察後に所望の領域をマスク領域Ｍ１として設定したり、マスク領域Ｍ１を変更したりすることができる。
○上記第３実施形態では、マスク生成処理において、第２ボクセル値Ｄ２n が予め定めた第２基準値Ｔ２を超えたか否かによってマスク領域Ｍ１を設定したが、これを第１ボクセル値Ｄ１n 及び第２ボクセル値Ｄ２n がそれぞれ予め定めた基準値を超えたか否かによってマスク領域Ｍ１を設定してもよい。
詳述すると、マスク生成処理において、図２０に示すように、ＣＰＵ７は、現在位置Ｘ１n から半径１ｃｍ以内のボクセル値の最小値Ｄ１nminを算出し、メモリ部８ａに記憶する（ステップＳ７−１０）。次に、ＣＰＵ７は、現在位置Ｘ２n における第２ボクセル値Ｄ２n を算出し、メモリ部８ａに記憶する（ステップＳ７−１５）。そして、ＣＰＵ７は、最小値Ｄ１nminと第２ボクセル値Ｄ２n をそれぞれメモリ部８ａから読み出し、最小値Ｄ１nminが「０」より小さいか、または第２ボクセル値Ｄ２n が「１００」より大きいか否かを判断する（ステップＳ７−２０）。いずれかの条件を満たすとき（ステップＳ７−２０でＹＥＳ）、ＣＰＵ７は、現在位置Ｘ１n ，Ｘ２n はマスク領域Ｍ１内であると設定する（ステップＳ７−２５）。一方、いずれの条件も満たさないとき（ステップＳ７−２０でＮＯ）、ＣＰＵ７は、現在位置Ｘ１n ，Ｘ２n はマスク領域Ｍ１外であると設定する（ステップＳ７−３０）。
これにより、例えば、肺に発生した腫瘍の観察等のように、肺には空気が多く含まれるが、実際に病変が発生するのは肺の実質的な組織であるとき、肺の組織及び腫瘍の両方を観察することができる。
○上記第４実施形態では、ネットワークを介して接続されたワークステーションＷＳ１，ＷＳ２によってネットワーク分散処理を行った。これを、１台のコンピュータに多数のプロセッサを搭載して分散処理を行ってもよい。
○上記第４実施形態では、画像融合処理を分散処理で行う場合の例として、仮想光線Ｒの本数を分割する場合と、後処理だけ分割する場合の２つを示した。これを、融合画像Ｐ１（Ｐ２，Ｐ３）をライン（モニタ４の走査線）毎にレンダリングするときのそのライン毎に画像融合処理を分割するようにしてもよい。
○上記各実施形態では、部分反射光Ｆｎは、合成不透明度α３ｎ、合成色γ３ｎ及び合成シェーディング係数β３ｎ（または所定のシェーディング係数）を用いて算出した。これを、合成シェーディング係数β３ｎ（または所定のシェーディング係数）を用いずに、合成不透明度α３ｎ及び合成色γ３ｎのみを用いて部分反射光Ｆｎを算出してもよい。
○上記各実施形態では、合成比率ＣＲ（第１合成比率ａ、第２合成比率ｂ、第３合成比率ｃ）は、サンプリング位置（現在位置Ｘ１n ，Ｘ２n ）毎に決定した。これを、所定の数のサンプリング位置毎や、ボクセル値等に重要な変化があった場合のみ合成比率ＣＲを決定してもよい。これにより、融合処理に要する計算量を低減し、ひいては融合画像Ｐ１（Ｐ２，Ｐ３）を表示するのに要する時間を短縮することができるため、融合画像Ｐ１（Ｐ２，Ｐ３）の表示のリアルタイム性を確保し易くなる。
○上記各実施形態では、現在位置Ｘ１n または現在位置Ｘ２n が終了位置に到達したとき融合処理を終了したが、現在位置Ｘ１n または現在位置Ｘ２n が終了位置に到達していないときであっても、減衰光Ａn が「０」になったとき融合処理を終了してもよい。これにより、減衰光Ａn が「０」であって反射光Ｅn が自明であるにも関わらず、終了位置に到達するまでサンプリングすることがないため、融合処理に要する計算量を低減し、ひいては融合画像Ｐ１（Ｐ２，Ｐ３）を表示するのに要する時間を短縮することができる。
○上記各実施形態では、ボクセル値から光パラメータを導出し光パラメータを用いて画像処理を行ったが、光パラメータはボクセル値から一意的に導ける値であれば何でもよく、物理的な光学特性とは何ら関係がない。例えば、ボクセル値が５００〜１０００の値の範囲内の時には光パラメータを１、範囲外の時には光パラメータは０と言った抽象的な値であってもよい。更に、光パラメータはボクセル値そのものであってもよい。
○上記各実施形態では、ＣＴ画像データＤＴ１とＰＥＴ画像データＤＴ２に対して画像融合処理を行って融合画像を生成した。これをＣＴ画像データＤＴ１、ＰＥＴ画像データＤＴ２以外のＭＲＩ画像データ、ＭＲＡ画像データ等を用いて画像融合処理を行ってもよい。また、画像融合処理を行う画像データは２種類に限らず、３種類以上のモダリティによって撮影された画像データに対して画像融合処理を行って、融合画像を生成してもよい。
○上記各実施形態では、ＣＴ画像データＤＴ１とＰＥＴ画像データＤＴ２に対して画像融合処理を行って融合画像Ｐ１（Ｐ２，Ｐ３）を生成した。これをどちらの画像データも同じ種類のモダリティで撮影した画像であってもよい。例えば、撮影時刻が異なったり、撮影条件が異なったり、造影条件が異なる画像データを融合することにより、診断に有益な情報を得ることができる。また、同一の画像データを２つ以上に複製し、それぞれに異なるフィルターを加えた生成した画像データを融合させてもよい。
○上記各実施形態では、レイキャスト法によってボリュームレンダリングを行った。これを最大値投影法(Maximum Intensity Projection)、最小値投影法(Minimum Intensity P
rojection)、平均値法、合計値法(Raysum)等の他のボリュームレンダリング方法を用いてボリュームレンダリングを行ってもよい。
○上記各実施形態では、３次元画像データに対して画像融合処理を行ったが、これを４次元以上の画像データに対して行ってもよい。
○上記各実施形態では、骨や臓器等の人体の部分について撮影されたＣＴ画像、ＰＥＴ画像に対して画像融合処理を行ったが、ＣＴ撮影等が可能であれば、特に人体や動物、植物等の生物の組織に限らず、地質調査、鉱物探査、機械や装置類の構造材、電気回路のパターンを見る画像処理、ＬＳＩの故障診断等にも適用することができる。
○上記各実施形態では、骨や臓器等の人体の部分について撮影されたＣＴ画像、ＰＥＴ画像に対して画像融合処理を行ったが、これを、計算機支援エンジニアリングシステムや科学技術計算の結果に適用してもよい。
第１実施形態の画像表示装置の概略構成図。 同じく、画像表示装置の概略構成を示すブロック図。 同じく、ボリュームレンダリングを説明する説明図。 同じく、ボリュームレンダリングを説明する説明図。 同じく、ボリュームレンダリングを説明するブロック図。 同じく、画像融合処理を説明するブロック図。 同じく、画像融合処理を説明するフローチャート。 同じく、融合画像データ生成処理を説明するフローチャート。 同じく、合成比率決定処理を説明するフローチャート。 同じく、融合画像について説明する模式図。 第２実施形態の画像融合処理を説明するブロック図。 同じく、合成比率決定処理を説明するフローチャート。 同じく、融合画像について説明する模式図。 第３実施形態の画像融合処理を説明するブロック図。 同じく、融合画像について説明する模式図。 同じく、融合画像データ生成処理を説明するフローチャート。 同じく、マスク生成処理を説明するフローチャート。 第４実施形態の画像融合処理の分散処理を示すブロック図。 同じく、画像融合処理の分散処理を示すブロック図。 別例のマスク生成処理を説明するフローチャート。 従来の画像融合処理を説明するブロック図。 同じく、画像融合処理を説明するブロック図。
符号の説明
α１n …ＣＴ不透明度、α２n …ＰＥＴ不透明度、α３n …合成不透明度、αn …不透明度、β１n …ＣＴシェーディング係数、β２n …ＰＥＴシェーディング係数、β３n …合成シェーディング係数、βn …シェーディング係数、γ１n …ＣＴ色、γ２n …ＰＥＴ色、γ３n …合成色、γn …色、ａ…第１合成比率、ｂ…第２合成比率、ｃ…第３合成比率、ｇ１n ，ｇ２n …勾配、Ａn …減衰光、ＣＲ…合成比率、ＣＶ…合成比率記憶部、Ｄ１n …第１ボクセル値、Ｄ２n …第２ボクセル値、Ｅn ，ＥＡn ，ＥＢn …反射光、Ｆn …部分反射光、Ｍ１…マスク領域、ＭＰ…光パラメータ記憶部、Ｐ…光パラメータ、Ｐ１，Ｐ２，Ｐ３…融合画像、ＰＸ…ピクセル、Ｒ，ＲＡ，ＲＢ…仮想光線、ＲＶ…反射光記憶部、ＳＶ…基準値記憶部、Ｔ１…第１基準値、Ｔ２…第２基準値、Ｕ１，Ｕ２…異常部分、Ｖ１〜Ｖｎ…ボクセル、ＶＤ１…第１ボクセルデータ、ＶＤ２…第２ボクセルデータ、ＷＳ１，ＷＳ２…ワークステーション、１…画像表示装置、３…計算機（コンピュータ
）、４…出力部としてのモニタ、７…ＣＰＵ、１０…ＧＰＵ。

Claims (21)

  1. １つのコンピュータが単独処理でまたは複数のコンピュータが単独処理と分散処理とのうち少なくとも１つの処理で、同一の観察対象から得た複数の３次元以上の画像データの位置関係を互いに対応させ、前記複数の３次元以上の画像データにそれぞれ対応する複数の仮想光線を投射し、同複数の３次元以上の画像データを２次元画面上に融合した融合画像を得る画像融合処理方法において、
    前記複数の仮想光線上のそれぞれ対応するサンプリング位置のボクセル値にそれぞれ対応付けられた複数の光パラメータを前記融合画像を生成するために合成する比率を合成比率として前記仮想光線上で少なくとも二度決定する合成比率決定段階と、
    前記合成比率に基づいて合成光パラメータを算出する算出段階と、
    前記合成光パラメータを基に前記仮想光線に対する部分反射光を前記サンプリング位置毎に算出する部分反射光算出段階と、
    前記部分反射光を積算して前記融合画像の画素値を算出する画素値算出段階と
    を備えたことを特徴とする画像融合処理方法。
  2. 請求項１に記載の画像融合処理方法において、
    前記光パラメータは色情報および不透明度情報であって、
    前記合成比率決定段階は、
    前記ボクセル値に対応付けられた色情報を合成する色合成比率を前記仮想光線上で少なくとも二度決定する色合成比率決定段階と、
    前記ボクセル値に対応付けられた不透明度情報を合成する不透明度合成比率を前記仮想光線上で少なくとも二度決定する不透明度合成比率決定段階と
    を備え、
    前記算出段階は、
    前記色合成比率に基づいて合成色情報を算出する第１算出段階と、
    前記不透明度合成比率に基づいて合成不透明度情報を算出する第２算出段階と
    を備えたことを特徴とする画像融合処理方法。
  3. 請求項２に記載の画像融合処理方法において、
    前記合成比率決定段階は、前記複数の仮想光線上のそれぞれ対応するサンプリング位置のボクセル値に対応付けられたシェーディング係数を合成する陰影合成比率を前記仮想光線上で少なくとも二度決定する陰影合成比率決定段階をさらに備え、
    前記算出段階は、
    前記陰影合成比率に基づいて合成シェーディング係数を算出する第３算出段階をさらに備え、
    前記部分反射光算出段階は、前記合成色情報及び前記合成不透明度情報及び前記合成シェーディング係数を基に前記仮想光線に対する部分反射光を前記サンプリング位置毎に算出することを特徴とする画像融合処理方法。
  4. 請求項１乃至３のいずれか１項に記載の画像融合処理方法において、
    前記合成比率決定段階は、
    前記複数の３次元以上の画像データのうち少なくとも１つの３次元以上の画像データに投射した仮想光線上のサンプリング位置のボクセル値と第１基準値とを比較する第１比較段階をさらに備え、
    前記第１比較段階での比較結果に応じて前記合成比率を決定することを特徴とする画像融合処理方法。
  5. 請求項１乃至３のいずれか１項に記載の画像融合処理方法において、
    前記合成比率決定段階は、
    前記合成比率を多段階で決定することを特徴とする画像融合処理方法。
  6. 請求項１乃至５のいずれか１項に記載の画像融合処理方法において、
    前記合成比率決定段階は、前記合成比率を前記ボクセル値の勾配に応じて設定することを特徴とする画像融合処理方法。
  7. 請求項１乃至６のいずれか１項に記載の画像融合処理方法において、
    前記ボクセル値のうちの１つと第２基準値とを比較する第２比較段階と、
    前記第２比較段階での比較結果に応じてマスク領域を生成するマスク領域生成段階と
    をさらに備えたことを特徴とする画像融合処理方法。
  8. 請求項１または２に記載の画像融合処理方法において、
    同一の複数の３次元以上の画像データのサンプリング位置のボクセル値の前記光パラメータをそれぞれ異なる合成比率で生成した複数の融合画像を用いてアニメーションを作成することを特徴とする画像融合処理方法。
  9. １つのコンピュータが単独処理でまたは複数のコンピュータが単独処理と分散処理とのうち少なくとも１つの処理で、同一の観察対象から得た複数の３次元以上の画像データの位置関係を互いに対応させ、前記複数の３次元以上の画像データにそれぞれ対応する複数の仮想光線を投射し、同複数の３次元以上の画像データを２次元画面上に融合した融合画像を得る画像融合処理プログラムにおいて、
    前記１つのコンピュータまたは複数のコンピュータを、
    前記複数の仮想光線上のそれぞれ対応するサンプリング位置のボクセル値にそれぞれ対応付けられた複数の光パラメータを前記融合画像を生成するために合成する比率を合成比率として前記仮想光線上で少なくとも二度決定する合成比率決定手段と、
    前記合成比率に基づいて合成光パラメータを算出する算出手段と、
    前記合成光パラメータを基に前記仮想光線に対する部分反射光を前記サンプリング位置毎に算出する部分反射光算出手段と、
    前記部分反射光を積算して前記融合画像の画素値を算出する画素値算出手段と
    して機能させることを特徴とする画像融合処理プログラム。
  10. 請求項９に記載の画像融合処理プログラムにおいて、
    前記光パラメータは色情報および不透明度情報であって、
    前記合成比率決定手段は、
    前記ボクセル値に対応付けられた色情報を合成する色合成比率を前記仮想光線上で少なくとも二度決定する色合成比率決定手段と、
    前記ボクセル値に対応付けられた不透明度情報を合成する不透明度合成比率を前記仮想光線上で少なくとも二度決定する不透明度合成比率決定手段と
    を備え、
    前記算出手段は、
    前記色合成比率に基づいて合成色情報を算出する第１算出手段と、
    前記不透明度合成比率に基づいて合成不透明度情報を算出する第２算出手段と
    を備えたことを特徴とする画像融合処理プログラム。
  11. 請求項１０に記載の画像融合処理プログラムにおいて、
    前記合成比率決定手段は、前記複数の仮想光線上のそれぞれ対応するサンプリング位置のボクセル値に対応付けられたシェーディング係数を合成する陰影合成比率を前記仮想光線上で少なくとも二度決定する陰影合成比率決定手段をさらに備え、
    前記算出手段は、
    前記陰影合成比率に基づいて合成シェーディング係数を算出する第３算出手段をさらに
    備え、
    前記部分反射光算出手段は、前記合成色情報及び前記合成不透明度情報及び前記合成シェーディング係数を基に前記仮想光線に対する部分反射光を前記サンプリング位置毎に算出することを特徴とする画像融合処理プログラム。
  12. 請求項９乃至１１のいずれか１項に記載の画像融合処理プログラムにおいて、
    前記合成比率決定手段は、
    前記複数の３次元以上の画像データのうち少なくとも１つの３次元以上の画像データに投射した仮想光線上のサンプリング位置のボクセル値と第１基準値とを比較する第１比較手段をさらに備え、
    前記第１比較手段での比較結果に応じて前記合成比率を決定することを特徴とする画像融合処理プログラム。
  13. 請求項９乃至１１のいずれか１項に記載の画像融合処理プログラムにおいて、
    前記合成比率決定手段は、
    前記合成比率を多段階で決定することを特徴とする画像融合処理プログラム。
  14. 請求項９乃至１３のいずれか１項に記載の画像融合処理プログラムにおいて、
    前記合成比率決定手段は、前記合成比率を前記ボクセル値の勾配に応じて設定することを特徴とする画像融合処理プログラム。
  15. 請求項９乃至１４のいずれか１項に記載の画像融合処理プログラムにおいて、
    前記ボクセル値のうちの１つと第２基準値とを比較する第２比較手段と、
    前記第２比較手段での比較結果に応じてマスク領域を生成するマスク領域生成手段と
    をさらに備えたことを特徴とする画像融合処理プログラム。
  16. 請求項９または１０に記載の画像融合処理プログラムにおいて、
    同一の複数の３次元以上の画像データのサンプリング位置のボクセル値の前記光パラメータをそれぞれ異なる合成比率で生成した複数の融合画像を用いてアニメーションを作成することを特徴とする画像融合処理プログラム。
  17. １つのコンピュータが単独処理でまたは複数のコンピュータが単独処理と分散処理とのうち少なくとも１つの処理で、同一の観察対象から得た複数の３次元以上の画像データの位置関係を互いに対応させ、前記複数の３次元以上の画像データにそれぞれ対応する複数の仮想光線を投射し、同複数の３次元以上の画像データを２次元画面上に融合した融合画像を得る画像融合処理装置であって、
    前記複数の仮想光線上のそれぞれ対応するサンプリング位置のボクセル値にそれぞれ対応付けられた複数の光パラメータを前記融合画像を生成するために合成する比率を合成比率として前記仮想光線上で少なくとも二度決定する合成比率決定手段と、
    前記合成比率に基づいて合成光パラメータを算出する算出手段と、
    前記合成光パラメータを基に前記仮想光線に対する部分反射光を前記サンプリング位置毎に算出する部分反射光算出手段と、
    前記部分反射光を積算して前記融合画像の画素値を算出する画素値算出手段と
    を備えたことを特徴とする画像融合処理装置。
  18. 請求項１７に記載の画像融合処理装置において、
    前記光パラメータは色情報および不透明度情報であって、
    前記合成比率決定手段は、
    前記ボクセル値に対応付けられた色情報を合成する色合成比率を前記仮想光線上で少なくとも二度決定する色合成比率決定手段と、
    前記ボクセル値に対応付けられた不透明度情報を合成する不透明度合成比率を前記仮想光線上で少なくとも二度決定する不透明度合成比率決定手段と
    を備え、
    前記算出手段は、
    前記色合成比率に基づいて合成色情報を算出する第１算出手段と、
    前記不透明度合成比率に基づいて合成不透明度情報を算出する第２算出手段と
    を備えたことを特徴とする画像融合処理装置。
  19. 請求項１８に記載の画像融合処理装置において、
    前記合成比率決定手段は、前記複数の仮想光線上のそれぞれ対応するサンプリング位置のボクセル値に対応付けられたシェーディング係数を合成する陰影合成比率を前記仮想光線上で少なくとも二度決定する陰影合成比率決定手段をさらに備え、
    前記算出手段は、
    前記陰影合成比率に基づいて合成シェーディング係数を算出する第３算出手段をさらに備え、
    前記部分反射光算出手段は、前記合成色情報及び前記合成不透明度情報及び前記合成シェーディング係数を基に前記仮想光線に対する部分反射光を前記サンプリング位置毎に算出することを特徴とする画像融合処理装置。
  20. 請求項１７乃至１９のいずれか１項に記載の画像融合処理装置において、
    前記合成比率決定手段、前記算出手段、前記部分反射光算出手段、前記画素値算出手段の一部または全部は、ＧＰＵであることを特徴とする画像融合処理装置。
  21. 請求項１７乃至２０のいずれか１項に記載の画像融合処理装置において、
    前記画素値算出手段が算出した画素値を出力部に出力可能な形式に変換する後処理は、ＧＰＵで行うことを特徴とする画像融合処理装置。
JP2005202313A 2005-07-11 2005-07-11 画像融合処理方法、画像融合処理プログラム、画像融合処理装置 Expired - Fee Related JP4267598B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005202313A JP4267598B2 (ja) 2005-07-11 2005-07-11 画像融合処理方法、画像融合処理プログラム、画像融合処理装置
US11/484,059 US7817877B2 (en) 2005-07-11 2006-07-10 Image fusion processing method, processing program, and processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005202313A JP4267598B2 (ja) 2005-07-11 2005-07-11 画像融合処理方法、画像融合処理プログラム、画像融合処理装置

Publications (2)

Publication Number Publication Date
JP2007014706A true JP2007014706A (ja) 2007-01-25
JP4267598B2 JP4267598B2 (ja) 2009-05-27

Family

ID=37752359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005202313A Expired - Fee Related JP4267598B2 (ja) 2005-07-11 2005-07-11 画像融合処理方法、画像融合処理プログラム、画像融合処理装置

Country Status (2)

Country Link
US (1) US7817877B2 (ja)
JP (1) JP4267598B2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100766070B1 (ko) 2007-06-28 2007-10-12 (주)한성유아이엔지니어링 지피에스를 이용한 지형변화 모니터링 시스템
EP1988511A2 (en) * 2007-04-12 2008-11-05 FUJIFILM Corporation Method and apparatus for volume rendering
JP2008272470A (ja) * 2007-04-26 2008-11-13 General Electric Co <Ge> 被撮像体内の目的物の視覚性を改善するためのシステム及び方法
JP2009160306A (ja) * 2008-01-09 2009-07-23 Ziosoft Inc 画像表示装置、画像表示装置の制御方法、および画像表示装置の制御プログラム
JP2011525271A (ja) * 2008-05-23 2011-09-15 ザ オーストラリアン ナショナル ユニヴァーシティ 画像データ処理
CN102231844A (zh) * 2011-07-21 2011-11-02 西安电子科技大学 基于结构相似度和人眼视觉的视频图像融合性能评价方法
WO2012165044A1 (ja) * 2011-06-01 2012-12-06 株式会社日立メディコ 画像表示装置、画像表示システムおよび画像表示方法
JP2013040922A (ja) * 2011-07-21 2013-02-28 Ngk Spark Plug Co Ltd ガスセンサ
JP2014000182A (ja) * 2012-06-18 2014-01-09 Aze Ltd 医用画像生成装置及びプログラム
WO2014192829A1 (ja) * 2013-05-28 2014-12-04 株式会社東芝 医用画像処理装置
JP2016142664A (ja) * 2015-02-04 2016-08-08 日本メジフィジックス株式会社 核医学画像解析技術
JP2016142665A (ja) * 2015-02-04 2016-08-08 日本メジフィジックス株式会社 核医学画像中の腫瘍領域を抽出する技術
JP2016142666A (ja) * 2015-02-04 2016-08-08 日本メジフィジックス株式会社 核医学画像中の腫瘍輪郭を抽出する技術
WO2016125349A1 (ja) * 2015-02-04 2016-08-11 日本メジフィジックス株式会社 核医学画像解析技術
JP2017174039A (ja) * 2016-03-23 2017-09-28 富士フイルム株式会社 画像分類装置、方法およびプログラム
US10346974B2 (en) 2017-05-18 2019-07-09 Toshiba Medical Systems Corporation Apparatus and method for medical image processing
CN112184554A (zh) * 2020-10-13 2021-01-05 重庆邮电大学 一种基于残差混合膨胀卷积的遥感图像融合方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4233547B2 (ja) * 2005-07-06 2009-03-04 ザイオソフト株式会社 画像表示処理方法
US8228400B2 (en) * 2009-04-17 2012-07-24 Sony Corporation Generation of simulated long exposure images in response to multiple short exposures
US9959594B2 (en) 2010-07-22 2018-05-01 Koninklijke Philips N.V. Fusion of multiple images
WO2012048070A1 (en) * 2010-10-07 2012-04-12 Siemens Corporation Non-rigid composition of multiple overlapping medical imaging volumes
EP2647976A4 (en) * 2010-12-03 2017-08-09 Sony Corporation 3d data analysis device, 3d data analysis method, and 3d data analysis program
US9824302B2 (en) * 2011-03-09 2017-11-21 Siemens Healthcare Gmbh Method and system for model-based fusion of multi-modal volumetric images
US9314160B2 (en) * 2011-12-01 2016-04-19 Varian Medical Systems, Inc. Systems and methods for real-time target validation for image-guided radiation therapy
CN104103083A (zh) * 2013-04-03 2014-10-15 株式会社东芝 图像处理装置和方法以及医学成像设备
CN103345746B (zh) * 2013-06-25 2016-12-28 上海交通大学 对ct图片重建出三维图形的方法
US9842424B2 (en) * 2014-02-10 2017-12-12 Pixar Volume rendering using adaptive buckets
US10169909B2 (en) * 2014-08-07 2019-01-01 Pixar Generating a volumetric projection for an object
KR102412122B1 (ko) * 2015-05-27 2022-06-23 삼성전자주식회사 의료 영상 디스플레이 방법 및 장치
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
CN108876783B (zh) 2018-06-27 2021-02-05 上海联影医疗科技股份有限公司 图像融合方法及系统、医疗设备和图像融合终端
CN113421323B (zh) * 2021-06-21 2022-07-12 北京理工大学 一种基于光线投射的双模态体数据感兴趣区域融合方法
CN116363031B (zh) * 2023-02-28 2023-11-17 锋睿领创(珠海)科技有限公司 基于多维光学信息融合的成像方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04183446A (ja) * 1990-11-19 1992-06-30 Res Dev Corp Of Japan 画像合成による手術支援システム
JPH096986A (ja) * 1995-06-19 1997-01-10 Hitachi Ltd マルチモダリティに対応した３次元画像合成表示装置
JP2001291091A (ja) * 2000-01-31 2001-10-19 Mitsubishi Electric Corp 画像処理装置および方法
JP2003036448A (ja) * 2001-07-25 2003-02-07 Ziosoft Inc ３次元画像表示方法
JP2003157444A (ja) * 2001-11-21 2003-05-30 Mitsubishi Electric Corp ３次元情報合成装置、３次元情報表示装置及び３次元情報合成方法
JP2003233600A (ja) * 2001-12-03 2003-08-22 Ziosoft Inc ボリュームレンダリング処理方法、ボリュームレンダリング処理システム、計算機及びプログラム
WO2003077202A1 (en) * 2002-03-06 2003-09-18 Siemens Corporate Research, Inc. Visualization of volume-volume fusion
JP2004215846A (ja) * 2003-01-14 2004-08-05 Ziosoft Inc ボリュームレンダリング画像処理方法、ボリュームレンダリング画像処理装置及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2597227B1 (fr) * 1986-04-14 1992-09-11 Pixar Procede pour produire un affichage bidimensionnel representant un ensemble de donnees tridimensionnelles
US5839440A (en) * 1994-06-17 1998-11-24 Siemens Corporate Research, Inc. Three-dimensional image registration method for spiral CT angiography
US6639595B1 (en) * 2000-08-23 2003-10-28 Nintendo Co., Ltd. Achromatic lighting in a graphics system and method
JP2005142680A (ja) * 2003-11-04 2005-06-02 Olympus Corp 画像処理装置
US20050195206A1 (en) * 2004-03-04 2005-09-08 Eric Wogsberg Compositing multiple full-motion video streams for display on a video monitor

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04183446A (ja) * 1990-11-19 1992-06-30 Res Dev Corp Of Japan 画像合成による手術支援システム
JPH096986A (ja) * 1995-06-19 1997-01-10 Hitachi Ltd マルチモダリティに対応した３次元画像合成表示装置
JP2001291091A (ja) * 2000-01-31 2001-10-19 Mitsubishi Electric Corp 画像処理装置および方法
JP2003036448A (ja) * 2001-07-25 2003-02-07 Ziosoft Inc ３次元画像表示方法
JP2003157444A (ja) * 2001-11-21 2003-05-30 Mitsubishi Electric Corp ３次元情報合成装置、３次元情報表示装置及び３次元情報合成方法
JP2003233600A (ja) * 2001-12-03 2003-08-22 Ziosoft Inc ボリュームレンダリング処理方法、ボリュームレンダリング処理システム、計算機及びプログラム
WO2003077202A1 (en) * 2002-03-06 2003-09-18 Siemens Corporate Research, Inc. Visualization of volume-volume fusion
JP2004215846A (ja) * 2003-01-14 2004-08-05 Ziosoft Inc ボリュームレンダリング画像処理方法、ボリュームレンダリング画像処理装置及びプログラム

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1988511A2 (en) * 2007-04-12 2008-11-05 FUJIFILM Corporation Method and apparatus for volume rendering
JP2008272470A (ja) * 2007-04-26 2008-11-13 General Electric Co <Ge> 被撮像体内の目的物の視覚性を改善するためのシステム及び方法
KR100766070B1 (ko) 2007-06-28 2007-10-12 (주)한성유아이엔지니어링 지피에스를 이용한 지형변화 모니터링 시스템
JP2009160306A (ja) * 2008-01-09 2009-07-23 Ziosoft Inc 画像表示装置、画像表示装置の制御方法、および画像表示装置の制御プログラム
JP2011525271A (ja) * 2008-05-23 2011-09-15 ザ オーストラリアン ナショナル ユニヴァーシティ 画像データ処理
US9478021B2 (en) 2011-06-01 2016-10-25 Hitachi, Ltd. Image display device, image display system, and image display method
WO2012165044A1 (ja) * 2011-06-01 2012-12-06 株式会社日立メディコ 画像表示装置、画像表示システムおよび画像表示方法
JP2012252435A (ja) * 2011-06-01 2012-12-20 Hitachi Medical Corp 画像表示装置、画像表示システムおよび画像表示方法
CN102231844A (zh) * 2011-07-21 2011-11-02 西安电子科技大学 基于结构相似度和人眼视觉的视频图像融合性能评价方法
JP2013040922A (ja) * 2011-07-21 2013-02-28 Ngk Spark Plug Co Ltd ガスセンサ
JP2014000182A (ja) * 2012-06-18 2014-01-09 Aze Ltd 医用画像生成装置及びプログラム
WO2014192829A1 (ja) * 2013-05-28 2014-12-04 株式会社東芝 医用画像処理装置
US10110874B2 (en) 2013-05-28 2018-10-23 Toshiba Medical Systems Corporation Medical-image processing apparatus generating plural parallax images with different viewpoint positions based on adjusting parallactic angles
JP2016142665A (ja) * 2015-02-04 2016-08-08 日本メジフィジックス株式会社 核医学画像中の腫瘍領域を抽出する技術
WO2016125349A1 (ja) * 2015-02-04 2016-08-11 日本メジフィジックス株式会社 核医学画像解析技術
JP2016142666A (ja) * 2015-02-04 2016-08-08 日本メジフィジックス株式会社 核医学画像中の腫瘍輪郭を抽出する技術
JP2016142664A (ja) * 2015-02-04 2016-08-08 日本メジフィジックス株式会社 核医学画像解析技術
US10395364B2 (en) 2015-02-04 2019-08-27 Nihon Medi-Physics Co., Ltd. Nuclear medical image analysis technique
JP2017174039A (ja) * 2016-03-23 2017-09-28 富士フイルム株式会社 画像分類装置、方法およびプログラム
US10346974B2 (en) 2017-05-18 2019-07-09 Toshiba Medical Systems Corporation Apparatus and method for medical image processing
CN112184554A (zh) * 2020-10-13 2021-01-05 重庆邮电大学 一种基于残差混合膨胀卷积的遥感图像融合方法
CN112184554B (zh) * 2020-10-13 2022-08-23 重庆邮电大学 一种基于残差混合膨胀卷积的遥感图像融合方法

Also Published As

Publication number Publication date
JP4267598B2 (ja) 2009-05-27
US7817877B2 (en) 2010-10-19
US20070098299A1 (en) 2007-05-03

Similar Documents

Publication Publication Date Title
JP4267598B2 (ja) 画像融合処理方法、画像融合処理プログラム、画像融合処理装置
JP4213135B2 (ja) 展開画像投影方法、展開画像投影プログラム、展開画像投影装置
CN106981098B (zh) 虚拟场景组分的视角表示
JP4335817B2 (ja) 関心領域指定方法、関心領域指定プログラム、関心領域指定装置
JP3570576B2 (ja) マルチモダリティに対応した３次元画像合成表示装置
US7889194B2 (en) System and method for in-context MPR visualization using virtual incision volume visualization
US7424140B2 (en) Method, computer program product, and apparatus for performing rendering
US20090174729A1 (en) Image display device and control method thereof
JP4233547B2 (ja) 画像表示処理方法
JP4109224B2 (ja) 展開画像投影方法、展開画像投影プログラム、展開画像投影装置
JP2009034503A (ja) トモシンセシス画像を表示するための方法及びシステム
US20110082667A1 (en) System and method for view-dependent anatomic surface visualization
US20090003668A1 (en) Image processing method, image processing program, and image processing device
US20080259080A1 (en) Image processing method, apparatus, and program
JP2008543477A (ja) カーブした細長い構造の切断面を視覚化する方法
JP4634437B2 (ja) 展開画像投影方法、展開画像投影プログラム、展開画像投影装置
JP4563326B2 (ja) 画像処理方法および画像処理プログラム
JP4122314B2 (ja) 投影画像処理方法、投影画像処理プログラム、投影画像処理装置
JP4896470B2 (ja) 画像処理装置、医用画像診断装置及び画像処理方法
JP2006136619A (ja) 画像処理方法
JP2010000306A (ja) 医用画像診断装置、画像処理装置、及びプログラム
JP4709603B2 (ja) 医用画像処理装置
JP6106260B2 (ja) ボリュームレンダリング
EP3809376A2 (en) Systems and methods for visualizing anatomical structures
JP5245811B2 (ja) ボクセル配列可視化装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090127

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090218

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees