JP2006288495A - 画像処理装置 - Google Patents

Abstract

【課題】 活性領域を探索する時間を削減し、効率的な診断を可能とする画像処理装置を提供する。
【解決手段】 機能画像解析部７は、ボリュームデータで表される機能画像データから、所望の活性領域を抽出し、表示優先度決定部１３は、抽出された活性領域の体積や活性レベルなどに基づいて、表示部１２に表示させる際の表示優先度を決定する。画像データ合成部８は、機能画像データと形態画像データとを合成して合成データを生成し、画像生成部９はその合成データを受けて、上記表示優先度に従って活性領域ごとに視線方向を変えて順次、３次元画像データを生成する。表示制御部１１は、表示優先度に従って順次、３次元画像を表示部１２に表示させる。これにより、活性レベルが高い活性領域などを優先的に観察することが可能となり、効率的に診断を行うことが可能となる。
【選択図】 図１１

Description

この発明は、Ｘ線ＣＴ装置、ＭＲＩ装置又は超音波診断装置などにより撮像された形態画像と、核医学診断装置やｆ−ＭＲＩ装置などによって撮像された機能画像とを重畳表示する画像処理装置において、観察したい領域を表す画像を生成して表示する機能を有する画像処理装置に関する。特に、機能画像で表される活性領域を主に観察する際に使用される画像処理装置に関する。

一般に、臨床診断には形態的診断と機能的診断とがある。臨床診断において重要なことは、疾病によってその組織や臓器が正常に機能しているか否かである。多くの疾病では、機能の異常が進行していくと組織の解剖学的な形態変化が生じる。ＭＲＩ装置やＸ線ＣＴ装置や超音波診断装置などはこの形態的診断の機器である。例えば、Ｘ線ＣＴ装置は、体外からＸ線を照射し、透過したＸ線を検出器によって測定した値から断層像を再構成する。

これに対して、放射性同位体（以下、ＲＩと省略する）、又はその標識化合物が生体内の特定の組織や臓器に選択的に取り込まれる性質を利用し、そのＲＩから放射されるγ線を体外から測定し、ＲＩの線量分布を画像化して診断する方法があり、核医学診断法と呼ばれている。核医学診断法は、形態学的診断のみならず、病変の初期段階の機能診断が可能である。この核医学診断装置には、陽電子放出型ＣＴ装置（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｙ：以下、ＰＥＴ装置と称する）、又は、単光子放出型ＣＴ装置（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｙ：以下、ＳＰＥＣＴ装置と称する）がある。また、核医学診断装置の他、特に脳の機能診断を行うために、ｆ−ＭＲＩ装置が用いられている。

従来、３次元画像で表される医用画像において、腫瘍などの機能的な活性領域を中心に観察する際には、画像の一部を切削するクリッピング処理や画像抽出処理などにより、画像の一部を表示させない作業を行って、目的の腫瘍などの画像を観察していた。

一方、Ｘ線ＣＴ装置などにより収集された画像データに基づいて、いわゆる仮想内視鏡表示を行い、血管、腸、気管支などの管状組織内部を観察することが行われている。この仮想内視鏡表示においては、例えば、形態画像と機能画像とが重畳された３次元画像データを生成し、その３次元画像を表示することが行われている。仮想内視鏡表示によると、観察者の視点を管状組織内部で自由に移動させて管状組織を内部から表示することができ、更に、任意位置における形態情報から腫瘍などの状態を確認して診断を行うことができる。従来、仮想内視鏡表示を実行する場合、管状組織内部を観察しながら視点を動かし、腫瘍などの活性領域を探す作業を行っていた。この仮想内視鏡表示については、管状組織の観察経路を自動的に決定する方法が提供されている（例えば特許文献１）。

特開２００２−５０４３８５号公報

従来技術においては、形態画像と機能画像とが重畳された３次元画像を表示することはできるが、観察者がクリッピング処理や画像抽出などの作業をマニュアルで行って、腫瘍などの活性領域がどこにあるのか、探す必要があった。そのため、目的の活性領域を観察するために時間と労力が費やされ、簡便に活性領域の画像を表示することができず、効率的に読影、診断を行うことができなかった。また、目的の画像が得られても、表示装置での表示形態が十分でなかったため、医師などに対して十分な診断情報を提供できず、そのことによっても効率的に診断を行うことができなかった。

また、仮想内視鏡表示を実行する前に、全ての腫瘍の位置や状態を把握することは困難であるため、仮想内視鏡表示を実行しながら腫瘍を探索する必要があった。この場合、腫瘍の探索に手間や時間がかかってしまい、効率的に読影、診断を行うことができず、更に、腫瘍を見逃してしまうおそれがあった。

この発明は上記の問題点を解決するものであり、個々の活性領域について方向を変えて、機能画像と形態画像とが重畳された３次元画像を表示装置に表示させたり、所定の表示優先度に従って個々の活性領域の３次元画像を表示装置に表示させたり、所定の表示優先度に従って管状領域に沿った３次元画像を表示させたりすることにより、活性領域を探索する時間を削減し、効率的な診断を可能とする画像処理装置を提供することを目的とする。

請求項１記載の発明は、医用画像診断装置により収集された実空間のボリュームデータで表される機能画像データと、実空間のボリュームデータで表される形態画像データと、を合成する画像データ合成手段と、前記機能画像データから所望の活性領域を抽出する抽出手段と、前記合成されたボリュームデータに基づいて、前記所望の活性領域のそれぞれの特定の視線方向に沿って、機能画像と形態画像とが重畳された３次元画像データを生成する画像生成手段と、前記生成された複数の３次元画像を同時に表示手段に表示させる表示制御手段と、を有することを特徴とする画像処理装置である。請求項２に記載の発明は、医用画像診断装置により収集された実空間のボリュームデータで表される機能画像データと、実空間のボリュームデータで表される形態画像データと、を合成する画像データ合成手段と、前記機能画像データから所望の活性領域を抽出する抽出手段と、前記抽出された所望の活性領域の３次元画像を表示手段に表示させる優先順位を決定する優先度決定手段と、前記合成されたボリュームデータに基づいて、前記所望の活性領域のそれぞれの特定の視線方向に沿って、少なくとも最優先の機能画像と形態画像とが重畳された３次元画像データを生成する画像生成手段と、前記生成された３次元画像を表示手段に表示させる表示制御手段と、を有することを特徴とする画像処理装置である。請求項３に記載の発明は、請求項２に記載の画像処理装置であって、前記表示制御手段は、前記生成された複数の３次元画像を、前記優先順位に従って順次、表示手段に表示させることを特徴とするものである。請求項４に記載の発明は、請求項２又は請求項３のいずれかに記載の画像処理装置であって、前記優先度決定手段は、前記所望の活性領域の体積又は前記所望の活性領域のボクセル値に基づいて、前記優先順位を決定することを特徴とするものである。請求項５に記載の発明は、医用画像診断装置により収集された実空間のボリュームデータで表される機能画像データと、実空間のボリュームデータで表される形態画像データと、を合成する画像データ合成手段と、前記機能画像データから所望の活性領域を抽出し、更に、前記形態画像データから枝状の構造からなる管状領域を抽出する抽出手段と、前記管状領域を形成する各枝を経路として、前記管状領域を複数の経路に分け、各経路の周辺に存在する活性領域に基づいて、前記経路を表示手段に表示させる優先順位を決定する優先度決定手段と、前記合成されたボリュームデータに基づき、少なくとも最優先の経路に沿い、特定の視線方向に沿って、機能画像と形態画像とが重畳された３次元画像データを生成する画像生成手段と、前記生成された３次元画像を表示手段に表示させる表示制御手段と、を有することを特徴とする画像処理装置である。請求項６に記載の発明は、請求項５に記載の画像処理装置であって、前記表示制御手段は、前記優先順位に従って順次、前記経路に沿った３次元画像を表示手段に表示させることを特徴とするものである。請求項７に記載の発明は、請求項５又は請求項６のいずれかに記載の画像処理装置であって、前記優先度決定手段は、前記各経路から前記活性領域までの距離、前記活性領域の数又はボクセル値に基づいて、前記優先順位を決定することを特徴とするものである。請求項８に記載の発明は、請求項５乃至請求項７のいずれかに記載の画像処理装置であって、前記画像生成手段は、前記経路に沿って、予め決定された所定間隔で機能画像と形態画像とが重畳された３次元画像データを生成し、前記表示制御手段は、前記所定間隔で生成された３次元画像を、順次又は同時に、表示手段に表示させることを特徴とするものである。請求項９に記載の発明は、請求項５乃至請求項７のいずれかに記載の画像処理装置であって、前記画像生成手段は、前記経路に沿って、前記所望の活性領域ごとに機能画像と形態画像とが重畳された３次元画像データを生成し、前記表示制御手段は、前記所望の活性領域ごとに生成された３次元画像を、順次又は同時に、表示手段に表示させることを特徴とするものである。請求項１０に記載の発明は、請求項５乃至請求項９のいずれかに記載の画像処理装置であって、前記表示制御手段は、機能画像と形態画像とが重畳された３次元画像をサムネイル画像として前記表示手段にサムネイル表示させることを特徴とするものである。請求項１１に記載の発明は、請求項１乃至請求項１０のいずれかに記載の画像処理装置であって、前記画像データ合成手段は、前記機能画像データと前記形態画像データとを、同一空間上に配置することを特徴とするものである。請求項１２に記載の発明は、請求項２乃至請求項１１のいずれかに記載の画像処理装置であって、前記表示制御手段は、操作者により与えられる表示更新命令に従って、前記３次元画像を順次更新して表示手段に表示させることを特徴とするものである。請求項１３に記載の発明は、請求項１乃至請求項１２のいずれかに記載の画像処理装置であって、前記画像生成手段は、前記合成されたボリュームデータに対して平行投影法及び／又は透視投影法によるボリュームレンダリングを実行することにより３次元画像データを生成することを特徴とするものである。請求項１４に記載の発明は、請求項１乃至請求項１２のいずれかに記載の画像処理装置であって、前記機能画像データ及び前記形態画像データは、時系列的な画像データからなり、前記画像生成手段は、ボリュームレンダリング実行の際の視点の位置を固定させ、又は、前記視点と前記活性領域との間の距離を一定に保つように前記視点を移動させて、透視投影法によるボリュームレンダリングを実行することにより３次元画像データを生成することを特徴とするものである。請求項１５に記載の発明は、請求項１乃至請求項１４のいずれかに記載の画像処理装置であって、前記画像生成手段は、前記活性領域において面積が最大となる断面を求め、前記断面に垂直な方向を前記特定の視線方向としてボリュームレンダリングを実行することにより３次元画像データを生成することを特徴とするものである。請求項１６に記載の発明は、請求項１乃至請求項１５のいずれかに記載の画像処理装置であって、前記画像生成手段は前記ボリュームデータの外に視点を設定して３次元画像データを生成し、前記表示制御手段は、前記視点と前記活性領域との間にある３次元画像以外の３次元画像を前記表示手段に表示させることを特徴とするものである。請求項１７に記載の発明は、請求項１６に記載の画像処理装置であって、前記画像生成手段は３次元画像データを生成するとともに、前記活性領域の重心を求め、更に前記視点と前記重心とを結ぶ線を半径とする球を求め、前記表示制御手段は、前記球に含まれる３次元画像以外の３次元画像を前記表示手段に表示させることを特徴とするものである。

この発明によると、注目すべき活性領域を抽出し、活性領域ごとに方向を変えて生成した複数の重畳画像を同時に表示手段に表示させることにより、注目すべき活性領域の重畳画像を医師などに提供することが可能となる。これにより、医師などに対して十分な診断情報を提供することができるため、効率的に読影、診断を行うことが可能となる。

また、機能画像データに基づいて各活性領域に対する表示の優先順位を決定し、その優先順位に従って順次、各活性領域の重畳画像を表示手段に表示させることにより、注目すべき活性領域を優先的に表示させることが可能となる。そのことにより、注目すべき活性領域を探索する時間を削減することができるため、効率的に読影、診断を行うことができる。

さらに、機能画像データと形態画像データとを合成して、血管、腸、気管支などの管状領域の周囲に存在する活性領域に基づいて、各枝の表示の優先順位を決定し、その優先順位に従って順次又は同時に、各枝に沿った重畳画像を表示手段に表示させることにより、注目すべき経路に沿った３次元画像を優先的に表示させることが可能となる。つまり、機能画像に基づいて注目すべき経路が自動的に決定されるため、活性領域を探索する時間を削減することができ、効率的に読影、診断を行うことができる。

この発明の実施形態に係る画像処理装置について、図１乃至図２１を参照しつつ説明する。

［第１の実施の形態］
この発明の第１の実施形態に係る画像処理装置の構成について図１を参照しつつ説明する。図１は、この発明の第１の実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。

図１に示すように、第１の実施形態に係る画像処理装置は、画像データ記憶部１と画像処理部４とを備えて構成されている。画像データ記憶部１は、機能画像記憶部２と形態画像記憶部３とを備えて構成されている。機能画像記憶部２は、ハードディスクやメモリなどからなり、核医学診断装置（ＰＥＴ装置又はＳＰＥＣＴ装置）やｆ−ＭＲＩ装置などにより収集された２次元画像データとしての機能画像データが記憶されている。形態画像記憶部３は、ハードディスクやメモリなどからなり、Ｘ線ＣＴ装置、ＭＲＩ装置又は超音波診断装置などにより収集された２次元画像データとしての形態画像データ（断層像データ）が記憶されている。

また、ボリュームデータを直接、収集することが可能な医用画像診断装置を用いて画像データを収集した場合は、機能画像記憶部２及び形態画像記憶部３には、それぞれボリュームデータとしての機能画像データ及び形態画像データが記憶されている。

機能画像制御部５は、機能画像記憶部２から複数の２次元で表される機能画像データを読み込み、補間処理を行うことにより、３次元の実空間で表されるボリュームデータ（ボクセルデータ）としての機能画像データを生成する。また、形態画像制御部６は、形態画像記憶部３から複数の２次元で表される形態画像データ（断層像データ）を読み込み、補間処理を行うことにより、３次元の実空間で表されるボリュームデータ（ボクセルデータ）としての形態画像データを生成する。機能画像制御部５は、生成したボリュームデータとしての機能画像データを画像データ合成部８と機能画像解析部７に出力する。形態画像制御部６は、生成したボリュームデータとしての形態画像データを画像データ合成部８に出力する。また、ボリュームデータが画像データ記憶部２に記憶されている場合は、機能画像制御部５及び形態画像制御部６は、画像データ記憶部２からボリュームデータを読み込み、それぞれ機能画像解析部７及び画像データ合成部８に出力する。

機能画像解析部７は、機能画像制御部５から出力されたボリュームデータとしての機能画像データを受け、操作者によって予め決定された物理量閾値に基づいて、その機能画像データから活性領域を表すボリュームデータを抽出し、抽出したボリュームデータとしての機能画像データを画像生成部９に出力する。これにより注目すべき活性領域を抽出する。この物理量閾値は、活性レベルやボクセル値などが該当し、予めメモリなどからなる記憶部（図示しない）に記憶しておく。機能画像解析部７は、操作者により予め決定された所定の活性レベル以上や所定のボクセル値以上の値を有する領域のボリュームデータを抽出し、画像生成部９に出力する。

画像データ合成部８は、機能画像制御部５から出力されたボリュームデータとしての機能画像データと、形態画像制御部６から出力されたボリュームデータとしての形態画像データとを受け、公知の方法により、機能画像データと形態画像データとを合成してボリュームデータとしての合成データを生成する。ここでは、画像データ合成部８は、機能画像データの座標系と形態画像データの座標系とを一致させ、機能画像データと形態画像データの位置合わせを行い、更に、各ボリュームデータのボクセルのサイズ合わせを行うことにより、合成データを生成する（レジストレーション）。これにより、同一空間上で、形態画像と機能画像とを表示させることが可能となる。例えば、実空間で表されるＣＴ画像データとＰＥＴ画像データとを合成し、互いの座標系を一致させて、位置合わせを行う。画像データ合成部８は、合成データ（ボリュームデータ）を画像生成部９に出力する。

画像生成部９は、平行投影画像生成部９ａと透視投影画像生成部９ｂとを備えて構成されている。画像生成部９は、画像データ合成部８から出力された機能画像データと形態画像データとが合成された合成データ（ボリュームデータ）を受け、その合成されたボリュームデータに対してボリュームレンダリングやサーフェイスレンダリングなどの３次元表示法を施し、抽出された活性領域を観察するための３次元画像データや、診断部位の外観を表す３次元画像データなどを生成する。具体的には、平行投影画像生成部９ａは、画像データ合成部８から出力されたボリュームデータとしての合成データを受け、いわゆる平行投影法により表示用の３次元画像データを生成する。透視投影画像生成部９ｂは、画像データ合成部８から出力されたボリュームデータとしての合成データを受け、いわゆる透視投影法により表示用の３次元画像データを生成する。なお、３次元画像データはボリュームデータに基づいて生成される画像データであって、表示部１２のモニタ画面上に表示されるデータを意味する。

ここで、平行投影画像生成部９ａ及び透視投影画像生成部９ｂが実行するボリュームレンダリングについて、図２を参照しつつ説明する。図２は平行投影法及び透視投影法について説明するための図である。図２（ａ）は平行投影法により３次元画像データを生成する処理を説明するための図であり、図２（ｂ）は透視投影法により３次元画像データを生成する処理を説明するための図である。

まず、平行投影画像生成部９ａにより実行される平行投影法について説明する。図２（ａ）に示すように、物体１００の３次元領域（ボリューム）の構成単位となる微小単位領域（１０１ａ、１０１ｂなど）をボクセルと称し、ボクセルの特性を表す固有のデータをボクセル値と称する。物体全体１００は、ボクセル値の３次元データ配列で表現され、これをボリュームデータと称する。このボリュームデータは、対象とする物体の断層面に垂直な方向に沿って順次得られる２次元の断層像データを積層することによって得られる。例えば、断層像データがＸ線ＣＴ装置により収集された場合は、ボリュームデータは、体軸方向に所定間隔で並んだ断層像を積層することにより得られ、各ボクセルのボクセル値は、そのボクセルが占める位置における放射線の吸収量を意味することになる。

ボリュームレンダリングは、上記のボリュームデータを利用し、いわゆるレイキャスティングにより投影面上に３次元画像を生成する方法である。図２（ａ）に示すように、レイキャスティングは、３次元空間内に仮想的な投影面２００を配置し、投影面２００からレイ３００と称される仮想的な光線を照射して、物体（ボリュームデータ）１００内部からの仮想的な反射光の画像を形成することにより、投影面２００に物体（ボリュームデータ）１００内部の３次元構造を透視するイメージ画像を生成する方法である。具体的には、投影面２００から一様な光が照射され、その光がボクセル値によって表現される物体（ボリュームデータ）１００によって、反射・減衰・吸収されるという仮想的な物理現象のシミュレーションを行っていることになる。

上記のボリュームレンダリングによれば、ボリュームデータから物体構造を描画することができるため、特に、物体１００が、骨や内蔵などの組織が複雑に入り組んでいる人体である場合にも、透過率を可変調整（不透明度（オパシティ）を調整）することにより、これらを分離して描画することができる。つまり、透視することを所望する部位については、その部位を構成する各ボクセルのオパシティを高める一方、所望しない部位についてはオパシティを低下させて所望の部位を観察することができる。例えば、表皮などのオパシティを低く設定し、血管や骨などを透かして観察することも可能となる。

上記のボリュームレンダリングにおけるレイキャスティングの場合、投影面２００から延びる全てのレイ３００は、投影面２００に対して垂直とされている。つまり、レイ３００は全てが互いに平行にされており、これは観察者が無限遠の位置から物体１００を見ている状態に等しい。この方法が平行投影法と称され、平行投影画像生成部９ａにより実行される。なお、ボリュームデータに対するレイ３００の方向（以下、視線方向と称する場合がある）は、操作者によって任意方向に変更することができる。

上記の平行投影法に対して、透視投影法によれば、仮想内視鏡的、つまり血管、腸、気管支などの管状組織の内面から観察しているかのような３次元画像を生成することができる。透視投影画像生成部９ｂが実行する透視投影法では、図２（ｂ）に示すように、投影面２００に対して物体（ボリュームデータ）１００と反対側に仮想的な視点４００を想定し、レイ３００は全てこの視点４００を通って放射状に広がるものとされる。これにより、物体１００の内側に視点を置くことができ、物体の内側から見た状況の画像を投影面２００上に形成することが可能となる。

この透視投影法によれば、内視鏡検査に類似した形態観察が可能となるため、検査に伴う患者の苦痛を緩和したり、内視鏡の挿入不可能な部位や臓器に対しても適用可能となる。また、ボリュームデータに対する視点４００の位置や視線方向（レイ３００の方向）を適宜変更することにより、実際の内視鏡では観察不可能な方向から見た画像を得ることも可能となる。

平行投影画像生成部９ａにより生成された３次元画像データは表示制御部１１を介して表示部１２に出力され、表示部１２のモニタ画面上に３次元画像として表示される。また、透視投影画像生成部９ｂにより生成された仮想内視鏡的な３次元画像データも表示制御部１１を介して表示部１２に出力され、表示部１２のモニタ画面上に３次元画像として表示される。

操作入力部１０は、マウスやキーボードなどの入力装置からなり、上記ボリュームレンダリングにおける視点４００の位置、視線方向又はオパシティ（不透明度）などのパラメータや表示更新命令などが操作者により入力される。視点の位置、視線方向又はオパシティなどのパラメータが操作者により入力されると、それらを示す情報が画像生成部９に出力され、画像生成部９はその情報に基づいてレンダリングを実行する。

表示制御部１１は、画像生成部９から３次元画像データを受けると、複数の３次元画像データを表示部１２に出力して、複数の３次元画像を同時に表示させたり、順次、３次元画像データを表示部１２に出力して、順次、３次元画像を表示させたり、操作入力部１０により入力された表示更新命令に従って、順次更新して３次元画像を表示させたりする。表示部１２は、ＣＲＴや液晶ディスプレイなどからなり、表示制御部１１の制御に従って３次元画像を表示する。

（動作）
次に、この発明の第１の実施形態に係る画像処理装置の動作について図１乃至図１０を参照しつつ説明する。図３は、この発明の第１の実施形態に係る画像処理装置の動作を順番に示すフローチャートである。

まず、機能画像制御部５が機能画像記憶部２から複数の機能画像データ（２次元画像データ）を読み込み、３次元の実空間で表されるボリュームデータとしての機能画像データを生成する。また、形態画像制御部６が形態画像記憶部２から複数の断層像データ（２次元画像データ）を読み込み、３次元の実空間で表されるボリュームデータとしての形態画像データを生成する（ステップＳ０１）。医用画像診断装置によりボリュームデータが直接収集された場合は、機能画像制御部４及び形態画像制御部６は、画像データ記憶部２からそれぞれボリュームデータを読み込む。そして、機能画像制御部５は、ボリュームデータとしての機能画像データを、画像データ合成部８と機能画像解析部７に出力する。また、形態画像制御部６は、ボリュームデータとしての形態画像データを画像データ合成部８に出力する。

機能画像解析部７は、機能画像制御部５から出力されたボリュームデータとしての機能画像データを受け、予め決定された物理量閾値に基づいて、注目する活性領域を表すボリュームデータを抽出する（ステップＳ０２）。これにより、注目すべき活性領域が抽出されることになる。この抽出処理について、図４を参照しつつ説明する。図４は、ボリュームデータとしての機能画像データから注目する活性領域を抽出する処理を説明するための模式図である。

図４に示すように、機能画像制御部５において、３次元の実空間で表される機能画像データのボリュームデータ２０が生成される。このボリュームデータ２０には活性領域２１〜２７が含まれているものとする。機能画像解析部７は、このボリュームデータ２０から、予め決定された物理量閾値に基づいて注目すべき活性領域を表すボリュームデータを抽出する。例えば、閾値として所定の活性レベルや所定のボクセル値などを予め設定して記憶部（図示しない）に記憶しておき、機能画像解析部７はその設定された活性レベル以上やボクセル値以上の活性領域を表すボリュームデータを抽出する。図４に示す例においては、活性領域２１、２２、２３を表すボリュームデータが抽出されたものとする。このようにして抽出されたボリュームデータは、画像生成部９に出力される。

また、画像データ合成部８にて機能画像データ（ボリュームデータ）と形態画像データ（ボリュームデータ）とが合成されて、合成データ（ボリュームデータ）が生成される（ステップＳ０３）。この合成について図５を参照しつつ説明する。図５は、形態画像データと機能画像データとを合成する処理を説明するための模式図である。図５に示すように、画像データ合成部８は、機能画像制御部５から出力された機能画像データ（ボリュームデータ）２０と、形態画像制御部６から出力された形態画像データ（ボリュームデータ）２８とを受け、機能画像データ２０の座標系と形態画像データ２８の座標系を一致させることにより、位置合わせを行い、さらに、機能画像データ２０のボクセルのサイズと形態画像データ２８のボクセルのサイズとを合わせることにより、合成データ（ボリュームデータ）を生成する。これにより、同一空間上で表されるボリュームデータとしての合成データが生成されることになる。そして、画像データ合成部８はボリュームデータとしての合成データを画像生成部９に出力する。

画像生成部９は、画像データ合成部８から出力されたボリュームデータとしての合成データを受け、更に、機能画像解析部７から出力された活性領域を表すボリュームデータを受け、平行投影画像生成部９ａ又は透視投影画像生成部９ｂによりボリュームレンダリングを実行することにより、３次元画像データを生成する（ステップＳ０４）。これにより、Ｘ線ＣＴ装置などにより収集された形態画像と、核医学診断装置などにより収集された機能画像とが重畳された３次元画像データ（重畳画像データ）が生成されることになる。操作者は、平行投影法又は透視投影法を選択することができ、操作入力部１０によりいずれかの方法を選択することにより、画像生成部９は選択された方法でボリュームレンダリングを実行する。

操作者が操作入力部１０により平行投影法を選択した場合は、平行投影画像生成部９ａにより３次元画像データが生成される。平行投影画像生成部９ａにより３次元画像データを生成する場合は、視線方向が操作入力部１０から操作者によって指定され、その指定された方向に従ってボリュームレンダリングを実行することにより３次元画像データを生成する。

一方、操作者が操作入力部１０により透視投影法を選択した場合は、透視投影画像生成部９ｂにより３次元画像データが生成される。透視投影画像生成部９ｂにより３次元画像データを生成する場合は、視点４００の位置及び視線方向が操作入力部１０から操作者によって指定され、その視点４００の位置及び視線方向に従ってボリュームレンダリングを実行することにより３次元画像データを生成する。例えば、診断部位が血管、腸又は気管支などの管状領域からなる場合は、透視投影画像生成部９ｂによりボリュームレンダリングが実行されると、図６に示すように、血管などの管状領域を内部から見たような仮想内視鏡的な３次元画像２９が生成されることになる。

画像生成部９は、生成した３次元画像データ（重畳画像データ）を表示制御部１１に出力する。表示制御部１１は、３次元画像を表示部１２に表示させる（ステップＳ１０）。

また、平行投影画像生成部９ａ又は透視投影画像生成部９ｂは、画像データ生成部８から出力されたボリュームデータとしての合成データを受け、ボリュームレンダリングを実行することにより、診断部位の外観を表す３次元画像データを生成しても良い。このとき、操作入力部１０からオパシティ（不透明度）などの画像生成条件が入力されると、画像生成部９はその画像生成条件に従ってボリュームレンダリングを実行する。そして、画像生成部９は生成した３次元画像データを、表示制御部１１を介して表示部１２に出力する。例えば、診断部位を血管などの管状領域である場合、図７に示すように血管構造３０の外観（形態画像）と、活性領域２１〜２７（機能画像）とが重畳された３次元画像が表示部１２のモニタ画面上に表示されることになる。

また、視線方向を自動的に決定することもできる。視線方向が自動的に決定されると、平行投影画像生成部９ａ又は透視投影画像生成部９ｂは、抽出された活性領域ごとに視線方向を自動的に変えて３次元画像データを生成する。ここで、視線方向を自動的に決定する方法について、図８を参照しつつ説明する。図８は、視線方向を決定するための方法を説明するための図である。

画像生成部９は、機能画像解析部７により抽出された活性領域を表す機能画像データ（ボリュームデータ）を受け、その機能画像データから個々の活性領域の重心を求める（ステップＳ０５）。図８に示すように、例えば、活性領域２１の重心Ｇを求める。そして、画像生成部９は、その重心を中心とする球２１ａを求め（ステップＳ０６）、その球２１ａの半径を変化させることにより、活性領域２１内で球２１ａの中心から最も遠い点Ｆを求める。そして、その最遠点Ｆと球２１ａの中心Ｇを結ぶ線分ＦＧを通る平面上で、活性領域２１の断面積が最も大きくなる断面２１ｂを求める（ステップＳ０７）。そして、画像生成部９は、この断面２１ｂに垂直な方向を視線方向と決定し、その方向からボリュームレンダリングを行って３次元画像データを生成する。（ステップＳ０９）。画像生成部９は、機能画像解析部７により抽出された他の活性領域２２及び活性領域２３についても、ステップＳ０５〜ステップＳ０９の処理を実行することにより、各活性領域に対する視線方向を決定し、その視線方向からボリュームレンダリングを行って複数の３次元画像データを生成する。

例えば、図９に示すように、活性領域２１の断面２１ｂに垂直な方向Ａを視線方向とし、平行投影法又は透視投影法によるボリュームレンダリングを実行することにより、３次元画像データを生成する。活性領域２２、２３についても同様に、活性領域の断面２２ｂ、２３ｂに垂直な方向Ｂ、Ｃを視線方向とし、ボリュームレンダリングを実行することにより、それぞれ３次元画像データを生成する。

また、このボリュームレンダリングに際して、公知のクリッピング処理を行うことにより、活性領域２１、２２、２３と、ボリュームデータの外部にある視点との間にある画像を表示させなくても良い。このクリッピング処理は画像生成部９により実行され、図９に示す例においては、面積が最大となる断面２１ｂ、２２ｂ、２３ｂが表示部１２に表示されるように、画像生成部９は、断面２１ｂに平行なクリップ面２１ｃを設定し、断面２２ｂに平行なクリップ面２２ｃを設定し、クリップ面２３ｂに平行なクリップ面２３ｃを設定する。そして、画像生成部９は、クリップ面２１ｃ、２２ｃ、２３ｃを境に、クリップ面２１ｃ、２２ｃ、２３ｃと、ボリュームデータの外部にある視点との間にあるボリュームデータを除去し、その後、ボリュームレンダリングを実行することにより、３次元画像データを生成する。そして、表示制御部１１は画像生成部９により生成された３次元画像を表示部１２に表示させる。つまり、表示制御部１１は、ボリュームデータ外部にある視点と活性領域との間にある３次元画像を非表示にし、それ以外の３次元画像を表示部１２に表示させることになる。これにより、活性領域２１、２２、２３の手前側にある画像が除去され、活性領域２１などを観察することが可能となる。

また、クリッピング処理を行う範囲を決定する方法として、画像生成部９は、ボリュームデータの外部にある視点と断面２１ｂなどの重心Ｇとを結ぶ線を半径とする球を求め、その球内にある画像を除去して３次元画像データを生成しても良い。そして、表示制御部１１は画像生成部９により生成された３次元画像を表示部１２に表示させる。つまり、表示制御部１１は、上記球の領域に含まれる３次元画像を非表示にし、それ以外の３次元画像を表示部１２に表示させることになる。このように、自動的にクリッピングする領域を決定し、画像を除去して、注目すべき活性領域を表示することができるため、操作者は自らクリッピング処理の作業を行って活性領域を探す必要がなく、簡便に活性領域の画像を観察することが可能となる。

表示制御部１１は、平行投影画像生成部９ａ又は透視投影画像生成部９ｂにより生成された３次元画像データを受け、それらを表示部１２に出力し、表示部１２に３次元画像を表示させる（ステップＳ１０）。上述したように、画像生成部９により、視線方向が自動的に決定されて、断面２１ｂに垂直な方向、断面２２ｂに垂直な方向及び断面２３ｂに垂直な方向を視線方向として複数の３次元画像データが生成されると、表示制御部１１は、それら３次元画像データを受けて、表示部１２に複数の３次元画像を表示させる。表示部１２のモニタ画面上に表示された３次元画像を図１０に示す。図１０は、表示部１２のモニタ画面を示す図である。表示制御部１１は、例えば、図１０（ａ）に示すように、表示部１２のモニタ画面１２ａ上で３次元画像３１が占める領域を小さくして、複数の３次元画像３１を同時に表示させる。つまり、表示制御部１１は複数の３次元画像をサムネイル画像として、複数の３次元画像を表示部１２のモニタ画面１２ａ上にサムネイル表示させる。上述したように、視線方向が自動的に決定されて複数の３次元画像データが生成された場合は、それら３次元画像を同時に表示させる。

また、外観を表す３次元画像データが生成された場合は、表示制御部１１はその外観を表す３次元画像データを受け、図１０（ｂ）に示すように、表示部１２のモニタ画面１２ａ上に、図７に示すような血管構造３０の外観を表す３次元画像（形態画像）と、複数の３次元画像３１とを同時に表示させても良い。

また、上記の表示形態に限らず、表示制御部１１による制御により、表示部１２のモニタ画面１２ａ上に、１つの３次元画像のみを表示させても良い。また、モニタ画面１２ａ上に表示された複数の３次元画像３１から操作者により画像が選択されると、操作入力部１０から表示制御部１１にその選択を示す情報が出力され、表示制御部１１は選択された３次元画像を拡大して表示部１２に表示させても良い。

以上のように、物理量閾値に基づいて、機能画像データから注目すべき活性領域を抽出し、その活性領域ごとに視線方向を変えて生成した複数の重畳画像を同時に表示部１２に表示させることにより、注目すべき活性領域を表す画像を検索する時間を削減することができるため、効率的に読影、診断を行うことが可能となる。また、注目すべき活性領域を表す複数の重畳画像を同時に表示部１２に表示させることにより、医師などに対して十分な診断情報を提供することが可能となる。

また、診断部位が動く場合であって、医用画像診断装置により、時系列的な機能画像データ又は形態画像データが収集された場合は、画像生成部９は、透視投影法によるボリュームレンダリングを実行する際に、視点４００の位置を固定させてレンダリングを実行することにより、３次元画像データを生成しても良く、画像データの動きに合わせて視点４００を移動させて、視点４００と活性領域との間の距離を一定に保つようにしても良い。詳しく説明すると、ボリュームデータの座標系上において視点４００の絶対的な位置を固定してレンダリングを実行しても良く、又は、視点４００と活性領域との相対的位置を固定してレンダリングを実行しても良い。座標系に視点４００の絶対的な位置を固定した場合は、診断部位が動くことにより、視点４００と活性領域との距離が変化することになり、その状態でレンダリングを実行することになる。一方、診断部位の動作に合わせて視点４００を移動させて、視点４００と活性領域との相対的位置を固定させた場合は、視点４００と活性領域との距離が一定に保たれることになり、その状態でレンダリングが実行されることになる。つまり、診断部位の動きに合わせて、画像生成部９は、活性領域と視点４００との間の距離を一定に保つように視点４００の位置を変え、各位置においてボリュームレンダリングを実行し、３次元画像データを得ても良い。

［第２の実施の形態］
この発明の第２の実施形態に係る画像処理装置の構成について図１１を参照しつつ説明する。図１１は、この発明の第２の実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。この第２の実施形態に係る画像処理装置は、第１の実施形態に係る画像処理装置に加えて、表示優先度決定部１３が備えられている。

この第２の実施形態では、機能画像解析部７は、ボリュームデータとしての機能画像データから注目すべき活性領域を表すボリュームデータを抽出した後、その抽出したボリュームデータとしての機能画像データを表示優先度決定部１３に出力する。

表示優先度決定部１３は、抽出された活性領域を表すボリュームデータを受けると、予め選択された優先度決定パラメータに基づいて、活性領域の３次元画像データを表示部１２に表示させる際の、その表示の優先順位を決定する。この優先度決定パラメータは、例えば、抽出された活性領域の体積、活性レベル又はボクセル値などが該当し、予め操作者により選択されるものである。

例えば、操作者により活性領域の体積が選択された場合は、表示優先度決定部１３は体積を基準として表示の優先順位を決定する。この場合、表示優先度決定部１３は機能画像解析部７から出力されたボリュームデータに基づいて、抽出された各活性領域の体積を算出し、体積が大きい活性領域ほど表示の優先度を高くする。つまり、体積が大きい活性領域から順番に表示されるように、体積が大きい活性領域の表示優先度を高める。そして、表示優先度決定部１３は、各活性領域の表示優先度を決定し、各活性領域に対する表示優先度を示す情報を画像生成部９に出力する。このように、活性領域の体積などに基づいて、各活性領域の表示優先度を決定することにより、注目すべき活性領域の画像を優先的に表示することが可能となる。

画像生成部９は、表示優先度決定部１３から出力された表示優先度を示す情報を受け、更に、第１の実施形態と同様に画像データ合成部８から出力されたボリュームデータとしての合成データを受けて、抽出された活性領域を観察するための３次元画像データを、上記の表示優先度に従って順次、生成する。そして画像生成部９は、生成した３次元画像データを順次、表示制御部１１に出力する。表示制御部１１は、画像生成部９から３次元画像データを受け、表示優先度に従って、順次、表示部１２に３次元画像を表示させる。

（動作）
次に、この発明の第２の実施形態に係る画像処理装置の動作について図１１乃至図１４を参照しつつ説明する。図１２は、この発明の第２の実施形態に係る画像処理装置の動作を順番に示すフローチャートである。

まず、第１の実施形態と同様に、機能画像制御部５によりボリュームデータとしての機能画像データが生成され、形態画像制御部６によりボリュームデータとしての形態画像データが生成される（ステップＳ２１）。そして、機能画像制御部５は、ボリュームデータとしての機能画像データを、画像データ合成部８と機能画像解析部７に出力する。また、形態画像制御部６は、ボリュームデータとしての形態画像データを画像データ合成部８に出力する。

機能画像解析部７は、第１の実施形態と同様に、ボリュームデータとしての機能画像データを受けると、予め操作者により決定された物理量閾値に基づいて、注目する活性領域を表すボリュームデータを抽出する（ステップＳ２２）。第１の実施形態と同様に、所定の活性レベル以上又はボクセル値以上の活性領域を表すボリュームデータを抽出する。これにより、注目すべき活性領域が抽出されることになる。第１の実施形態と同様、図１３に示すように、活性領域２１、２２、２３を表すボリュームデータを抽出する。このようにして抽出されたボリュームデータは、機能画像解析部７から表示優先度決定部１３に出力される。

表示優先度決定部１３は、抽出された活性領域を表すボリュームデータを受けると、予め選択された優先度決定パラメータに基づいて、表示部１２における表示の優先順位を決定する（ステップＳ２３）。この優先度決定パラメータは、例えば、抽出された活性領域の体積やボクセル値や活性レベルなどが該当し、予め操作者により選択されるものである。

例えば、活性領域の体積に基づいて表示の優先順位を決定する場合、表示優先度決定部１３はボリュームデータに基づいて、抽出された各活性領域の体積を算出し、体積が大きい活性領域ほど表示の優先順位を高くする。つまり、体積が大きい活性領域から順番に表示されるように、体積が大きい活性領域の表示優先順位を高める。例えば、活性領域２１の体積が１番大きい場合は、図１３に示すように、活性領域２１を最優先の活性領域と決定する。その他の活性領域２２、２３についても表示の優先順位を決定する。そして、表示優先度決定部１３は、各活性領域に対する表示優先順位を決定し、その表示優先順位を示す情報を画像生成部９に出力する。また、ボクセル値や活性レベルに基づいて表示優先順位を決定する場合は、表示優先度決定部１３は、ボクセル値が大きい順に表示優先順位を高くしたり、活性領域の活性レベルが高い順に表示優先順位を高くして、各活性領域の表示優先順位を決定する。このように、活性領域の体積や活性レベルなどに基づいて、表示の順番を決めることにより、注目すべき活性領域を優先的に表示させることができ、そのことにより、注目すべき活性領域を探索する時間を削減することができる。

また、第１の実施形態と同様に、画像データ合成部８にて機能画像データ（ボリュームデータ）と形態画像データ（ボリュームデータ）とが合成されて、合成データ（ボリュームデータ）が生成され（ステップＳ２４）、この合成データは画像生成部９に出力される。

画像生成部９は、画像データ合成部９からボリュームデータとしての合成データを受け、更に、表示優先度決定部１３から各活性領域に対する表示優先順位を示す情報を受け、平行投影画像生成部９ａ又は透視投影画像生成部９ｂによりボリュームレンダリングを実行することにより、３次元画像データを生成する（ステップＳ２５）。このとき、画像生成部９は、表示優先順位に従って順次、３次元画像データを生成し、表示制御部１１に各３次元画像データを出力する。例えば、活性領域２１の表示優先順位が１番、活性領域２２の表示優先順位が２番、活性領域２３の表示優先順位が３番であった場合、画像生成部９は、その順番に従って各活性領域の３次元画像データを順次、生成し、表示制御部１１に出力する。表示制御部１１は、表示優先順位に従って、３次元画像を順次、表示部１２に表示させる（ステップＳ３１）。なお、画像生成部９は、最優先の活性領域についてのみ、３次元画像データを生成し、表示制御部１１は、最優先の３次元画像データのみを表示手段１２に表示させても良い。

ボリュームレンダリングを実行するにあたって、操作入力部１０から操作者によって視点及び視線方向を指定しても良く、第１の実施形態において図８及び図９を参照して説明したように、各活性領域の断面積が最大となる断面に垂直な方向を視線方向と決定することにより、自動的に視線方向を決定しても良い。なお、第１の実施形態と同様に、操作者により平行投影法又は透視投影法が選択されて、ボリュームレンダリングが実行される。

自動的に視線方向を決定する場合、画像生成部９は、抽出された活性領域を表す機能画像データ（ボリュームデータ）から、個々の活性領域の重心Ｇを求める（ステップＳ２６）。図８に示すように、例えば活性領域２１の重心Ｇを求める。そして、画像生成部９は、その重心を中心とする球２１ａを求め（ステップＳ２７）、その球２１ａの半径を変化させることにより、活性領域２１内で球２１ａの中心から最も遠い点Ｆを求める。そして、その最遠点Ｆと球２１ａの中心Ｇを結ぶ線分ＦＧを通る平面上で、活性領域２１の断面積が最も大きくなる断面２１ｂを求める（ステップＳ２８）。そして、画像生成部９は、この断面２１ｂに垂直な方向を視線方向と決定し（ステップＳ２９）、その方向からボリュームレンダリングを行って３次元画像データを生成する。（ステップＳ３０）。画像生成部９は、機能画像解析部７により抽出された他の活性領域２２及び活性領域２３についても、ステップＳ２６〜ステップＳ３０の処理を実行することにより、各活性領域に対する視線方向を決定し、その視線方向からボリュームレンダリングを行って複数の３次元画像データを生成する。

上記のように各活性領域に対する視線方向が決定されると、図１４に示すように、画像生成部９は、活性領域ごとに視線方向を変えてボリュームレンダリングを実行する。画像生成部９は、例えば、活性領域２１に対しては、方向Ａ（断面２１ｂに垂直な方向）をボリュームレンダリングにおける視線方向と決定し、その方向からボリュームレンダリングを行って３次元画像データを生成する。また、画像生成部９は、活性領域２２に対しては方向Ｂ（断面２２ｂに垂直な方向）を視線方向と決定し、活性領域２３に対しては方向Ｃ（断面２３ｂに垂直な方向）を視線方向と決定して、それらの方向からボリュームレンダリングを実行することにより、３次元画像データを生成する。これにより、複数の視線方向が自動的に決定され、それぞれの方向からの３次元画像データが生成される。また、第１の実施形態と同様に、いわゆるクリッピング処理を行って、視点と活性領域との間に存在する画像を表示しなくても良い。図１４に示すように、クリップ面２１ｃ、２２ｃ、２３ｃなどを設定し、そのクリップ面を境に画像を除去することにより、活性領域２１などを観察することが可能となる。

そして、画像生成部９は、方向Ａ、方向Ｂ、方向Ｃを視線方向として生成した複数の３次元画像データを順次、表示制御部１１に出力する。そして、表示制御部１１は、上記表示優先度に従って順次、３次元画像データを表示部１２に出力し、表示部１２に表示優先度の順番に３次元画像を表示させる（ステップＳ３１）。

優先度決定部１３により、活性領域２１の表示優先順位が１番、活性領域２２の表示優先順位が２番、活性領域２３の表示優先順位が３番と決定された場合、表示制御部１１は、１番目に、方向Ａを視線方向として生成した３次元画像を表示部１２に表示させ、２番目に方向Ｂを視線方向として生成した３次元画像を表示部１２に表示させ、３番目に方向Ｃを視線方向として生成した３次元画像を表示部１２に表示させる。これにより、図１４に示すように、視点が方向Ａから方向Ｂへ移動し、更に方向Ｂから方向Ｃへ移動しているかのように、３次元画像が表示される。

例えば、表示制御部１１は、表示優先度が１番高い活性領域に対する方向Ａを視線方向として生成した３次元画像を１番目に表示部１２に表示させ、操作入力部１０により操作者が画像表示更新の命令（視点移動命令）を与えた場合、表示制御部１１はその指示を受けて、優先順位が次に高い活性領域に対する方向Ｂを視線方向として生成した３次元画像を表示部１２に表示させて、画像を更新する。さらに画像表示更新の命令（視点移動命令）が与えられると、表示制御部１１は、方向Ｃを視線方向として生成した３次元画像を表示部１２に表示させる。このように、方向を変えた３次元画像が順次、表示部１２に表示されるため、視点が移動しているかのように３次元画像が表示される。

また、操作者からの指示を待たずに、所定の時間が経つと自動的に画像を更新しても良い。この場合、表示制御部１１は、カウンタを備えて時間を計測し、所定時間経過後に、次の活性領域を表す３次元画像を表示部１２に表示させる。これにより、表示優先順位が高い３次元画像から順次、表示優先順位が低い３次元画像へ画像が更新されて表示される。

このように、活性領域の活性レベルや体積などに基づいて表示優先順位を決定し、その表示優先順位に従って視線方向を変えて重畳画像を作成して順次、表示することにより、注目すべき活性領域を優先的に表示して観察することが可能となる。そのことにより、注目すべき活性領域を探索する時間を削減することができるため、効率的に読影、診断を行うことが可能となる。

なお、第１の実施形態において図１０（ａ）、（ｂ）を参照して説明したように、複数の３次元画像３１を同時に表示部１２のモニタ画面１２ａ上に表示させても良く、診断部位の外観を表す３次元画像３０とともに複数の３次元画像３１を表示しても良い。例えば、表示制御部１１は複数の３次元画像をサムネイル画像として、複数の３次元画像を表示部１２のモニタ画面１２ａ上にサムネイル表示させる。さらに、表示制御部１１は、表示部１２に表示させた複数の３次元画像から、表示優先順位が最も高い３次元画像を拡大して表示部１１に表示させ、次に、操作者からの表示更新命令（視点移動命令）を受けたとき、又は、所定時間が経過した後、表示優先順位が最も高い３次元画像に換えて次に表示優先順位が高い３次元画像を拡大して表示部１２に表示させても良い。

また、表示制御部１１は、図１５に示すように、表示部１２のモニタ画面上に、診断部位の外観を表す３次元画像３０を表示させるとともに、複数の３次元画像３１ａ、３１ｂ、３１ｃ、・・・を、外観を表す３次元画像３０に隣接する位置に割り当てて表示させても良い。例えば、表示制御部１１は、各３次元画像３１ａ、３１ｂ、・・・をそれらに対応する各活性領域２１〜２７の画像から吹き出しのように表示部１２に表示させる。具体的には、表示制御部１１は、活性領域２１について生成された３次元画像３１ａを、活性領域２１の画像から吹き出しのように表示部１２に表示させ、活性領域２４について生成された３次元画像３１ｂを、活性領域２４の画像から吹き出しのように表示部１２に表示させる。その他の活性領域についても同様に表示部１２に表示させる。これにより、各活性領域２１〜２７と、それらに対して生成された３次元画像３１ａ、３１ｂ、・・・との対応関係が明瞭になり、効率的に読影を行うことが可能となる。

また、診断部位が動く場合であって、時系列的な機能画像データ及び形態画像データが収集された場合は、第１の実施形態と同様に、画像生成部９は、診断部位の動きに合わせて視点４００の位置を変えて、視点４００と活性領域との間の距離を一定に保ち、各位置においてボリュームレンダリングを実行することにより、３次元画像データを生成する。また、視点４００を固定してボリュームレンダリングを実行しても良い。

［第３の実施の形態］
この発明の第３の実施形態に係る画像処理装置の構成について図１６を参照しつつ説明する。図１６は、この発明の第３の実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。この第３の実施形態に係る画像処理装置は、第２の実施形態に係る画像処理装置に加えて、形態画像解析部１４を備えている。この第３の実施形態においては、いわゆる仮想内視鏡表示を実行する場合について説明する。

この第３の実施形態では、形態画像解析部１４は、ボリュームデータとしての形態画像データから管状領域（例えば、血管、腸、気管支など）のボリュームデータを抽出し（セグメンテーション）、更に、抽出した管状領域を表すボリュームデータに対して細線化処理を施す。細線化された管状領域のボリュームデータは、表示優先度決定部１５に出力される。また、第１及び第２の実施形態と同様に、抽出された活性領域を表すボリュームデータ（機能画像データ）が機能画像解析部７から表示優先度決定部１５に出力される。

表示優先度決定部１５は、抽出された活性領域を表すボリュームデータと、抽出され、細線化された管状領域を表すボリュームデータとを受けると、仮想内視鏡的に画像を生成し、表示する経路の優先順位を決定する。例えば、管状領域が枝分れして、複数の経路（管状領域）に分かれている場合に、表示優先度決定部１５は、画像を生成して表示する経路の順番を決定する。具体的には、表示優先度決定部１５は、活性領域を表すボリュームデータ（機能画像データ）と管状領域を表すボリュームデータ（形態画像データ）とを位置合わせをして画像データを合成する。そして、複数に枝分れしている管状領域から個々の経路を抽出し、抽出された個々の経路に対して、抽出された活性領域との間の距離や、各経路の周囲に存在する活性領域の数や、活性領域のボクセル値や、その活性領域の活性レベルなどを求める。そして、表示優先度決定部１５は、求めた距離や個数などに基づいて、仮想内視鏡的に画像を生成して表示する経路の順番を決定する。例えば、活性領域との距離が短く、周囲に存在する活性領域の数が多い経路（管状領域）ほど、優先順位を高くする。このように、機能画像データと形態画像データとを合成し、活性領域との距離や数に基づいて表示優先順位を決定することにより、注目すべき経路に沿った３次元画像を優先的に表示させることが可能となる。

表示優先度決定１５は、優先順位を示す情報を画像生成部９に出力する。画像生成部９は、画像データ合成部８から出力された合成データ（ボリュームデータ）に対してボリュームレンダリングを実行する際に、上記優先順位に従って、優先順位が高い経路（管状領域）に沿ってボリュームレンダリングを実行し、３次元画像データを生成する。特に、仮想内視鏡表示を実行する場合は、透視投影画像生成部９ｂが透視投影法によるボリュームレンダリングを実行し、仮想内視鏡的な３次元画像を生成する。

（動作）
次に、この発明の第３の実施形態に係る画像処理装置の動作について図１６乃至図２１を参照しつつ説明する。図１７は、この発明の第３の実施形態に係る画像処理装置の動作を順番に示すフローチャートである。

まず、第１の実施形態と同様に、機能画像制御部５はボリュームデータとしての機能画像データを生成し、形態画像制御部６はボリュームデータとしての形態画像データを生成する（ステップＳ４１）。これらのボリュームデータは、画像データ合成部８に出力され、第１の実施形態と同様に、機能画像データ（ボリュームデータ）と形態画像データ（ボリュームデータ）とが合成されて、合成データ（ボリュームデータ）が生成される（ステップＳ４２）。画像データ合成部８は、この合成データを画像生成部９に出力する。

一方、機能画像制御部５により生成されたボリュームデータとしての機能画像データは、機能画像解析部７にも出力される。第１及び第２の実施形態と同様、機能画像解析部７は、図１８に示すように、機能画像データ（ボリュームデータ）２０から、予め決定された物理量閾値に基づいて活性領域２１、２２、２３を抽出する（ステップＳ４３）。そして、機能画像解析部７は、抽出した活性領域のボリュームデータを表示優先度決定部１５に出力する。

また、形態画像制御部６により生成されたボリュームデータとしての形態画像データは、形態画像解析部１４にも出力される。形態画像解析部１４は、図１８に示すように、形態画像データ（ボリュームデータ）２８から血管などの管状領域２９のボリュームデータを抽出する（ステップＳ４３）。さらに、表示優先度決定部１５における処理を簡便に行うために、形態画像解析部１４は、抽出した管状領域を細線化し、仮想内視鏡的な画像を生成して表示する際の経路３０を抽出する（ステップＳ４４）。そして、形態画像解析部１４は、細線化した経路（管状領域）３０を表すボリュームデータを表示優先度決定部１５に出力する。

表示優先度決定部１５は、抽出された活性領域を表すボリュームデータと、細線化された経路（管状領域）を表すボリュームデータを受けると、仮想内視鏡表示を行う際の経路の順番を決定する。この順番を決定するために、図１８に示すように、表示優先度決定部１５は、活性領域を表すボリュームデータ（機能画像データ）と、細線化された経路を表すボリュームデータ（形態画像データ）との位置合わせを行い、合成データ（ボリュームデータ）４０を生成する。

さらに、表示優先度決定部１５は、複数に枝分れしている経路（管状領域）から個々の経路を抽出する（ステップＳ４５）。図１８に示す例においては、経路３０は、１つの始点ａに対して６つの終点ｂ〜ｇが存在するため、表示優先度決定部１５はその経路３０から６本の経路３０ａ〜３０ｆを抽出する。

そして、表示優先度決定部１５は、個々の経路３０ａ〜３０ｆに対して、活性領域２１〜２３との間の距離や、周囲に存在する活性領域の数や、活性領域のボクセル値や、その活性領域の活性レベルなどを求め、表示優先順位を決定する（ステップＳ４６）。図１８に示す例においては、活性領域との距離やその数などから、表示優先度決定部１５は経路３０ｄを最優先経路と決定し、更に、その経路３０ｄの次に表示すべき経路の順位を決定していく。この例においては、６本の経路が抽出さるため、各経路に対して１番目〜６番目までの優先順位を決定していく。このように、活性領域との距離や数に基づいて経路の表示優先度を決定することにより、注目すべき経路に沿った画像を優先的に表示することが可能となる。

表示優先度決定部１５は、決定した表示優先度を示す情報を画像生成部９に出力する。仮想内視鏡表示を行う場合、透視投影画像生成部９ｂが、画像データ合成部８から出力された合成データ（ボリュームデータ）を受け、上記表示優先順位に従って、各経路に沿って透視投影法によるボリュームレンダリングを実行して仮想内視鏡的な３次元画像データを生成する（ステップＳ４７）。

画像生成部９は、生成した３次元画像データを表示制御部１１に出力する。表示制御部１１は、経路に沿って生成された３次元画像データを、表示の優先順位に従って表示部１２に表示させる（ステップＳ４８）。これにより、図６に示すような、血管などの管状領域を内部から見たような仮想内視鏡的な３次元画像が表示部１２に表示されることになる。

図１９（ａ）、（ｂ）に、仮想内視鏡表示を行う経路を示す。ステップＳ４６における処理により、経路３０ｄが最優先経路であると決定されたため、画像生成部９の透視投影画像生成部９ｂはその経路３０ｄに沿ってボリュームレンダリングを実行することにより、経路３０ｄに沿って、始点ａから終点ｅまでの仮想内視鏡的な３次元画像データを生成する。このとき、操作者により視点４００とボリュームデータとの間の距離が指定され、その視点４００から放射状に延びるレイ３００により、投影面２００に３次元画像を形成する。透視投影画像生成部９ｂは、例えば、経路３０ｄの断面に垂直な方向を視線方向としてボリュームレンダリングを実行することにより、視点が管状領域の内面にあるかのような３次元画像データを生成する。

以上のように、機能画像データと形態画像データとを合成し、活性領域に基づいて経路の表示優先順位を決定することにより、注目すべき経路に沿った３次元画像を優先的に生成して表示することが可能となる。換言すると、機能画像に基づいて注目すべき経路が自動的に決定されるため、活性領域を探索する時間を削減することができ、効率的に診断を行うことができる。また、管状領域の分岐点で経路を指定する必要がなく、注目すべき経路に沿って自動的に３次元画像データが生成されて表示されるため、効率的に診断を行うことが可能となる。

また、経路３０ｄの始点ａから終点ｅまでの３次元画像データを生成する場合、予め設定された所定間隔ごとに透視投影画像生成部９ｂにより３次元画像データを生成し、表示部１２のモニタ画面上に３次元画像を表示しても良い。つまり、図１９（ａ）に示す経路３０ｄにおいて、活性領域２１、２４、２２、２７間においても所定間隔ごとに３次元画像データを順次、生成して表示する。この間隔を短くすることにより、視点が連続的に移動しているかのように３次元画像が表示部１２に表示される。この場合、透視投影画像生成部９ｂは、経路３０ｄに沿って所定間隔ごとに仮想内視鏡的な３次元画像データを生成し、順次、表示制御部１１に出力する。表示制御部１１は順次、表示部１２に３次元画像データを出力して表示部１２に３次元画像を表示させる。

また、経路３０ｄに沿って存在する活性領域ごとに３次元画像データを生成して表示しても良い。例えば、図１９（ｂ）に示すように、経路３０ｄに沿って、活性領域２１、２４、２２、２７が存在しているため、画像生成部９は、それら活性領域ごとに３次元画像データを生成する。例えば、図１９（ｂ）に示すように、観察点１において透視投影画像生成部９ｂがボリュームレンダリングを実行することにより３次元画像データを生成する。そして、次に、観察点２、続いて、観察点３、観察点４において透視投影画像生成部９ｂがボリュームレンダリングを実行することにより各観察点における３次元画像データを生成する。生成された３次元画像データは順次、表示制御部１１に出力され、表示制御部１１は、生成された順番に従って３次元画像を表示部１２に表示させる。このように、活性領域ごとに３次元画像データを生成することで、活性領域間においては、３次元画像データは生成されない。例えば、観察点１と観察点２との間において画像データは生成されず、観察点２と観察点３との間、観察点３と観察点４との間において画像データは生成されない。これにより、視点が離散的に移動しているかのように３次元画像が表示部１２に表示される。

また、第２の実施形態と同様に、表示制御部１１は、経路に沿って生成された３次元画像を、操作入力部１０により操作者が画像表示の更新命令（視点移動命令）を与えた場合に、その更新命令に従って、順次、３次元画像を表示部１２に表示させても良い。また、操作者からの指示を待たずに、所定の時間が経つと自動的に画像を更新しても良い。

また、第１及び第２の実施形態と同様に、診断部位の外観を表す３次元画像を仮想内視鏡的な３次元画像とともに表示部１２のモニタ画面１２ａ上に表示させても良い。この場合、平行投影画像生成部９ａ又は透視投影画像生成部９ｂのいずれかにより、外観を表す３次元画像データを生成し、表示制御部１１は表示部１２に表示させる。例えば、表示制御部１１は、画像生成部９により経路３０ｄに沿って生成された複数の仮想内視鏡的な３次元画像データを受けて、図２０に示すように、表示部１２のモニタ画面１２ａ上に複数の内視鏡的な３次元画像３２を同時に表示させる。つまり、表示制御部１１は、経路３０ｄに沿って生成された複数の仮想内視鏡的な３次元画像を、順次、表示部１２に表示させるのではなく、同時に表示させる。例えば、表示制御部１１は複数の仮想内視鏡的な３次元画像をサムネイル画像として、それらを表示部１２のモニタ画面１２ａ上にサムネイル表示させる。さらに、表示制御部１１は、図２０に示すように、複数の３次元画像３２とともに、血管構造の外観を表す３次元画像３３を表示部１２に表示させる。これにより、同一のモニタ画面１２ａ上に、複数の仮想内視鏡的な３次元画像３２と、外観を表す３次元画像３３とが同時に表示される。なお、表示制御部１１は、外観を表す３次元画像３３を表示部１２に表示させずに、複数の仮想内視鏡的な３次元画像３２のみを表示部１２に表示させても良い。

さらに、表示制御部１１は、図２１に示すように、表示部１２のモニタ画面上に、診断部位の外観を表す３次元画像３３を表示させるとともに、複数の仮想内視鏡的な３次元画像３２ａ、３２ｂ、・・・を、外観を表す３次元画像３３に隣接する位置に割り当てて表示させても良い。例えば、表示制御部１１は、仮想内視鏡的な３次元画像３２ａ、３２ｂ、・・・をそれらに対応する活性領域２１などの画像から吹き出しのように表示部１２に表示させる。具体的には、表示制御部１１は、観察点１において生成された仮想内視鏡的な３次元画像３２ａを、活性領域２１の画像から吹き出しのように表示部２１に表示させ、観察点２において生成された仮想内視鏡的な３次元画像３２ｂを、活性領域２４の画像から吹き出しのように表示部１２に表示させる。観察点３、４についても同様に表示部１２に表示させる。これにより、視点を離散的に移動させて仮想内視鏡的な３次元画像を表示させる際に、各活性領域と、それらに対して生成された３次元画像３２ａ、３２ｂ、・・・との対応関係が明瞭になり、効率的に読影を行うことが可能となる。

複数の仮想内視鏡的な３次元画像３２を同時に表示することで、医師などに対して十分な診断情報を提供することが可能となる。

また、複数の内視鏡的な３次元画像を同時に表示部１２に表示させた場合に、第１及び第２の実施形態と同様に、操作者により画像が選択されると、表示制御部１１はその選択された３次元画像を拡大して表示部１２に表示させても良い。

さらに、表示制御部１１は、現在表示している仮想内視鏡的な３次元画像３２の経路３０ｄを他の経路と区別するために、図２０に示すように表示経路３０ｄに沿ったマーカ３４を、外観を表す３次元画像３３に重畳して表示部１２に表示させても良い。このように、表示している経路に沿ってマーカ３４を表示させることにより、医師などは、外観を表す画像上で、仮想内視鏡的な表示を行っている経路の判別が可能となる。また、表示制御部１１は、現在表示している経路３０ｄの表示色を他の経路の表示色と変えて表示部１２に表示させても良い。表示している経路が他の経路に変わると、それに伴って、表示制御部１１は、他の経路の表示色を変えて区別を図る。これによっても、現在表示している経路の判別が可能となる。

優先順位が最も高い経路３０ｄに沿って、始点ａから終点ｅまで３次元画像データが生成されて、表示されると、画像生成部９は、次に優先順位が高い経路に沿って、始点ａから終点まで３次元画像データを生成し、表示制御部１１の制御により、表示部１２に次の経路に沿った仮想内視鏡的な３次元画像を表示させる。例えば、表示優先度決定部１３が、２番目に優先順位が高い経路を経路３０ｃと決定した場合、画像生成部９は経路３０ｄと同様に、経路３０ｃに沿って始点ａから終点ｄまで３次元画像データを生成し、表示部１２に３次元画像を表示させる。そして、次に優先順位が高い経路に沿って３次元画像を生成して表示する。また、画像生成部９は、最優先の経路に沿った３次元画像データのみを生成し、表示制御部１１は、最優先の３次元画像データのみを表示部１２に表示させても良い。

また、始点ａから終点まで３次元画像データが生成されて表示された経路については、他の経路と区別するために、表示制御部１１は、表示色を他の経路の表示色と変えて表示部１２に表示させても良い。

また、各経路に沿って３次元画像データを生成し、表示する場合においても、各活性領域に対してそれぞれ視線方向を変えて３次元画像データを生成しても良い。つまり、第２の実施形態と同様に、活性領域ごとに異なる視線方向（例えば、図１４に示す方向Ａ、方向Ｂ、方向Ｃ）から見た３次元画像データを生成して、表示しても良い。これにより、経路に沿って生成された３次元画像では観察できない、深遠部の活性領域も短時間で観察することが可能となる。

また、診断部位が動く場合は、第１及び第２の実施形態と同様に、画像生成部９は、その動きに合わせて視点４００の位置を変えて、視点４００と活性領域との間の距離を一定に保ち、各位置においてボリュームレンダリングを実行することにより、３次元画像データを生成しても良い。また、視点４００の位置を固定してボリュームレンダリングを実行しても良い。

この発明の第１の実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。 ボリュームレンダリングにおける平行投影法と透視投影法を説明するための図である。 この発明の第１の実施形態に係る画像処理装置の動作を順番に示すフローチャートである。 ３次元ボリュームデータとしての機能画像データから注目する活性領域を抽出する処理を説明するための模式図である。 形態画像データと機能画像データとを合成する処理を説明するための模式図である。 透視投影法により生成された形態画像と機能画像との重畳画像である。 診断部位の外観を表す形態画像と機能画像との重畳画像である。 視線方向を決定する方法を説明するための図である。 各活性領域に対する視線方向を説明するための図である。 表示部のモニタ画面上に表示される、診断部位の外観を表す３次元画像と各活性領域の３次元画像とを示す図である。 この発明の第２の実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。 この発明の第２の実施形態に係る画像処理装置の動作を順番に示すフローチャートである。 各活性領域の３次元画像を表示する際の、各活性領域の表示優先順位を決定する処理を説明するための図である。 視点移動を説明するための図である。 表示部のモニタ画面上に表示される、診断部位の外観を表す３次元画像と各活性領域の３次元画像とを示す図である。 この発明の第３の実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。 この発明の第３の実施形態に係る画像処理装置の動作を順番に示すフローチャートである。 各経路に沿って３次元画像を表示する際の、各経路の優先順位を決定する処理を説明するための図である。 優先度に従って各経路に沿った３次元画像を表示する処理を説明するための図である。 表示部のモニタ画面上に表示される、診断部位の外観を表す３次元画像と各活性領域の３次元画像とを示す図である。 表示部のモニタ画面上に表示される、診断部位の外観を表す３次元画像と各活性領域の３次元画像とを示す図である。

符号の説明

１ 画像データ記憶部
２ 機能画像記憶部
３ 形態画像記憶部
４ 画像処理部
５ 機能画像制御部
６ 形態画像制御部
７ 機能画像解析部
８ 画像データ合成部
９ 画像生成部
９ａ 平行投影画像生成部
９ｂ 透視投影画像生成部
１０ 操作入力部
１１ 表示制御部
１２ 表示部
１３、１５ 表示優先度決定部
１４ 形態画像解析部

Claims (17)

1. 医用画像診断装置により収集された実空間のボリュームデータで表される機能画像データと、実空間のボリュームデータで表される形態画像データと、を合成する画像データ合成手段と、
   前記機能画像データから所望の活性領域を抽出する抽出手段と、
   前記合成されたボリュームデータに基づいて、前記所望の活性領域のそれぞれの特定の視線方向に沿って、機能画像と形態画像とが重畳された３次元画像データを生成する画像生成手段と、
   前記生成された複数の３次元画像を同時に表示手段に表示させる表示制御手段と、
   を有することを特徴とする画像処理装置。
2. 医用画像診断装置により収集された実空間のボリュームデータで表される機能画像データと、実空間のボリュームデータで表される形態画像データと、を合成する画像データ合成手段と、
   前記機能画像データから所望の活性領域を抽出する抽出手段と、
   前記抽出された所望の活性領域の３次元画像を表示手段に表示させる優先順位を決定する優先度決定手段と、
   前記合成されたボリュームデータに基づいて、前記所望の活性領域のそれぞれの特定の視線方向に沿って、少なくとも最優先の機能画像と形態画像とが重畳された３次元画像データを生成する画像生成手段と、
   前記生成された３次元画像を表示手段に表示させる表示制御手段と、
   を有することを特徴とする画像処理装置。
3. 前記表示制御手段は、前記生成された複数の３次元画像を、前記優先順位に従って順次、表示手段に表示させることを特徴とする請求項２に記載の画像処理装置。
4. 前記優先度決定手段は、前記所望の活性領域の体積又は前記所望の活性領域のボクセル値に基づいて、前記優先順位を決定することを特徴とする請求項２又は請求項３のいずれかに記載の画像処理装置。
5. 医用画像診断装置により収集された実空間のボリュームデータで表される機能画像データと、実空間のボリュームデータで表される形態画像データと、を合成する画像データ合成手段と、
   前記機能画像データから所望の活性領域を抽出し、更に、前記形態画像データから枝状の構造からなる管状領域を抽出する抽出手段と、
   前記管状領域を形成する各枝を経路として、前記管状領域を複数の経路に分け、各経路の周辺に存在する活性領域に基づいて、前記経路を表示手段に表示させる優先順位を決定する優先度決定手段と、
   前記合成されたボリュームデータに基づき、少なくとも最優先の経路に沿い、特定の視線方向に沿って、機能画像と形態画像とが重畳された３次元画像データを生成する画像生成手段と、
   前記生成された３次元画像を表示手段に表示させる表示制御手段と、
   を有することを特徴とする画像処理装置。
6. 前記表示制御手段は、前記優先順位に従って順次、前記経路に沿った３次元画像を表示手段に表示させることを特徴とする請求項５に記載の画像処理装置。
7. 前記優先度決定手段は、前記各経路から前記活性領域までの距離、前記活性領域の数又はボクセル値に基づいて、前記優先順位を決定することを特徴とする請求項５又は請求項６のいずれかに記載の画像処理装置。
8. 前記画像生成手段は、前記経路に沿って、予め決定された所定間隔で機能画像と形態画像とが重畳された３次元画像データを生成し、
   前記表示制御手段は、前記所定間隔で生成された３次元画像を、順次又は同時に、表示手段に表示させることを特徴とする請求項５乃至請求項７のいずれかに記載の画像処理装置。
9. 前記画像生成手段は、前記経路に沿って、前記所望の活性領域ごとに機能画像と形態画像とが重畳された３次元画像データを生成し、
   前記表示制御手段は、前記所望の活性領域ごとに生成された３次元画像を、順次又は同時に、表示手段に表示させることを特徴とする請求項５乃至請求項７のいずれかに記載の画像処理装置。
10. 前記表示制御手段は、機能画像と形態画像とが重畳された３次元画像をサムネイル画像として前記表示手段にサムネイル表示させることを特徴とする請求項５乃至請求項９のいずれかに記載の画像処理装置。
11. 前記画像データ合成手段は、前記機能画像データと前記形態画像データとを、同一空間上に配置することを特徴とする請求項１乃至請求項１０のいずれかに記載の画像処理装置。
12. 前記表示制御手段は、操作者により与えられる表示更新命令に従って、前記３次元画像を順次更新して表示手段に表示させることを特徴とする請求項２乃至請求項１１のいずれかに記載の画像処理装置。
13. 前記画像生成手段は、前記合成されたボリュームデータに対して平行投影法及び／又は透視投影法によるボリュームレンダリングを実行することにより３次元画像データを生成することを特徴とする請求項１乃至請求項１２のいずれかに記載の画像処理装置。
14. 前記機能画像データ及び前記形態画像データは、時系列的な画像データからなり、
    前記画像生成手段は、ボリュームレンダリング実行の際の視点の位置を固定させ、又は、前記視点と前記活性領域との間の距離を一定に保つように前記視点を移動させて、透視投影法によるボリュームレンダリングを実行することにより３次元画像データを生成することを特徴とする請求項１乃至請求項１２のいずれかに記載の画像処理装置。
15. 前記画像生成手段は、前記活性領域において面積が最大となる断面を求め、前記断面に垂直な方向を前記特定の視線方向としてボリュームレンダリングを実行することにより３次元画像データを生成することを特徴とする請求項１乃至請求項１４のいずれかに記載の画像処理装置。
16. 前記画像生成手段は前記ボリュームデータの外に視点を設定して３次元画像データを生成し、
    前記表示制御手段は、前記視点と前記活性領域との間にある３次元画像以外の３次元画像を前記表示手段に表示させることを特徴とする請求項１乃至請求項１５のいずれかに記載の画像処理装置。
17. 前記画像生成手段は３次元画像データを生成するとともに、前記活性領域の重心を求め、更に前記視点と前記重心とを結ぶ線を半径とする球を求め、
    前記表示制御手段は、前記球に含まれる３次元画像以外の３次元画像を前記表示手段に表示させることを特徴とする請求項１６に記載の画像処理装置。

Images