JP2010000340A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】診断に適した形式で、血流を３次元的に表示すること。
【解決手段】組織画像生成部１４ａは、３次元データ記憶部１３が記憶する３次元組織データからボリュームレンダリングにより深度値を含む組織画像を生成し、血流データ変換部１４ｂは、３次元データ記憶部１３が記憶する３次元血流データにおける血流を粒子により離散化して３次元粒子データに変換し、血流画像生成部１４ｃは、３次元粒子データから深度値を含む血流画像を生成する。そして、合成画像生成部１４ｄは、組織画像に含まれる各画素の深度値と、血流画像に含まれる各粒子の深度値とに基づいて、粒子と組織とを描出する順位を調整したうえで合成画像を生成し、表示制御部１６は、合成画像を出力部１２が備えるモニタにて順次表示するように制御する。
【選択図】 図２

Description

この発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

従来より、超音波診断装置は、Ｘ線診断装置やＸ線コンピュータ断層撮影装置などの他の医用画像診断装置に比べ、簡便な操作性、被爆のおそれがない非侵襲性などの利点を備えた装置として、今日の医療において、心臓、肝臓、腎臓、乳腺など、様々な生体組織の検査や診断に利用されている。

超音波診断装置は、超音波プローブから超音波を送信し、被検体の内部組織から反射された超音波を受信することによって、被検体内の組織構造の断層像（Ｂモード像）をリアルタイムに生成する。さらに、超音波診断装置は、超音波のドプラ効果を利用して被検体内の血流が存在する範囲とともに、血流の速度、分散（血流の乱れ）およびパワー（血流の散乱強度）などの血流情報を画像（ドプラ像）としてリアルタイムに生成する。

また、近年、２次元アレイ振動子超音波プローブを用いて被検体内を３次元でスキャンすることにより、リアルタイムで３次元の超音波画像を生成する超音波診断装置が実用化されている。３次元スキャンを行う超音波診断装置は、例えば、経時的に拍動する心臓の３次元的な組織構造のＢモード画像をリアルタイムで収集して表示することが可能である。

３次元のＢモード画像を表示する際には、ボリュームレンダリングの手法が用いられる。例えば、心臓の組織構造は、Ｂモード像で高輝度に表現される心臓壁や弁と、その内部のほとんどが黒で表現される心腔とから成り立っている。このため、心臓の半分を表示対象領域としてボリュームレンダリングすることによって、心腔内から心壁や心臓弁を見た立体像を表示することができる。心臓の半分をボリュームレンダリングした立体像を参照することにより、医師は、心臓弁や心壁の疾患や心臓弁や心壁先天性異常の診断を効率よく行なうことができる。

ここで、３次元スキャンを行う超音波診断装置は、組織構造の３次元情報と同時に、ドプラ効果を利用して血流の３次元情報も同時に収集することができ、３次元のドプラ像に対してボリュームレンダリングを行なうことにより、３次元の血流分布を表示することが可能となっている。

例えば、３次元のドプラ像に対してボリュームレンダリングを行なう際に、血流情報における血流速度の分散を利用することで、血液の乱流を３次元的に強調した描出を行なうことができ（例えば、特許文献１参照）、これにより、心臓弁や心壁の異常により生じる乱流性血流をわかりやすく表示することができる。

特開２００７−２９６３３３号公報

ところで、上記した従来の技術は、診断に適した形式で、血流を３次元的に表示することができないという課題があった。

例えば、心臓において、血液は心腔内に充満しており、また、血流の速度は連続的に変化するために、血流が存在する領域には、明瞭な境界がない。このため、３次元のドプラ像に対してボリュームレンダリングを行った場合、血流を立体的に表示することができない。

また、医師が効率よく診断を行なうためには、血流情報と同時に組織構造の情報が必要となるが、ボリュームレンダリングを行なった３次元のＢモード像を、ボリュームレンダリングを行なった３次元のドプラ像と重畳して表示した場合、血流の背面にある組織構造が隠れてしまう。このため、血流情報とともに、組織構造の情報をわかりやすく表示できない。

このように、上記した従来の技術は、心臓弁や心壁の異常により生じる乱流性血流をわかりやすく表示することが可能ではあるが、血流の３次元情報を、組織構造の３次元情報とともに、診断に適した形式で表示することができなかった。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、診断に適した形式で、血流を３次元的に表示することが可能になる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１記載の本発明は、被検体内に対して送信した超音波の反射波に基づいて生成された当該被検体内にある組織の３次元組織構造情報および当該被検体内を移動する流体の３次元流体情報を取得し、前記３次元流体情報において前記流体が存在する範囲に、複数の粒子を３次元空間に離散して配置することにより、当該３次元流体情報を変換した３次元粒子情報を生成し、生成した前記３次元粒子情報と前記３次元組織構造情報とに基づいた合成画像を生成する画像生成部と、前記画像生成部によって生成された前記合成画像を、所定の表示部にて表示するように制御する表示制御部と、を備えたことを特徴とする。

また、請求項１１記載の本発明は、被検体内に対して送信した超音波の反射波に基づいて生成された当該被検体内にある組織の３次元組織構造情報および当該被検体内を移動する流体の３次元流体情報を取得し、前記３次元流体情報において前記流体が存在する範囲に、複数の粒子を３次元空間に離散して配置することにより、当該３次元流体情報を変換した３次元粒子情報を生成し、生成した前記３次元粒子情報と前記３次元組織構造情報とに基づいた合成画像を生成する画像生成ステップと、前記画像生成ステップによって生成された前記合成画像を、所定の表示部にて表示するように制御する表示制御ステップと、を含んだことを特徴とする。

また、請求項１２記載の本発明は、被検体内に対して送信した超音波の反射波に基づいて生成された当該被検体内にある組織の３次元組織構造情報および当該被検体内を移動する流体の３次元流体情報を取得し、前記３次元流体情報において前記流体が存在する範囲に、複数の粒子を３次元空間に離散して配置することにより、当該３次元流体情報を変換した３次元粒子情報を生成し、生成した前記３次元粒子情報と前記３次元組織構造情報とに基づいた合成画像を生成する画像生成手順と、前記画像生成手順によって生成された前記合成画像を、所定の表示部にて表示するように制御する表示制御手順と、をコンピュータに実行させることを特徴とする。

請求項１、１１または１２記載の本発明によれば、最前面の血流によって、背面にある血流や組織構造が隠れてしまうことを回避することができ、診断に適した形式で、血流を３次元的に表示することが可能になる。

図１は、実施例１における画像処理装置に接続される超音波診断装置の構成を説明するための図である。 図２は、実施例１における画像処理装置の構成を説明するための図である。 図３は、組織画像生成部を説明するための図である。 図４は、血流データ変換部を説明するための図である。 図５は、血流画像生成部を説明するための図である。 図６は、実施例１における合成画像生成部を説明するための図である。 図７は、画像生成部による処理の第１、第２および第３の変形例について説明するための図である。 図８は、画像生成部による処理の第４および第５の変形例について説明するための図である。 図９は、実施例１における画像処理装置の処理を説明するためのフローチャートである。 図１０は、実施例２における画像処理装置の構成を説明するための図である。 図１１は、実施例２における画像処理装置の処理を説明するためのフローチャートである。 図１２は、実施例３における３次元粒子データの生成法について説明するための図である。 図１３は、実施例３における合成画像生成部を説明するための図である。

以下に添付図面を参照して、この発明に係る画像処理装置、画像処理方法および画像処理プログラムの好適な実施例を詳細に説明する。

まず、実施例１における画像処理装置に接続される超音波診断装置の構成について説明する。図１は、実施例１における画像処理装置に接続される超音波診断装置の構成を説明するための図である。

図１に示すように、実施例１における画像処理装置に接続される超音波診断装置２０は、超音波プローブ２１と、送信部２２と、受信部２３と、Ｂモード処理部２４と、カラードプラ処理部２５と、制御部２６とを備える。

超音波プローブ２１は、マトリックス（格子）状に配置された超音波振動子を内蔵する２次元アレイ振動子超音波プローブであり、超音波振動子が発生した超音波を被検体内に送信し、被検体の内部組織からの反射波を、超音波振動子にて受信することにより、被検体内を３次元で走査する。

送信部２２は、超音波プローブ２１と接続され、後述する制御部２６の制御にしたがって、所定の遅延時間ごとに高電圧パルスを発生し、発生した高電圧パルスを超音波プローブ２１が内蔵する超音波振動子に順次印加する。これにより、超音波プローブ２１は、超音波を発生する。

受信部２３は、超音波プローブ２１と接続され、超音波プローブ２１が受信した反射波の受信信号が入力されると、ゲイン補正処理およびＡ／Ｄ変換処理を行ない、受信データを生成する。

Ｂモード処理部２４は、受信部２３が受信して生成した受信データに基づいて、被検体内にある組織の構造を３次元のＢモード画像で表現するために用いられる３次元組織データの生成処理を行なう。なお、３次元組織データは、特許請求の範囲に記載の「３次元組織構造情報」に対応する。

カラードプラ処理部２５は、受信部２３が受信して生成した受信データと超音波のドプラ効果とを用いて、被検体内を移動する血流の存在する範囲とともに、血流の速度値、分散値（血流の乱れ）およびパワー（血流の散乱強度）などの血流情報を３次元のカラードプラ画像で表現するために用いられる３次元血流データの生成処理を行なう。なお、血流は、特許請求の範囲に記載の「流体」に対応し、３次元血流データは、同じく「３次元流体情報」に対応する。

制御部２６は、超音波診断装置２０の操作者から、図示しない入力部を介して受け付けた設定条件に基づいて、上述した送信部２２、受信部２３、Ｂモード処理部２４およびカラードプラ処理部２５を制御する。具体的には、送信部２２が発生する高電圧パルスの遅延時間や、受信部２３とＢモード処理部２４との間での受信データの送受信のタイミングや、受信部２３とカラードプラ処理部２５との間での受信データの送受信のタイミングなどの設定条件に基づいて、送信部２２、受信部２３、Ｂモード処理部２４およびカラードプラ処理部２５を制御する。

そして、画像処理装置１０は、Ｂモード処理部２４によって生成された３次元組織データおよびカラードプラ処理部２５によって生成された３次元血流データを用いて生成した画像を表示するが、診断に適した形式で、血流を３次元的に表示することが可能になることを主たる特徴とする。

この主たる特徴について図２〜６を用いて説明する。図２は、実施例１における画像処理装置の構成を説明するための図であり、図３は、組織画像生成部を説明するための図であり、図４は、血流データ変換部を説明するための図であり、図５は、血流画像生成部を説明するための図であり、図６は、実施例１における合成画像生成部を説明するための図である。

図２に示すように、実施例１における画像処理装置１０は、超音波診断装置２０に接続され、入力部１１と、出力部１２と、３次元データ記憶部１３と、画像生成部１４と、合成画像記憶部１５と、表示制御部１６とを備える。

入力部１１は、各種情報を入力し、マウスやキーボードなどを備え、特に本発明に密接に関連するものとしては、画像処理装置１０の操作者（例えば、超音波診断装置２０によって生成されたデータに基づく画像を読影して診断を行なう医師）からの画像表示要求を受け付けて入力する。また、入力部１１は、画像処理装置１０の操作者からの表示対象領域設定要求も受け付けて入力する。

出力部１２は、各種情報を出力し、モニタやスピーカなどを備え、特に本発明に密接に関連するものとしては、後述する画像生成部１４によって生成された合成画像を、後述する表示制御部１６の制御に基づいて、モニタに表示する。

３次元データ記憶部１３は、超音波診断装置２０によって生成された３次元組織データおよび３次元血流データを記憶する。

画像生成部１４は、入力部１１を介して、画像処理装置１０の操作者からの画像表示要求および表示対象領域設定要求を受け付けた場合に、３次元データ記憶部１３が記憶する３次元組織データおよび３次元血流データに基づいた合成画像を生成し、図２に示すように、組織画像生成部１４ａと、血流データ変換部１４ｂと、血流画像生成部１４ｃと、合成画像生成部１４ｄとを備える。

組織画像生成部１４ａは、３次元データ記憶部１３が記憶する３次元組織データから、被検体内にある組織の構造を３次元で表現するＢモード画像としての組織画像を生成する。具体的には、組織画像生成部１４ａは、極座標系で表現される３次元組織データを直交座標系に変換し、直交座標系に変換した３次元組織データにおいて、表示対象領域設定要求に対応する領域をボリュームレンダリングすることにより、組織画像を生成する。

また、組織画像生成部１４ａは、組織画像を生成するとともに、生成した組織画像を構成する画素それぞれの３次元組織データにおける３次元空間での位置情報を取得する。具体的には、組織画像生成部１４ａは、生成した組織画像における各画素の深度を表す深度値を取得し、取得した各画素の深度値を、生成した組織画像に格納する。

例えば、組織画像生成部１４ａは、図３に示すように、被検体の心臓からの反射波に基づいて生成された３次元組織データを直交座標系に変換し、直交座標系に変換した３次元組織データにおいて、心臓の半分に対応する領域をボリュームレンダリングすることによって、心腔内から心壁や心臓弁を見た組織画像を生成し、生成した組織画像に各画素の深度値を格納する。

図２に戻って、血流データ変換部１４ｂは、３次元データ記憶部１３が記憶する３次元血流データにおいて血流が存在する範囲に、複数の粒子を３次元空間に離散して配置することにより、３次元血流データを変換した３次元粒子データを生成する。なお、３次元粒子データは、特許請求の範囲に記載の「３次元粒子情報」に対応する。

例えば、血流データ変換部１４ｂは、図４の（Ａ）の左側に示すように、３次元血流データにおいて血流が存在する範囲を抽出する。そして、血流データ変換部１４ｂは、図４の（Ａ）の右側に示すように、３次元血流データを予め設定されたサイズにて立方体に分割し、血流が存在する立方体を抽出する。

そして、血流データ変換部１４ｂは、抽出した立方体に、粒子を配置することにより、３次元流体情報を変換した３次元粒子情報を生成する。例えば、血流データ変換部１４ｂは、図４の（Ｂ）に示すように、「血流あり」として抽出された立方体の集合において、中心に配置される立方体に、当該立方体のサイズを縮小した（例えば、５０％に縮小した）立方体を配置することにより、３次元流体情報を変換した３次元粒子情報を生成する。

図２に戻って、血流画像生成部１４ｃは、血流データ変換部１４ｂによって生成された３次元粒子データを用いて、被検体内の血流情報を、３次元空間に離散して配置した複数の粒子にて表現する血流画像を生成する。具体的には、血流画像生成部１４ｃは、３次元粒子データにおける粒子をポリゴンモデルにて表現したうえで、極座標系で表現される３次元粒子データを直交座標系に変換する。そして、血流画像生成部１４ｃは、直交座標系に変換した３次元粒子データにおいて、表示対象領域設定要求に対応する領域の投影画像を生成することにより、血流画像を生成する。

また、血流画像生成部１４ｃは、血流画像を生成するとともに、生成した血流画像に含まれる粒子それぞれの３次元粒子データにおける３次元空間での位置情報を取得する。具体的には、血流画像生成部１４ｃは、生成した血流画像における各粒子の深度を表す深度値を取得し、取得した各粒子の深度値を、生成した血流画像に格納する。

例えば、血流画像生成部１４ｃは、図５に示すように、直交座標系に変換した３次元粒子データにおいて、心臓の半分に対応する領域から投影画像を生成することによって、心腔内から見た血流画像を生成し、生成した血流画像に、各粒子の深度値を格納する。

図２に戻って、合成画像生成部１４ｄは、組織画像生成部１４ａによって生成された組織画像と、血流画像生成部１４ｃによって生成された血流画像とを合成した合成画像を生成する。その際、合成画像生成部１４ｄは、組織画像に含まれる各画素の深度値と、血流画像に含まれる各粒子の深度値とに基づいて、粒子と組織とを描出する順位を調整したうえで合成画像を生成する。

すなわち、合成画像生成部１４ｄは、各画素の深度値と各粒子の深度値とから、組織構造と粒子で表現された血流との深さ方向の重なりを判定し、手前にある組織構造または粒子を優先させて描出するように調整したうえで、合成画像を生成する。例えば、合成画像生成部１４ｄは、図６に示すように、被検体の心臓を心腔内から見た組織構造とともに、血流が粒子で表現された合成画像を、深度値に基づいて生成する。

そして、合成画像生成部１４ｄは、生成した合成画像を合成画像記憶部１５に格納する。

表示制御部１６は、合成画像記憶部１５が記憶する合成画像を読み込んで、読み込んだ合成画像を出力部１２が備えるモニタにて表示するように制御する。また、表示制御部１６は、入力部１１を介して受け付けた合成画像の回転表示要求に基づいて、図６に示すように、読み込んだ画像を回転表示するように制御する。

このように、血流を粒子として表現した血流画像と組織画像とから合成した合成画像を参照することにより、画像処理装置１０の操作者（例えば、超音波診断装置２０によって撮影された画像を読影して診断を行なう医師）は、最前面にある血流によって隠れてしまう背面の血流分布や組織構造を観察することができる。

なお、本実施例では、合成画像生成部１４ｄが、組織画像に含まれる各画素の深度値と、血流画像に含まれる各粒子の深度値とに基づいて、血流および組織構造の深さ方向を反映した合成画像を生成する場合について説明したが、本発明はこれに限定されるものではなく、例えば、深度値を用いずに、合成画像生成部１４ｄが、血流画像の透明度を上げることにより、最前面にある血流によって隠れてしまう後ろの血流分布や組織構造を観察することができる合成画像を生成する場合であってもよい。

また、本実施例では、立方体を粒子として用いて血流を表現する場合について説明したが、本発明はこれに限定されるものではなく、円柱や球など任意の形状を有する粒子を用いて血流を表現する場合であってもよい。

また、上記では、３次元血流データに含まれる情報のうち、血流が存在する範囲の情報のみを用いて血流画像を生成する場合について説明したが、本発明はこれに限定されるものではなく、３次元血流データに含まれる血流の速度値、分散値およびパワーなどの血流情報も反映させた血流画像を生成する場合であってもよい。以下、画像生成部１４による処理の５つの変形例について、図７および図８を用いて説明する。図７は、画像生成部による処理の第１、第２および第３の変形例について説明するための図であり、図８は、画像生成部による処理の第４および第５の変形例について説明するための図である。

第１に、血流画像生成部１４ｃは、３次元粒子データにおいて、粒子の色を、血流の速度値、および／または、血流の速度値の分散値、および／または、血流のパワーに基づいて決定する。

すなわち、血流画像生成部１４ｃは、図７の（Ａ）に示すように、血流情報（速度値、分散値、パワー）に応じて粒子の色の輝度を変化させる。例えば、血流画像生成部１４ｃは、速度値（具体的には、平均速度値）の絶対値が大きいほど赤の輝度を上げ、分散値が大きいほど黄色の輝度を上げるような２次元カラーマップ表現を行う。このように、血流情報を粒子の色づけで表現するので、明瞭な境界のない血流の空間分布を的確に表現することができる。

なお、血流画像生成部１４ｃは、粒子の色づけの調整を、「速度値、分散値、パワー」のいずれか一つ、または、「速度値、分散値、パワー」の組み合わせによって行なうことができ、血流情報のうち、どの情報を用いて粒子の色づけを行うかは、操作者によって設定される。また、粒子の色および輝度の調整は、「速度値、分散値、パワー」と「色づけ」とが対応付けられたルックアップテーブルを予め画像処理装置１０に格納しておくことで行なわれる。

第２に、血流画像生成部１４ｃは、３次元粒子データにおいて、粒子の大きさを、血流の速度値、および／または、血流の速度値の分散値、および／または、血流のパワーに基づいて決定する。

すなわち、血流画像生成部１４ｃは、図７の（Ｂ）に示すように、血流情報（速度値、分散値、パワー）に応じて粒子の大きさを変化させる。例えば、血流画像生成部１４ｃは、速度値の絶対値の小さい血流は表示する立方体の一辺の長さを小さくし、速度値の絶対値の大きい血流は表示する立方体の一辺の長さを大きくする。このように、血流情報を粒子の大きさで表現するので、明瞭な境界のない血流の空間分布を的確に表現することができる。

なお、血流画像生成部１４ｃは、粒子の大きさの調整を、「速度値、分散値、パワー」のいずれか一つ、または、「速度値、分散値、パワー」の組み合わせによって行なうことができ、血流情報のうち、どの情報を用いて粒子の大きさの調整を行うかは、操作者によって設定される。また、粒子の大きさの調整は、「速度値、分散値、パワー」と「粒子の大きさ」とが対応付けられたルックアップテーブルを予め画像処理装置１０に格納しておくことで行なわれる。

第３に、血流データ変換部１４ｂは、３次元粒子データにおいて、粒子の配置密度を、血流の速度値、および／または、血流の速度値の分散値、および／または、血流のパワーに基づいて決定する。

すなわち、血流データ変換部１４ｂは、図７の（Ｃ）に示すように、血流情報（速度値、分散値、パワー）に応じて粒子の配置密度を変化させる。例えば、血流データ変換部１４ｂは、速度値の絶対値の小さい血流は立方体の配置密度を小さくし、速度値の絶対値の大きい血流は立方体の配置密度を大きくする。そして、血流画像生成部１４ｃは、血流データ変換部１４ｂによって決定された配置密度にて粒子を離散した血流画像を生成する。このように、血流情報を粒子の配置密度で表現するので、明瞭な境界のない血流の空間分布を的確に表現することができる。また、分散値に応じて粒子の配置密度を変化させることで、乱流性血流のような境界のある空間分布もより的確に表現することができる。

なお、血流データ変換部１４ｂは、粒子の配置密度の調整を、「速度値、分散値、パワー」のいずれか一つ、または、「速度値、分散値、パワー」の組み合わせによって行なうことができ、血流情報のうち、どの情報を用いて粒子の配置密度を変化させるかは、操作者によって設定される。また、粒子の配置密度の調整は、「速度値、分散値、パワー」と「粒子の配置密度」とが対応付けられたルックアップテーブルを予め画像処理装置１０に格納しておくことで行なわれる。

第４に、血流データ変換部１４ｂは、３次元粒子データにおける粒子の配置される位置を所定の時間間隔ごとに変更した３次元粒子位置変更データを順次生成する。そして、血流画像生成部１４ｃは、順次生成された３次元粒子位置変更データから、血流画像を順次生成し、合成画像生成部１４ｄは、組織画像と順次生成された血流画像とを合成して合成画像を順次生成する。なお、３次元粒子位置変更データは、特許請求の範囲に記載の「３次元粒子位置変更情報」に対応する。

例えば、図８の（Ａ）に示すように、血流データ変換部１４ｂは、３次元粒子データにおける粒子の配置される位置を所定の時間間隔（例えば、０．５秒間隔）ごとに変更し、血流画像生成部１４ｃは、粒子の位置が変更された３次元粒子位置変更データごとに「血流画像１、血流画像２、血流画像３」を順次生成し、合成画像生成部１４ｄは、組織画像と順次生成された「血流画像１、血流画像２、血流画像３」とを合成して「合成画像１、合成画像２、合成画像３」を順次生成する。

そして、表示制御部１６は、「合成画像１、合成画像２、合成画像３」を出力部１２が備えるモニタにて順次表示するように制御する。これにより、定常的な血流（すなわち、一定の速度値、分散値、パワーを持つ血流）であっても、時間的に立方体の表示位置を変動させることで血液が流れている様子を表現することができる。

第５に、血流データ変換部１４ｂは、３次元粒子データにおける粒子の配置される位置を速度値、および／または、分散値に基づいて変更することにより３次元粒子位置変更データを順次生成する。そして、血流画像生成部１４ｃは、順次生成された３次元粒子位置変更データから、血流画像を順次生成し、合成画像生成部１４ｄは、組織画像と順次生成された血流画像とを合成して合成画像を順次生成する。

例えば、図８の（Ｂ）に示すように、血流データ変換部１４ｂは、３次元粒子データにおける粒子の配置される位置を、速度値に基づいて変更し、血流画像生成部１４ｃは、粒子の位置が変更された３次元粒子位置変更データごとに「血流画像Ａ、血流画像Ｂ・・・」を順次生成し、合成画像生成部１４ｄは、組織画像と順次生成された「血流画像Ａ、血流画像Ｂ・・・」とを合成して「合成画像Ａ、合成画像Ｂ・・・」を順次生成する。すなわち、「次の表示フレームにおける立方体の表示位置」を、「現在の表示フレームにおける立方体の表示位置」から速度値に基づいて変更する。

具体的には、立方体の変更位置は、実際に測定された血流の３次元速度ベクトルに基づいて算出される。例えば、血流データ変換部１４ｂは、測定された速度値に定数（例えば、「０．０１」など）を掛けた値分、超音波の送信方向に移動させた位置を「次の表示フレームにおける立方体の表示位置」とする。また、これらの２点を直線あるいは矢印で結んで表現することで、血流の３次元速度ベクトルを表現することもできる。

そして、表示制御部１６は、「合成画像Ａ、合成画像Ｂ・・・」を出力部１２が備えるモニタにて順次表示するように制御する。このように、実測値を反映させた形式で立方体を移動させるので、血流の移動を正確に反映した合成画像を順次表示することができる。

次に、図９を用いて、実施例１における画像処理装置１０の処理について説明する。図９は、実施例１における画像処理装置の処理を説明するためのフローチャートである。

図９に示すように、実施例１における画像処理装置１０は、表示対象領域設定要求とともに、画像表示要求を、入力部１１を介して、操作者から受け付けると（ステップＳ９０１肯定）、組織画像生成部１４ａは、３次元データ記憶部１３が記憶する３次元組織データを直交座標系に座標変換し（ステップＳ９０２）、座標変換された３次元組織データからボリュームレンダリングにより深度値を含む組織画像を生成する（ステップＳ９０３）。

そして、血流データ変換部１４ｂは、３次元データ記憶部１３が記憶する３次元血流データにおける血流を粒子により離散化して３次元粒子データに変換し（ステップＳ９０４）、血流画像生成部１４ｃは、血流データ変換部１４ｂによって生成された３次元粒子データにおける粒子をポリゴン表現する（ステップＳ９０５）。

続いて、血流画像生成部１４ｃは、３次元粒子データを直交座標系に座標変換し（ステップＳ９０６）、座標変換された３次元粒子データから投影処理により深度値を含む血流画像を生成する（ステップＳ９０７）。

そののち、合成画像生成部１４ｄは、組織画像に含まれる各画素の深度値と、血流画像に含まれる各粒子の深度値とに基づいて、粒子と組織とを描出する順位を調整したうえで合成画像を生成する（ステップＳ９０８）。

そして、表示制御部１６は、合成画像を出力部１２が備えるモニタにて順次表示するように制御し（ステップＳ９０９）、処理を終了する。こののち、画像処理装置１０の操作者によって、合成画像を任意の方向に回転移動させた画像表示が行なわれる場合もある。

なお、血流情報に基づく粒子の配置密度変更処理を実行する場合は、ステップＳ９０４において血流データ変換部１４ｂにより実行される。また、血流情報に基づく粒子の大きさの変更処理を実行する場合は、ステップＳ９０５において血流画像生成部１４ｃにより実行される。また、血流情報に基づく粒子の色づけ変更処理を実行する場合は、ステップＳ９０７において血流画像生成部１４ｃにより実行される。

また、図８にて説明した粒子の配置位置の変更処理は、ステップＳ９０４〜ステップＳ９０７を繰り返して実行することで行なわれる。

また、本実施例では、組織画像の生成処理ののち血流画像の生成処理を行なう場合について説明したが、本発明はこれに限定されるものではなく、血流画像の生成処理ののち組織画像の生成処理を行なう場合であってもよい。あるいは、組織画像の生成処理と血流画像の生成処理とを並行して実行する場合であってもよい。

上述してきたように、実施例１では、組織画像生成部１４ａは、３次元データ記憶部１３が記憶する３次元組織データからボリュームレンダリングにより深度値を含む組織画像を生成し、血流データ変換部１４ｂは、３次元データ記憶部１３が記憶する３次元血流データにおける血流を粒子により離散化して３次元粒子データに変換し、血流画像生成部１４ｃは、３次元粒子データから深度値を含む血流画像を生成する。

そして、合成画像生成部１４ｄは、組織画像に含まれる各画素の深度値と、血流画像に含まれる各粒子の深度値とに基づいて、粒子と組織とを描出する順位を調整したうえで合成画像を生成し、表示制御部１６は、合成画像を出力部１２が備えるモニタにて順次表示するように制御するので、血流を粒子として表現することにより、３次元の血流分布を３次元の組織構造と重畳して表示しても、最前面の血流により、背面にある血流や組織構造が隠れてしまうことを回避することができ、上記した主たる特徴の通り、診断に適した形式で、血流を３次元的に表示することが可能になる。すなわち、医師などの操作者は、血流分布と組織構造とを両方観察することができ、診断を容易にすることが可能になる。

また、合成画像を静止した状態で観察するのみならず、合成画像を任意の方向に回転させることにより、さらに立体感のある血流分布を観察でき、医師などの操作者は、血流分布と組織構造とを両方観察することができ、診断をより容易にすることが可能になる。

上述した実施例１では、組織画像と血流画像とを生成したうえで合成画像を生成する場合について説明したが、実施例２では、合成画像を一度に生成する場合について、図１０を用いて説明する。図１０は、実施例２における画像処理装置の構成を説明するための図である。

図１０に示すように、実施例２における画像処理装置１０は、実施例１における画像処理装置と同様に、超音波診断装置２０と接続され、入力部１１と、出力部１２と、３次元データ記憶部１３と、画像生成部１４と、合成画像記憶部１５と、表示制御部１６とを備える。しかし、実施例２における画像生成部１４は、実施例１における画像生成部１４と異なり、組織画像生成部１４ａおよび血流画像生成部１４ｃの代わりに合成データ生成部１４ｅを備える。以下、これを中心に説明する。

血流データ変換部１４ｂは、実施例１と同様に、３次元データ記憶部１３が記憶する３次元血流データにおける血流を粒子により離散化して３次元粒子データに変換する。

合成データ生成部１４ｅは、血流データ変換部１４ｂによって生成された３次元粒子データと、３次元データ記憶部１３が記憶する３次元組織データとを合成した合成データを生成する。その際、合成データ生成部１４ｅは、３次元粒子情報と３次元組織構造情報とを識別するための識別情報を付与したうえで合成データを生成する。なお、合成データは、特許請求の範囲に記載の「合成情報」に対応する。

具体的には、合成データ生成部１４ｅは、３次元組織データの入力階調は「０〜２００」に制限し、３次元粒子データの入力階調は「２５５」の階調に制限したうえで、合成データを生成する。すなわち、入力階調の値を参照することで、３次元組織データを由来とするデータであるのか、３次元粒子データを由来とするデータであるのかを識別することができる。なお、合成データ生成部１４ｅは、３次元粒子データから「３次元空間にて離散して配置される粒子の情報」以外の情報を間引いたデータを生成したうえで、合成データを生成する。

合成画像生成部１４ｄは、合成データ生成部１４ｅによって生成された合成データに基づいて合成画像を生成する。すなわち、合成画像生成部１４ｄは、血流を表す粒子の３次元情報が組織構造の３次元情報に埋め込まれた合成データを、直交座標系に座標変換したうえで、一度にボリュームレンダリングすることにより、「組織構造および血流」の情報を合成した合成画像を生成する。以下、合成画像の生成処理について説明する。

一般的に、ボリュームレンダリングでは、「i番目の断面」をレンダリングした後のフレームバッファへの書き込み内容「P_i」は、「P_i=[1-f(I_i)]P_i-1+g(I_i)」と表される。ここで、関数「f」は不透明度関数であり、関数「g」は伝達関数である。

そこで、合成画像生成部１４ｄは、ボリュームレンダリングに用いられる不透明度関数および伝達関数において、血流を表す粒子に対して特別な値を与えることで、合成画像を生成する。

例えば、合成画像生成部１４ｄは、合成データにおいて、入力値「I_i」が２２０以上の場合は、血流を表す粒子であるとして、不透明度関数「f(I_i)」の値を「１」とし、さらに、伝達関数「g(I_i)=(255, 0, 0)」となるように設定する。なお、伝達関数の括弧内の３つの値は、ＲＧＢカラーモードで色づけする際の「Ｒ（Ｒｅｄ）」、「Ｇ（Ｇｒｅｅｎ）」、「Ｂ（Ｂｌｕｅ）」それぞれの値を示す。すなわち、「g(I_i)=(255, 0, 0)」は、粒子の色を赤にて表現することを示している。なお、伝達関数の括弧内の３つの値を変更することで、血流情報に基づいた粒子の色や輝度の変更処理が可能となる。

また、合成画像生成部１４ｄは、合成データにおいて、入力値「I_i」が２２０未満の場合は、組織構造を表すデータであるとして、組織構造に最適な不透明度関数「f(I_i)」を入力値に応じて設定し、さらに、組織構造をグレースケール表現するために、伝達関数の括弧内の３つの値を同じ値に設定する。これにより、合成画像生成部１４ｄは、実施例１と同様に、組織構造と血流とを３次元表現する合成画像を１回のボリュームレンダリングで生成する（図６参照）。

なお、３次元組織データを由来とするデータであるのか、３次元粒子データを由来とするデータであるのかを判定するための閾値を「２００」ではなく「２２０」に設定しているのは、血流を離散化した粒子として表現するための補間処理を行なうためである。

次に、図１１を用いて、実施例２における画像処理装置１０の処理について説明する。図１１は、実施例２における画像処理装置の処理を説明するためのフローチャートである。

図１１に示すように、実施例２における画像処理装置１０は、実施例１と同様に、表示対象領域設定要求とともに、画像表示要求を、入力部１１を介して、操作者から受け付けると（ステップＳ１１０１肯定）、血流データ変換部１４ｂは、３次元データ記憶部１３が記憶する３次元血流データにおける血流を粒子により離散化して３次元粒子データに変換する（ステップＳ１１０２）。

そして、合成データ生成部１４ｅは、血流データ変換部１４ｂによって生成された３次元粒子データと、３次元データ記憶部１３が記憶する３次元組織データとを合成した合成データを、入力階調を制限したうえで、生成する（ステップＳ１１０３）。

続いて、合成画像生成部１４ｄは、合成データ生成部１４ｅによって生成された合成データを直交座標系に座標変換し（ステップＳ１１０４）、ボリュームレンダリングにより合成画像を生成する（ステップＳ１１０５）。

そして、表示制御部１６は、合成画像を出力部１２が備えるモニタにて順次表示するように制御し（ステップＳ１１０６）、処理を終了する。

上述してきたように、実施例２では、合成画像を一回のボリュームレンダリングにより生成できるので、合成画像の表示処理を迅速に行なうことが可能になる。

なお、上述した実施例１では、３次元組織構造データをボリュームレンダリングによって３次元画像を生成して表示する場合について説明したが、本発明はこれに限定されるものではなく、３次元組織構造データにおける所定の断面に対応する断面組織画像を生成して表示する場合であってもよい。

心臓や胎児以外の部位の組織構造（例えば、肝臓の腫瘍部位など）は、ボリュームレンダリングによって、３次元構造を的確に表現できない場合がある。このような場合、組織構造を表現する画像としては、ＭＰＲ（Ｍｕｌｔｉ Ｐｌａｎａｒ Ｒｅｆｏｒｍａｔ）画像を用いるほうが適している。

そこで、組織画像生成部１４ａは、３次元組織構造データから、入力部１１を介して画像処理装置１０の操作者から受け付けた断面に対応するＭＰＲ画像を生成し、合成画像生成部１４ｃは、組織画像生成部１４ａによって生成されたＭＰＲ画像と、血流画像生成部１４ｃによって生成された血流画像とを、被検体内の位置を合わせたうえで合成した合成画像を生成する。そして、表示制御部１６は、生成された合成画像を、出力部１２が備えるモニタにて表示するように制御する。

このように、ＭＰＲ画像と血流画像とを合成した合成画像を生成して表示することで、ボリュームレンダリングによって３次元構造を的確に表現できない組織部位を血流とともに表示する場合においても、診断に適した形式で、血流を３次元的に表示することが可能になる。

なお、上記したようにＭＰＲ画像を用いる場合も、実施例１と同様に、ＭＰＲ画像と血流画像との深度値を用いて、組織構造と粒子で表現された血流との深さ方向の重なりを判定し、手前にある組織構造または粒子を優先させて描出するように調整したうえで、合成画像を生成する。あるいは、血流画像の透明度を上げた合成画像を生成してもよい。

実施例３では、３次元血流データから３次元粒子データを、上述した実施例１および２とは異なる方法により生成する場合について、図１２および図１３を用いて説明する。図１２は、実施例３における３次元粒子データの生成法について説明するための図であり、図１３は、実施例３における合成画像生成部を説明するための図である。

なお、以下に説明する実施例３の画像処理装置１０における３次元粒子データの生成法は、図２を用いて説明した実施例１における画像処理装置１０の血流データ変換部１４ｂおよび図１０を用いて説明した実施例２における画像処理装置１０の血流データ変換部１４ｂのいずれにおいても、適用可能である。

上述した実施例１および２では、３次元血流データにて血流が存在する範囲に粒子を離散して配置することにより３次元粒子データを生成した。しかし、実施例３では、３次元血流データにて血流が存在する範囲を所定の間隔で除去することにより３次元粒子データを生成する。

具体的には、実施例３における血流データ変換部１４ｂは、図１２に示すように、３次元血流データ（奥行きを有する血流の３次元情報）を、空間的および時間的に変化する乱数により、合成画像の各画素にて表示するか否か（表示／非表示）を決定する。

空間的および時間的に変化する乱数を用いて表示／非表示を決定することで、実施例３における血流データ変換部１４ｂは、実施例１および２で説明した３次元粒子データと同様に、３次元血流データが離散した粒子にて変換された３次元粒子データを生成する。また、空間的のみならず、時間的にも変化する乱数を用いることにより、実施例３における血流データ変換部１４ｂは、粒子が時系列に沿って移動する３次元粒子データを生成する。

ここで、表示すると決定された画素に配置される粒子の形状は、図１２に示すように、立方体の形状であってもよいが、本発明はこれに限定されるものではなく、例えば、球体など、任意の形状が操作者により設定可能である。

また、実施例３における血流データ変換部１４ｂは、実施例１または２にて説明した場合と同様に、３次元粒子データにおける粒子の色、粒子の配置密度、粒子の大きさなどを、血流の速度値、血流の速度値の分散値、血流のパワーに応じて変化するように、３次元粒子データを生成してもよい。

そして、血流データ変換部１４ｂによって生成された３次元粒子データは、実施例１または実施例２において説明した処理により、組織画像との合成画像として生成される。すなわち、実施例１に本実施例を適用した場合、血流画像生成部１４ｃは、血流データ変換部１４ｂによって生成された３次元粒子データから深度値を含む血流画像を生成し、合成画像生成部１４ｄは、組織画像に含まれる各画素の深度値と、血流画像に含まれる各画素の深度値とに基づいて、粒子と組織とを描出する順位を調整したうえで、合成画像を生成する。

あるいは、実施例２に本実施例を適用した場合、合成データ生成部１４ｅは、血流データ変換部１４ｂによって生成された３次元粒子データと、３次元組織データとを合成した合成データを生成し、合成画像生成部１４ｄは、合成データを一回のボリュームレンダリング処理により合成画像を生成する。

ここで、実施例３における合成画像生成部１４ｄは、例えば、１／４秒ごとに変化する乱数により１秒間に３次元粒子データが４回生成される場合に、図１３に示すように、最初の１回（ｔ＝０）では３次元血流データから合成画像を生成し、他の３回（ｔ＝１／４、２／４、３／４）では３次元粒子データから合成画像を生成する。これにより、出力部１２のモニタにおいては、最初に血流の全体像が表示され、そののち血流により隠れていた後ろの組織像が観察可能な合成画像が表示される。なお、図１２および図１３においては、腎臓における組織のＭＰＲ像と血流画像との合成画像を示している。

上述してきたように実施例３では、乱数により３次元血流データの一部を除去するだけで３次元粒子データを生成するので、血流分布と組織構造とを両方観察することができる合成画像を簡易に生成することが可能になる。

また、実施例３では、乱数を空間的および時間的に変化させることにより、例えば、１回超音波をスキャンすることで生成された静止画像のデータであっても、血液が流動している状態を表現できる合成画像を生成することが可能となる。また、実施例３では、例えば、３次元的に手前にある血流ほど表示される粒子の密度が大きくような乱数を発生させるように制御することで、合成画像における血流の立体感を向上させることが可能となる。

また、実施例３では、３次元組織データとの合成対象を、一定の間隔にて
３次元血流データとするので、画像診断を行なう医師は、残像として血流の全体像が記憶に残っている間に、血流分布と組織構造とを一度に観察することができる合成画像を参照することができ、正確な診断を行なうことが可能になる。

なお、上記した実施例１〜３では、画像処理装置１０が、超音波診断装置２０と分離されて設置される場合について説明したが、本発明はこれに限定されるものではなく、超音波診断装置２０が、画像処理装置１０の機能を備える場合であってもよい。

また、上記した実施例１〜３では、画像処理装置１０が、超音波診断装置２０から３次元組織データおよび３次元血流データを取得して処理する場合について説明したが、本発明はこれに限定されるものではなく、超音波診断装置２０などの医用画像診断装置が生成したデータを格納する医用画像データベースから３次元組織データおよび３次元血流データを取得して処理する場合であってもよい。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

以上のように、本発明に係る画像処理装置、画像処理方法および画像処理プログラムは、被検体内に対して送信した超音波の反射波に基づいて取得された当該被検体内にある組織の３次元組織構造データおよび当該被検体内を移動する血流の３次元血流データを用いて生成した画像を表示する場合に有用であり、特に、診断に適した形式で、血流を３次元的に表示することに適する。

１０ 画像処理装置
１１ 入力部
１２ 出力部
１３ ３次元データ記憶部
１４ 画像生成部
１４ａ 組織画像生成部
１４ｂ 血流データ変換部
１４ｃ 血流画像生成部
１４ｄ 合成画像生成部
１５ 合成画像記憶部
１６ 表示制御部
２０ 超音波診断装置
２１ 超音波プローブ
２２ 送信部
２３ 受信部
２４ Ｂモード処理部
２５ カラードプラ処理部
２６ 制御部

Claims (12)

1. 被検体内に対して送信した超音波の反射波に基づいて生成された当該被検体内にある組織の３次元組織構造情報および当該被検体内を移動する流体の３次元流体情報を取得し、前記３次元流体情報において前記流体が存在する範囲に、複数の粒子を３次元空間に離散して配置することにより、当該３次元流体情報を変換した３次元粒子情報を生成し、生成した前記３次元粒子情報と前記３次元組織構造情報とに基づいた合成画像を生成する画像生成部と、
   前記画像生成部によって生成された前記合成画像を、所定の表示部にて表示するように制御する表示制御部と、
   を備えたことを特徴とする画像処理装置。
2. 前記画像生成部は、前記３次元粒子情報において、前記粒子の色、および／または、前記粒子の配置密度、および／または、前記粒子の大きさを、前記流体の速度値、および／または、前記流体の速度値の分散値、および／または、前記流体のパワーに基づいて決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像生成部は、前記３次元粒子情報における前記粒子の３次元空間での位置情報と、前記３次元組織構造情報における前記組織の３次元空間での位置情報とに基づいて前記粒子と前記組織とを描出する順位を調整したうえで前記合成画像を生成することを特徴とする請求項１に記載の画像処理装置。
4. 前記画像生成部は、前記３次元粒子情報と前記３次元組織構造情報とを合成した合成情報を、当該３次元粒子情報と当該３次元組織構造情報とを識別するための識別情報を付与したうえで生成し、生成した前記合成情報に基づいて前記合成画像を生成することを特徴とする請求項１に記載の画像処理装置。
5. 前記画像生成部は、前記３次元粒子情報における前記粒子の配置される位置を所定の時間間隔ごとに変更した３次元粒子位置変更情報を順次生成し、順次生成された前記３次元粒子位置変更情報と前記３次元組織構造情報とに基づいて、前記合成画像を順次生成し、
   前記表示制御部は、前記画像生成手段によって順次生成された前記合成画像を、前記所定の表示部にて順次表示するように制御することを特徴とする請求項１に記載の画像処理装置。
6. 前記画像生成部は、前記粒子の配置される位置を、前記流体の速度値、および／または、前記流体の速度値の分散値に基づいて変更することにより前記３次元粒子位置変更情報を順次生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記画像生成部は、前記３次元組織構造情報における所定の断面に対応する断面組織画像を生成し、生成した前記断面組織画像と前記３次元粒子情報を用いた画像とを、前記被検体内の位置を合わせたうえで合成した合成画像を生成し、
   前記表示制御部は、前記画像生成手段によって生成された前記合成画像を、前記所定の表示部にて表示するように制御することを特徴とする請求項１に記載の画像処理装置。
8. 前記画像生成部は、前記３次元流体情報において前記流体が存在する範囲を所定の間隔で除去することにより前記３次元粒子情報を生成することを特徴とする請求項１に記載の画像処理装置。
9. 前記画像生成部は、前記所定の間隔を時系列に沿って変化させることを特徴とする請求項８に記載の画像処理装置。
10. 前記画像生成部は、前記３次元組織構造情報との合成対象を、一定の間隔にて前記３次元流体情報とすることを特徴とする請求項９に記載の画像処理装置。
11. 被検体内に対して送信した超音波の反射波に基づいて生成された当該被検体内にある組織の３次元組織構造情報および当該被検体内を移動する流体の３次元流体情報を取得し、前記３次元流体情報において前記流体が存在する範囲に、複数の粒子を３次元空間に離散して配置することにより、当該３次元流体情報を変換した３次元粒子情報を生成し、生成した前記３次元粒子情報と前記３次元組織構造情報とに基づいた合成画像を生成する画像生成ステップと、
    前記画像生成ステップによって生成された前記合成画像を、所定の表示部にて表示するように制御する表示制御ステップと、
    を含んだことを特徴とする画像処理方法。
12. 被検体内に対して送信した超音波の反射波に基づいて生成された当該被検体内にある組織の３次元組織構造情報および当該被検体内を移動する流体の３次元流体情報を取得し、前記３次元流体情報において前記流体が存在する範囲に、複数の粒子を３次元空間に離散して配置することにより、当該３次元流体情報を変換した３次元粒子情報を生成し、生成した前記３次元粒子情報と前記３次元組織構造情報とに基づいた合成画像を生成する画像生成手順と、
    前記画像生成手順によって生成された前記合成画像を、所定の表示部にて表示するように制御する表示制御手順と、
    をコンピュータに実行させることを特徴とする画像処理プログラム。

Images