JP2023160714A - 医用画像表示装置、及び医用画像表示方法 - Google Patents

Abstract

【課題】複数のフレームの医用画像データを用いて合成画像を作成すること。【解決手段】医用画像表示装置は処理回路を備える。処理回路は、医用画像データをそれぞれ含む複数のフレームを受信し、複数のフレームの優先順位を規定し、優先順位に基づいて、複数のフレームの内一つ以上のフレームに基づく医用画像データの領域を選択し、合成画像データの異なる領域に複数のフレームの内の異なるフレームに基づく医用画像データが含まれるように、医用画像データの選択された領域を合成することによって、合成画像データを生成する。【選択図】図２

Description

本明細書及び図面に開示の実施形態は、医用画像表示装置、及び医用画像表示方法に関する。

現在、ＣＴ、ＰＥＴ、ＭＲＩ、超音波、Ｘ線等の様々な撮像モダリティを用いて３次元（３Ｄ）医用画像データを生成可能な医用ボリューム撮像手法が、撮像や診断目的で広く用いられている。

時間経過に伴う動きを示すデータセットは、時間データセットとも称される。現在の医用撮像において、時間データセットの利用はますます増加している。

一般に、３Ｄデータは２Ｄデータより表示が複雑になる。同様に、４Ｄデータの表示や統合は、３Ｄデータよりさらに複雑になる。

動作シーケンス（action sequence）とは、一続きの動画を一つの画像に合成する処理であり、写真分野で確立された概念である。動作シーケンスは、複数の画像を同一の画面に合成することで取得できる。

図１は、動作シーケンスの一例を示す。バレーボール選手の動きが、時間的に連続して取得された複数の画像を合成することによって表現されている。これによって、１０Ａから１０Ｉまでの各瞬間におけるバレーボール選手の動きが一つの動作シーケンス合成画像に表される。バレーボール選手は時間の経過とともに図１の左から右へ動く。動作シーケンスは、静止画内で動きを表現する方法を提供する。

図１に示すような動作シーケンスの生成は、空間分離と前景と背景の分離に依存する。各瞬間１０Ａから１０Ｉのバレーボール選手は空間内で分離されている。合成対象の画像群それぞれの前景から背景を抽出する。前景にはバレーボール選手とボールが含まれる。画像を合成して動作シーケンス画像１０を生成する場合、複数の前景が共通の背景に追加される。

医用画像について、複雑なボリュームデータを一つの画像に合成した表示を作成することが注目されている。例として、曲断面再フォーマット（curved planar reformation：CPR）、結腸解剖、胸郭再フォーマット等が掲げられる。ユーザは、複数の画像を検索する代わりに、一つの概要表示を提供される。

医用撮像には、例えば、超音波や血管造影等の動画シーケンスを作成するものがある。動画シーケンスの概要表示を作成することが望ましいが、医療用として、自然な空間分離を示す画像シーケンスはほとんどない。

特開２０２０－０４９２０４号公報

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、複数のフレームの医用画像データを用いて合成画像を作成することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

実施形態に係る医用画像表示装置は処理回路を備える。処理回路は、医用画像データをそれぞれ含む複数のフレームを受信し、複数のフレームの優先順位を規定し、優先順位に基づいて、複数のフレームの内一つ以上のフレームに基づく医用画像データの領域を選択し、合成画像データの異なる領域に複数のフレームの内の異なるフレームに基づく医用画像データが含まれるように、医用画像データの選択された領域を合成することによって、合成画像データを生成する。

次に、以下の図面に示される実施形態を非限定的な例として説明する。
図１は、動作シーケンスの一例を示す。 図２は、一実施形態に係る装置の概略図である。 図３は、一実施形態に係る方法の概要を示すフローチャートである。 図４Ａは、優先度の高い物体が優先度の低い物体によって隠蔽された描画例を示す。 図４Ｂは、優先度の低い物体が優先度の高い物体によって隠蔽された描画例を示す。 図４Ｃは、優先度の高い物体を隠蔽する優先度の低い物体の一部を、優先度の高い物体を隠蔽しない部分より低い不透明度で表す描画例を模式的に示す。 図５は、３つのフレームからの物体のオクルージョン樹形図の一例の概要を示すチャートである。 図６は、一実施形態に係る方法によって超音波ボリュームから描画された画像内のセグメンテーションの一例を示す。 図７Ａは、一実施形態に係る方法によって３つのフレームから描画された超音波画像の一例を示す。 図７Ｂは、図７Ａの画像において異なる色を異なるシェーディングで表した画像の一例を示す。 図８は、一実施形態に係る方法によって描画された画像の一例を示す。 図９は、図８の画像に対応するセグメンテーションを示す。 図１０Ａは、二つの物体を含む第一のフレームを示す。 図１０Ｂは、第一のフレームの物質領域を示す。 図１０Ｃは、二つの別の物体を含む第二のフレームを示す。 図１０Ｄは、第二のフレームの物質領域を示す。 図１０Ｅは、オクルージョンが特定される前の第一および第２のフレームの物体を示す。 図１０Ｆは、オクルージョンが特定された後の第一および第２のフレームの物体を示す。

一実施形態に係る処理回路を備える医用画像表示装置が提供される。処理回路は、医用画像データをそれぞれ含む複数のフレームを受信し、複数のフレームの優先順位を規定し、優先順位に基づいて、複数のフレームの内一つ以上のフレームに基づく医用画像データの領域を選択し、合成画像データの異なる領域に複数のフレームの内の異なるフレームに基づく医用画像データが含まれるように、医用画像データの選択された領域を合成することによって、合成画像データを生成する。

一実施形態に係る方法は、医用画像データをそれぞれ含む複数のフレームを受信すること、複数のフレームの優先順位を規定すること、優先順位に基づいて、複数のフレームの内一つ以上のフレームに基づく医用画像データの領域を選択すること、合成画像データの異なる領域に複数のフレームの内の異なるフレームに基づく医用画像データが含まれるように、医用画像データの選択された領域を合成することによって、合成画像データを生成することを備える。

実施形態に係る医用画像処理装置２０の概略を図２に示す。医用画像処理装置２０は医用画像表示装置とも称される。医用画像処理装置２０は演算装置２２、この例では、パーソナルコンピュータ（ＰＣ）またはワークステーションを備える。演算装置２２はデータ記憶部３０を介してスキャナ２４に接続される。

さらに、医用画像処理装置２０は一つ以上の表示画面２６、およびコンピュータ・キーボード、マウス、トラックボール等の一つまたは複数の入力装置２８を備える。

本実施形態において、スキャナ２４は超音波スキャナであって、超音波プローブ（図２には図示せず）を用いて超音波ボリュームデータを取得するように構成される。スキャナ２４は、患者や他の被検体の少なくとも一つの解剖学的領域を含むボリュームを表す画像データを生成する。画像データは、それぞれ画像データ値を有する複数のボクセルを表す。

別の実施形態において、スキャナ２４は任意の撮像モダリティによって２次元、３次元、または４次元の画像データを取得するように構成されてもよい。例えば、スキャナ２４は、磁気共鳴（magnetic resonance：MR）スキャナ、コンピュータ断層（ＣＴ）スキャナ、円錐ビームＣＴスキャナ、ポジトロン放射断層（positron emission tomography：PET）スキャナ、Ｘ線スキャナ、超音波スキャナ等を備えてもよい。

本実施形態において、スキャナ２４によって取得された画像データセットはデータ記憶部３０に記憶され、演算装置２２に提供される。別の実施形態では、画像データセットは遠隔のデータ記憶部（図示せず）から供給される。データ記憶部３０または遠隔のデータ記憶部は、適宜、任意の形式の記憶装置を備えてもよい。一実施形態においては、医用画像処理装置２０は、スキャナに接続されない。

演算装置２２は、データを処理するための処理装置３２を備える。処理装置３２は中央演算装置（central processing unit：CPU）およびグラフィックス・プロセッシング・ユニット（graphics processing unit：GPU）を備える。処理装置３２は、自動的にまたは半自動的に医用画像データセットを処理するための処理資源を提供する。別の実施形態においては、処理対象のデータは、医用画像データに限らず、任意の画像データを含んでもよい。

処理装置３２は、複数のフレームの優先順位を決定する優先度回路３４、ボクセルの領域を分類する分類回路３６、ボクセルを処理し、ボクセル情報を保存するボクセル処理回路３８、および画像レンダリングを実行するレンダリング回路３９を備える。

本実施形態において、優先度回路３４、分類回路３６、ボクセル処理回路３８、レンダリング回路３９はそれぞれ、ＣＰＵおよび／またはＧＰＵ内で、本実施形態の方法を実行するためのコンピュータ読み取り可能な指示を含むコンピュータプログラムによって実現される。別の実施形態においては、これらの回路は、１つ以上の特定用途向け集積回路（application specific integrated circuit：ASIC）やフィールド・プログラマブル・ゲート・アレイ(field programmable gate array：FPGA)として実現されてもよい。

また、演算装置２２は、ハードドライブおよび、ＲＡＭ、ＲＯＭ，データバス、様々なデバイスドライバを有するオペレーティングシステム、グラフィックカードを有するハードウェアデバイス等のＰＣのその他のコンポーネントを備える。図２は、明瞭性のため、これらのコンポーネントの図示を省略する。

図３は、図２の装置を用いて実行可能な、実施形態に係る方法の概要を示すフローチャートである。図３の方法において、画像は複数のフレームに基づく情報にしたがって描画される。これらのフレームは優先度に従って合成され、動作シーケンス画像１０として提供される。

医用画像において、連続するフレームに図１に示されるような自然な空間分離が見られない場合がある。すなわち、連続するフレーム内で、物体は、異なる重ならない位置にある。従って、図３の方法では、フレーム内の内容は物体のセグメンテーションに分割される。優先度の高いフレームからの物質を隠蔽する物質は、隠蔽しない物質とは異なる扱いを受ける。

図４Ａから４Ｃは、オクルージョン（occlusion）を考慮した、異なるフレーム内の物体の様々な描画方法の概略を示す。物体９０は、優先度の高いフレームからの物質の領域である。物体９０は優先度の高い物体と呼ぶことができる。物体９２は、優先度の低いフレームからの物質の領域である。物体９０は優先度の低い物体と呼ぶことができる。この描画の目的は、一つの画像内に２つのフレームに基づく情報を表示することにある。

図４Ａの描画法では、優先度の高い物体９０が優先度の低い物体９２によって隠蔽されている。優先度の高い物体９０は固体として描かれている。優先度の低い物体９２は、優先度の高い物体９０を隠蔽する固体として描かれている。優先度の高い物体が部分的に優先度の低い物によって隠されているため、このような描画法は好ましくないと考えられる。

図４Ｂの描画法では、優先度の低い物体９２が優先度の高い物体９０によって隠蔽されている。優先度の高い物体９０および優先度の低い物体９２はそれぞれ固体として描かれている。図４Ｂの描画法は適切であると考えられる。

図４Ｃにおいて、優先度の低い物体９２の隠蔽する物質は隠蔽しない物質から分離され、優先度の低い物体９２は構成物９２Ａ、９２Ｂ、９２Ｃ、９２Ｄ、９２Ｅ、９２Ｆに分割される。構成物９２Ａ、９２Ｂ、９２Ｃ、９２Ｄ、９２Ｅ、９２Ｆの隠蔽しないまたは背景の物質は固体として描かれる。つまり、優先度の低い物体９２の、優先度の高い物体９０を隠蔽しない部分は固体として描かれる。構成物９２Ｆは優先度の高い物体を隠す。構成物９２Ｆはオクルージョンを避けるため、薄くするまたは輪郭だけを残してもよい。図４Ｃでは、優先度の高い物体９０の全てを視認可能である。図４Ｃの描画法は、一つの画像内に優先度の高い物体９０と優先度の低い物体９２の双方を表示する有益な方法を提供できる。オクルージョンの問題は修正の必要があると考えられる。

図３の方法は、以下に説明する通り、隠蔽する物質と隠蔽しない物質を区別する描画方法を提供する。

図３に戻る。図３のステップ４０において、優先度回路３４はフレーム群を受信する。フレーム群は連続的な画像収集によって得られた画像データを含み、例えば４次元画像のフレーム群である。画像データは、例えば、超音波やＣＴなどの適切なスキャン・モダリティによって取得することができる。フレーム群のフレームは、関連する座標系を有するボリュームを表す。各フレームは、ボリューム画像データセットを含み、ボリューム画像データセットはボリュームのボクセルのボクセル値を含む。フレームは、時間的順序と対応する。時間的順序とは、最初のフレームから最後のフレームまでが取得された順番である。

他の実施形態において、フレーム群は、例えば、スキャンやフォローアップスキャン等の別の手段で収集されたフレームを含んでもよい。一実施形態において、例えば、フレーム群内に別の手段で取得されたフレームがある場合は、画像レジストレーション処理によって、そのフレームに基づく画像の位置合わせを行う。画像レジストレーション処理は剛体または非剛体レジストレーションを含む。

ボクセル処理回路３８は、複数のフレームの座標系に対する目視方向を受信または決定する。目視方向は、複数のフレームの取得に用いられるモダリティ、例えば、超音波や磁気共鳴等に応じて定められてもよい。または、ユーザによって入力される、もしくは、適切な方法で決定されてもよい。

ステップ４２において、優先度回路３４は各フレームの優先順位を決定する。図３の実施形態において、フレームの優先順位はフレームの時間的順序とは異なる。優先度回路３４はフレームの内の一つを最優先度フレームとして選択して表示する。最優先度フレームは、現在のフレームとも称される。最優先度フレームはフレーム群のいずれのフレームでもよい。最優先度フレームは、例えば、ユーザがフレーム群から一つを選択する等のユーザ入力に応じて選択される。別の実施形態において、優先度回路３４は、例えば、複数のフレームの内最も重要なフレームを選択することによって、最優先度フレームを自動的に選択してもよい。

最優先度フレームは優先度値「１」を割り当てられる。

最優先度フレームに続き、フレーム群の他のフレームが優先度順に並べられる。図３に示す実施形態において、フレームは昇順の整数の優先度値を与えられる。別の実施形態では、適切な優先度値のシステムを適宜用いることができる。例えば、優先度値は、数、文字、その他の指数等でもよい。

図３の実施形態において、最優先度フレーム以外のフレームは、未来のフレームと過去のフレームが交互なるように順位付けされる。未来のフレームとは、最優先度フレームより時間的に後に取得されたフレームであり、過去のフレームとは、最優先度フレームより時間的に前に取得されたフレームである。

５つのフレームｆ１、ｆ２、ｆ３、ｆ４、ｆ５がそれぞれ時刻ｔ１、ｔ２、ｔ３、ｔ４、ｔ５に取得される例を考える。ｔ１は最も早い時刻であり、ｔ５は最も遅い時刻である。

フレームｆ３は、優先順位第一位の最優先度フレームとして選択され、優先度値「１」を与えられる。最優先度フレームに最も近い未来のフレームｆ４は、優先順位第二位のフレームとして選択され、優先度値「２」が与えられる。最優先度フレームに最も近い過去のフレームｆ２は、優先順位第三位のフレームとして選択され、優先度値「３」が与えられる。次の未来のフレームｆ５は、優先順位第四位のフレームとして選択され、優先度値「４」が与えられる。次の過去のフレームｆ１は、優先順位第五位のフレームとして選択され、優先度値「５」が与えられる。このように、優先度はフレームｆ３、ｆ４、ｆ２、ｆ５、ｆ１の順になり、元の時間的順序のフレームｆ１、ｆ２、ｆ３、ｆ４、ｆ５とは異なる。

図３に示す実施形態では、時間的な距離を一定にするため、過去と未来のフレームが交互に並ぶ。他の実施形態では、異なる優先順位を用いることができる。

一実施形態において、未来のフレームは過去のフレームより高い優先順位を与えられる。最優先度フレームとは、優先順位が第一位のフレームである。次に、未来のフレームが時系列順に高い優先順位を与えられる。過去のフレームの優先順位は未来のフレームの後になる。過去のフレームについては、最優先度フレームに時間的に近い過去のフレームが遠い過去のフレームより高い優先順位が与えられるように、時系列順を逆にしてもよい。例えば、最優先度フレームがｆ３である時間的順序のフレームｆ１、ｆ２、ｆ３、ｆ４、ｆ５の場合、過去のフレームより未来のフレームが優先される優先順位はｆ３、ｆ４、ｆ５、ｆ２、ｆ１となる。

他の実施形態において、未来のフレームより過去のフレームの優先順位を高くしてもよい。例えば、最優先度フレームがｆ３である時間的順序のフレームｆ１、ｆ２、ｆ３、ｆ４、ｆ５の場合、未来のフレームより過去のフレームを優先する優先順位はｆ３、ｆ２、ｆ１、ｆ５、ｆ４となる。

一実施形態において、未来のフレームを除く、最優先度フレームと一つ以上の過去のフレームについて優先順位を決める。また別の実施形態では、過去のフレームを除く、最優先度フレームと一つ以上の未来のフレームについて優先順位を決める。また別の実施形態では、最優先度フレーム、全ての過去のフレーム、最後の未来のフレームについて優先順位を決める。

また別の実施形態において、任意の優先順位を適宜用いることが可能である。任意の選択方法に基づいてフレームの何れかを適宜最優先度フレームとして選択することができる。

ステップ４４において、分類回路３６はフレーム群から一つのフレームを処理対象として選択する。図３のステップ４４から５６において、フレームの処理順序は任意である。分類回路３６は、例えば、優先度順にまたは時間順にフレーム群の何れかのフレームを選択することができる。別の実施形態では、優先度順または時間順等、処理順序を固定してもよい。

ステップ４６において、分類回路３６は選択したフレームについてボリューム画像データセットの領域を分類する。図３に示す実施形態において、ボクセルは４つのカテゴリのうちの一つに分類される。第一のカテゴリは物質領域４８に属するボクセルである。第二のカテゴリは外部空所５０に属するボクセルである。第三のカテゴリは内部空所５２に属するボクセルである。第四のカテゴリは信号欠如箇所５４に属するボクセルである。

物質領域４８とは、例えば、細胞組織等の物質が特定される領域である。物質領域４８は、一つの物体を含んでもよいし、複数の物体の集合を含んでもよい。外部空所５０は、例えば、スキャンされた患者の体の周囲の領域などである。内部空所５２は、例えば、結腸の空気領域等の、スキャンされた患者の体内の空気領域などである。信号欠如箇所５４は、例えば、信号が全く得られない、または弱い信号しか得られない領域などである。例えば、超音波や磁気共鳴では、信号が全く得られない、または弱い信号しか得られない領域がある。

別の実施形態において、任意のカテゴリを適宜用いることができる。カテゴリの数は任意である。上記物質領域４８、外部空所５０、内部空所５２、信号欠如箇所５４などのカテゴリの内のいくつかを用いてもよい。物質領域４８、外部空所５０、内部空所５２、信号欠如箇所５４などのカテゴリの内の所定のカテゴリをグループ化してもよい。物質領域４８、外部空所５０、内部空所５２、信号欠如箇所５４などのカテゴリの内一つ以上を複数のカテゴリに分割してもよい。

図３に示す実施形態において、ボリューム画像データセット内のボクセルの画像値を閾値として設定し、一つ以上の形態学的演算子を異なるカテゴリのセグメント領域に適用することによって、分類が実行される。例えば、閾値を用いて空所から物質を区別し、一つ以上の形態学的演算子を用いて、内部空所から外部空所を区別してもよい。物質領域の外郭を特定して、内部空所を分離してもよい。別の実施形態において、分類は、例えば、セグメンテーション処理等の任意の分類処理を適宜含んでもよい。

ステップ５６において、選択したフレームの領域分類は終了する。フレーム群内に分類すべきフレームが残っている場合は、図３の処理はステップ４４に戻り、分類回路３６は別のフレームを処理対象として選択する。フレーム群内の全ての分類が完了した場合は、図３の処理はステップ５８に移行する。

ステップ５８において、ボクセル処理回路３８はステップ４２で決定された優先順位に従って、処理対象のフレームを選択する。ステップ５８の最初の時点では、優先度値「１」の最優先度フレームが選択される。後続のフレームは優先度値の昇順に処理される。

ステップ６０において、ボクセル処理回路３８は選択したフレームから処理対象のボクセルを選択する。最初の時点では最優先度フレームのボクセルである。選択されたボクセルは物質領域または内部空所として分類されたボクセル群の内の一つである。

図３に示す実施形態において、処理対象として選択されるボクセルの順序は目視方向に依って決まる。選択されたフレームの内、目視方向に対して概念上の観察者により近いボクセルはより遠いボクセルより先に処理される。ステップ６４を参照して以下に記載されるように、オクルージョンを算出する場合、フレームを横断するような順番によって、算出されたオクルージョンを再利用できる。より複雑なオクルージョンを計測する場合、このトラバース計算（traversal）は目視方向に対して直線的なトラバースとは異なってもよい。また、一時的な記憶部を追加で利用してもよい。また別の実施形態では、選択フレーム内のボクセルは任意の順番で適宜処理することができる。

ステップ６２において、ボクセル処理回路３８は選択したボクセルに対応するボクセル位置に書き込まれたボクセル値があるか否かを判断する。最優先度フレームである第一のフレームが処理対象の場合、ボクセル位置に書き込まれたボクセル値は存在しない。図３の処理はステップ６４に進む。

ステップ６４において、ボクセル処理回路３８は選択したボクセルに関連するオクルージョンレベルを特定する。オクルージョンレベルについては図５を参照して以下に詳述する。第一のフレームが処理対象の場合、オクルージョンは存在せず、オクルージョンレベルはゼロである。

ボクセル処理回路３８は、物体オクルージョン指標６６内の対応するボクセル位置にボクセルのオクルージョンレベルを書き込む。すなわち、ボクセル処理回路３８は、オクルージョン指標値を割り当てる。

最優先度フレームの場合は、オクルージョンは存在しないため、ボクセル処理回路３８はオクルージョンに応じた物体の分割を行わない。後続フレームに対して実行される物体の分割については、ステップ６４を参照して以下に説明する。

ステップ６８において、ボクセル処理回路３８は輪郭処理を実行する。ステップ６８の輪郭処理は任意であり、実施形態によっては省略可能である。異なるフレームに基づく複数の物体を合成する際に、輪郭処理によって物体間に人為的に隙間を挿入する。

輪郭処理において、ボクセル処理回路３８は、選択したボクセルが対応する物体の境界にあるか否かを判断する。境界にあるボクセルは、輪郭処理によってその物体から削除される。境界ボクセルを取り除くことによって、物体を描画する際に隙間が形成される。

別の実施形態において、境界に含まれるボクセルを境界領域に付加し、別の物体として扱う。描画時に、境界領域は物体間に隙間を形成するために利用される。

物体間に人為的に隙間を形成することによって、描画画像内で異なるフレームに基づく物体間の境界を強調表示できる。物体間の境界を強調表示することで、そのコンテンツが異なるフレームに基づくことを強調することができる。輪郭処理を用いて物体間の差異を強調することは、描画の際に物体の色に大きな違いがない場合に特に有益である。

ステップ７０において、ボクセル処理回路３８はボリューム７２内の対応するボクセル位置にボクセルのボクセル値を書き込む。また、ボクセル処理回路３８はセグメンテーションボリューム７４内の対応するボクセル位置にステップ６８で決定されたラベルを書き込む。

ステップ７６において、ボクセルの処理は終了する。選択されたフレーム内の物質領域および内部空所に処理対象のボクセルが残っている場合は、図３の方法はステップ６０に戻り、別のボクセルが選択される。選択されたフレーム内の物質領域および内部空所の全てのボクセルの処理が完了した場合は、図３の方法はステップ５８に戻る。

ステップ５８において、ステップ４２で決定された優先順位に従って、ボクセル処理回路３８は次の処理対象のフレームを選択する。次に選択されるフレームの優先度値は前のフレームより大きい１である。

ステップ６０において、ボクセル処理回路３８は選択された次のフレームからボクセルを選択する。選択されたボクセルは、次のフレーム内の物質領域または内部空所として分類されたボクセル群の内の一つである。図３に示す実施形態において、ボクセルが処理対象として選択される順番は、上述の通り、目視方向によって決まる。概念上の観察者により近いボクセルはより遠いボクセルより先に処理される。

ステップ６２において、ボクセル処理回路３８は、例えば、ボリューム７２を参照することによって、選択されたボクセルに対応するボクセル位置にボクセル値が書き込まれたか否かを判断する。ボクセル位置にボクセル値が書き込まれている場合は、図３の方法はステップ７６に進み、このボクセルに対する処理は終了する。

ボクセル位置にボクセル値が書き込まれていない場合、図３の方法はステップ６４に移行する。優先順位が第二位のフレームの場合、書き込み済みのボクセルは、第一位のフレームの物質領域または内部空所内のボクセルである。第二位のフレームの物質領域または内部空所内のボクセルがまだ書き込まれていないボクセル位置にある場合、それは第二のフレームの物質領域または内部空所の位置が最優先度フレームと異なるためである。従って、図３の処理によって、最優先度フレームからの動きを表す第二のフレームのボクセルが区別される。

同様に、後続するフレームについて、ボクセル値の書き込みが行われていないボクセル位置は、より高位の優先度フレームの何れかの物質領域または内部空所の一部を構成するものではない。

ステップ６４において、ボクセル処理回路３８は、選択されたボクセルに関連するオクルージョンレベルを決定する。ボクセルが隠蔽しないと判断された場合、オクルージョンレベルはゼロである。ボクセルが隠蔽すると判断された場合、オクルージョンレベルはゼロ以外である。オクルージョンレベルについて図５を参照して以下に説明する。

オクルージョンはオクルージョン発見法を用いて決定される。オクルージョン発見法は、優先度の低い物体が優先度の高い物体を隠蔽する領域を目視方向から推測し、これらの領域をセグメンテーション階層として分離する。目視方向とは、観察者の位置である。

図３に示す実施形態において、オクルージョン発見法は観察者の真っ直ぐな視線を利用する。ボクセルが観察者とより優先度の高い物体の一つ以上のボクセルとの間の真っ直ぐな視線上にある場合は、そのボクセルは隠蔽していると判断される。視線上に一つ以上のより優先度の高い物体があり、ボクセルが、観察者と、より優先度の高い物体の内の最前方の物体との間の視線上にあれば、そのボクセルを隠蔽していると判断することができる。別の実施形態では、ボクセルが、観察者と、より優先度の高い物体の内のいずれかとの間の真っ直ぐな視線上にあれば、そのボクセルを隠蔽していると判断してもよい。

また別の実施形態において、オクルージョン発見法は、ボクセルがより優先度の高い物体のボクセルに対して定められた角度範囲内、例えば、より優先度の高い物体のボクセルから観察者に向かって伸びる円錐内、にある場合に、そのボクセルを隠蔽していると判断する。

並行投影を用いる場合、並行投影の目視方向をオクルージョン発見法に利用してもよい。

好適な視線軸または方向を有するモダリティでは、オクルージョン発見法の隠蔽判定はその好適な視線軸または方向に限定される場合がある。ある状況では、超音波または磁気共鳴画像は、例えば、常にプローブ方向またはメインスキャン方向の周りを向くような、好適な視線軸または方向を有することもある。ボクセルが好適な視線軸上において観察者とより優先度の高い物体との間にある場合、そのボクセルは隠蔽していると判断される。

他の実施形態では、ボクセルの隠蔽判定は適宜任意の方法で実行されてもよい。

ボクセルが利用するオクルージョン発見法に基づき隠蔽対象と判断された場合、ボクセル処理回路３８は、何が隠蔽されているのかに応じてオクルージョンレベルを割り当てる。ボクセルが、オクルージョンレベルがゼロ（隠蔽しない）の一つ以上のより優先度の高い物体の複数のボクセルのみを隠蔽する場合、ボクセル処理回路３８はオクルージョンレベル「１」を割り当てる。ボクセルがオクルージョンレベル「１」の一つのより優先度の高い物体のボクセルを隠蔽する場合、ボクセル処理回路３８はオクルージョンレベル「２」を割り当てる。

なお、オクルージョン判定の対象となるより優先度の高い物体は、過去の優先度の高い物体フレームから取得された物体である。

一実施形態において、現在のボクセルの判定に、先行する一つ以上のボクセルに対して決定されたオクルージョンレベルを再利用することができる。例えば、オクルージョンを単一の軸に沿って定義する場合、過去のボクセルから既知のものを現在のボクセルの判定に再利用すると、ボクセルはその軸を横断する場合がある。

ボクセルは、オクルージョンレベルに基づき、所定の物体の２つ以上の箇所の一つに割り当てることができる。

例えば、ステップ６４においてオクルージョンレベル「０」が決定された物質領域のボクセルは、物質領域の一箇所に割り当てられ、オクルージョンレベル「１」が決定された物質領域のボクセルは、物質領域の別の箇所に割り当てられる。異なる箇所に異なるラベルを割り当ててもよい。第一の物体を隠蔽すると判断されたボクセルは、例えば、異なるフレームに基づく物体等の第二の物体を隠蔽すると判断されたボクセルとは、異なる箇所に割り当てられ、異なるレベルを与えられる。

ステップ６８において、ボクセル処理回路３８は輪郭処理を実行する。ステップ６８の輪郭処理は任意であり、実施形態によって省略可能である。輪郭処理によって、異なるフレームに基づく物体を合成する際に物体間に人為的に隙間が挿入される。

輪郭処理において、ボクセル処理回路３８は、選択されたボクセルが対応する物体の境界に含まれるか否かを判定する。境界に含まれるボクセルは輪郭処理によって物体から削除される。境界のボクセルを削除することで、物体の描画時に物体間に隙間が形成される。

別の実施形態において、境界に含まれるボクセルを境界領域に付加し、他の物体として扱う。境界領域は描画時に物体間に隙間を形成するために用いられる。

図５は、３つのフレームに基づく物体のオクルージョン樹形図の一例の概略を示すチャートである。物体の階層をこのオクルージョン樹形図に基づき構成することができる。物体の階層はステップ６４のオクルージョン判定を用いて決定してもよい。

符号１０１のフレーム１は最優先度フレームであり、優先順位が第一位のフレームである。符号１１１の物体１はフレーム１内の物質を有する。物体１のボクセルは隠蔽しないため、オクルージョンレベル「０」を割り当てられる。

符号１０２のフレーム２は、優先順位が第二位のフレームである。フレーム２内の物質は２つの物体に分割される。符号１１２の物体２はフレーム２内の物質の一部を含む。フレーム２は物体１の前方にあり、物体１を隠蔽すると判断される。物体２のボクセルは、物体１を隠蔽するため、オクルージョンレベル「１」を割り当てられる。符号１１３の物体３はフレーム２内の物質の残りの部分を含む。物体３は物体１の前方にはないと判断される。物体３のボクセルは隠蔽しないため、オクルージョンレベル「０」を割り当てられる。

符号１０３のフレーム３は、優先順位が第三位のフレームである。フレーム３内の物質は３つの物体に分割される。符号１１４の物体４は、フレーム３内の、物体２の前方にあって物体２を隠蔽すると判断される物質の一部を含む。なお、物体２は、物体１の前方にあって物体１を隠蔽すると判断されるフレーム２の物質を含む。すなわち、符号１１４の物体４は、物体１および物体２双方の前方にあって双方を隠蔽する物質を含む。

物体４のボクセルは、物体２を隠蔽するためオクルージョンレベル「２」を割り当てられる。物体２自体も他を隠蔽し、オクルージョンレベルは「１」である。

符号１１５の物体５は、物体１の前方にあって物体１を隠蔽すると判断されるフレーム３内の物質の一部を含む。フレーム３は物体２の前方には位置していない。物体５のボクセルは、物体１を隠蔽するため、オクルージョンレベル「１」を割り当てられる。物体１は隠蔽する物体ではない。

符号１１６の物体６は、フレーム３内の、物体１または物体２の前方にあると判断されない物質の残りの部分を含む。物体６のボクセルは、他の物体を隠蔽していないため、オクルージョンレベル「０」を割り当てられる。

一般に、隠蔽する物体のボクセルのオクルージョンレベルは、他の物体に隠蔽される物体の最も高いオクルージョンレベルに１を加えることによって求められる。

図５のオクルージョン樹形図は、例えば、以下に説明する描画ステップ８０等の後続の描画ステップにおいて用いてもよい。オクルージョン樹形図を、隠蔽する物体群を描画する際のピクセルの寄与度を保証するための不透明度式の取得に用いてもよい。例えば、物体２が物体１を隠蔽し、物体２を物体４が隠蔽する場合、不透明度式は、物体１が不透明度の５０％、物体２が不透明度の２５％、物体４が不透明度の２５％を占めることを規定してもよい。

図３に戻り、ステップ６８の後、図３の方法はステップ７０に進む。ステップ７０において、ボクセル処理回路３８はボリューム７２内の対応するボクセル位置にボクセル値を書き込む。また、ボクセル処理回路３８は、ステップ６６で決定されたラベルをセグメンテーションボリューム７４内の対応するボクセル位置に書き込む。

ステップ７６において、ボクセル処理は完了する。選択されたフレーム内の物質領域や内部空所に処理対象のボクセルが残っている場合は、図３の方法はステップ６０に戻り、別のボクセルを選択する。選択されたフレーム内の物質領域や内部空所の全てのボクセルの処理が終了すると、図３の方法はステップ５８に戻る。

フレーム群の全フレーム内の物質領域および内部空所の全てのボクセルの処理が終了するまで、ステップ５８から７６が繰り返される。図３のボクセル処理アルゴリズムはステップ７８で終了する。

ステップ８０において、レンダリング回路３９は、ボリューム７２およびセグメンテーションボリューム７４を用いて画像を描画する。任意の描画方法を適宜用いることができる。例えば、描画方法には陰影付けボリュームレンダリング法が含まれてもよい。描画方法には陰影なしボリュームレンダリング法が含まれてもよい。描画方法には全体照明法が含まれてもよい。

物体を、例えば図５を参照して上述したように、隠蔽する部分と隠蔽しない部分に分割してもよい。ステップ８０の描画において、物体の隠蔽する部分を隠蔽しない部分よりも高い透明度で描いてもよい。別の実施形態では、物体の隠蔽する部分の描画を省略してもよい。また別の実施形態では、例えば、色、不透明度、反射度、または質感等の視覚効果を適宜物体に施してもよい。すなわち、色、不透明度、反射度、または質感等の描画パラメータを調整してもよい。物体の隠蔽する部分と隠蔽しない部分とで使用する視覚効果を変えてもよい。異なる物体には異なる視覚効果を用いて描画してもよい。

描かれた画像を例えば、表示画面２６等の画面に表示することができる。描かれた画像を例えば、臨床医等のユーザに対して表示してもよい。

図３の方法において、フレームは優先度に応じて順位付けされる。セグメンテーションによって複数フレームのデータを一つの画像に結合する。異なるフレームからセグメント化された物体は合成画像内で位置合わせされる。セグメンテーションは、オクルージョンに基づいて分割される。

全フレームを合成する代わりに、例えば、画像融合によって、図３のアルゴリズムに基づきフレームの順序に応じた優先順位でフレームを結合する。複数フレームのボクセルが一つのデータセットに結合される。各ボクセルに対してアルゴリズムを用いて、ボクセルのボクセル値の基になるフレームを特定する。融合レンダリング法等の複数のデータセットを一度に描画する方法と比較して、一つのデータセットを用いて描画をより高速に、より効率的に行うことが可能になる。状況によっては、融合は膨大な資源を利用することになり得る。

図３の方法は、どの空間を結合し、どの空間を次のフレーム用として残すなどの調整をセグメンテーションによって行う。余分な結合を避けるため、物質は都合の良い物だけを選び出す。

セグメンテーションによって、どのボクセルがフレーム群のどのフレームに属するかを明らかにする。それぞれのフレームの内容をセグメント物体に分割する。

オクルージョン発見法を用いて隠蔽する物質を独自のセグメンテーション階層に分離することによって、オクルージョンに対処する。セグメンテーションは物体がどのように互いに隠蔽し合うかについての情報を含む。

図３の方法は、主に時間データセットからのボリュームレンダリング動作シーケンスの作成に利用可能な処理法を提供する。この処理は、フレームを優先度に基づいて結合し、セグメンテーションを調整して隠蔽する領域を強調することによって雑然とした見にくい画面を回避することを目的とする。

図６は、超音波ボリュームから描画された画像内のセグメンテーションの一例を示す。超音波ボリュームは、フレーム１とフレーム２の二つのフレームからのボクセルを含む。フレーム１はフレーム２より優先順位が高い。

図６の下方をオクルージョン方向とするｙ軸オクルージョン発見法を用いる。図６において、下部の物体は上部の物体の前方にある。

領域１２０および１２２は、優先度の高いフレームであるフレーム１からの物質の領域である。領域１２０および１２２は、例えば、赤色等の第一の色による第一シェーディングで陰影付けされている。

領域１２４は、フレーム１の物質の領域１２０の前方にあるフレーム２の物質の領域である。領域１２４は、例えば、緑色等の第二の色による第二シェーディングで陰影付けされている。オクルージョン軸を考慮すると、領域１２４は観察者と領域１２０の間に位置する。領域１２４は隠蔽しているとみなされて、オクルージョンレベル「１」が与えられる。

領域１２６は、フレーム２の物質の他の領域である。領域１２６は、例えば、青色等の第三の色による第三シェーディングで陰影付けされている。オクルージョン軸を考慮すると、領域１２６は観察者と領域１２０の間に位置している。但し、領域１２６は、最前方の優先度の高い領域１２２の後方にある。図６のオクルージョン発見法において、領域は、観察者と最前方の優先度の高い領域間に位置する場合に隠蔽しているとみなされる。領域１２６は、観察者とフレーム１の最前方の領域１２２間に位置していないため、隠蔽していないとみなされ、オクルージョンレベル「０」が与えられる。

領域１２８は、フレーム２の物質のまた別の領域であって、領域１２０の一部の前方に、領域１２０の他の一部の後方に位置する。領域１２８は、領域１２６と同じシェーディングが掛けられている。領域１２８は、観察者の視線上の最前方領域、すなわち、領域１２０の後方に位置しているため、隠蔽しているとはみなされず、オクルージョンレベル「０」を与えられる。

領域１２４、１２６、および１２８は、それぞれフレーム２の物質を含むものの、異なる物体として扱われる。

図６は、最前方の物体に関わるオクルージョンを考察するオクルージョン発見法の利用例を示す。別の実施形態において、オクルージョン発見法は最後方の物体に関わるオクルージョンを考察してもよい。

図６のフレーム１およびフレーム２にさらにフレームを追加すると、他の物体が追加され、図６に示す領域の何れかを隠蔽することもあり得る。図６に示す領域の内１つ以上を隠蔽する物質の領域を、各領域のオクルージョン特性に基づいて複数の異なる物体に分割してもよい。

図７Ａおよび７Ｂは、図３の方法を用いて３つのフレームから描画された超音波画像の一例を示す。異なるフレームが異なる色で表されている。図７Ａは、グレースケールで再現される色画像のバージョンを示す。図７Ｂは、異なるフレームを異なる色と異なるシェーディング効果を用いて表す図７Ａの他のバージョンを示す。

図７Ｂにおいて、最優先度フレームからの物質の領域は第一の色で描画され、垂直線で表わされる。最優先度フレームは最上位フレーム１３０とも称され得る。図７Ｂにおいて、優先度が第二位の次のフレーム１３２からの物質の領域は、第二の色で描画され、右側斜線で表わされる。図７Ｂにおいて、優先度が最も低い最後のフレーム１３４からの物質の領域は第三の色で描画され、左側斜線で表わされる。

図７Ａと図７Ｂの画像は胎児の動きを示している。腕を異なる色で描くことによって、腕の動きが視認できる。頭の動きも見ることができる。

図８の画像は、球体１４０が左側に向かって中間形状１４２を経て立方体１４４に変形していく様を示す。図３の方法に基づいて、三つのフレーム（球体１４０、中間形状１４２、立方体１４４）間の動きを一つの画像または画面に集約する。例えば、図３のステップ６８を参照して説明した輪郭処理に従って、画像内の物体間に隙間を設ける。

立方体１４４は球体１４０より大きく、物質を隠蔽する可能性がある。そのため、優先順位は、球体１４０が最優先として定義される。球体１４０を最も優先度が高い物体に設定することによって、球体１４０の全てが視認可能となる。中間形状１４２は優先度第二位の物体であり、立方体１４４は最も優先度の低い物体である。

オクルージョン特性に基づき不透明度を制御することができる。図３を参照して説明したセグメンテーションによって、優先度のより高い物体を隠蔽する物質を除去してもよい。

なお、球体１４０、中間形状１４２、および立方体１４４のボリュームを単純に組み合わせただけでは最終フレームの立方体１４４が他のフレームより不明瞭になることがある。図３の方法では、物質を新しいラベルに分離することによって、レンダリング回路３９が描画方法を決定することができる。

図３の方法によって、物体の変形と球体１４０から立方体１４４までの変移を一つの画面に合成することが可能になる。

図９は、図８の物体のセグメンテーションを示す。図８において、物体が他の物体より図面上側にある場合、当該物体は他の物体を隠蔽すると考えられる。第一のセグメント物体１５０は、球体１４０のボクセルを含む。第二のセグメント物体１５２および第三のセグメント物体１５４は中間形状１４２のボクセルを含む。第二のセグメント物体１５２は第一のセグメント物体１５０を隠蔽するボクセルを含む。第三のセグメント物体１５４はどのセグメント物体も隠蔽しないボクセルを含む。

第四のセグメント物体１５６および第五のセグメント物体１５８は立方体１４４のボクセルを含む。第四のセグメント物体１５６は第三のセグメント物体１５４を隠蔽するボクセルを含む。第五のセグメント物体１５８どのセグメント物体も隠蔽しないボクセルを含む。

図９のセグメンテーションでは、図３の方法によって隠蔽する物質に対処するように物体が生成されたことが確認できる。

描画の際に、第三のセグメント物体１５４および第五のセグメント物体１５８の隠蔽する物質を低い透明度で描画する、またはすべて省略してもよい。別の実施形態において、隠蔽する物質を、同一フレームの隠蔽しない物質とは異なる色や他の画像特性を用いて、描画してもよい。

図１０Ａから図１０Ｆは、複数の物体が存在するフレームの組み合わせを示す。

図１０Ａは、２つの物体２０１、２０２を含む第一のフレームを示す。物体２０１には空所２０３がある。図１０Ｂは、物体２０１、２０２の物質を結合した第一のフレームの物質領域２０５を示す。また図１０Ｂは、物体２０１の空所２０３を含む内部空所２０６の領域と外部空所２１７の領域を示す。外部空所２１７は、物体２０１、２０２によって隠蔽されない空間である。

図１０Ｃは、２つの他の物体２１１、２１２を含む第二のフレームを示す。図１０Ｄは、物体２１１、２１２の物質を結合した第二のフレームの物質領域２１５を示す。また図１０Ｄは、外部空所２１７を示す。外部空所２１７は、物体２１１、２１２によって隠蔽されない空間である。

図１０Ｅは、オクルージョンの判断前の、第一のフレームの物体２０１、２０２および空所２０３と第二のフレームの物体２１１、２１２を示す。第二のフレームの物体２１１、２１２は第一のフレームの物体２０１、２０２より優先度が高い。

図１０Ｆは、オクルージョンの判断後の、第一および第二のフレームの物体を示す。オクルージョン判断処理によって、第一の物体２０１を隠蔽する物体２２３と隠蔽しない物体２２５に分割し、第二の物体２０２を隠蔽する物体２２４と隠蔽しない物体２２６に分割する。

オクルージョン判断時に、第二のフレームの物質領域２１５全体を考慮する。隠蔽する物体は第一および第二の物体２１１、２１２の一方または双方を隠蔽する場合がある。例えば、隠蔽する物体２２４の第一部分が物体２１１を隠蔽し、隠蔽する物体２２４の第二部分が物体２１２を隠蔽する。

しかしながら、隠蔽する物体２２３、２２５と隠蔽しない物体２２４、２２６はそれぞれ元の物体２０１、２０２の一方から形成される。例えば、第一の隠蔽する物体２２３は物体２０１から形成され、第二の隠蔽する物体２２５は物体２０２から形成される。

第一のフレーム内の物体数は、第二以降のフレーム内の物体数と同一である必要はない。各フレームに含まれる物体の数は任意である。

他の実施形態において、異なるフレームの物体がより離れて見えるように、各フレームのデータをオフセットしてもよい。例えば、フレーム間に横方向の移動がある場合、当該フレームからの物体を上方向にずらして、さらに離間させる。オフセットを追加することによって物体がより離れて見え、それぞれの動きが区別しやすくなる。特定の生体構造に対しては、物体がより離間するように各フレームのデータをオフセットして、わずかに大きいボリュームを作成することもできる。

上述の実施形態において、最優先度フレームが一つである、単一のフレームの優先順位が用いられた。別の実施形態において、異なるフレームが順番に最優先度フレームになるように優先順位を変更してもよい。例えば、フレームを未来から現在に、その後過去に循環させる。フレームの優先順位を循環させることによって、フレームごとに強調される物質は変わるが、全体の内容量は維持される動画を作成することが可能になる。

上述の実施形態において、フレーム群は、例えば、４次元画像のフレーム等の画像を連続して取得することによって得られた画像データを含む。別の実施形態においては、任意のフレーム群が適宜利用可能である。フレーム群は、例えば、異なる日時、週、月、年等に同じ患者を撮像して得られたフレーム等の、異なる時点に取得されたフレームを含んでもよい。フレーム群は、異なる患者や他の被検体を撮像して得られたフレームを含んでもよい。また、フレーム群は、例えば心拍に同期させるゲート心拍位相や、血管における造影剤の流れを示す動的スキャン血管造影の位相の画像など、ゲート画像の取得によって得られた画像データを含んでもよい。

図３の方法を用いて、短期間の差異（例えば、４次元データセットのフレーム間の動き）または長期間の差異（例えば、異なるスキャン間の疾病の進行）を計測することもできる。

他の実施形態において、図３の方法によって、任意の画像を適宜合成してもよい。例えば、第一画像を第二画像に位置を合わせる場合、図３の方法に基づき、第一画像と第二画像を比較してレジストレーションの誤差を示してもよい。第一画像は対象画像とも称される。位置合わせが成功した場合、画像間に差異はほとんどなく、合成によって得られた画像は第一画像と同様に見える。位置合わせの成功度が低い場合、合成画像内で画像間の差異を強調表示してもよい。

一実施形態において、ユーザが視線を大きく回転させた場合、ボリュームを再処理してもよい。例えば、再処理は、新しい目視方向に対して図３の方法のステップ５８から７６までを繰り返すことを含む。

図３の方法において、オクルージョンは目視方向に基づく。目視方向が変化すると、過去の隠蔽するボクセルが隠蔽しないボクセルになる、および／または過去の隠蔽しないボクセルが隠蔽するボクセルになることもある。再処理によって、更新されたセグメンテーションボリューム７４が作成される。

レンダリング回路３９は、更新されたセグメンテーションボリューム７４を用いて更新合成画像を描画することができる。更新合成画像は異なる目視方向から見た画像であり、隠蔽される領域を含む元の合成画像と異なることもある。

一実施形態において、目視方向の変化に対して閾値を適用してもよい。例えば、目視方向に閾値を超える大きな変化が起きた場合のみに再処理を実行する。目視方向の変化が閾値より小さい場合は、レンダリング回路３９は既存のボリューム７２とセグメンテーションボリューム７４を再利用する。

別の実施形態において、医用画像のモダリティによっては主要な目視方向があり、目視方向に変化が生じない場合がある。かかる実施形態では、図３の方法の実行は１回のみである。

上述の実施形態は、例えば、超音波データ等の医用画像データをそれぞれ含む複数のフレームに基づくデータ合成を判断することを備える。別の実施形態において、一つまたは複数のモダリティの任意の医用画像データを適宜用いることができる。医用画像は、人または動物の被検体を表す。

他の実施形態において、各フレームは、医用画像データ以外の任意の種類のデータを含んでもよい。

一実施形態に基づき、処理回路を備える医用画像表示装置が提供される。当該処理回路は、複数の医用画像時相データを受信し、複数の医用画像時相データにおいて各医用画像データの優先度に関するパラメータを規定し、パラメータに基づいて、複数の医用画像時相データ内の医用画像データの内一つ以上を選択し、選択された医用画像データを合成することによって、合成画像データを生成する。

合成画像データは、選択された医用画像データを合成することによって生成されてもよい。選択された医用画像データはパラメータに基づいて位置合わせされる。

一実施形態に基づき、医用撮像方法が提供される。当該方法は、フレームの時間的シークエンス、フレームの優先順位、関係する／関係のない細胞組織を示す、フレームごとのセグメント物体群を備える。各フレームのセグメンテーションによって示されるデータは合成され、結合されたボリュームセグメンテーションの内容は分割される。

オクルージョン発見法によって、より優先度の低い物体がより優先度の高い物体を隠蔽する領域を目視方向から推測し、これらの領域をセグメンテーション階層として分離してもよい。

フレームの優先度は、現在のフレームおよび過去のフレームのみに関する現在のフレームからの順位でもよい。

フレームの優先度は、現在のフレームおよび未来のフレームのみに関する現在のフレームからの順位でもよい。

フレームの優先度は、現在のフレーム、過去のフレーム、および最後の未来のフレームの順位でもよい。

フレームの優先度は、現在のフレームおよび交互に過去／未来のフレームの順位として、時間的距離を維持してもよい。

オクルージョン発見法は、目視方向からの真っ直ぐな視線であってもよい。

オクルージョン発見法は、視線を中心とする角度範囲であってもよい。

ユーザが大きく視線を回転させた場合、ボリュームを再処理してもよい。

モダリティに主要な目視方向がある場合、処理は一回のみの実行でもよい。

フレームを交互にオフセットすることによって、フレームに亘る特徴を、横方向の動きがない場合でも、分離してもよい。

ゲート心拍位相を示してもよい。動的スキャン血管造影位相を示してもよい。

同じ処理によって、位置合わせ誤差を示してもよい。

フレームを未来から現在そして過去へと循環させる複数の処理によって、表示を動画にしてもよい。

一実施形態に基づき、処理回路を備える医用画像処理装置が提供される。当該処理回路は、それぞれ異なる時点の状況を表す複数のフレームデータセットを受信し、フレームの少なくとも一部における少なくとも一つの細胞組織またはその他の特徴のセグメンテーションを取得し、複数のフレームデータセットからのデータを合成して、複数の異なる時点の状況を表す一つの画像を作成する。データの合成は、当該一つの画像内の、異なる時点における細胞組織またはその他の特徴を、少なくとも部分的に空間上分離すること、およびセグメンテーションを用いて合成画像の少なくとも一部のデータを除外することを含む。

一つの画像を作成するための画像合成は、セグメンテーションに優先順位を割り当て、その優先順位に従ってオクルージョンを低減または除去することを含んでもよい。

処理回路は、フレームの優先順位を設定してもよい。セグメンテーションの取得は、関係する／関係のない細胞組織を示すセグメント物体群をフレームごとに取得することを含んでもよい。

オクルージョン発見法を用いて、優先度の低い物体が優先度の高い物体を隠蔽する領域を目視方向から推測し、これらの領域をセグメンテーション階層として分離してもよい。

フレームの優先度は、以下の項目の内、少なくとも一つを含んでもよい。
ａ）現在のフレームから順番に当該現在のフレームと過去のフレームのみ。
ｂ）現在のフレームから順番に当該現在のフレームと未来のフレームのみ。
ｃ）現在のフレーム、過去のフレーム、および最後の未来のフレーム。
ｄ）現在のフレームと交互の過去および未来のフレーム、時間的距離を維持する。

オクルージョン発見法は、目視方向からの真っ直ぐな視線であってもよい。オクルージョン発見法は、視線を中心とする角度範囲であってもよい。

処理回路は、以下の動作の内、少なくとも一つを実行してもよい。
ａ）ユーザの視線の回転に応じて、セグメンテーションおよび／または合成を繰り返す。
ｂ）主要な目視方向がある場合、セグメンテーションおよび／または合成を一回のみ実行する。
ｃ）フレームを交互にオフセットすることによって、フレームに亘る特徴を、横方向の動きがない場合でも、分離する。
ｄ）ゲート心拍位相または動的スキャン血管造影位相を示す。
ｅ）位置合わせ誤差を示す。
ｆ）フレームを未来から現在そして過去へと循環させることによって、表示を動画にする。

本明細書では特定の回路について説明したが、別の実施形態では、これらの回路の内１つ以上の機能を単一の処理資源や他のコンポーネントで実現することができる。または、単一の回路で実現される機能を２つ以上の処理資源または他のコンポーネントを組み合わせて実現することができる。単一の回路とは、当該回路の機能を実現する複数のコンポーネント、互いに離間しているか否かに拘わらず、の意を含む。複数の回路とは、それらの回路の機能を実現する単一のコンポーネントの意を含む。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。新規の方法やシステムは、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０ 動作シーケンス画像
２０ 医用画像処理装置
２２ 演算装置
３０ データ記憶部
２４ スキャナ
２６ 表示画面
２８ 入力装置
３２ 処理装置
３４ 優先度回路
３６ 分類回路
３８ ボクセル処理回路
３９ レンダリング回路

Claims (19)

1. 医用画像データをそれぞれ含む複数のフレームを受信し、
   前記複数のフレームの優先順位を規定し、
   前記優先順位に基づいて、前記複数のフレームの内一つ以上のフレームに基づく医用画像データの領域を選択し、
   前記医用画像データの前記選択した領域から合成画像データを合成することにより、当該合成画像データの異なる領域に前記複数のフレームの内の異なるフレームに基づく医用画像データが含まれるように合成画像データを生成する、処理回路、
   を備える医用画像表示装置。
2. 前記選択したフレームは、異なる時点または時相において取得したデータを表し、
   前記合成画像データの異なる領域の少なくとも一部は異なる時点または時相を表す、
   請求項１に記載の医用画像表示装置。
3. 前記処理回路はさらに、前記合成画像データから画像を描画する、
   請求項１に記載の医用画像表示装置。
4. 前記領域の選択は、前記複数のフレームのそれぞれにおいてセグメント物体群を決定すること、および前記セグメント物体群に基づいて前記領域を選択することを含む、
   請求項１に記載の医用画像表示装置。
5. 前記領域の選択は、さらに、目視方向から見たときに、前記複数のフレームの内の第一のフレームに基づくセグメント物体が、前記複数のフレームの内の第一のフレームとは異なる第二のフレームに基づくセグメント物体を隠蔽する、少なくとも一つの隠蔽領域を推測することを含む、
   請求項４に記載の医用画像表示装置。
6. 前記第一のフレームは前記第二のフレームより優先順位が低い、
   請求項５に記載の医用画像表示装置。
7. 前記隠蔽領域の推測は、前記目視方向からの真っ直ぐな視線と、前記目視方向からの視線周りの角度範囲との少なくとも一方に基づく、
   請求項５に記載の医用画像表示装置。
8. 前記処理回路はさらに、各セグメント物体にオクルージョン指標値を割り当て、
   前記オクルージョン指標値は、当該セグメント物体が一つ以上の他のセグメント物体を隠蔽するか否かによって決定される、
   請求項４に記載の医用画像表示装置。
9. 前記処理回路はさらに、推測した隠蔽領域に基づき、前記隠蔽領域の少なくとも一つの描画パラメータを調整する、
   請求項５に記載の医用画像表示装置。
10. 前記優先順位の規定は、
    現在のフレームから順番に当該現在のフレームと過去のフレーム群を選択すること、
    現在のフレームから順番に当該現在のフレームと未来のフレーム群を選択すること、
    現在のフレームから順番に当該現在のフレームと過去のフレーム群を選択し、最後の未来のフレームを選択すること、
    現在のフレームと過去および未来のフレーム群を交互に選択し、当該現在のフレームからの時間的距離順序を維持すること、の内の少なくとも一つを含む、
    請求項１に記載の医用画像表示装置。
11. 前記セグメント物体群は、物質、内部空所、外部空所、および信号欠如箇所の内２つ以上を含む、
    請求項４に記載の医用画像表示装置。
12. 前記処理回路はさらに、目視方向の変化に応じて、更新後の目視方向に基づき推測した隠蔽領域を更新することを含む再処理を実行する、
    請求項５に記載の医用画像表示装置。
13. 前記目視方向は、前記複数のフレームが取得される撮像モダリティの主要な目視方向である、
    請求項５に記載の医用画像表示装置。
14. 前記処理回路はさらに、前記複数のフレームの内の異なるフレームからの領域に対してオフセットを与えることによって、描画画像内において当該領域を視覚的に離間させる、
    請求項３に記載の医用画像表示装置。
15. 前記処理回路はさらに、画像データの選択した領域を合成する前に、剛体または非剛体レジストレーションを実行することによって、前記複数のフレームの位置を合わせる、
    請求項１に記載の医用画像表示装置。
16. 前記複数のフレームは、ゲート心拍位相または動的スキャン血管造影位相を表す、
    請求項１に記載の医用画像表示装置。
17. 前記複数のフレームの内の第一のフレームは位置合わせの対象画像を表し、
    前記複数のフレームの内の第二のフレームは、位置合わせが既に実行した画像を表し、
    前記合成画像データは、位置合わせ誤差を表す、
    請求項１に記載の医用画像表示装置。
18. 前記処理回路はさらに、前記複数のフレームに対して異なる優先順位を適用して画像を描画することによって、現在のフレームを循環させて動画表示を作成する、
    請求項３に記載の医用画像表示装置。
19. 医用画像データをそれぞれ含む複数のフレームを受信すること、
    前記複数のフレームの優先順位を規定すること、
    前記優先順位に基づいて、前記複数のフレームの内一つ以上のフレームに基づく医用画像データの領域を選択すること、
    合成画像データの異なる領域に前記複数のフレーム内の異なるフレームに基づく医用画像データが含まれるように、前記医用画像データの選択された領域を合成することによって、合成画像データを生成することを備える、
    医用画像表示方法。

Images