JP2014158746A - 医用画像処理装置及び医用画像処理方法 - Google Patents

医用画像処理装置及び医用画像処理方法 Download PDF

Info

Publication number
JP2014158746A
JP2014158746A JP2014031082A JP2014031082A JP2014158746A JP 2014158746 A JP2014158746 A JP 2014158746A JP 2014031082 A JP2014031082 A JP 2014031082A JP 2014031082 A JP2014031082 A JP 2014031082A JP 2014158746 A JP2014158746 A JP 2014158746A
Authority
JP
Japan
Prior art keywords
light source
medical image
light
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014031082A
Other languages
English (en)
Other versions
JP6373600B2 (ja
Inventor
Wahrenberg Magnus
ワレンバーグ マグナス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Publication of JP2014158746A publication Critical patent/JP2014158746A/ja
Application granted granted Critical
Publication of JP6373600B2 publication Critical patent/JP6373600B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】従来に比して、組織の厚み等を直感的に視認可能な医用画像処理装置及び医用画像処理方法を提供することを目的としている。
【解決手段】診断対象に関するボリュームデータに対し、前記診断対象の少なくとも一部のボクセルデータを挟んで視点又は視野平面と光源とを設定し、前記設定された視点又は視野平面及び光源と、前記視点又は視野平面と前記光源との間に存在するボクセルデータにおいて減衰する光の透過率と、前記ボリュームデータと、を用いて、前記診断対象に関する投影画像を生成する画像生成ユニットと、前記生成された投影画像を所定の形態にて表示する表示ユニットと、を具備することを特徴とする医用画像処理装置である。
【選択図】 図6

Description

本明細書で説明する実施形態は、一般に、医用画像のボリュームレンダリングに関する。
医学の分野では、三次元(3D)画像データセットすなわちボリュームデータセットが、この分野でモダリティと呼ばれるさまざまな技法によって収集される。これらの技法としては、コンピュータ支援断層撮影(CT)、磁気共鳴(MR)、単光子放出コンピュータ断層撮影(SPECT)、超音波、および陽電子放出コンピュータ断層撮影(PET)がある。
医用画像アプリケーションなどで画像を表示するとき、特定の信号値は、特定の不透明度に関連付けられ、また、非階調画像の場合は、可視化の助けとなる色に関連付けられる。この関連付けすなわちマッピングは、コンピュータ画面または他の従来の2D表示装置に表示するための3Dデータセットの2D投影を表す2Dデータセット(ピクセルデータセット)を計算するために3Dデータセット(ボクセルデータセット)からのデータを用いるときに行われる。この処理は、ボリュームレンダリング、またはより一般的にはレンダリングとして知られる。
組織の厚さが重要な診断基準である種々の臨床状況が存在する。たとえば、心臓イメージングでは、心筋壁厚が肥大の指標として用いられる。
図1は、健康な心臓(左側)および右室肥大を呈する心臓(右側)の概略断面図を示す。図示のように、罹患した心臓のほうが、心室壁Vが厚い。
3D患者画像データセットを可視化するためのボリュームレンダリングアプリケーションでは、壁の肥厚は、概略図と同様に心臓を通る断面を撮像することによって確かめることができるが、このビューを作製するのにかなりの時間がかかる場合がある。しかし、断面を撮像しない場合、厚さのメトリックスを可視化したりそれらを構造データと融合させたりすることは簡単ではない。
1つの既知の方法は、厚さの測定値を心臓壁にテクスチャーとして投影することである。これは、東芝メディカルシステムズのCTコンソールの一機能である。
図2は、心筋の厚さを可視化するこの方法を説明するフロー図である。
ステップS1では、区分および他のフィーチャを識別するために心臓のCTボリュームデータセットのセグメンテーションを行う。
ステップS2では、心筋の厚さマップを計算する。
ステップS3では、その厚さを色にマッピングする。
ステップS4では、修正したボリュームデータセットを、厚さのカラーマッピングを用いて心筋の外面のテクスチャーとしてボリュームレンダリングする。
ステップS5では、ボリュームレンダリングからの2D画像を表示のために出力する。
この方法はかなり良く機能するが、テクスチャーが不自然なので、ボリュームレンダリングされた画像は、ユーザには不自然に見える。
気管、食道、腸、または胃などの管腔(すなわち臓器)の凹凸のある内面を可視化するための、多少関連する方法が特開平9−237352に開示されている。管腔の外面をその管腔の内面の性質によりシェーディングすることによって管腔のそれまでの外部のビューを修正することが提案されている。内面のトポグラフィは、フィーチャの内部に仮想光源を設けることによって決定される。データボリュームの各スライスの重心を追跡する線光源が、仮想光源、すなわち各スライスの中心にある点光源として提案される。これによって、胃、気管などの内面のトポグラフィすなわち凹凸を計測し、次に、適切な変換により、胃、気管などの外面に可視化することが可能になる。
一般的な、より従来の方法では、心筋バイアビリティを評価するためにレンダリングアプリケーションを用いず、代わりに、E.Garcia、K.V.Train、J.Maddahi、F.Prigent、J.Friedman、J.Areeda、A.Waxman、およびD.Berman、「rotational thallium−201 myocardial tomographyのQuantification」、Journal of Nuclear Medicine、第26巻、第1号、17〜26ページ、1985で提唱されている、いわゆる極座標表示(polar map)またはBull’s eyeプロットを用いる。極座標表示は、左室または右室の3Dボリュームを、4つの同心リングに分割されて合計17の領域を作製する2D円板として表す。
図3は、アメリカ心臓協会(AHA)の推奨に従った左室の極座標表示である。心筋の特定部位(領域の名称については図3を参照されたい)に対応する表示の各領域には、正規化されたカウント値に従って色が与えられる。極座標表示は、過去20年にわたって臨床診療で広く用いられている。このAHA基準によって、SPECTを含む異なるモダリティの間で比較を行うことが可能になる。Bull’s eyeプロットには、原理上ボリュームレンダリングによって達成されるべき単一の融合ビュー(fused view)という利点はないが、診断を行う容易な方法を提供する。
次に、以下の図面を参照して本発明の実施形態を単に例として説明する。
上記事情に鑑み、従来に比して、組織の厚み等を直感的に視認可能な医用画像処理装置及び医用画像処理方法を提供することを目的としている。
実施形態に係る医用画像処理装置は、診断対象に関するボリュームデータに対し、前記診断対象の少なくとも一部のボクセルデータを挟んで視点又は視野平面と光源とを設定し、前記設定された視点又は視野平面及び光源と、前記視点又は視野平面と前記光源との間に存在するボクセルデータにおいて減衰する光の透過率と、前記ボリュームデータと、を用いて、前記診断対象に関する投影画像を生成する画像生成ユニットと、前記生成された投影画像を所定の形態にて表示する表示ユニットと、を具備するものである。
健康な心臓(左側)および罹患した心臓(右側)の概略断面図。 心筋の厚さを可視化する既知の方法を説明するフロー図。 アメリカ心臓協会(AHA)の推奨に従った左室の極座標表示。 仮想の点光源が心臓内部のほぼ重心に配置された、心臓の概略図。 心内膜内部のボリュームによって画定される心臓内部の二値ボリュームを満たすように仮想光源が配置された、心臓の概略図。 心筋の厚さを可視化することに基づいた一例のフロー図。 2つの光源をフィラメント電球として、視点をカメラとして、シェーディングを用いて対象組織を概略的に示す照明モデルの数学的説明で用いる名称を定義するのに役立つ概略図。 図7のレイに沿った吸光係数(extinction coefficient) を示すグラフ。
外部光源から図7のレイに沿ってカメラに到達する放射線の一部を表す無次元可視率(dimensionless visibility ratio)が どのように変化するかを示すグラフ。
パラメータgのさまざまな値を有するHenyey−Greenstein関数を表す5つのプロット。 ランベルト(Lambert)の法則を示す関数を表すプロット。 仮想透過照明(transillumination)に対する単純なプリセットの概略図。 唯一の光源として心臓の内部に仮想光源を有するライティング(lighting)モデルを用いてレンダリングされた心臓の例示的な画像。 図12と同様に心臓の内部に同じ仮想光源を有するライティングモデルを用いて、またさらなる外部光源も用いてレンダリングされた心臓の例示的な画像。 診断デバイスおよび関連機器からなる例示的なネットワークを示す概略図。 ボリュームデータを生成するための一般的なCTスキャナを示す図。 本発明の実施形態により画像データを処理するためのコンピュータシステムを概略的に示す図。 本発明の実施形態により画像データを処理するためのコンピュータシステムを概略的に示す図。 より詳細な図16Aおよび図16Bのコンピュータシステムの特徴のうちのいくつかを概略的に示す図。
本発明の特定の実施形態は、メモリと、プロセッサと、ディスプレイと、ネットワーク出力接続と、メモリにロードされるレンダリングアプリケーションとを備えるコンピュータ装置を提供し、レンダリングアプリケーションはコンピュータ装置に、
a)このレンダリングアプリケーションによって処理するためのシーンを形成する、ボクセルからなる三次元患者画像データセットをロードさせ、
b)光源として機能するように、対象組織の領域に隣接するボクセルのうちの1つまたは複数を割り当てさせ、
c)光源ボクセル(複数可)から放射された光が対象組織(tissue of interest)を通って視点または視野平面(view plane)にどのように進むかについて、吸収と散乱とを含む光学的モデルを用いて計算することによって、視点または視野平面の観点からのシーンの画像をレンダリングさせ、
d)ディスプレイ上に画像を示させ、かつ/またはメモリに画像を記憶させ、かつ/またはネットワーク出力接続に画像を出力させる
ように動作可能である。
本発明の特定の実施形態は、患者画像データセットから画像を計算するための、コンピュータにより自動化される方法を提供し、この方法は、
a)コンピュータ装置上でレンダリングアプリケーションを実行することと、
b)レンダリングアプリケーションによって処理するためのシーンを形成する、ボクセルからなる三次元患者画像データセットをロードすることと、
c)光源として機能するように、対象組織の領域に隣接するボクセルのうちの1つまたは複数を割り当てることと、
d)光源ボクセル(複数可)から、光が対象組織を通って視点または視野平面にどのように進むかについて、散乱と吸収とを含む光学的モデルを用いて計算することによって、視点または視野平面の観点からのシーンの画像をレンダリングすることと、
e)画像を表示および/または記憶することと
を含む。
本発明の特定の実施形態は、上記の方法を行うためのレンダリングアプリケーションを記憶する非一時的なコンピュータプログラム製品を提供する。
本発明の特定の実施形態は、上記の方法を行うためのレンダリングアプリケーションと共にロードされ、このレンダリングアプリケーションを実行するように動作可能な画像取得デバイスを提供する。
本発明者らは、光源から放射された光が対象組織を通って視野平面の視点に進むとき、仮想光源からの光が吸収および散乱などの効果により対象組織とどのように相互作用するかをモデリングすることによって組織の厚さを可視化するために対象組織の領域に隣接するように合成光源または仮想光源を設置することを含む新規な照明モデルを有するフォトリアリスティックレンダリング装置および方法を提案する。特に、仮想光源からの光が対象組織を通過するとき、一部の光がどのように吸収されて、より厚く、より暗色で(吸収される光が多くなり、強度が低下するので)、より赤い(組織は、赤色の波長より青色および緑色の波長を強く吸収する傾向があり、この色彩効果が照明モデルに組み込まれているので)組織領域を形成するのかをシミュレートすることができる。したがって、組織を通って伝播する光の色および強度が組織の厚さに関する視覚的フィードバックを提供する2D画像を提供することができる。
吸収は、色依存性吸収パラメータを有する吸収関数を用いて計算することができる。いくつかの実施形態では、この色依存性吸収パラメータは、赤色の色成分に対してよりも青色および緑色の色成分に対してより強い吸収を提供するが、これは、実世界での白色光による組織の透過照明を模倣している。
いくつかの実施形態では、レンダリングは、光源から受けた光の量およびその入射方向をボクセルごとに計算するための、視点または視野平面と独立した、事前計算と、それに続く、セッション中の視点または視野平面の移動において事前計算を再び用いることができるように視点または視野平面に到達する放射照度の計算とを備える。簡単な実装形態では、光源ボクセルは、レンダリングにおいて透明として扱われ、したがって散乱または吸収に寄与しない。
光源は、好ましくは、分散しており、すなわち点光源ではない。言い換えれば、ボリュメトリック(volumetric)領域にわたって分散した複数の光源ボクセルがある。
光源ボクセルは、1対1マッピングにより直接的に、またはセグメンテーションされたボリュームから開始し、次に変換される、たとえば収縮される、拡張される、または変形されることにより、患者画像データセットのセグメンテーションに基づいて割り当てることができる。
いくつかの実施形態では、光源ボクセルは、血管または腸の中心線などの管腔の中心線を参照して割り当てられる。
いくつかの実施形態では、対象組織の領域が中空のとき、光源が対象組織によって覆い隠されるように、光源ボクセルはその領域の内部にあり、視点または視野平面はその領域の外部にある。他の実施形態では、対象組織の領域が中空のとき、光源が対象組織によって覆い隠されるように、光源ボクセルはその領域の外部にあり、視点または視野平面はその領域の内部にある。
いくつかの実施形態では、光源ボクセルは、ユーザによって描画ツールを用いて、すなわちグラフィカルユーザインターフェースからの入力によって割り当てることができる。
通常、シーンの全般照明を提供するために、少なくとも1つの追加光源を対象組織から離れて設けることが望ましい。
図4は、仮想の点光源が心臓内部のほぼ重心に配置された、心臓の概略図である。
対象組織の内部に光源を位置決めすることによって、たとえばセグメンテーションからわかるような画定された内的空間の内部を意味する。内的空間の例としては、室(ventricle)、房、肺腔、頭蓋、および骨髄で満たされた骨小腔、血管(たとえば動脈または静脈)、腸、結腸、または膝(たとえば大腿骨)がある。
室は、身体または臓器の内部の小さな空洞または部屋と定義され、特に左室および右室を指すために用いるが、脳の空洞も指すために用いる。
房は、身体の空洞または部屋と定義され、特に心臓の左心房および右心房を指すために用いる。
管腔は、血管、動脈または静脈、または腸または結腸などの管状の臓器の内側の空いた空間または空洞と定義される。
対象組織の後方に光源を位置決めすることによって、視点から光源への直接的な視線がないように、対象組織を視点と光源との間に位置決めすることを意味する。
さらなる実施形態では、光が外側から、たとえば管腔の外部から管腔の内部の観察者(viewer)まで進むように、腸または他の管腔の内部など、対象組織の領域によって囲まれる内的空間の内部に観察者すなわち視点または視野平面を設置し、対象組織の領域の外部に光源を位置決めすることを想定することに留意されたい。この観察モード(viewing mode)は、たとえば仮想の結腸鏡検査に有用でありうる。
臓器の外面の外観を意図的に修正するために用いられるテクスチャーベースの手法、シェーディングベースの手法、または内部凹凸ベースの手法と比較すると、本明細書で提案する新規な照明モデルを用いてレンダリング方法を用いて生成される画像の主観的印象は、これらの画像は画像データに含まれるノイズに影響されず、観察者に高画質という認識をもたらすフォトリアリスティックビューを提供するということである。
ユーザが組織の厚さおよび厚さの変化を理解および認識できるための仮想光源の提案する使用法は、実世界におけるいわゆる透過照明の仮想的な類似物(virtual analog)である。そのため、このレンダリング方法を仮想透過照明と呼ぶ。
光の吸収および散乱は非常に自然な光学現象であり、したがって、これらの効果を取り入れた適切な照明モデルによって生成される画像は、ユーザが組織の厚さを直観的に評価可能な画像を供給することができる。
研究から、点光源を用いる場合、いくつかのアプリケーションでは、ライティングの変動があることがあり、これは、厚さの信頼できる指標が常に与えられるとは限らないことを意味することが示されている。これが問題であるかどうかは、内的空間および透過照明されるべきその周囲組織の形状に依存する。この望ましくない効果は、点光源の位置が変動する結果、光源点および視点からまっすぐに組織を通る経路の長さが著しく変化する。
この問題が生じる可能性を回避する1つの方法は、点光源を用いるのではなく、むしろ、二値ボリューム、すなわち対象組織に隣接して(たとえば、内部に、外部に、または後方に)あることがセグメンテーションからわかる1つまたは複数のボリュームから構成される領域を光源として用いることである。心筋を透過照明することが望ましい場合を例にとると、左室および/または右室のセグメンテーションされた心内膜および血液プールを撮像して、これらのセグメント化されたボリュームに光を放射させる。ボリューム全体を仮想光源として定めることによって、非常に均一なライティング条件をもたらすことができ、これにより、肉厚の正確な表現および患者間での本質的な正規化が確実になる。
図5は、心内膜内部のボリュームによって画定された心臓内部の二値ボリュームを満たすように仮想光源が配置された、心臓の概略図である。
別の類似した手法は、点光源(たとえばセグメント化された臓器の重心)または線光源(たとえば結腸、血管、または他の管腔の中心線)を定め、次に、たとえば、拡張されたボリューム内の1点が、二値ボリュームのエッジを含む本来の点または線に達するまで、点または線と対象組織の隣接する境界との距離の比率で、または、より簡単には、固定長にわたって、その点または線をそれぞれ球状またはスリーブ状の領域に拡張することである。
さらに別の手法は、ユーザが仮想光源の場所および程度を手動で定めることを可能にすることである。これを達成するため、ユーザは、発光する(luminous)ボリュームを定めるために標準的なCAD描画ツールを用いることができる。ユーザは、所望する印象が実現されるまで、仮想光源の形状、大きさ、および場所を調整することもできる。
また、照明されるボクセルは、管腔または臓器の壁によって規定される変位した表面、拡大した表面、または縮小した表面、たとえば心内膜から縮小された表面、または血管の壁から縮小されたスリーブ状の構造、または皮膚から得られたが皮膚の下にあるシートなどの、セグメント化された特徴によって定められるレイヤまたはスリーブなどのレイヤまたはスリーブの中にあってもよい。このようなレイヤまたはスリーブスリーブは、表面メッシュによって表すことができる。
ほとんどの実施形態では、仮想光源である二値ボリュームに含まれるボクセルは完全に透明であるように設定され、そのため、これらのボクセルは、仮想光源から放射される光子(フォトン)と相互作用しないことが想定されている。そうでない場合、照射されるボリュームの内部に何らかの複雑な効果がある。この効果は、原理上は診断値の追加であるが、詳しく理解していない場合、望ましくないアーチファクトの印象を与えるだけになる可能性がある。
本明細書で提案する仮想透過照明は、心臓、気道、結腸、骨、頭蓋、血管、および皮膚を含む多種多様の特徴の相対的な厚さを可視化するのに適用可能である。
ユーザのために生成される画像は、高画質を有すると認識される。これは、一つには、厚さを表面のテクスチャーとして示す方式とは異なり直観的な印象を提供する、透過照明のフォトリアリスティックな性質のためである。高画質と認識されるのは、また一つには、透過照明手法はその凝集性(aggregating nature)によりノイズに比較的に影響されないという量的な利益の結果である。仮想光源によって放射される光子が単一または複数の散乱を生ずることを考慮することも、生成される画像のフォトリアリスティック性に寄与する。
ユーザは、指の間から閃光(flashlight)が漏れるまたは閃光を口に入れるなどの個人的経験からですら、透過照明を直観的に理解し、明るい領域は細く、赤く色のついた領域はより細く、色の濃い領域ほどさらに厚いことを理解する。
図6は、心筋の厚さを可視化することに基づいた一例のフロー図である。
ステップS1では、区分および他の特徴を識別するために心臓のCTボリュームデータセットのセグメンテーションを行う。
ステップS2では、心臓の内側ボリュームを発光するようにする。たとえば、血液プールたとえば左室および右室から構成される部屋のボクセルを発光するようにすることができる。別の例は、心内膜内部のすべてのボクセルを発光するようにすることである。
ステップS3では、仮想光源からの光が画像データセットをどのように通過するかおよびその途中で、透過照明されている組織すなわちこの例では心筋とこの光の相互作用によって、この光がどのように修正されるかを追跡するために照明モデルを適用することによって、透過照明効果を達成する。透過照明では、反射、散乱、および吸収を取り入れた光学的モデルを用いる。次に、視点に関してより詳細に照明モデルを説明する。視点は、カメラ、または他の光センサ、または目であると考えることができる。
図7は、以下で用いる名称を定義するのに役立つ概略図である。この図では、心臓または血管などの一般的な中空の特徴すなわち仮想光源が内部に設置されている特徴を含む、レンダリングされるべきシーンを非常に大まかに示すことを試みている。2つの光源は、フィラメント電球として概略的に示されている。一方は、対象ボリューム(図の右側)の外部にある外部光源であり、他方は、対象ボリュームの内部に配置された光源である。単一の点
の場合、内部光源から方向
に入射する入射光Iinの一部は、カメラへのレイに沿って
の方向に角度θで分散または反射する。Ioは、外部光源から直接に対象の背面から受ける放射照度を表す。位置
にある視点は、図の左側のカメラとして概略的に示す。Ioutを、カメラ
への位置
からのレイトレース(点線)の方向に通過する放射照度として定義する。透過照明されている組織(たとえば心筋)は、グレイにシェーディングされ、吸光係数τを有する。いくつかの観察モードでは、たとえばレンダリングが仮想現実ヘッドセットまたはメガネ用である場合、図7で概略的に示す小さな点状の視点、または観察者の片方の目に対して1つずつの1対の視点があることがあるが、患者画像データセット内の領域の全体たとえば胸部全体または心臓およびそのすぐ周囲の組織の完全な2D写真を生成するための他の観察モードでは、拡張された視野平面があることが理解されよう。
図8Aは、透過照明された組織にゼロでない吸収があることを示す、図7のレイに沿った吸光係数
のグラフである。
図8Bは図7のレイに沿ってカメラに到達する放射線の一部を表す無次元可視率
が、透過照明された組織との相互作用の結果として、カメラと外部光源の間の経路においてどのように変化するかを示すグラフである。
放射照度は、各波長に固有のスペクトル放射照度であってもよいし、スペクトル全体にわたっての総放射照度であってもよい。カラー画像を生成するとき、放射照度は、追加の色モデルのための、赤色、緑色、および青色などの光成分に分離される。したがって、カラー画像の場合、以下の式は、特定の色成分に対するものとして解釈されるべきである(したがって、色成分ごとに繰り返される)。
この関数は、単一の点
に対して、どれほどの光が放射されIe、方向
からの入射する光Iinのうちどのくらいが方向
に分散/反射されるかを定義する。この式は、単一光源からの単一の散乱のみに適用される。
散乱関数sは、吸光係数τと粒子のアルベド(particle albedo)A(光が散乱/反射されるとき、どれほどの光が吸収されるか(表面がどれほど黒いか)を表す)と位相関数の乗算として定義することができる。
位相関数は、入射光が各方向にどれほど分散するかを定義する。異種材料の中で、この光学的性質は、ミー散乱を用いてモデリングすることができ、媒体はランダムに分散する球状粒子のセットであると仮定する。粒径が光の波長と同じ程度であるとき、Henyey−Greenstein関数を用いて散乱を近似することができる。
ここで、g∈(−1、1)は、散乱特性を定義する定数である。
図9は、gのさまざまな値すなわち左から右にg=[0.9、0.7、0.5、0.3、0]を有するHenyey−Greenstein関数を表す5つのプロットである。負数の場合、同じ形状が生成されるが、方向は逆である。
Henyey−Greenstein関数を用いるのは、一例に過ぎない。光の波長より大きな粒子に対する別の一般的な関数は、ランベルトの法則によって定義することができる。
図10は、ランベルトの法則を示す関数を表すプロットである。
類似の関数は反射に用いることもでき、その場合、この関数は、スカラー場勾配
として定義されることが多い表面法線Nに関連して指定することができる。簡単な例は、同様にランベルトの法則によって規定される拡散反射である。
最高のリアリズムを実現するために、反射と散乱(透過率)を関数
に組み込むことができる。上記の例はいずれも、モデルでもあり、近似式でもある。より洗練されたモデルを透過照明に用いることもできる。
上記の説明では、単一点の場合に光相互作用をどのようにモデリングすることができるかについて説明している。
どれくらいの光がカメラで受け取られるかに関して累積する式は、以下のとおり定義する。
この式では、Ipixは、カメラ平面上のピクセルに到達する最終放射照度を表す。Ioは、外部光源から直接対象の背面から受ける放射照度を表す。ほとんどの場合、Ioは、透過照明シーンでは0である。関数内の積分は、カメラに向かってTだけ減衰する、観察線に沿った各点から受ける光の量の総和と解釈することができる。Tを調べる別の方法は、

からの可視性を定義することである。
これまでの説明では、関数の一部すなわちIinが省略されている。Iinは、再帰的であり、Ipixと同様に定義される。Iinの式はIpixより若干複雑でなくなるが、IinとIpixは本質的に同じことを表すので、単一の散乱の場合、Iinに関して散乱を考慮に入れる必要はない。ID
は、本明細書では、光源の位置または
がシーンに入る場所である。
複数の散乱を考慮する場合、上記の関数のうち2つがより複雑になる。散乱を扱う場合、ここで、以下で定義するように任意の方向で散乱する光を考慮に入れなければならない。このバージョンのIoutは、複数の光源またはボリュメトリックな単一光源がある場合にも適用され、また、単一の散乱と複数の散乱の両方に適用されることに留意されたい。
また、この単純化されたIinは、完全に再帰的な積分(full recursive integral)として定義しなければならないので、はるかに複雑になる。
これによって、ボリューム内のあらゆるところであらゆる方向から光が自由に散乱することが可能になる。数学的には、積分への拡張はあまり困難ではないが、計算の複雑性が大幅に増加する。
このモデルを用いて相互作用による可視化(interactive visualization)を達成する、すなわちリアルタイムでブラウジングするために、
を事前計算して、実行中に必要な計算の量を減少させることが望ましい場合が多い。単一の散乱の場合、および1つの光源を用いる場合、角度成分は必要ではなく、複数の散乱の場合ですら、
を事前計算して
の寄与を近似することは可能である。本質的には、関数
を見つけ出そうとし、その結果、以下の式が得られる。
これを行うための計算的に最も簡単な方法は、g=0でHenyey−Greenstein関数を用いることであり、その場合、sを積分の外に出すことができる。
事前計算を行うことによって、多重解像度木の表現(たとえば、8分木またはk−d木)または点群(point cloud)ですら用いて3Dラスタとして表すことが可能な放射照度スカラー場を形成する。
透過照明シミュレーションでは、現在、より複雑なIout変数を用いているが、
を事前計算するので、複雑性はそれほど増加しない。これを行うのは、主要光源は単一のボクセルに限局された点光源ではなく、ボリュメトリック領域全体にわたって分散される、好ましい実装形態のためである。これは、複数の光源からの単一の散乱と解釈する。
仮想透過照明では、ボリュームレンダリングに、次に説明するフォトンマッピング法を用いる。フォトンマッピングの代わりに、他の光学的モデルを用いることもできる。
シミュレーションの基礎光を形成する光子相互作用の5つの側面がある。
放射:通常、新しい光子は、原子緩和または固体緩和によって生じる。
吸収:光子のすべてのエネルギーは材料に伝達される。この効果は、高波長依存性の場合が多い。
反射:光子は、表面の向きおよび入射角によって方向を変化させる。
屈折:屈折は、同種材料のみに適用される。光子は、表面の向き、入射角、および光学的指数の差(optical index differential)によって方向を変化させる。
散乱:光子は、伝播方向に対して方向を変化させる。これは、同種材料における純粋に統計学的な効果である。単一の/複数の散乱は、いくつの相互作用が生じうるかを説明するために用いる用語である。散乱は、弾性効果である。
マッピングされるべき量は、スペクトル放射照度、または1秒あたりである波長において入ってくる光エネルギーの量である。波長を3つの成分(赤色、緑色、および青色)にまとめ(bin)、単位時間間隔を1とする。光源から、特定のエネルギー
で開始する。
次に、光子がボリュームと相互作用する光源から、光子が吸収される点まで、光子を追跡する。この第1のステップでは、個々の光子がカメラに実際に到達するかどうかを判断しようとはしない。その可能性は非常に低いので、処理を望む光子よりはるかに多くの光子をシミュレートしなければならない。この第1のステップでは、どこで光子が終わる傾向があるかを決定するに過ぎない。
A.吸収
あらゆるレイ間隔に対して、伝達関数f(v(t),o(t))を用いてエネルギーを減算することによって、吸収関数に従って吸収を計算し、ここで、v(t)はボクセル強度値であり、o(t)は、経路パラメータtの関数としてのセグメンテーション対象である。
また、これを、ランベルト−ベールの法則によって以下のように連続する場合について説明することもできる。
計算している効果は、高いレベルの測光効果(photometric effect)である。個々の光子に関して、吸収は、上記の式から導出できるある一定の確率分布で発生する離散的な事象である。しかし、この場合、追跡したエンティティを、光子としてだけでなく、多数の光子を表すエネルギー束として処理することによって、はるかに速い統計的収束を達成することができる。追跡しなければならない光子またはエネルギー束の数を制限するために、この手段を可能な限り用いる。
B.反射および屈折
反射の大域的な効果は、非常に大きい場合がある。高反射性(拡散)の白い天井に強力な光を向けることによって、部屋全体を照らすことができる。色は、反射により、隣接する表面の間から滲み出すこともでき、これは通常、ポリゴンレイトレーシングで示される効果である。
屈折は、反射と組み合わされるときはコースティクス(caustics)と呼ばれることもあるが、フォトンマッピングまたは他の光学的モデルを用いて効果的にシミュレート可能な効果でもある。
現在の実装形態では、反射効果も屈折効果もフォトンマッピングに含まれていない。マッピング段階に反射を含むことによって得られる大域的な効果は、医用画像データへの適用時には非常にわずかであるので、反射は、レンダリングステップで考慮され、適切な近似法であると考えられる。屈折は同種材料のみに適用され、ほとんどの組織型の組成は不均一であるので、屈折は含めない。しかし、反射および/または屈折は、他の実装形態に含まれることがあり、画像におけるフォトリアリズムのレベルを向上させ、描画技法(illustrative technique)に自由度を提供すると考えられうる。
C.散乱
フォトンマッピング段階において、現在の実装形態では、複数の散乱をシミュレートしない。より簡単な実装形態では、単一の散乱のみを考慮する。
現在の実装形態では、単一散乱は、レンダリング中のサンプルあたりの散乱近似(per sample scattering approximation)と組み合わせて吸収をシミュレートすることによって達成される。光の散乱は、光の伝播方向を中心とする確率分布関数として扱うことができる。位相関数と呼ばれるこの関数は、反射の双方向反射分布関数(BRDF)の散乱に類似したもの(scattering analogue)である。この散乱分布関数は、場合によっては、高波長依存性とすることができる。しかし、医用画像データ内のほとんどの組織型などのより高密度の材料では、主な着色効果(chromatic effect)は吸収によるものであり、したがって、散乱をスペクトルにわたって均一として扱うことは、良好な近似法である。用いる具体的な位相関数は、Henyey−Greenstein位相関数と呼ばれる。反射に関するBlinn/Phongモデルは実験的に正確な近似法であり、実験データに基づくHenyey−Greenstein位相関数も実験的に正確な近似法である。この関数は、発散度が方向θに散乱する確率を表す。
定数gは、散乱特性を表し、[−1、1]の範囲にあり、ここで、−1は完全な後方散乱であり、1は完全な前方散乱(散乱なし)である。シミュレーションでは、エネルギーを分離して新しい光子を生じるのに必要な下部構造(infrastructure)が複雑であるので、この効果を確率的として扱う。活性を有する光子(active photon)の数は、光子が連続的に分裂する(branch)につれて、指数関数的に増加する。位相関数をサンプリングするために、位相関数を使用に適した形に変換する必要がある。これを行うには、累積確率分布関数を定義する。
上記から、方形分布を所望の位相関数分布に変換することができる。定数gは、この場合、まったく定数ではないが、ここでも、対象ごとの伝達関数g(v(t),o(t))によって提供される。
D.フィルタリング
フォトンマッピングで用いられるすべての確率過程は、その分布が単独で収束するのに十分に長い間実行することができる。しかし、情報の内容が十分高くなるまでその過程を実行するほうが効率的であるが、滑らかさは依然として低い。次に、フィルタリングを用いて分布を滑らかにすることができる。実験から、単純なガウシアンフィルタリングによって優れたベースラインが得られることが示されている。
情報の内容が局所的に変化することがあるので、フィルタ段階は、たとえば適応(adaptive)ガウシアンフィルタリングまたは拡散フィルタリングを利用するように、より洗練させることができる。フィルタリングは、マッピング過程をプログレッシブにするために重要である。低品質のマッピングは、少数の光子を高いエネルギーにキャスト(cast)して、大きなσ値をガウシアンフィルタリングに用いることによって生じる場合がある。このσ値は、光子数np(t)およびボリュームサイズVの関数すなわちσ(np(t),V)と定義することができる。
照明モデルについて詳細に説明してきたが、次に、方法のさらなるステップについて説明する。
ステップS4では、心臓の外部からのシーンの何らかの全般照明を提供するために追加光源の効果をシミュレートする任意選択のステップを実行する。この追加光源は、たとえば、イメージングするべきボリュームの外部にある点光源であってもよいし、周囲光源であってもよい。
ステップS5では、スペクトル放射照度ボリュームを積算してレイキャスティングエンジンを作製する。
ステップS6では、ボリュームデータセットの修正されていないセグメントすなわち、この例では心臓でないボリュームのセグメントを含めて、修正されたボリュームデータセット上でボリュームレンダリングを実行する。各サンプルにおいて、単一の散乱により受けた光をHenyey−Greenstein位相関数を用いて評価し、反射により受けた光を位相関数(BRDFに類似したもの(BRDF analog))によって評価する。単一の散乱を推定するために、光の方向、または少なくとも光のうちのどれくらいがどの光源から生じているかについての推定値を知らなければならない。単一の点光源の場合、これは、もちろん自明である。実用的な近似法は、g=0の位相関数に基づいて、反射を十分な拡散として扱い、散乱を局所的な拡散として扱うことである。それでもなお、フォトンマッピング段階で複数の散乱を用いることによって、組織内での散乱の効果を捕捉することができる。これらの近似法をフォトンマッピングに適用する場合ですら、レンダリングによって、非常に高い画質およびリアリズムが得られる。これらの近似法を用いたレンダリングはまた、非常に高速であり、これは当然のことながら、リアルタイムレンダリングにおいて非常に望ましい特性である。
フォトンマッピングは、拡散のみで勾配のないライティング(diffuse-only gradient-free lighting)をレンダリングするのに良好なベースラインを提供する。ボリュームにノイズがあまり多くないとき、勾配に基づいて大域照明を局所ライティングと組み合わせることができる。フォトンマッピングされた周囲および拡散を有する局所的な鏡面ライティングは、特に良好な画質を提供するモードである。局所的なエネルギー分布は、影に隠れた暗色の領域が鏡面光を放射しないように鏡面係数(specular factor)を変調するために用いられる。局所マッピング/フォトンマッピングからの寄与は、見た目を局所ライティングから大域ライティングにスライドできるように、連続係数によって定義される。
仮想光源のボクセル、すなわち放射体であるボクセルは、レンダリングにおいて、光子との相互作用がない、すなわち吸収したり散乱したりしない(または、それらの相互作用の効果が含まれる場合は、反射したり屈折したりしない)ように扱われる。これは、放射ボクセルの不透明度をゼロに、またはいかなるプリセットウィンドウが伝達関数に用いられても外部に存在し、したがってこれらのボクセルを事実上透明にする任意の値に設定することによってモデリングすることができる。
ステップS7では、ボリュームレンダリングからの2D画像を表示のために出力する。
本発明者らの結果から、このレンダリング方法の画質は非常に良好であることが示されている。光学的モデリングが吸収、散乱、および任意選択で他の効果を含むために必要な余分な設定は、プリセットに組み込まれる。ボリュームごとの追加の調整は必要でないと思われる。元のサイズ(軸ごと)の4分の1に小型化されたスペクトル放射照度ボリュームは、CT画像データセットと超音波画像データセットの両方に対して性能と品質の良好なバランスを達成することが判明している。良好な画質を得るために必要とされる光子の数は、ボリュームサイズに正比例すると思われる。パーソナルコンピュータ(2.2GHzプロセッサ、2×4コア、およびハイパースレッディングを搭載したDell T5500)が、CT画像データセットの指向性ライティングによる相互作用レベルのブラウジングに近いものを達成可能であることが示されている。周囲ライティングは、一般に、所望の分布を達成するのにはるかに長い時間がかかるが、周囲ライティングは、散発的に、すなわち伝達関数が変化したとき、またはクリップおよびセグメンテーションのような空間特徴が変化したときに、更新されるだけでよい。周囲ライティングはまた、ボリュームのうちのより多くの部分を照射し、ビューを回転するときですら、静的なライティングをより許容可能にする。超音波ボリュームの場合、1秒あたり最大約10のフォトンマップの速度で光の方向の相互作用による変化を達成することができる。類似またはこれより速い速度でフィルタリングを行うことができるとすれば、1秒あたり5〜10のフォトンマップを達成して、レンダリング段階に送るべきである。良好な組合せは、セッションの開始時に計算したベースラインの周囲ライティングを用い、次に、それに対して部分的な指向性ライティングを加えることである。スペクトル放射照度は付加的であるので、プログレッシブな技法の実施が容易な傾向がある。勾配またはライティングを所定の場所で計算する必要がないため、レンダリング過程は、局所ライティングと組み合わせないとき、局所ライティングを用いるより若干速い傾向がある。
シミュレートする光源は、次のもの、すなわちボクセル領域にわたって延設されるボリュメトリック光源、ボクセルの線にわたって延設される線状の光源、点光源、完全に均一な確率過程によってシミュレートされる周囲光源、指向性光源、または半球状の確率的周囲モデルによってシミュレートされる周囲光源のいずれかとすることができる。最良の結果は、1つまたは複数の光源と組み合わせた組織の特定部位の所望の透過照明を透過照明された組織および隣接する特徴の全般照明に提供するために、ボリュメトリック光源などの複数の光源を用いて達成することができ、点光源であってもよいし周囲光源であってもよいことも理解されるであろう。
図11は、透過照明の単純なプリセットの概略図であり、プリセットのウィンドウ幅は、心筋の最も色の薄い部分が白色または非常に淡い赤色で表示され、おそらく0〜20%の吸収であり、心筋の最も色の濃い部分が暗赤色または黒色で表示され、おそらく80〜100%の吸収であり、ウィンドウ幅全体にわたって吸収の線形的な変化があるように設定する。プリセットは、事前に決定される、すなわち最大厚および最小厚は固定値であってもよいし、可視化されているセグメンテーションされた3D画像データセットからの厚さの計算値を用いて実行中に計算してもよい。プリセットは、実世界の透過照明を模倣するカラーアスペクト(color aspect)を有することができ、それにより、仮想光源は白色であり、組織の吸収は、赤色以外の色を優先的に吸収する、すなわち赤色成分の吸収パラメータより高い青色成分および緑色成分の吸収パラメータを有するようにモデリングされる。このようにして、単一のパラメータ(組織の厚さ)に関して観察者への多次元フィードバック(色が白色から赤色に変化し、強度が高から低に変化する)が存在する。
また、第2の測定も、たとえばプリセットに色吸収に関する効果を与えることによって、プリセットに導入することができる。この第2の入力は、組織の濃度、たとえば心筋におけるCTボクセル値に基づくことができる。さらに、他の場合では、第2の入力は、超音波、PET、またはSPECTなどの異なるモダリティから生じることができる。たとえば、大部分はCT画像である状況においてCTをPETと組み合わせるために、第2の入力は、PETデータ内のボクセル値とすることができる。第2の入力は、時間分解法による研究(time-resolved study)においてフレーム間で決定されるモーションなどの別のパラメータを指定することもできる。
診断を補助するために、ユーザに、同じ可視化パラメータおよび透過照明プリセットを用いる参照3D画像データセットからの画像を提示することができる。
図12は、照明モデル内の唯一の光源として心臓の内部に仮想光源を有する心臓の例示的な画像である。
図13は、図12と同様に心臓の内部に同じ仮想光源を有するが、外部からの心臓の何らかの全般照明を提供するための従来の非指向性外部光源の形をしたさらなる光源も用いた、心臓の例示的な画像である。
上記で説明した仮想透過照明効果を提供する照明モデルを用いたフォトリアリスティックなレンダリング方法、特に図6に示す方法は、ソフトウェアとして、またはソフトウェアとボリュームレンダリングに適したまたはボリュームレンダリングに最適化されたグラフィックカードもしくはチップセットなどの最適化されたハードウェアもしくは専用ハードウェアの組合せとして、実施される。このソフトウェアは、コンピュータワークステーションまたはクライアント−サーバモデルで動作するネットワークの一部であるサーバ上で実行可能なレンダリングアプリケーションに組み込まれる。レンダリングアプリケーションが常駐するワークステーションまたはサーバに関する通常の状況は、次に説明する病院ネットワークである。
図14は、コンピュータ制御の診断デバイス、スタンドアロンのコンピュータワークステーション、および関連機器からなる例示的なネットワーク1の概略図である。ネットワーク1は、3つの構成要素を備える。すなわち、主要病院構成要素2、遠隔地の診断デバイス構成要素4、および遠隔地の単一ユーザ構成要素6がある。主要病院構成要素2は、患者の画像を取得するための複数の診断デバイス、この例ではCTスキャナ8と、MR画像装置10と、デジタルX線撮影(DR)デバイス12と、コンピューテッドラジオグラフィ(CR)デバイス14と、複数のコンピュータワークステーション16と、一般的な形式のファイルサーバ18と、ファイルアーカイブ20と、インターネットゲートウェイ15とを備える。これらの特徴のすべては、ローカルエリアネットワーク(LAN)25によって相互接続されている。各コンピュータ装置がネットワークを介して通信するために少なくとも1つのネットワーク出力接続を有することが理解されよう。
遠隔地の診断デバイス構成要素4は、CTスキャナ11と、一般的な形式のファイルサーバ13と、インターネットゲートウェイ17とを備える。CTスキャナ11およびファイルサーバ13は、通常、インターネットゲートウェイ17に接続され、インターネットゲートウェイ17は、インターネットを介して、主要病院構成要素2の内部にあるインターネットゲートウェイ15に接続される。
遠隔地の単一ユーザ構成要素6は、内蔵モデム(図示せず)を有するコンピュータワークステーション21を備える。コンピュータワークステーション21も、インターネットを介して、主要病院構成要素2の内部にあるインターネットゲートウェイ15に接続される。
ネットワーク1は、標準化された一般的な形式でデータを送信するように構成されている。たとえば、最初にCTスキャナ8がソースデータセットすなわち3D画像データセットを生成し、操作者は、このデータセットから適切な2D画像を取り出すことができる。この2D画像を標準的な画像データ形式で符号化し、ファイルアーカイブ20に格納するためにLAN25を介してファイルサーバ18に転送する。その後、コンピュータワークステーション16のうちの1つで作業しているユーザは、画像を要求することができ、ファイルサーバ18は、その画像をアーカイブ20から取り込み、LAN25を介してユーザに渡す。同様に、主要病院構成要素2から離れて、遠隔地の診断デバイス構成要素4または遠隔地の単一ユーザ構成要素6の中で作業するユーザも、アーカイブ20に、またはネットワーク1の他の場所に格納されているデータにアクセスして送信することができる。
図15は、コンピュータ支援断層撮影(CT)スキャナ8の開口7内部の患者5の一領域に関連するX線減弱に関する断面画像を得るための、一般的なスキャナ、最も特に、たとえば図14に示されているスキャナ8の概略斜視図である。異なるイメージングモダリティ(たとえばCT、MR、PET、超音波)は、異なるタイプの医用画像データを提供するために用いることができる。
図14および図15を参照すると、本発明を実施するレンダリングアプリケーションは、図示のコンピュータ装置のいずれか、すなわち、ワークステーション6、16、サーバ13、15、17、18、またはコンピュータ、およびスキャナ8、10、11、12、14に関連する任意の関連するグラフィック処理ハードウェアに常駐することができる。
図16Aおよび図16Bは、本発明の実施形態による処理を行うように構成された汎用コンピュータシステム22を概略的に示す。図16Aは、コンピュータシステム22を構成する機能ユニットを主に表し、図16Bは、使用のために配置されたコンピュータシステム22を示す概略斜視図である。
コンピュータ22は、中央処理装置(CPU)24と、読み取り専用メモリ(ROM)26と、ランダムアクセスメモリ(RAM)28と、ハードディスクドライブ30と、ディスプレイドライバ32、2つのディスプレイ34すなわち第1のディスプレイ34Aおよび第2のディスプレイ34Bと、キーボード38およびマウス40に結合されたユーザ入/出力(IO)回路36とを含む。これらのデバイスは、共通のバス42を介して接続される。コンピュータ22は、共通バス42を介して接続されたグラフィックカード44も含む。このグラフィックカードは、グラフィック処理ユニット(GPU)と、このGPUに緊密に結合されたランダムアクセスメモリ(GPUメモリ)とを含む。
CPU24は、RAM28またはハードディスクドライブ30内に格納できる医用画像データの処理、表示、および操作を実行するための、ROM26、RAM28、またはハードディスクドライブ30内に格納されたプログラム命令を実行することができる。RAM28およびハードディスクドライブ30はシステムメモリと総称される。CPU24は、コンピュータシステム22のオペレーティングシステムに相当するプログラム命令も実行することができる。この点に関して、CPUは、コンピュータシステム22の動作に関連するタスクを行うための種々の機能ユニットを備えるとみなすことができる。GPUも、CPUから渡された画像データの処理を実行するプログラム命令を実行することができる。
CPU24、ROM26、RAM28、ハードディスク30、ディスプレイドライバ32、ユーザ入/出力(IO)回路36、グラフィックカード44、および接続バス42などの、コンピュータシステム22を構成する種々の機能要素は、筐体21に収容される。この場合、2つのディスプレイ34A、34B、キーボード38およびマウス40は、筐体とは別であり、これらを適切な配線で接続することにより、再び筐体21内のコンピュータシステムの関係機能要素となる。この点に関して、図16Aおよび図16Bの例示的な実施形態のコンピュータシステム22は、デスクトップタイプとみなすことができるが、他のタイプのコンピュータシステムも同様に用いることができる。
図17は、図16Aおよび図16Bにより詳細に示すコンピュータシステム2の特徴のうちのいくつかを概略的に示す。RAM28およびハードディスクドライブ30は、システムメモリ46としてまとめて示されている。図15に示すスキャナ8から得られた医用画像データは、図に概略的に示すシステムメモリに格納される。コンピュータシステム22の特徴同士の間のさまざまなデータ転送ルートを示すことを助けるため、図16Aに示す共通のバス42は、図17では、一連の別個のバス接続42a〜dとして概略的に示されている。1つのバス接続42aは、システムメモリ46とCPU24を接続する。別のバス接続42bは、CPU24とグラフィックカード44を接続する。バス接続のさらなる対、すなわち第1のバス接続42cAおよび第2のバス接続42cBは、グラフィックカード44とディスプレイ34A、34Bのそれぞれ1つとを接続する。別のバス接続42dは、ユーザI/O回路36とカーソル制御ユニット27とCPU24を接続する。CPUは、CPUキャッシュ50を含む。グラフィックカード44は、GPU54と、GPUメモリ56とを含む。GPU54は、加速グラフィック処理インターフェース60と、GPUキャッシュI/Oコントローラ62と、処理エンジン64と、ディスプレイI/Oコントローラ66とを設けるための回路を含む。処理エンジン64は、通常は医用画像データセットの処理に関連するプログラム命令のタイプの実行を最適化するために設計される。
ユーザは、キーボード38とマウス40(またはトラックパッドまたはペンタブレット/ディジタイザなどの他のポインティングデバイス)を、ディスプレイ34に表示されたグラフィカルユーザインターフェース(GUI)と組み合わせて用いて、たとえば第1のディスプレイ34Aおよび第2のディスプレイ34Bのうちのそれぞれの1つの内部でポイントしてクリックするために、移動可能な画面カーソルをマウス、トラックパッドなどと組み合わせて用いて、所望の処理パラメータを選択することができる。特に、レンダリングアプリケーションのGUIは、仮想光源の場所および程度を識別するために描画ツールをユーザに提供することができる。たとえば、ユーザは、ペイントタイプの機能を使って仮想光源を完全に自由に描画することができる。別の例は、GUIを介してユーザが、セグメンテーションされた領域を選択し、次に、たとえば縮小、拡大、変形、または回転によって、それを操作し、仮想光源を形成することができる場合である。
図16A、図16B、および図17を参照すると、本発明を実施するレンダリングアプリケーションは、HDD30および/またはROM26上に記憶することができる。アプリケーションを実行するべきとき、アプリケーションは、必要に応じてシステムメモリ46またはRAM28にロードすることができる。また、実行時に、CPU24およびGPU54が利用可能なキャッシュメモリ50、62などの高速なメモリは、アプリケーションのうちのいくつかをホストする。レンダリングアプリケーションから出力された画像は、第1のディスプレイ34Aおよび第2のディスプレイ34Bなどの適切なディスプレイに表示することができる。レンダリングアプリケーションから出力された画像は、適切なメモリに記憶することもできる。また、レンダリングアプリケーションから出力された画像は、ネットワーク内の別の場所に表示または記憶するために、ネットワークを介して送信することができる。
上記のボリュームレンダリングおよびレンダリングアプリケーションへの言及において、任意の特定のタイプのボリュームレンダリングへの限定を意味することを望むものではなく、任意の適切な強度に基づかない投影モードを含むことを具体的に意味する。たとえば、この方法は、シェーディングボリュームレンダリング(shaded volume rendering)と呼ばれることもあるカラーボリュームレンダリングに用いることができる。この方法は、ボリュームレンダリングを2つの平面によってクリップしてスラブを作製するスラブボリュームレンダリング(slabbed volume rendering)にも適用することができる。
さらに、三次元画像データセットへの言及は、4次元画像データセットと呼ばれることもある時間分解イメージングによって生成されたものなどの三次元画像データセットのシーケンスを含む。
本発明の特定の実施形態は、コンピュータプログラム製品を提供する。このコンピュータプログラム製品は、非一時的なコンピュータプログラム製品であってよく、方法を実行するための機械可読命令を含む。
本発明の特定の実施形態は、方法を実行するための機械可読命令と共にロードされ、この機械可読命令を実行するように動作可能なコンピュータシステムを提供する。
本発明の特定の実施形態は、方法を実行するための機械可読命令と共にロードされ、この機械可読命令を実行するように動作可能な画像取得を提供する。
本発明の実施形態を、コンピュータで実施するシステム、方法、および非一時的な媒体に記憶できるコンピュータプログラム製品に関して以下で説明する。本実施形態のうちのいくつかを、コンピュータたとえばパーソナルコンピュータまたは他の形態のワークステーションに本発明のいくつかの実施形態に要求される機能を提供させるコンピュータプログラム製品に関して説明するが、これは本発明のいくつかの実施形態の一例に関するに過ぎないことを以下の説明から理解されたい。たとえば、本発明のいくつかの実施形態では、スタンドアロンコンピュータではなく、コンピュータのネットワークが本発明の実施形態を実施することができる。あるいは、またはさらに、本発明の機能の少なくともいくつかは、たとえば特殊目的集積回路(たとえば、特定用途向け集積回路(ASIC))の形をした特殊目的ハードウェアによって実施することができる。
特定の実施形態について説明してきたが、これらの実施形態は、例として提示したにすぎず、本発明の範囲を限定することを意図したものではない。実際、本明細書で説明する新規な方法、コンピュータ、およびコンピュータプログラム製品、およびデバイスは、さまざまな他の形態で実施することができる。そのうえ、本明細書で説明する方法およびシステムの形態における種々の省略、置き換え、および変更は、本発明の趣旨から逸脱することなく行うことができる。添付の特許請求の範囲およびその等価物は、本発明の範囲および趣旨に含まれるこのような形態または変形例を包含することを意図するものである。
24…CPU、26…ROM、28…RAM、30…ハードディスクドライブ、32…ディスプレイドライバ、34A、34B…ディスプレイ、38…キーボード、40…マウス、42…バス、44…グラフィックカード、46…システムメモリ、54…GPU、56…GPUメモリ、64…処理エンジン、66…ディスプレイI/Oコントローラ

Claims (14)

  1. 診断対象に関するボリュームデータに対し、前記診断対象の少なくとも一部のボクセルデータを挟んで視点又は視野平面と光源とを設定し、前記設定された視点又は視野平面及び光源と、前記視点又は視野平面と前記光源との間に存在するボクセルデータにおいて減衰する光の透過率と、前記ボリュームデータと、を用いて、前記診断対象に関する投影画像を生成する画像生成ユニットと、
    前記生成された投影画像を所定の形態にて表示する表示ユニットと、
    を具備することを特徴とする医用画像処理装置。
  2. 前記画像生成ユニットは、吸収と散乱とを含む光学的モデルを用いて前記光の透過率を決定することを特徴とする請求項1記載の医用画像処理装置。
  3. 前記画像生成ユニットは、色依存性吸収パラメータを有する吸収関数を用いて前記光の透過率を決定することを特徴とする請求項1記載の医用画像処理装置。
  4. 前記色依存性吸収パラメータは、赤色の色成分に対してよりも青色および緑色の色成分に対してより強い吸収を提供するものであることを特徴とする請求項3に記載の医用画像処理装置。
  5. 前記画像生成ユニットは、前記ボクセルデータ毎に計算された前記光源からの光量及び光の入射方向と、前記視点又は前記視野平面に到達する光の放射照度と、を用いて、前記投影画像を生成することを特徴とする請求項1記載の医用画像処理装置。
  6. 前記画像生成ユニットは、前記光源に対応するボクセルを透明とすることで、当該光源からの光の散乱又は吸収に寄与しないものとする請求項1記載の医用画像処理装置。
  7. 前記光源は、前記ボリュームデータ内において、複数の位置に分散して配置された光源ボクセルであることを特徴とする請求項1に記載の医用画像処理装置。
  8. 前記光源に対応するボクセルは、前記診断対象のセグメンテーションに基づいて、少なくとも一つのボクセルに割り当てられることを特徴とする請求項1に記載の医用画像処理装置。
  9. 前記光源に対応するボクセルは、前記診断対象の管腔中心線に関して割り当てられることを特徴とする請求項1に記載の医用画像処理装置。
  10. 前記画像生成ユニットは、前記診断対象が中空のとき、前記光源を前記診断対象の中空内に設定し、前記視点又は視野平面を前記診断対象の中空外に設定することを特徴とする請求項1記載の医用画像処理装置。
  11. 前記画像生成ユニットは、前記診断対象が中空のとき、前記光源を前記診断対象の中空外に設定し、前記視点又は視野平面を前記診断対象の中空内に設定することを特徴とする請求項1記載の医用画像処理装置。
  12. 前記光源の空間的位置を入力するための入力ユニットをさらに具備する請求項1記載の医用画像処理装置。
  13. 前記画像生成ユニットは、前記診断対象の外側に、前記光源とは異なる光源をさらに設定することを特徴とする請求項1記載の医用画像処理装置。
  14. 診断対象に関するボリュームデータに対し、前記診断対象の少なくとも一部のボクセルデータを挟んで視点又は視野平面と光源とを設定し、
    前記設定された視点又は視野平面及び光源と、前記視点又は視野平面と前記光源との間に存在するボクセルデータにおいて減衰する光の透過率と、前記ボリュームデータと、を用いて、前記診断対象に関する投影画像を生成し、
    前記生成された投影画像を所定の形態にて表示すること、
    を具備することを特徴とする医用画像処理方法。
JP2014031082A 2013-02-20 2014-02-20 医用画像処理装置及び医用画像処理方法 Active JP6373600B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/771,460 US9330485B2 (en) 2013-02-20 2013-02-20 Volume rendering of medical images
US13/771,460 2013-02-20

Publications (2)

Publication Number Publication Date
JP2014158746A true JP2014158746A (ja) 2014-09-04
JP6373600B2 JP6373600B2 (ja) 2018-08-15

Family

ID=51350838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014031082A Active JP6373600B2 (ja) 2013-02-20 2014-02-20 医用画像処理装置及び医用画像処理方法

Country Status (3)

Country Link
US (1) US9330485B2 (ja)
JP (1) JP6373600B2 (ja)
CN (2) CN104008568B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016193196A (ja) * 2015-04-01 2016-11-17 株式会社東芝 医用画像処理装置
JP2017225819A (ja) * 2016-06-20 2017-12-28 東芝メディカルシステムズ株式会社 医用画像診断装置及び医用画像処理装置
JP2018099519A (ja) * 2016-12-19 2018-06-28 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム
JP2020153852A (ja) * 2019-03-20 2020-09-24 株式会社リコー シミュレーション方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713838B2 (en) * 2013-05-03 2020-07-14 Nvidia Corporation Image illumination rendering system and method
US9396571B2 (en) * 2014-02-10 2016-07-19 International Business Machines Corporation Simplified lighting compositing
EP3195267A4 (en) * 2014-08-06 2018-01-24 Commonwealth Scientific and Industrial Research Organisation Representing an interior of a volume
US10068368B2 (en) * 2014-09-23 2018-09-04 Siemens Healthcare Gmbh Method, visualization device, and computer program product for visualizing a three-dimensional object
US9552663B2 (en) * 2014-11-19 2017-01-24 Contextvision Ab Method and system for volume rendering of medical images
US9384548B1 (en) 2015-01-23 2016-07-05 Kabushiki Kaisha Toshiba Image processing method and apparatus
KR102477190B1 (ko) * 2015-08-10 2022-12-13 삼성전자주식회사 얼굴 인식 방법 및 장치
US10354438B2 (en) 2015-09-02 2019-07-16 Siemens Healthcare Gmbh Illumination in rendering of anatomy with functional information
EP3602502B1 (en) 2017-03-29 2023-11-08 Koninklijke Philips N.V. Embedded virtual light source in 3d volume linked to mpr view crosshairs
US11127197B2 (en) * 2017-04-20 2021-09-21 Siemens Healthcare Gmbh Internal lighting for endoscopic organ visualization
EP3462418A1 (en) * 2017-09-28 2019-04-03 Siemens Healthcare GmbH Method and apparatus for rendering material properties
CN109522701B (zh) * 2018-10-24 2021-05-07 新华三技术有限公司 假冒光模块检测方法和装置、电子设备及计算机可读介质
EP3667624A1 (en) * 2018-12-14 2020-06-17 Siemens Healthcare GmbH Method of determining an illumination effect of a volumetric dataset
EP3796265A1 (en) * 2019-09-23 2021-03-24 Siemens Healthcare GmbH Implicit surface shading in medical volumetric rendering
US11398072B1 (en) * 2019-12-16 2022-07-26 Siemens Healthcare Gmbh Method of obtaining a set of values for a respective set of parameters for use in a physically based path tracing process and a method of rendering using a physically based path tracing process
US11941752B2 (en) 2020-07-21 2024-03-26 Nvidia Corporation Streaming a compressed light field
WO2022038208A1 (en) * 2020-08-20 2022-02-24 Koninklijke Philips N.V. Rendering of two dimensional data sets
US11423608B2 (en) * 2020-10-09 2022-08-23 Canon Medical Systems Corporation Irradiance volume based image rendering apparatus and method
US11501467B2 (en) 2020-11-03 2022-11-15 Nvidia Corporation Streaming a light field compressed utilizing lossless or lossy compression
CN112691378B (zh) * 2020-12-23 2022-06-07 完美世界(北京)软件科技发展有限公司 图像处理方法、设备及可读介质
US11804011B2 (en) * 2021-09-15 2023-10-31 LlamaZOO Interactive Inc. Method and apparatus for interactive volumetric visualization
US11954785B2 (en) 2021-12-07 2024-04-09 Canon Medical Systems Corporation Data processing method and apparatus
EP4273809A1 (en) 2022-05-06 2023-11-08 Siemens Healthcare GmbH Technique for real-time rendering of medical images using virtual spherical light sources
CN117152335B (zh) * 2023-10-26 2023-12-22 北京渲光科技有限公司 一种用于训练体渲染模型、体渲染的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010017490A (ja) * 2008-06-13 2010-01-28 Hitachi Medical Corp 画像表示装置、方法、及びプログラム
US20100160789A1 (en) * 2008-06-18 2010-06-24 Eyelab Group, Llc System and Method for Determining Volume-Related Parameters of Ocular and Other Biological Tissues

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3796799B2 (ja) 1996-03-01 2006-07-12 株式会社日立メディコ 三次元画像構成方法及び装置
US5911691A (en) * 1996-05-21 1999-06-15 Aloka Co., Ltd. Ultrasound image processing apparatus and method of forming and displaying ultrasound images by the apparatus
US6826297B2 (en) * 2001-05-18 2004-11-30 Terarecon, Inc. Displaying three-dimensional medical images
AU2003282325A1 (en) * 2002-12-20 2004-07-14 Koninklijke Philips Electronics N.V. Protocol-based volume visualization
US7912264B2 (en) * 2007-08-03 2011-03-22 Siemens Medical Solutions Usa, Inc. Multi-volume rendering of single mode data in medical diagnostic imaging
JP5762076B2 (ja) * 2010-03-30 2015-08-12 株式会社東芝 超音波診断装置、超音波画像処理装置及び医用画像診断装置
DE102010032755B4 (de) * 2010-07-29 2019-05-23 Siemens Healthcare Gmbh Verfahren zur Visualisierung eines Vorhofs des Herzens eines Patienten
CN102397071A (zh) * 2010-09-19 2012-04-04 上海优博生物技术有限公司 一种测量心血管壁厚度的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010017490A (ja) * 2008-06-13 2010-01-28 Hitachi Medical Corp 画像表示装置、方法、及びプログラム
US20100160789A1 (en) * 2008-06-18 2010-06-24 Eyelab Group, Llc System and Method for Determining Volume-Related Parameters of Ocular and Other Biological Tissues

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016193196A (ja) * 2015-04-01 2016-11-17 株式会社東芝 医用画像処理装置
JP2017225819A (ja) * 2016-06-20 2017-12-28 東芝メディカルシステムズ株式会社 医用画像診断装置及び医用画像処理装置
JP7171168B2 (ja) 2016-06-20 2022-11-15 キヤノンメディカルシステムズ株式会社 医用画像診断装置及び医用画像処理装置
JP2018099519A (ja) * 2016-12-19 2018-06-28 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム
JP7039278B2 (ja) 2016-12-19 2022-03-22 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理プログラム
JP2020153852A (ja) * 2019-03-20 2020-09-24 株式会社リコー シミュレーション方法

Also Published As

Publication number Publication date
CN104008568B (zh) 2020-07-31
US9330485B2 (en) 2016-05-03
US20140232719A1 (en) 2014-08-21
CN104008568A (zh) 2014-08-27
JP6373600B2 (ja) 2018-08-15
CN110211215A (zh) 2019-09-06
CN110211215B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
JP6373600B2 (ja) 医用画像処理装置及び医用画像処理方法
US10546415B2 (en) Point cloud proxy for physically-based volume rendering
EP3345162B9 (en) Visualization of surface-volume hybrid models in medical imaging
JP6735016B2 (ja) 医用画像処理装置
CN109584349B (zh) 用于渲染材料属性的方法和设备
US10380787B2 (en) Method and system for indicating light direction for a volume-rendered image
US8698806B2 (en) System and method for performing volume rendering using shadow calculation
US10311631B2 (en) Light path fusion for rendering surface and volume data in medical imaging
US20110069069A1 (en) Efficient determination of lighting effects in volume rendering
US11127197B2 (en) Internal lighting for endoscopic organ visualization
Kruger et al. Sinus endoscopy-application of advanced GPU volume rendering for virtual endoscopy
US20220346888A1 (en) Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality environment
Haubner et al. Virtual reality in medicine-computer graphics and interaction techniques
CN111325825A (zh) 确定体积数据集的照明效果的方法
US9875569B2 (en) Unified 3D volume rendering and maximum intensity projection viewing based on physically based rendering
Kalarat et al. Real-time volume rendering interaction in Virtual Reality
Kirmizibayrak et al. Interactive visualization and analysis of multimodal datasets for surgical applications
Zhang et al. Online view enhancement for exploration inside medical volumetric data using virtual reality
Costa Jr et al. Cinematic rendering for three-dimensional reconstructions of the chest wall: a new reality
US12002147B2 (en) Method and system for optimizing distance estimation
US20220343586A1 (en) Method and system for optimizing distance estimation
EP4215243A1 (en) A computer-implemented method for use in determining a radiation dose distribution in a medical volume
CN111724388B (zh) 医学图像数据的可视化
Ruijters Multi-modal image fusion during minimally invasive treatment
Kase et al. Three Dimensional X-ray CT Reading Assistance System with Video See Through Display

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180718

R150 Certificate of patent or registration of utility model

Ref document number: 6373600

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150