JP2016193196A - 医用画像処理装置 - Google Patents

医用画像処理装置 Download PDF

Info

Publication number
JP2016193196A
JP2016193196A JP2016074597A JP2016074597A JP2016193196A JP 2016193196 A JP2016193196 A JP 2016193196A JP 2016074597 A JP2016074597 A JP 2016074597A JP 2016074597 A JP2016074597 A JP 2016074597A JP 2016193196 A JP2016193196 A JP 2016193196A
Authority
JP
Japan
Prior art keywords
irradiance
image processing
light source
region
lighting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016074597A
Other languages
English (en)
Other versions
JP6735016B2 (ja
Inventor
ワレンバーグ マグナス
Wahrenberg Magnus
ワレンバーグ マグナス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Publication of JP2016193196A publication Critical patent/JP2016193196A/ja
Application granted granted Critical
Publication of JP6735016B2 publication Critical patent/JP6735016B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • G06T5/92
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10108Single photon emission computed tomography [SPECT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Abstract

【課題】医用画像において、たとえば体腔の超音波画像において、従来に比して照明をより良好にシミュレートすることができる医用画像処理装置を提供すること。
【解決手段】本実施形態に係る医用画像処理装置は、画像処理手段を具備する。画像処理手段は、被検体の関心領域を撮影して得られたボリュームデータにおいて、関心領域の外部存在する仮想光源と、関心領域と前記仮想光源との間に存在する第1の領域と、関心領域の少なくとも一部を含み第1の領域よりも仮想光源から遠くに位置する第2の領域と、を設定し、仮想光源と前記ボリュームデータとを用いて、第1の領域については第1のライティングシミュレーションを実行し、第2の領域については、第1のライティングシミュレーションとは異なる第2のライティングシミュレーションを実行する。
【選択図】図2

Description

本実施形態は、医用画像において、たとえば体腔の超音波画像において、照明をシミュレートするための医用画像処理装置に関する。
トランスデューサからの超音波の送信および受信によって、超音波を使用して解剖学的構造を撮影することが知られている。超音波によって撮影される解剖学的構造としては、腔、管、内腔、および血管などの身体の内部構造があり得る。身体の内部構造は、流体が満たされた構造を備えることがある。いくつかの状況では、身体の内部構造は、通常は空気で満たされるが撮影のために流体で(たとえば生理食塩水で)満たされている構造を備えることがある。
3次元(3D)超音波画像は、ソフトウェアを使用して、体積(volumetric)超音波データを取得するためにさまざまな位置または角度で撮られた超音波データを結合することによって取得され得る。
他の医用イメージングモダリティ(たとえば、CT法、MR法、PET法、またはSPECT法)も、身体の内部構造を表す3次元データを取得するために使用され得る。内部構造は、たとえば、腔、管、内腔、血管、または流体が満たされた構造を備えることがある。さらに、いくつかのモダリティでは、内部構造は、空気が満たされた構造を備えることがある。内部構造は、気道または肺腔を備えることがある。
さらに、イメージングモダリティは、特定の特徴を増強するために、いくつかのタイプの造影剤を使用してよい。たとえば、微小気泡造影剤は超音波で使用されてよく、ヨウ素ベースの造影剤はCTで使用されてよく、ガドリニウム造影剤はMRで使用されてよい。
内視鏡ビューすなわちフライスルービューは、医用イメージング用途において、腔、管、血管、または他の内部構造を撮影するために使用され得る。内視鏡ビューは、内視鏡検査で取得されるビューをシミュレートするビューとすることができる。内視鏡ビューは、以前に、または代替的に、本物の内視鏡が使用される検査を指すことがある。本物の内視鏡検査では、カメラが身体の内部構造へと導入され、カメラからの光景が画面に表示される。対照的に、体積超音波データの内視鏡ビューでは、仮想カメラが解剖学的構造の中(たとえば腔の中)に置かれ、超音波データがレンダリングされて、仮想カメラ位置から見える解剖学的構造の画像を生成する。
内視鏡ビューは、フライスルービューを備えることがある。さらに、フライスルービューという用語は、通常は物理的内視鏡デバイスを使用してアクセス可能でない内部構造を表示する画像を含むために使用されることがある。
フライスルービューは、視点が内部構造の中を移動するように見えるように、動画化された一連の画像を備えることがある。フライスルービューは、解剖学的構造の近位部分が遠位部分よりも大きく見えるように、斜視投影を利用することがある。フライスルービューは、魚眼投影または関連する角度投影の範囲の1つを利用することがある。
使用者は、たとえば仮想カメラ位置を移動させて内部構造を通すことによって、内部構造を通るナビゲーションを制御することがある。フライスルーは、病変と内部に成長する腫瘤とを診査するために使用され得る。フライスルーは、ステントまたは移植片を留置するなどの介入を計画およびフォローアップするために使用され得る。
体積データから画像をレンダリングすることは、体積データの座標系に対して1つまたは複数の仮想光源を置くことと、1つまたは複数の仮想光源からの光をシミュレートすることとを備えることがある。
いくつかのレンダリング方法では、仮想平行光源が使用される。仮想平行光源は、レンダリングされている体積データセットによって表されるボリュームの外部で生じ、一方向から来る平行レイでボリュームを照らす光とすることができる。腔、管、または血管などの内部構造を照らすとき、仮想平行光源からの光のすべてまたは大部分が内部構造に到達する前に吸収されることがあるので、ボリュームの外部の仮想平行光源は、いくつかの状況では有用でないことがある。非常に少量の光が、関心区域に入り込むことがある。
いくつかのレンダリング方法では、対象となる解剖学的構造の内部に、たとえば腔の内部に、仮想点光源が置かれる。フライスルービューでは、仮想点光源の位置は、いくつかの状況では、制御するのが困難であることがある。仮想点光源が、(内視鏡検査で光源の位置をシミュレートする)仮想カメラに取り付けられる場合であっても、点光源を有用で知覚できる場所に保つことが困難なことがある。閉塞が、使用者に、腔の良好なライティング(lighting)を得るために3次元で仮想点光源を移動させることを強制することがある。いくつかのシステムでは、入力デバイスが2次元動作のために構築された可能性があり、そのような入力デバイスを、3次元で仮想光源を置くために使用することが困難であることがある。たとえば、入力デバイスは、仮想光源位置が上下左右に移動できるが、垂直方向(画面に入ったり出たりすると説明されることがある)には移動できないように構築されることがある。
そのうえ、点光からの自然強度低下(fall-off)(逆二乗則に従った強度で低下する)は、レンダリングされた画像においてダイナミックレンジが過剰であるという結果になることがある。レンダリングされた画像は、点光源に近接する領域では非常に明るく、点光源からより遠い領域では非常に暗いことがある。点光源に近い構造は、より遠い構造の濃淡を引き起こすことがある。対象となる解剖学的構造の境界(たとえば内腔壁)が、点光源の位置決めを束縛することがある。
図1は、強度低下に対して点光を使用するという起こり得る問題を示す。仮想点光源2は、腔4を照明する。腔の画像は、仮想カメラ6の位置からレンダリング可能である。点源に近い腔の区域は非常に明るく照明されるが、点源から遠い腔の区域は、それほど明るく照明されない。したがって、レンダリングされた画像に、過剰に幅広いダイナミックレンジが存在することがある。
特開2014−61288号公報
目的は、医用画像において、たとえば体腔の超音波画像において、従来に比して照明をより良好にシミュレートすることができる医用画像処理装置を提供することである。
本実施形態に係る医用画像処理装置は、画像処理手段を具備する。画像処理手段は、被検体の関心領域を撮影して得られたボリュームデータにおいて、関心領域の外部存在する仮想光源と、関心領域と前記仮想光源との間に存在する第1の領域と、関心領域の少なくとも一部を含み第1の領域よりも仮想光源から遠くに位置する第2の領域と、を設定し、仮想光源と前記ボリュームデータとを用いて、第1の領域については第1のライティングシミュレーションを実行し、第2の領域については、第1のライティングシミュレーションとは異なる第2のライティングシミュレーションを実行する。
仮想光源と仮想カメラとを示す、撮影されるべき腔の概略図。 一実施形態による装置の概略図。 一実施形態のプロセスを概要として示す流れ図。 腔の平行ライティングを示す概略図。 一実施形態のプロセスを概要として示す流れ図。 仮想点源から発する仮想光子の概略図。 ボリュームを通過するレイの概略図。 散乱が含まれる、ボリュームを通過するレイの概略図。 図6の2つのボクセルの各々に寄与するサンプル点の数を表すグラフ。 図6の2つのボクセルの各々における分光放射照度を表すグラフ。 図6の2つのボクセルの各々における寄与重みの合計を表すグラフ。 図6の2つのボクセルの各々における正規化された分光放射照度を表すグラフ。
本実施形態は、多様な形式での実施形態を受け入れる余地があるが、図面に示されまた特定の実施形態が詳しくここに説明される。このような実施形態の本実施形態は、複数の原則の一例であり、図示され、説明された特定の実施形態に本実施形態を制限する意図はないということを念頭に置いておかれたい。以下の説明において、同様の参照番号がいくつかの図を通して同一のまたは対応する部分を指示している図を参考にしている。
一実施形態による医用画像診断装置10が、図2に概略的に示されている。本実施形態では、医用画像診断装置10は、医用イメージングスキャンから体積データを獲得し、この獲得された体積データを処理して、処理された体積データから画像をレンダリングするように構成される。なお、本実施形態においては、医用画像診断装置が超音波診断装置を具備する場合を例として説明する。しかしながら、本実施形態はそれに拘泥されず、例えば、磁気共鳴イメージング装置(MRI)、PET、SPECT、X線診断装置、X線CT装置を具備するそしてこれらの組み合わせを含む、その他のモダリティに適用され得る。
また、医用画像診断装置10は、医用画像処理装置としての機能を具備する。
本実施形態では、医用画像診断装置10は、超音波診断装置12と、関連する測定プローブ14とを備える。任意の適切なタイプの超音波診断装置12および測定プローブ14、たとえば3Dイメージングに適した超音波画像データを取得するように構成された任意の超音波診断装置12およびトランスデューサプローブ14が使用されてよい。
本実施形態では、医用画像診断装置10は超音波診断装置12を備えるが、他の実施形態では、医用画像診断装置10は、代替モダリティの装置を備えてよい。たとえば、医用画像診断装置は、CTスキャナ、MRスキャナ、PETスキャナ、またはSPECTスキャナを備えてよい。
超音波診断装置12は、メイン超音波画像を表示するためのメインディスプレイ画面16と、制御情報を表示するための制御画面18と、スキャナコンソール20とを備える。本実施形態では、スキャナコンソール20は、入力ボタンもしくはノブ、ロータリスイッチ、コンピュータキーボード、マウス、またはトラックボールなどの1つまたは複数の入力デバイスを備える。代替実施形態では、制御画面18は、ディスプレイデバイスとユーザ入力デバイスの両方であるタッチスクリーンである。さらなる実施形態は、超音波診断装置12の一部を形成しない制御画面18とディスプレイ画面またはメインディスプレイ画面16とを備えることがある。超音波診断装置12は、体積データを格納するためのデータストア30も備える。
超音波診断装置12は、画像データを含むデータの処理のための処理装置22を備える。処理装置22は、データを受信するためのデータ受信回路24と、ライティングをシミュレートするためのライティング回路26と、画像をレンダリングするためのレンダリング回路28とを含む。本実施形態では、処理装置22はまた、セグメンテーションを実行するためのセグメンテーション回路30と、レンダリングされた画像の表示ためのディスプレイ制御回路32とを備える。代替実施形態では、処理装置22は、任意の適切な医用画像診断装置(たとえばCTスキャナまたはMRスキャナ)または他の画像処理装置(たとえばPCまたはワークステーション)の一部であってよい。処理装置22は、データ、たとえば超音波データ、CTデータ、MRデータ、PETデータ、またはSPECTデータの任意の適切なモダリティ体積を処理するように構成され得る。
本実施形態では、データ受信回路、ライティング回路、およびレンダリング回路は各々、処理装置22内で、実施形態の方法を実行するために実行可能なコンピュータ可読命令を有するコンピュータプログラムによって実施される。しかしながら、他の実施形態では、データ受信回路、ライティング回路、およびレンダリング回路は各々、ソフトウェア、ハードウェア、またはハードウェアとソフトウェアの任意の適切な組み合わせにおいて実施され得る。いくつかの実施形態では、種々の回路は、1つまたは複数のASIC(特定用途向け集積回路)またはFPGA(フィールドプログラマブルゲートアレイ)として実施され得る。
処理装置22はまた、ハードドライブと、他の構成要素とを含み、他の構成要素は、RAMと、ROMと、データバスと、種々のデバイスドライバを含むオペレーティングシステムと、グラフィックスカードを含むハードウェアデバイスとを含む。そのような構成要素は、わかりやすくするため、図2に示されていない。
図2のシステムは、個別にまたは組み合わせて実行され得る2つの方法を実行するように構成される。第1の方法は、以下で図3および図4を参照しながら説明される。第1の方法は、腔の外部に置かれた仮想平行光源を使用して腔を照らす方法である。仮想平行光源は、光線をボリュームへと放つ。放射照度の計算は、仮想光エネルギーが腔に到達する前に仮想光エネルギーのすべてが吸収されることなく仮想平行光源が腔を照明することを可能にするために、光線が腔に入るまで中断される。
第2の方法は、以下で図5から図8dを参照しながら説明される。第2の方法は、腔の内部に置かれた仮想点光源を使用する腔を照らす方法である。仮想点光源から生じる放射照度は、仮想点光源に近接する点と仮想点光源からより遠い点との間の放射照度の差が減少するように調整される。放射照度の調整は、逆二乗則による放射照度の低下の場合にそうであったろうよりも、腔の広い一部の照明をもたらすことがある。
以下の図3および図4および図5から図8dの説明では、第1の方法と第2の方法は別々に説明される。しかしながら、いくつかの実施形態では、両方の方法が同じデータに対して同時に実行され得る。たとえば、所与の体積データセットに対して、第1の方法が適用される仮想平行光源は腔の外部に置かれてよく、第2の方法が適用される仮想点光源は腔の内部に置かれてよい。
最初に、第1の方法に目を向ける。第1の方法は、図3の流れ図に概略的に示される一連の段階を有する。
図3の段階40では、データ受信回路24は、体積イメージングデータセットを受信する。本実施形態では、体積イメージングデータセットは生の超音波データの再構成によって取得されており、この生の超音波データは、患者の3次元領域への超音波送信および患者の3次元領域からの超音波受信から取得された。本実施形態では、体積イメージングデータセットは、現在進行中のスキャンから再構成される。データ受信回路24は、処理装置22の別の一部から体積イメージングデータセットを受信する。他の実施形態では、体積イメージングデータセットは、データストア30から、またはリモートデータストアから、受信される。
患者の3次元領域は、関心領域を含む。本実施形態では、関心領域は腔、たとえば胆嚢である。他の実施形態では、関心領域は、身体の任意の内部構造、たとえば、任意の腔、管、血管、内腔、気道、空気が満たされた領域、または流体が満たされた領域であってよい。いくつかの実施形態では、関心領域は、以前から内視鏡検査によって見られ得る解剖学的構造を備える。
本実施形態では、体積イメージングデータセットは、超音波スキャンから取得される。代替実施形態では、体積イメージングデータセットは、任意の適切なイメージングモダリティを使用して取得された可能性がある。さらなる実施形態では、ボリュームイメージングデータセットは、医用イメージングスキャンから取得されていないデータ、たとえば医用スキャンから生じていない仮想解剖データまたは多角形データを備えることがある。
体積イメージングデータセットは、ボクセルの配列を備える。ボクセルの配列は、患者の3次元領域の一部または全部に相当する3次元ボリュームを表す。各ボクセルは、体積イメージングデータセットの座標空間内の位置と、関連付けられた信号強度とを有する。代替実施形態では、体積イメージングデータセットは、信号強度の複数のチャネルを備えることがある。たとえば、複数の信号強度チャネルは、体積イメージングデータセットがデュアルエネルギーCTデータを備える場合、体積イメージングデータセットが造影前(pre-contrast)データと造影後(post-contrast)データの両方を備える場合、または体積イメージングデータセットが、マルチボリューム融合シナリオで取得されたデータを備える場合、使用され得る。さらなる実施形態では、体積イメージングデータセットは、非ボクセルベースのデータを備えることがある。
異なる組織タイプは、異なる信号強度と関連付けられ得る。たとえば、場合によっては、流体が満たされた腔を表すボクセルは、骨または軟部組織を表すボクセルよりも低い信号強度を有することがある。
体積イメージングデータセットは、被検体内で生じる材料、面などの表現を含み得る。以下の説明(すべての実施形態を参照する)では、ライティングプロセスは、物理的空間内で発生するかのように言及されることがある。しかしながら、通常、体積イメージングデータセット上での数値演算として発生する仮想(シミュレートされた)プロセスについて説明する。同様に、体積イメージングデータセットについて、物理的範囲を有する物理的空間であるかかのように説明するとき、一般に、体積イメージングデータセットのボクセルによって表される座標空間を言及している。
段階42では、セグメンテーション回路30は、体積イメージングデータセット内の腔のセグメンテーションを得る。本実施形態では、セグメンテーション回路30は、体積イメージングデータセットに強度しきい値を適用することによって、腔のセグメンテーションを得る。セグメンテーション回路30は、強度しきい値未満の強度を有するボクセルを、腔の一部として分類する。セグメンテーション回路30はまた、腔のセグメンテーションを得る際に、さらなる演算、たとえば形態学的演算を実行することがある。セグメンテーションは、腔の範囲に関する情報を提供する。セグメンテーション回路30はまた、さらなる解剖学的構造のセグメンテーションを得ることもある。
しきい値が、腔の境界を識別するために使用される場合、しきい値によって識別される区域は、身体の外部も含むことがある。しかしながら、身体の外部の区域は、その後の処理で無視されることがある。
他の実施形態では、対象となる構造のセグメンテーションを得るための任意の適切なセグメンテーションプロセスが使用されてよい。たとえば、セグメンテーションプロセスは、しきい値処理、領域増大、エッジ検出方法、塗りつぶし(flood fill)セグメンテーション、アトラスベースのセグメンテーション、またはレベル設定方法を備えることができる。使用されるセグメンテーションプロセスは、検出されている解剖学的構造のタイプに依存してよい。たとえば、対象となる解剖学的構造が動脈であるいくつかの実施形態では、血管トラッキングを備えるセグメンテーションプロセスが使用されてよい。いくつかの実施形態では、造影剤は、セグメンテーションにおいて使用され得る画像コントラストを生じさせるために使用されることがある。一実施形態では、セグメンテーションは、仮想カメラの位置で始まる塗りつぶしを実行することによって取得される。
段階44では、ライティング回路26は、仮想平行光源を、体積イメージングデータセットによって表されるボリュームの外部に置く。本実施形態では、ライティング回路26は、使用者(たとえば、臨床医または放射線専門医)からの入力に応じて平行光源を置く。使用者は、任意の適切な入力デバイス、たとえばトラックボールまたはスキャナコンソール20上の他の制御装置を使用して、平行光源の方向を指定することができる。他の実施形態では、ライティング回路26は、平行光源を自動的に配置することができる。いくつかの実施形態では、複数の平行光源は、ライティング回路26によって配置される。
本実施形態では、ライティング回路26は、仮想点光源を、腔の内部にも置く。ライティング回路26は、使用者からの入力に従って、点光源の位置を決定する。他の実施形態では、ライティング回路26は、点光源の位置を自動的に決定する。他の実施形態では、仮想点光源は使用されない。
段階46では、ライティング回路26は、ライティングシミュレーションプロセスを使用して、平行光源からの光をシミュレートする。ライティングシミュレーションプロセスは、平行光源の方向からボリュームを通るレイを放つことを備える。ライティング回路26は、第1のライティング領域に対して、第2のライティング領域に対してと異なるように、ライティングシミュレーションプロセスを適用する。
ライティング回路26は、腔の境界、たとえば腔の壁の位置を特定するために、セグメンテーションを使用する。ライティング回路26は、平行光源と腔の間にあるボリュームの一部を含む第1のライティング領域を定義する。本実施形態では、第1のライティング領域は、平行光源に最も近い腔の壁に接する腔の一部も含む。ライティング回路26は、腔の一部を含む第2のライティング領域を定義する。
本実施形態では、レイが第1のライティング領域を通過するとき、ライティング回路26はレイからの仮想光エネルギーの堆積を計算しないので、ライティングシミュレーションプロセスの適用は、第1のライティング領域と第2のライティング領域とで異なる。ひとたびレイが第2のライティング領域に入ると、ライティング回路26は、仮想光エネルギーの堆積を計算する。
例示的なライティングシミュレーションプロセスは、以下で図4を参照しながら、より詳細に説明される。
図4は、仮想平行光源から出る複数の平行レイ60を示す。平行光源は、ボリュームに対する特定の角度から出る平行光を提供する、シミュレートされた光源であってよい。平行光源からのレイはボリュームに関する特定の平面上で始まり得るので、平行光源は空間内に配置され得る。図4の例では、平行光源は、平行レイが図4の左上のボリュームの外部で始まるように配置される。
平行レイ60の一部は、腔66を通過する。点線によって示される第1の部分60aと実線によって示される第2の部分60bとを備えるように示される腔66を通過するレイ。第1の部分60aは、第1のライティング領域内に含まれるレイの一部と考えられ得、第2の部分60bは、第2のライティング領域に含まれるレイの一部と考えられ得る。第1の部分60aと第2の部分60bの境界は遷移点64にある。図示の実施形態では、第1のライティング領域と第2のライティング領域に相当する第1の部分60aと第2の部分60bは連続している。
本実施形態では、仮想光エネルギーの計算において、腔66を通過するレイのみが考慮される。他の実施形態では、計算は、腔66を通過しないレイに対しても実行され得る。腔66を通過するレイに対して実行される計算は、以下で説明される。
各レイは、平行光源の方向からボリュームに入る。本実施形態では、各レイの第1の部分60aは、いかなる光エネルギーもボリュームへと分配しない。レイは、レイ上の遷移点64に達すると、仮想光エネルギーをボリュームへと分配し始める。遷移点64は、(セグメンテーションによって判断されるように)腔の内部にある。遷移点64は、腔壁から所与の距離だけずらされている。レイの第2の部分60bがボリュームを通過するとき、仮想光エネルギーが吸収される。レイが進むとき、吸収される仮想光エネルギーの量が計算され、仮想光エネルギーの十分な部分が吸収されると、レイの横断が終了される。
本実施形態では、遷移点64はすべて、腔壁から同じオフセット距離だけずらされている。オフセット距離は、ライティング回路26内に格納された一定の距離である。いくつかの実施形態では、オフセット距離は、使用者によって設定されることがある。他の実施形態では、オフセット距離は、ライティング回路26によって自動的に決定されることがある。たとえば、オフセット距離は、腔のセグメンテーションに基づいて取得され得る。いくつかの実施形態では、オフセット距離は、腔の大きさのある割合であってよい。
いくつかの実施形態では、オフセット距離は、レイによって異なることがある。たとえば、腔のある一部におけるオフセット距離は、腔の別の一部におけるオフセット距離と異なることがある。いくつかの実施形態では、ずれは使用されない。そのような実施形態では、レイは、腔に入るとすぐに、仮想光エネルギーを分配し始めることがある。そのような実施形態では、第2のライティング領域は、腔全体を備えることがある。
1つの例示的なレイの横断を、より詳細に検討する。レイは、図4で、数字70aおよび70bによって示されている。レイは、点71でボリュームに入る。レイは、ボリュームの領域68を通過する。領域68は、平行光源と腔の間にある領域である。領域68は、たとえば、骨および/または軟部組織を表すことがある。物理用語では、領域68によって表される材料は、光を吸収すると予想され得る。しかしながら、図3の方法では、仮想光エネルギーは、領域68によって吸収されない。
レイは、点72で腔に入る。レイは、腔壁に隣接する腔の一部を通って続き、遷移点74に達する。仮想光エネルギーは、点72と遷移点74の間で吸収されない。遷移点74は、点72から固定距離だけずらされている。したがって、遷移点74は、腔の壁から離間されている。
遷移点74では、レイは、仮想光エネルギーをボリュームへと分配し始める。ライティング回路26は、レイの第2の部分70bに沿った複数のサンプル点の各々におけるレイにより放射照度を計算する。本実施形態では、サンプル点は、レイの第2の部分70bに沿って等間隔に離間される。任意の適切な間隔が使用されてよい。各サンプル点における放射照度は、レイがサンプル点に到達したときのレイの仮想光エネルギーとサンプル点における吸収関数の乗算である。
本実施形態では、吸収関数は、そのサンプル点に隣接するボクセルの強度に依存して、各サンプル点に割り当てられる。たとえば、強度は、あるサンプル点に対して、隣接するボクセルから強度を補間することによって決定され得、吸収関数は、決定された強度に依存して割り当てられ得る。高いボクセル強度は、高い吸収率と関連付けられ得る。別の実施形態では、吸収関数は、ボクセルの強度に依存して各ボクセルに割り当てられ得、サンプル点に対する吸収関数は、隣接するボクセルからの吸収関数を補間することによって決定され得る。
いくつかの実施形態では、ボクセルは、特定の対象(たとえば特定の解剖学的特徴)に属すると分類され、各サンプル点における吸収関数は、隣接するボクセルの分類に依存して決定される。異なる光学的性質が、異なる対象に割り当てられてよい。いくつかの実施形態では、腔のセグメンテーションは、いくつかのボクセルを腔の一部と分類するために使用され、腔の一部と分類されるボクセルは、特定の吸収関数が割り当てられる。
本実施形態では、吸収関数は、色に依存した吸収性質を有する関数であり、スペクトル吸収率と記載されることがある。吸収関数は、組織の吸収率を表すために、青色光および緑色光が赤色光よりも強く吸収されるように定義される。各サンプル点において計算される放射照度は分光放射照度であり、分光放射照度は、赤色成分Ir、緑色成分Ig、および青色成分Ibの組み合わせと説明され得る(または、より一般的には、関連波長のフルスペクトルに対する波長ごとの放射照度と説明され得る)。他の実施形態では、放射照度は、分光放射照度でないことがある。
本実施形態では、計算される放射照度は、平行放射照度ではない。他の実施形態では、関連する放射照度方向は、放射照度が計算される各サンプル点において決定され得る。放射照度方向は、各サンプル点において受けられる光の入射の方向であってよい。放射照度のモデルは、6次元I(x,y,z,λ,θ,φ)の放射照度場を説明することができ、ここで、λは波長、θ、φは放射照度エネルギーの入射角度を表す。しかしながら、この次元数のデータ構造は、いくつかの実装形態では、実用的でないことがある。任意の適切な放射照度モデルが使用されてよい。
放射照度が計算されるレイ上の複数のサンプル点の各々に対して、ライティング回路26は、任意の適切な方法を使用して、放射照度を複数の隣接するボクセルに分配する。本実施形態では、放射照度は、8つの最も近い隣のボクセルに分配される。8つの最も近い隣に分配することは、三線補間法に類似していると考えられ得る。他の実施形態では、各サンプル点における放射照度は、任意の適切な数のボクセルに分配されてよい。
レイが腔を通過するとき、仮想光エネルギーの一部が各サンプル点において吸収され、レイは、より弱く、より赤くなる。レイ内での仮想光エネルギーの十分な部分がひとたび吸収されると、レイ上で、さらなる計算が実行されないことがある。本実施形態では、レイ内の仮想光エネルギーの99%が吸収された場合、レイ上で、さらなる計算が実行されない。他の実施形態では、その部分が、たとえば90%または95%と異なることがある。
レイがまだ終了されないほど十分な光エネルギーが残っている場合、レイは、点75でボリュームのさらなる領域69に入る。ライティング回路26は、たとえば、仮想光エネルギーの99%が吸収されるまで、またはレイがボリュームを出るまで、さらなる領域69内に存在するレイ70bの第2の部分上のサンプル点における放射照度計算を実行する。
本実施形態では、仮想平行光源と腔の間にある領域68を通過するとき、吸収率の計算が中断されるが、吸収率の計算は、レイが、仮想光源から腔の他方の側にある領域69に入るときは中断されない。他の実施形態では、吸収率の計算は、領域68と領域69の両方で中断されることがある。いくつかの状況では、領域68および領域69は、類似の組織を備えることがある。本実施形態では、吸収率は、腔66を通過しないレイに対して計算されない。他の実施形態では、吸収率は、腔66を通過しないレイに対して計算されることがある。
本実施形態では、領域68は、平行光源(ボリュームの外部にある)と腔の間にあるボリュームの一部のすべてを備える。他の実施形態では、放射照度の計算が中断されるまたは吸収率が減少させられる領域は、腔の外部にあるボリュームの特定の一部、たとえば特定の解剖学的構造、または所与の値を上回る強度を有する領域のみを備えることがある。
本実施形態では、1つの腔のみがボリューム内に存在する。いくつかのボリュームでは、複数の腔が存在することがある。いくつかのそのような場合では、カメラが置かれる腔を除くすべての腔に対して、放射照度の計算が中断されることがある。いくつかの実施形態では、複数の腔は、非常に細い材料によって、および/または適度に高い透明性があると考えられる材料によって分離され得る。細いおよび/または透明な材料によって腔が分離されるいくつかの状況では、複数の明確な腔は単一の腔と扱われることがあり、放射照度の計算は、複数の腔によって占有される空間の大部分またはすべてを通じて実行され得る。複数の腔内の光相互作用は、複数の腔の空間的関係についての視覚的ヒントを与えることができる。
本実施形態では、放射照度の計算は、各レイの第1の部分60a(第1のライティング領域内にある)に対して実行されない。さらなる実施形態では、ライティング回路26は、各レイの第1の部分60a内のサンプル点に対する放射照度を計算するが、ライティング回路26は、第1の部分上のサンプル点たとえば領域68内にあるサンプル点に関連する吸収関数を修正する。たとえば、一実施形態では、ライティング回路26は、周囲ボクセルの強度を使用して、所与のサンプル点における吸収率を決定する。次いで、ライティング回路26は、そのサンプル点における吸収率を元の吸収率の少ない割合に、たとえば元の吸収率の1%に減少させる。ライティング回路26は、減少された吸収率を使用して、第1の部分60a内の各サンプル点に対する放射照度を計算する。
本実施形態では、放射照度の計算は、各レイの第1の部分60a(第1のライティング領域)に対して実行されず、放射照度の全計算は、各レイの第2の部分60b(第2のライティング領域)に対して実行される。第1の部分と第2の部分は、遷移点64で交わる。
他の実施形態では、第1のライティング領域と第2のライティング領域の間に遷移領域が存在する。遷移領域では、第1のライティング領域において適用されるライティングシミュレーションプロセスと第2のライティング領域において適用されるライティングシミュレーションプロセスの間に、緩やかな遷移が存在する。いくつかの実施形態では、放射照度は、各レイの第1の部分60aにおいて計算されない。次いで、レイは遷移領域に入り、レイが遷移領域内にある間、減少された放射照度が計算される。たとえば、遷移領域内のサンプル点は、減少された吸収率が割り当てられ得る。吸収率は、レイが遷移領域に入る点とレイが遷移領域を出る点との間で、徐々に増加され得る。緩やかな増加は、レイが遷移領域を出て第2のライティング領域に入る点では、吸収率の減少がないようなものであり得る。
別の実施形態では、ライティング回路26は、吸収率を減少させずに、各レイの第1の部分60aにおけるサンプル点に対する放射照度を計算する。各レイが遷移点64に到達すると、腔内では、ライティング回路26が、レイに関連付けられた仮想光エネルギーを、その開始値に、またはその開始値のある割合に、たとえばその開始値の90%に増加させる。いくつかのそのような実施形態では、ライティング回路26は、仮想光エネルギーの所与の割合(たとえば99%)が吸収されるとき、レイの計算を停止しない。
本実施形態では、段階46のライティングシミュレーションプロセスは、散乱ならびに直接照明をシミュレートする。レイ上のいくつかのサンプル点では、吸収ではなく散乱が発生することがある。本実施形態では、単一の散乱のみが考慮に入れられる。いくつかの実施形態では、複数の散乱が考慮に入れられることがある。いくつかの実施形態では、反射も考慮に入れられることがある。
ライティング回路26は、点光源74からレイを放ち、各レイに沿った複数のサンプル点の各々に対する放射照度を、そのサンプル点における吸収関数に依存して決定することによって、仮想点光源74からの放射照度も計算する。各サンプル点における放射照度は、上記で説明されたように、隣接するボクセルに分配される。本実施形態では、点光源74からの放射照度は、レイの任意の一部において吸収率を減少させるまたは除くことなく、計算される。点光源74によって放射されるレイに対して、ライティングシミュレーションプロセスは、ボリュームのすべての部分に対して同様の方法で適用される。他の実施形態では、点光源74からのレイのライティングシミュレーションは、第1のライティング領域および第2のライティング領域に対して異なるように適用されることがあり、それは、平行光源に対する第1のライティング領域および第2のライティング領域と同じであってもよいし、同じでなくてもよい。
段階48では、ライティング回路26は、放射照度ボリュームを取得するために、平行光源からのレイからのライティングシミュレーション結果と点光源からのレイからのライティングシミュレーション結果を結合する。放射照度ボリュームでは、各ボクセルは関連付けられた放射照度を有し、この関連付けられた放射照度は、ボクセルの近くのサンプル点における仮想光エネルギーを堆積させた複数のレイからの放射照度寄与の組み合わせであってよい。
本実施形態では、放射照度ボリュームは、体積イメージングデータセット内の各ボクセル位置に対する少なくとも1つの放射照度値を備える。他の実施形態では、放射照度ボリュームは、基準点のグリッドに対して定義されてよく、基準点は、ボクセルと一致してもよいし、一致しなくてもよい。いくつかの実施形態では、放射照度ボリュームは、ボクセルの数の減少された(downsampled)グリッドに対して定義され得る。さらなる実施形態では、放射照度ボリュームは、グリッドを形成しない一組の点、たとえばポイントクラウド、ツリー構造、またはツリー構造のポイントクラウドに対して定義され得る。
本実施形態では、大域照明ライティングモデルは、段階46および48で放射照度を計算するために使用される。他の実施形態では、任意の適切なライティングモデルが使用されてよい。
段階50では、レンダリング回路28が、仮想カメラ72を腔66の中に配置する。仮想カメラは、見ている位置および方位を表す。本実施形態では、レンダリング回路28は、使用者(たとえば、臨床医または音波検査者)からの入力に応じて仮想カメラを配置する。使用者は、任意の適切な入力デバイスを使用して、仮想カメラ72の位置および方位を指定することができる。代替実施形態では、レンダリング回路28は、仮想カメラ72を自動的に配置することができる。
段階52では、レンダリング回路28は、放射照度ボリュームに基づいて画像をレンダリングする。レンダリングでは、レンダリング回路28は、放射照度ボリュームと体積イメージングデータセットの両方を参照する。レンダリングが基づくレンダリング回路28への入力は、セグメンテーションおよび/または他のデータセットたとえばクリッピング構造も含むことがある。
画像は、仮想カメラから見られるかのようにレンダリングされる。レンダリング回路28は、カメラからのレイを、体積イメージングデータセットによって表されるボリュームへと放つ。各レイは、段階52のレンダリングによって取得されるべき2次元画像データセットのピクセルに対応することができる。カメラからの各レイは、体積イメージングデータセットによってボクセル間隔単位で表されるボリュームを通る。他の実施形態では、異なる間隔が使用されることがある。
カメラから放される所与のレイの場合、レンダリング回路28は、レイに沿った一連の増分点の各々における放射照度を決定する。増分点が空の空間を表す場合、レイは、次の増分点へ飛ぶ。
レンダリング回路28は、放射照度ボリュームの隣接するボクセルから放射照度を補間することによって、各増分点における放射照度を決定する。本実施形態では、各点に対する補間において、8つの最も近い隣のボクセルが考慮される。他の実施形態では、異なる数のボクセルが考慮されることがある。レンダリング回路28は、レイのピクセル色値を取得するために、カメラからのレイに沿った各増分点における放射照度を集積する。それによって、レンダリング回路28は、2次元画像データセット内の各ピクセルに対する色値を決定する。
段階54では、ディスプレイ制御回路32は、2次元画像データセットに対応する画像をメインディスプレイ画面16に表示する。表示される画像は、平行光源と点光源74の両方によって照明された腔の画像である。
平行光源からの光が対象となる内部構造(たとえば対象となる腔)に入るまで放射照度寄与を中断または減少させることによって、内部構造の平行ライティングが取得され得る。放射照度寄与が中断または減少されない場合、ボリュームの外部に置かれた平行光源からの光は内部構造に到達しないであろうと予想され得る。仮想平行光源は、内部構造の画像においてフィルライトの1つの形態として働くことができる。
ライティングシミュレーションプロセス(たとえば、各レイが内部構造の内部にくるまでの吸収率の減少または除去)の適用は、平行光源からの少なくともいくらかの光が内部構造に到達することを保証することができる。ライティングシミュレーションプロセスの適用は、内部構造の内部で所望の光レベルが達成されることを保証することができる。
平行光源の位置および/またはライティングシミュレーションプロセスの詳細は、平行光源が内部構造の少なくとも1つの選択された一部、たとえば腔の壁の一部を照明するように選択され得る。
平行光源によって提供されるフィルライティング(fill lighting)は、点光源の何らかの影響を低減することがある。たとえば、点光源は不快な陰影を放つことができ、この不快な陰影は、平行光源からのフィルライティングの存在によって、あまり不快でなくされることがある。点光源は、点光源付近の強い照明を提供することができ、点光源からさらに遠い内部構造の一部を照明しないことができる。平行光源からのフィルライティングは、点光源によって適切に照明されない内部構造の一部を照明することができる。
レイが内部構造に入るとすぐに放射照度の計算が始まるいくつかの実施形態では、レイが入る内部構造の壁は、結果として生成される画像では非常に明るく見えることがある。内部構造の壁からオフセット距離だけ離れて配置される遷移点64における放射照度の計算を始めることによって、内部構造の壁があまりにも明るく見えることを避けることが可能であることがある。オフセット距離は、審美的に満足できる効果をもたらすように選定され得る。オフセット距離は、内部構造の良好な画像、たとえば臨床医が解釈するのが容易な画像を提供するように選定され得る。
いくつかの実施形態では、複数の仮想平行光源が、段階42においてライティング回路26によって置かれる。ライティング回路26は、仮想平行光源の各々に対して光をシミュレートする。平行光源の各々に対して、ライティング回路は、第1のライティング領域と第2のライティング領域とを決定する。第1のライティング領域は、平行光源と腔の間にある領域を備えることがある。第1のライティング領域は、平行光源に最も近い腔の壁に隣接する腔の一部も備えることがある。第2のライティング領域は、腔の残りの部分を備えることがある。各平行光源に対して、ライティング回路26は、それぞれの第1の領域に対して、それぞれの第2の領域に対してとは異なるように適用する。ライティング回路は、平行光源の各々から複数のレイを放ち、各レイに沿った複数のサンプル点の各々における放射照度を決定し、放射照度をボクセル位置に分配させる。各ボクセルは、複数の平行光源から放射照度寄与を受信することができる。
いくつかの実施形態では、平行光源は、ボリュームの両側に置かれることがある。平行光源は、互いに対して所定の角度で置かれることがある。たとえば、平行光源は、互いに対向して置かれることがある。複数の平行光源を使用することが、いくつかの状況では単一の平行光源を使用することから生じることがある不快な陰影を避けることがある。
いくつかの実施形態では、平行光源の各々は、同じ量の仮想光エネルギーを放射する。他の実施形態では、平行光源のうちの1つが、平行光源のうちの別のものよりも多い仮想光エネルギーを放射することがある(そのため、より明るい照明を提供することがある)。いくつかの状況では、反対方向に配設された1対の等しい明るさの平行光源による内部構造の照明は、平行光源によって照明される区域の間に暗い線があるという結果になることがある。一方の光を他方の光よりも明るいように設定することによって、暗い線は減少され得る。いくつかの状況では、より審美的に満足できるライティング効果および/または解釈するのが容易な画像は、異なる明るさの平行光源を使用することによって生成され得る。異なる明るさの光によって生成される照明は、等しい明るさの光によって生成される照明よりも自然に見えることができる。
いくつかの実施形態では、ライティング回路26は、1つまたは複数の仮想平行光源または他の仮想光源を置き、レンダリング回路28は、内部構造の初期画像をレンダリングする。使用者は、入力制御装置を使用して、たとえばトラックボール、ロータリスイッチ、マウス、またはキーボードを使用して、1つまたは複数のライティングパラメータを調整する。たとえば、使用者は、仮想光源の位置、または光源が平行の場合は照明の方向を調整することができる。使用者は、光源の明るさを調整することができる。使用者は、2つ以上の光源の相対的な明るさを調整することができる。いくつかの実施形態では、使用者は、放射照度計算が始まるオフセット距離を調整することができる。使用者は、第1のライティング領域、第2のライティング領域、および/または遷移領域の範囲を選択または修正することができる。使用者は、1つまたは複数の領域におけるライティングシミュレーションプロセスの適用を選択または修正することができる。たとえば、使用者は、第1のライティング領域内で吸収率が減少される範囲を決定することができる。使用者は、遷移領域内でどれほど徐々に吸収率が変更されるか決定することができる。レンダリング回路28は、使用者によって設定された新しいパラメータを有する1つまたは複数のさらなる画像をレンダリングする。
いくつかの実施形態では、光源のパラメータは個別に制御可能である。いくつかの実施形態では、使用者は、一度に複数の光源に対してパラメータを調整することができる。たとえば、使用者は、すべての光源の位置を調整するように、またはすべての光源の明るさを減少させるように単一の制御装置を操作することができる。音波検査者に提供される制御装置は、調整され得るパラメータを制限することによって、より単純にされ得る。
上記の実施形態では、平行光源からの光をシミュレートするライティングシミュレーションプロセスは、平行光源と腔の間の領域に対して、腔自体の中と異なるように適用される。さらなる実施形態では、仮想点光源からの、または他の任意の仮想光源からの光をシミュレートするライティングシミュレーションプロセスは、第1の領域に対して、第2の領域とは異なるように適用され得る。第2の領域は関心領域(たとえば腔)であってよく、第1の領域は、関心領域の外部にあるボリュームの一部(たとえば、腔を取り囲む組織)であってよい。
たとえば、一実施形態では、仮想点光源はボリュームの外部に置かれ、レイは、点光源からボリュームへと放される。放射照度の計算は、点光源からのレイが腔に入るまで中断される。別の実施形態では、仮想点光源は、ボリュームの内部であるが腔の外部に置かれる。レイは、点光源から腔へと放たれる。放射照度の計算は、点光源からのレイが腔に入るまで中断される。
次に、図2のシステムによって実行され得る第2の方法に関連する第2の組の実施形態に目を向ける。仮想点光源は腔内に置かれ、仮想点光源から生じる放射照度は、仮想点光源からの距離に伴う放射照度の低下を修正するように調整される。すなわち、放射照度の調整を行なわない場合より、仮想光源から比較的遠い基準点の放射照度が、仮想光源から比較的近い基準点の放射照度に近くなるように、計算した放射照度を調整する第1の条件、および放射照度の調整を行なわない場合より、前記仮想光源から離れた基準点ほど放射照度が大きくなるように、計算した放射照度を調整する第2の条件、のいずれかに基づいて、計算した放射照度を調整する。
第2の方法は、図5から図8dを参照しながら説明される。第2の方法は、図5の流れ図に概略的に示される一連の段階を有する。
図2に示される装置は、図3のプロセスと図5のプロセスの両方を実行することが可能である。しかしながら、他の実施形態では、装置は、図5のプロセスを実行するが図3のプロセスは実行しないように、または図3のプロセスを実行するが図5のプロセスを実行しないように構成され得る。
図5の段階100では、データ受信回路24は、体積イメージングデータセットを受信する。本実施形態では、体積イメージングデータセットは、生の超音波データの再構成によって取得されている。他の実施形態では、任意の適切なモダリティが使用されてよい。体積イメージングデータセットは、ボクセルの配列を備える。ボクセルの配列は、患者の3次元領域の一部または全部に相当する3次元ボリュームを表す。各ボクセルは、体積イメージングデータセットの座標空間内の位置と、関連付けられた信号強度とを有する。
本実施形態では、患者の3次元領域は、腔を備える関心領域を含む。他の実施形態では、関心領域は、身体の任意の内部構造、たとえば、管、血管、内腔、気道、空気が満たされた構造、または流体が満たされた構造を備えることがある。
段階102では、ライティング回路26は、仮想点光源120を腔の内部に置く。本実施形態では、仮想点光源120の位置は、任意の適切な入力デバイスを使用して、使用者によって選択される。他の実施形態では、ライティング回路26は、仮想点光源120に対する位置を自動的に決定する。いくつかの実施形態では、ライティング回路26は、セグメンテーション回路40から腔のセグメンテーションを受信し、点光源120に対する位置をセグメンテーションに基づいて決定する。
段階104から106は、2パスプロセスの第1のパスを形成すると考えられ得、段階110から114は、2つの部分からなるプロセスの第2のパスを形成すると考えられ得る。第1のパスは、放射照度ボリュームを作製するためにライティングシミュレーションプロセスを適用し、第2のパスは、表示の目的で画像をレンダリングするために放射照度ボリュームを使用する。
段階104では、ライティング回路26は、点光源120からボリュームへの複数のレイを追跡することによって光をボリュームへと放ち、各レイ上の複数の点における放射照度を計算する。放射照度は、たとえば、W/m3で表されてもよいし、他の任意の適切な単位で表されてもよいし、較正されていない値として表されてもよい。
複数のレイの追跡は、仮想点光源120からの大きな複数のレイの放射をシミュレートすることを備える。本実施形態では、レイの放射は、確率論的に扱われる。レイの確率論的放射は、ランダム放射とも呼ばれることがある。レイは確率論的プロセスによって放射され、したがって、平均して、立体角の各単位において等しい数のレイが放射される。確率論的放射は、仮想点光源120が中心に置かれた球上での等しいサンプリングよりも、実施するのが簡単なことがある。他の実施形態では、レイは、等しい角度間隔で、または空間内でのレイの他の任意の適切な分配を使用して、省略されることがある。複数のレイは、各所与の角度で放射されてよい。
レイという用語が本明細書において使用されるが、レイは、仮想光子と考えられ得る。しかしながら、仮想光子の振る舞いは、本物の光子の予想される振る舞いと異なることがある。いくつかの状況では、仮想光子のエネルギーの一部が吸収されることがあり、仮想光子は、エネルギーの一部の吸収後、存続することがある。いくつかの状況では、仮想光子は、方向を変更させずにエネルギーを失うことがある。
図6は、3次元ボリュームを通る断面を表す概略図である。図6は、仮想点光源120から放射されているレイを示す。図の目的上、レイ122は、(本実施形態では、レイ122は、3次元では確率論的に放射されるが)2次元の角度でほぼ等間隔に離間されるように示される。図6では、点光源120は、柔らかい半透明境界層を有する小さな円形腔の中心に置かれる。
レイ122の各々に対して、放射照度が、図6では円によって表される複数のサンプル点124の各々において計算される。本実施形態では、サンプル点はレイに沿って等間隔に離間され、サンプル点間の距離は、すべてのレイに対して同じである。放射照度とは、赤色成分Irと、緑色成分Igと、青色成分Ibとを備える分光放射照度である。各サンプル点124における放射照度は、レイ122がサンプル点124に到達したときのレイ122の仮想光エネルギーとサンプル点124における吸収関数の乗算である。レイの仮想光エネルギーは、そのレイがどれくらい多く放射照度に寄与するかの尺度とすることができる。高い仮想光エネルギーを有するレイは、より低い仮想光エネルギーを有するレイよりも高い放射照度を提供することができる。
仮想光エネルギーは、赤色成分と、緑色成分と、青色成分とを備える。吸収関数は、赤色成分、緑色成分、および青色成分の各々によって異なる。本実施形態では、各サンプル点124における吸収関数は、サンプル点124に隣接するボクセルの強度に依存して決定される。サンプル点124に隣接するボクセルは、サンプル点124の近傍にあるボクセルであってよい。サンプル点に隣接するボクセルは、最も近い隣のボクセル、次に最も近いボクセル、および/またはサンプル点124に近いボクセル、たとえばサンプル点124の所与の距離内にあるボクセルのより大規模なグループを備えることがある。いくつかの実施形態では、ボクセルは、特定の対象(たとえば、特定の解剖学的特徴)に属すると分類され、各サンプル点における吸収関数は、隣接するボクセルの分類に依存して決定される。異なる光学的性質が、異なる対象に割り当てられてよい。
本実施形態では、大域照明ライティングモデルは、段階104で放射照度を計算するために使用される。大域照明では、光源から直接来る光による直接照明と間接照明たとえば別の面から散乱された光による照明の両方を含むライティングモデルが使用されることがある。他の実施形態では、任意の適切なライティングモデルが使用されてよい。サンプル点124における放射照度の計算は、別個のステップで吸収率を算出する光子マッピングプロセスを備える。
仮想点光源120からの距離が増加するにつれて、各レイ122内の仮想光エネルギーの量は、吸収により減少する。図6では、レイに沿った連続したサンプル点124に対する仮想光エネルギーの量の減少は、サンプル点124が暗くなることを表す円によって示されている。
そのうえ、点光源120からの距離が減少するにつれて、レイ122は離れていく。所与の表面積の単位を通過するレイの数は、逆二乗則に従って減少し、このことが、たとえば図1に見られる強度の急激な低下を引き起こす。
図7aは、3次元ボリュームを通る断面の一部を表す概略図である。図7aは、一連のステップでボリュームを横断するレイ122(仮想光子であると考えられ得る)の一例を示す。レイは、各ステップにおいて、吸収によって仮想光エネルギーを失う。レイの仮想光エネルギーの所与の割合が失われたとき、たとえばレイの仮想光エネルギーの99%が失われたとき、レイが終了され得る。
ボリューム内のボクセルの配列は、図7aのグリッド128によって表される(ボクセルは、グリッドの隅にある)。図7aではボリュームボクセルグリッドの断面のみが示されているが、ボリュームボクセルグリッドは、ボリュームを通って延びる3次元グリッドと考えられるべきである。
複数のサンプル点124a〜124hの各々において、レイ122の仮想光エネルギーの一部が吸収され、吸収率に基づいて、放射照度が計算される。放射照度は、赤色成分Irと、緑色成分Igと、青色成分Ibとを備える。レイ122が、サンプル点を接続する矢印の方向に進むにつれて、レイ122内の仮想光エネルギーは減少し、青色光および緑色光は、この実施形態で使用される吸収関数により優先的に吸収されるので、光がより赤くなる。他の実施形態では、他の任意の所望の吸収関数が使用されてよい。所与のサンプル点124cについて考えると、放射照度は、レイ122がサンプル点124cに到達したときにレイ122内に残っている仮想光エネルギーの量およびサンプル点124cにおける吸収関数に基づいて、サンプル点124cに対して計算される。
放射照度の計算は、シミュレートされたレイ122の各々の上のサンプル点124の各々に対して実行される。本実施形態では、放射照度は分光放射照度であるが、他の実施形態では、放射照度は分光放射照度でなくてもよい。本実施形態では、放射照度は平行ではないが、他の実施形態では、放射照度は平行であってもよい。
段階106では、各サンプル点に対して、ライティング回路26は、そのサンプル点124における放射照度を、ボリューム内の基準点の配列の少なくとも一部に分配する。本実施形態では、基準点の配列は、ボクセルの配列に対応する。この実施形態における各基準点は、ボクセル中心と一致する。ライティング回路26は、各サンプル点124における放射照度を、そのサンプル点の近傍にあるボクセルに分配する。他の実施形態では、基準点は、ボクセルに対応しない点である。いくつかの実施形態では、基準点の配列は、ボクセルの数の減少された配列である。
任意の適切な方法は、サンプル点からの放射照度を、サンプル点の近傍にあるボクセルに分配するために使用され得る。各サンプル点からの放射照度を分配することは、補間の逆と考えられ得る。したがって、特定の分配の方法は、特定の補間の方法に類似していることがある。
本実施形態では、各サンプル点124に対して、ライティング回路26は、放射照度を、サンプル点124に8つの最も近い隣のボクセルに分配する。8つの最も近い隣のボクセルに分配することは、三線補間法に類似していると考えられ得る。他の実施形態では、ライティング回路26は、放射照度を、8つの最も近い隣のボクセルよりも幅広いボクセルのグループに分配する。
ライティング回路26は、サンプル点とボクセルの距離に基づいて8つの最も近い隣のボクセルの各々の寄与重みを計算することによって、各サンプル点からの放射照度を8つの最も近い隣のボクセルに分配する。次いで、ライティング回路26は、放射照度を8つの最も近い隣のボクセルの各々に分配する。8つの最も近い隣のボクセルの各々に分配される放射照度は、そのボクセルの寄与重みが乗算された、サンプル点における放射照度に等しい。本実施形態では、寄与重みは0と1の間の無次元数である。所与のサンプル点に対する8つの最も近い隣のボクセルの寄与重みは、合計で1になる。他の実施形態では、寄与重みは、異なる数値をとることができる。
図7aのレイ122を考えると、サンプル点124cにおける放射照度は、サンプル点124cに最も近い隣の8つのボクセル126に分配される。図7aはボリュームの2次元断面を表すので、4つの最も近い隣のボクセル126a〜126dのみが図7aに示されている。
サンプル点124cにおける放射照度は、各最も近い隣のボクセルに対して、サンプル点124cからボクセルまでの距離を計算し、寄与重みを計算するためにボクセルまでの距離を使用して、そのボクセルに、寄与重みによって乗算されたサンプル点124cにおける放射照度に等しい放射照度を分配することによって、8つの最も近い隣のボクセル126に分配される。放射照度成分Ir、Ig、およびIbの各々に対して、同じ寄与重みが使用される。他の実施形態では、放射照度成分により異なる寄与重みが使用され得る。
サンプル点124cが、8つの最も近い隣のボクセル126のうちの特定のボクセルの中心に非常に近い場合、高い寄与重みは、そのボクセルに割り当てられ、低い寄与重みは、他の最も近い隣のボクセルの各々に割り当てられる。サンプル点124cが、すべてそれ8つの最も近い隣のボクセルから等距離である場合、0.125という等しい寄与重みが、8つの最も近い隣のボクセルの各々に割り当てられる。
寄与重みの計算は、所与のサンプル点におけるレイを複数の隣接するボクセルの各々に部分的に割り当てる手段であると考えられ得る。寄与重みは、所与のボクセルに割り当てられるレイの割合(たとえば、レイの0.9またはレイの0.1)を表すことができる。
8つの最も近い隣のボクセル126の各々に対して、ライティング回路26は、サンプル点124cから生じる寄与重みの値と、サンプル点124cから分配される放射照度の値とを格納する。
放射照度の分配は、レイ122の各々の上にあるサンプル点124の各々に対して繰り返される。放射照度の決定は、付加的なプロセスである。複数のサンプル点および複数のレイは、放射照度エネルギーを各ボクセルに与える。たとえば、図7aを参照すると、ボクセル126dは、サンプル点124c、124d、124e、および124fから放射照度を受信することができる。ボクセル126dはまた、図7aに示されていない異なるレイ122上にあるサンプル点124からも、放射照度を受信することができる。各ボクセルに対して、ライティング回路26は、異なるサンプル点から受信される放射照度の合計を格納する(本実施形態では、3つの放射照度成分Ir、Ig、およびIbとして格納される)。
ボクセル126dは、サンプル点124c、124d、124e、および124fの各々から寄与重みを受信し、異なるレイ122の上にあるサンプル点124から寄与重みも受信することがある。各ボクセルに対して、ライティング回路26は、異なるサンプル点から受信された寄与重みの合計を格納する。本実施形態では、3つの放射照度成分の各々に、同じ寄与重みが使用される。
本実施形態では、方法は、点において計算することによって別々に実行される(この実施形態では、点はボクセルである)。他の実施形態では、線までの距離は、点までの距離ではなく寄与重みを決定するために使用され得る。点に補間することは、方法を実施するただ1つの手段であり、さまざまな考えられる実装形態がある。
ボクセルにおける寄与重みの合計は、ボクセルに関連付けられたレイ密度を表すと考えられ得る。レイが所与のボクセルの中心のごく近くを通過する場合、レイのその部分の0.9を表す0.9の寄与重みは、そのボクセルと関連付けられ得る。レイがより遠くを通過する場合、レイのその部分の0.1を表す0.1の寄与重みは、そのボクセルと関連付けられ得る。したがって、寄与重みの合計は、所与のボリューム内のレイの小数の合計とみなされ得る。所与のレイ上の1つまたは複数のサンプル点から受信される寄与重みは、レイが有する仮想光エネルギーの量に依存しない。すなわち、レイの仮想光エネルギーとは独立して、複数の基準点について計算された放射照度を調整することができる。
簡単にするために、図6および図7aは、散乱しないレイを使用して示されている。しかしながら、本実施形態では、レイの散乱は、ライティングモデルに含まれる。散乱ならびに直接照明がシミュレートされる。所与のサンプル点において、レイは、吸収を受けるのではなく、散乱することがある。レイは、ボリュームを横断するとき、繰り返し散乱することがある。散乱の範囲は、レイがそれを通って散乱している材料に依存し得る(強度に基づいて決定されてもよいし、かつ/または吸収関数に組み込まれてもよい)。散乱されたレイの一例が図7bに示されている。放射照度および寄与重みが各サンプル点に対して計算され、放射照度は、寄与重みに依存して、最も近い隣のボクセルに分配される。たとえば、散乱されたレイ上のサンプル点124iは、上記で説明されたように寄与重みを計算することによって、放射照度をボクセル126e、126f、126g、および126hに分配する。
いくつかの実施形態では、反射も考慮に入れられることがある。いくつかの実施形態では、散乱および/または反射が省略されることがある。
段階108では、ライティング回路26は、各ボクセルにおける調整された放射照度を計算する。上記で説明されたように、各ボクセルは、ボクセル近くの各サンプル点からの放射照度寄与の合計である総放射照度を有する。放射照度は、すべてのサンプル点およびすべてのレイにわたって蓄積される。各ボクセルは総寄与重みも有し、この総寄与重みは、ボクセル近くの各サンプル点からの寄与重みの合計であり、レイ密度を表すと考えられ得る。総寄与重みは、赤色放射照度チャネル、青色放射照度チャネル、および緑色放射照度チャネルに対する別個のチャネルに蓄積される。総寄与重みは、アルゴリズムの横断的側面のみを表す連続値と考えられ得る。空間内の各サンプル点の位置はいかなる値もとることができ、グリッドに限定されないので、総寄与重みは連続値と考えられ得る。したがって、各サンプル点に対する寄与重みは、0と1の間のどこかにあることができ、たとえば、丸められたり量子化されたりしない。
ライティング回路26は、そのボクセルにおける総放射照度をそのボクセルにおける総寄与重みで除算し、次いで一定値を乗算することによって、所与のボクセルに対する調整された放射照度を計算する。一定値は、スケーリングパラメータと呼ばれることがあり、すべてのボクセルに対して同じである。各ボクセルに対して、ライティング回路26は、ボクセルに対する総放射照度をそのボクセルに対する総寄与重みで除算し、次いで、その結果にスケーリングパラメータを乗算する。本実施形態では、スケーリングパラメータは10である。スケーリングパラメータは、所望のライティングレベルを得るように選定され得る。
各ボクセルにおける総放射照度の、そのボクセルにおける総寄与重みによる除算は、ボリュームを均一にすると言われることがある。ボリュームは、等しい数のレイがボリュームの各単位を通過するという意味で、均一であることができる。総放射照度の総寄与重みによる除算およびスケーリングパラメータによる乗算は、正規化と呼ばれることがある。
上記で説明されたように、仮想点光源120からの距離に伴う強度の減少に寄与する2つの効果がある。第一に、各サンプル点において仮想光エネルギーの一部が吸収されるので、各レイは、仮想点光源120からさらに遠ざかるにつれて、仮想光エネルギーの減少量を有する。第二に、仮想点光源からの距離が増加するにつれて、レイ自体が分離されるのがより広くなる(逆二乗則に従った低下)。仮想点光源からの距離が増加するにつれて、レイの密度(単位ボリュームあたりのレイの数)が減少することが考えられ得る。段階108での放射照度の調整は、総寄与重みを正規化することによって低下影響(レイの離隔距離を増加させること)を補償するように設計され、総寄与重みを正規化することは、各ボクセルにおけるレイ密度を一定のレイ密度(たとえば、各ボクセルにおいて10本のレイ)に調整することとみなされ得る。
しかしながら、各レイに対する寄与重みは、各レイの仮想光エネルギーとは無関係である。たとえば、多くの仮想光エネルギーを有しボクセルの近くを通過するレイは、サンプル点からの0.9の寄与重みをそのボクセルに寄与し、5W/m3の放射照度値を寄与することがある。少ない光エネルギーを有しボクセルの近くを通過するレイは、サンプル点からの0.9の寄与重みをそのボクセルに寄与するが、2W/m3の放射照度値しか寄与しないことがある。したがって、各レイのエネルギーが減少することから生じる放射照度の差は、調整された放射照度値に保持され、一方、レイ密度が異なることから生じる放射照度の差は補償される。
寄与重みを使用することによってレイ密度に依存して放射照度を調整することは、逆二乗則による強度の低下を補償することができる。総寄与重みは、エネルギー(放射照度)チャネルを正規化するために使用可能である。すなわち、複数の基準点の各々について、放射照度を計算するために考慮したレイに対する重みの合計を含む又は代表するレイの密度に応じて、計算された放射照度を調整することができる。
図8a、図8b、図8c、および図8dは、図6で強調されている2つのボクセル130、140のカウントおよび放射照度値を表す。ボクセル130の方が仮想光源120に近く、ボクセル140の方が仮想光源120から離れている。ボクセル130の近くよりもボクセル140の近くの方がレイは少ないことが理解でき、また、ボクセル140に近いレイは、ボクセル130に近いレイよりも小さい仮想光エネルギーを有することが理解できよう(仮想光源からより離れたときのエネルギーの減少およびレイの赤色化は、サンプル点124を表す円の暗色化によって表される)。図6は、そのボリュームの2次元断面のみを示しているが、図8a、図8b、図8c、図8dの基となる計算は、3次元ボリュームに対して実行される。
図8aの(ボクセル130およびボクセル140に対する)2つの列は各々、関連のあるボクセル130または140に放射照度寄与を提供するいくつかのサンプル点124を表す。レイが広がるために、より多くのサンプル点が、ボクセル140よりもボクセル130に寄与する。図示の例では、65のサンプル点が放射照度をボクセル130に寄与し、10のサンプル点が放射照度をボクセル140に寄与する。また、図8aに示されているサンプル点の色から、ボクセル130に寄与するサンプル点は、ボクセル140に寄与するサンプル点よりも高いエネルギー(色が薄いことによって示される)を有することが理解できよう。
図8bは、ボクセル130およびボクセル140における分光放射照度をW/m3単位で示すヒストグラムである。各ボクセルに対して、分光放射照度は、赤色成分Ir、緑色成分Ig、および青色成分Ibに分割され、赤色成分、緑色成分、および青色成分は、図8bではR、G、およびBによって示される。ボクセル130とボクセル140には、放射照度の大きな差があることが理解されよう。たとえば、赤色成分Irは、ボクセル130では334W/m3、ボクセル140では35W/m3である。放射照度の差は、ボクセル130およびボクセル140においてサンプル点の数が異なることから、また、ボクセル130およびボクセル140においてサンプル点あたりの放射照度の量が異なることから生じる。
図8cは、ボクセル130およびボクセル140における総寄与重みを示すヒストグラムである。総寄与重みは、図8aに表されたすべてのサンプルからの寄与重みの合計である。ボクセル130における総寄与重みは16.7である。ボクセル140に対する総寄与重みは5.1である。総寄与重みの差は放射照度の差よりも小さいことが理解されよう。この例では、ボクセル130の総寄与重みはボクセル140の総寄与重みの約3.3倍であるが、ボクセル130の放射照度の赤色成分Irはボクセル140のIrの約9.5倍である。
図8dは、調整された分光放射照度(ここでも、R、G、およびBに分解される)を示すヒストグラムである。各ボクセルに対して、調整された分光放射照度は、そのボクセルに対する分光放射照度をそのボクセルに対する総寄与重みで除算し、次いでスケーリングパラメータを乗算することによって得られる。この例では、スケーリングパラメータの値は10である。他の例では、任意の定数値が使用されてよい。
点130における調整された放射照度は、依然として、点140における調整された放射照度よりも大きいが、調整された放射照度間の差は、図8aの元の放射照度間の差ほど大きくないことが理解されよう。たとえば、ボクセル130の元のIrは、ボクセル140の元のIrの約9.5倍であるが、ボクセル130の調整されたIrは、ボクセル140の調整されたIrの約2.9倍である。
調整された放射照度値は、そのボクセルにおける総寄与重みに依存して、各ボクセルに対して個別に取得される。ライティング回路26は、放射照度ボリュームを構築するために、ボクセルに対する調整された放射照度を使用する。放射照度ボリュームは、視点とは無関係であり、光源の位置およびボクセルの性質のみに依存する。したがって、放射照度ボリュームの算出は、異なる視点からの複数のレンダリングに使用されることが可能である。放射照度ボリュームは、データストア20に格納され得る。
段階110では、レンダリング回路28は、仮想カメラを腔内に配置する。他の実施形態では、仮想カメラは、図5のプロセスのより早い段階で、または図5のプロセスが開始される前に、置かれることがある。仮想カメラは、観察位置(viewing position)および方位を表す。本実施形態では、レンダリング回路28は、使用者(たとえば、臨床医または放射線技師)からの入力に応じて仮想カメラを配置する。使用者は、任意の適切な入力デバイスを使用して、仮想カメラの位置および方位を指定することができる。代替実施形態では、レンダリング回路は、仮想カメラを自動的に配置することができる。
段階112では、レンダリング回路28は、放射照度ボリュームに基づいて画像をレンダリングする。画像は、仮想カメラから見られるかのようにレンダリングされる。本実施形態では、画像は、腔の斜視投影像である。レンダリング回路28は、カメラからのレイを、体積イメージングデータセットによって表されるボリュームへと放つ。各レイは、段階114のレンダリングによって取得されるべき2次元画像データセットのピクセルに対応することができる。カメラからの各レイは、体積イメージングデータセットによってボクセル間隔単位で表されるボリュームを通る。他の実施形態では、異なる間隔が使用されることがある。
カメラから放される所与のレイの場合、レンダリング回路28は、レイに沿った一連の増分点の各々における放射照度を決定する。増分点が空の空間を表す場合、レイは、次の増分点へ飛ぶ。レンダリング回路は、放射照度ボリュームの隣接するボクセルから調整された放射照度を補間することによって、各増分点における放射照度を決定する。本実施形態では、各増分点に対する補間において、8つの最も近い隣のボクセルが考慮される。他の実施形態では、異なる数のボクセルが考慮されることがある。
レンダリング回路28は、カメラからのレイのピクセル色値を取得するために、そのレイに沿った各増分点に対して決定された放射照度を集積する。各増分点における放射照度の決定および放射照度の集積は、各レイに対して実行される。それによって、レンダリング回路28は、2次元画像データセット内の各ピクセルに対する色値を決定する。
段階114では、ディスプレイ制御回路32は、2次元画像データセットに対応する画像をメインディスプレイ画面16に表示する。表示される画像は、点光源74によって照明された腔の画像である。
腔の画像を照らすときに図5のプロセスを適用することは、より均一な画像、たとえば減少されたダイナミックレンジを有する画像という結果をもたらすことができる。結果として得られるレンダリングされる画像のダイナミックレンジは制御され得る。
正規化プロセスは、ボリュームを通るレイの横断によって引き起こされる低レベル干渉パターンを補正することができる。正規化プロセスは、複数の光源、体積光源、および/または確率的光源を考慮することができる。正規化プロセスは、散乱を考慮することができる。
図5のプロセスを適用することによって、点源までの距離に伴う放射照度の低下が修正され得る。仮想光源からより遠い点は、放射照度に関して、修正なしの場合にそうであったろうよりも、より近い点に近くなることがある。仮想光源から遠い点は、修正なしの場合にそうであったろうよりも良く照らされ得る。より良いライティングとは、使用者に提供される画像を使用者がより読みやすくするライティングとすることができる。より良いライティングとは、使用者に提供される画像を、対象となる構造のより広い領域を示すようにする、または照明される領域内のさらなる詳細を示すようにするライティングとすることができる。より広い領域またはさらなる詳細を示すかつ/またはより読みやすい画像を見ることによって、使用者は、対象となる特徴を識別することまたは診断を実行することがより容易であると思うことがある。
腔を撮影する際に図5のプロセスを使用することは、放射照度の調整が実行されない場合よりも、腔のより多くの部分を見ることを可能にすることができる。斜視(perspective)レンダリング、魚眼レンダリング、または類似の角度投影を使用することによって、血管などの延長された構造の壁を可視化することが可能になり得る。図5のプロセスを使用することは、そうでない場合にそうであったろうよりも、その延長された構造のより多くの部分が照明されることを可能にすることができる。仮想点光が斜視投影において血管を照明するために使用される例では、修正なしの場合にそうであったろうよりも、使用者がさらに血管を見ることが可能になり得る。
レンダリングされる最終画像の露出を変更するのではなくボリューム内の基準点における放射照度を個別に調整することによって、低下の影響は補償され得るが、吸収の影響は影響を受けないことがある。ダイナミックレンジを変更するために、レンダリングされる画像上で後処理を実行することが必要でない場合がある。
いくつかの実施形態では、関心領域たとえば腔の初期画像は、調整された放射照度を使用することなくレンダリングされる。初期画像は、使用者に表示される。使用者は、任意の適切な入力デバイス、たとえばトラックボール、ロータリスイッチ、マウス、またはキーボードを使用して、調整された放射照度の計算を要求することがある。いくつかの実施形態では、初期画像は、調整された放射照度を使用してレンダリングされ、使用者は、ライティングパラメータまたは調整パラメータのようなパラメータを変更するために、任意の適切な入力デバイスを使用することができる。
いくつかの実施形態では、使用者は、光の位置または光の明るさなどのライティングパラメータを調整することができる。使用者は、全体的な光レベルの変更を要求することができる。ライティング回路26は、調整された放射照度の計算に使用されるスケーリングパラメータを変更することによって、全体的な光レベルを変更することができる。
使用者は、放射照度調整パラメータの値を変更することができる。放射照度調整パラメータは、仮想光源からの距離に伴う放射照度の低下の修正に影響を与えるパラメータであってよい。たとえば、放射照度調整パラメータは、調整された放射照度を元の放射照度および寄与重みから決定するために使用される関数内のパラメータであってよい。いくつかの実施形態では、使用者は、色チャネルによって異なる放射照度調整パラメータを設定することができる。いくつかの実施形態では、使用者は、仮想光源によって異なる放射照度調整パラメータを設定することができる。すなわち、複数の色チャネルを含む放射照度について、計算された放射照度に含まれる複数の色チャネルの各々を個別に調整することで、計算された放射照度を調整することができる。
使用者は、画像の色バランスを変更することができる。ライティング回路26は、たとえば、赤色成分、緑色成分、および青色成分の相対吸収率を変更することによって、または調整された赤色放射照度成分、緑色放射照度成分、および青色放射照度成分のうちの1つを、調整された成分の別の成分と異なるように変倍することによって、色バランスを変更することができる。
いくつかの実施形態では、画像は、リアルタイムで、すなわちスキャンが実行されながら、レンダリングされる。そのような実施形態では、使用者によって要求される任意のライティングパラメータまたは放射照度調整は、使用者が新しい要求を行わない限り、現在の画像およびその後の画像に使用され得る。
上記で説明された実施形態では、各ボクセルにおける総放射照度は、段階108において、ボクセルにおける寄与重みにより除算し、スケーリングパラメータを乗算することによって調整される。この調整の方法は、完全な正規化と説明され得る。放射照度は、各ボクセルの近くを通過する一定数のレイがあるかのように調整される。レイの数が異なる結果である低下の影響が除去され得る。
さらなる実施形態では、正規化は、低下の何らかの影響が残るように、部分的にされることがある。いくつかの実施形態では、調整された放射照度は、正規化されていない部分と正規化された部分とを組み合わせることによって計算される。一例では、調整された放射照度の正規化されていない部分は、段階106からの放射照度値の50%である。調整された放射照度の正規化された部分は、放射照度値の残りの50%を総寄与重みで除算し、スケーリングパラメータを乗算することによって取得される。調整された放射照度は、正規化された部分と正規化されていない部分とを加算することによって計算される。いくつかの実施形態では、使用者は、たとえばスライダを操作することによって、正規化された部分および正規化されていない部分の相対的な大きさを決定することができる。
他の実施形態では、放射照度は、元の放射照度および寄与重みの任意の適切な関数を使用することによって調整され得る。たとえば、一実施形態では、調整された放射照度は、元の放射照度を寄与重みの平方根で除算し、次いでスケーリングパラメータを乗算することによって計算される。いくつかの実施形態では、使用者は、使用されるべき関数を選択することがある。たとえば、使用者は、複数のあらかじめ設定された関数から関数を選択することがある。いくつかの実施形態では、1つの色チャネルに対して、別の色チャネルとは異なる関数が選択され得る。その結果、低下の修正は、1つの色に対して、別の色とは異なることがある。
部分的な正規化のみを提供することによって、所望のライティング効果が達成され得る。たとえば、いくつかの状況では、逆二乗則による低下を有する仮想点光源は、ダイナミックレンジが過剰であるという結果になることがあるが、低下が全体的に除去された仮想点光源は、十分なダイナミックレンジがないことがある。したがって、中間の効果を達成することが望ましいことがある。
上記の実施形態は、単一の仮想点光源による照明のための正規化プロセスについて説明する。他の実施形態では、複数の仮想点光源が、ボリューム内に、たとえば腔内に置かれる。複数の点光源は、段階104で置かれる。段階104および106では、レイは点光源の各々から追跡され、レイ上のサンプル点からの放射照度は、隣接するボクセルに分配される。一実施形態では、ライティング回路26は、点光源の各々から生じる放射照度と寄与重みとを別々に記録する。たとえば、2つの光源がある場合、ライティング回路26は、第1の光源から生じる総放射照度成分Ir1、Ig1、およびIb1ならびに総寄与重みの値と、第2の光源から生じる総放射照度成分Ir2、Ig2、およびIb2の値とを記録する。段階108では、ライティング回路26は、各ボクセルに対して、第1の光源に関連付けられた第1の調整された放射照度と第2の光源に関連付けられた第2の調整された放射照度とを計算し、次いで第1の調整された放射照度と第2の調整された放射照度とを合計して、ボクセルの最終的な放射照度を得る。
代替実施形態では、ライティング回路26は、各ボクセルに対して、どの寄与がどの光源に由来するか区別しない、単一の総Ir、Ig、およびIbと単一の総寄与重みとを記録する。調整された放射照度は、総放射照度(一部は第1の光源に由来し、一部は第2の光源に由来することがある)を総寄与重み(一部は第1の光源に由来し、一部は第2の光源に由来することがある)で除算し、スケーリングパラメータを乗算することによって計算される。
いくつかの実施形態では、異なる正規化が、異なる点光源からの光に適用されることがある。たとえば、完全な正規化が1つの光源から放射照度に適用されることがあり、部分的な正規化が別の光源からの放射照度に適用されることがある。いくつかの実施形態では、各光源に関連するライティングパラメータは、使用者によって個別に調整可能である。いくつかの実施形態では、使用者は、光源のすべてを変更するように、たとえば全光源の位置を調整するように、または光源のすべての明るさを減少させるように、単一の制御装置を操作することがある。音波検査者に提供される制御装置は、調整され得るパラメータを制限することによって、より単純にされ得る。
上記の実施形態は点光源に関して説明されているが、図5の方法は、他のタイプの仮想光源、たとえば体積光源および/または周囲ライティングにも適用され得る。周囲ライティングは、ボリュームの外部から来るがランダムな方向から来る(場合によっては、一方向に若干偏らされる)光を備えることができる。
図5の方法は、レイ密度に依存して放射照度を調整するために使用される。レイ密度に依存して放射照度を調整することによって、逆二乗則によって引き起こされる仮想点光源からの距離に伴う強度の急激な低下を補償することが可能である。寄与重みを計算する1つの方法が上記で説明されているが、レイ密度に依存して放射照度を調整する任意の方法が使用されてよい。
代替実施形態では、各ボクセルにおける放射照度を計算した後、補償係数が、仮想点光源からボクセルまでの測定距離に基づいて計算され得る。補償係数は、おおよそのレイ密度と考えられ得る。次いで、放射照度が、補償係数に基づいて、たとえば放射照度に距離の平方を乗算することによって、調整可能である。距離に基づいたそのような補償係数は、原理上は、逆二乗則による低下を補償するために使用され得る。しかしながら、そのような手法を使用して散乱を考慮に入れることがより困難なことがある。対照的に、図5に関連して説明される実施形態では、いくつかの領域は、散乱されたレイの存在により増加した数のレイを有することがあり、したがって、散乱は、対照的に考慮に入れられ得る。そのうえ、図5に関連して説明されたような個別のレイを追跡することに基づくのではなく分析距離関係に基づいた補償係数の使用は、グリッド上にボクセルを置くことにより、干渉効果または量子化効果を生じさせることがある。
上記で説明された実施形態は、腔のレンダリングを備えるが、図5の方法は、身体の内部構造を含んでも含まなくてもよい任意のボリュームのレンダリングにおいて使用され得る。図5の方法は、点光源が、そうでない場合にそうであったろう低下が減少した状態で使用されることを可能にし、このことは、画像のライティング特性を改善することができる。図5の方法は、他のライティング技法と組み合わされてよい。図5の方法は、閉塞が存在する領域の画像において使用され得る。図5の方法は、斜視レンダリング、または魚眼投影もしくは他の関連する角度投影を使用するレンダリングを含む任意の適切なレンダリングプロセスにおいて使用され得る。
上記のいくつかの実施形態では、仮想平行光源が関心領域の外部に置かれ、この仮想平行光源に図3の方法が適用される。上記のいくつかの実施形態では、仮想点光源が関心領域の内部に置かれ、この仮想点光源に図5の方法が適用される。いくつかの実施形態では、図3の方法および図5の方法は両方とも、同じ体積イメージングデータセットに同時に適用され得る。
一例では、仮想平行光源が腔の外部に置かれ、仮想点光源が腔の内部に置かれる。図3の方法は平行光源に適用され、点光源には適用されない。図5の方法は点光源に適用され、平行光源には適用されない。平行光源からの放射照度(図3の方法を使用して取得される)は、放射照度ボリュームを形成するために、点光源(図5の方法を使用して取得される)からの放射照度と組み合わされる。この放射照度ボリュームに基づいて、画像がレンダリングされる。
別の例では、仮想点光源が腔の外部に置かれ、この仮想点光源に図3の方法と図5の方法の両方が適用される。仮想点光源によって放射されるレイの場合、放射照度は、腔の第1の部分の外部にあるレイに対して計算されない。レイが腔に入ると、放射照度が計算される。次いで、この計算された放射照度が、レイ密度に依存して調整される。この調整された放射照度を使用して放射照度ボリュームが形成され、この放射照度ボリュームに基づいて、画像がレンダリングされる。
図3の方法と図5の方法の任意の組み合わせは、仮想光源の任意の組み合わせで実行されてよい。単一の放射照度ボリュームは、複数の仮想光源からの放射照度寄与を有することができる。各仮想光源からの放射照度寄与は、図3の方法を使用して、図5の方法を使用して、または図3の方法も図5の方法も使用せずに、決定された可能性がある。
上記の説明は、放射照度ボリュームに基づいた(かつ、体積イメージングデータセットを含む他の入力にも基づいた)単一の画像のレンダリングについて説明する。しかしながら、フライスルービューでは、視点が関心領域を通って移動する、たとえば腔を通って、または血管の長さに沿って移動するように見える一連の画像が表示される。
一連の画像は、図3のプロセス、図5のプロセス、または図3のプロセスと図5のプロセスの組み合わせを使用して、フライスルービューに関してレンダリングされ得る。
フライスルービューが使用される一実施形態では、データ受信回路24は、血管を備える患者の3次元領域の超音波スキャンを表す体積イメージングデータセットを受信する。セグメンテーション回路30は、血管のセグメンテーションを得る。ライティング回路26は、複数の仮想平行光源をボリュームの外部に配置する。レンダリング回路28は、仮想カメラを血管内部の第1の位置に配置する。ライティング回路26は、点光源が仮想カメラの位置と同じ位置に配設されるように、仮想点光源を血管の内部に配置する。
種々の光源の位置は、互いに、カメラに、および/または血管に関連してよい。たとえば、1対の平行光源は、互いに対して所与の角度で置かれることがある。1つまたは複数の平行光源は、仮想カメラの観察方向に対して所与の角度で置かれることがある。光源を置くことは、ユーザ入力に応答して決定されてもよいし、自動的に決定されてもよい。
ライティング回路26は、仮想点光源および仮想平行光源からレイを放ち、上記で図3を参照しながら説明されたように放射照度を決定することによって、第1の放射照度ボリュームを取得する(他の実施形態では、図5のプロセスが使用されることがある)。本実施形態では、ライティング回路26は、大域照明ライティング方法を使用して第1の放射照度ボリューム(と、その後の放射照度ボリュームと)を取得する。
レンダリング回路28は、第1の放射照度ボリュームに基づいて、仮想カメラの第1の位置から第1の画像をレンダリングする。次いで、レンダリング回路28は、仮想カメラの位置を血管内の第2の位置に移動させる。仮想カメラの位置は、ユーザ入力に応答して移動されてもよいし、自動的に移動されてもよい。
ライティング回路26は、仮想点光源(カメラとともに移動する)の位置の変化を考慮するように第1の放射照度ボリュームを更新する。放射照度計算への平行光源の寄与は変わらず、再計算の必要はない。点光源から生じる放射照度は、その新しい位置において計算され、平行光源からの放射照度と組み合わされる。更新された第1の放射照度ボリュームは、第2の放射照度ボリュームと呼ばれることがある。レンダリング回路28は、第2の放射照度ボリュームに基づいて第2の画像をレンダリングする。
もう一度、レンダリング回路28は、仮想カメラの位置(と、したがって点光源の位置と)を移動させ、ライティング回路26は、点光源の移動を考慮するために、更新された(第3の)放射照度ボリュームを計算し、レンダリング回路28は、新たに更新された(第3の)放射照度ボリュームを使用して、新しい仮想カメラ位置から新しい画像をレンダリングする。仮想カメラのこの移動および関連する処理は、カメラ位置が血管を通って移動するフライスルービューを作製するために繰り返される。
本実施形態では、レンダリング回路28は、ユーザ入力に応答して仮想カメラの位置を変更する。他の実施形態では、レンダリング回路28は、仮想カメラの位置を自動的に、たとえば仮想カメラを血管の中心線に沿って移動させることによって、変更することがある。
本実施形態では、血管の1つのセグメンテーションのみが得られる。他の実施形態では、カメラが対象となる内部構造を通って移動するとき、セグメンテーションが繰り返し得られ得る。たとえば、塗りつぶしセグメンテーションは、連続した仮想カメラ位置の各々から始まって得られ得る。
本実施形態では、仮想カメラが移動され、一連の画像がレンダリングされるとき、点光源のみが移動する。複数の平行光源の位置は、すべての画像に対して同じままである。代替実施形態では、平行光源の位置は、仮想カメラの位置に結び付けられる。したがって、仮想カメラが移動するとき、平行光源も移動する。たとえば、ボリュームに対する仮想カメラの観察方向が変更されるとき、平行光源の角度も変化する。
いくつかの実施形態では、すべての仮想光源(平行光源または点光源)は、カメラ位置が移動する間、変化しないままである。そのような実施形態では、カメラ位置が移動するときに放射照度ボリュームを再計算することが必要でないことがある。レンダリング回路28は、既存の放射照度ボリュームに基づいて新しい画像をレンダリングすることができる。他の実施形態では、カメラが移動すると、一部または全部の仮想光源が移動する。仮想光源の移動は、カメラの移動に結び付けられてもよいし、結び付けられなくてもよい。
いくつかの実施形態では、使用者がフライスルービューの開始点を設置し、レンダリング回路28がフライスルービューを自動的にレンダリングする(これは、自動操縦機能と呼ばれることがある)。フライスルービューは、腔、管、内腔、気道、または血管などの内部構造を通るナビゲーションを備える。使用者は、飛行の方向を変更するためにトラックボールを移動させることによって、制御を支配することができる。いくつかの実施形態では、使用者は、コンソールのロータリスイッチを使用して、内部構造の中を手動で進むことができる。
いくつかの実施形態では、ライティング回路26が第1の放射照度ボリュームを生成し、レンダリング回路28は、この第1の放射照度ボリュームに基づいて静止画像をレンダリングする。使用者は、フライスルービューが開始される前に、任意の適切なユーザ入力デバイスを使用してライティングパラメータ(たとえば、各仮想光源の位置または明るさ)を調整することができる。他の実施形態では、使用者は、フライスルービュー中にライティングパラメータを変更する。さらなる実施形態では、使用者は、フライスルービュー前またはその間に、任意の適切なパラメータを変更することができる。たとえば、使用者は、ライティング角度、ライティング位置、放射照度調整パラメータ、スケーリングパラメータ、または色バランスパラメータを変更することができる。
大域照明をフライスルービューと組み合わせることは、病変とその周囲とを効果的に照明し得る使用可能なライティング設定を提供することができる。図3の方法は、内部構造の中でのフィルライティングを提供するために使用され得る。図5の方法は、距離に伴う放射照度の減少された低下によって改善された照明を提供するために使用され得る。点ライティングとフィルライティングの組み合わせは、関心区域を効果的に照明し得る、所望の光レベルを有する自然なライティング効果を提供することができる。
いくつかの実施形態では、展開ビューのレンダリングされた画像が、内視鏡ビューまたはフライスルービューに加えて、またはその代わりに、提供されることがある。展開ビューは、3次元内部構造(たとえば、結腸の壁)の面が2次元構造として表示される2次元マップであってよい。
いくつかの実施形態では、ライティング回路26は、上記で説明された内部構造のシミュレートされたライティングを3次元空間内で実行する。ライティング回路26は、内部構造の面上の複数の点の各々に対して放射照度を計算する。次いで、内部構造の面は、面上のすべての点が1つの平面上の対応する点によって表されるように展開される。レンダリング回路28は、平面上で点の画像をレンダリングする際に3次元で計算された放射照度を使用する。一実施形態では、対象となる構造は結腸であり、一条の光が結腸に沿って置かれる。この一条の光は、複数の光源として扱われ得る。いくつかの実施形態では、フライスルービューと展開ビューの両方が使用者に表示される。そのような実施形態では、フライスルービューおよび展開ビューに同じライティングを使用することは、使用者がフライスルービューの特徴を展開ビューの特徴と関連付けるのをより容易にすることができる。
他の実施形態では、内部構造の面は、ライティングシミュレーションが実行される前に展開される。次いで、ライティング回路26が、1つまたは複数の仮想光源を使用して、展開された面を照らす。1つまたは複数の光源は、2次元の展開された面の上に置かれるように見えることがある。さらなる実施形態では、展開された面のライティングは、面が展開される前に実行される第1のライティングプロセスと、面が展開された後に実行される第2のライティングプロセスとを備えることができる。
上記の実施形態は、腔に関連して説明されている。しかしながら、関心領域は、照明が必要とされる、身体の任意の適切な構造であってよい。たとえば、関心領域は、腔、管、内腔、気道、または血管などの身体の内部構造であってよい。
図3の方法の特徴および/または図5の方法の特徴を組み込んだ方法は、いくつかの異なる医学的用途に使用され得る。たとえば、いくつかの実施形態では、対象となる内部構造は胆嚢であり、方法は、胆石を見るために使用されることがある。いくつかの実施形態では、内部構造は血管であり、方法は、血管内の障害物または穴を見るために使用されることがある。方法は、狭くなっている領域、たとえば狭窄の領域を見るために使用されることがある。いくつかの実施形態では、内部構造は結腸であり、方法は、結腸の壁の中の異常構造、たとえばポリープを見るために使用されることがある。いくつかの実施形態では、関心領域は子宮であり、方法は、子宮奇形を探すため、またはIVF(体外受精)が成功したかどうか確かめるために使用されることがある。いくつかの実施形態では、方法は、たとえばランチ病(lunch disease)または肺結節を評価するために、気道イメージングに使用されることがある。いくつかの実施形態では、方法は、洞を撮影するために使用されることがある。任意の適切なイメージングモダリティが使用されてよい。
上記で説明された実施形態では、放射照度ボリュームの生成およびこの放射照度ボリュームに基づいた画像のレンダリングは、大域照明法を備える。他の実施形態では、放射照度ボリュームの生成および/または画像レンダリングは、大域照明、光子マッピング、光空間ボリューム横断(light space volume traversal)、ディープシャドウマップ(deep shadow map)、ハーフアングルスライシング(half angle slicing)、ライトプロパゲーションボリューム(light propagation volume)、またはシャドウプロパゲーションボリューム(shadow propagation volume)のうちの少なくとも1つを備えることができる。
上記の実施形態は、超音波画像をレンダリングする文脈で説明されているが、図3および/または図5の方法は、任意の適切なモダリティ、たとえばCT、MR、PET、またはSPECTのデータから画像をレンダリングするために使用され得る。体積イメージングデータセットは、人間または動物の身体の任意の適切な医用イメージングスキャンから導き出され得る。
他の実施形態では、図3および/または図5の方法は、医用イメージングスキャンから導き出されない他の体積イメージングデータセットから画像をレンダリングするために使用され得る。他の実施形態では、図3および/または図5の方法は、人間または動物の身体の少なくとも一部を表すが医用イメージングスキャンから導き出されない他の体積イメージングデータセット、たとえば仮想解剖データから画像をレンダリングするために使用され得る。いくつかの実施形態では、図3および/または図5の方法は、任意の適切なタイプのデータを備える体積イメージングデータセットから画像をレンダリングするために使用され得る。
特定の実施形態は、超音波ボリュームキャプチャ機能を備え、フライスルービューおよび/または展開ビューを提供することが可能な医用イメージング装置を備える。ボリュームレンダリングされる画像は、大域照明法を使用して生成される。いくつかの実施形態では、ボリュームレンダリングされる画像の生成は、ボリュームの外部で生じる1つまたは複数の平行光の使用を備え、ライティングシミュレーションは、光が腔または関心領域に到達するまで中断される。いくつかの実施形態では、医用イメージング装置は、放射照度ボリュームを生成する光子マッピング法を組み込んだ方法を実行し、基準寄与重みを追跡することによって、放射照度が固定潜在エネルギーに正規化される。
特定の回路について本明細書で説明してきたが、代替実施形態では、回路のうちの1つまたは複数の機能は、単一の処理リソースもしくは他の構成要素によって提供可能であり、または単一回路によって提供される機能は、組み合わせた2つ以上の処理リソースまたは他の構成要素によって提供可能である。単一回路への言及は、その回路の機能を提供する複数の構成要素が互いから離れているか否かを問わず、そのような構成要素を包含し、複数の回路への言及は、それらの回路の機能を提供する単一の構成要素を包含する。
また、本実施形態に係る医用画像処理装置は、次の様な構成であってもよい。
特定の実施形態は、ボリュームを表す体積イメージングデータセットを受信するためのデータ受信回路であって、このボリュームは関心領域を備える、データ受信回路を備える画像処理装置を提供する。画像処理装置は、仮想光源を関心領域の外部に置き、この仮想光源からの光をシミュレートするためにライティングシミュレーションプロセスを適用するように構成されたライティング回路をさらに備える。ライティングシミュレーションプロセスの適用は、第1のライティング領域に対して、第2のライティング領域に対してとは少なくとも部分的に異なり、第1のライティング領域は関心領域の外部のボリュームの少なくとも一部を備え、第2のライティング領域は関心領域の少なくとも一部を備える。
特定の実施形態は、ボリュームを表す体積イメージングデータセットを受信することであって、このボリュームは関心領域を備える、受信することと、仮想光源を関心領域の外部に置くことと、この仮想光源からの光をシミュレートするためにライティングシミュレーションプロセスを適用することとを備える画像処理方法を提供する。ライティングシミュレーションプロセスの適用は、第2のライティング領域に対してとは、第1のライティング領域に対して少なくとも部分的に異なり、第1のライティング領域は関心領域の外部のボリュームの少なくとも一部を備え、第2のライティング領域は関心領域の少なくとも一部を備える。
特定の実施形態は、ボリュームを表す体積撮影データセットを受信するためのデータ受信回路と、少なくとも1つの仮想光源をボリュームに対して置き、仮想光源からの光をシミュレートするためにライティングシミュレーションプロセスを適用するように構成されたライティング回路とを備える画像処理装置を提供する。ライティングシミュレーションプロセスは、仮想光源から放射された複数のレイをシミュレートすることと、ボリューム内の基準点の配列の各々においてレイから生じる放射照度を計算することと、それによって仮想光源からの距離に伴う放射照度の低下を修正するために、基準点の配列の少なくとも一部に対して計算された放射照度を調整することとを備える。
特定の実施形態は、ボリュームを表す体積撮影データセットを受信することと、少なくとも1つの仮想光源をボリュームに対して置くことと、この仮想光源からの光をシミュレートするためにライティングシミュレーションプロセスを適用することとを備える画像処理方法を提供する。ライティングシミュレーションプロセスは、仮想光源から放射された複数のレイをシミュレートすることと、ボリューム内の基準点の配列の各々においてレイから生じる放射照度を計算することと、それによって仮想光源からの距離に伴う放射照度の低下を修正するために、基準点の配列の少なくとも一部に対して計算された放射照度を調整することとを備える。
特定の実施形態について説明してきたが、これらの実施形態は、例として提示されているにすぎず、本発明の範囲を限定することを意図したものではない。実際、本明細書で説明される新規な方法およびシステムは、さまざまな他の形態で実施され得る。そのうえ、本明細書で説明される方法およびシステムの形態におけるさまざまな省略、置き換え、および変更は、本発明の趣旨から逸脱することなく行われ得る。添付の特許請求の範囲およびその等価物は、本発明の範囲に含まれるこのような形態および修正形態を包含することを意図するものである。

Claims (32)

  1. 被検体の関心領域を撮影して得られたボリュームデータにおいて、前記関心領域の外部に存在する仮想光源と、前記関心領域と前記仮想光源との間に存在する第1の領域と、前記関心領域の少なくとも一部を含み前記第1の領域よりも前記仮想光源から遠くに位置する第2の領域と、を設定し、前記仮想光源と前記ボリュームデータとを用いて、前記第1の領域については第1のライティングシミュレーションを実行し、前記第2の領域については、前記第1のライティングシミュレーションとは異なる第2のライティングシミュレーションを実行する画像処理手段、を具備する医用画像処理装置。
  2. 前記画像処理手段は、前記関心領域に前記仮想光源からの光を少なくとも所定量到達させるための第1の条件、前記関心領域における照明効果を向上させる第2の条件、前記関心領域において所定の選択された少なくとも一つの領域を照明する第3の条件、のうち、少なくともいずれかを用いて、前記第1及び第2のライティングシミュレーションを実行する請求項2記載の医用画像処理装置。
  3. 前記関心領域は、内部解剖学的構造、体腔、管、血管、内腔、気道、空気が満たされた領域、流体が満たされた領域のうちの少なくとも1つを含む請求項1に記載の医用画像処理装置。
  4. 前記画像処理手段は、前記第1の領域内での前記光の吸収率を減少させる第4の条件と、前記第1の領域内での前記光の吸収を実質的に行わない第5の条件と、のうちの少なくとも一方に基づいて、前記第1のライティングシミュレーションを実行する請求項1乃至3のうちいずれか一項記載の医用画像処理装置。
  5. 前記画像処理手段は、前記第2の領域の境界を、前記関心領域内において、前記関心領域の境界からオフセット距離だけ変位させて設定する請求項1乃至4のうちいずれか一項記載の医用画像処理装置。
  6. 前記画像処理手段は、前記ボリュームデータにおいて、前記第1の領域と前記第2の領域との間に遷移領域を設定し、前記遷移領域においては、前記第1のライティングシミュレーションから前記第2のライティングシミュレーションに次第に遷移するように、前記第1のライティングシミュレーションと前記第2のライティングシミュレーションとを実行する請求項1乃至5のうちいずれか一項記載の医用画像処理装置。
  7. 前記第1のライティングシミュレーション及び前記第2のライティングシミュレーションの結果を用いて、少なくとも1つの画像をレンダリングするレンダリング手段をさらに具備する請求項1乃至6のうちいずれか一項記載の医用画像処理装置。
  8. 前記画像処理手段は、前記第1のライティングシミュレーション及び前記第2のライティングシミュレーションの結果を用いて、前記ボリュームデータに対応する放射照度ボリュームを生成し、
    前記レンダリング手段は、前記放射照度ボリュームを用いて、大域照明、光子マッピング、光空間ボリューム横断、ディープシャドウマップ、half angle slicing、light propagation volume、shadow propagation volumeのうちの少なくとも1つを用いて、前記少なくとも1つの画像をレンダリングする、請求項7に記載の医用画像処理装置。
  9. 前記画像処理手段は、前記関心領域及び設定される視点位置の少なくとも一方に対して、ユーザ入力に応答して前記仮想光源の位置を変更する請求項1乃至8のうちいずれか一項記載の医用画像処理装置。
  10. 前記画像処理手段は、前記ボリュームに対して少なくとも1つのさらなる仮想光源と、前記複数の仮想光源のそれぞれについて新たな前記第1の領域と新たな前記第2の領域とを設定し、前記各仮想光源と前記ボリュームデータとを用いて、前記第1及び第2のライティングシミュレーションを実行する請求項1乃至9のうちいずれか一項記載の医用画像処理装置。
  11. 前記仮想光源は仮想平行光源を含み、
    前記画像処理手段は、前記関心領域内に新たな仮想点光源と、当該仮想光源について新たな前記第1の領域と新たな前記第2の領域とを設定し、前記関心領域内に新たな仮想点光源と前記ボリュームデータとを用いて、前記第1及び第2のライティングシミュレーションを実行し、
    前記レンダリング手段は、前記関心領域内に新たな仮想点光源を用いた前記第1及び第2のライティングシミュレーション結果を用いて、前記少なくとも1つの画像をレンダリングする、
    請求項7記載の医用画像処理装置。
  12. 前記画像処理手段は、前記仮想光源の位置を、前記ボリュームデータに対して静的なままで維持し、
    前記レンダリング手段は、前記静的にその位置が維持された前記仮想光源と前記ボリュームデータとを用いて、前記少なくとも1つの画像をレンダリングする、
    請求項7記載の医用画像処理装置。
  13. 前記画像処理手段は、前記仮想光源の位置を、前記ボリュームデータに対して移動させ、
    前記レンダリング手段は、前記移動する前記仮想光源と前記ボリュームデータとを用いて、フライスルー画像に対応する前記少なくとも1つの画像をレンダリングする、
    請求項7記載の医用画像処理装置。
  14. 前記レンダリング手段は、前記移動する前記仮想光源と前記ボリュームデータとを用いて、展開ビューに対応する前記少なくとも1つの画像をレンダリングする、
    請求項7記載の医用画像処理装置。
  15. 被検体の関心領域を撮影して得られたボリュームデータにおいて仮想光源を設定し、前記仮想光源から放射された複数のレイをシミュレートし、前記ボリュームデータ内の複数の基準点の各々について、少なくとも1つのレイに基づく放射照度を計算し、計算された放射照度を前記仮想光源からの距離に応じて調整する画像処理手段、を具備する医用画像処理装置。
  16. 前記画像処理手段は、放射照度の調整を行なわない場合より、前記仮想光源から比較的遠い基準点の放射照度が、前記仮想光源から比較的近い基準点の放射照度に近くなるように、計算した放射照度を調整する第1の条件、および放射照度の調整を行なわない場合より、前記仮想光源から離れた基準点ほど放射照度が大きくなるように、計算した放射照度を調整する第2の条件、のいずれかに基づいて、計算した放射照度を調整する請求項15記載の医用画像処理装置。
  17. 前記画像処理手段は、レイの密度に応じて、計算した放射照度を調整する請求項15又は16記載の医用画像処理装置。
  18. 前記画像処理手段は、レイの密度が比較的高い位置の基準点について計算された放射照度より、レイの密度が比較的低い位置の基準点について計算された放射照度を増加させる調整を行なう請求項17記載の医用画像処理装置。
  19. 前記画像処理手段は、レイの仮想光エネルギーとは独立して、前記複数の基準点について計算された放射照度を調整する請求項15乃至18のうちいずれか一項記載の医用画像処理装置。
  20. 前記画像処理手段は、前記複数の基準点の各々について、放射照度を計算するために考慮した少なくとも1つのレイに対する重みに基づいて、計算された放射照度を調整する請求項15乃至18のうちいずれか一項記載の医用画像処理装置。
  21. 前記画像処理手段は、前記複数の基準点の各々について、放射照度を計算するために考慮したレイに対する重みの合計を含む又は代表するレイの密度に応じて、計算された放射照度を調整する請求項15乃至18のうちいずれか一項記載の医用画像処理装置。
  22. 前記画像処理手段は、前記複数の基準点の各々について、計算された放射照度の少なくとも一部を、放射照度を計算するために考慮したレイに対する重みの合計で除算することと、および計算された放射照度の少なくとも一部に対してスケーリングパラメータを乗算することのうち少なくともいずれか実行する請求項15乃至21のうちいずれか一項記載の医用画像処理装置。
  23. 放射照度を計算するために考慮したレイの密度は、散乱されたレイからの寄与を含む請求項15乃至22のうちいずれか一項記載の医用画像処理装置。
  24. 前記関心領域は、腔、管、血管、内腔、気道、空気が満たされた領域、流体が満たされた領域のうちの少なくとも1つを備える請求項1乃至23のうちいずれか一項記載の医用画像処理装置。
  25. 前記画像処理手段は、前記少なくとも1つの仮想光源を前記関心領域の内部に設定する請求項15乃至24のうちいずれか一項記載の医用画像処理装置。
  26. 調整された放射照度に基づいて、少なくとも1つの画像をレンダリングするレンダリング手段をさらに具備する請求項15乃至25のうちいずれか一項記載の医用画像処理装置。
  27. 前記レンダリング手段は、展開ビューに対応する画像、およびフライスルー画像に対応する画像のうちの少なくとも1つをレンダリングする請求項26記載の医用画像処理装置。
  28. 前記レンダリング手段は、斜視投影、魚眼投影、角度投影のうちの少なくとも1つに対応するレンダリング処理を実行する、
    請求項7又は26記載の医用画像処理装置。
  29. 前記画像処理手段は、前記ボリュームデータにおいて複数の仮想光源を設定し、前記複数の仮想光源のそれぞれについて、前記複数のレイをシミュレートする請求項15乃至28のうちいずれか一項記載の医用画像処理装置。
  30. 前記画像処理手段は、ライティング角度、ライティング位置、放射照度調整パラメータ、仮想光源からの距離に応じた放射照度の調整、スケーリングパラメータ、色バランスパラメータのうちの少なくとも1つを、ユーザ入力に応答して選択または調整する請求項15乃至29のうちいずれか一項記載の医用画像処理装置。
  31. 前記画像処理手段は、複数の色チャネルを含む放射照度について、計算された放射照度に含まれる複数の色チャネルの各々を個別に調整することで、計算された放射照度を調整する請求項15乃至30のうちいずれか一項記載の医用画像処理装置。
  32. 前記ボリュームデータは、超音波診断装置、X線CT装置、磁気共鳴イメージング装置、PET、SPECTのうちのいずれかを用いて取得されたデータである請求項1乃至15のうちいずれか一項記載の医用画像処理装置。
JP2016074597A 2015-04-01 2016-04-01 医用画像処理装置 Active JP6735016B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/676,056 US9659405B2 (en) 2015-04-01 2015-04-01 Image processing method and apparatus
US14/676,056 2015-04-01

Publications (2)

Publication Number Publication Date
JP2016193196A true JP2016193196A (ja) 2016-11-17
JP6735016B2 JP6735016B2 (ja) 2020-08-05

Family

ID=57016719

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016074597A Active JP6735016B2 (ja) 2015-04-01 2016-04-01 医用画像処理装置

Country Status (2)

Country Link
US (1) US9659405B2 (ja)
JP (1) JP6735016B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019181168A (ja) * 2018-04-05 2019-10-24 キヤノンメディカルシステムズ株式会社 医用画像診断装置、医用画像処理装置及び医用画像処理プログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170059469A (ko) * 2014-09-23 2017-05-30 지멘스 헬스케어 게엠베하 삼차원 오브젝트를 가시화하기 위한 방법, 가시화 디바이스, 및 컴퓨터 프로그램 제품
US10242488B1 (en) * 2015-03-02 2019-03-26 Kentucky Imaging Technologies, LLC One-sided transparency: a novel visualization for tubular objects
GB2543562B (en) * 2015-10-23 2020-02-05 Geomerics Ltd Graphics processing
US20190147645A1 (en) * 2016-06-10 2019-05-16 Koninklijke Philips N.V. Systems and methods for lighting in rendered images
US10269172B2 (en) * 2016-10-24 2019-04-23 Disney Enterprises, Inc. Computationally efficient volume rendering in computer-generated graphics
EP3602502B1 (en) 2017-03-29 2023-11-08 Koninklijke Philips N.V. Embedded virtual light source in 3d volume linked to mpr view crosshairs
US11127197B2 (en) * 2017-04-20 2021-09-21 Siemens Healthcare Gmbh Internal lighting for endoscopic organ visualization
CN107064150B (zh) * 2017-05-27 2023-05-23 华中农业大学 一种基于机器视觉技术的褐壳无精蛋和受精蛋鉴别装置及鉴别方法
CN111108529B (zh) * 2017-09-29 2023-10-03 索尼公司 信息处理设备和方法
US10643375B2 (en) * 2018-02-26 2020-05-05 Qualcomm Incorporated Dynamic lighting for objects in images
WO2019182911A1 (en) 2018-03-17 2019-09-26 Nvidia Corporation Reflection denoising in ray-tracing applications
US10991148B2 (en) 2018-08-13 2021-04-27 Canon Medical Systems Corporation Medical image rendering method and apparatus
US10991079B2 (en) 2018-08-14 2021-04-27 Nvidia Corporation Using previously rendered scene frames to reduce pixel noise
US11151789B1 (en) 2019-03-25 2021-10-19 Kentucky Imaging Technologies Fly-in visualization for virtual colonoscopy
US11044400B1 (en) 2019-04-03 2021-06-22 Kentucky Imaging Technologies Frame stitching in human oral cavity environment using intraoral camera
US11521316B1 (en) 2019-04-03 2022-12-06 Kentucky Imaging Technologies Automatic extraction of interdental gingiva regions
CN115136200A (zh) * 2020-02-18 2022-09-30 皇家飞利浦有限公司 将三维叠加物绘制在二维图像上
US11151771B1 (en) * 2020-05-07 2021-10-19 Canon Medical Systems Corporation Image data processing method and apparatus
US11423608B2 (en) 2020-10-09 2022-08-23 Canon Medical Systems Corporation Irradiance volume based image rendering apparatus and method
US11954785B2 (en) 2021-12-07 2024-04-09 Canon Medical Systems Corporation Data processing method and apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161820A (ja) * 1997-11-26 1999-06-18 Shimadzu Corp 画像作成装置
JP2006510434A (ja) * 2002-12-20 2006-03-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ プロトコルベースのボリューム可視化
JP2007289569A (ja) * 2006-04-27 2007-11-08 Toshiba Corp 医用画像処理装置及び医用画像処理方法
US20140232719A1 (en) * 2013-02-20 2014-08-21 Toshiba Medical Systems Corporation Volume rendering of medical images

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007506485A (ja) * 2003-09-26 2007-03-22 タイダール フォトニクス,インク. カラー画像内視鏡システムに関する装置と方法
CN102110309B (zh) * 2004-06-23 2013-06-26 皇家飞利浦电子股份有限公司 虚拟内窥镜检查
JP4212564B2 (ja) * 2005-02-28 2009-01-21 ザイオソフト株式会社 画像処理方法および画像処理プログラム
JP4716903B2 (ja) 2006-03-09 2011-07-06 株式会社日立メディコ 画像表示装置及び画像処理プログラム
JP4885042B2 (ja) 2007-04-12 2012-02-29 富士フイルム株式会社 画像処理方法および装置ならびにプログラム
CN104602610B (zh) 2012-08-30 2018-12-11 东芝医疗系统株式会社 超声波诊断装置、图像处理装置以及图像处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161820A (ja) * 1997-11-26 1999-06-18 Shimadzu Corp 画像作成装置
JP2006510434A (ja) * 2002-12-20 2006-03-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ プロトコルベースのボリューム可視化
US7924279B2 (en) * 2002-12-20 2011-04-12 Koninklijke Philips Electronics N.V. Protocol-based volume visualization
JP2007289569A (ja) * 2006-04-27 2007-11-08 Toshiba Corp 医用画像処理装置及び医用画像処理方法
US20140232719A1 (en) * 2013-02-20 2014-08-21 Toshiba Medical Systems Corporation Volume rendering of medical images
JP2014158746A (ja) * 2013-02-20 2014-09-04 Toshiba Corp 医用画像処理装置及び医用画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019181168A (ja) * 2018-04-05 2019-10-24 キヤノンメディカルシステムズ株式会社 医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
JP7237623B2 (ja) 2018-04-05 2023-03-13 キヤノンメディカルシステムズ株式会社 医用画像診断装置、医用画像処理装置及び医用画像処理プログラム

Also Published As

Publication number Publication date
US9659405B2 (en) 2017-05-23
JP6735016B2 (ja) 2020-08-05
US20160292913A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
JP6735016B2 (ja) 医用画像処理装置
CN110211215B (zh) 医用图像处理装置以及医用图像处理方法
US8817076B2 (en) Method and system for cropping a 3-dimensional medical dataset
JP6688618B2 (ja) 医用画像処理装置及び医用画像診断装置
EP3493161B1 (en) Transfer function determination in medical imaging
KR101524085B1 (ko) 의료 영상 제공 장치 및 방법
US11127197B2 (en) Internal lighting for endoscopic organ visualization
CN113436303A (zh) 渲染体积和嵌入体积中的表面的方法
CN108986196B (zh) 用于外科决策支持的关联的照片级真实的3d可视化
US9759814B2 (en) Method and apparatus for generating three-dimensional (3D) image of target object
CN103261878B (zh) 用于使用x射线分析在对象中的受关注区域的方法和设备
JP7237623B2 (ja) 医用画像診断装置、医用画像処理装置及び医用画像処理プログラム
JP6533687B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
RU2736878C2 (ru) Система навигации для медицинских изображений
JP4397131B2 (ja) 三次元画像表示装置
JP7114362B2 (ja) 医用画像処理装置及び医用画像処理プログラム
Turlington et al. Improved techniques for fast sliding thin-slab volume visualization
JP2022551060A (ja) 3d画像データのナビゲーションおよび表示のためのコンピュータ実装方法およびシステム
WO2011062108A1 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200623

R150 Certificate of patent or registration of utility model

Ref document number: 6735016

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150