JP2006136718A - ブレンドされる画像の表示用デイスプレーデバイス - Google Patents

ブレンドされる画像の表示用デイスプレーデバイス Download PDF

Info

Publication number
JP2006136718A
JP2006136718A JP2005322515A JP2005322515A JP2006136718A JP 2006136718 A JP2006136718 A JP 2006136718A JP 2005322515 A JP2005322515 A JP 2005322515A JP 2005322515 A JP2005322515 A JP 2005322515A JP 2006136718 A JP2006136718 A JP 2006136718A
Authority
JP
Japan
Prior art keywords
image
images
display device
geometric
mesa
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005322515A
Other languages
English (en)
Other versions
JP2006136718A5 (ja
Inventor
Piet Dewaele
ピエト・デワエレ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agfa Gevaert NV
Original Assignee
Agfa Gevaert NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agfa Gevaert NV filed Critical Agfa Gevaert NV
Publication of JP2006136718A publication Critical patent/JP2006136718A/ja
Publication of JP2006136718A5 publication Critical patent/JP2006136718A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • G06T2207/30012Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 相互に対応する構造体を視認検査により正しくマッチさせる。
【解決手段】 デイスプレーデバイスは、第1画像内の構造体を、第2画像内のその対応する構造体上へ写像することにより得られるブレンドされる画像の表示の制御用手段を具備するが、該写像は、該第1画像に幾何学的変換を適用し、該変換された第1画像と該第2画像とが共通の座標システム内で表されるよう該適用することに依っている。初期値からスタートするが、該幾何学的変換のパラメーターは、コスト関数の評価の結果を考慮して更新される。それらスーパーインポーズされた画像がブレンドされる。
【選択図】 図1

Description

本発明はブレンドされる放射線写真デジタル画像(blended digital radiographic images)を表示するためのデイスプレーデバイス(display device)に関する。
放射線医学の慣行(radiological practise)で頻発する問題(recurrent problem)は、2画像を比較するか又は、マークした領域(marked regions)内のそれらの差を測定し、計算しそして可視化(visualize)するための、該2画像の調整(adjustment)である。
典型的な放射線医学的検査(radiological examinations)は放射線写真画像(radiographic images)上の脊柱(spine)の椎骨(vertebrae)の検査、又は胃及び血管(blood vessel)の画像の検査である。
患者姿勢(patient position)、屈曲(flexion)及び伸展(extesion)の様な生物機械的運動(biomechanical motions)又は露光視点(exposure viewpoint)により導入される差は2画像の単純なスーパーインポジション(superimposition)を直裁的(straightforward)にはさせない。
従来のフイルムベースの技術では、対応する関心のある解剖構造体(corresponding anatomic structures of inerest)が相互に幾何学的にマッチ(match)するよう、連続する並進(translation)と回転(rotation)により第1のフイルムに対し第2のフイルムを同時に摺動させながら、1つのフイルムをもう1つ上にスーパーインポーズ(superimpose)することにより2つのフイルム画像のスーパーインポジションが達成される。この操作は、両方のスーパーインポーズされた画像がライトボックス(lightbox)上に表示されるか、又は代わりに光の強いランプの前に位置付けられる時、行われるのが典型的である。該放射線医学者が検査する最終画像は、両フイルムが重畳(overlap)する領域では両フイルム上で位置合わせ(registered)された濃度の組み合わせ(combinaton of densities)であり、1つのシートのみがある全ての他の範囲では元のフイルム濃度(original film density)に等しい。
フイルムベースの従来技術の欠点は下記の様に概説される。
相互に対応する構造体を視認検査により正しくマッチさせることが難しい。
画像がマッチされるべき回毎に、又は関心のある構造体のシーケンスがマッチされねばならない時に、画像のスーパーインポーズする動作(act)が繰り返されなばならない。かくして手動の手順は疲労させるもので、誤りがち(error−prone)である。
幾何学的測定(距離、角度)の様なスーパーインポーズされたフイルムの組み合わせ上の追加的操作はもたらし難い(difficult to effectuate)。
フイルムベースのスーパーインポジションは更に進んだ参照用にはアーカイブ(archived)され得ない。
1枚のフイルム上に記録された種々の構造体は相互に位置合わせされ得ない。
本発明の1側面は従来技術の欠点を克服することである。
本発明の他の側面は下記で与えられる説明から明らかになろう。
今までに非特許文献1、非特許文献2、非特許文献3が公知である。
欧州特許出願公開第EP1349098A1号明細書 欧州特許第EP527525号明細書 欧州特許出願公開第EP04076454号明細書 欧州特許第EP610605号明細書 欧州特許第EP887769号明細書 PENNING L ET ALL、""Measurement of angular and linear segmental lumbar spine flexion−extension motion by means of image registration"、EUROPEAN SPINE JOURNAL:OFFICIAL PUBLICATION OF THE EUROPEAN SPINE SOCIETY、THE EUROPEAN SPINAL DEFORMITY SOCIETY、AND THE EUROPEAN SECTION OF THE CERVICAL SPINE RESEARCH SOCIETY.2005年3月’オンライン! VoL.14,No.2,2004年11月4日(2004−11−04)、163−170頁、XP008045428 ISSN:0940−6719 YANGOIU HU ET ALL、"Multigrid registration of MR and CT images of the cerval spine"、PROCEEDINGS OF THE SPIE−THE INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING SPIE−INT.SOC.OPT.ENG USA、vol.5370,no.1,2004年2月16日(2004−2−16)、1527−1538頁、XP80445454 ISSN:0277−786X MAINTZ J B A ET AL、"A SURVEY OF MEDICAL IMAGE REGISTRATION"、MEDICAL IMAGE ANALYSIS、vol.2,no.1,1998、1−37頁、XP001032679、OXFORD UNIVERSITY PRESS、OXFORD、GB ISSN:1361−8423
上記側面は付属する請求項で表明されるデイスプレーデバイスにより提供される。
ブレンドされる{’融合(fused)される’とも呼ばれる}画像は、例えば、時間の異なる瞬間に取られた同じ患者の画像、又は異なる姿勢で取られた同じ患者の画像、であってもよい。代わりに該画像は患者の画像及び基準画像(reference image)であってもよい。異なる種類の画像が見られて(envisaged)もよい。
本発明は医学的画像及び幾何学的測定により頸部脊柱(cervical spine
)安定性が解析される整形外科(orthopedics)及び外傷学(traumatology)の分野に特に適合している。脊柱損傷(spinal injuries)でチェックされるレントゲン写真的特徴は棘突間距離(interspinous distance)、環軸の関係(atlanto−axial relationship)、後部軸方向線(posterior axial line)、前後変位(anteroposterior displacement)及び角変位(angular displacement)である。これらの測定は、脊柱の種々の姿勢{中立(neutral)、屈曲及び伸展、積極的屈曲及び積極的伸展(active flexion and active extension)、過屈曲及び過伸展(hyper−flexion and hyper−extension)}での外側頸部脊柱(lateral cervical spine)放射線写真上で研究されるのが典型的である。角変位は、例えば、両X線フイルム上で椎体(vertebral body)をマッチングアップ(matching up)することに依って過屈曲の図上に過伸展の外側図(lateral view)をスーパーインポーズすることにより、各椎骨レベルで測定される。従来のフイルムベースの技術では、過屈曲のX線フイルム上に、過伸展のX線フイルムのエッジに平行に線が描かれる。この技術は各上の椎骨について繰り返される。次々の線の間の角度が次いで測定される。それらは頸部脊柱の角度的可動性(angular mobility)を表し、起こり得る脊柱傷害を推定するため使用される。
本発明は又特許文献1に開示される様な応用に好適である。この特許出願は測定の対象(object)とエンティティ(entity)とを、双方向にリンクされた外部グラフイカルモデル(external graphical model)と内部情報モデル(internal informatics model)とから成るコンピュータ化測定スキームにグループ化することにより、デジタル的に取得した医学画像での測定を行う方法を開示している。
特許文献1による測定セッションでは、測定スキームはコンピュータから検索(retrieved)され、賦活される。測定は次いで該賦活された測定スキームのガイダンスの下で表示された画像上で行われる。
このコンピュータ化された方法では、多数の幾何学的対象がデジタル画像内に写像され、他の測定対象はそして最終的に測定エンティティ(距離及び角度の様な)は該デジタル画像に基づく。基本的な幾何学的対象はキーユーザー点(key user points)であるのが典型的で、該点は幾何学的測定が基づく他の幾何学的対象を規定する。例えば、2対のキー点は各々線を規定し、そして解剖構造体間の角度を表す最終の線の対の間の角度が計算される。
本発明の特定の好ましい実施例は下記の図面を参照して下記で説明される。
2つの画像の画像(image)スーパーインポジション(superposition){位置合わせ(registration)又は整合(alignment)とも称される}は(1)スーパーインポーズされる画像のデジタル表現を得る過程と、(2)該画像の1つに幾何学的変換(geometric transform)を適用する過程と、(3)相似性メザー(similarity measure)を計算する過程と、そして(4)該相似性メザーを最適化するために、探索戦略(search strategy)により該幾何学的変換のパラメーターを調整し、そして過程2から何度も繰り返す過程と、を含んでいる。
位置合わせのこれら4つのキー要素の各々が、2つの放射線写真をスーパーインポーズ
し(整合し)そしてブレンドする本発明の背景で論じられる。
画像情報の種類の選択(Selection of the type of image information)
後で概説される位置合わせの方法は該位置合わせで使われる画像情報の種類に基づいて2つの主カテゴリー(main categories)に分けられ、すなわち強度ベースの方法(intensity−based methods)及び特徴ベースの方法(feature−based method)である。該位置合わせの結果は該画像が関心のある全位置で相互に相似(similar)に見えることである。
強度ベースの方法はマッチング過程(matching process)で画素グレイ値(pixel grey values)を使う。位置合わせされるべき画像の1つの画素グレイ値はもう1つの画像と相似の強度統計(similar intensity statistics)を有するよう修飾(modified)されてもよい。典型的修飾は偏倚(bias)と利得修正(gain correction)である。該偏倚は両画像間の何等かの大域的強度又はレベルの差を負い、該利得は尺度合わせ係数(scaling factor)を適用することにより強度の相似でない範囲又は窓(dissimilar range or window)を修正する。該尺度合わせは非線形関数(nonlinear function)であってもよく、特許文献2で開示される様な、画像の多重尺度分解(multiscale decomposition)の種々のレベルに適用されてもよい。強度修飾はルックアップテーブル(look−up
table)の形で実施されるのが典型的である。
グレイ値関数の導関数(derivatives)からスタートする方法はなお強度ベースの方法の組に属する。放射線写真内の骨構造体は高い勾配(gradient)により特徴付けられ、2つの放射線写真の整合は該骨構造体を位置合わせ(register)に持ち込むことにより達成されるので、元の画素強度へ微分(differentiation)を適用すること、すなわち変導関数(partial derivatives)
Figure 2006136718
と、それらを勾配の大きさの様に組み合わせることを計算することは妥当(plausible)である。
Figure 2006136718
軟組織(soft tissue)の様なスムーズに変化する(低周波数)構造体による勾配は小さな勾配大きさを有し、マッチングメザー(matching measure)へはより少ししか寄与(contribute)しない。
該特徴ベースの方法は画像内の突出した標識構造的特徴(landmark features)を使うが、該特徴は特徴検出器(feature detectors)とセ
グメント化手順(segmentation procedures)とを適用することにより得られる。典型的特徴は1階導関数最大値選択(first derivative maxima selection)又は2階導関数ゼロ交叉(second derivative zero crossings)により得られたエッジを含む。位置合わせ方法により処理するデータの量は実質的に減少するが、しかしながらそれは、該位置合わせ方法がセグメント化過程での誤差にローバスト(robust)にされねばならないと言う犠牲に於いてである。
以下で本発明の背景で使われる強度相似性メザー(intensity similarity measures)が詳述される。画像B{浮動画像(floating image)}が画像A(基準画像)内に空間的に写像されると仮定され、該相似性メザーが重畳領域(overlap region)R内部で計算される。該画像Bが抽出された関心のある領域(extracted region of interest)に限定される時は、画像A内へのその空間的写像は概ね完全に画像A内にあり、重畳領域の面積は一定で、関心のある領域(region of interest){アールオーアイ(ROI)}の面積に等しい。該アールオーアイは、例えば、基準画像A内のその対応する椎骨(vertebra)上に位置合わせされねばならぬ、この例で画像Bと呼ばれる、脊柱放射線写真内の特定の椎骨を表す。
対応する構造体の選択(Selection of corresponding structures)
幾何学的変換のパラメーターを初期化(initialize)するためには、対応する解剖構造体が選択されねばならない。
例えば、屈曲及び伸展画像の対応する2つの椎骨を位置合わせするために、適当な対応する標識構造点が初期空間的変換を導くために選択されてもよい。両椎骨を完全に整合させる精確な空間的並進は、受け入れ可能な幾何学的変換パラメーターの空間内で、探索戦略(search strategy)により探されるので、その対応は精確な必要はない。従って、対応する構造体の選択は、両画像の対応する標識構造の近傍での多数のマウスクリック対、例えば、椎体内部の点の対、によりもたらされてもよい。必ずしも全ての詳細が該放射線写真上で等しく視認可能ではないので、ユーザーは最も対照的特徴、例えば、椎骨の骨の皮質(cortex)上の点の選択を選んでもよい。説明された例では、該選択過程はマッチされねばならない全ての椎骨について繰り返される。
1実施例では、該標識構造の選択の後、関心のある領域(アールオーアイ)が該画像の1つ内で抽出される。この画像は浮動画像(floating image)と呼ばれるが、それはそれを基準画像内に写像するために幾何学的変換がそれに適用されるからである。該アールオーアイは最初、対応するアールオーアイを決定するために、幾何学的変換の初期パラメーターに従って該基準画像上に位置付けられる。重畳するアールオーアイ内の強度は次に整合相似性メザー(alignment similarity measure)で使われる。
該アールオーアイの形は、マッチされるべき診断構造体の外形(outline of
a diagnostic structure)を必ずしも取る必要はなく、何故ならばこれはあからさまなセグメント化(explicit segmentation)を要するからである。精密な位置合わせを可能にするために、それは該構造体を充分囲む長方形又は円形の対象であってもよい。更に該アールオーアイの面積は該位置合わせをスピードアップするために疎らにサンプルされてもよい。
該選択過程は手動過程であってもよいが、又代わりに自動化された過程とすることも出来る。
該初期パラメーターは例えば、対応する標識構造を相互上に写像する並進と、ゼロ回転と、を規定するパラメーターであってもよい。
幾何学的変換(Geometric transformations)
該2つの画像の整合は、該基準画像A上にそれをスーパーインポーズする前に、該浮動画像Bが幾何学的に変換され、リサンプル(re−sampled)されることを必要とする。
同時係属中の欧州特許出願である特許文献3で説明されるものの様な、適用可能な多くの異なる種類の幾何学的変換がある。
非常に好適な変換の例は、並進と平面内回転(in−plane rotations)と、から成る、ユークリッドの相似変換(Euclidean similarity
transformation)である。この変換は角度と長さとを保存する合同関係(congruency relationship)を確立する。
平面投影放射線写真法(planar projection radiography)の画像形成過程はX線源から平面検出器への中央(central){透視(perspective)}投影(projection)としてモデル化され得る。フイルムベースの技術では、その画像は視点(viewpoint)又は患者のポーズを変えるために透視投影を受けることは出来ず、該幾何学的変換過程は剛体運動(rigid body motion)であるよう拘束される。
しかしながら、本発明の画像のスーパーインポジションとブレンドの過程は、同時座標(homogeneous coordinates)内の線形3ラ3変換により支配される、透視画像形成モデル(perspective imaging model)の全てのパラメーターを含んでもよい{ホモグラフイー(homography)と呼ばれる}。従って画像形成幾何学(imaging geometry)の下記要素が追加的に考慮されてもよい。
−1つの画像のもう1つに対する尺度合わせ(scaling):該放射線写真が同じ患者からであるが、異なる時に、取得された投影画像である時、該画像は、ソース−検出器方向(投影面に直角の)での患者の移動のために、僅かな尺度合わせ差を受けたかも知れない。この第4のパラメーターは該ユークリッドの相似変換(Euclidean similarity transformation)で1つの追加の自由度を提供する。
−視点差による透視歪み(Perspective distortion):3Dの患者姿勢に対するX線ビームの入射の3D角度も又患者の移動により変化してもよい。8つのパラメーターが、この画像形成モデルの幾何学を説明する投影変換を決定するが、すなわち、2つが並進用、1つが回転用、1つの大域尺度パラメーター、2つのパラメーターが剪断(shearing){スキュー(skew)}に対応しそして2つのパラメーターが透視歪みに対応する。大きなX線源−検出器間距離用では、該透視画像形成モデルは直角のモデル(orthographic model)により近似されてもよく、該直角のモデルはアフイン変換(affin transformation)のスキューパラメーター(skew parameter)を含むが、完全な投影変換の透視パラメーター(perspective parameters of a fully projective transformation)は含まない。平面投影放射線写真法の画像形成過程に物理的に基づくが、それをもう1つと整合させるために、この様な一般的線形変換を該画像の1つに適用することは、フイルムベースのスーパーインポジション
を用いては不可能なことは明らかである。
−その位置を幾何学的に非線形の仕方で変える軟組織内に標識構造が埋め込まれている時、幾何学的差を説明するために、或いは多数の局所的変形の組成から大域的画像変形を説明するために、両画像間の非剛体的変形がモデル化され得る。
点対応からの線形(ユークリッド、アフイン、投影的)及び非線形{非剛体(non−rigid body)変換を説明する}写像の計算は、これらの変換に関する内容が引用により本出願に組み込まれる上記特許文献3で説明されている。
幾何学的変換の初期パラメーターの選択を起源とする可変性を減ずるために、下記で説明される様に探索空間内の局所的極値(local extremes)をうまく処理するために多重解像度探索戦略(multi−resolution search strategies)が用いられる。
内挿法とリサンプリング(Interpolation and re−sampling)
幾何学的変換の適用は現在あるサンプル点間の内挿を要する。幾何学的変換のパラメーターの多数セット用の探索戦略中に、相似性メザーが評価されねばならないので、双1次内挿法(bilinear interpolation)の様な速く、納得の行く精度のアルゴリズムが使われる。該幾何学的変換の最適パラメーターセットに達すると、エスアイエヌシー近似(sinc approximation)に基づくより精密な内挿法へ切り替えられるので、最終画像品質は最高に保持される。
幾何学的変換の初期パラメーターの計算(Computation of the initial parameters of the geometric transform)
初期の幾何学的変換の計算は相似の解剖エンティティを表す対象間の対応を使ってもたらされる。これらの対象は典型的に配置するのは容易で、数は少ない。
容易に配置可能な構造体は、コーナー、領域の中点(midpoints of regions)、骨のエッジ接合部(bony edge junctions)の様な解剖的点の標識構造である。1つの解剖的標識構造の対応は剛体変換の初期並進成分の計算を可能にする。回転成分はその場合決定されず、画像AとBの整合された座標軸線で組み込まれた角度として設定されるのが典型的である。
ユーザーは同一標識構造を精確に指摘出来ないので、これらの点は初期変換を確立するための手段として役立つのみであろう。自動整合時、これらの点は一般的に相互から僅かに発散し、該整合された画像内では精確には一致しないだろう。
強度ベースの相似性メザー(Intensity−based similarity measure)
該浮動画像Bでは、アールオーアイはユーザーが規定した解剖的標識構造の付近に選択される。このアールオーアイは形状が長方形でも円形でもよい。後者の形状は、それがユーザーが規定した点から与えられた距離内の全ての点を選択する利点を有する。このアールオーアイは、該幾何学的変換の初期パラメーターを使って基準画像A内に写像され、その画像Aの画素との画素的相似性が後で概説される相似性メザーにより計算される。探索戦略により、該幾何学的パラメーターは更新され、それにより変換された該画像Bのアールオーアイが、最良のマッチが見出されるまで画像Aと再び比較される。2つの画像の測光的内容(photometric content)を比較するため適用可能であるが、空間的誤整合に帰すことはない(not attributable to spatial misalignment)、種々の相似性メザーが概説され、偏倚及び利得の様な、画像間の差をうまく処理するそれらの能力に関して順序付けられる。
差の2乗の平均(Mean squared difference)
相似性の概念を反映する基本的位置合わせ式(basic registration
formula)は重畳領域の(x,y)∈R内での画像Aと画像Bの間の差の2乗の和であり、該メザーが最小化されねばならない。
Figure 2006136718
該差の2乗の和は絶対差の和により置き換えられてもよく、すなわち下記である。
Figure 2006136718
Nは該重畳範囲内の画素の数を表し、該量は一般に整合手順中変わってもよい。
該画像Bが、それがどこでも画像Aと整合されるよう幾何学的に変換されると、対応する強度間の差は最小であり、最小2乗メザー(least squares measure)Dはゼロになる傾向がある。該差はAの全ての値が最大でありそしてBの全ての対応する値が最小である(それは一般性を失うこと無しに0であると仮定されてよい)時最大である。
かくして該メザーDは下記の様に正規化(normalized)される。
Figure 2006136718
該画像Bが、それが画像Aの空間的ドメイン内にどこにでも含まれるように、画像Aの程度より遙かに小さい寸法を有する関心のある領域(アールオーアイ)である時、エネルギー
Figure 2006136718
は、更に、定数(a constant)と見なされ得る。従って該メザーDは、それが画像Aの局所的エネルギーにより割り算されると、値0<D<1を持つよう正規化され得る。
Figure 2006136718
しかしながら、前述の様に、大域的強度シフトを説明するために、該画像は等しいオフセットと利得とを有する(等しいレベルと窓とに対応して)よう放射線測定的に(radiometrically)修正されるのが好ましい。特に、該最小2乗メザー(least squares measure)は画像間偏倚と尺度合わせをうまく処理しない。加算的そして乗算的不変性(invariance)を達成する異なる方法がこの後概説される。1つの方法は位置合わせの前に該画像の窓とレベルを修飾することである。1つはゼロ点を固定し(そのオフセット)、もう1つが典型的に飽和値(sturation)の50%に固定する(その利得を計算するために)、2点修正スキーム(two−point correction scheme)が該画像のヒストグラムに基づいて使われ得る。もう1つのアプローチは最適化戦略内で該オフセットと尺度(scale)のパラメーターをあからさまに考慮することである。該尺度合わせされた最小2乗メザーは下記の様に読まれる。
Figure 2006136718
最終的に、直接的に加算的そして乗算的不変性を達成する相似性メザーが使われてもよい。これらのメザーは後で説明される。
正規化された相互相関(Normalized cross correlation)
該メザーD、D’、そしてD”はそれらの2次の項に拡張され得る。浮動画像(一定アールオーアイに対応する)のエネルギーは一定であり、重畳の変動領域内の基準画像のエネルギーは概略一定と見なされてよい。従って、画像Aと画像Bに対応する該2次項は該メザーD又はD’の最小化に影響しないので、画像Aと画像Bの積又は相互相関に左右される相似性メザーが得られ、該メザーが最大化されねばならない。
Figure 2006136718
もし該画像が同一ならば、正規化された相互相関は1に等しい。2乗化差の和のメザーに於ける様に、このメザーは画像強度の差をあからさまには補償せず、そして可変尺度合わせパラメーターが該モデル内に正式に含まれないならば、大域的尺度合わせを除いて同一の画像がコスト関数(cost functoin)内で最適に達しないことは起こり得る。更に、もし基準画像と組み合わされる可変重畳領域に付随する画像エネルギーが位置と共に変わるならば、該相互相関に基づくマッチングは失敗し得る。例えば、該画像内の特徴と精確なマッチング領域との間の相関は該特徴と明るいスポットとの間の相関より小さいかも知れない。
相関メザー(correlation measure)Cの計算は該画像のフーリエ変換(Fourier transform)の使用により可成りスピードアップされ得る。2つの画像の正規化されてない相関のフーリエ変換は、1つの画像のフーリエ変換と、もう1つのフーリエ変換の複素数共役(complex conjugate)と、の積である。フイルムベースのスーパーインポジションに付随する剛体運動(rigid body motion)はフーリエドメイン(Fourier domain)に等化物(equivalent)を有する。並進はフーリエ成分内に位相シフトを導入するが、その振幅は変えない。回転(rotation)はフーリエ平面を等しい量ひるがえらせ(rotates the Fourier plane over an equal amount)、オフセットシフトは直流成分(DC component)のみに影響する。又小さなゆっくり変化する尺度変化が役立つが、それはそれらが低い空間的周波数(low spatial frequencies)に集中するノイズを招くからである。並進特性は、相互に対しシフトだけされる画像を整合させるために位相相関と呼ばれる方法で使用されてもよい。この様な画像は同様なフーリエ大きさ(Fourier magnitude)を有するが、変位量(d、d)に関係する位相差を示す。その変換係数は周波数ドメイン(u,v)内で相関を計算する前に1(unity)に正規化され、下記表現で与えられる。
Figure 2006136718
この表現の逆フーリエ変換は、クロスパワースペクトラム位相(cross−power spectrum phase)とも呼ばれるが、要求される変位でピークを示す。各成分は単位大きさを有し、かくして各周波数成分の位相差は等しく寄与するので、もし
狭い周波数間隔に限定されたノイズがあれば、ピークの位置は実質的には変化しないだろう。従って、このフーリエ方法(Fourier method)は相関のある周波数に左右されるノイズに対する優れたローバスト性を達成する。全ての周波数を崩し(corrupts)、該ピークを歪ませる白色ノイズが存在する場合、空間的相関のメザーCを最大化することが最適である。又誤整合(misalignment)が回転成分を含む時は、該回転角度は、該クロスパワースペクトラム位相の逆フーリエ変換を1つのインパルスに近くさせる角度として計算されてよく、そして該並進は次いで該インパルスの空間変位(spatial displacement)として取られる。
正規化された共分散(Normalized covariance)
オフセット差{画像間偏倚(inter−image bias)}を説明し、そして−1...1からに及ぶ絶対尺度上で相関を測る、相互相関に関するメザーは正規化された共分散メザー(covariance measure)であり下記の様である。
Figure 2006136718
対のグレイ値(paired grey values)の観察される共分散が出来るだけ高い共分散である時、相関は1の値を有し、その2つの変数(グレイ値)の完全にマッチしたオーダー(order)を示す。−1の値は完全な負のコーバリエーション(co−variation)であり、1つの変数の最高の正の値をもう1つの最高の負の値とマッチさせる。正規化された共分散メザーはかくして、画像Aと画像Bの重畳領域内のグレイ値間で線形的依存の対称的メザーであり、すなわち、画像A内のi及び画像B内のjのジョイントグレイ値(joint grey values)の共起行列(co−occurrence matrix)内へのエントリーは直線上に横たわる。
生の強度画素値の相互相関を計算する代わりに、それが強度A’とB’の勾配に適用されてもよい。骨構造体のエッジは高い勾配で特徴付けられ、高い空間的位置情報と組み合わされる。従って、それらは、両画像が整合された時、相関相似性メザーに可成り寄与するであろう。その画像外観(image appearance)が2つの画像取得間で変わる軟組織により引き起こされる低い空間周波数は、勾配計算により濾し去られ、従って該相関メザーに寄与しないであろう。
比率画像均一性(Ratio image uniformity)
尺度合わせの差を説明し、相互相関に関係するメザーは、画像AとBの対応する画素値の割り算(divisions)の画像に基づく比率均一性メザー(ratio uniformity measure)により計算される。該画像AとBが完全に整合している時は、最終の比率画像は一定画像(constant image)となろう。それは各グレイレベルがもう1つの画像内の同じグレイレベルに精確に写像されることを意味する。比率相似性メザーは従って該比率画像の標準偏差(standard deviation)の大きさがあり、乗算的不変性を達成するために下記の様にそれを平均比率で割り算する。
Figure 2006136718
区分された強度均一性(Partitioned intensity uniformity)
該メザーは該比率画像均一性に関係しており、下記の基盤に基づいている。ノイズと軟組織構造体とのために、画像A内で或る強度iを有する全画素は位置合わせされた画像B内のクラスターされた強度のセット(a set of clustered intensities)に写像される。A及びBの強度間に関数的依存性(functional dependence)がある時、画像Aのアイソセット(iso−set)i当たり1つだけのクラスターがある。明らかに、該画像が完全に整合されると、各クラスターの分散又は標準偏差は最小になる。乗算的不変性はその和内の各項を該クラスターの平均で割ることにより達成される。このメザーは相互相関より一般性があり、何故ならそれは強度依存が或る関数により表され得ることのみを仮定するからである。その空間的な首尾一貫性(coherence)はアールオーアイ画像Bを或る数のアイソセット、すなわち相似の強度の範囲、に区分することによってそのメザー内に保持されてもよい。これらの範囲の境界が画像A上に置かれ、画像A内の各範囲の分散と平均が計算される。最小化されねばならぬこの相似性メザー用の表現は下記の様であり、
Figure 2006136718
ここでNは重畳範囲R内の画素数、Nはアイソ強度セット(iso−intensity set)i内の画素数、
Figure 2006136718
及びmは画像A(アールオーアイ画像Bの位置が中で探索されねばならない画像)内の対応するセット内の強度の標準偏差と平均である。相対範囲N/Nはこのメザー内の重さを構成する。
該メザーWは、画像B上で計算される時は、一般に種々の結果を与えるだろう。Bが第2画像内のアールオーアイを表すので、画像Bの画素のアンサンブル(ensemble)は、それがその上に連続的に動かされ、従って画像Bの統計が変わらない時は、普通は画像Aと完全に重畳する。従って、浮動画像Bがアールオーアイのみを含む時は、該メザーは基準画像Aの変化する重畳領域に基づいて計算されねばならない。
デジタル放射線写真は典型的に12ビット範囲に量子化(quantized)されるので、該アイソ強度セットは余りにまばらにしか存在(populated)しないので信頼出来る統計を計算出来ない。該強度をより粗く量子化されたビン(bins)にグループ化することはこの効果を緩和する。
相関比(Correlation ratio)
メザーWに関係する相関比メザー(correlation ratio measure)は重畳領域の大域的分散(global variance)を用いて正規化することにより得られる。この大域的正規化(global normalizatin)は該メザーを空間的変換に関してより安定にさせ、従って該相関比はよりスムーズで、最適化しやすくなり、そして又よりスムーズにサブサンプリングを行う(sub−samples more smoothly)。最小化されねばならない、この相似性メザー用の表現は下記の様である。
Figure 2006136718
単に
Figure 2006136718
のみを最小化することは充分でなく、何故ならこの項は2つの理由で低くなり得るからであるが、該2つの理由は、初めに該基準画像Aは空間的に変換された画像Bにより良く説明されており、すなわちアイソ強度セットiに対応するクラスターは低い分散
Figure 2006136718
を有しているか、又は画像Aは該重畳領域で少しの情報しか含まず、すなわち該重畳領域内の画像Aの分散
Figure 2006136718
は低いことである。かくして
Figure 2006136718
のみを最小化することは該画像を分断(disconnect)する傾向があり、すなわち、画像Bを空間的に変換することにより決定された、画像A内の該重畳領域の分散が考慮されない。かくして、該アールオーアイ画像Bが画像A内の平坦な領域と重畳する時、その画像Aとの相似性は該相関比率によってペナルテイを受けるのであり、何故ならばA内の重畳領域は低分散を有するからである。
該比率均一性メザー(ratio uniformity measure)と同様に、該写像の方向は重要であり、すなわち画像Aか又は画像Bか何れかの分散を最小化するよう選ぶことは異なる結果に達する。実際、1つの画像はもう1つより可成り多い領域の輪郭を描き(delineate)、それなので全てのアイソ強度セットはもう1つの中の1つの強度値のみに写像され、ゼロの付随分散(zero associated variance)を有する。放射線写真を整合するタスク用では、これは普通には異常であり、それは両画像が大きな動的範囲(典型的に12ビット)を有する同じ様式(modality)から来ているからである。
相互間情報(Mutual information)
比率基準(ratio criterion)よりなお一層一般性のある相似性基準(similarity criterion)は、それが画像強度間の関数的依存を仮定していないので、相互間情報基準(mutual information criterion)により実施される。相互間情報は、写像が画像AとBのグレイレベル(のセット)間で確立されるので、オフセット及び利得シフトから独立している。従って、該2つの画像の画素強度値間の線形関係を仮定する相関とは対照的に、相互間情報は、代わりに、両画像間の強度値の最も確率の高い共起(most probable co−occurrence)を探索する。このメザーは該画像強度間に存在する関係の性質に関する仮定をせず、すなわち、それは線形の相関も、関数的相関も仮定せず、予測可能な、又は統計的な関係のみを仮定する。従って、最終位置合わせでは、高く値の強度が、例えば、低い強度値と対にされてもよい。この特徴は、該画像が投影により形成される時、X線マッチング用に有用であり、従って、画像A及び画像Bの取得の間で、X線源から検出器の視認方向、又は患者の姿勢が異なる時、両画像内で幾何学的等価位置では非線形な強度の関係が生じてもよい。画像AとBの間で同一画像形成条件及び線形関係を回復するための再投影(re−projection)が行われ得ない時、相互間情報は投影アーチフアクト(artifacts)をうまく処理するのに好適な相似性モデルである。
最大化されるべき該相互間情報又は相対エントロピー(relative entropy)は下記の様に規定され、
Figure 2006136718
ここでp(i)とp(j)は該重畳領域内の強度ヒストグラムから計算される該個別画像AとBでの周辺確率分布(marginal paobability distribution)であり、そしてp(A,B)はそれぞれ画像AとBの重畳領域内で空間的に対応するグレイ値i及びj間の共起行列から計算される結合確率分布(joint probability distribution)である。該周辺確率分布はA及びBでの強度に対応する軸線への該結合確率分布の投影である。結合及び周辺分布は位置合わせ中に変わり、何故ならば幾何学的変換パラメーターが変わると該重畳領域が連続的に変わるからである。下記の様に規定されるエントロピーH(A)とH(B)は
Figure 2006136718
は各画像の重畳領域に含まれ、それにより寄与される情報を考慮する。該相互間情報メザーの第3項は下記の結合エントロピー(joint entropy)H(A、B)である。
Figure 2006136718
最小化されねばならない、このメザーは、それが画像エントロピー項無しで使われる時は信頼されないメザーであるが、それはそれが該2つの画像内の大きな領域は、該画像が位置合わせに近づくと、それらの重畳を増やすべきである、との暗に含まれた仮定を含んでいるからである。直接露光及びコリメーション領域の様な一定強度の大きな領域が放射線写真内に容易に発生し、そして結合エントロピーはこの様な一定強度領域の重畳の最大化を探すが、何故ならばそれが結合ヒストグラム(joint histogram)の結合エントロピーを減ずるからである。例えば、特許文献4及び5で開示される様なセグメント化アルゴリズム(segmentation algorithm)を用いた該結合ヒストグラムからの直接露光及びコリーメーション領域の排除がそれらの影響を減ずるため使われてもよい。
結合エントロピーよりは良いけれども、相互間情報は大きな領域へのこの甚だしい依存を減ずるとは言え、それを完全には排除しない。重畳からもっと独立的な正規化は下記である。
Figure 2006136718
比率メザーに於ける様に、結合ヒストグラムの計算(共起行列)は信頼出来る結合統計(joint statistics)を生ずるために該元の強度のより少ないレベルへのビンし直し(re−binning)を求めてもよい。かくして変数iとjは該元の強度か又は量子化し直された強度ビン(re−quantized intesity b
ins)か何れかを表す。
探索戦略(Search strategy)
対応問題(correspondence problem)は相似性コスト関数(similarity cost function)を最大化する(又は、メザーに依って、それを最小化する)幾何学的変換(回転、並進そして空間的尺度)及び強度変換{アルフア(alfa)、ベータ(beta)}のパラメーターpのセットを見出すこととして下記の様に述べられ得る。
Figure 2006136718
探索戦略は受け入れられる変換の組から次の幾何学的変換を選ぶ。次いで画像Bは、変換された画像B’を生ずるために、該幾何学的変換に供せられ、そして内挿法によりリサンプル(re−sampled)される。最後に画像AとB’の間の新しい相似性メザーが計算されるが、それは探索空間内でのその方向が有効にパラメーターの最適セットに向かっている場合には、より良いであろう。下記項目の発生の様な、本発明の背景での最適化に固有の問題に特に注意が払われた。
探索空間内の望まない局所的最小値(Unwanted local minima in search space)
局所的最小値(或いは最大値、該相似性メザーの向きに依る)でのトラップ(trap)を避けるため特別の用意が作られてもよい。下降勾配又はパウエルの方向設定方法(Powell’s direction set method)の様な標準の数学的最適化が局所的最小値に取りかかって(get stuck in)もよい。大域的最小値は、該幾何学的変換の初期パラメーターに依って写像されたアールオーアイの近傍になおも存在する写像されたアールオーアイに普通対応するであろう。この初期写像は基準画像A内の浮動するアールオーアイの対応する点上に中心がある。従って、幾何学的パラメーターの全ての起こり得る組み合わせを試みる、徹底的探索(exhaustive search)が行われ、該大域的最小値に付随する組み合わせがその解を決定する。遙かにもっと少ない計算コストで該大域的最小値をも見出す代替えはシミュレーテッドアニーリング(simulated annealing)である。
探索空間内の望まない漸近的動作(Unwanted asymptotic behavior in search space)
該幾何学的変換のパラメーターにより張られた探索空間は、コスト関数の望まない漸近的動作を避けるために、限定される。例えば、大きな変換を使う時、該画像間の重畳は非常に小さくなり、それは、放射線写真A内に放射線写真Bのアールオーアイを位置合わせする場合、非常にありそうでない。非常に大きな回転角度、大きな尺度係数、又は大きなスキュー及び透視歪み係数(perspective distortion factors)もありそうでない。修正動作はこれらの場合これらの条件に大きなコストが伴うことにより得られる。
多重解像度最適化(Multi−resolution optimization)
最適化スキームは階層的(hierarchical)又は多重解像度スキーム(multi−resolution schme)により可成りスピードアップされ得る。該画像AとBの各々の粗い解像度版(coarse resolution version)が、例えば、該画像のガウス型ピラミッド分解(Gaussian pyramidal decomposition)を計算し、そして粗いレベルを選択することにより計算されるが、該版はサブサンプリングにより減少した数の画素を有する。該パラメーターのスタートの見積は、例えば、ユーザーに2つの対応する構造体を選択させることにより、両画像間の初期の位置的対応を確立することにより固定される。画像A及び画像B内の対応する点の少なくとも1対をクリックすることで該選択を行うことが出来る。次いで該初期変換は同時係属中の特許出願である特許文献3に概説された様に計算される。その相似性メザーは、該パラメーターのそのスタートする見積に於いて、空間的又は放射線計測的変換モデルの各パラメーターの1インクレメントを用いて(with a single increment )、該粗い解像度版上で評価される。1インクレメントパラメーター修飾の全組み合わせが試みられる。最良の組み合わせが選ばれ、そしてそのアルゴリズムは、該相似性メザーを改善するステップが見出されなくなるまで、繰り返す。与えられた解像度で該アルゴリズムが終了すると、その画像ピラミッドの次により高い解像度レベルが選択され、そして前のレベル上で計算された変換パラメーターセットからスタートする該探索過程が再び始動される。解像度が増すと、そのステップ規模は、サブ画素位置合わせ解(sub−pixel registration solution)を提供するよう減じられてもよい。
多重解像度技術は、該探索の初期段階を大域最適値(global optimum)付近のアルゴリズム収斂のベイスン(basin)の方へ導くのに充分に低い周波数情報(sufficient low frequency information)を画像が含んでいることを要する。この条件は本発明の背景で考えられる医学的画像により充たされ、何故ならば該画像内容はスーパーインポーズされた診断用詳細(superimposed diagnostic detail)を有する空間的に変化する背景信号により特徴付けられるからである。
該多重解像度又は階層的戦略は、該探索空間内にことによると局所的最適値を創るかも知れない、画像ノイズやクラッター(clutter)そして無関係の画像詳細(irrelevant image detail)をうまく処理するのに有用である。更に、粗い尺度上の勾配下降の結果は必ずしも最終解でなく、何故ならば、より粗い尺度での1階、2階そしてより高階の導関数メザーは、該より粗いレベルでの最適位置が、より精細な尺度レベルでのそれらの最終位置の方へ追跡されねばならないように、特徴点を非局所化(delocalize)することが知られているからである。
強度ベースの位置合わせアルゴリズムをスピードアップする代わりの方法は両画像間の重畳領域内の画素の幾つかのサブセットについてコスト関数を計算するのみである。
スーパーインポジションとブレンデイング(Superimposition and Blending)
最終の幾何学的変換が決定すると、それは、画像Aとの重畳領域R内の新しい位置での該サンプルを計算するために、浮動画像Bに適用される。その結果は、各画素位置で、2つの強度、すなわち(1)基準画像Aの未修飾強度(unmodified intensity)、と(2)画像Bの空間的に変換された強度B、が入手可能になる。このデータ表現は、両画像データセットが共通の座標システムで表されるので、画像Bの画像A上へのデジタルスーパーインポジションと呼ばれる。該重畳領域Rの外では、画像Aの元の画像サンプルか、又は画像Bの変換された画像サンプルか何れかが入手可能である。元の画像AとBが同じサイズの時、該スーパーインポジションデータ表現は、画像Aの座標システム内に該変換された画像BTの完全な記憶を収容するために、より大きい行と列の規模(dimensions)を割り当てる必要があるのが普通である。該変換された画像シャープさ(image sharpness)を最大に保持するために、エスアイエヌシーインターポレーター(sinc interpolator)の様な高画像品質内挿法(high image quality interpolation)とリサンプリングアルゴリズム(re−sampling algorithm)がBを計算するため使われ得る。
画像AとBをブレンドするために、ブレンドされる画像内の各画素に於いて画像Aと
内の対応する画素の適当な組み合わせが取られる。各画像の比率は、好ましくは、該ブレンドされる画素値が最大強度を超えないようにするのがよい。説明される実施例では該ブレンドされる画像は重畳領域Rでは下記の様に計算されるが、
Z(x、y)=mA(x、y)+(1−m)B(x、y)
ここでmはブレンデイング又は混合係数(blending or mixing factor)である(0≦m≦1)。mは該ブレンドされた結果内の各入力画像の影響を制御する。m=1の時画像Aのみが表示され、m=0の時Bのみが示されるだろう。画像AとBが等しい範囲とレベルを有する時、mは好ましくは0.5付近に選ばれるのがよい。この選択が行われるのは、該画像を整合させるため使われたアールオーアイでの両強度が、画像Aと画像Bが加算的(オフセット、レベル)及び乗算的(尺度、窓)差を有しない時、同一であるのが典型的だからである。しかしながら、窓/レベルの差がある(そしてこれらは上記概説の様に位置合わせメザーに影響しない)時は、該画像は、それらをブレンドする前のそれらのそれぞれのヒストグラムの範囲(Amin、Amax)と(Bmin、Bmax)を使って、最小と最大強度の間で尺度合わせし直される。
ユーザーインターフエース(User Interface)
上記で概説した位置合わせ手順を用いて相互作用(interact)し、表示するために、ユーザーインターフエースが作られる。それは下記の要素を有する。
対応する構造体の選択用手段(Means for selection of corresponding structures)
対応する構造体の選択は幾何学的変換パラメーターを初期化するために働く。該対応する構造体の選択用手段は、例えば、マウス及び組み合わされたマウスカーソルであり、該選択は該マウスカーソルで、例えば、同一の解剖的に良く明らかにされている標識構造を指し示すことにより行われ得る。
これらの標識構造は、椎体の近似的中心、椎体のコーナー点、茎中心(pedicle
center)又は棘突起(processi spinosi)上の標識構造点、の様な点を含んでもよい。
1点を選択することにより、並進パラメーターが初期化される。より多くの点を選択することにより、より多くのパラメーターが初期化され得る。
例えば、2つの対応する点{例えば、椎骨上の両茎の中心(centers of both pedicles on a vertebra)}の選択は初期のユークリッドの相似変換(initial Euclidean similarity transform)を充分に規定する。3つの対応する点の選択はアフイン変換(affine
transform)を初期化する。4つの対応する点(例えば、椎体のコーナー点)の選択は投影変換を初期化する。
屈曲及び伸展頸部脊柱検査(flexion and extension cervical spine examination)での全頸椎(all cervical vertebrae)の様な多数構造体が位置合わせされねばならない時、現在の椎骨位置合わせの最終の幾何学的変換パラメーターは、椎骨間ジオメトリー(inter−vertebra geometry)(例えば、椎骨間の間隔及び相対回転)用の正規値モデル(model of normal values)に基づく次の椎骨対の位置合わせ用の幾何学的変換パラメーターの初期推測値を決定するために働く。
ブレンドされた画像のデイスプレー(Display of blended images)
デイスプレーデバイスはブレンデイング制御手段を備えており、該手段は2つの画像のデジタル信号表現の入力時、上記説明の方法の過程によりブレンドされた画像を発生する。
ブレンデイング制御スライダー(Blending control slider)
画像AとBの間の重畳範囲内に適用されるブレンデイングの程度mはスライダーにより制御され、該スライダーはユーザーが画像A又はBの可視情報の量を連続的に調整することを可能にする。この特徴は画像Aか又は画像Bか何れかに選択的に完全に焦点合わせするのに有利である。この様に徐々にブレンドすることは従来のフイルムベースの技術では不可能であることは明らかである。
幾何学的変換パラメーターの手動調整用手段(Means for manual adjustment of the geometric transform parameters)
位置合わせ結果が診断的要求を完全には充たさない現在の場合、ユーザーは自動計算された解からスタートして、ユーザーインターフエースによりその幾何学的変換結果を手動で調整してもよい。
x、y方向の並進は、例えば、矢印キーを使う、又はマウスカーソルをドラッグする並進モードでもたらされてもよい。
基準画像に対する浮動画像の回転は、第1に回転中心を選択し、第2に固定している該基準画像に対し該浮動画像を回転させるハンドルとして役立つ該浮動画像内の点を選択することにより、回転モードでもたらされる。その回転角は該ハンドル点及び該回転中心の間の線と、該画像x軸線と、の間の角として連続的に計算される。該ハンドル点は該カーソルの面内運動に無関係な1つの円上にあるよう拘束される。
該回転中心と該ハンドル点とにより張られた線セグメントの距離は該回転角度値に影響しないので、この半径は又尺度合わせをエミュレート(emulate)するため使われてもよい。上下矢印キーの使用は該ハンドルカーソルの円形路の半径を、それぞれ、増加、減少させ、それにより該尺度の精細なチューニング(tuning)を可能にする。
異方性の尺度合わせ(Anisotropic scaling)は又、正方形を使い、垂直の又は水平の境界をドラッグすることによりそれのアスペクト比(aspect ratio)を修飾することにより、エミュレートされる。ゼロ回転用には、該境界が該画像座標軸線と整合されて静止する。回転を印加するには、該コーナー点の1つが、その長方形を回転させるハンドルとして使われ、浮動画像は比例した量で回転される。
x及びy方向に沿うスキューイング(skewing)と、透視歪化(perspective distortions)とは又、それぞれスキューモードと透視モードでエミュレートされ得る。これらのモードは表示されたモデル正方形から出発するが、該正方形は、充分なパラメーター解像度を達成するために、該浮動画像の実質的部分を囲んでもよい。該スキューモードでは、該モデル正方形のコーナー点は、該コーナー点の運動に比例した量で該x軸線に沿った浮動画像のスキューをエミュレートするために、該x軸線に平行に動かされるか、又は、該コーナー点の運動に比例した量で該y軸線に沿った浮動画像のスキューをエミュレートするために、該y軸線に平行に動かされるか、何れかでよい。その上右の点が右へドラッグされると、上左の点が同じ量で従い、従って、該正方形に適用されたスキューは該正方形を平行4辺形(parallelogram){対で平行に並べ置かれた(parallel juxtaposed)エッジを有する}に変形させる。
該透視モードでは、該コーナー点の各々は又、座標軸線に平行に動かされるが、該スキューモードと対照的に、該並べ置かれた点は従わず、従って組み合わされたエッジ対は非平行になる。この操作は該画像の幾何学的変換の透視成分用の非ゼロ項を導入し、正方形を4辺形(quadrangle)に変形する。
これらの幾何学的変換パラメーターの各々は典型的に小さな修飾を要するので、(並進、回転、尺度合わせ、スキュー又は透視修正の)手動運動を有効に適用されるパラメーターに小寸法化(downsizes)する適当な変換係数(conversion factor)が設定される。
位置合わせ結果の検証(Verification of the registration result)
ユーザーは、位置合わせされた画像を引き算し、差の画像内に残る詳細をチェックすることにより、屈曲及び伸展画像の対応する椎骨の位置合わせをチェックすることが出来る。2つの椎骨が精確にマッチすると、その重畳領域内のマッチする画像範囲は消えるだろう。詳細の欠除は、上記で与えられたメザーDにより表される2乗された差の和により適性を与えられ得る。代わりに該重畳領域の分散が計算されてもよい。これらのメザーの両者はよい位置合わせが達成されると低くなければならない。
頸部脊柱検査への応用(Application to cervical spine
examination)
過可動性(hyper−mobility)又は不安定性(instability)について頸部脊柱(cervical spine)のセグメント的運動を評価するために、伸展外側頸部脊柱姿勢の放射線写真露光が屈曲外側姿勢と組み合わされる。外傷後の頸部の痛み(post−traumatic neck pain)、関節炎(arthritis)、脊柱固定(spinal fusion)を有する患者はこれらの機能的見方で共通に検査される。
最大屈曲−伸展角(Maximal flexion−extension angle)
頸部脊柱の最大屈曲−伸展の範囲が位置合わせされた第7椎体(C7 registered)を有する融合画像(fused images)上で決定される。該角は第1椎体..第3椎体(vertebral bodies C1..C3)の後部周辺(posterior margin)sへの接線間で測定され、その正規範囲と比較される。
上記説明のブレンデイング制御スライダーの使用はブレンドされた画像上のこの種の測定をもたらすために特に有利である。屈曲画像内の椎骨の後縁への第1接線を描くために、該スライダーは該第1(屈曲)画像のみを表示する様な状態の中で動かされる。この方法では、さもなければ、該線作成が基づいている該第1(屈曲)画像の該特定の画像特徴を見えにくくする第2(伸展)画像の構造体は、不在である。該伸展画像内の該椎骨の後縁への第2接線は、第2(伸展)画像のみを表示する様な状態で今や動かされるスライダーを用いてその上に同様に描かれる。屈曲及び伸展の両画像が位置合わせされるので、該第2線は該第1画像の基準座標システム内に直接現実的に描かれ、従って第1及び第2画像間の角度は該座標システムを手動で整合させる必要無しに計算される。この特徴はフイルムスーパーインポジションの従来技術では明らかに不可能である。
運動線図(Motion diagram)
頸部脊柱の屈曲及び伸展の範囲はその運動線図内の角度として決定される。該運動線図は多数の方法で作られてもよい。
1実施例では、最初に、屈曲(浮動)及び伸展(基準)図で第7椎体(vertebral bodies C7)が選択され、上記で概説した手順で位置合わせされる。屈曲(浮動)画像を該伸展画像との位置合わせに持って来るために、該屈曲画像に印加される角度αが記録される。この角度は、浮動画像の基準線(例えば、そのx座標軸)を基準画像の座標システム内に描くことにより等価的に記録されてもよい。
次に、該屈曲及び伸展図内の第6椎体(vertebral bodies C6)が選択され、そして位置合わせされる。該浮動画像に適用された角度αが記録されるか、
又は等価的にその基準軸線が基準画像座標システム内に描かれる。
これらの最初の2つの線の間の角度は椎骨C7とC6の間の運動範囲を示し、C6−C7と表される。
この角は等価的に角α−αの差として計算され得る。従って、セグメント的可動性(segmental mobility)を表す、所要角度は、対応する椎骨が位置合わせされた時、得られる幾何学的変換行列(geometric transformation matrix)の回転成分(rotational component)を抽出することにより自動的に結果として生ずる。この自動的結果はフイルムスーパーインポジションの従来技術では達成出来ないことは明らかであろう。
第3に、又該角度は、位置合わせされた第7椎骨(vertebra C7)と、スーパーインポーズされ、ブレンドされた屈曲及び伸展画像での第6椎体(vertebral body C6)への対応する接線と、の間の角度として計算されてもよい。例えば、背後接線(dorsal tangent lines)がこの目的に使われてもよい。画像内のそれらの可視性の程度により他の接線が使われてもよい。スーパーインポジションにより詳細が見え難くなることを避けるために、その線を描く時、屈曲画像か、又は伸展画像かどちらかを選択的に表示するためにブレンデイング制御スライダーが用いられる。
上記で概説した過程は、角度C5−C6、C4−C5、C3−C4、C2−C3を生ずるために、第5,第4、第3,第2椎骨(vertebras C5, C4, C3,
C2)を次々に位置合わせすることにより繰り返される。一緒になって、これらの角度は運動線図を構成し、描かれた線図は正規の頸部可動性の場合の典型的形状を示す。病気又は傷害の存在をアセスするために該角度はそれらの正常値と比較される。
頸部運動の動的な図は、連続する椎骨位置合わせが一つずつ素早く表示される運動画像シーケンスにより得ることが出来る。
3D画像への拡張(Extension to 3D images)
幾何学的変換の回転成分から頸部脊柱のセグメント的可動性を決定する原理は3D作像(3D imagery)へ拡張可能である。位置合わせメザーは今度は画素値の代わりに体素(voxel)値上で動作する。剛体運動の幾何学的変換は、x、yそしてz方向の3つの並進成分と、該座標システムのx、yそしてz軸周りの3つの回転成分を含む。探索戦略は整合パラメーターの少なくとも6次元のパラメーター空間で動作する。X線投影放射線写真法と対照的に、3D画像形成様式は器官及び骨構造体をスーパーインポーズせず、従って位置合わせ過程はユークリッド相似変換により有効にモデル化され得る。
本発明に依りブレンドされた画像を発生するため適用される処理を図解する。 画像A(屈曲外側頸部脊柱放射線写真)上に描写され、スーパーインポーズされた画像B(伸展外側頸部脊柱放射線写真)を示す。
符号の説明
A 画像
B 画像

Claims (4)

  1. デイスプレーデバイスに於いて、該デバイスがブレンドされる画像の表示を制御するためのブレンデイング制御手段を具備しており、前記ブレンドされる画像の各画素値は第1画像内の画素値と、変換された第2画像内の対応する画素値と、の組み合わせであり、前記変換された第2画像は第2画像に幾何学的変換を適用することにより得られており、該幾何学的変換は前記第2画像内の幾何学的構造体を前記第1画像内の対応する幾何学的構造体上に、共通の座標システム内で、写像することを特徴とする該デイスプレーデバイス。
  2. 前記変換された第2画像が、
    (1)該第2画像内の幾何学的構造体を前記第1画像内の対応する幾何学的構造体上に写像する幾何学的変換のパラメーターを計算する過程と、
    (2)該計算されたパラメーターを有する前記幾何学的変換を前記第2画像に適用する過程と、により得られることを特徴とする請求項1のデイスプレーデバイス。
  3. (i)初期パラメーターが前記変換用に計算され、
    (ii)該変換された第2画像と該第1画像との整合の程度を示すコスト値を発生するコスト関数が評価され、
    (iii)前記幾何学的変換のパラメーターが前記コスト値を考慮して更新され、そして
    (iv)該発生されたコスト値が最適となる時に最終パラメーターを得るよう過程(ii)と(iii)が何度も繰り返されることを特徴とする請求項2のデイスプレーデバイス。
  4. 前記手段が、前記第1及び該変換された第2画像の画素値の前記ブレンドされる画像への寄与を制御するよう配置されることを特徴とする請求項1のデイスプレーデバイス。
JP2005322515A 2004-11-10 2005-11-07 ブレンドされる画像の表示用デイスプレーデバイス Pending JP2006136718A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP04105654A EP1657680A1 (en) 2004-11-10 2004-11-10 Display device for displaying a blended image

Publications (2)

Publication Number Publication Date
JP2006136718A true JP2006136718A (ja) 2006-06-01
JP2006136718A5 JP2006136718A5 (ja) 2008-12-11

Family

ID=34929832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005322515A Pending JP2006136718A (ja) 2004-11-10 2005-11-07 ブレンドされる画像の表示用デイスプレーデバイス

Country Status (2)

Country Link
EP (1) EP1657680A1 (ja)
JP (1) JP2006136718A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008142137A (ja) * 2006-12-06 2008-06-26 Internatl Business Mach Corp <Ibm> データ処理装置、データ処理方法、およびプログラム
JP2010516401A (ja) * 2007-01-25 2010-05-20 ウォーソー・オーソペディック・インコーポレーテッド 解剖学的構造及び神経モニタリング情報の統合表示のための方法と装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006044189A1 (de) 2006-09-20 2008-04-17 Siemens Ag Verfahren zum Bereitstellen von vielfältig verarbeiteten Bilddaten, Verfahren zum Verarbeiten vielfältiger Bilddaten und Röntgenbildsystem

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06175245A (ja) * 1992-12-10 1994-06-24 Fuji Photo Film Co Ltd 放射線画像の位置合せ方法および装置
JPH07244722A (ja) * 1994-03-07 1995-09-19 Fuji Photo Film Co Ltd 放射線画像の位置合せ方法
JPH0898009A (ja) * 1994-09-26 1996-04-12 Ricoh Co Ltd 画像処理システムおよび画像処理装置並びに画像処理方法
JPH10162136A (ja) * 1996-12-04 1998-06-19 Hitachi Ltd 画像自動分類方法
JP2003224775A (ja) * 2002-11-08 2003-08-08 Konica Corp 時系列処理画像の表示装置
JP2005169077A (ja) * 2003-09-08 2005-06-30 Mirada Solutions Ltd 第1データセットのデータポイントを第2データセットのデータポイントと関係付ける変換を見つける方法、およびその方法を実行するコンピュータプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06175245A (ja) * 1992-12-10 1994-06-24 Fuji Photo Film Co Ltd 放射線画像の位置合せ方法および装置
JPH07244722A (ja) * 1994-03-07 1995-09-19 Fuji Photo Film Co Ltd 放射線画像の位置合せ方法
JPH0898009A (ja) * 1994-09-26 1996-04-12 Ricoh Co Ltd 画像処理システムおよび画像処理装置並びに画像処理方法
JPH10162136A (ja) * 1996-12-04 1998-06-19 Hitachi Ltd 画像自動分類方法
JP2003224775A (ja) * 2002-11-08 2003-08-08 Konica Corp 時系列処理画像の表示装置
JP2005169077A (ja) * 2003-09-08 2005-06-30 Mirada Solutions Ltd 第1データセットのデータポイントを第2データセットのデータポイントと関係付ける変換を見つける方法、およびその方法を実行するコンピュータプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008142137A (ja) * 2006-12-06 2008-06-26 Internatl Business Mach Corp <Ibm> データ処理装置、データ処理方法、およびプログラム
JP2010516401A (ja) * 2007-01-25 2010-05-20 ウォーソー・オーソペディック・インコーポレーテッド 解剖学的構造及び神経モニタリング情報の統合表示のための方法と装置

Also Published As

Publication number Publication date
EP1657680A1 (en) 2006-05-17

Similar Documents

Publication Publication Date Title
US20060098897A1 (en) Method of superimposing images
US8121370B2 (en) Method of performing measurements on digital images
US20060133694A1 (en) Display device for displaying a blended image
JP5337845B2 (ja) デジタル画像上での測定の実施法
Van de Kraats et al. Standardized evaluation methodology for 2-D-3-D registration
Penney et al. Validation of a two‐to three‐dimensional registration algorithm for aligning preoperative CT images and intraoperative fluoroscopy images
US7327865B2 (en) Fiducial-less tracking with non-rigid image registration
WO2019020048A1 (zh) 一种基于超声拓片技术的脊椎图像生成系统以及脊柱手术导航定位系统
US20060002631A1 (en) ROI selection in image registration
US20140323845A1 (en) Automated 3-d orthopedic assessments
Zheng et al. Automated segmentation of lumbar vertebrae in digital videofluoroscopic images
WO2006011928A2 (en) Image enhancement method and system for fiducial-less tracking of treatment targets
Snel et al. Quantitative in vivo analysis of the kinematics of carpal bones from three‐dimensional CT images using a deformable surface model and a three‐dimensional matching technique
Muggleton et al. Automatic location of vertebrae in digitized videofluoroscopic images of the lumbar spine
TWI836491B (zh) 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
Chen et al. Three-dimensional reconstruction and fusion for multi-modality spinal images
JP2006139782A (ja) 画像を重ね合わせる方法
Schaffert et al. Robust multi-view 2-d/3-d registration using point-to-plane correspondence model
Zheng et al. Lumbar spine visualisation based on kinematic analysis from videofluoroscopic imaging
US9286688B2 (en) Automatic segmentation of articulated structures
JP2006136718A (ja) ブレンドされる画像の表示用デイスプレーデバイス
Cai et al. Automatic geometric rectification for patient registration in image-guided spinal surgery
Luckner et al. Towards full-body x-ray images
Song et al. A novel iterative matching scheme based on homography method for X-ray image
Bifulco et al. Vertebrae tracking through fluoroscopic sequence: a novel approach

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111004