JP2009090094A - 画像整合のための方法および装置 - Google Patents

Abstract

【課題】左および右の乳房画像を整合させるための方法および装置を提供すること。
【解決手段】方法および装置が両乳房画像を整合させる。本発明の一実施形態による方法は、左の乳房を含む第１の乳房画像および右の乳房を含む第２の乳房画像を示すデジタル画像データにアクセスし、第１および第２の乳房画像から左および右の乳房に関係しないアーチファクトを除去し、第１の乳房画像と第２の乳房画像の間の類似性測度であって、第１および第２の乳房画像の相対位置に依存する類似性測度を用いて左および右の乳房を整合させる。
【選択図】図２

Description

本発明はデジタル画像処理技術に関し、より詳細には、画像を処理して整合させるための方法および装置に関する。

医療用画像中の異常組織の識別は、医学の多くの分野で重要である。例えば、乳房Ｘ線写真中の異常組織の識別は乳房の医療問題の迅速な診断にとって重要かつ有効である。

乳房中の異常組織を識別するやり方の１つに、人の左および右の乳房Ｘ線写真を比較するものがある。病院では、乳癌または他の乳房異常を映写するために、相方の乳房Ｘ線写真が慣例的に得られている。放射線技師は、左および右の乳房Ｘ線写真を一緒に見て、患者の乳房Ｘ線撮影法の柔組織に対する基線を確立し、左および右の乳房の間の差異を観察する。しかし、位置の違いのために、左および右の乳房Ｘ線写真の視野は変位されることが多い。したがって、左および右の乳房Ｘ線写真を一緒に観察するときには、一方の乳房画像が他方の乳房画像に対して移動される。

左および右の乳房間の形状のばらつき、異例または異常な乳房形状、別々のときに取得された医療画像における照明のばらつき、乳房Ｘ線撮影装置に対する患者の位置の相違、乳房境界の不安定性、不明瞭な領域、不均一な背景領域、乳房Ｘ線撮影法画像にあるタグ、ラベルまたは掻き傷などのために、左および右の乳房Ｘ線写真の整合は重要な作業である。

左および右の乳房Ｘ線写真を整合させるための既知の方法の１つが、Ｅ．Ｓｏｕｂｅｌｅｔ、Ｓ．ＢｏｔｈｏｒｅｌおよびＳ．Ｌ．Ｍｕｌｌｅｒによる「身体部分を同時に表示するための方法」という名称の米国特許第７，０４６，８６０号(以下、「特許文献１」という)に説明されている。特許文献１で説明された技術を用いると、各画像上で対象の実質的に長方形の領域を定義することによって左および右の乳房Ｘ線写真画像が整合され、各画像における対象領域は、乳房を対象として含む最小の表面積である。次いで、まず各画像について対象領域の縦寸法を比較することにより対象領域が整合される。左および右の乳房Ｘ線写真の縦寸法が同一であると、対象領域の上端または下端の縦の整合が実行される。縦寸法が異なる場合は、相対的な画像位置の関数である最適化基準が計算され、最適化基準を最大化しながら画像が整合される。しかし、この技術では、例えば一方の乳房が他方の乳房と著しく異なるとき、各画像からの対象領域の縦寸法を比較すると整合誤差を招く。
米国特許第７，０４６，８６０号

開示される本願の実施形態は、乳房画像における背景を取り除き、画像の類似性測度を用いて乳房画像を整合させることにより、これらおよび他の問題に対処する。乳房画像を整合させるために、最適化された類似値を基に、相互相関および相互情報量など様々な類似性測度が用いられる。乳房画像の整合は、例えば高速フーリエ変換を用いて相互相関を計算することにより効率的に実行することができる。正確な整合結果を得るために、整合に先立って画像ノイズ、アーチファクト、リードマーカ、タグなどが乳房画像の背景から除去される。本発明で説明される技術は、姿勢／視野に関係なく対の乳房Ｘ線撮影法画像を整合させることができる。

本発明は乳房画像を整合させるための方法および装置を対象とする。本発明の第１の態様によれば、画像処理方法は、左の乳房を含む第１の乳房画像および右の乳房を含む第２の乳房画像を示すデジタル画像データにアクセスするステップと、第１および第２の乳房画像から左および右の乳房に関係しないアーチファクトを除去するステップと、第１および第２の乳房画像の間の類似性測度であって、第１および第２の乳房画像の相対位置に依存する類似性測度を用いて、左および右の乳房を整合させるステップとを含む。

本発明の第２の態様によれば、画像処理方法は、左の乳房を含む第１の乳房画像および右の乳房を含む第２の乳房画像を示すデジタル画像データにアクセスするステップと、第１および第２の乳房画像中の背景ピクセルを実質的に一様なピクセル輝度値に設定するステップと、第１の乳房画像と第２の乳房画像の間の類似性測度であって第１および第２の乳房画像の相対位置に依存する類似性測度を用いて左および右の乳房を整合させるステップと、を含む。

本発明の第３の態様によれば、画像処理装置は、左の乳房を含む第１の乳房画像および右の乳房を含む第２の乳房画像を示すデジタル画像データにアクセスするための画像データ入力ユニットと、第１および第２の乳房画像中の背景ピクセルを実質的に一様なピクセル輝度値に設定するための画像処理ユニットと、第１および第２の乳房画像の間の類似性測度であって第１および第２の乳房画像の相対位置に依存する類似性測度を用いて左および右の乳房を整合させるための画像整合ユニットとを含む。

さらなる本発明の態様および利点が、添付図面とともに以下の詳細な説明を読むことで明らかになる。

本発明の態様を、添付図を参照しながら以下の記述でより詳細に説明する。図１は、本発明の一実施形態による画像整合のための画像処理ユニットを含むシステムの全体的なブロック図である。図１に示されたシステム１００は、画像入力ユニット２７と、画像処理ユニット３７と、ディスプレイ６７と、画像出力ユニット５７と、ユーザ入力ユニット７７と、印刷ユニット４７とを含む。図１のシステム１００の動作は、以下の説明から明らかになる。

画像入力ユニット２７はデジタル画像データをもたらす。デジタル画像データは、例えば乳房Ｘ線撮影法画像などの医療用画像でよい。画像入力ユニット２７は、放射線フィルム、診断画像、デジタル・システムなどから導出されたデジタル画像データをもたらす１つまたは複数の任意数のデバイスでよい。そのような入力デバイスは、例えば、フィルムに記録された画像を走査するためのスキャナ、デジタル・カメラ、デジタル式乳房Ｘ線撮影装置、ＣＤ−Ｒ、フロッピーディスク、ＵＳＢドライブなどの記録媒体、画像を格納するデータベース・システム、ネットワーク接続、画像を処理するコンピュータ・アプリケーションなど、デジタル・データを出力する画像処理システムでよい。

画像処理ユニット３７は、画像入力ユニット２７からデジタル画像データを受け取って、以下で詳細に論じられるやり方で画像の整合を行う。ユーザ（例えば医療施設の放射線医学の専門家）は、ディスプレイ６７を介して画像処理ユニット３７の出力を見ることができ、また、ユーザ入力ユニット７７を介して画像処理ユニット３７に対してコマンドを入力することができる。図１に示された実施形態では、ユーザ入力ユニット７７はキーボード８１およびマウス８２を含むが、他の従来型入力デバイスも使用することができる。

画像処理ユニット３７は、本発明の実施形態によって画像整合を行うことに加えて、ユーザ入力ユニット７７から受け取った命令に従って追加の画像処理機能を実行してよい。印刷ユニット４７は、画像処理ユニット３７の出力を受け取って、処理された画像データのハード・コピーを生成する。画像処理ユニット３７の出力のハード・コピーを生成することに加えて、またはその代わりとして、処理された画像データは、例えば可搬の記録媒体またはネットワーク（図示せず）を介して、画像ファイルとして戻されてよい。画像処理ユニット３７の出力も、様々な目的のために画像データに対してさらなる操作を行う画像出力ユニット５７に送られてよい。画像出力ユニット５７は、画像データのさらなる処理を行うモジュール、画像を収集して比較するデータベースなどでよい。

図２は、本発明の一実施形態による画像整合のための画像処理ユニット３７のより詳細な態様を示すブロック図である。図２に示されるように、この実施形態による画像処理ユニット３７は、画像操作ユニット１２１と、画像類似性ユニット１３１と、画像整合ユニット１４１とを含む。図２の様々な要素は個別要素として示されているが、そのような図は説明の容易さのためであり、様々な要素の特定の動作は、同一の物理デバイス（例えば１つまたは複数のマイクロプロセッサ）によって実行されてよいことを理解する必要がある。

一般に、図２に示された画像処理ユニット３７向けの要素の配置は、デジタル画像データの前処理および準備、デジタル画像データから画像間の類似性測度の計算、および類似性測度を基に画像の整合を行う。画像処理ユニット３７の動作を、左および右の乳房の画像の整合に関して、乳房Ｘ線撮影法画像の文脈において次に説明する。

画像操作ユニット１２１は、画像入力ユニット２７から乳房Ｘ線撮影法画像を受け取って、乳房Ｘ線撮影法画像に対して前処理および準備操作を行ってよい。画像操作ユニット１２１による前処理および準備操作は、サイズ変更、トリミング、圧縮など、乳房Ｘ線撮影法画像のサイズおよび／または外観を変更するものを含んでよい。

画像操作ユニット１２１は、画像類似性ユニット１３１に前処理された乳房Ｘ線撮影法画像を送る。画像類似性ユニット１３１は、同様に画像入力ユニット２７から乳房Ｘ線撮影法画像を直接受け取ってもよい。画像類似性ユニット１３１は、乳房画像間の類似性測度を計算し、画像整合ユニット１４１に画像類似度計算の結果を送る。

画像整合ユニット１４１は、乳房画像および乳房画像についての類似度計算を受け取り、類似度計算を用いて、乳房画像を互いに対して整合させる。最終的に、画像整合ユニット１４１は、整合された乳房画像または乳房画像向けの整合情報を出力する。画像整合ユニット１４１の出力は、画像出力ユニット５７、印刷ユニット４７、および／またはディスプレイ６７に送られてよい。次に、図２に示された画像処理ユニット３７に含まれる要素の動作を図３〜図８Ｄを参照しながら説明する。

画像操作ユニット１２１、画像類似性ユニット１３１および画像整合ユニット１４１は、ソフトウェアのシステム／アプリケーションである。画像操作ユニット１２１、画像類似性ユニット１３１および画像整合ユニット１４１は、ＦＰＧＡ、ＡＳＩＣなどの特定用途向けに作られたハードウェアでもよい。

図３は、図２に示された本発明の一実施形態による画像整合のための画像処理ユニット３７の動作を示す流れ図である。画像操作ユニット１２１は、画像入力ユニット２７から、未加工の乳房画像または前処理された乳房画像を受け取って、乳房画像に対して前処理を行う（Ｓ２０２）。乳房画像は１対の左および右の乳房画像でよい。前処理操作は、サイズ変更、スムージング、および圧縮などを含んでよい。

画像類似性ユニット１３１は、画像操作ユニット１２１または画像入力ユニット２７から未加工または前処理済の乳房画像を受け取って、乳房画像の様々な相対位置に対して１つまたは複数の類似性測度を計算する（Ｓ２０６）。計算された類似性測度を基に乳房画像に対する整合位置が同定される（Ｓ２０９）。画像整合ユニット１４１へ整合位置に関する情報が送られる。次いで、画像整合ユニット１４１は、整合位置情報を用いて乳房画像の互いへの整合を実行する（Ｓ２１１）。画像整合ユニット１４１は、乳房画像に対して後処理操作を実行してもよい（Ｓ２１３）。後処理操作は、より高い解像度／元の解像度のために、サイズ変更、画像のスーパーサンプリングなどを含んでよい。

画像整合ユニット１４１は、整合された乳房画像を出力する（Ｓ２１５）。画像整合ユニット１４１の出力は、画像出力ユニット５７、印刷ユニット４７、および／またはディスプレイ６７に送られてよい。

図４は、図２に示された本発明の一実施形態による画像整合のための画像処理ユニット３７に含まれる画像操作ユニット１２１の動作を示す流れ図である。図４の流れ図は、図３からのステップＳ２０２の例示の詳細を示す。

画像操作ユニット１２１は、画像入力ユニット２７から未加工または前処理済の２つの乳房画像ＡおよびＢを受け取る（Ｓ３０２）。乳房画像ＡおよびＢは、人の左および右の乳房の画像を示す。病院の患者から、乳癌または他の異常を診断または映写するために、双方の乳房Ｘ線写真が慣例的に得られている。乳房Ｘ線写真はトップダウン（ＣＣ）図または左右方向の（ＭＬ）図で得られてよい。左および右の乳房Ｘ線写真図の例は、ＭＬＬ（中間側面の左）およびＭＬＲ（中間側面の右）、ＣＣＬ（頭尾方向尾部の左）およびＣＣＲ（頭尾方向尾部の右）、ＬＭＬＯ（斜め左中間側面）およびＲＭＬＯ（斜め右中間側面）などである。次に、放射線技師によって、左および右の乳房Ｘ線写真が一緒に見られることになる。

画像操作ユニット１２１は、乳房画像ＡおよびＢに対して背景抑制を実行する（Ｓ３０４）。乳房Ｘ線撮影法画像は、一般に背景上の乳房を示す。背景は、乳房Ｘ線写真画像取得の視野、患者のＩＤなどを示す、アーチファクト、タグ、マーカなどを含んでいることがある。背景干渉は、整合アルゴリズムに対するノイズの一因となり、準最適の結果をもたらす恐れがある。例えば、大きな位置マーカ（視野および患者の位置を規定するＬＥＤマーカ）によって乳房画像の整合が狂うことがある。したがって、位置マーカは除去されるべきである。

タグ、マーカおよび他の背景アーチファクト／障害物は、画像操作ユニット１２１によってステップＳ３０４で抑制される。乳房Ｘ線撮影法画像に対して背景抑制およびアーチファクト抑制を実行するために、画像操作ユニット１２１は乳房を検出し、背景ピクセルが同じような輝度を得るように背景をマスクする。乳房Ｘ線撮影法画像に対して背景抑制およびアーチファクト抑制を実行するために、画像操作ユニット１２１は、乳房を検出せずに背景を検出し、次いで背景をマスクしてもよい。

例示の一実施形態では、背景ピクセルがすべて輝度ゼロを得るように背景がマスクされる。

画像操作ユニット１２１は、２００６年３月３日出願の、Ｄａｎｉｅｌ ＲｕｓｓａｋｏｆｆおよびＡｋｉｒａ Ｈａｓｅｇａｗａによる「乳房境界を検出するための方法および装置」という名称の米国特許出願第１１／３６６，４９５号に説明された方法を用いて乳房画像に対する背景抑制およびアーチファクト抑制を実行してよく、この内容全体を、参照によって本明細書に組み込む。上記特許出願「乳房境界を検出するための方法および装置」に説明された技術を用いて、乳房に属する画像ピクセルが検出される。この目的のために、乳房画像中のピクセルは、ピクセルのｘ位置、ピクセルのｙ位置、ピクセルの輝度値、およびピクセルの基準点への距離を有して、４次元空間など多次元空間中に示される。ピクセルのｘ位置およびｙ位置の代わりに、他のユークリッド空間座標が用いられてよい。例えば、ｘ位置とｙ位置の座標の組合せ、極座標、円筒座標などが用いられてよい。他の、より高次元またはより低次元のピクセル表現、４を上回るかまたは４未満のピクセルの特性／パラメータのコード化も用いられてよい。

次いで、乳房画像に関するクラスタを得るために、多次元ピクセル表現空間においてピクセルのＫ平均法クラスタ化が実行される。例示の一実装形態では、Ｋ平均法クラスタ化は、４次元ピクセル表現のグループを、クラスタの中心に対する距離メトリックを最小化するように、諸クラスタに分割する。クラスタ中心の位置が求められ、最小化されることになる距離メトリックの値が計算される。次いで、４次元ピクセル表現のうちのいくつかは、距離メトリックを最小化するために、別々のクラスタに再び割り当てられる。新規のクラスタ中心が求められ、最小化されることになる距離メトリックの値が再び計算される。クラスタを改良するために、すなわち、クラスタの中心に対する距離メトリックを最小化するために、４次元ピクセル表現に対する再割当が実行される。ピクセルのクラスタ・メンバーシップが変化しないとき、Ｋ平均法クラスタ化における収束が達成される。

クラスタ化の状況では、４次元ピクセル表現（すなわちユークリッド空間座標）における最初の２つの次元は、同一のクラスタに属するピクセルの空間的関係を強化する。したがって、同一のクラスタに属するピクセルは、ピクセル表現によって測られた４次元空間における類似のユークリッド空間の座標値を有する。４次元ピクセル表現における第３の次元はピクセルの輝度値であり、同一のクラスタに属するピクセルは一般に輝度が類似するという事実を強化する。最後に、４次元ピクセル表現における第４の次元は、ピクセルの基準点への距離であり、基準点のまわりの平滑化制約を導入する。平滑化制約は、乳房の形状が、一般に基準点のまわりで滑らかに変化するという事実に関係する。

次に、相対輝度測度、輝度ピクセル値、およびクラスタサイズを用いて、クラスタ合併および連結要素解析が実行され、乳房画像中の乳房に対応するクラスタと画像アーチファクトを含むクラスタなど乳房と関係しないクラスタを識別する。乳房と関係しないが乳房に結合されたアーチファクトは連鎖コードを用いて除去され、乳房の輪郭は線形近似を用いて連結される。これらの手法を用いて、乳房画像にある不均一な背景領域、タグ、ラベルまたは掻き傷が除去される。

乳房Ｘ線撮影法画像からの実証的証拠から求められた、乳房ピクセル輝度向けの閾値、ピクセル輝度の差、および／または乳房ピクセル勾配輝度などが、クラスタ化で用いられてよい。そのような閾値を求めるための方法は、上記の米国特許出願「乳房境界を検出するための方法および装置」で説明されている。

例示の実装形態では、乳房画像のピクセルが４つのクラスタのうちの１つに配置されるように、Ｋ＝４のクラスタでＫ平均法クラスタ化が実行される。別の例示の実装形態では、Ｋ＝３のクラスタでＫ平均法クラスタ化が実行される。

上記の「乳房境界を検出するための方法および装置」という名称の米国特許出願に説明された乳房検出方法を用いることによって、ペースメーカまたは注入物が検出されて、それらの画像が乳房画像と重なる場合は乳房クラスタに組み込まれ、あるいはそれらの画像が乳房画像と離れている場合は棄却される。

Ｋ平均法クラスタ化の他のバージョン、他のクラスタ化手法または他の背景抑圧法も、画像操作ユニット１２１によって用いられてよい。

したがって、画像操作ユニット１２１は、背景アーチファクトなしで左の乳房画像Ａ１および右の乳房画像Ｂ１を得る（Ｓ３１０）。次に、画像操作ユニット１２１は、左の乳房画像Ａ１および右の乳房画像Ｂ１の中から浮動画像を選択する（Ｓ３１３）。図５でさらに説明されるように、浮動画像は、類似性測度が最適化されるまで、その原位置から並進されることになる。例示の一実装形態では、左の乳房画像Ａ１および右の乳房画像Ｂ１のうち小さい方の画像が浮動画像として選択される。浮動画像として選択されない画像は、本明細書では固定画像と呼ばれる。

Ａ１が浮動画像であり、Ｂ１が固定画像であると仮定する。画像操作ユニット１２１は、浮動画像Ａ１がもう一方の乳房画像Ｂ１と類似の方向を有するように浮動画像Ａ１を反転する（Ｓ３１６）。したがって、画像操作ユニット１２１は反転された浮動画像Ａ２を得る（Ｓ３１６）。反転された浮動画像Ａ２は、例えば、固定画像Ｂ１と画像の同じ側に乳房先端を示すことがある。

画像操作ユニット１２１は、反転された浮動画像Ａ２をダウンサンプリングして、反転され、ダウンサンプリングされた浮動画像Ａ３を得る（Ｓ３１９）。画像操作ユニット１２１は、次に、反転されダウンサンプリングされた浮動画像Ａ３をパディングして、パディングされ、反転され、ダウンサンプリングされた浮動画像Ａ４を得る（Ｓ３２２）。パディングされた画像を得るために画像の幅または高さが増加され、画像並進を可能にする。新規の情報が乳房画像に追加されるわけではない。パディングされた画像の追加の行（または列）は、「０」の輝度値を割り当てられてよく、これはマスクされた背景ピクセルの輝度に似ている。好ましい実施形態では、浮動画像はパディングされてその高さを増す。乳房画像の幅または高さを変化させる必要性がないとき、パディングのステップＳ３２２が省略されてよい。

画像操作ユニット１２１は、画像類似性ユニット１３１に、固定画像Ｂ１およびパディングされ、反転され、ダウンサンプリングされた浮動画像Ａ４（パディングが実行されない場合は、反転され、ダウンサンプリングされた浮動画像Ａ３）を送る（Ｓ３３０）。

図５は、図２に示された本発明の一実施形態による画像整合のための画像処理ユニット３７に含まれる画像類似性ユニット１３１の動作を示す流れ図である。図５の流れ図は、図３からのステップＳ２０６およびＳ２０９の例示の詳細を示す。

画像類似性ユニット１３１は、画像操作ユニット１２１から、固定画像Ｂ１およびパディングされた浮動画像Ａ４（パディングが実行されない場合は、反転され、ダウンサンプリングされた浮動画像Ａ３）を受け取る（Ｓ４０１）。画像類似性ユニット１３１は、１次元の並進空間において画像レジストレーションを実行してよい。この目的のために、浮動画像Ａ４（またはＡ３）がその原位置から並進されて（Ｓ４０３）、並進された浮動画像を得る。浮動画像は、固定画像に対して任意の方向に沿って並進され得る。例示の一実施形態では、浮動画像は、固定画像に対して乳房の垂直方向の線（図８Ａの線ＭＭ’など）に沿って並進される。

並進された浮動画像と固定画像の間の類似性測度が計算される（Ｓ４０５）。ステップＳ４０３およびＳ４０５は複数回（Ｎ回）繰り返されてよく、また、画像類似性のベクトルが生成される（Ｓ４０７）。このベクトルは、画像の様々な相対位置に対する画像間の類似性測度を含む。画像類似性測度についての最適化された値が、画像類似性のベクトルから抽出される（Ｓ４１１）。最適化された画像類似値が浮動画像と固定画像に関する整合位置を決定する（Ｓ４１２）。画像整合ユニット１４１へ最適の画像類似値に対応する整合情報が送られる。

ステップＳ４０５では任意の類似性測度を用いることができる。例示の実施形態では、ステップＳ４０５で相互相関測度または相互情報量測度が計算される。いくつかの類似性測度については、ステップＳ４１１で抽出される最適化された値は最大値である。他の類似性測度については、ステップＳ４１１で抽出される最適化された値は、最小値など他のタイプの値であり得る。ステップＳ４０５では複数の類似性測度が用いられてもよい。

相互相関測度は、２つの画像間の相関係数を計算する。左および右の乳房Ｘ線写真図の画像輝度における相対的な類似性のために浮動画像が並進されるとき、浮動画像と固定画像の間の類似性を測定するのに相関係数を用いることができる。相関係数は式（１）によって与えられる。

ここでＸは第１の画像に関する輝度マトリクスを示し、Ｙは第２の画像に関する輝度マトリクスを示す。

左および右の乳房画像が整合されたとき、左および右の乳房画像は、それぞれの輝度の間にほぼ線形の関係を共有する。例えば人間の位置の誤差のために一方の画像が他方に対して移動されると、画像輝度の線形の関係が劣化する。浮動画像中のピクセル輝度と固定画像中のピクセル輝度に線形の関係があるので、相関係数は、浮遊画像と固定画像が整合されているとき大きく、両画像が正しく整合されていないとき小さい。

例示の実装形態では、相関係数は、フーリエ変換（ＦＴ）を介してピクセル輝度空間で計算される。ＦＴ手法の利点の１つに、固定画像に対する浮動画像の相対的並進に関して、相関係数の計算がより速いことがある。

代替実施形態では、ステップＳ４０５で相互情報量測度が用いられる。２つの確率変数ＸおよびＹに関して、ＸとＹの間の相互情報量は式（２）によって与えられる。

ここでｆ（ｘ，ｙ）は変数ＸとＹの同時確率密度であり、ｆ（ｘ）はＸの周辺確率密度であり、ｆ（ｙ）はＹの周辺確率密度である。式（２）では、ＸおよびＹは固定画像および浮動画像を示す。ＸおよびＹは、ピクセル輝度の２Ｄの配列であり得る。ＸおよびＹに対応する２つの画像が整合されたとき、ＸとＹの間の相互情報量が最大になる。画像整合した状態で、変数Ｘは変数Ｙに関する最大の情報をもたらす。

図６Ａは、図５に示された本発明の一実施形態により高速フーリエ変換（ＦＦＴ）によって計算された相互相関を用いる画像類似性ユニット１３１の動作を示す流れ図である。図６Ｂは、図５に示された本発明の一実施形態によりＦＦＴによって計算された相互相関を用いる画像類似性ユニット１３１の動作の詳細を示す流れ図である。

相互相関関数は、高速フーリエ変換（ＦＦＴ）を用いて効率的に計算することができる。ＦＦＴおよび相互相関関数に関する同値の証明の詳細は、Ａ．Ｏｐｐｅｎｈｅｉｍらによる「離散的時間の信号処理」、第２版、第７章（プレンティスホール社）に見ることができる。

図６Ａに示されるように、画像類似性ユニット１３１は固定画像および浮動画像を受け取る（Ｓ４０１）。画像類似性ユニット１３１は、ＦＦＴを用いて固定画像および浮動画像に対して相互相関を計算する（Ｓ５０３）。

画像類似性のベクトルが生成され（Ｓ５０７）、画像類似性のベクトルから相互相関類似性測度に関して最大値が抽出される（Ｓ５１１）。最大の相互相関画像類似値が、浮動画像と固定画像に関する整合位置を決定する（Ｓ５１２）。画像整合ユニット１４１へ、最大の相互相関画像類似値に対応する整合情報が送られる。

図６Ｂは、図６ＡのステップＳ５０３の詳細を示す。図６Ｂに示されるように、固定画像および浮動画像に対して、行に関してＦＦＴが計算される（Ｓ６０２）。固定画像のＦＴおよび浮動画像のＦＴに対して、要素に関して複素共役が計算される（Ｓ６０５）。要素に関する複素共役の計算は、各複素値要素の虚数部の符号を反転することによって行われる。次に、画像の複素共役要素に関する倍数が得られる（Ｓ６０６）。したがって、固定画像および浮動画像に対して、行に関する相互相関のＦＴが得られる（Ｓ６０８）。次に、行に関する相互相関のＦＴの行に関する逆ＦＦＴが計算され（Ｓ６１１）、両画像に対して行に関する相互相関が得られる（Ｓ６１５）。行に関する相互相関は行ベクトルであり得る。行に関する相互相関に対して列に関する平均を計算することによって（Ｓ６１８）、固定画像と浮動画像についての相互相関関数が得られる（Ｓ６２０）。

単純なフーリエ変換など他の変換手法が、相互相関を計算するのにＦＦＴの代わりに用いられてよい。

図７は、図２に示された本発明の一実施形態による画像整合のための画像処理ユニット３７に含まれる画像整合ユニット１４１の動作を示す流れ図である。図７の流れ図は、図３からのステップＳ２１１の例示の詳細を示す。

画像整合ユニット１４１は、乳房の固定画像および浮動画像を受け取る（Ｓ６４０）。画像整合ユニット１４１は、画像類似性ユニット１３１から、乳房の固定画像および浮動画像向けの整合位置に関する情報も受け取る（Ｓ６４１）。次いで、画像整合ユニット１４１は、固定画像に対する整合位置へ浮動画像を並進させる（Ｓ６４４）。画像整合ユニット１４１は、浮動画像および固定画像の後処理を行ってもよい（Ｓ６５１）。画像整合ユニット１４１は、例えば、浮動画像および固定画像をスーパーサンプリングして、それらの元の解像度をもたらし、乳房画像の色補正を実行するなどしてよい。画像整合ユニット１４１は、整合された左および右の乳房画像を出力する（Ｓ６５８）。

図８Ａは、一対の互いに整合しない左および右の乳房Ｘ線写真画像の例を示し、図８Ｂは、図５に示された本発明の一実施形態による画像間の様々な相対変位に対する図８Ａの画像に関する相関係数を示す。図８Ｃは、図８Ｂに示された相関係数を最大化するように互いに整合された図８Ａからの左および右の乳房Ｘ線写真画像を示す。図８Ａは、左の乳房画像ＣＣＬおよび右の乳房画像ＣＣＲに関する２つのＣＣの乳房Ｘ線写真を示す。図８Ａで示されるように配置された左画像と右画像についての相関係数は０．８２である。次に、画像の一方が他方に対して並進され、画像の各相対変位に対して結果として生ずる相関係数が計算される。図８Ｂは、相関係数対画像の間の相対変位を示す。図８Ｂのプロットは、相関係数を最大化するために浮動画像を並進させる必要があることを示す。

図８Ｄは、図２に示された本発明の一実施形態による左および右の乳房Ｘ線写真画像に関する例示の整合結果を示す。左の欄に、正しく整合されていない左および右の乳房Ｘ線写真画像が示されている。本発明で説明された方法を用いて乳房Ｘ線写真画像を整合させた結果が、右の欄に示されている。

本発明の方法および装置は、別々のときに取得された同一の乳房の画像を整合させるのに使用されてもよい。例えば、乳房形状の変遷を観察するために、本発明の方法および装置を用いて、数年にわたって取得された乳房画像を整合させることができる。

本発明の方法および装置は、デジタル・ワークステーション上の乳房Ｘ線写真の視覚化を改善し、したがって専門医が乳房画像を効果的に比較するのを支援するために、乳房画像を変位させる。本発明で説明された技術は、姿勢（ＣＣ対、ＭＬ対など）に関係なく対の乳房Ｘ線撮影法画像を整合させることができ、乳首または胸筋などの付随的な特徴からの情報を必要とせず、画像ノイズ、アーチファクト、リードマーカ、ペースメーカまたは注入物による影響を受けない。

以上、本発明の詳細な実施形態および実装形態を説明してきたが、本発明の趣旨および範囲から逸脱することなく様々な変更形態が可能であることが明白である。

本発明の一実施形態による画像整合のための画像処理ユニットを含むシステムの全体的なブロック図である。 本発明の一実施形態による画像整合のための画像処理ユニットのより詳細な態様を示すブロック図である。 図２に示された本発明の一実施形態による画像整合のための画像処理ユニットの動作を示す流れ図である。 図２に示された本発明の一実施形態による画像整合のための画像処理ユニットに含まれる画像操作ユニットの動作を示す流れ図である。 図２に示された本発明の一実施形態による画像整合のための画像処理ユニットに含まれる画像類似性ユニットの動作を示す流れ図である。 図５に示された本発明の一実施形態により高速フーリエ変換によって計算された相互相関を用いる画像類似性ユニットの動作を示す流れ図である。 図５に示された本発明の一実施形態により高速フーリエ変換によって計算された相互相関を用いる画像類似性ユニットの動作の詳細を示す流れ図である。 図２に示された本発明の一実施形態による画像整合のための画像整合ユニットに含まれる画像類似性ユニットの動作を示す流れ図である。 一対の互いに整合しない左および右の乳房Ｘ線写真画像の例を示す図である。 図５に示された本発明の一実施形態による画像間の様々な相対変位に対する図８Ａの画像に関する相関係数を示す図である。 図８Ｂに示された相関係数を最大化するように互いに整合された、図８Ａからの左および右の乳房Ｘ線写真画像を示す図である。 図２に示された本発明の一実施形態による左および右の乳房Ｘ線写真画像に関する例示の整合結果を示す図である。

Claims (21)

1. 左の乳房を含む第１の乳房画像および右の乳房を含む第２の乳房画像を示すデジタル画像データにアクセスするステップと、
   前記第１および第２の乳房画像から前記左および右の乳房に関係しないアーチファクトを除去するステップと、
   前記第１および第２の乳房画像の間の類似性測度であって、前記第１および第２の乳房画像の相対位置に依存する類似性測度を用いて前記左および右の乳房を整合させるステップと、
   を含む画像処理方法。
2. 前記類似性測度は前記第１および第２の乳房画像間の相関係数である請求項１に記載の画像処理方法。
3. 前記類似性測度は前記第１および第２の乳房画像間の相互情報量である請求項１に記載の画像処理方法。
4. 前記類似性測度は前記第１および第２の乳房画像間の相互相関関数であり、
   前記相互相関関数は高速フーリエ変換を用いて計算される請求項１に記載の画像処理方法。
5. 前記整合させるステップは、
   前記第２の乳房画像に対して前記第１の乳房画像を並進させるステップと、
   様々な並進位置について前記第１および第２の乳房画像間の前記類似性測度を計算するステップと、
   前記類似性測度に関して最適化された値に関連した並進位置を用いて前記左および右の乳房を整合させるステップと、
   を含む請求項１に記載の画像処理方法。
6. 前記除去するステップは、
   前記第１または第２の乳房画像のピクセルの空間特性に関するパラメータ、前記第１または第２の乳房画像の前記ピクセルの輝度特性に関するパラメータ、および前記第１または第２の乳房画像の前記ピクセルの平滑特性に関するパラメータを基に前記第１または第２の乳房画像の前記ピクセルをクラスタ化して初期クラスタを得るステップと、
   前記左または右の乳房に関連したクラスタを検出するステップと、を含み、
   前記クラスタを検出するステップは、
   前記初期クラスタの輝度測度を用いて前記初期クラスタに対してクラスタ合併を実行して最終クラスタを得るステップと、
   前記最終クラスタから前記左または右の乳房に属さないピクセル除去して前記左または右の乳房と関連したクラスタを得るステップと、
   を含む請求項１に記載の画像処理方法。
7. 前記第１の乳房画像を反転して前記第２の乳房画像に類似の画像方向を有する反転画像を得るステップと、
   前記反転画像をダウンサンプリングするステップと、
   前記ダウンサンプリングされた反転画像にパディングしてパディングされた画像を得るステップと、
   によって前記第１および第２の乳房画像の前処理を行うステップをさらに含み、
   前記パディングされた画像および前記第２の乳房画像が前記整合させるステップによって用いられる請求項１に記載の画像処理方法。
8. 左の乳房を含む第１の乳房画像および右の乳房を含む第２の乳房画像を示すデジタル画像データにアクセスするステップと、
   前記第１および第２の乳房画像中の背景ピクセルを実質的に一様なピクセル輝度値に設定するステップと、
   前記第１の乳房画像と第２の乳房画像の間の類似性測度であって、前記第１および第２の乳房画像の相対位置に依存する類似性測度を用いて前記左および右の乳房を整合させるステップと、
   を含む画像処理方法。
9. 前記類似性測度は前記第１および第２の乳房画像間の相関係数である請求項８に記載の画像処理方法。
10. 前記類似性測度は前記第１および第２の乳房画像間の相互情報量である請求項８に記載の画像処理方法。
11. 前記類似性測度は前記第１および第２の乳房画像間の相互相関関数であり、
    前記相互相関関数は高速フーリエ変換を用いて計算される請求項８に記載の画像処理方法。
12. 前記整合させるステップは、
    前記第２の乳房画像に対して前記第１の乳房画像を並進させるステップと、
    様々な並進位置について前記第１および第２の乳房画像間の前記類似性測度を計算するステップと、
    前記類似性測度に関して最適化された値に関連した並進位置を用いて前記左および右の乳房を整合させるステップと、
    を含む請求項８に記載の画像処理方法。
13. 前記背景のピクセルを設定するステップは、
    前記第１または第２の乳房画像のピクセルの空間特性に関するパラメータおよび前記第１または第２の乳房画像の前記ピクセルの輝度特性に関するパラメータを基に前記第１または第２の乳房画像の前記ピクセルをクラスタ化して初期クラスタを得るステップと、
    前記左または右の乳房に関連しない、前記初期クラスタ中の背景クラスタを検出するステップと、
    前記背景クラスタ中のピクセルを前記実質的に一様なピクセル輝度値に設定するステップと、
    を含む請求項８に記載の画像処理方法。
14. 前記第１の乳房画像を反転して前記第２の乳房画像に類似の画像方向を有する反転画像を得るステップと、
    前記反転画像をダウンサンプリングするステップと、
    前記ダウンサンプリングされた反転画像にパディングしてパディングされた画像を得るステップと、
    によって前記第１および第２の乳房画像を前処理するステップをさらに含み、
    前記パディングされた画像および前記第２の乳房画像が前記整合させるステップによって用いられる請求項８に記載の画像処理方法。
15. 左の乳房を含む第１の乳房画像および右の乳房を含む第２の乳房画像を示すデジタル画像データにアクセスするための画像データ入力ユニットと、
    前記第１および第２の乳房画像中の背景ピクセルを実質的に一様なピクセル輝度値に設定するための画像処理ユニットと、
    前記第１および第２の乳房画像の間の類似性測度を用いて前記左および右の乳房を整合させるための画像整合ユニットと、を備え、
    前記類似性測度が前記第１および第２の乳房画像の相対位置に依存する画像処理装置。
16. 前記類似性測度は前記第１および第２の乳房画像間の相関係数である請求項１５に記載の装置。
17. 前記類似性測度は前記第１および第２の乳房画像間の相互情報量である請求項１５に記載の装置。
18. 前記類似性測度は前記第１および第２の乳房画像間の相互相関関数であり、
    前記相互相関関数が高速フーリエ変換を用いて計算される請求項１５に記載の装置。
19. 前記画像整合ユニットは、
    前記第２の乳房画像に対して前記第１の乳房画像を並進させるステップと、
    様々な並進位置について前記第１および第２の乳房画像間の前記類似性測度を計算するステップと、
    前記類似性測度に関して最適化された値に関連した並進位置を用いて前記左および右の乳房を整合させるステップと、によって整合させる請求項１５に記載の装置。
20. 前記画像前処理ユニットは、
    前記第１または第２の乳房画像のピクセルの空間特性に関するパラメータ、および前記第１または第２の乳房画像の前記ピクセルの輝度特性に関するパラメータを基に前記第１または第２の乳房画像の前記ピクセルをクラスタ化して初期クラスタを得るステップと、
    前記左または右の乳房に関連しない、前記初期クラスタ中の背景クラスタを検出するステップと、
    前記背景クラスタ中のピクセルを前記実質的に一様なピクセル輝度値に設定するステップと、
    によって背景ピクセルを設定する請求項１５に記載の装置。
21. 前記画像前処理ユニットは、
    前記第１の乳房画像を反転して前記第２の乳房画像に類似の画像方向を有する反転された画像を得るステップと、
    前記反転された画像をダウンサンプリングするステップと、
    前記ダウンサンプリングされ反転された画像にパディングしてパディングされた画像を得るステップと、
    によって前記第１および第２の乳房画像の前処理を行い、
    前記パディングされた画像および前記第２の乳房画像が前記画像整合ユニットによって用いられる請求項１５に記載の装置。