JP2006102091A - 乳房画像位置合わせ装置およびそのプログラム - Google Patents

Abstract

【課題】 乳房画像の読影性能を向上させるための乳房画像位置合わせ装置を提供する。
【解決手段】 異なる２つの乳房画像Ｓｌ，Ｓｒの各々より乳頭部上の点または乳房領域の頂点を位置合せ基準点Ｋｌ，Ｋｒとして検出し、異なる２つの乳房画像上の互いに対応する対応点（Ｐ１ｌ，Ｐ１ｒ），（Ｐ２ｌ，Ｐ２ｒ）を各々の乳房画像より少なくとも２つ取得して、一方の乳房画像における前記基準点Ｋｌ，Ｋｒと対応点（Ｐ１ｌ，Ｐ１ｒ），（Ｐ２ｌ，Ｐ２ｒ）とを他方の乳房画像における前記基準点と対応点とに一致するように一方の乳房画像の乳房領域を変形する。
【選択図】 図９

Description

本発明は、比較対照となる２つの乳房画像の位置合わせ装置およびそのプログラムの改良に関するものである。

従来、乳房を放射線撮影して得られたデジタル画像信号を、コンピュータを用いて解析し、画像中に現れた腫瘤陰影や微小石灰化陰影等の異常陰影を自動的に検出することにより、画像読影者の読影熟達度が低い場合にも一定の検出レベルを確保し、診断に役立てるシステム（異常陰影候補検出システム）が開発されている（例えば、特許文献１）。

このシステムは、主として乳ガン検診で得られた乳房の放射線画像（マンモグラフィ）を表すデジタル画像信号の濃度（信号値）勾配ベクトルの集中度を評価することにより画像中の腫瘤陰影の候補を自動的に検出したり、デジタル画像信号にモフォロジー演算（ダイレーション処理，イロージョン処理，オープニング処理，クロージング処理等）を施すことにより微小石灰化陰影の候補を自動的に検出するなどのアルゴリズムによって、腫瘤陰影や微小石灰化等の異常陰影の候補を検出するものであり、このシステムで検出された異常陰影候補を、マンモグラフィ上で、例えば矩形のＲＯＩ（関心領域）枠でマーキングするなどしてＣＲＴや液晶表示装置等に表示したり、診断用のフイルムにプリントすることにより診断に供することができる。

ところで上述した異常陰影候補検出システムにより検出された異常陰影候補を含むマンモグラフィを画像表示装置の画像表示面上に表示して、医師等が観察読影する場合、左右１組の乳房画像を背中合わせにして同時に表示することが、しばしば行われている。これは、左右の乳房における正常構造は略同じであるため、それらを比較して診断に利用することができるからである。例えば、一方の画像において異常と疑われる陰影を発見した場合に、他方の画像の対応する位置においても同様な陰影が存在するか否かによって、それが異常な陰影なのか否かを確認したりする。また、マンモグラフィは、乳房を上下方向から撮影したいわゆる正面画像（ＭＬview（またはＭＬＯview）；Medio-lateral view（またはMedio-lateral oblique view））と、左右方向から撮影したいわゆる側面画像（ＣＣview；Cranio-caudal view）が撮影されるため、左右乳房のうち一方の乳房の正側２つの画像を並べて表示し、これらを比較対照して観察読影する場合もある。

しかし、上述したように比較対照される２つの乳房の画像を背中合わせに同時に表示する場合、両被写体の対応位置が横方向または縦方向で不揃いで表示されることがあり、この場合、比較読影を行ないにくいという問題がある。そこで、比較対照される２つの乳房の画像より乳房領域を抽出して、乳房領域の底辺の中心位置が一致するように位置合わせして比較対照する２つの乳房の画像をその表示画面上に表示させをするものが提案されている（例えば、特許文献２）。

あるいは、比較対照される２つの乳房の画像を、左右乳房のニップル位置が、縦方向に揃うように位置合わせをするものが提案されている（例えば、特許文献３）。
特開平８−２９４４７９号公報 特開平９−２１５６８４号公報 特開２００２−６５６１３公報

しかしながら、上述の各方法は比較対照される乳房画像が略同じ条件となるように撮影が行われ、例えば、左右乳房の画像が対象に現れるように撮影が行われた場合には有効であるが、乳房の傾きが異なって撮影されたような場合や、撮影方向が異なって撮影されたような場合には上述の方法を用いてもあまり有効ではなかった。

本発明は上記事情に鑑みなされたものであって、比較対照される２つの被写体の画像を表示するに際して、これら２つの乳房画像の比較読影性能を向上させるための乳房画像位置合わせ装置を提供することを目的とするものである。

本発明の乳房画像位置合わせ装置は、異なる２つの乳房画像の各々より乳頭部上の点または乳房領域の頂点を位置合せ基準点として検出する基準点検出手段と、
前記異なる２つの乳房画像上の互いに対応する対応点を各々の乳房画像より少なくとも２つ取得する対応点取得手段と、
一方の前記乳房画像における前記基準点と前記対応点取得手段により得られた対応点とを他方の前記乳房画像における前記基準点と前記対応点取得手段により得られた対応点とに一致するように少なくとも前記一方の乳房画像の乳房領域を変形する変形手段とを備えたことを特徴とするものである。

本発明のプログラムは、コンピュータを、
異なる２つの乳房画像の各々より乳頭部上の点または乳房領域の頂点を位置合せ基準点として検出する基準点検出手段と、
前記異なる２つの乳房画像上の互いに対応する対応点を各々の乳房画像より少なくとも２つ取得する対応点取得手段と、
一方の前記乳房画像における前記基準点と前記対応点取得手段により得られた対応点とを他方の前記乳房画像における前記基準点と前記対応点取得手段により得られた対応点とに一致するように少なくとも前記一方の乳房画像の乳房領域を変形する変形手段として機能させるものである。

「一方の前記乳房画像における前記基準点と前記対応点取得手段により得られた対応点とを他方の前記乳房画像における前記基準点と前記対応点取得手段により得られた対応点とに一致するように」とは、一方の乳房画像の基準点の位置と他方の乳房画像の基準点の位置とを一致させ、対応点取得手段により対応するように指示された対応点各々の位置を両方の乳房画像で一致させることをいう。

また、前記対応点取得手段は、乳房画像上の乳房領域の底面側の端点を前記対応点として検出するものであることを特徴とするものである。

「乳房領域の底面側の端点」とは、被写体の輪郭上の乳房領域の開始点と終了点のことをいう。

前記対応点取得手段は、指示入力された点を前記対応点として取得するものであることを特徴とするものである。

前記対応点取得手段は、少なくとも３つの対応点を取得するものであれば、
前記変形手段は、前記乳房画像中に前記基準点と前記対応点のうちの３つの点からなる三角領域を複数設定し、各三角領域ごとに変形して前記基準点と前記対応点とを一致させるものが望ましい。

本発明によれば、撮影された乳房画像の対応点が一致するように変形することによって、撮影条件が異なって撮影された画像を略同じ形状にすることができ観察しやすくすることができる。

また、変形する対応位置を乳房領域の底面側の端点とすることによって、傾きが異なって撮影された画像の傾きを略同じ傾きにすることができる。

また、必要に応じて対応する点を入力して変形することによって、対比観察すべき箇所の相違点がわかりやすくなる。

さらに、複数の三角領域に分けて変形することによって、基準点と３つ以上ある対応点とが一致するように乳房領域の変形することが可能になる。

以下、図面を参照して本発明の乳房画像位置合わせ装置の第１の実施の形態について説明する。

図１に示すように、乳房画像位置合わせ装置１は、異なる２つの乳房画像の各々より乳頭部上の点または乳房領域の頂点を位置合せ基準点として検出する基準点検出手段２と、前記異なる２つの乳房画像が対応する対応点を各々乳房画像より少なくとも２つ取得する対応点取得手段３と、基準点と対応点取得手段３により取得した対応点が一致するように前記乳房画像の乳房領域を変形する変形手段４とを備える。

本実施の形態では、右乳房を撮影した右乳房画像Ｓｒと左乳房を撮影した左乳房画像Ｓｌとの位置合せを行う場合について以下説明する。

基準点検出手段２は、各乳房画像Ｓ（以下、右乳房画像Ｓｒと左乳房画像Ｓｌとを区別しない場合には単に乳房画像Ｓという）より、乳房の輪郭を輪郭検出手段１０と、輪郭検出手段１０により検出された輪郭に基づいて乳頭部を検出する乳頭検出手段２０を備え、検出された乳頭部上の点を検出する。

輪郭検出手段１０は、乳房画像ＳのヒストグラムＨに基づいて、撮影された被写体の輪郭を検出する。乳房画像ＳのヒストグラムＨを作成すると、図３に示すように被写体領域と背景領域で表れる画素値のピークは異なり、被写体領域のピークは真中あたりに現れ、背景領域のピークは右側に現れる。そこで、被写体領域と背景領域との境界信号を示す閾値Ｔｈにより二値化処理をして、図２に示すように乳房画像Ｓを被写体領域（斜線部）と背景領域とに分離する。

次に、図４に示すように、胸壁が画像の下側にある場合には、画像の幅Ｗの中心（Ｗ／２）を通る線に沿って下から上に探索し（破線）、被写体領域から背景領域に変わった点をＡとし、Ａから左右の両方向に探索して輪郭Ｒ（以下、スキンラインという）を検出する。具体的には、例えばＡを開始点として、左右両方向に進むようにＡに隣接する画素の中から二値化画像の境となる画素を順次探索し、探索した画素をつないでスキンラインＲとする。

そこで、乳頭検出手段２０は、図５に示すように、スキンラインＲに沿って長さＬの曲線を設定し、この曲線の中心から曲線の両端を結ぶ直線までの距離Ｈを求める。長さＬの曲線を徐々にずらしながら複数設定し、各曲線の中心点Ｐから直線までの距離Ｈを求め、Ｈ／Ｌの値が最も大きい中心点Ｐの近傍に乳頭部Ｄが存在するものとし、この中心点Ｐを乳頭上の点として検出する。このとき、長さＬの曲線をずらす幅は、乳頭の統計的な大きさから乳頭部のスキンラインＲ上に曲線の中心点が少なくとも１箇所は設定されるような間隔で設定する。

あるいは、図６に示すように、輪郭検出手段１０により検出されたスキンラインＲに対して、統計的に得られた乳頭の大きさより乳頭部に内に入り込まない円形の構造要素Ｂを用いてトップハット変換を施すと（同図（Ａ）参照）、同図（Ｂ）に示すように、乳頭の部分のみがｙ方向の座標値を持つような形状が得られる。この方向の座標値を持つ凸部を乳頭部Ｄとして検出し、検出した乳頭部Ｄの輪郭上の中心点を乳頭上の点として検出してもよい。

また、図７に示めすように、輪郭検出手段１０により検出されたスキンラインに対して２次微分の値を求めると、同図（Ｂ）に示すように、乳頭以外では略一定の値となるが、乳頭に変わる前後（Ｑ１、Ｑ２）では２次微分の値が急激に変化する。この２次微分が変化するところを乳頭の開始Ｑ１と終了Ｑ２として乳頭部Ｄを検出し、検出した乳頭部Ｄの輪郭上の中心点を乳頭上の点として検出してもよい。

上述の各手法によって検出された乳頭上の点を乳房領域の位置合せを行う基準点とする。

対応点取得手段３は、右乳房画像Ｓｒと左乳房画像Ｓｌの各々より乳房領域の底面側にある端点、つまり、輪郭Ｒをたどっていったときの乳房領域の開始位置と終了位置とを対応点として検出する（図８参照）。まず、乳房画像Ｓの下端のＸ方向の中心点から左方向を走査し、乳房画像Ｓを被写体領域と背景領域とに分ける閾値Ｔｈより小さい画素値を持つ画素が見つかればその点を乳房の左側の端点とする。見つからなければ画像下端からＹ軸方向（図８の矢印の走査方向）に走査開始点を１画素ずつずらしながら走査開始点から左方向の走査を繰り返す。乳房の右側の端点も、左側の端点の検索と同様に、画像下端のＸ方向の中心点から右方向に走査を行って検出する。

あるいは、医師等の読影者が、ＣＲＴ等の表示装置の画面上に表示されている乳房画像Ｓを観察して、左右の乳房画像Ｓの対応する位置をポインティングデバイなどを用いて指示し対応点として入力するようにしてもよい。

変形手段４は、右乳房画像Ｓｒと左乳房画像Ｓｌの基準点と対応点が一致するように変形する。まず、右乳房画像Ｓｒと左乳房画像Ｓｌでは、乳房が撮影されている向きが左右対称になっているため、左右の乳房画像Ｓの向きを一致するように一方の画像を反転させる。次に、左右の乳房画像Ｓの基準点が一致するように、左の乳房画像Ｓｌの基準点Ｋｌを乳房画Ｓｒの基準点Ｋｒの位置まで平行移動し、さらに、対応点取得手段３により検出した左の乳房画像Ｓｌの対応点Ｐ１ｌ、Ｐ２ｌと右の乳房画像Ｓｒの対応点Ｐ１ｒ、Ｐ２ｒとが一致するように回転を行う。回転して一致しない場合には射影変換する関数を求める（図９参照）。あるいは、ワーピングする関数を求め、この関数を用いて左の乳房画像Ｓｌの乳房領域を変形する。

上述では、左の乳房画像Ｓｌを右の乳房画像Ｓｒに一致するように変形する場合について説明したが、右の乳房画像Ｓｒを左の乳房画像Ｓｌに一致するように変形するようにしてもよい。

また、乳房領域の端点のみを対応点とするのではなく、医師等の読影者が表示装置上に表示された左右の乳房画像を観察して、解剖学的な特徴に基づいて対応点を追加指示することが可能である。例えば、図１０に示すように、右の乳房画像Ｓｒに腫瘤が観察される場合、右の乳房画像Ｓｒの腫瘤が現れている位置Ｐ３ｒ（クロスハッチ部分）とその位置に対応する左の乳房画像Ｓｌ上の位置Ｐ３ｌを、画像を表示してポインティングデバイス等を用いて入力して対応点とする。あるいは、乳腺の走行の状態などを観察して乳房領域の中央付近に対応点を設定するようにしてもよい。対応点を追加して３つ以上設定した場合には、図１０に示すように、乳房領域を基準点と対応点のうちの３つの点を結んだ三角領域を３つ設定して、各三角領域ごとに変形する関数を求めて左右の乳房画像の基準点と各対応点の位置が一致するように変形する。三角領域に含まれない乳房領域は隣接する三角領域と同じ関数を用いて、隣接する領域と画像が連続するように変形を行う。

上述では、基準点を乳頭部を検出してその輪郭上にある点を基準点として検出したが、ガン等の疾病により乳頭が切除されている場合には、乳房画像Ｓから乳頭の自動検出が不可能なため、その場合には乳房領域の頂点を基準点として検出するようにしてもよい。具体的には、乳房画像ＳよりスキンラインＲのＹ方向の座標がもっとも高い位置を頂点として検出する（図８参照）。あるいは、乳房領域の端点を結んだ線分より最も離れている乳房領域の輪郭上の点を頂点として検出してもよい。左右の乳房画像Ｓのうち一方が乳頭が切除された画像の場合には、一方の乳房画像Ｓは乳頭上の点を基準点とし、他方の乳房画像Ｓは乳房の頂点を基準点とするようにしてもよい。さらに、自動検出した基準点が適当ではないと思われる場合には、読影者が基準点を指示して入力するようにしてもよい。

上述では、左右の乳房画像について変形して位置合せを行う方法について説明したが、撮影方向が異なる画像を変形するようにしてもよい。例えば、腫瘤が存在する位置は、撮影方向が異なる場合でも、乳頭からの距離は略同じと考えられるが、撮影方向を変えて撮影を行う場合には、被写体の体位を変えて撮影をおこなうため同じ条件で撮影が行われず、乳頭からの距離が撮影方向によって異なる場合がある。そこで、ＭＬＯ方向の画像とＣＣ方向の画像に現れた腫瘤の位置が対応するように読影者が対応点を指示し、乳頭上の点と乳房の端点と読影者によって指示された対応点が一致するように３つの三角領域に分けて変形する。

以上、詳細に説明したように、２枚の乳房画像の対応点の位置が同じ位置になるように画像を変形することにより、乳房領域の対応関係がわかりやすくなり、熟練していない読影者であっても読影を行いやすくなる。また、このように変形して対応する位置を確認した後に、再度原画像を観察することによってより正確な読影をおこなうことが可能になる。

乳房画像位置合わせ装置の概略構成図 乳房画像を２値化した結果を表す図 乳房画像に表れる画素値のヒストグラム スキンラインの検出方法を説明するための図 スキンライン上の輪郭部分とその両端を結んだ直線とによる乳頭部の検出を説明するための図 トップハット変換による乳頭部の検出を説明するための図 ２次微分による乳頭部の検出を説明するための図 端点と頂点を検出する方法を説明するための図 左右乳房画像の変形を説明するための図 対応点を追加した場合の左右乳房画像の変形を説明するための図

符号の説明

１ 乳房画像位置合わせ装置
２ 基準点検出手段
３ 対応点取得手段
４ 変形手段
１０ 輪郭検出手段
２０ 乳頭検出手段
Ｓｒ 右乳房画像
Ｓｌ 左乳房画像
Ｓ 乳房画像
Ｈ ヒストグラム
Ｒ スキンライン
Ｋｒ，Ｋｌ 基準点
Ｐ１ｒ，Ｐ１ｌ，Ｐ２ｒ，Ｐ２ｌ，Ｐ３ｒ，Ｐ３ｌ 対応点

Claims (5)

1. 異なる２つの乳房画像の各々より乳頭部上の点または乳房領域の頂点を位置合せ基準点として検出する基準点検出手段と、
   前記異なる２つの乳房画像上の互いに対応する対応点を各々の乳房画像より少なくとも２つ取得する対応点取得手段と、
   一方の前記乳房画像における前記基準点と前記対応点取得手段により得られた対応点とを他方の前記乳房画像における前記基準点と前記対応点取得手段により得られた対応点とに一致するように少なくとも前記一方の乳房画像の乳房領域を変形する変形手段とを備えたことを特徴とする乳房画像位置合わせ装置。
2. 前記対応点取得手段が、乳房画像上の乳房領域の底面側の端点を前記対応点として検出するものであることを特徴とする請求項１記載の乳房画像位置合わせ装置。
3. 前記対応点取得手段が、指示入力された点を前記対応点として取得するものであることを特徴とする請求項１記載の乳房画像位置合わせ装置。
4. 前記対応点取得手段が、少なくとも３つの対応点を取得するものであり、
   前記変形手段が、前記乳房画像中に前記基準点と前記対応点のうちの３つの点からなる三角領域を複数設定し、各三角領域ごとに変形して前記基準点と前記対応点とを一致させるものであることを特徴とする請求項１記載の乳房画像位置合わせ装置。
5. コンピュータを、
   異なる２つの乳房画像の各々より乳頭部上の点または乳房領域の頂点を位置合せ基準点として検出する基準点検出手段と、
   前記異なる２つの乳房画像上の互いに対応する対応点を各々の乳房画像より少なくとも２つ取得する対応点取得手段と、
   一方の前記乳房画像における前記基準点と前記対応点取得手段により得られた対応点とを他方の前記乳房画像における前記基準点と前記対応点取得手段により得られた対応点とに一致するように少なくとも前記一方の乳房画像の乳房領域を変形する変形手段として機能させるプログラム。

Images