JP2014150855A - 乳房診断支援システム、および乳房データ処理方法 - Google Patents
乳房診断支援システム、および乳房データ処理方法 Download PDFInfo
- Publication number
- JP2014150855A JP2014150855A JP2013021006A JP2013021006A JP2014150855A JP 2014150855 A JP2014150855 A JP 2014150855A JP 2013021006 A JP2013021006 A JP 2013021006A JP 2013021006 A JP2013021006 A JP 2013021006A JP 2014150855 A JP2014150855 A JP 2014150855A
- Authority
- JP
- Japan
- Prior art keywords
- volume data
- breast
- dimensional volume
- mammography
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000481 breast Anatomy 0.000 title claims abstract description 97
- 238000003745 diagnosis Methods 0.000 title claims abstract description 44
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000003384 imaging method Methods 0.000 claims abstract description 23
- 238000009607 mammography Methods 0.000 claims description 121
- 230000006835 compression Effects 0.000 claims description 17
- 238000007906 compression Methods 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims 2
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 239000002245 particle Substances 0.000 description 5
- 206010006187 Breast cancer Diseases 0.000 description 3
- 208000026310 Breast neoplasm Diseases 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000002559 palpation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【課題】3次元ボリュームデータとマンモグラフィ画像とが見比べやすい乳房診断支援システムを提供する。
【解決手段】マンモグラフィ画像の座標系と、3次元ボリュームデータの座標系との関係を表わすパラメータを仮定して生成する仮定部と、仮定したパラメータと、マンモグラフィ画像の撮影方向と圧迫状態の乳房の厚みの情報とを用いて、3次元ボリュームデータを変形して2つの変形3次元ボリュームデータを生成する変形部と、疑似的なマンモグラフィ画像である疑似マンモグラフィ画像を2枚1組生成する投影部と、仮定部において仮定したパラメータの妥当性である尤度を算出する比較部と、仮定部において仮定して生成するパラメータを更新するかどうかを決定する更新部と、更新部においてパラメータを更新する必要が無いと決定した場合に、その際のパラメータを出力する出力部と、を備えるようにした。
【選択図】図1
【解決手段】マンモグラフィ画像の座標系と、3次元ボリュームデータの座標系との関係を表わすパラメータを仮定して生成する仮定部と、仮定したパラメータと、マンモグラフィ画像の撮影方向と圧迫状態の乳房の厚みの情報とを用いて、3次元ボリュームデータを変形して2つの変形3次元ボリュームデータを生成する変形部と、疑似的なマンモグラフィ画像である疑似マンモグラフィ画像を2枚1組生成する投影部と、仮定部において仮定したパラメータの妥当性である尤度を算出する比較部と、仮定部において仮定して生成するパラメータを更新するかどうかを決定する更新部と、更新部においてパラメータを更新する必要が無いと決定した場合に、その際のパラメータを出力する出力部と、を備えるようにした。
【選択図】図1
Description
この発明は、マンモグラフィ(乳房X線撮影)による乳がん診断のための乳房診断支援システムに関するものである。
昨今では、初期の乳がんを早期に発見するため、乳房の触診に加えて、マンモグラフィを用いた診断が行われている。マンモグラフィによる診断では、乳房を撮影台とプラスチックの板で強く挟みこみ、4〜5cm程度の厚みに圧迫してX線撮影を行う。通常は、乳房ごとに、撮影方向を変えて(例えば、上下方向と左右方向)2枚1組の2次元画像を取得することになる。そして、専門の医師が画像から乳がんの有無や状態を診断する。
しかし、マンモグラフィによって撮影された画像は2次元の投影画像にすぎず、しかも乳房が圧迫されて変形した状態で写っているため、乳房やがん患部を立体的に把握するのには無理がある。そのため、近年では、超音波撮影装置や陽電子放射断層撮影装置(PET: Positron Emission Tomography)、コンピュータ断層撮影装置(CT: Computed Tomography)などを併用した診断が行われている。
これらの診断では、超音波やPETなどによって得られた乳房の3次元ボリュームデータと2次元マンモグラフィ画像を見比べながら行われる。このとき、前者は変形を伴わない自然な状態の乳房を撮影したデータであり、後者は圧迫(変形)した状態の乳房を撮影したデータとなっており、そのままでは見難いという問題がある。
これに対しては、乳房の3次元ボリュームデータを変形して、擬似的な仮想マンモグラフィ画像を生成し、実際のマンモグラフィ画像と見比べられるようするという方法が提案されている(特許文献1、特許文献2)。
M. Isard and A. Blake, "CONDENSATION -Conditional Density Propagation for Visual Tracking," IJCV, Vol.29, No.1, pp.5-28, 1998.
諸岡 健一、外6名、"非線形有限要素解析を模したニューラルネットワークを用いた軟性臓器ボリュームモデルの変形シミュレータ"、電子情報通信学会論文誌 D Vol,J93-D No.3 pp.365-376
山崎 俊太郎、外2名、"PCグラフィクスハードウエアを利用した高精度・高速ボリュームレンダリング手法"、コンピュータビジョンとイメージメディア 130-10 (2001.11.8) pp.71-78
特許文献1や特許文献2に記載れた方法では、超音波撮影装置などが規定する座標系とマンモグラフィが規定する座標系との関係を暗黙のうちに既知として扱っている。あるいは乳房にマーキングを施すことによって、間接的に座標系を合わせるといった仕組みを利用している。
しかし、実際には、これら機器は独立に存在しており、座標系の関係を特定する手段を持ち合わせてはいない。また、マーキングはあいまいであり、擬似的な仮想マンモグラフィを正確に生成することはできないという課題があった。
また、いずれにしても、乳房が変形した状態の2次元画像(仮想を含む)で診断したところで、自然な状態にある乳房でのがん患部の3次元位置などを正確に理解することはできない。
この発明は、上記のような問題点を解決するためになされたものであり、機器間の座標系を推定することにより、3次元ボリュームデータとマンモグラフィ画像とが見比べやすい乳房診断支援システムを得ることを目的としている。
本発明は、平行に配置された2枚の圧迫板により圧迫された状態の乳房のX線画像であるマンモグラフィ画像を撮影するマンモグラフィ画像撮影装置と、自然状態にある乳房の3次元ボリュームデータを取得する3次元ボリュームデータ取得装置と、マンモグラフィ画像撮影装置が撮影したマンモグラフィ画像と3次元ボリュームデータ取得装置が取得した乳房の3次元ボリュームデータとを用いてデータ処理して診断支援のためのデータを出力する乳房診断支援装置とを備えた乳房診断支援システムであって、乳房診断支援装置は、乳房の3次元ボリュームデータを取り込む3次元ボリュームデータ取得部と、マンモグラフィ画像撮影装置が、2方向から、それぞれの撮影方向に圧迫された状態の乳房を撮影した2枚1組のマンモグラフィ画像を取り込むマンモグラフィ画像取得部と、マンモグラフィ画像撮影装置が規定する座標系と、3次元ボリュームデータ取得装置が規定する座標系との関係を表わすパラメータを仮定して生成する仮定部と、仮定部で仮定したパラメータと、マンモグラフィ画像撮影装置が2枚1組のマンモグラフィ画像を撮影したときの、それぞれの撮影方向と圧迫された状態の乳房のそれぞれの厚みの情報とを用いて、乳房の3次元ボリュームデータを変形して2つの変形3次元ボリュームデータを生成する変形部と、2つの変形3次元ボリュームデータと、それぞれの撮影方向とを用いて、疑似的なマンモグラフィ画像である疑似マンモグラフィ画像を2枚1組生成する投影部と、2枚1組のマンモグラフィ画像と2枚1組の疑似マンモグラフィ画像との対応する画像同士をそれぞれ比較して、仮定部において仮定したパラメータの妥当性である尤度を算出する比較部と、比較部において算出した尤度に基づいて、仮定部において仮定して生成するパラメータを更新するかどうかを決定する更新部と、更新部においてパラメータを更新する必要が無いと決定した場合に、当該更新する必要が無いと決定したパラメータを出力する出力部と、を備えるようにしたものである。
この発明により、3次元ボリュームデータ取得装置が規定する座標系とマンモグラフィ画像撮影装置が規定する座標系との関係を表わすパラメータが正確に求まり、3次元ボリュームデータとマンモグラフィ画像が見比べやすくなる。
実施の形態1.
図1は、本発明の実施の形態1によるマンモグラフィを用いた乳房診断支援システムの構成を示すブロック図である。3次元ボリュームデータ取得装置10は、特定の座標系において自然状態にある乳房の3次元ボリュームデータを取得する。例えば、超音波撮影装置、PET、CT、MRI(Magnetic Resonance Imaging)などの装置により乳房の3次元ボリュームデータを取得する。これらの3次元ボリュームデータ取得装置10を使えば、乳房の内部情報を含む3次元ボリュームデータを取得することができる。3次元ボリュームデータ取得装置10は、また、外観形状を取得するセンサ、例えば、立体視によって3次元外観形状を復元するステレオカメラやレーザスキャナなどであってもよい。3次元ボリュームデータ取得装置10により取得した3次元ボリュームデータを、3次元ボリュームデータ取得部1が乳房診断支援装置30内に取り込む。マンモグラフィ画像取得部2は、3次元ボリュームデータ取得装置10が取得する3次元ボリュームデータに対して独立の座標系をもつマンモグラフィ画像撮影装置20によって、圧迫された乳房を2方向から撮影した2枚1組の2次元画像を、乳房診断支援装置30内に取得する。
図1は、本発明の実施の形態1によるマンモグラフィを用いた乳房診断支援システムの構成を示すブロック図である。3次元ボリュームデータ取得装置10は、特定の座標系において自然状態にある乳房の3次元ボリュームデータを取得する。例えば、超音波撮影装置、PET、CT、MRI(Magnetic Resonance Imaging)などの装置により乳房の3次元ボリュームデータを取得する。これらの3次元ボリュームデータ取得装置10を使えば、乳房の内部情報を含む3次元ボリュームデータを取得することができる。3次元ボリュームデータ取得装置10は、また、外観形状を取得するセンサ、例えば、立体視によって3次元外観形状を復元するステレオカメラやレーザスキャナなどであってもよい。3次元ボリュームデータ取得装置10により取得した3次元ボリュームデータを、3次元ボリュームデータ取得部1が乳房診断支援装置30内に取り込む。マンモグラフィ画像取得部2は、3次元ボリュームデータ取得装置10が取得する3次元ボリュームデータに対して独立の座標系をもつマンモグラフィ画像撮影装置20によって、圧迫された乳房を2方向から撮影した2枚1組の2次元画像を、乳房診断支援装置30内に取得する。
仮定部3は、3次元ボリュームデータ取得装置10が規定する座標系とマンモグラフィ画像撮影装置20が規定する座標系との関係を表わすパラメータを仮定する。変形部4は、仮定部3において仮定されたパラメータを用いて3次元ボリュームデータに変形を加える。投影部5は、同じく仮定部3において仮定されたパラメータを用いて、変形部4において変形した変形3次元ボリュームデータを投影した画像である擬似的なマンモグラフィ画像、すなわち擬似マンモグラフィ画像を生成する。比較部6は、マンモグラフィ画像取得部2において取得した実際のマンモグラフィ画像と投影部5において生成された擬似マンモグラフィ画像とを比較し、仮定部3において仮定したパラメータの妥当性を検証する。更新部7は、同パラメータを更新する。出力部13は、最終的に決定したパラメータを出力する。
以下、図2のフローチャートにより、本発明の実施の形態1による乳房診断支援システムの動作、すなわち乳房データ処理方法を説明する。まず、3次元ボリュームデータ取得装置10により3次元ボリュームデータ取得装置10が規定する座標系において自然状態にある乳房の3次元ボリュームデータを取得し、3次元ボリュームデータ取得部1が乳房診断支援装置30内にデータを取り込む(ステップST1)。次に、マンモグラフィ画像撮影装置20が圧迫された乳房を2方向から撮影した2枚1組の2次元のマンモグラフィ画像を、マンモグラフィ画像取得部2が乳房診断支援装置30内に取り込む(ステップST2)。このとき、マンモグラフィ画像撮影装置20が規定する座標系における乳房の撮影方向および圧迫の厚み、すなわちマンモグラフィ撮影時パラメータは既知とする。
マンモグラフィ画像撮影装置20が、異なる2方向から圧迫された乳房をそれぞれの方
向から撮影する様子を図3に示す。図3に示すように、平行に配置された2枚の圧迫板21および圧迫板22の間に乳房を挟み、2枚の圧迫板21および圧迫板22を平行に保ったまま、その間隔を所定の間隔まで縮めることにより乳房を圧迫する。その後、圧迫板の面に垂直な方向からX線撮影しマンモグラフィ画像を取得する。この撮影を、図3に示すように、例えば患者の左右方向(撮影方向1)と、左右方向に垂直な上下方向(撮影方向2)とで行う。このようにして、2枚1組のマンモグラフィ画像を取得する。
向から撮影する様子を図3に示す。図3に示すように、平行に配置された2枚の圧迫板21および圧迫板22の間に乳房を挟み、2枚の圧迫板21および圧迫板22を平行に保ったまま、その間隔を所定の間隔まで縮めることにより乳房を圧迫する。その後、圧迫板の面に垂直な方向からX線撮影しマンモグラフィ画像を取得する。この撮影を、図3に示すように、例えば患者の左右方向(撮影方向1)と、左右方向に垂直な上下方向(撮影方向2)とで行う。このようにして、2枚1組のマンモグラフィ画像を取得する。
これら2つのデータセット(3次元ボリュームデータおよび2枚1組のマンモグラフィ画像)を用いて、3次元ボリュームデータ取得装置10が規定する座標系とマンモグラフィ画像撮影装置20が規定する座標系との関係を表わすパラメータを求める。ここでは、非特許文献1などに記載がある、公知のパーティクルフィルタという手法を用いてパラメータを求める。パーティクルフィルタは、隠れたパラメータ群を観測値のみから推定することができる手法である。
パーティクルフィルタにおける具体的な手続きは以下の通りである。
(1)求めたいパラメータ空間において、パラメータに対する仮説を複数生成する。初期状態では空間内に一様に生成すればよい。それ以外では、以前の状態に応じて尤もらしいところに数多くの仮説を生成する。
(2)各仮説に対してノイズを加える。このノイズは、パラメータの最適解を推定する際に、誤った局所解に陥るのを防止する役割を担う。
(3)観測されているデータを用いて、各仮説の尤度(妥当性)を検証する。
(4)尤度の重みつき平均を求め、仮説全体からパラメータを仮決めする。または、最大の尤度をもつパラメータを選択する。
(5)(4)におけるパラメータが変わらなくなるまで、(1)から(4)を繰り返す。
(1)求めたいパラメータ空間において、パラメータに対する仮説を複数生成する。初期状態では空間内に一様に生成すればよい。それ以外では、以前の状態に応じて尤もらしいところに数多くの仮説を生成する。
(2)各仮説に対してノイズを加える。このノイズは、パラメータの最適解を推定する際に、誤った局所解に陥るのを防止する役割を担う。
(3)観測されているデータを用いて、各仮説の尤度(妥当性)を検証する。
(4)尤度の重みつき平均を求め、仮説全体からパラメータを仮決めする。または、最大の尤度をもつパラメータを選択する。
(5)(4)におけるパラメータが変わらなくなるまで、(1)から(4)を繰り返す。
このパーティクルフィルタを用いて以下の処理を行う。仮定部3は、3次元ボリュームデータ取得装置10が規定する座標系とマンモグラフィ画像撮影装置20が規定する座標系との関係を表わすパラメータについて仮説を複数生成する(ステップST3)。なお、座標系の関係は回転パラメータRと併進パラメータTによって式(1)のように表わすことができる。
仮説は、初期状態では(R、T)パラメータ空間内に一様に生成すればよい。それ以外では、以前の状態に応じて尤もらしいところに数多くの仮説を生成する。さらに、仮定部3が、各仮説が持つ回転・併進パラメータの値に対してノイズとしてランダムな値を加える(ステップST4)。ノイズの値は、例えば、平均0、標準偏差σ(所定値)の正規分布に従って生成すればよい。
次に、各仮説によって規定されるパラメータを用いて、式(1)により3次元ボリュームデータをマンモグラフィ画像撮影装置20が規定する座標系に変換することができる。また、前述のように、マンモグラフィ画像撮影装置20が規定する座標系における乳房の撮影方向、すなわち圧迫する方向、および圧迫の厚みは既知であるから、これら圧迫する方向および圧迫の厚みの値を用いて、人体の外力による変形の公知の技術(例えば非特許文献2を参照)を用いて、座標変換した3次元ボリュームデータに圧迫による変形を加え
ることができる。以上のようにして、変形部4において、各仮説によって規定されるパラメータを用いて座標変換し、さらに3次元ボリュームデータに圧迫による変形を加え、変形3次元ボリュームデータを生成する(ステップST5)。ここでは、異なる2方向からそれぞれ圧迫された変形3次元ボリュームデータが2つ生成される。
ることができる。以上のようにして、変形部4において、各仮説によって規定されるパラメータを用いて座標変換し、さらに3次元ボリュームデータに圧迫による変形を加え、変形3次元ボリュームデータを生成する(ステップST5)。ここでは、異なる2方向からそれぞれ圧迫された変形3次元ボリュームデータが2つ生成される。
投影部5において、同じく各仮説において、仮説によって規定されるパラメータを用いて、変形部4が生成した2つの変形3次元ボリュームデータをそれぞれ投影して、2つの擬似的なマンモグラフィ画像である疑似マンモグラフィ画像を生成する(ステップST6)。投影方法は、例えば非特許文献3に記載されたような方法があり、マンモグラフィの撮影構造を模擬したものとする。
そして、比較部6において、各仮説から生成した2枚1組の擬似マンモグラフィ画像と実際の2枚1組のマンモグラフィ画像とを、圧迫の方向が同じ画像同士、すなわち対応する画像同士を比較して、各仮説の尤度(妥当性)を算出する(ステップST7)。ここでは、画像間の類似度をはかり、尤度とする。類似度の指標には、例えば、テンプレートマッチングで用いられるような差分絶対値和、差分二乗和、正規化相互相関値などを用いればよい。
更新部7が、各仮説の尤度の重みつき平均を求め、仮説全体からパラメータを1つ仮決めする。または、最大の尤度をもつパラメータを選択する(ステップST8)。ここでは、ステップST8で求めたパラメータが変わらなくなるまで、すなわち更新部7においてパラメータを更新する必要が無いと決定するまで、ステップST3からステップST8を繰り返す。
更新部7においてパラメータを更新する必要が無いと決定したら、当該決定したパラメータを出力部13から出力する(ステップST9)。また、必要に応じて決定したパラメータにより生成した2枚1組の擬似マンモグラフィ画像を、診断のための確定疑似マンモグラフィ画像として出力部13から出力する。
以上のように、本発明では、3次元ボリュームデータ取得装置10が規定する座標系とマンモグラフィ画像撮影装置20が規定する座標系との関係を表わすパラメータを正確に求め、取得した乳房の3次元ボリュームデータをマンモグラフィ画像撮影装置20が規定する座標系に直した乳房の3次元ボリュームデータを基に、疑似マンモグラフィ画像を生成する。この疑似マンモグラフィ画像を用いることにより、実施の形態2で説明するデータ処理が可能となる。また、マンモグラフィ画像撮影装置20が規定する座標系に直した乳房の3次元ボリュームデータとマンモグラフィ画像撮影装置20により撮影したマンモグラフィ画像を同時に表示することで、同じ座標系で表示することになり、乳房の3次元ボリュームデータの画像とマンモグラフィ画像とを見比べやすくなり、診断に寄与できるようになる。
もちろん、マンモグラフィ画像撮影装置20が撮影したマンモグラフィ画像を3次元ボリュームデータ取得装置10が規定する座標系に直したマンモグラフィ画像と、3次元ボリュームデータ取得装置10により取得した乳房の3次元ボリュームデータとを同時に表示しても良いことは言うまでもない。要するに、マンモグラフィ画像撮影装置20により撮影したマンモグラフィ画像と3次元ボリュームデータ取得装置10が取得した乳房の3次元ボリュームデータを、出力部13から出力されたパラメータに基づいて、同一の座標系で表現して、同一の座標系で表現された2枚1組のマンモグラフィ画像と同一の座標系で表現された乳房の3次元ボリュームデータとを同時に表示するようにすればよい。
なお、上記の説明では、パーティクルフィルタを用いてパラメータの最適解を探索するようにしたが、パラメータの最適解は一般的な山登り法などを使って求めてもよい。
実施の形態2.
図4は、本発明の実施の形態2による乳房診断支援システムの構成を示すブロック図である。図4に示した、実施の形態2による乳房診断支援システムの乳房診断支援装置30は、患部位置情報取得部8、復元部9、および患部位置推定部11を備える。それ以外は、実施の形態1と同様である。
図4は、本発明の実施の形態2による乳房診断支援システムの構成を示すブロック図である。図4に示した、実施の形態2による乳房診断支援システムの乳房診断支援装置30は、患部位置情報取得部8、復元部9、および患部位置推定部11を備える。それ以外は、実施の形態1と同様である。
患部位置情報取得部8は、マンモグラフィで撮影された2枚1組の各画像において、がん患部の画像上の位置情報を外部から取得する。復元部9は、2枚1組の疑似マンモグラフィ画像または2枚1組のマンモグラフィ画像の、患部位置情報取得部8により取得されたそれぞれの患部位置情報に対応する位置から、更新部7において更新する必要が無いと決定したパラメータを用いて変形部4において生成された2つの変形3次元ボリュームデータ内に、それぞれの投影方向にそれぞれの投影直線を描き、それぞれの投影直線が描かれた2つの変形3次元ボリュームデータを、2つのマンモグラフィ画像のそれぞれの撮影方向と圧迫された状態の乳房のそれぞれの厚みの情報とを用いて、逆変形して2つの復元3次元ボリュームデータを生成する。患部位置推定部11は、2つの復元3次元ボリュームデータを合成し、合成された3次元ボリュームデータ内の2つの投影直線が変形されて生成された2つの投影曲線の交点または2つの投影曲線の最短距離を構成する線分から、乳房の3次元ボリュームデータ内における患部位置を推定する。
以下、図5のフローチャートにより、本発明の実施の形態2による乳房診断支援装置の動作、すなわち乳房データ処理方法を説明する。なお、ステップST1からステップST9までは、実施の形態1と同様である。まず、患部位置情報取得部8において、マンモグラフィで撮影された2枚1組の各画像におけるがん患部の位置情報を外部から取得する(ステップST10)。取得方法は問わないが、例えば、PCのディスプレイに画像を表示しておき、専門の医師がマウスでクリックした位置の情報を取得すればよい。
2つのマンモグラフィ画像上の患部位置情報として取得された患部位置を、ステップST9で変形した変形3次元ボリュームデータ上に投影する。これは、ステップST8で求まったパラメータ、すなわち出力部13から出力されるパラメータを用いて行われる。このとき用いるマンモグラフィ画像は、出力部13から出力されるパラメータに基づいて生成された疑似マンモグラフィ画像でも、元の、マンモグラフィ画像取得部2により取得した実際のマンモグラフィ画像であっても良い。両者はほぼ同一の画像となっているからである。
具体的な投影方法は、以下の様である。まず、出力部13が出力する際のパラメータに基づいて投影部5において生成された2枚1組の疑似マンモグラフィ画像またはマンモグラフィ画像取得部2により取得した2枚1組のマンモグラフィ画像と、出力部13が出力する際のパラメータに基づいて変形部4において生成された2つの変形3次元ボリュームデータと、マンモグラフィ画像撮影装置が2枚1組のマンモグラフィ画像を撮影した際のそれぞれの撮影方向とを、出力部13が出力するパラメータに基づいて同一の座標系で表現する(ステップST11)。次に、同一の座標系で表現された2枚1組の疑似マンモグラフィ画像上または同一の座標系で表現された2枚1組のマンモグラフィ画像上の患部位置を、同一の座標系で表現されたそれぞれの変形3次元ボリュームデータ内に、同一の座標系で表現されたそれぞれの撮影方向に投影して、2つの変形3次元ボリュームデータ内に直線を描く(ステップST12)。
図6および図7に投影の概念図を示す。2つの変形3次元ボリュームデータと2枚1組のマンモグラフィ画像を世界座標系、すなわち出力部13から出力されるパラメータに基づいてマンモグラフィ画像撮影装置20が規定する座標系に3次元ボリュームデータ取得装置10が規定する座標系を合わせた同一の座標系の中で表現する。同一の座標系は、3次元ボリュームデータ取得装置10が規定する座標系にマンモグラフィ画像撮影装置20が規定する座標系を合わせた同一の座標系であってもよいのは言うまでもない。それぞれの変形3次元ボリュームデータ中には、図6におけるL1、および図7におけるL2のように、それぞれのマンモグラフィ画像上の患部位置を通り、マンモグラフィの撮影方向と平行にのびる直線(投影直線と呼ぶ)が引かれることになる。さらに、それぞれの投影直線が引かれたそれぞれの変形3次元ボリュームデータを逆変形することにより、図6におけるLF1、および図7におけるLF2のように、それぞれ投影直線から逆変形された曲線(投影曲線と呼ぶ)を含む2つの復元3次元ボリュームデータを生成する(ステップST13)。逆変形は、変形部4における変形の、逆の変形を実行すればよく、同一の座標系で表現されたそれぞれの撮影方向と圧迫された状態の乳房のそれぞれの厚みの情報とを用いることにより実行される。
逆変形された2つの復元3次元ボリュームデータは、含まれる投影曲線以外は同一となり、3次元ボリュームデータ取得装置10が取得した元の乳房の3次元ボリュームデータと同一となる。したがって、逆変形された2つの復元3次元ボリュームデータを合成する(ステップST14)ことにより、図8のように2つの投影曲線を含んだ乳房の3次元ボリュームデータが得られる。最後に、この2つの投影曲線の交点を求め、乳房の3次元ボリュームデータ上での患部位置12と推定する(ステップST15)。なお、一般には、計測誤差などの影響により、合成した復元3次元ボリュームデータ中の2つの投影曲線は交わらないことが多い。このため、2投影曲線の関係を拡大した図9に示すように、2投影曲線の最短距離を構成する線分Lnを求め、この線分Lnから患部位置12を推定すればよい。例えば、線分Lnの中点を患部位置12と推定すればよい。
以上のように、本発明の実施の形態2による乳房診断支援システムでは、同一の座標系で表現したマンモグラフィ画像と3次元ボリュームデータを用いて、3次元ボリュームデータ上に患部位置を推定して復元して表示することができるようになり、診断に寄与できるようになる。
なお、本発明は、その発明の範囲内において、各実施の形態を組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。
1:3次元ボリュームデータ取得部、2:マンモグラフィ画像取得部、3:仮定部、4:変形部、5:投影部、6:比較部、7:更新部、8:入力部、9:復元部、10:3次元ボリュームデータ取得装置、11:患部位置特定部、12:患部位置、13:出力部、20:マンモグラフィ画像撮影装置、21:圧迫板、22:圧迫板、30:乳房診断支援装置
Claims (5)
- 平行に配置された2枚の圧迫板により圧迫された状態の乳房のX線画像であるマンモグラフィ画像を撮影するマンモグラフィ画像撮影装置と、自然状態にある乳房の3次元ボリュームデータを取得する3次元ボリュームデータ取得装置と、前記マンモグラフィ画像撮影装置が撮影したマンモグラフィ画像と前記3次元ボリュームデータ取得装置が取得した乳房の3次元ボリュームデータとを用いてデータ処理して診断支援のためのデータを出力する乳房診断支援装置とを備えた乳房診断支援システムであって、
前記乳房診断支援装置は、
前記乳房の3次元ボリュームデータを取り込む3次元ボリュームデータ取得部と、
前記マンモグラフィ画像撮影装置が、2方向から、それぞれの撮影方向に圧迫された状態の乳房を撮影した2枚1組のマンモグラフィ画像を取り込むマンモグラフィ画像取得部と、
前記マンモグラフィ画像撮影装置が規定する座標系と、前記3次元ボリュームデータ取得装置が規定する座標系との関係を表わすパラメータを仮定して生成する仮定部と、
前記仮定部で仮定したパラメータと、前記マンモグラフィ画像撮影装置が前記2枚1組のマンモグラフィ画像を撮影したときの、前記それぞれの撮影方向と前記圧迫された状態の乳房のそれぞれの厚みの情報とを用いて、前記乳房の3次元ボリュームデータを変形して2つの変形3次元ボリュームデータを生成する変形部と、
前記2つの変形3次元ボリュームデータと、前記それぞれの撮影方向とを用いて、疑似的なマンモグラフィ画像である疑似マンモグラフィ画像を2枚1組生成する投影部と、
前記2枚1組のマンモグラフィ画像と前記2枚1組の疑似マンモグラフィ画像との対応する画像同士をそれぞれ比較して、前記仮定部において仮定したパラメータの妥当性である尤度を算出する比較部と、
前記比較部において算出した尤度に基づいて、前記仮定部において仮定して生成するパラメータを更新するかどうかを決定する更新部と、
前記更新部においてパラメータを更新する必要が無いと決定した場合に、当該更新する必要が無いと決定したパラメータを出力する出力部と、
を備えたことを特徴とする乳房診断支援システム。 - 前記乳房診断支援装置は、
前記2枚1組のマンモグラフィ画像におけるそれぞれの患部位置情報を取得する患部位置情報取得部と、
前記出力部が出力する際のパラメータに基づいて前記投影部において生成された前記2枚1組の疑似マンモグラフィ画像または前記2枚1組のマンモグラフィ画像と、前記出力部が出力する際のパラメータに基づいて前記変形部において生成された前記2つの変形3次元ボリュームデータと、前記それぞれの撮影方向とを、前記出力部が出力するパラメータに基づいて同一の座標系で表現し、前記同一の座標系で表現された前記2枚1組の疑似マンモグラフィ画像または前記同一の座標系で表現された前記2枚1組のマンモグラフィ画像の、前記患部位置情報取得部により取得されたそれぞれの患部位置情報に対応する位置から、前記同一の座標系で表現された前記2つの変形3次元ボリュームデータ内に、前記同一の座標系で表現された前記それぞれの撮影方向にそれぞれの投影直線を描き、前記それぞれの投影直線が描かれた前記2つの変形3次元ボリュームデータを、前記同一の座標系で表現された前記それぞれの撮影方向と前記圧迫された状態の乳房のそれぞれの厚みの情報とを用いて、逆変形して2つの復元3次元ボリュームデータを生成する復元部と、前記2つの復元3次元ボリュームデータを合成することにより、合成された復元3次元ボリュームデータ内に前記それぞれの投影直線が逆変形されて生成された2つの投影曲線の交点、または前記2つの投影曲線の最短距離を構成する線分から、前記乳房の3次元ボリュームデータ内における患部位置を特定する患部位置推定部と、
を備えたことを特徴とする請求項1に記載の乳房診断支援システム。 - 前記出力部が出力するパラメータに基づいて、前記2枚1組のマンモグラフィ画像と、前記乳房の3次元ボリュームデータとを同一の座標系で表現し、前記同一の座標系で表現された前記2枚1組のマンモグラフィ画像と前記同一の座標系で表現された前記乳房の3次元ボリュームデータとを同時に表示することを特徴とする請求項1に記載の乳房診断支援システム。
- 3次元ボリュームデータ取得装置により、自然状態にある乳房の3次元ボリュームデータを取得する3次元ボリュームデータ取得ステップと、
マンモグラフィ画像撮影装置により、2方向から、それぞれの撮影方向に圧迫された状態の乳房を撮影したX線撮影画像を2枚1組のマンモグラフィ画像として取得するマンモグラフィ画像取得ステップと、
前記マンモグラフィ画像撮影装置が規定する座標系と前記3次元ボリュームデータ取得装置が規定する座標系との関係を表わすパラメータを仮定して生成するパラメータ仮定ステップと、
前記パラメータ仮定ステップにおいて生成したパラメータと、前記マンモグラフィ画像取得ステップにおいて2枚1組のマンモグラフィ画像を撮影したときの、前記それぞれの撮影方向と前記圧迫された状態の乳房のそれぞれの厚みの情報とを用いて前記乳房の3次元ボリュームデータを変形して2つの変形3次元ボリュームデータを生成する変形ステップと、
前記2つの変形3次元ボリュームデータと、前記ぞれぞれの撮影方向とを用いて、疑似的なマンモグラフィ画像である疑似マンモグラフィ画像を2枚1組生成する投影ステップと、
前記2枚1組のマンモグラフィ画像と前記2枚1組の疑似マンモグラフィ画像との対応する画像同士を比較して、前記パラメータ仮定ステップにおいて仮定したパラメータの妥当性である尤度を算出する比較ステップと、
前記比較ステップにおいて算出した尤度により、前記パラメータ仮定ステップにおいて仮定して生成するパラメータを更新するかどうかを決定する更新ステップと、を有し、
前記更新ステップにおいて、前記パラメータ仮定ステップにおいて仮定して生成するパラメータを更新する必要が無いと決定するまで、前記パラメータ仮定ステップにおけるパラメータを更新して、前記変形ステップと、前記投影ステップと、前記比較ステップと、前記更新ステップとを繰り返し、
前記更新ステップにおいて前記パラメータ仮定ステップにおけるパラメータを更新する必要が無いと決定した場合に、当該更新する必要が無いと決定したパラメータを出力する出力ステップをさらに有する乳房データ処理方法。 - 前記2枚1組のマンモグラフィ画像におけるそれぞれの患部位置情報を取得する患部位置情報取得ステップと、
前記出力ステップにおいて出力する際のパラメータに基づいて前記投影ステップにおいて生成された前記2枚1組の疑似マンモグラフィ画像または前記2枚1組のマンモグラフィ画像と、前記出力ステップにおいて出力する際のパラメータに基づいて前記変形ステップにおいて生成された前記2つの変形3次元ボリュームデータと、前記それぞれの撮影方向とを、前記出力ステップにおいてが出力するパラメータに基づいて同一の座標系で表現し、前記同一の座標系で表現された前記2枚1組の疑似マンモグラフィ画像または前記同一の座標系で表現された前記2枚1組のマンモグラフィ画像の、前記患部位置情報取得ステップにおいて取得されたそれぞれの患部位置情報に対応する位置から、前記同一の座標系で表現された前記2つの変形3次元ボリュームデータ内に、前記同一の座標系で表現された前記それぞれの投影方向にそれぞれの投影直線を描く投影直線描画ステップと、
前記それぞれの投影直線を含む前記2つの変形3次元ボリュームデータを、前記同一の座標系で表現された前記それぞれの撮影方向と前記圧迫された状態の乳房のそれぞれの厚みの情報とを用いて、逆変形して2つの復元3次元ボリュームデータを生成する復元ステップと、
前記2つの復元3次元ボリュームデータを合成することにより、合成された復元3次元ボリュームデータ内に前記それぞれの投影直線が逆変形されて生成された、2つの投影曲線の交点または前記2つの投影曲線の最短距離を構成する線分から、前記乳房の3次元ボリュームデータ内における患部位置を推定する患部位置推定ステップと、
を有することを特徴とする請求項4に記載の乳房データ処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013021006A JP2014150855A (ja) | 2013-02-06 | 2013-02-06 | 乳房診断支援システム、および乳房データ処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013021006A JP2014150855A (ja) | 2013-02-06 | 2013-02-06 | 乳房診断支援システム、および乳房データ処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014150855A true JP2014150855A (ja) | 2014-08-25 |
Family
ID=51573366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013021006A Pending JP2014150855A (ja) | 2013-02-06 | 2013-02-06 | 乳房診断支援システム、および乳房データ処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014150855A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017047079A (ja) * | 2015-09-04 | 2017-03-09 | 東芝メディカルシステムズ株式会社 | 医用画像表示装置及びマンモグラフィ装置 |
CN109223016A (zh) * | 2018-07-18 | 2019-01-18 | 江苏影医疗设备有限公司 | Ct成像方法及成像设备 |
CN112598808A (zh) * | 2020-12-23 | 2021-04-02 | 深圳大学 | 数据处理方法、装置、电子设备和存储介质 |
CN114557772A (zh) * | 2022-02-10 | 2022-05-31 | 大连理工大学 | 乳房手术外形重塑术中虚实融合导航系统与方法 |
-
2013
- 2013-02-06 JP JP2013021006A patent/JP2014150855A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017047079A (ja) * | 2015-09-04 | 2017-03-09 | 東芝メディカルシステムズ株式会社 | 医用画像表示装置及びマンモグラフィ装置 |
CN109223016A (zh) * | 2018-07-18 | 2019-01-18 | 江苏影医疗设备有限公司 | Ct成像方法及成像设备 |
CN112598808A (zh) * | 2020-12-23 | 2021-04-02 | 深圳大学 | 数据处理方法、装置、电子设备和存储介质 |
CN112598808B (zh) * | 2020-12-23 | 2024-04-02 | 深圳大学 | 数据处理方法、装置、电子设备和存储介质 |
CN114557772A (zh) * | 2022-02-10 | 2022-05-31 | 大连理工大学 | 乳房手术外形重塑术中虚实融合导航系统与方法 |
CN114557772B (zh) * | 2022-02-10 | 2024-03-26 | 大连理工大学 | 乳房手术外形重塑术中虚实融合导航系统与方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9105207B2 (en) | Four dimensional image registration using dynamical model for augmented reality in medical applications | |
US9691150B2 (en) | Image processing apparatus, image processing method and storage medium | |
US9035941B2 (en) | Image processing apparatus and image processing method | |
JP6182045B2 (ja) | 画像処理装置およびその方法 | |
US9396576B2 (en) | Method and apparatus for estimating the three-dimensional shape of an object | |
CN109152566B (zh) | 校正超声融合成像系统中的探头引起的变形 | |
KR20090127101A (ko) | 밝기값과 그레디언트 정보를 이용한 초음파 영상과 ct 영상의 비강체 영상정합 시스템 | |
US10667786B2 (en) | Ultrasound imaging apparatus and method for segmenting anatomical objects | |
Haouchine et al. | Towards an accurate tracking of liver tumors for augmented reality in robotic assisted surgery | |
JP2016087109A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2018110615A (ja) | 画像処理装置および画像処理方法 | |
US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
Haouchine et al. | Monocular 3D reconstruction and augmentation of elastic surfaces with self-occlusion handling | |
JP6145870B2 (ja) | 画像表示装置および方法、並びにプログラム | |
JP2014150855A (ja) | 乳房診断支援システム、および乳房データ処理方法 | |
KR20120000729A (ko) | 엑스레이 이미지와 씨티 3차원 모델 정합을 통한 혈관 치료용 마이크로 로봇의 위치 추적 방법 | |
CN108601512B (zh) | 在存在组织变形的情况下提供外科手术辅助的系统和方法 | |
Yano et al. | Accuracy verification of knife tip positioning with position and orientation estimation of the actual liver for liver surgery support system | |
KR101227272B1 (ko) | 초음파 영상과 자기공명 영상 간의 영상정합 방법 | |
Georgii et al. | Model-based position correlation between breast images | |
JP7387280B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6461257B2 (ja) | 画像処理装置およびその方法 | |
KR20120000722A (ko) | 이종 의료용 이미지간의 비강체 융합 방법 | |
JPWO2020138136A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
Maekawa et al. | Dense 3D organ modeling from a laparoscopic video |