JP2014236912A - 画像処理装置およびその方法 - Google Patents
画像処理装置およびその方法 Download PDFInfo
- Publication number
- JP2014236912A JP2014236912A JP2013121780A JP2013121780A JP2014236912A JP 2014236912 A JP2014236912 A JP 2014236912A JP 2013121780 A JP2013121780 A JP 2013121780A JP 2013121780 A JP2013121780 A JP 2013121780A JP 2014236912 A JP2014236912 A JP 2014236912A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- line
- contour
- image
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 64
- 239000000284 extract Substances 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 62
- 238000003672 processing method Methods 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 10
- 230000007423 decrease Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 23
- 230000037182 bone density Effects 0.000 description 22
- 210000000988 bone and bone Anatomy 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 8
- 210000000746 body region Anatomy 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000002238 attenuated effect Effects 0.000 description 3
- 238000009547 dual-energy X-ray absorptiometry Methods 0.000 description 3
- 229910052500 inorganic mineral Inorganic materials 0.000 description 3
- 210000004705 lumbosacral region Anatomy 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000011707 mineral Substances 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 208000001132 Osteoporosis Diseases 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000001739 density measurement Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
【課題】輪郭線を正確に抽出することができ、分断線を正確に抽出することができる画像処理装置およびその方法を提供することを目的とする。
【解決手段】輪郭候補線抽出部11は、医用画像Iから輪郭線の候補となる複数の輪郭候補線を抽出し、輪郭候補線テーブルLを求める。開始点・終了点決定部12は開始点Pstartや終了点Pendを決定し、画像グラフ作成部13は、移動コストを有した画像グラフGを作成する。輪郭線抽出部14は、医用画像I上の開始ノードから終了ノードにまで至る経路であって、移動コストが最小となる経路を輪郭線として抽出する。移動コストが最小となる経路を椎体の輪郭線として抽出することで、手動の入力の煩雑を軽減させることができ、抽出された椎体の輪郭線が自然な滑らかな曲線となり、椎体の輪郭線を正確に抽出することができる。
【選択図】図1
【解決手段】輪郭候補線抽出部11は、医用画像Iから輪郭線の候補となる複数の輪郭候補線を抽出し、輪郭候補線テーブルLを求める。開始点・終了点決定部12は開始点Pstartや終了点Pendを決定し、画像グラフ作成部13は、移動コストを有した画像グラフGを作成する。輪郭線抽出部14は、医用画像I上の開始ノードから終了ノードにまで至る経路であって、移動コストが最小となる経路を輪郭線として抽出する。移動コストが最小となる経路を椎体の輪郭線として抽出することで、手動の入力の煩雑を軽減させることができ、抽出された椎体の輪郭線が自然な滑らかな曲線となり、椎体の輪郭線を正確に抽出することができる。
【選択図】図1
Description
この発明は、画像処理を行う画像処理装置およびその方法に係り、特に、輪郭線、あるいは複数の輪郭線で区切られた領域を分断する分断線を求める技術に関する。
輪郭線、あるいは複数の輪郭線で区切られた領域を分断する分断線を求める画像処理装置としては、例えばX線透視撮影装置や骨密度測定装置などの医用装置の他に、航空写真からの特定領域(例えば海岸線などの輪郭線、砂州などの複数の輪郭線で区切られた領域を分断する分断線)を抽出する装置などがある。医用装置などの医療分野においては、高い診断性能を有する画像を提供するために、例えば、椎体領域,臓器領域,病変領域等のような所定の対象領域の輪郭を抽出して表示する処理が行われている。画像中の対象領域の輪郭を抽出する方法としては、例えばグラフカット法を用いた領域抽出がある(例えば、特許文献1参照)。以下では、骨密度測定装置を例に採って説明する。
骨密度測定装置では、例えばDXA(Dual Energy X-Ray Absorptiometry)法という2つの異なるエネルギピークを有するX線ビームを用いた測定を行う。具体的には、被検体(患者)をベッドに寝かせて、膝を曲げた状態で腰椎を撮影し、骨だけが選択的に映った画像(X線減弱画像)を得る。X線減弱画像から算出された骨密度は、骨粗鬆症の診断に用いられる。国際的に用いられている測定基準では、骨密度測定に用いるべき測定領域(医用装置の場合には「関心領域」とも呼ばれる)(ROI: Region Of Interest)は第1腰椎〜第4腰椎の合計4つの領域と定められており、X線減弱画像からの適正なROIの識別が、装置性能を左右する重要なポイントとなる。
このROI識別(ROI抽出)について、コンピュータによる自動抽出機能が搭載された装置がある(例えば、特許文献2参照)。特許文献2の特開2004−105739号公報では、X線減弱画像の画素行毎の骨密度変化を用いて、その変曲点を、脊椎正面の椎体と椎体との境界線(以下、「椎体境界」と呼ぶ)とみなしている。特許文献2の特開2004−105739号公報のような自動抽出機能が搭載された装置においても、椎体境界の自動抽出の精度は低く、X線技師が画像を見ながら修正作業を手動で行っている。
しかしながら、特許文献1のようなグラフカット法や特許文献2の特開2004−105739号公報のような自動抽出機能が搭載された装置の場合には、次のような問題がある。
特許文献1のようなグラフカット法では、画像中の対象領域を示す特定の画素と背景領域を示す特定の画素とをそれぞれ手動で与える煩雑な操作を要する。背景領域と対象領域とで画素値(モニタに画素値を表示する場合には階調処理により「輝度」になる)などの特徴量の差が小さいときには、輪郭線を正確に抽出するのが難しいという問題がある。上述したDXA法による骨密度測定装置で取得された入力画像を用いた椎体の画像は棘突起等の構造を反映し、椎体領域内の画素値(輝度)は一様でなく、画素値の勾配(輝度勾配)の高い箇所(画素)が椎体境界であるとは限らない。よって、従来の輪郭抽出フィルタを用いても正確な境界を抽出することができず、グラフカット法によっても問題を解決するのは困難である。なお、本明細書では、特に断りがない限り画素値と輝度とを同等に扱うものとする。
従来の自動抽出機能が搭載された装置の場合には、上述したようにコンピュータによる自動抽出の精度が低いので、X線技師等による手動修正が頻発する。抽出された椎体境界が実際の椎体境界と違う場合には、椎体境界で区切られた椎体の面積を正確に求めることができない。したがって、一定量の骨の中に含まれる(カルシウムやリンなどの)ミネラル分の骨の中に含まれる量を示す指標である骨塩定量などの骨密度を正確に求めることもできない。
以上のように、X線透視撮影装置や骨密度測定装置、あるいはそれ以外の装置に適用するとしても、特許文献1のようなグラフカット法では輪郭線(X線透視撮影装置や骨密度測定装置の場合には椎体の輪郭線)を正確に求めるのが難しい。また、自動抽出機能が搭載された装置では、複数の輪郭線で区切られた領域(X線透視撮影装置や骨密度測定装置の場合には椎体)を分断する分断線(X線透視撮影装置や骨密度測定装置の場合には椎体境界)を正確に求めることができず、分断線を手動で修正する作業が頻発する。
この発明は、このような事情に鑑みてなされたものであって、輪郭線を正確に抽出することができ、分断線を正確に抽出することができる画像処理装置およびその方法を提供することを目的とする。
この発明は、このような目的を達成するために、次のような構成をとる。
すなわち、この発明に係る画像処理装置(前者の発明)は、画像処理を行う画像処理装置であって、画像から輪郭線の候補となる複数の輪郭候補線を抽出する輪郭候補線抽出手段と、前記輪郭候補線抽出手段で抽出された複数の輪郭候補線から、それらよりも少ない本数である1つあるいは2つ以上の輪郭候補線を選択し、当該選択された輪郭候補線に対して画素の検索に関する開始点を決定するとともに、画素の検索に関する終了点を決定する開始点・終了点決定手段と、前記画像の互いに隣接する各画素間を結ぶ節であって、輪郭線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる移動コストを有した前記節を画素ノードとしたときに、前記画像の各画素に対応する前記画素ノードを有する画像グラフを作成する画像グラフ作成手段と、前記開始点・終了点決定手段で決定された前記開始点であって、前記画像グラフ作成手段で作成された前記画像グラフ上の画素ノードを開始ノードとして指定し、前記開始点・終了点決定手段で決定された前記終了点であって、前記画像グラフ作成手段で作成された前記画像グラフ上の画素ノードを終了ノードとして指定したときに、前記画像上の前記開始ノードから前記終了ノードにまで至る経路であって、前記移動コストが最小となる前記経路を輪郭線として抽出する輪郭線抽出手段とを備えることを特徴とするものである。
すなわち、この発明に係る画像処理装置(前者の発明)は、画像処理を行う画像処理装置であって、画像から輪郭線の候補となる複数の輪郭候補線を抽出する輪郭候補線抽出手段と、前記輪郭候補線抽出手段で抽出された複数の輪郭候補線から、それらよりも少ない本数である1つあるいは2つ以上の輪郭候補線を選択し、当該選択された輪郭候補線に対して画素の検索に関する開始点を決定するとともに、画素の検索に関する終了点を決定する開始点・終了点決定手段と、前記画像の互いに隣接する各画素間を結ぶ節であって、輪郭線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる移動コストを有した前記節を画素ノードとしたときに、前記画像の各画素に対応する前記画素ノードを有する画像グラフを作成する画像グラフ作成手段と、前記開始点・終了点決定手段で決定された前記開始点であって、前記画像グラフ作成手段で作成された前記画像グラフ上の画素ノードを開始ノードとして指定し、前記開始点・終了点決定手段で決定された前記終了点であって、前記画像グラフ作成手段で作成された前記画像グラフ上の画素ノードを終了ノードとして指定したときに、前記画像上の前記開始ノードから前記終了ノードにまで至る経路であって、前記移動コストが最小となる前記経路を輪郭線として抽出する輪郭線抽出手段とを備えることを特徴とするものである。
[作用・効果]この発明に係る画像処理装置(前者の発明)によれば、輪郭候補線抽出手段は、画像から輪郭線の候補となる複数の輪郭候補線を抽出する。開始点・終了点決定手段は、上述した輪郭候補線抽出手段で抽出された複数の輪郭候補線から、それらよりも少ない本数である1つあるいは2つ以上の輪郭候補線を選択し、当該選択された輪郭候補線に対して画素の検索に関する開始点を決定するとともに、画素の検索に関する終了点を決定する。
一方、画像グラフ作成手段は、画像の各画素に対応する画素ノードを有する画像グラフを作成する。ここで、輪郭線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる情報を移動コストとし、画像の互いに隣接する各画素間を結ぶ節(node)であって、上述した移動コストを有した節を画像ノードとする。すなわち、輪郭線の可能性があれば、もしくは輪郭線の可能性が高ければ、輪郭線を形成する互いに隣接する各画素が当該輪郭線に属する可能性が高くなり、移動コストが低くなるように設定する。逆に、輪郭線の可能性がなければ、もしくは輪郭線の可能性が低ければ、輪郭線を形成する互いに隣接する各画素が当該輪郭線に属する可能性が低くなり、移動コストが高くなるように設定する。したがって、画像ノードは、輪郭線の形成の度合いを示す情報であり、画像グラフは、輪郭線の形成の度合いを示す情報が画像の形態で表される。
輪郭線抽出手段は、画像上の開始ノードから終了ノードにまで至る経路であって、上述した移動コストが最小となる経路を輪郭線として抽出する。ここで、上述した開始点・終了点決定手段で決定された開始点であって、上述した画像グラフ作成手段で作成された画像グラフ上の画素ノードを開始ノードとして指定する。また、上述した開始点・終了点決定手段で決定された終了点であって、上述した画像グラフ作成手段で作成された画像グラフ上の画素ノードを終了ノードとして指定する。すなわち、このように指定された開始ノードから終了ノードにまで至る経路であって、移動コストが最小となる経路を検索する。ここでの最小となる経路とは、ユークリッド空間の距離が最小となる経路を意味するのでなく、輪郭線の可能性がある経路、もしくは輪郭線の可能性が高い経路は、移動コストが最小となる経路となり得るという意味である。このように、移動コストが最小となる経路を輪郭線として抽出することで、手動の入力の煩雑を軽減させることができ、抽出された輪郭線が自然な滑らかな曲線となり、輪郭線を正確に抽出することができる。
上述したこの発明に係る画像処理装置(前者の発明)の一例は、上述した開始点・終了点決定手段は、上述した輪郭候補線抽出手段で抽出された複数の輪郭候補線から、それらよりも少ない本数である2つ以上の輪郭候補線を選択し、当該選択された輪郭候補線に対して画素の検索に関する開始点を決定するとともに、画素の検索に関する終了点を決定することである。さらに、画素の画素値に関する量,上述した輪郭候補線上の画素であるか否かの確率に関する量および画素の位置情報に関する量に基づいて移動コストを決定することである。例えば、椎体のように2つの輪郭候補線を選択する場合には、単なる画素値に関する量や当該確率に関する量のみで決定すると、本来、椎体は外側の輪郭線(経路)を取るにも関わらず内側に経路を取ってしまう可能性がある。そこで、画素の位置情報に関する量は、画像の輪郭線の主軸方向に平行な軸中心線(椎体の場合には縦中心線)で高い値となり、当該軸中心線から離れるにしたがって低くなるように、画素の位置情報に関する量を決定する。これにより、軸中心線に近い内側の経路よりも外側の経路が輪郭線として抽出されるように定める。したがって、例えば椎体においては、本来の外側の経路を輪郭線として抽出することができる。
また、前者の発明とは別のこの発明に係る画像処理装置(後者の発明)は、画像処理を行う画像処理装置であって、複数の輪郭線で区切られた領域を分断する分断線に対して画素の検索に関する開始点を決定する開始点決定手段と、画像の互いに隣接する各画素間を結ぶ節であって、分断線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる移動コストを有した前記節を画素ノードとしたときに、前記画像の各画素に対応する前記画素ノードを有する画像グラフを作成する画像グラフ作成手段と、前記開始点決定手段で決定された前記開始点であって、前記画像グラフ作成手段で作成された前記画像グラフ上の画素ノードを開始ノードとして指定し、画像の検索に関する終了点であって、前記画像グラフ作成手段で作成された前記画像グラフ上の画素ノードを終了ノードとして指定したときに、前記画像上の前記開始ノードから前記終了ノードにまで至る経路であって、前記移動コストが最小となる前記経路を分断線の候補となる複数の分断候補線としてそれぞれ抽出する分断候補線抽出手段と、前記分断候補線抽出手段で抽出された複数の分断候補線を統計学的にクラスタリングして分類する分断候補線分類手段と、前記分断候補線分類手段で分類された前記分断候補線における各クラスタ間の距離を決定して、各クラスタに属する各分断候補線の経路情報と前記決定された前記分断候補線における各クラスタ間の距離と前記画像の画素の位置情報とに基づいて分断線候補線における境界を分断線として決定する分断線境界決定手段とを備えることを特徴とするものである。
[作用・効果]この発明に係る画像処理装置(後者の発明)によれば、開始点決定手段は、複数の輪郭線で区切られた領域を分断する分断線に対して画素の検索に関する開始点を決定する。
一方、前者の発明と同様に、画像グラフ作成手段は、画像の各画素に対応する画素ノードを有する画像グラフを作成する。前者の発明と相違する点は、前者の発明では輪郭線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる情報を移動コストとしたのに対して、後者の発明では分断線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる情報を移動コストとした点であり、前者の発明では対象が輪郭線に対して後者の発明では対象が分断線である点である。前者の発明と同様に、画像の互いに隣接する各画素間を結ぶ節(node)であって、上述した移動コストを有した節を画像ノードとする。すなわち、分断線の可能性があれば、もしくは分断線の可能性が高ければ、分断線を形成する互いに隣接する各画素が当該分断線に属する可能性が高くなり、移動コストが低くなるように設定する。逆に、分断線の可能性がなければ、もしくは分断線の可能性が低ければ、分断線を形成する互いに隣接する各画素が当該輪郭線に属する可能性が低くなり、移動コストが高くなるように設定する。したがって、後者の発明においては、画像ノードは、分断線の形成の度合いを示す情報であり、画像グラフは、分断線の形成の度合いを示す情報が画像の形態で表される。
分断候補線抽出手段は、画像上の開始ノードから終了ノードにまで至る経路であって、上述した移動コストが最小となる経路を分断線の候補となる複数の分断候補線としてそれぞれ抽出する。ここで、上述した開始点決定手段で決定された開始点であって、上述した画像グラフ作成手段で作成された画像グラフ上の画素ノードを開始ノードとして指定する。また、画像の検索に関する終了点であって、上述した画像グラフ作成手段で作成された画像グラフ上の画素ノードを終了ノードとして指定する。すなわち、このように指定された開始ノードから終了ノードにまで至る経路であって、移動コストが最小となる経路を検索する。前者の発明でも述べたように、ここでの最小となる経路とは、ユークリッド空間の距離が最小となる経路を意味するのでなく、分断線の可能性がある経路、もしくは分断線の可能性が高い経路は、移動コストが最小となる経路となり得るという意味である。
分断候補線分類手段は、上述した分断候補線抽出手段で抽出された複数の分断候補線を統計学的にクラスタリングして分類する。分断線境界決定手段は、このように上述した分断候補線分類手段で分類された分断候補線における各クラスタ間の距離を決定して、各クラスタに属する各分断候補線の経路情報と決定された分断候補線における各クラスタ間の距離と画像の画素の位置情報とに基づいて分断線候補線における境界を分断線として決定する。例えば、椎体のように2つの輪郭線で区切られた領域を椎体として抽出する場合には、最終的に決定される分断線は椎体境界となるが、各分断候補線(椎体の場合には水平輪郭候補線)が、互いに隣接する椎体境界、または単一の椎体境界を決定する両隣にある各分断候補線(すなわち各クラスタに属する各分断候補線)のいずれかとなる。
そこで、各クラスタに属する各分断候補線(椎体の場合には水平輪郭候補線)の経路情報と決定された分断候補線(椎体の場合には水平輪郭候補線)における各クラスタ間の距離と画像の画素の位置情報とに基づいて、各分断候補線が、決定された距離が短い場合には当該分断候補線により分断線を決定すると判断して、決定された距離が長い場合には当該分断候補線により分断線を決定しないとして判断する。このように、各クラスタ間の距離などに応じて分断線候補線における境界を分断線(椎体の場合には椎体境界)として決定することで、分断線の抽出精度が上がり、手動の入力の煩雑を軽減させることができ、分断線を正確に抽出することができる。
上述したこの発明に係る画像処理装置(後者の発明)において、上述した開始点決定手段の一例は、上述した輪郭線をなす点集合の中から、画素の画素値が極値となる極値点で、かつ当該輪郭線上に互いに隣接する画素間における画素値の勾配を有する点を上述した開始点として決定することである。例えば、椎体のように2つの輪郭線で区切られた領域を椎体として抽出する場合には、脊柱の輪郭線をなす点集合の中から、画素の画素値が極値となる極値点で、かつ当該輪郭線上に互いに隣接する画素間における画素値の勾配を有する点が、分断候補線(椎体の場合には水平輪郭候補線)を検索するための開始点となる。
また、上述したこれらの発明に係る画像処理装置(後者の発明)の一例は、画素の画素値に関する量,上述した開始点の位置情報に関する量および当該開始点の位置情報に依存した画素の位置情報に関する量に基づいて移動コストを決定することである。例えば、椎体のように2つの輪郭線で区切られた領域を椎体として抽出する場合には、水平に近い経路を椎体境界として決定するような量を定める。そこで、上述した開始点の位置情報に依存した画素の位置情報に関する量は、輪郭線の主軸方向(椎体の場合には縦方向)の座標において上述した開始点と注目画素との差分の絶対値が大きいほど高い値となり、当該差分の絶対値が小さくなるにしたがって低くなるように、上述した開始点の位置情報に依存した画素の位置情報に関する量を決定する。これにより、例えば椎体においては、水平に近い経路を検索するように定め、水平に近い経路を、水平輪郭候補線として決定し,ひいては椎体境界として決定するように定めることができる。
また、上述したこれらの発明に係る画像処理装置(後者の発明)において、上述した分断線境界決定手段の一例は、上述したクラスタ間の距離が、予め決められた所定値よりも低いとき、あるいは他の各クラスタ間の距離と比較して短いとき、各クラスタに属する各分断候補線間の範囲から上述した分断候補線における両側の端点をそれぞれ決定し、両側の端点を結んで形成された複数の線分の候補から1つの線分を画像の画素の位置情報に基づいて選択し、当該選択された線分を上述した分断線として決定することである。例えば、椎体のように2つの輪郭線で区切られた領域を椎体として抽出する場合には、クラスタ間の距離が、予め決められた所定値よりも低いとき、あるいは他の各クラスタ間の距離と比較して短いとき、対象となる各分断候補線(椎体の場合には水平輪郭候補線)は、上述したように当該分断候補線により分断線を決定するとして判断する。そして、各クラスタに属する各分断候補線間(椎体の場合には水平輪郭候補線間)の範囲から分断候補線における両側の端点をそれぞれ決定し、両側の端点を結んで形成された複数の線分の候補から1つの線分を画像の画素の位置情報に基づいて選択する。さらに、当該選択された線分を上述した分断線(椎体の場合には椎体境界)として最適に決定することができる。
また、この発明に係る画像処理方法(前者の発明)は、画像処理を行う画像処理方法であって、画像から輪郭線の候補となる複数の輪郭候補線を抽出する輪郭候補線抽出工程と、前記輪郭候補線抽出工程で抽出された複数の輪郭候補線から、それらよりも少ない本数である1つあるいは2つ以上の輪郭候補線を選択し、当該選択された輪郭候補線に対して画素の検索に関する開始点を決定するとともに、画素の検索に関する終了点を決定する開始点・終了点決定工程と、前記画像の互いに隣接する各画素間を結ぶ節であって、輪郭線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる移動コストを有した前記節を画素ノードとしたときに、前記画像の各画素に対応する前記画素ノードを有する画像グラフを作成する画像グラフ作成工程と、前記開始点・終了点決定工程で決定された前記開始点であって、前記画像グラフ作成工程で作成された前記画像グラフ上の画素ノードを開始ノードとして指定し、前記開始点・終了点決定工程で決定された前記終了点であって、前記画像グラフ作成工程で作成された前記画像グラフ上の画素ノードを終了ノードとして指定したときに、前記画像上の前記開始ノードから前記終了ノードにまで至る経路であって、前記移動コストが最小となる前記経路を輪郭線として抽出する輪郭線抽出工程とを備えることを特徴とするものである。
[作用・効果]この発明に係る画像処理方法(前者の発明)によれば、上述したこれらの工程を実行することで、この発明に係る画像処理装置(前者の発明)を好適に実施することができる。その結果、輪郭線を正確に抽出することができる。
また、前者の発明とは別のこの発明に係る画像処理方法(後者の発明)は、画像処理を行う画像処理方法であって、複数の輪郭線で区切られた領域を分断する分断線に対して画素の検索に関する開始点を決定する開始点決定工程と、画像の互いに隣接する各画素間を結ぶ節であって、分断線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる移動コストを有した前記節を画素ノードとしたときに、前記画像の各画素に対応する前記画素ノードを有する画像グラフを作成する画像グラフ作成工程と、前記開始点決定工程で決定された前記開始点であって、前記画像グラフ作成工程で作成された前記画像グラフ上の画素ノードを開始ノードとして指定し、画像の検索に関する終了点であって、前記画像グラフ作成工程で作成された前記画像グラフ上の画素ノードを終了ノードとして指定したときに、前記画像上の前記開始ノードから前記終了ノードにまで至る経路であって、前記移動コストが最小となる前記経路を分断線の候補となる複数の分断候補線としてそれぞれ抽出する分断候補線抽出工程と、前記分断候補線抽出工程で抽出された複数の分断候補線を統計学的にクラスタリングして分類する分断候補線分類工程と、前記分断候補線分類工程で分類された前記分断候補線における各クラスタ間の距離を決定して、各クラスタに属する各分断候補線の経路情報と前記決定された前記分断候補線における各クラスタ間の距離と前記画像の画素の位置情報とに基づいて分断線候補線における境界を分断線として決定する分断線境界決定工程とを備えることを特徴とするものである。
[作用・効果]この発明に係る画像処理方法(後者の発明)によれば、上述したこれらの工程を実行することで、この発明に係る画像処理装置(後者の発明)を好適に実施することができる。その結果、分断線を正確に抽出することができる。
この発明に係る画像処理装置およびその方法(前者の発明)によれば、画像から輪郭線の候補となる複数の輪郭候補線を抽出し、それらよりも少ない本数である1つあるいは2つ以上の輪郭候補線を選択し、当該選択された輪郭候補線に対して画素の検索に関する開始点を決定するとともに、画素の検索に関する終了点を決定する。一方、画像の各画素に対応する画素ノードを有する画像グラフを作成する。画像上の開始ノードから終了ノードにまで至る経路であって、移動コストが最小となる経路を輪郭線として抽出することで、輪郭線を正確に抽出することができる。
また、この発明に係る画像処理装置およびその方法(後者の発明)によれば、複数の輪郭線で区切られた領域を分断する分断線に対して画素の検索に関する開始点を決定する。一方、前者の発明と同様に、画像の各画素に対応する画素ノードを有する画像グラフを作成する。画像上の開始ノードから終了ノードにまで至る経路であって、移動コストが最小となる経路を分断線の候補となる複数の分断候補線としてそれぞれ抽出する。複数の分断候補線を統計学的にクラスタリングして分類する。分類された分断候補線における各クラスタ間の距離を決定して、各クラスタに属する各分断候補線の経路情報と決定された分断候補線における各クラスタ間の距離と画像の画素の位置情報とに基づいて分断線候補線における境界を分断線として決定することで、分断線を正確に抽出することができる。
また、この発明に係る画像処理装置およびその方法(後者の発明)によれば、複数の輪郭線で区切られた領域を分断する分断線に対して画素の検索に関する開始点を決定する。一方、前者の発明と同様に、画像の各画素に対応する画素ノードを有する画像グラフを作成する。画像上の開始ノードから終了ノードにまで至る経路であって、移動コストが最小となる経路を分断線の候補となる複数の分断候補線としてそれぞれ抽出する。複数の分断候補線を統計学的にクラスタリングして分類する。分類された分断候補線における各クラスタ間の距離を決定して、各クラスタに属する各分断候補線の経路情報と決定された分断候補線における各クラスタ間の距離と画像の画素の位置情報とに基づいて分断線候補線における境界を分断線として決定することで、分断線を正確に抽出することができる。
以下、図面を参照してこの発明の実施例1を説明する。
図1は、実施例1に係る画像処理装置のブロック図である。後述する実施例2も含めて、本実施例1では、画像処理装置をX線透視撮影装置や骨密度測定装置に適用する場合を例に採って説明するとともに、骨塩定量などの骨密度を求めるために椎体を抽出する場合を例に採って説明する。また、本実施例1では、輪郭線として椎体の輪郭線を抽出する場合を例に採って説明する。
図1は、実施例1に係る画像処理装置のブロック図である。後述する実施例2も含めて、本実施例1では、画像処理装置をX線透視撮影装置や骨密度測定装置に適用する場合を例に採って説明するとともに、骨塩定量などの骨密度を求めるために椎体を抽出する場合を例に採って説明する。また、本実施例1では、輪郭線として椎体の輪郭線を抽出する場合を例に採って説明する。
図1に示す画像処理装置1は、GPU(Graphics Processing Unit),中央演算処理装置(CPU)あるいはプログラムデータに応じて内部の使用するハードウェア回路(例えば論理回路)が変更可能なプログラマブルデバイス(例えばFPGA(Field Programmable Gate Array))、およびマウスやキーボードやジョイスティックやトラックボールやタッチパネルなどに代表されるポインティングデバイスで構成された入力部などで構成されている。画像処理装置1は、この発明における画像処理装置に相当する。
本実施例1では、図1に示すように、画像処理装置1は、輪郭候補線抽出部11と開始点・終了点決定部12と画像グラフ作成部13と輪郭線抽出部14とを備え、各画像を出力表示する表示部15を備えている。図1では、輪郭線抽出部14で抽出された輪郭線の画像(本実施例1では図1や図8に示す腰椎輪郭R)を表示部15に出力表示しているが、実際には、輪郭候補線抽出部11や開始点・終了点決定部12や画像グラフ作成部13で得られた各画像も表示部15に出力表示している。輪郭候補線抽出部11,開始点・終了点決定部12,画像グラフ作成部13および輪郭線抽出部14の具体的な機能については、図2以降で詳述する。輪郭候補線抽出部11は、この発明における輪郭候補線抽出手段に相当し、開始点・終了点決定部12は、この発明における開始点・終了点決定手段に相当し、画像グラフ作成部13は、この発明における画像グラフ作成手段に相当し、輪郭線抽出部14は、この発明における輪郭線抽出手段に相当する。
次に、輪郭候補線抽出部11,開始点・終了点決定部12,画像グラフ作成部13および輪郭線抽出部14の具体的な機能について、上述した図1と併せて、図2〜図8を参照して説明する。図2は、実施例1に係る画像処理方法の流れを示す一連のフローチャートであり、図3は、X線透視撮影装置あるいは骨密度測定装置から取得された医用画像の模式図であり、図4は、輪郭候補線テーブルの模式図であり、図5は、画素ノードを有する画像グラフの模式図であり、図6は、輪郭候補線テーブルの値で決まる項の説明に供する模式図であり、図7は、画素の位置情報で決まる項の説明に供する模式図であり、図8は、腰椎輪郭の抽出結果の模式図である。なお、椎体の画像であるので、椎体領域では画素値(輝度)は高くなって白っぽく映り、それ以外の背景領域では画素値(輝度)は低くなって黒っぽく映るが、図示の便宜上、図4では、白黒反転させた画像として模式的に表す。また、図3〜図8では、水平方向をx方向とし、縦方向をy方向とする。
骨密度測定装置で撮影を行う場合には、先ず、図1に示すように、被検体(患者)MをベッドBに寝かせて、膝を曲げた状態で2つの異なるエネルギピークを有するX線ビームを腰椎に向けて照射させて、X線減弱画像を取得する。なお、X線透視撮影装置で取得された脊柱が映り込んだX線画像を用いてもよい。骨密度測定装置で取得されたX線減弱画像あるいはX線透視撮影装置で取得されたX線画像を、図1や図3では医用画像Iとする。
(ステップS1)輪郭候補線抽出
輪郭候補線抽出部11は、医用画像Iから輪郭線の候補となる複数の輪郭候補線を抽出する。本実施例1では、フィルタを用いて輪郭候補線を抽出する。輪郭候補線抽出を目的としたフィルタとしては、例えばSobelフィルタやRobertsフィルタやラプラシアンフィルタのような画素値の差分を取った一次微分あるいは画素値の差分のさらなる差分を取った二次微分を利用したフィルタが挙げられる。また、フィルタ処理された結果の画像を二値化処理した上で、例えばモルフォロジー演算における収縮処理(「エロージョン処理」とも呼ばれる)などを用いて細線化処理してもよい。このように、フィルタ処理,二値化処理さらには細線化処理により、各画素が輪郭候補線に属するか否かを示すテーブルを求めることができる。このようにして求められたテーブルを、図1や図4では輪郭候補線テーブルLとする。
輪郭候補線抽出部11は、医用画像Iから輪郭線の候補となる複数の輪郭候補線を抽出する。本実施例1では、フィルタを用いて輪郭候補線を抽出する。輪郭候補線抽出を目的としたフィルタとしては、例えばSobelフィルタやRobertsフィルタやラプラシアンフィルタのような画素値の差分を取った一次微分あるいは画素値の差分のさらなる差分を取った二次微分を利用したフィルタが挙げられる。また、フィルタ処理された結果の画像を二値化処理した上で、例えばモルフォロジー演算における収縮処理(「エロージョン処理」とも呼ばれる)などを用いて細線化処理してもよい。このように、フィルタ処理,二値化処理さらには細線化処理により、各画素が輪郭候補線に属するか否かを示すテーブルを求めることができる。このようにして求められたテーブルを、図1や図4では輪郭候補線テーブルLとする。
また、輪郭候補線テーブルLを二値情報として記述する必要はなく、各画素が輪郭線上にある確率を示した連続的な値を持つテーブルであってもよい。また、エッジ抽出には、これ以外にCannyフィルタを用いてもよい。また、後述する腰椎輪郭R(図1や図8を参照)に含まれない輪郭候補線が当該テーブルLに多く含まれることを回避する目的で、医用画像Iにノイズリダクションを予め施してもよい。これにより、腰椎輪郭Rに含まれない輪郭候補線をノイズリダクションにより予め除外した状態でテーブルLを求めることができる。ノイズリダクションの例としては、中央値フィルタ(メディアンフィルタ)やガウスフィルタやバイラテラルフィルタやTotal Variation最小化法などの公知のノイズリダクションが挙げられる。このステップS1は、この発明における輪郭候補線抽出工程に相当する。
(ステップS2)開始点・終了点決定
開始点・終了点決定部12は、ステップS1において輪郭候補線抽出部11で抽出された複数の輪郭候補線から、それらよりも少ない本数である1つあるいは2つ以上の輪郭候補線を選択する。そして、当該選択された輪郭候補線に対して画素の検索に関する開始点を決定するとともに、画素の検索に関する終了点を決定する。本実施例1では、椎体の輪郭線を抽出するので、輪郭は左右2本となる。したがって、椎体の輪郭線となり得る2つの輪郭候補線を選択し、当該選択された2つの輪郭候補線に対して開始点をそれぞれ決定する。図1では開始点をPstartとすると、椎体の輪郭線を抽出する場合には開始点Pstartは2つ必要である。
開始点・終了点決定部12は、ステップS1において輪郭候補線抽出部11で抽出された複数の輪郭候補線から、それらよりも少ない本数である1つあるいは2つ以上の輪郭候補線を選択する。そして、当該選択された輪郭候補線に対して画素の検索に関する開始点を決定するとともに、画素の検索に関する終了点を決定する。本実施例1では、椎体の輪郭線を抽出するので、輪郭は左右2本となる。したがって、椎体の輪郭線となり得る2つの輪郭候補線を選択し、当該選択された2つの輪郭候補線に対して開始点をそれぞれ決定する。図1では開始点をPstartとすると、椎体の輪郭線を抽出する場合には開始点Pstartは2つ必要である。
輪郭候補線テーブルLにおいて、画像の最上行にある画素のうち、画素値の勾配(輝度勾配)および画素の位置から、左側の開始点Pstart,右側の開始点Pstartをそれぞれ一つずつ決定する。よって、開始点Pstartについては画素のx座標,y座標をともに決める。一方、図1では終了点をPendとすると、左側の輪郭も右側の輪郭も画像の最下行のいずれかにあるとして、終了点Pendの取り得る範囲を指定するに止める。よって、終了点Pendについては画素のy座標(最下行に相当するy座標)のみ決めて、水平方向である画素のx座標については決めない。
なお、画素値の勾配(輝度勾配)および画素の位置から、輪郭候補線に対する開始点Pstartを決定し、終了点Pendを決定する場合には、開始点・終了点決定部12は、GPU,CPUあるいはプログラマブルデバイスで構成され、これらの開始点Pstartや終了点Pendを演算により自動で決定する。この他、X線技師などのユーザが表示部15に出力表示された医用画像Iや輪郭候補線テーブルLを見ながら開始点Pstartや終了点Pendを手動により指定することもできる。開始点Pstartや終了点Pendを手動により指定する場合には、開始点・終了点決定部12は入力部で構成される。もちろん、開始点・終了点決定部12を、GPU,CPUあるいはプログラマブルデバイスと、入力部とを組み合わせて構成し、開始点Pstartや終了点Pendを(自動と手動とを組み合わせた)半自動で決定してもよいし、自動または手動のいずれかを選択するようにモード変更してもよい。
本実施例1では、輪郭候補線に対して開始点Pstartを決定する場合には、自動・手動を問わずに、最も外側にある輪郭候補線に対して開始点Pstartを先ず決定するようにする。そして、後述する図3のステップS5において最適な輪郭線が見つからなかった場合には、最も外側にある輪郭候補線は最適な輪郭線ではないとして判断してステップS2に戻る。ステップS2において隣接する内側にある輪郭候補線に対して開始点Pstartを決定して、同様の手順を繰り返して、順に内側にある輪郭候補線に対して開始点Pstartを逐次に決定するようにする。もちろん、輪郭候補線に対して開始点Pstartを先ず決定する場合には、必ずしも最も外側にある輪郭候補線である必要はない。このステップS2は、この発明における開始点・終了点決定工程に相当する。
(ステップS3)画像グラフ作成
画像グラフ作成部13は、医用画像Iの各画素に対応する画素ノードを有する画像グラフを作成する。ここで、輪郭線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる情報を移動コストとする。そして、画像の互いに隣接する各画素間を結ぶ節(node)であって、上述した移動コストを有した節を画像ノードとする。このように作成された画像グラフを、図1や図5ではGとする。画像グラフGは、対象となる画素に対して隣接する8つの画素を結ぶ8つのノード(リンク)を有するグラフとして捉えたものである。対象となる画素とそれに隣接する画素とを結ぶノードが、図8に示す腰椎輪郭Rに属する可能性が高ければ移動コストが低くなり、当該ノードが腰椎輪郭Rに属する可能性が低ければ移動コストが高くなる。
画像グラフ作成部13は、医用画像Iの各画素に対応する画素ノードを有する画像グラフを作成する。ここで、輪郭線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる情報を移動コストとする。そして、画像の互いに隣接する各画素間を結ぶ節(node)であって、上述した移動コストを有した節を画像ノードとする。このように作成された画像グラフを、図1や図5ではGとする。画像グラフGは、対象となる画素に対して隣接する8つの画素を結ぶ8つのノード(リンク)を有するグラフとして捉えたものである。対象となる画素とそれに隣接する画素とを結ぶノードが、図8に示す腰椎輪郭Rに属する可能性が高ければ移動コストが低くなり、当該ノードが腰椎輪郭Rに属する可能性が低ければ移動コストが高くなる。
図5では、リンクの重みをリンクの太さで表現している。よって、リンクの太さが太ければ移動コストが低くなり、リンクの太さが細ければ移動コストが高くなる。ここで、移動コストは、医用画像Iの画素値(輝度情報)で決まる項(すなわち画素の画素値に関する量),輪郭候補線テーブルLの値で決まる項(すなわち輪郭候補線上の画素であるか否かの確率に関する量)および画素の位置情報で決まる項(すなわち画素の位置情報に関する量)を持つ。
対象となる画素値(輝度)をImyとし、それに隣接する画素値(輝度)をIadjとすると、医用画像Iの画素値(輝度情報)で決まる項は1/(Imy+Iadj)で表される。図4の輪郭候補線テーブルLでは、上述したように白黒反転させて図示しているので、実際の輪郭候補線での画素値は白っぽく映り、それ以外の画素値は黒っぽく映る。よって、実際の輪郭候補線での画素値は高くなり、それ以外の画素値は低くなる。したがって、対象となる画素とそれに隣接する画素とを結ぶノードが、図8に示す腰椎輪郭Rに属する可能性が高ければ、医用画像Iの画素値(輝度情報)で決まる項1/(Imy+Iadj)は低くなる。逆に、対象となる画素とそれに隣接する画素とを結ぶノードが、図8に示す腰椎輪郭Rに属する可能性が低ければ、医用画像Iの画素値(輝度情報)で決まる項1/(Imy+Iadj)は高くなる。
図6に示すように、対象となる画素(「黒丸」で表記)に隣接する画素が白画素(ここでは図8に示す腰椎輪郭Rに属する可能性が高い画素)(「白」で表記)のときに、それらを結ぶ値を「1」と低く設定する。逆に、対象となる画素に隣接する画素が黒画素(ここでは図8に示す腰椎輪郭Rに属する可能性が低い画素)(「黒」で表記)のときに、それらを結ぶ値を「100」と高く設定する。もちろん、これらの具体的な値については例示に過ぎず、これらの値に限定されるものではない。このように設定される値をG(my,adj)で表すと、輪郭候補線テーブルLの値で決まる項はG(my,adj)となる。よって、対象となる画素とそれに隣接する画素とを結ぶノードが、図8に示す腰椎輪郭Rに属する可能性が高ければ、輪郭候補線テーブルLの値で決まる項G(my,adj)は低くなる。逆に、対象となる画素とそれに隣接する画素とを結ぶノードが、図8に示す腰椎輪郭Rに属する可能性が低ければ、輪郭候補線テーブルLの値で決まる項G(my,adj)高くなる。
本実施例1では、椎体のように2つの輪郭候補線を選択している。医用画像Iの画素値(輝度情報)で決まる項1/(Imy+Iadj)や輪郭候補線テーブルLの値で決まる項G(my,adj)のみで輪郭候補線を決定すると、本来、椎体は外側の輪郭線(経路)を取るにも関わらず内側に経路を取ってしまう可能性がある。これは、図3に示す医用画像Iからも明らかで、椎体の内側の方が外側よりも画素値が高い箇所が存在する。したがって、医用画像Iの画素値(輝度情報)で決まる項1/(Imy+Iadj)や輪郭候補線テーブルLの値で決まる項G(my,adj)のみで輪郭候補線を決定すると、椎体の内側の方が外側よりも画素値が高い箇所では内側に経路を取ってしまい、輪郭線を正確に抽出することができなくなる恐れがある。
そこで、画素の位置情報で決まる項をf(x)とすると、本来の外側の経路を輪郭線として抽出するために、画素の位置情報で決まる項f(x)を設定する。この画素の位置情報で決まる項f(x)は、内側の経路を取るときに移動コストが高くなり、外側の経路を取るときに移動コストが低くなるように設定される。つまり、画像の輪郭線の主軸方向に平行な軸中心線で高い値となり、当該軸中心線から離れるにしたがって低くなるように、画素の位置情報で決まる項f(x)を設定する。本実施例1では、椎体の輪郭線を抽出するので、当該輪郭線の主軸方向はy方向となり、輪郭線の主軸方向に平行な軸中心線は、図7(a)に示す縦中心線Oとなる。画素の位置情報で決まる項f(x)は、縦中心線Oで高い値を有し、縦中心Oから離れるにしたがって低い値を有する関数であれば、特に限定されない。例えば、図7(b)に示すような曲線状の関数であってもよいし、図7(c)に示すような直線状の関数であってもよい。また、段差状の関数であってもよい。また、本来求まる筈の輪郭線よりもさらに外側に経路を取るのを防止するために、図7(b)、図7(c)の二点鎖線に示すように、さらなる外側のみ高い値を有するようにf(x)を設定してもよい。
以上をまとめると、移動コストをCostとすると、移動コストCostは、医用画像Iの画素値(輝度情報)で決まる項1/(Imy+Iadj),輪郭候補線テーブルLの値で決まる項G(my,adj)および画素の位置情報で決まる項f(x)により下記(1)式で表される。
Cost=1/(Imy+Iadj)+G(my,adj)+f(x) …(1)
Cost=1/(Imy+Iadj)+G(my,adj)+f(x) …(1)
このように、輪郭線の可能性があれば、もしくは輪郭線の可能性が高ければ、輪郭線を形成する互いに隣接する各画素が当該輪郭線に属する可能性が高くなり、移動コストが低くなるように設定する。逆に、輪郭線の可能性がなければ、もしくは輪郭線の可能性が低ければ、輪郭線を形成する互いに隣接する各画素が当該輪郭線に属する可能性が低くなり、移動コストが高くなるように設定する。したがって、画像ノードは、輪郭線の形成の度合いを示す情報であり、画像グラフGは、輪郭線の形成の度合いを示す情報が画像の形態で表される。このステップS3は、この発明における画像グラフ作成工程に相当する。
(ステップS4)輪郭線抽出
輪郭線抽出部14は、医用画像I上の開始ノードから終了ノードにまで至る経路であって、上述した移動コストが最小となる経路を輪郭線として抽出する。ここで、ステップS2において開始点・終了点決定部12で決定された開始点Pstart(図1を参照)であって、ステップS3において画像グラフ作成部13で作成された画像グラフG上の画素ノードを開始ノードとして指定する。また、ステップS2において開始点・終了点決定部12で決定された終了点Pend(図1を参照)(最下行に相当するy座標)であって、ステップS3において画像グラフ作成部13で作成された画像グラフG上の画素ノードを終了ノードとして指定する。
輪郭線抽出部14は、医用画像I上の開始ノードから終了ノードにまで至る経路であって、上述した移動コストが最小となる経路を輪郭線として抽出する。ここで、ステップS2において開始点・終了点決定部12で決定された開始点Pstart(図1を参照)であって、ステップS3において画像グラフ作成部13で作成された画像グラフG上の画素ノードを開始ノードとして指定する。また、ステップS2において開始点・終了点決定部12で決定された終了点Pend(図1を参照)(最下行に相当するy座標)であって、ステップS3において画像グラフ作成部13で作成された画像グラフG上の画素ノードを終了ノードとして指定する。
すなわち、このように指定された開始ノードから終了ノードにまで至る経路であって、移動コストが最小となる経路を検索する。ここでの最小となる経路とは、ユークリッド空間の距離が最小となる経路を意味するのでなく、輪郭線の可能性がある経路、もしくは輪郭線の可能性が高い経路は、移動コストが最小となる経路となり得るという意味である。したがって、移動コストが最小となる経路は、ユークリッド空間の距離が最小となる経路(直線経路)と等しいとは限らない。
輪郭候補線には、腰椎の輪郭線以外に、内臓や肋骨の輪郭が含まれる。また、腰椎は複雑な立体構造をしているので、正面からX線画像(X線透過画像)で見ると、腰椎領域の画素値(輝度)は、図3の医用画像Iに示すように一様性を持たない。医用画像I上で開始ノードおよび終了ノードを指定するだけでこれらの線分の中から、画像グラフG上での最短経路探索によって腰椎輪郭(腰椎領域の輪郭)を抽出することができるのは、目視で腰椎輪郭を辿る際の人間の判断基準を反映した移動コスト算出方法を採用しているからである。最短経路探索の手法の例としては、A*アルゴリズムや遺伝的アルゴリズムや均一コスト検索や双方向探索などの公知の探索アルゴリズムが挙げられる。移動コストが全て非負である場合にはDijkstra法が適用可能である。このステップS4は、この発明における輪郭線抽出工程に相当する。
(ステップS5)輪郭線が見つかった?
ステップS4で抽出された輪郭線(椎体の輪郭線)が最適な輪郭線であるか否かについて判断する。すなわち、画像グラフGについて、ステップS2において決定された開始点Pstartに相当する開始ノードからステップS2において決定された終了点Pendに相当する終了ノードへの最短経路を検索したとき妥当な経路が見つからない場合がある。椎体の輪郭線(すなわち腰椎輪郭)の場合には、探索するのにしたがって本来の腰椎輪郭よりも内側の経路を探索する、あるいは図7(b)や図7(c)に示すf(x)によって探索するのにしたがって本来の腰椎輪郭よりも逆に外側の経路を探索する場合がある。その他に、ステップS2において、開始点Pstartを実際の腰椎輪郭上でなく、肋骨の輪郭上に定めた場合には、移動コストの算出方法次第では、終了点Pendに至る経路を見つけることができない。
ステップS4で抽出された輪郭線(椎体の輪郭線)が最適な輪郭線であるか否かについて判断する。すなわち、画像グラフGについて、ステップS2において決定された開始点Pstartに相当する開始ノードからステップS2において決定された終了点Pendに相当する終了ノードへの最短経路を検索したとき妥当な経路が見つからない場合がある。椎体の輪郭線(すなわち腰椎輪郭)の場合には、探索するのにしたがって本来の腰椎輪郭よりも内側の経路を探索する、あるいは図7(b)や図7(c)に示すf(x)によって探索するのにしたがって本来の腰椎輪郭よりも逆に外側の経路を探索する場合がある。その他に、ステップS2において、開始点Pstartを実際の腰椎輪郭上でなく、肋骨の輪郭上に定めた場合には、移動コストの算出方法次第では、終了点Pendに至る経路を見つけることができない。
このようにステップS5において最適な輪郭線が見つからなかった場合には、直前のステップS2において決定された開始点Pstartは最適な輪郭線上に位置していないと判断して、ステップS2に戻って開始点Pstartを変更する。同様の手順(ステップS2〜S5)を繰り返して、最短経路探索を再度行う。最適な輪郭線が見つかるまで、同様の手順(ステップS2〜S5)を繰り返す。ステップS5において最適な輪郭線が見つかった場合には、一連の処理(ステップS1〜S5)を終了する。このようにして抽出された輪郭線を、図1や図8では腰椎輪郭Rとする。
本実施例1に係る画像処理装置1によれば、移動コストが最小となる経路を輪郭線(本実施例1では椎体の輪郭線)として抽出することで、手動の入力の煩雑を軽減させることができ、抽出された輪郭線(椎体の輪郭線)が自然な滑らかな曲線(図8を参照)となり、輪郭線(椎体の輪郭線)を正確に抽出することができる。
本実施例1のように椎体のように2つの輪郭候補線を選択する場合には、上述したように、単なる画素値に関する量(本実施例1では医用画像Iの画素値で決まる項1/(Imy+Iadj))や、輪郭候補線上の画素であるか否かの確率に関する量(本実施例1では輪郭候補線テーブルLの値で決まる項G(my,adj))のみで決定すると、本来、椎体は外側の輪郭線(経路)を取るにも関わらず内側に経路を取ってしまう可能性がある。そこで、画素の位置情報に関する量(本実施例1では画素の位置情報で決まる項f(x))は、画像の輪郭線の主軸方向に平行な軸中心線(椎体の場合には縦中心線O)で高い値となり、当該軸中心線から離れるにしたがって低くなるように、画素の位置情報に関する量(画素の位置情報で決まる項f(x))を決定する。これにより、軸中心線に近い内側の経路よりも外側の経路が輪郭線として抽出されるように定める。したがって、本実施例1のような椎体においては、本来の外側の経路を輪郭線として抽出することができる。
また、本実施例1に係る画像処理方法によれば、図2に示すステップS1〜S5の工程を実行することで、本実施例1に係る画像処理装置1を好適に実施することができる。その結果、輪郭線を正確に抽出することができる。
次に、図面を参照してこの発明の実施例2を説明する。
図9は、実施例2に係る画像処理装置のブロック図である。上述した実施例1と同様に、本実施例2では、画像処理装置をX線透視撮影装置や骨密度測定装置に適用する場合を例に採って説明するとともに、骨塩定量などの骨密度を求めるために椎体を抽出する場合を例に採って説明する。また、本実施例2では、分断線として椎体境界を決定する場合を例に採って説明する。
図9は、実施例2に係る画像処理装置のブロック図である。上述した実施例1と同様に、本実施例2では、画像処理装置をX線透視撮影装置や骨密度測定装置に適用する場合を例に採って説明するとともに、骨塩定量などの骨密度を求めるために椎体を抽出する場合を例に採って説明する。また、本実施例2では、分断線として椎体境界を決定する場合を例に採って説明する。
図9に示す画像処理装置2は、上述した実施例1と同様に、GPU,CPUあるいはプログラマブルデバイス、および入力部などで構成されている。画像処理装置2は、この発明における画像処理装置に相当する。
本実施例2では、図9に示すように、画像処理装置2は、開始点決定部21と画像グラフ作成部22と水平輪郭候補線抽出部23と水平輪郭候補線分類部24と椎体境界決定部25とを備え、各画像を出力表示する表示部26を備えている。図9では、椎体境界決定部25で決定された分断線(ここでは椎体境界)の画像(本実施例2では図9や図14に示す椎体境界Rが映り込んだ画像)を表示部26に出力表示しているが、実際には、開始点決定部21や画像グラフ作成部22や水平輪郭候補線抽出部23や水平輪郭候補線分類部24で得られた各画像も表示部26に出力表示している。開始点決定部21,画像グラフ作成部22,水平輪郭候補線抽出部23,水平輪郭候補線分類部24および椎体境界決定部25の具体的な機能については、図10以降で詳述する。開始点決定部21は、この発明における開始点決定手段に相当し、画像グラフ作成部22は、この発明における画像グラフ作成手段に相当し、水平輪郭候補線抽出部23は、この発明における分断候補線抽出手段に相当し、水平輪郭候補線分類部24は、この発明における分断候補線分類手段に相当し、この発明における椎体境界決定部25は、この発明における分断線境界決定手段に相当する。
次に、開始点決定部21,画像グラフ作成部22,水平輪郭候補線抽出部23,水平輪郭候補線分類部24および椎体境界決定部25の具体的な機能について、上述した実施例1の画像グラフの図5とともに、上述した図9と併せて、図10〜図14を参照して説明する。図10は、実施例2に係る画像処理方法の流れを示す一連のフローチャートであり、図11は、X線透視撮影装置あるいは骨密度測定装置から取得された医用画像およびそれに映り込んだ椎体輪郭線の模式図であり、図12は、開始点および水平輪郭候補線の抽出結果の模式図であり、図13は、水平輪郭候補線分類および椎体境界の説明に供する模式図であり、図14は、椎体境界の決定結果の模式図である。上述した実施例1と同様に、本実施例2においても、図11〜図14では、水平方向をx方向とし、縦方向をy方向とする。
上述した実施例1と同様に、本実施例2においても、骨密度測定装置で取得されたX線減弱画像あるいはX線透視撮影装置で取得されたX線画像を、図9や図11では医用画像Iとする。また、本実施例2では、医用画像Iにおいて椎体輪郭線が既に抽出されているものとして、以下を説明する。椎体輪郭線の抽出方法については特に限定されない。上述した実施例1と同様の手法により、腰椎輪郭R(図1や図8を参照)を抽出することで椎体輪郭線を抽出してもよいし、それ以外の公知の手法により椎体輪郭線を抽出してもよい。抽出された椎体輪郭線を、図9や図11ではJとする。
(ステップT1)開始点決定
開始点決定部21は、医用画像Iにおいて複数の輪郭線で区切られた領域を分断する分断線に対して画素の検索に関する開始点を決定する。本実施例2では、後述する椎体境界R(図9や図14を参照)を決定するので、複数の輪郭線は、既に抽出された2つの椎体輪郭線Jとなり、2つの椎体輪郭線Jで区切られた椎体領域を分断する分断線は椎体境界R(図14を参照)となる。また、椎体境界は水平に近い経路を取る。したがって、縦方向(y方向)の延びた左右の椎体輪郭線J上の点をそれぞれ開始点として決定する。
開始点決定部21は、医用画像Iにおいて複数の輪郭線で区切られた領域を分断する分断線に対して画素の検索に関する開始点を決定する。本実施例2では、後述する椎体境界R(図9や図14を参照)を決定するので、複数の輪郭線は、既に抽出された2つの椎体輪郭線Jとなり、2つの椎体輪郭線Jで区切られた椎体領域を分断する分断線は椎体境界R(図14を参照)となる。また、椎体境界は水平に近い経路を取る。したがって、縦方向(y方向)の延びた左右の椎体輪郭線J上の点をそれぞれ開始点として決定する。
具体的には、輪郭線をなす点集合の中から、画素の画素値(輝度)が極値となる極値点で、かつ当該輪郭線上に互いに隣接する画素間における画素値の勾配(輝度勾配)を有する点を上述した開始点として決定する。本実施例2のように椎体のように2つの輪郭線である椎体輪郭線Jで区切られた領域を椎体として抽出する場合には、脊柱の輪郭線(椎体輪郭線J)をなす点集合の中から、画素の画素値(輝度)が極値となる極値点で、かつ当該輪郭線(椎体輪郭線J)上に互いに隣接する画素間における画素値の勾配(輝度勾配)を有する点が、分断候補線を検索するための開始点となる。本実施例2では、分断候補線も水平に近い経路を取るので、分断候補線を「水平輪郭候補線」とする。
なお、極値については、極大値を開始点として決定してもよいし、極小値を開始点として決定してもよい。また、極大値および極小値の両方を開始点として決定してもよい。図9や図12では開始点をPとする。本実施例2では、左右2本の輪郭線(椎体輪郭線J)があるので、開始点Pを左右両側から上述した条件(極値かつ画素値の勾配を有する条件)を満たす点を複数選択する。
上述した実施例1と相違して、本実施例2では終了点を決定する必要はなく、左右のいずれか一方の椎体輪郭線J上の開始点Pを決定したら、他方の椎体輪郭線Jと交わる点を終了点とする。したがって、左側の椎体輪郭線J上の開始点Pを決定したら、右側に向かって探索して、右側の椎体輪郭線Jと交わる点を終了点とする。逆に、右側の椎体輪郭線J上の開始点Pを決定したら、左側に向かって探索して、左側の椎体輪郭線Jと交わる点を終了点とする。
なお、極値かつ画素値の勾配を有する条件から、分断線に対して開始点Pを決定する場合には、開始点決定部21は、GPU,CPUあるいはプログラマブルデバイスで構成され、これらの開始点Pを演算により自動で決定する。この他、X線技師などのユーザが表示部26に出力表示された医用画像Iおよびそれに映り込んだ椎体輪郭線Jを見ながら開始点Pを手動により指定することもできる。開始点Pを手動により指定する場合には、開始点決定部21は入力部で構成される。もちろん、開始点決定部21を、GPU,CPUあるいはプログラマブルデバイスと、入力部とを組み合わせて構成し、開始点Pを(自動と手動とを組み合わせた)半自動で決定してもよいし、自動または手動のいずれかを選択するようにモード変更してもよい。このステップT1は、この発明における開始点決定工程に相当する。
(ステップT2)画像グラフ作成
上述した実施例1と同様に、画像グラフ作成部22は、医用画像Iの各画素に対応する画素ノードを有する画像グラフを作成する。上述した実施例1と相違する点は、上述した実施例1では輪郭線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる情報を移動コストとしたのに対して、本実施例2では分断線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる情報を移動コストとした点である。すなわち、上述した実施例1では対象が輪郭線に対して本実施例2では対象が分断線である点である。
上述した実施例1と同様に、画像グラフ作成部22は、医用画像Iの各画素に対応する画素ノードを有する画像グラフを作成する。上述した実施例1と相違する点は、上述した実施例1では輪郭線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる情報を移動コストとしたのに対して、本実施例2では分断線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる情報を移動コストとした点である。すなわち、上述した実施例1では対象が輪郭線に対して本実施例2では対象が分断線である点である。
上述した実施例1と同様に、画像の互いに隣接する各画素間を結ぶ節(node)であって、上述した移動コストを有した節を画像ノードとする。このように作成された画像グラフを、上述した実施例1と同様に、図5や図9ではGとする。画像グラフGは、対象となる画素に対して隣接する8つの画素を結ぶ8つのノード(リンク)を有するグラフとして捉えたものである。対象となる画素とそれに隣接する画素とを結ぶノードが、分断線(図9や図14に示す椎体境界R)に属する可能性が低ければ移動コストが低くなり、当該ノードが分断線(椎体境界R)に属する可能性が低ければ移動コストが高くなる。
上述した実施例1でも述べたように、図5では、リンクの重みをリンクの太さで表現している。よって、リンクの太さが太ければ移動コストが低くなり、リンクの太さが細ければ移動コストが高くなる。本実施例2では、移動コストは、医用画像Iの画素値(輝度情報)で決まる項(すなわち画素の画素値に関する量),椎体輪郭線Jで決まる項(すなわち開始点の位置情報に関する量)および画素の位置情報で決まる項(すなわち当該開始点の位置情報に依存した画素の位置情報に関する量)を持つ。
上述した実施例1と同様に、対象となる画素値(輝度)をImyとし、それに隣接する画素値(輝度)をIadjとすると、医用画像Iの画素値(輝度情報)で決まる項は1/(Imy+Iadj)で表される。実際の椎体境界やその周辺である水平輪郭候補線での画素値は白っぽく映り、それ以外の画素値は黒っぽく映る。よって、実際の椎体境界やその周辺である水平輪郭候補線での画素値は高くなり、それ以外の画素値は低くなる。したがって、対象となる画素とそれに隣接する画素とを結ぶノードが、図14に示す椎体境界Rに属する可能性が高ければ、医用画像Iの画素値(輝度情報)で決まる項1/(Imy+Iadj)は低くなる。逆に、対象となる画素とそれに隣接する画素とを結ぶノードが、図14に示す椎体境界Rに属する可能性が低ければ、医用画像Iの画素値(輝度情報)で決まる項1/(Imy+Iadj)は高くなる。
上述したように、椎体境界R(図14を参照)は水平に近い経路を取る。そこで、椎体輪郭線Jで決まる項および画素の位置情報で決まる項をf(y)とすると、水平に近い経路を椎体境界Rとして決定するために、椎体輪郭線Jで決まる項および画素の位置情報で決まる項f(y)を設定する。これら椎体輪郭線Jで決まる項および画素の位置情報で決まる項f(y)は、水平とは異なる縦方向(y方向)の経路を取るときに移動コストが高くなり、水平方向(x方向)あるいは水平に近い方向に経路を取るときに移動コストが低くなるように設定される。つまり、輪郭線の主軸方向(椎体の場合には縦方向であるy方向)の座標において開始点Pと注目画素との差分の絶対値が大きいほど高い値となり、当該差分の絶対値が小さくなるにしたがって低くなるように、椎体輪郭線Jで決まる項および画素の位置情報で決まる項f(y)を設定する。本実施例2では、椎体境界Rを決定するので、椎体輪郭線Jの主軸方向はy方向となり、主軸方向の座標はy座標となる。よって、開始点Pのy座標をymyとし、注目画素のy座標をyadjとすると、椎体輪郭線Jの主軸方向のy座標において開始点P(ymy)と注目画素(yadj)との差分値の絶対値は|ymy−yadj|で表される。
また、椎体輪郭線Jで決まる項および画素の位置情報で決まる項f(y)は、椎体輪郭線Jで決まる項として各々の開始点Pの位置情報にも依存する。そこで、ステップT1において決定された各々の開始点P毎に重み係数Aを予め割り当てておき、椎体輪郭線Jで決まる項および画素の位置情報で決まる項f(y)を設定する。よって、椎体輪郭線Jで決まる項および画素の位置情報で決まる項f(y)は、各々の開始点Pの位置情報である重み係数A(椎体輪郭線Jで決まる項)および差分値の絶対値|ymy−yadj|により下記(2)式で表される。
f(y)=A×|ymy−yadj| …(2)
f(y)=A×|ymy−yadj| …(2)
以上をまとめると、移動コストをCostとすると、移動コストCostは、医用画像Iの画素値(輝度情報)で決まる項,椎体輪郭線Jで決まる項である重み係数Aおよび画素の位置情報で決まる項である差分値の絶対値|ymy−yadj|により下記(3)式で表される。
Cost=1/(Imy+Iadj)+A×|ymy−yadj|
=1/(Imy+Iadj)+f(y) …(3)
Cost=1/(Imy+Iadj)+A×|ymy−yadj|
=1/(Imy+Iadj)+f(y) …(3)
このように、分断線(図9や図14に示す椎体境界R)の可能性があれば、もしくは分断線(椎体境界R)の可能性が高ければ、分断線(椎体境界R)を形成する互いに隣接する各画素が当該分断線(椎体境界R)に属する可能性が高くなり、移動コストが低くなるように設定する。逆に、分断線(椎体境界R)の可能性がなければ、もしくは分断線(椎体境界R)の可能性が低ければ、分断線(椎体境界R)を形成する互いに隣接する各画素が当該輪郭線に属する可能性が低くなり、移動コストが高くなるように設定する。したがって、本実施例2においては、画像ノードは、分断線(椎体境界R)の形成の度合いを示す情報であり、画像グラフGは、分断線(椎体境界R)の形成の度合いを示す情報が画像の形態で表される。このステップT2は、この発明における画像グラフ作成工程に相当する。
(ステップT3)水平輪郭候補線抽出
水平輪郭候補線抽出部23は、医用画像I上の開始ノードから終了ノードにまで至る経路であって、上述した移動コストが最小となる経路を分断線の候補である複数の分断候補線(椎体の場合には水平輪郭候補線)としてそれぞれ抽出する。ここで、ステップT1において開始点決定部21で決定された開始点P(図9や図12を参照)であって、ステップT2において画像グラフ作成部22で作成された画像グラフG上の画素ノードを終了ノードとして指定する。
水平輪郭候補線抽出部23は、医用画像I上の開始ノードから終了ノードにまで至る経路であって、上述した移動コストが最小となる経路を分断線の候補である複数の分断候補線(椎体の場合には水平輪郭候補線)としてそれぞれ抽出する。ここで、ステップT1において開始点決定部21で決定された開始点P(図9や図12を参照)であって、ステップT2において画像グラフ作成部22で作成された画像グラフG上の画素ノードを終了ノードとして指定する。
すなわち、このように指定された開始ノードから終了ノードにまで至る経路であって、移動コストが最小となる経路を検索する。上述した実施例1でも述べたように、ここでの最小となる経路とは、ユークリッド空間の距離が最小となる経路を意味するのでなく、分断線の可能性がある経路、もしくは分断線の可能性が高い経路は、移動コストが最小となる経路となり得るという意味である。したがって、移動コストが最小となる経路は、ユークリッド空間の距離が最小となる経路(直線経路)と等しいとは限らない。
上述したように、本実施例2では、左右2本の椎体輪郭線Jがある。よって、開始点Pが左側の椎体輪郭線J上にあるならば、終了ノードは右側の椎体輪郭線J上の任意の点に対応する。逆に、開始点Pが右側の椎体輪郭線J上にあるならば、終了ノードは左側の椎体輪郭線J上の任意の点に対応する。上述した実施例1と同様に、最短経路探索の手法を用いて水平輪郭候補線を抽出する。上述した実施例1と同様に、最短経路探索の手法の例としては、A*アルゴリズムや遺伝的アルゴリズムや均一コスト検索や双方向探索やDijkstra法などの公知の探索アルゴリズムが挙げられる。
このようにして抽出された水平輪郭候補線を、図9や図12ではLとする。また、抽出された水平輪郭候補線Lの終了点(他方の椎体輪郭線Jと交わる点)を新たなる開始点P´として、その開始点P´から別の水平輪郭候補線L´を求めてもよい。図12に示す水平輪郭候補線Lから明らかなように、開始点Pや終了点ではそれぞれの位置にバラツキがあるが、左右の椎体輪郭線Jで区切られた中央の箇所では複数の水平輪郭候補線Lがほぼ一箇所に収束して重複しているのが確認される。このステップT3は、この発明における分断候補線抽出工程に相当する。
(ステップT4)水平輪郭候補線分類
水平輪郭候補線分類部24は、ステップT3において水平候補線抽出部23で抽出された複数の分断候補線(椎体の場合には水平輪郭候補線L)を統計学的にクラスタリングして分類する。図11に示す医用画像Iから明らかなように、各椎体の椎間板に接する面の輪郭は医用画像I上で必ずしも明瞭でない。ステップT3で抽出された水平候補線Lは、その一部が各椎体の椎間板に接する面の輪郭をなす線だともいえる。そこで、水平輪郭候補線Lを統計学的にクラスタリングして分類することで、いくつかのクラスタに分ける。上述したように、左右の椎体輪郭線Jで区切られた中央の箇所では複数の水平輪郭候補線Lがほぼ一箇所に収束して重複しており、これらの水平輪郭候補線Lは同一のクラスタに属するともいえる。
水平輪郭候補線分類部24は、ステップT3において水平候補線抽出部23で抽出された複数の分断候補線(椎体の場合には水平輪郭候補線L)を統計学的にクラスタリングして分類する。図11に示す医用画像Iから明らかなように、各椎体の椎間板に接する面の輪郭は医用画像I上で必ずしも明瞭でない。ステップT3で抽出された水平候補線Lは、その一部が各椎体の椎間板に接する面の輪郭をなす線だともいえる。そこで、水平輪郭候補線Lを統計学的にクラスタリングして分類することで、いくつかのクラスタに分ける。上述したように、左右の椎体輪郭線Jで区切られた中央の箇所では複数の水平輪郭候補線Lがほぼ一箇所に収束して重複しており、これらの水平輪郭候補線Lは同一のクラスタに属するともいえる。
クラスタリング(分類)の手法は、統計学的にクラスタリングして分類する手法であれば、特に限定されない。例えば、互いに交差する水平輪郭候補線Lを同じグループ(クラスタ)とするなど輪郭をなす各点の位置に基づいた分類がある。このほか、各水平輪郭候補線Lを同じ次元の特徴量ベクトルで表現し、ウォード法や最短距離法などの特徴ベクトルの距離を用いた各種クラスタ分析手法を用いてもよい。各クラスタを、図9や図13ではCとする。このステップT4は、この発明における分断候補線分類工程に相当する。
(ステップT5)椎体境界決定
椎体境界決定部25は、ステップT4のように水平輪郭候補線分類部24で分類された断候補線(椎体の場合には水平輪郭候補線L)における各クラスタC間の距離を決定して、各クラスタCに属する各分断候補線(各水平輪郭候補線L)の経路情報と決定された分断候補線(水平輪郭候補線L)における各クラスタC間の距離と画像の画素の位置情報とに基づいて分断線候補線(水平輪郭候補線L)における境界を分断線として決定する。本実施例2のように、椎体のように2つの輪郭線で区切られた領域を椎体として抽出する場合には、最終的に決定される分断線は椎体境界となるが、各分断候補線(椎体の場合には水平輪郭候補線L)が、互いに隣接する椎体境界、または単一の椎体境界を決定する両隣にある各分断候補線(すなわち各クラスタCに属する各分断候補線)のいずれかとなる。
椎体境界決定部25は、ステップT4のように水平輪郭候補線分類部24で分類された断候補線(椎体の場合には水平輪郭候補線L)における各クラスタC間の距離を決定して、各クラスタCに属する各分断候補線(各水平輪郭候補線L)の経路情報と決定された分断候補線(水平輪郭候補線L)における各クラスタC間の距離と画像の画素の位置情報とに基づいて分断線候補線(水平輪郭候補線L)における境界を分断線として決定する。本実施例2のように、椎体のように2つの輪郭線で区切られた領域を椎体として抽出する場合には、最終的に決定される分断線は椎体境界となるが、各分断候補線(椎体の場合には水平輪郭候補線L)が、互いに隣接する椎体境界、または単一の椎体境界を決定する両隣にある各分断候補線(すなわち各クラスタCに属する各分断候補線)のいずれかとなる。
そこで、各クラスタCに属する各分断候補線(椎体の場合には水平輪郭候補線L)の経路情報と決定された分断候補線(椎体の場合には水平輪郭候補線L)における各クラスタC間の距離と画像の画素の位置情報とに基づいて、各分断候補線(各水平輪郭候補線L)が、決定された距離が短い場合には当該分断候補線により分断線(図9や図14に示す椎体境界R)を決定すると判断して、決定された距離が長い場合には当該分断候補線により分断線(椎体境界R)を決定しないとして判断する。
具体的には、クラスタC間の距離が、予め決められた所定値よりも低いとき、あるいは他の各クラスタC間の距離と比較して短いとき、各クラスタCに属する各分断候補線間の範囲から上述した分断候補線における両側の端点をそれぞれ決定する。例えば、予め決められた所定値よりも低いとき、あるいは他の各クラスタC間の距離と比較して短いときにおけるクラスタC間の距離を、図13ではdshortとする。両側の端点を結んで形成された複数の線分の候補から1つの線分を画像の画素の位置情報に基づいて選択し、当該選択された線分を上述した分断線として決定する。
本実施例2のように、椎体のように2つの輪郭線で区切られた領域を椎体として抽出する場合には、クラスタC間の距離が、予め決められた所定値よりも低いとき、あるいは他の各クラスタC間の距離と比較して短いとき(図13のdshortを参照)、対象となる各分断候補線(椎体の場合には水平輪郭候補線L)は、上述したように当該分断候補線により分断線を決定するとして判断する。そして、各クラスタに属する各分断候補線間(椎体の場合には水平輪郭候補線L間)の範囲から分断候補線における両側の端点をそれぞれ決定し、両側の端点を結んで形成された複数の線分の候補から1つの線分を画像の画素の位置情報に基づいて選択する。さらに、当該選択された線分を上述した分断線(椎体の場合に椎体境界R)として決定する。
椎体境界を、図9や図14ではRとする。椎体境界Rの視野における左右の端点は脊柱の椎体輪郭線J上にあり、y座標は、各クラスタC間の距離が短いときと判断された当該クラスタCに属する水平輪郭候補線Lの左右での端点の上限値および下限値を用いる。水平輪郭候補線Lの左右での端点は複数存在するので、これらの左右での端点の候補から1つずつ点を選択し、これらを結んで形成された線分の中から、最適な線分を選んで椎体境界Rとする。選択の基準としては、線分の長さや境界線上の画素の画素値(輝度)を用いる。水平方向の画素値の勾配(輝度勾配)の強い画素数の他に、SIFT(Scale-Invariant Feature Transform),SURF(Speeded Up Robust Features)などの局所特徴量を用いてもよい。また、各種特徴量の平均や分散、複数の特徴量の和・差・積・比率を用いてもよい。このステップT5は、この発明における椎体境界決定工程に相当する。
本実施例2に係る画像処理装置2によれば、各クラスタC間の距離などに応じて分断線候補線(水平輪郭候補線L)における境界を分断線(椎体の場合には椎体境界R)として決定することで、分断線(椎体境界R)の抽出精度が上がり、手動の入力の煩雑を軽減させることができ、分断線(椎体境界R)を正確に抽出することができる。
本実施例2のように椎体のように2つの輪郭線で区切られた領域を椎体として抽出する場合には、上述したように、脊柱の輪郭線(椎体輪郭線J)をなす点集合の中から、画素の画素値(輝度)が極値となる極値点で、かつ当該輪郭線上に互いに隣接する画素間における画素値の勾配(輝度勾配)を有する点が、分断候補線(椎体の場合には水平輪郭候補線L)を検索するための開始点Pとなる。
本実施例2のように椎体のように2つの輪郭線で区切られた領域を椎体として抽出する場合には、水平に近い経路を椎体境界Rとして決定するような量を定める。そこで、開始点Pの位置情報に依存した画素の位置情報に関する量(本実施例2では椎体輪郭線Jで決まる項および画素の位置情報で決まる項f(y))は、輪郭線の主軸方向(椎体の場合には縦方向であるy方向)の座標において開始点P(ymy)と注目画素(yadj)との差分の絶対値|ymy−yadj|が大きいほど高い値となり、当該差分の絶対値|ymy−yadj|が小さくなるにしたがって低くなるように、上述した開始点Pの位置情報に依存した画素の位置情報に関する量(椎体輪郭線Jで決まる項および画素の位置情報で決まる項f(y)=A×|ymy−yadj|)を決定する。これにより、本実施例2の椎体においては、水平に近い経路を検索するように定め、水平に近い経路を、水平輪郭候補線Lとして決定し,ひいては椎体境界Rとして決定するように定めることができる。
本実施例2では、クラスタC間の距離が、予め決められた所定値よりも低いとき、あるいは他の各クラスタC間の距離と比較して短いとき、各クラスタCに属する各分断候補線(本実施例2では水平輪郭候補線L)間の範囲から分断候補線における両側の端点(水平輪郭候補線Lの左右での端点)をそれぞれ決定し、両側の端点を結んで形成された複数の線分の候補から1つの線分を画像の画素の位置情報に基づいて選択し、当該選択された線分を上述した分断線として決定している。本実施例2のように椎体のように2つの輪郭線で区切られた領域を椎体として抽出する場合には、クラスタC間の距離が、予め決められた所定値よりも低いとき、あるいは他の各クラスタC間の距離と比較して短いとき(図13のdshortを参照)、対象となる各分断候補線(椎体の場合には水平輪郭候補線L)は、上述したように当該分断候補線により分断線を決定するとして判断する。そして、各クラスタCに属する各分断候補線間(椎体の場合には水平輪郭候補線L間)の範囲から分断候補線における両側の端点(水平輪郭候補線Lの左右での端点)をそれぞれ決定し、両側の端点を結んで形成された複数の線分の候補から1つの線分を画像の画素の位置情報(例えば水平方向の画素値の勾配の強い画素数)に基づいて選択する。さらに、当該選択された線分を上述した分断線(椎体の場合には椎体境界R)として最適に決定することができる。
また、本実施例2に係る画像処理方法によれば、図10に示すステップT1〜T5の工程を実行することで、本実施例2に係る画像処理装置2を好適に実行することができる。その結果、分断線を正確に抽出することができる。
この発明は、上記実施形態に限られることはなく、下記のように変形実施することができる。
(1)上述した各実施例では、椎体を抽出する場合を例に採って説明したが、例えば、腕の骨を抽出する場合にも適用してもよい。また、上述した各実施例では、椎体領域などの骨を抽出したが、骨以外においても、臓器領域や病変領域等に例示されるように所定の対象領域の輪郭を抽出する場合にも適用することができる。
(2)上述した各実施例では、X線透視撮影装置や骨密度測定装置などの医用装置に適用したが、医用装置以外の非破壊検査装置などの工業用装置や、航空写真からの特定領域を抽出する装置などにも適用してもよい。航空写真からの特定領域を抽出する場合には、輪郭線は海岸線などの輪郭線あるいは砂州の領域を区切る2つの輪郭線となり、分断線は砂州の領域を分断する分断線となる。
(3)上述した各実施例では、対象領域(各実施例では椎体領域)では画素値(輝度)が高く、背景領域では画素値(輝度)が低い画像を用いて、輪郭線(各実施例では椎体の輪郭線)や分断線(実施例2では椎体境界)を求めたが、逆に、対象領域では画素値(輝度)が低く、背景領域では画素値(輝度)が高い画像を用いて、輪郭線や分断線を求めてもよい。
(4)上述した各実施例では、2つの輪郭線(各実施例では椎体の輪郭線)や、2つの輪郭線で区切られた領域を分断する分断線(実施例2では椎体境界)を求めたが、海岸線などのように1つの輪郭線を求めてもよいし、3つ以上の輪郭線を求めてもよいし、3つ以上の輪郭線で区切られた領域を分断する分断線を求めてもよい。したがって、輪郭線を求める場合には、1つあるいは2つ以上の輪郭線を求めるなど輪郭線の本数に特に限定されず、分断線を求める場合には、複数(2つ以上)の輪郭線で区切られた領域を分断するなど輪郭線の本数については複数であれば特に限定されない。
(5)上述した各実施例では、輪郭線の主軸方向はy方向と縦方向であり、ほぼ縦方向に延びる輪郭線(各実施例では椎体の輪郭線)およびほぼ水平方向に延びる分断線(実施例2では椎体境界)を求めたが、求めるべき輪郭線や分断線の延びる方向については特に限定されない。
以上のように、この発明は、X線透視撮影装置や骨密度測定装置などの医用装置、非破壊検査装置などの工業用装置や、航空写真からの特定領域を抽出する装置などに適している。
1 … 画像処理装置
11 … 輪郭候補線抽出部
12 … 開始点・終了点決定部
13 … 画像グラフ作成部
14 … 輪郭線抽出部
2 … 画像処理装置
21 … 開始点決定部
22 … 画像グラフ作成部
23 … 水平輪郭候補線抽出部
24 … 水平輪郭候補線分類部
25 … 椎体境界決定部
11 … 輪郭候補線抽出部
12 … 開始点・終了点決定部
13 … 画像グラフ作成部
14 … 輪郭線抽出部
2 … 画像処理装置
21 … 開始点決定部
22 … 画像グラフ作成部
23 … 水平輪郭候補線抽出部
24 … 水平輪郭候補線分類部
25 … 椎体境界決定部
Claims (12)
- 画像処理を行う画像処理装置であって、
画像から輪郭線の候補となる複数の輪郭候補線を抽出する輪郭候補線抽出手段と、
前記輪郭候補線抽出手段で抽出された複数の輪郭候補線から、それらよりも少ない本数である1つあるいは2つ以上の輪郭候補線を選択し、当該選択された輪郭候補線に対して画素の検索に関する開始点を決定するとともに、画素の検索に関する終了点を決定する開始点・終了点決定手段と、
前記画像の互いに隣接する各画素間を結ぶ節であって、輪郭線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる移動コストを有した前記節を画素ノードとしたときに、前記画像の各画素に対応する前記画素ノードを有する画像グラフを作成する画像グラフ作成手段と、
前記開始点・終了点決定手段で決定された前記開始点であって、前記画像グラフ作成手段で作成された前記画像グラフ上の画素ノードを開始ノードとして指定し、前記開始点・終了点決定手段で決定された前記終了点であって、前記画像グラフ作成手段で作成された前記画像グラフ上の画素ノードを終了ノードとして指定したときに、前記画像上の前記開始ノードから前記終了ノードにまで至る経路であって、前記移動コストが最小となる前記経路を輪郭線として抽出する輪郭線抽出手段と
を備えることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記開始点・終了点決定手段は、前記輪郭候補線抽出手段で抽出された複数の輪郭候補線から、それらよりも少ない本数である2つ以上の輪郭候補線を選択し、当該選択された輪郭候補線に対して画素の検索に関する開始点を決定するとともに、画素の検索に関する終了点を決定し、
前記移動コストを、画素の画素値に関する量,前記輪郭候補線上の画素であるか否かの確率に関する量および画素の位置情報に関する量に基づいて決定し、
前記画素の位置情報に関する量は、前記画像の輪郭線の主軸方向に平行な軸中心線で高い値となり、当該軸中心線から離れるにしたがって低くなるように、前記画素の位置情報に関する量を決定することを特徴とする画像処理装置。 - 画像処理を行う画像処理装置であって、
複数の輪郭線で区切られた領域を分断する分断線に対して画素の検索に関する開始点を決定する開始点決定手段と、
画像の互いに隣接する各画素間を結ぶ節であって、分断線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる移動コストを有した前記節を画素ノードとしたときに、前記画像の各画素に対応する前記画素ノードを有する画像グラフを作成する画像グラフ作成手段と、
前記開始点決定手段で決定された前記開始点であって、前記画像グラフ作成手段で作成された前記画像グラフ上の画素ノードを開始ノードとして指定し、画像の検索に関する終了点であって、前記画像グラフ作成手段で作成された前記画像グラフ上の画素ノードを終了ノードとして指定したときに、前記画像上の前記開始ノードから前記終了ノードにまで至る経路であって、前記移動コストが最小となる前記経路を分断線の候補となる複数の分断候補線としてそれぞれ抽出する分断候補線抽出手段と、
前記分断候補線抽出手段で抽出された複数の分断候補線を統計学的にクラスタリングして分類する分断候補線分類手段と、
前記分断候補線分類手段で分類された前記分断候補線における各クラスタ間の距離を決定して、各クラスタに属する各分断候補線の経路情報と前記決定された前記分断候補線における各クラスタ間の距離と前記画像の画素の位置情報とに基づいて分断線候補線における境界を分断線として決定する分断線境界決定手段と
を備えることを特徴とする画像処理装置。 - 請求項3に記載の画像処理装置において、
前記開始点決定手段は、前記輪郭線をなす点集合の中から、画素の画素値が極値となる極値点で、かつ当該輪郭線上に互いに隣接する画素間における画素値の勾配を有する点を前記開始点として決定することを特徴とする画像処理装置。 - 請求項3または請求項4に記載の画像処理装置において、
前記移動コストを、画素の画素値に関する量,前記開始点の位置情報に関する量および当該開始点の位置情報に依存した画素の位置情報に関する量に基づいて決定し、
前記開始点の位置情報に依存した画素の位置情報に関する量は、前記輪郭線の主軸方向の座標において前記開始点と注目画素との差分の絶対値が大きいほど高い値となり、当該差分の絶対値が小さくなるにしたがって低くなるように、前記開始点の位置情報に依存した画素の位置情報に関する量を決定することを特徴とする画像処理装置。 - 請求項3から請求項5のいずれかに記載の画像処理装置において、
前記分断線境界決定手段は、前記クラスタ間の距離が、予め決められた所定値よりも低いとき、あるいは他の各クラスタ間の距離と比較して短いとき、各クラスタに属する各分断候補線間の範囲から前記分断候補線における両側の端点をそれぞれ決定し、両側の端点を結んで形成された複数の線分の候補から1つの線分を前記画像の画素の位置情報に基づいて選択し、当該選択された線分を前記分断線として決定することを特徴とする画像処理装置。 - 画像処理を行う画像処理方法であって、
画像から輪郭線の候補となる複数の輪郭候補線を抽出する輪郭候補線抽出工程と、
前記輪郭候補線抽出工程で抽出された複数の輪郭候補線から、それらよりも少ない本数である1つあるいは2つ以上の輪郭候補線を選択し、当該選択された輪郭候補線に対して画素の検索に関する開始点を決定するとともに、画素の検索に関する終了点を決定する開始点・終了点決定工程と、
前記画像の互いに隣接する各画素間を結ぶ節であって、輪郭線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる移動コストを有した前記節を画素ノードとしたときに、前記画像の各画素に対応する前記画素ノードを有する画像グラフを作成する画像グラフ作成工程と、
前記開始点・終了点決定工程で決定された前記開始点であって、前記画像グラフ作成工程で作成された前記画像グラフ上の画素ノードを開始ノードとして指定し、前記開始点・終了点決定工程で決定された前記終了点であって、前記画像グラフ作成工程で作成された前記画像グラフ上の画素ノードを終了ノードとして指定したときに、前記画像上の前記開始ノードから前記終了ノードにまで至る経路であって、前記移動コストが最小となる前記経路を輪郭線として抽出する輪郭線抽出工程と
を備えることを特徴とする画像処理方法。 - 請求項7に記載の画像処理方法において、
前記開始点・終了点決定工程では、前記輪郭候補線抽出工程で抽出された複数の輪郭候補線から、それらよりも少ない本数である2つ以上の輪郭候補線を選択し、当該選択された輪郭候補線に対して画素の検索に関する開始点を決定するとともに、画素の検索に関する終了点を決定し、
前記移動コストを、画素の画素値に関する量,前記輪郭候補線上の画素であるか否かの確率に関する量および画素の位置情報に関する量に基づいて決定し、
前記画素の位置情報に関する量は、前記画像の輪郭線の主軸方向に平行な軸中心線で高い値となり、当該軸中心線から離れるにしたがって低くなるように、前記画素の位置情報に関する量を決定することを特徴とする画像処理方法。 - 画像処理を行う画像処理方法であって、
複数の輪郭線で区切られた領域を分断する分断線に対して画素の検索に関する開始点を決定する開始点決定工程と、
画像の互いに隣接する各画素間を結ぶ節であって、分断線を取り得る互いに隣接する各画素間を関連付けるリンクの重みの逆数からなる移動コストを有した前記節を画素ノードとしたときに、前記画像の各画素に対応する前記画素ノードを有する画像グラフを作成する画像グラフ作成工程と、
前記開始点決定工程で決定された前記開始点であって、前記画像グラフ作成工程で作成された前記画像グラフ上の画素ノードを開始ノードとして指定し、画像の検索に関する終了点であって、前記画像グラフ作成工程で作成された前記画像グラフ上の画素ノードを終了ノードとして指定したときに、前記画像上の前記開始ノードから前記終了ノードにまで至る経路であって、前記移動コストが最小となる前記経路を分断線の候補となる複数の分断候補線としてそれぞれ抽出する分断候補線抽出工程と、
前記分断候補線抽出工程で抽出された複数の分断候補線を統計学的にクラスタリングして分類する分断候補線分類工程と、
前記分断候補線分類工程で分類された前記分断候補線における各クラスタ間の距離を決定して、各クラスタに属する各分断候補線の経路情報と前記決定された前記分断候補線における各クラスタ間の距離と前記画像の画素の位置情報とに基づいて分断線候補線における境界を分断線として決定する分断線境界決定工程と
を備えることを特徴とする画像処理方法。 - 請求項9に記載の画像処理方法において、
前記開始点決定工程では、前記輪郭線をなす点集合の中から、画素の画素値が極値となる極値点で、かつ当該輪郭線上に互いに隣接する画素間における画素値の勾配を有する点を前記開始点として決定することを特徴とする画像処理方法。 - 請求項9または請求項10に記載の画像処理方法において、
前記移動コストを、画素の画素値に関する量,前記開始点の位置情報に関する量および当該開始点の位置情報に依存した画素の位置情報に関する量に基づいて決定し、
前記開始点の位置情報に依存した画素の位置情報に関する量は、前記輪郭線の主軸方向の座標において前記開始点と注目画素との差分の絶対値が大きいほど高い値となり、当該差分の絶対値が小さくなるにしたがって低くなるように、前記開始点の位置情報に依存した画素の位置情報に関する量を決定することを特徴とする画像処理方法。 - 請求項9から請求項11のいずれかに記載の画像処理方法において、
前記分断線境界決定工程では、前記クラスタ間の距離が、予め決められた所定値よりも低いとき、あるいは他の各クラスタ間の距離と比較して短いとき、各クラスタに属する各分断候補線間の範囲から前記分断候補線における両側の端点をそれぞれ決定し、両側の端点を結んで形成された複数の線分の候補から1つの線分を前記画像の画素の位置情報に基づいて選択し、当該選択された線分を前記分断線として決定することを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013121780A JP2014236912A (ja) | 2013-06-10 | 2013-06-10 | 画像処理装置およびその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013121780A JP2014236912A (ja) | 2013-06-10 | 2013-06-10 | 画像処理装置およびその方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014236912A true JP2014236912A (ja) | 2014-12-18 |
Family
ID=52134655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013121780A Pending JP2014236912A (ja) | 2013-06-10 | 2013-06-10 | 画像処理装置およびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014236912A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016119954A (ja) * | 2014-12-24 | 2016-07-07 | 好民 村山 | 放射線撮影装置 |
CN111667457A (zh) * | 2020-04-29 | 2020-09-15 | 杭州深睿博联科技有限公司 | 一种基于医学影像的脊椎椎体信息自动识别方法、系统、终端及存储介质 |
JPWO2021015232A1 (ja) * | 2019-07-25 | 2021-01-28 | ||
CN113657410A (zh) * | 2021-08-18 | 2021-11-16 | 深圳壹账通智能科技有限公司 | 基于人工智能的图像轮廓提取方法及相关设备 |
-
2013
- 2013-06-10 JP JP2013121780A patent/JP2014236912A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016119954A (ja) * | 2014-12-24 | 2016-07-07 | 好民 村山 | 放射線撮影装置 |
JPWO2021015232A1 (ja) * | 2019-07-25 | 2021-01-28 | ||
WO2021015232A1 (ja) * | 2019-07-25 | 2021-01-28 | 富士フイルム株式会社 | 学習装置、方法およびプログラム、グラフ構造抽出装置、方法およびプログラム、並びに学習済み抽出モデル |
JP7261884B2 (ja) | 2019-07-25 | 2023-04-20 | 富士フイルム株式会社 | 学習装置、方法およびプログラム、グラフ構造抽出装置、方法およびプログラム、並びに学習済み抽出モデル |
CN111667457A (zh) * | 2020-04-29 | 2020-09-15 | 杭州深睿博联科技有限公司 | 一种基于医学影像的脊椎椎体信息自动识别方法、系统、终端及存储介质 |
CN111667457B (zh) * | 2020-04-29 | 2023-07-18 | 杭州深睿博联科技有限公司 | 一种基于医学影像的脊椎椎体信息自动识别方法、系统、终端及存储介质 |
CN113657410A (zh) * | 2021-08-18 | 2021-11-16 | 深圳壹账通智能科技有限公司 | 基于人工智能的图像轮廓提取方法及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6877868B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6257092B2 (ja) | 画像処理装置及び脊柱管評価方法 | |
Labelle et al. | Seeing the spine in 3D: how will it change what we do? | |
JP6564018B2 (ja) | 放射線画像の肺野セグメンテーション技術及び骨減弱技術 | |
JP5399225B2 (ja) | 画像処理装置および方法並びにプログラム | |
US8483462B2 (en) | Object centric data reformation with application to rib visualization | |
WO2019175870A1 (en) | Automated bone segmentation in images | |
JP5301197B2 (ja) | 断面画像表示装置および方法ならびにプログラム | |
CN107103605B (zh) | 一种乳房组织的分割方法 | |
US9129391B2 (en) | Semi-automated preoperative resection planning | |
JP2015036123A (ja) | 医用画像処理装置、医用画像処理方法及び分類器トレーニング方法 | |
US10628941B2 (en) | Image processing apparatus, image processing method, and image processing program | |
CN105912874A (zh) | 基于dicom医学图像构建的肝脏三维数据库系统 | |
US7480401B2 (en) | Method for local surface smoothing with application to chest wall nodule segmentation in lung CT data | |
CN105496563B (zh) | 标定脊柱医学图像定位线的方法 | |
JP6853419B2 (ja) | 情報処理装置、情報処理方法、コンピュータプログラム | |
Karssemeijer et al. | Recognition of organs in CT-image sequences: a model guided approach | |
Maitra et al. | Automated digital mammogram segmentation for detection of abnormal masses using binary homogeneity enhancement algorithm | |
JP2014236912A (ja) | 画像処理装置およびその方法 | |
JP6415878B2 (ja) | 画像処理装置、画像処理方法及び医用画像診断装置 | |
JP6437207B2 (ja) | 医用画像処理装置および医用画像処理方法 | |
Bodzioch et al. | New approach to gallbladder ultrasonic images analysis and lesions recognition | |
US11961276B2 (en) | Linear structure extraction device, method, program, and learned model | |
Shadid et al. | Bone fragment segmentation from 3D CT imagery using the Probabilistic Watershed Transform | |
JP6115643B2 (ja) | 画像処理方法 |