JP2004240738A - 画像処理方法および装置 - Google Patents
画像処理方法および装置 Download PDFInfo
- Publication number
- JP2004240738A JP2004240738A JP2003029479A JP2003029479A JP2004240738A JP 2004240738 A JP2004240738 A JP 2004240738A JP 2003029479 A JP2003029479 A JP 2003029479A JP 2003029479 A JP2003029479 A JP 2003029479A JP 2004240738 A JP2004240738 A JP 2004240738A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- gradation conversion
- gradation
- correct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 189
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 6
- 238000011835 investigation Methods 0.000 abstract description 3
- 230000002596 correlated effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 4
- 230000001364 causal effect Effects 0.000 description 3
- 239000002872 contrast media Substances 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 101100395423 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) hog-1 gene Proteins 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
【課題】入力画像をその画像パターンに応じて適した階調変換条件で階調変換することができ、かつ、適正な階調変換条件が導出されなかった場合にも、その原因究明を容易にする。
【解決手段】観察読影に適した可視画像となるような適正な条件で階調変換された複数の正解画像PSiと、上記階調変換の条件CSiとが、それぞれ対応付けて保存されているデータベース10を予め用意しておく。階調変換画像作成手段20は、入力画像POを多数の異なる条件で階調変換して多数の階調変換画像PO′tを作成し、類似度算出手段30が、各階調変換画像PO′tとデータベース10内の各正解画像PSiとの各組合せWit毎に類似度Ritを算出する。抽出手段40は、最も高い類似度が算出された組合せWmax を抽出し、階調変換処理手段50が、その組合せWmax における正解画像に対応付けられた階調変換の条件CSmax にしたがって、入力画像POを階調変換し、変換済入力画像PO′を得る。
【選択図】 図1
【解決手段】観察読影に適した可視画像となるような適正な条件で階調変換された複数の正解画像PSiと、上記階調変換の条件CSiとが、それぞれ対応付けて保存されているデータベース10を予め用意しておく。階調変換画像作成手段20は、入力画像POを多数の異なる条件で階調変換して多数の階調変換画像PO′tを作成し、類似度算出手段30が、各階調変換画像PO′tとデータベース10内の各正解画像PSiとの各組合せWit毎に類似度Ritを算出する。抽出手段40は、最も高い類似度が算出された組合せWmax を抽出し、階調変換処理手段50が、その組合せWmax における正解画像に対応付けられた階調変換の条件CSmax にしたがって、入力画像POを階調変換し、変換済入力画像PO′を得る。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、画像処理方法および装置に関し、特に詳しくは、入力画像に対して観察読影に適した階調変換を施す方法および装置に関するものである。
【0002】
【従来の技術】
取得した医用画像データを観察読影に適した可視画像として再生するためには、その画像データに対して、画像パターンや目的等に応じた適正な階調変換処理を施す必要がある。
【0003】
X線撮影装置等により撮影された画像をデジタルデータとして読み取って出力する、いわゆるコンピューテッド・ラジオグラフィ(CR)において、上記のような階調変換処理を施す手法としては、処理対象である入力画像における濃度ヒストグラムの解析結果を用いる手法(例えば、特許文献1)や、ニューラルネットワークを用いる手法(例えば、特許文献2)が挙げられる。
【0004】
【特許文献1】
特開2002−359754号公報
【0005】
【特許文献2】
特開平11−088683号公報
【0006】
【発明が解決しようとする課題】
濃度ヒストグラムの解析結果を用いる手法は、画像パターンがある程度決まっている場合には有効であるが、濃度ヒストグラムは画像の情報が縮退し過ぎており、画像パターンが異なっているにもかかわらず、濃度ヒストグラムが類似している画像群に対しては、同じ階調変換条件を設定することとなり、画像パターンに応じた適正な階調変換を行うことが難しい(問題点1)。例えば、MRI装置によって撮影された人体上腹部のスライス画像の場合は、肺を表す非常に濃度の高い部分から造影剤を表す非常に濃度の低い部分までが含まれる、様々な濃淡の分布を有する画像が入力されてくるので、上記のような、画像パターンは異なるが濃度ヒストグラムが類似する画像が多数存在し、適正な階調変換を行うことができない。
【0007】
また、ニューラルネットワークを用いる手法は、濃度ヒストグラムが類似していても入力画像の画像パターンに応じて、適当な階調変換条件を設定することが可能であるが、入力画像の画像パターンと導き出された階調変換条件との因果関係が明確でないため、適正な階調変換条件が導き出されなかった場合に、その原因究明が難しく、改善手段を見つけることが困難である(問題点2)。
【0008】
本発明は、上記事情に鑑みなされたものであり、入力画像をその画像パターンに応じて適した階調変換条件で階調変換することができ(問題点1の解決)、入力画像の画像パターンと入力画像用に導出された階調変換条件との因果関係が明確で、適正な階調変換条件が導出されなかった場合にも、その原因究明を容易に行うことができる(問題点2の解決)画像処理方法および装置を提供することを目的とするものである。
【0009】
【課題を解決するための手段】
本発明の画像処理方法は、所定の被写体を表す複数の画像がそれぞれ観察読影に適した可視画像となるように階調変換された複数の正解画像と、これら各正解画像に対して施された上記の各階調変換の条件とを、それぞれ対応付けてデータベースに保存し、上記被写体と同種の被写体を表す入力画像に、多数の異なる階調変換条件による階調変換を施して、多数の階調変換画像を作成し、作成された多数の階調変換画像の少なくとも一部と複数の正解画像の全てとの組合せ毎に、両画像間の類似度を算出し、これら組合せのうち、最も高い類似度が算出された組合せを抽出し、抽出された組合せにおける正解画像に対応付けられた階調変換の条件にしたがって、入力画像を階調変換することを特徴とする方法である。
【0010】
ここで、正解画像をデータベースに保存するとは、適正な階調変換条件で変換された画像データをデータベースに保存するという意味であり、また、階調変換の条件をデータベースに保存するとは、階調変換の条件を表す情報をデータベースに保存するという意味であり、その情報は、階調変換の条件を直接的に示すもの、例えば、階調変換の演算式などであってもよいし、階調変換の条件を間接的に示すもの、例えば、予め登録されている階調変換条件を特定する番号などであってもよい。
【0011】
データベースには、撮影条件の異なる多数の正解画像を保存することが望ましく、撮影条件としては、例えば、造影剤の有無、スライス画像にあってはスライス位置などが考えられる。なお、被写体の種類が異なる複数の画像について階調変換することを想定して、被写体の複数の種類について、上記正解画像を保存するようにしてもよい。
【0012】
上記多数の異なる階調変換条件としては、例えば、階調変換カーブが直線で表される線形変換を行うものとし、この直線の傾きや切片などの各パラメータを変化させた場合の各条件とすることができる。
【0013】
上記「作成された多数の階調変換画像の少なくとも一部と複数の正解画像の全てとの組合せ毎に、両画像間の類似度を算出する」とは、作成した階調変換画像の全てと正解画像の全てとを総当りで組み合わせて、類似度を算出する場合のほか、各正解画像毎に一番高い類似度が算出される組合せを探索し、このような処理を全ての正解画像に対して行う場合などを含む意味である。
【0014】
上記の「最も高い類似度が算出された組合せを抽出する」アルゴリズムについては、種々考えることができるが、例えば、作成したm個の階調変換画像とデータベースに保存されているn個の正解画像とを総当りで(m×n)通りの組合せについて類似度を算出し、最も高い類似度が算出された組合せを抽出する方法や、各正解画像毎に、一番高い類似度が算出された組合せを抽出した後、抽出された全ての組合せの中で、最も高い類似度の組合せを抽出する方法などが考えられる。
【0015】
正解画像毎に一番高い類似度が算出された組合せを抽出するには、例えば、階調変換画像の作成と、類似度の算出とを交互に行うようにして、階調変換画像の作成に用いる階調変換条件を、類似度の算出結果に基づいて変化させてゆき、類似度が最も高くなる組合せを探索する手法や、階調変換画像の作成に用いる階調変換条件を一定の割合で変化させてゆき、その都度、階調変換画像の作成と、類似度の算出を行い、各組合せにおいて類似度を一通り算出し、その中で、最も高い類似度が算出された組合せを選択する手法などが考えられる。
【0016】
また、本発明の画像処理方法は、所定の被写体を表す複数の画像がそれぞれ観察読影に適した可視画像となるように階調変換された複数の正解画像と、これら各正解画像に対して施された上記の各階調変換の条件とを、それぞれ対応付けてデータベースに保存し、上記複数の正解画像の各々に、多数の異なる逆階調変換条件による逆階調変換を施して、多数の逆階調変換画像を作成し、作成された多数の逆階調変換画像と、上記被写体と同種の被写体を表す入力画像の組合せ毎に、両画像間の類似度を算出し、これら組合せのうち、最も高い類似度が算出された組合せを抽出し、抽出された組合せにおける逆階調変換画像の元となる正解画像に対応付けられた階調変換の条件にしたがって、入力画像を階調変換する方法とすることもできる。つまり、類似度の算出方法は、入力画像に対してある階調変換を施した画像と各正解画像とを比較する方法だけでなく、入力画像に対して施される階調変換とは入出力が逆になる逆階調変換を各正解画像に施して得られる逆階調変換画像と入力画像とを比較する方法も考えられる。
【0017】
本発明の画像処理装置は、所定の被写体を表す複数の画像がそれぞれ観察読影に適した可視画像となるように階調変換された複数の正解画像と、これら各正解画像が施された上記の各階調変換の条件とが、それぞれ対応付けて保存されているデータベースと、上記被写体と同種の被写体を表す入力画像に、多数の異なる階調変換条件による階調変換を施して、多数の階調変換画像を作成する階調変換画像作成手段と、作成された多数の階調変換画像の少なくとも一部とデータベースに保存されている複数の正解画像の全てとの組合せ毎に、両画像間の類似度を算出する類似度算出手段と、最も高い類似度が算出された組合せを抽出する抽出手段と、抽出された組合せにおける正解画像に対応付けられた階調変換の条件をデータベースから読み出し、読み出された階調変換の条件にしたがって、入力画像を階調変換する階調変換処理手段とを備えたことを特徴とするものである。
【0018】
上記画像処理装置において、類似度算出手段は、各組合せにおける、階調変換画像と正解画像の対応する画素毎の差分を算出することにより、類似度を算出するものとすることができ、また、上記の各組合せにおいて、階調変換画像と正解画像とにおける被写体の形状および面積が略一致するように、これら両画像のうち少なくとも一方を補正する補正手段をさらに備えてもよい。
【0019】
上記「対応する画素毎の差分を算出することにより類似度を算出する」の具体的な方法としては、例えば、対応する画素毎の画素値の差分値を算出して、それら差分値の総和または二乗平均を求め、その総和または二乗平均が小さいほど類似度が高くなるように、当該類似度を算出する方法が考えられる。
【0020】
また、上記画像処理装置において、上記の各組合せにおいて、階調変換画像と正解画像とにおける被写体の形状が同一の楕円形状となるように、これら両画像を補正して楕円形状画像を得る補正手段と、楕円形状画像における各被写体の画像を複数の同心楕円で複数の部分領域に分割する分割手段とを備え、類似度算出手段が、対応する各部分領域毎の濃度ヒストグラムの差分を算出することにより、類似度を算出するものとしてもよい。
【0021】
ここで、「楕円形状」および「同心楕円」は、真円も含むものとする。また、上記「対応する各部分領域毎の濃度ヒストグラムの差分を算出することにより類似度を算出する」の具体的な方法としては、例えば、対応する各部分領域毎の濃度ヒストグラムについて、各濃度帯域における頻度の差分値を算出して、それら差分値の総和または二乗平均を求め、その総和または二乗平均が小さいほど類似度が高くなるように、当該類似度を算出する方法や、存在する濃度の幅や中心若しくはそれらに類似した概念の指標値の差分に基づいて類似度を算出する方法などが考えられる。
【0022】
また、上記画像処理装置において、上記の各組合せにおいて、階調変換画像と正解画像とを平滑化する平滑化手段をさらに備え、類似度算出手段は、平滑化された階調変換画像と正解画像との類似度を算出するものとしてもよい。
【0023】
本発明の画像処理装置は、所定の被写体を表す複数の画像がそれぞれ観察読影に適した可視画像となるように階調変換された複数の正解画像と、これら各正解画像が施された上記の各階調変換の条件とが、それぞれ対応付けて保存されているデータベースと、データベースに保存されている複数の正解画像に、多数の異なる逆階調変換条件による逆階調変換を施して、多数の逆階調変換画像を作成する逆階調変換画像作成手段と、上記被写体と同種の被写体を表す入力画像と作成された多数の逆階調変換画像との組合せ毎に、両画像間の類似度を算出する類似度算出手段と、最も高い類似度が算出された組合せを抽出する抽出手段と、抽出された組合せにおける逆階調変換画像の元となる正解画像に対応付けられた階調変換の条件をデータベースから読み出し、読み出された階調変換の条件にしたがって、入力画像を階調変換する階調変換処理手段とを備えたものとすることもできる。
【0024】
【発明の効果】
本発明の画像処理方法および装置によれば、画像パターンの類似という概念を利用して、入力画像と適正な階調変換が施された正解画像とを結びつけ、元の画像が入力画像に類似していたと考えられる正解画像に対して施されている階調変換の条件を、入力画像に対して施す階調変換の条件として設定するので、入力画像の画像パターンに応じて適した階調変換の条件で階調変換することができ、かつ、入力画像の画像パターンと設定される階調変換条件との因果関係が明確となり、適正な階調変換の条件が導出されなかった場合にも、その原因究明を容易に行うことができる。
【0025】
上記画像処理装置において、類似度算出手段を、上記各組合せにおける、階調変換画像と正解画像の対応する画素毎の差分を算出することにより、類似度を算出するものとすれば、画像のパターンを直接的に比較して類似度を算出しているので、比較的厳格な類似判断が可能となる。
【0026】
この場合、上記画像処理装置において、上記各組合せにおいて、階調変換画像と正解画像とにおける被写体の形状および面積が略一致するように、これら両画像のうち少なくとも一方を補正する補正手段をさらに備えたものとすれば、画像同士の比較がより容易となり、両画像における被写体の形状や面積の違いによる類似度の誤差を排除することができる。
【0027】
上記画像処理装置において、上記各組合せにおいて、階調変換画像と正解画像とにおける被写体の形状が同一の楕円形状となるように、これら両画像を補正して楕円形状画像を得る補正手段と、楕円形状画像における各被写体の画像を複数の同心楕円で複数の部分領域に分割する分割手段とをさらに備え、類似度算出手段を、対応する各部分領域毎の濃度ヒストグラムの差分を算出することにより、類似度を算出するものとすれば、画像の回転による影響を排除した類似度の算出ができるので、被写体を表す画像が回転している画像についても正しい類似度の算出が可能となる。
【0028】
上記画像処理装置において、階調変換画像と正解画像とを平滑化する平滑化手段をさらに備え、類似度算出手段を、平滑化された階調変換画像と正解画像との類似度を算出するものとすれば、これら両画像の各画素の情報が当該各画素の周辺の画素に拡散するので、両画像における被写体の形状や位置の微小なずれによる類似度の誤差を低減することができる。
【0029】
【発明の実施の形態】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置は、観察読影に適した可視画像となるような適正な条件(正解条件)で階調変換された、いわゆる正解画像が複数保存されているデータベースを用意し、入力画像をある適当な条件で階調変換した画像とデータベース内の各正解画像との類似度を算出し、最も高い類似度が算出されたときの正解画像を抽出し、抽出された正解画像に施されている階調変換の条件と同じ条件にしたがって、入力画像を階調変換するものである。
【0030】
図1は、本発明の第1実施形態による画像処理装置の構成を示すブロック図である。図1に示す画像処理装置100は、所定の被写体を表す複数の画像がそれぞれ観察読影に適した可視画像となるように階調変換された複数の正解画像PSi(i=1,2,…,n)と、これら各正解画像PSiが施された上記各階調変換の条件CSiとが、それぞれ対応付けて保存されているデータベース10と、被写体81と同種の被写体を表す入力画像POに、多数の異なる階調変換条件COt(t=1,2,…)による階調変換を施して、多数の階調変換画像PO′tを作成する階調変換画像作成手段20と、作成されたこれら多数の階調変換画像PO′tの少なくとも一部とデータベース10に保存されている複数の正解画像PSiの全てとの各組合せWit毎に、両画像間の類似度Ritを算出する類似度算出手段30と、最も高い類似度が算出された組合せWmax を抽出する抽出手段40と、抽出された組合せWmax における正解画像に対応付けられた階調変換の条件CSmax をデータベース10から読み出し、読み出された階調変換の条件CSmax にしたがって入力画像POを階調変換し、変換済入力画像PO′を得る階調変換処理手段50とから構成されている。
【0031】
ここで、各手段について、より具体的に説明する。
【0032】
データベース10には、正解画像PSiと、この正解画像PSiに対して施されている階調変換の条件CSiとを1セットとして、正解画像の画像パターンがそれぞれ異なる多数のセットが保存されている。また、これらのセットは、被写体の種類や撮影条件等で分類されており、目的の正解画像または階調変換の条件が容易に検索できるようになっている。なお、被写体の種類としては、例えば、人体の脳、肺、肝臓など、撮影条件としては、造影剤の有無、スライス画像においてはスライス位置などが挙げられる。
【0033】
抽出手段40は、最も高い類似度が算出された組合せWmax を抽出するものであり、そのアルゴリズムは種々考えることができるが、本実施形態においては、二段階に分けて抽出するものとする。まず、データベース10に保存されている各正解画像PSi毎に、一番高い類似度が算出された組合せWimax を抽出し、次に、抽出された全ての組合せの中で、最も高い類似度の組合せWmax を抽出する。
【0034】
正解画像PSi毎に一番高い類似度が算出された組合せWimax を抽出するには、例えば、階調変換画像作成手段20による階調変換画像PO′tの作成と、類似度算出手段30による類似度Ritの算出とを交互に行うようにして、階調変換画像PO′tの作成に用いる階調変換条件を、類似度Ritの算出結果に基づいて変化させてゆき、類似度Ritが最も高くなる組合せを探索する手法や、階調変換画像PO′tの作成に用いる階調変換条件を一定の割合で変化させてゆき、その都度、階調変換画像作成手段20による階調変換画像PO′tの作成と、類似度算出手段30による類似度Ritの算出を行い、各組合せWitにおいて類似度Ritを一通り算出し、その中で、最も高い類似度が算出された組合せを選択する手法などが考えられる。なお、本実施形態においては、後者の手法を採用する。
【0035】
階調変換画像作成手段20は、ある線形な演算式の各パラメータを所定の範囲内で所定の間隔で変化させ、その都度その演算式に基づいて、入力画像POの各画素の信号値(画素値)を変換することにより、入力画像POに対して階調変換が施された階調変換画像PO′tを作成する。
【0036】
類似度算出手段30は、階調変換画像PO′tが作成される度に、作成された階調変換画像PO′tとデータベース10に保存されている正解画像PSiとの類似度Ritを算出する。この類似度Ritの算出は、各正解画像PSi毎にそれぞれの階調変換画像PO′tに対して行う。
【0037】
類似度Ritの算出方法についても種々考えられるが、本実施形態では、類似度Ritの算出対象となる、階調変換画像PO′tと正解画像PSiの対応する各画素毎に画素値の差分を算出し、その各差分の自乗和を、類似度Ritを表す指標値Qitとして求め、この指標値Qitが小さいほど類似度が高い(類似している)と判断する。
【0038】
階調変換処理手段50は、抽出手段40によって最も高い類似度が算出された組合せWmax における正解画像に対応付けられた、この正解画像自身が施された階調変換の条件CSmax をデータベース10から読み出し、その階調変換の条件CSmax にしたがって入力画像POを階調変換する。
【0039】
次に、第1実施形態による画像処理装置100の作用について説明する。なお、本実施形態においては、入力画像POを人体の一部を被写体としたMRI画像とする。
【0040】
図2は、画像処理装置100における処理フローを示した図である。まず、画像処理装置100に画像POが入力されると(ステップS1)、データベース10に保存されている1番目の正解画像PS1と、入力画像POを所定の各条件で階調変換して得られる各階調変換画像PO′tとの各組合せW1tにおける類似度をそれぞれ算出し、一番高い類似度が算出されたときの階調変換画像と正解画像PS1とからなる組合せW1max を抽出する(ステップS2(1))。次に、データベース10に保存されている2番目の正解画像PS2と、各階調変換画像PO′tとの各組合せW2tにおける類似度をそれぞれ算出し、一番高い類似度が算出されたときの階調変換画像と正解画像PS2とからなる組合せW2max を抽出する(ステップS2(2))。同様の抽出処理を繰り返し、最後のn番目の正解画像PSnと、各階調変換画像PO′tとの各組合せWntにおける類似度をそれぞれ算出し、一番高い類似度が算出されたときの組合せWnmax を抽出する(ステップS2(n))。
【0041】
各組合せWimax の具体的な抽出処理は、図3に示すような、処理フローにしたがって行われる。まず、階調変換画像作成手段20が、式(1)に示すような、入力画像POを階調変換するための演算式をベースに、演算式中の各パラメータの組合せKtを設定する(#1)。
【0042】
Xo′=a×Xo +b ・・・(1)
ここで、Xoは入力画像POにおける各画素の画素値、Xo′は階調変換後の画素値、a,bはパラメータである。
【0043】
次に、この式(1)による演算を行って入力画像POを階調変換し、階調変換画像PO′tを作成する(#2)。
【0044】
続いて、類似度算出手段30が、作成された階調変換画像PO′tと正解画像PSiとの類似度Ritを表す指標値Qitとして、両画像の対応する各画素毎の差分の自乗和を、式(2)にしたがって算出する(#3)。
【0045】
Qit=Σ(Xsi−Xo′t)2 ・・・(2)
ここで、Xsiは正解画像PSiの各画素の画素値、Xo′tはパラメータの組合せKtを設定した演算式によって作成された階調変換画像PO′tの各画素の画素値である。
【0046】
そして、パラメータa,bのすべての組合せKtについて、指標値を算出したか否かを確認し(#4)、算出した場合は、抽出手段40が、一番高い類似度を算出したときの階調変換画像PO′tと正解画像PSiの組合せWimax を抽出し(#5)、そうでない場合は、パラメータa,bを変更して、次の組合せKt+1を設定し、再び階調変換画像の作成と類似度の算出を行う。
【0047】
抽出手段40は、上述のようにして、各正解画像PSiについて、一番高い類似度(一番小さい指標値Qit)が算出された組合せWimax を得、これらの組合せの中で、最も高い類似度が算出された組合せWmax をさらに抽出する(ステップS3)。
【0048】
階調変換処理手段50は、抽出された組合せWmax における正解画像に対応付けられた階調変換の条件CSmax をデータベース10から読み出し、当該読み出された階調変換の条件CSmax にしたがって、入力画像POを階調変換する(ステップS4)。
【0049】
このような画像処理装置100によれば、画像パターンの類似という概念を利用して、入力画像と適正な階調変換が施された正解画像とを結びつけ、元の画像が入力画像に類似していたと考えられる正解画像に対して施されている階調変換の条件を、入力画像に対して施す階調変換の条件として設定するので、入力画像の画像パターンに応じて適した階調変換の条件で階調変換することができ、かつ、入力画像の画像パターンと設定される階調変換条件との因果関係が明確となり、適正な階調変換の条件が導出されなかった場合にも、その原因究明を容易に行うことができる。
【0050】
なお、第1実施形態においては、階調変換画像の作成と類似度の算出とを交互に繰り返すようにしているが、もちろん、はじめに多数の階調変換画像を作成しておき、後からそれらの階調変換画像に対して類似度を算出するようにしてもよい。
【0051】
第1実施形態のように、対応する画素毎に画素値の差分を算出することにより類似度を算出する場合には、被写体を表す画像の形状が入力画像と正解画像とで大幅に異なると、正しい類似度の算出を行うことができない。そこで、画像処理装置100において、階調変換画像と正解画像とからなる各組合せにおいて、階調変換画像と正解画像とにおける被写体の形状および面積が略一致するように、これら両画像(または、入力画像と正解画像)のうち少なくとも一方を補正する補正手段60をさらに備えたものとし、類似度の算出対象となる両画像のうち、片方または両方の画像に対して幾何学的変換処理を施し、両画像の被写体の形状を一致させてから、類似度の算出を行うようにするとなおよい。例えば、被写体が腹部の場合には、被写体を楕円形状に変形させる。図4は、上記補正手段60をさらに備えた場合(第2実施形態)の画像処理装置100の構成を示した図である。
【0052】
なお、上記のように、被写体形状を変形させて入力画像と正解画像とで被写体の形状を一致させてから、類似度を算出する方法だけでなく、変形は行わずに、多種多様の被写体形状を有する正解画像を多数用意しておき、すべての正解画像に対して、単に順次、類似度を算出してゆく方法も用いることができる。前者は、少ない正解画像で足りるという利点があり、後者は、複雑なアルゴリズムを使用する必要がないという利点がある。
【0053】
また、画像処理装置100において、階調変換画像と正解画像とからなる各組合せにおいて、階調変換画像と正解画像とにおける被写体の形状が同一の楕円形状となるように、これら両画像(または、入力画像と正解画像)を補正して楕円形状画像を得る補正手段61と、これら楕円形状画像における上記各被写体の画像を複数の同心楕円で複数の部分領域に分割する分割手段62とをさらに備えたものとし、類似度算出手段30が、対応する各部分領域毎の濃度ヒストグラムの差分を算出することにより、類似度を算出するようにしてもよい。図5は、上記補正手段61と上記分割手段62とをさらに備えた場合(第3実施形態)の画像処理装置100の構成を示した図、図6は、楕円形状に補正された両画像の対応する各分割領域毎の濃度ヒストグラムの差分を算出することにより、類似度を算出する場合の一例を表した図である。階調変換画像PO′tと正解画像PSiの対応する各部分領域(g1からg3)毎に、階調変換画像における濃度ヒストグラム(Hog1 からHog3 )と、正解画像における濃度ヒストグラム(Hsg1 からHsg3 )を得、各部分領域における濃度ヒストグラムの差分を算出してヒストグラムの一致度を求め、これら一致度から総合的な類似度を算出するようにすることができる。このようにすれば、画像の回転による影響を排除した類似度の算出ができるので、被写体を表す画像が回転している画像についても正しい類似度の算出が可能となる。また、ヒストグラムの一致度を用いて総合的な類似度を算出する場合には、必ずしも画像の階調変換を行う必要はなく、ヒストグラムを階調変換曲線で変換してもよい。
【0054】
なお、上記第2および第3実施形態においては、補正手段60または61が、両画像における被写体領域を画像認識により認識して抽出した後、抽出した被写体領域が目的の形状となるよう補正するわけだが、各正解画像に対して予め被写体領域を認識しておき、その認識結果を正解画像、階調変換の条件とともに対応付けてデータベースに保存するようにし、補正手段が、その認識結果に基づいて被写体を表す画像の形状や面積を一致させるための補正や、同一の楕円形状への変形を行うようにしてもよい。
【0055】
なお、被写体の形状認識には、中心点から外側に向けてラインスキャンし、急峻な濃度変化があった位置をエッジとみなしてエッジ検出することにより、被写体全体の形状を認識する手法を用いることができる。
【0056】
また、画像処理装置100において、階調変換画像と正解画像とを平滑化する平滑化手段70をさらに備えたものとし、類似度算出手段30が、平滑化された階調変換画像と正解画像との類似度を算出するものとすることもできる。図7は、上記平滑化手段70を備えた場合(第4実施形態)の画像処理装置100の構成を示した図である。このようにすれば、これら両画像の各画素の情報が当該各画素の周辺の画素に拡散するので、両画像における被写体の形状や位置の微小なずれによる類似度の誤差を低減することができる。なお、このような平滑化された画像を類似度の算出対象とする方法は、第1実施形態だけでなく、第2および第3実施形態においても適用することができる。
【0057】
なお、抽出手段40により最も類似度が高くなる組合せWimaxを抽出する際に、組合せWimax における階調変換画像に対して施された階調変換の演算式の各パラメータ値が明らかに的外れである場合には、その組合せから導かれた、入力画像に対して設定する階調変換の条件は採用すべきでないので、各パラメータについて所定の範囲を予め設定しておくとともに、標準的な階調変換の条件を登録しておき、各パラメータ値がその範囲を超えているような場合は、登録されている標準的な階調変換の条件を読み出して、入力画像に対して設定するようにするとよい。
【0058】
また、上記の各実施形態においては、階調変換画像作成手段20が、入力画像に階調変換を施して階調変換画像を作成し、類似度算出手段30が、階調変換画像と正解画像との類似度を算出するようにしているが、これとは逆に、階調変換画像作成手段20が、正解画像に対して、上記階調変換とは入出力が逆になる逆階調変換を施して逆階調変換画像を作成し、類似度算出手段30が、入力画像と逆階調変換画像との類似度を算出するようにしてもよい。
【0059】
また、採用した階調変換の条件は、補正して用いることができるようにしてもよい。更に、補正した結果(正解値)を正解データベースに自動的に追加するようにしてもよい。
【0060】
なお、類似度の算出方法は、本実施例に限定されず、その他の種々の方法を用いることができる。
【図面の簡単な説明】
【図1】第1実施形態による画像処理装置の構成を示したブロック図
【図2】第1実施形態による画像処理装置の処理フローを示した図
【図3】正解画像毎に、一番高い類似度が算出された階調変換画像と正解画像からなる組合せを抽出する処理の処理フローを示した図
【図4】第2実施形態による画像処理装置の構成を示したブロック図
【図5】第3実施形態による画像処理装置の構成を示したブロック図
【図6】対応する分割領域毎の濃度ヒストグラムの一致度に基づいて、全体の類似度を算出する場合の一例を示した図
【図7】第4実施形態による画像処理装置の構成を示したブロック図
【符号の説明】
100 画像処理装置
10 データベース
20 階調変換画像作成手段
30 類似度算出手段
40 抽出手段
50 階調変換処理手段
60 補正手段
61 補正手段
62 分割手段
70 平滑化手段
【発明の属する技術分野】
本発明は、画像処理方法および装置に関し、特に詳しくは、入力画像に対して観察読影に適した階調変換を施す方法および装置に関するものである。
【0002】
【従来の技術】
取得した医用画像データを観察読影に適した可視画像として再生するためには、その画像データに対して、画像パターンや目的等に応じた適正な階調変換処理を施す必要がある。
【0003】
X線撮影装置等により撮影された画像をデジタルデータとして読み取って出力する、いわゆるコンピューテッド・ラジオグラフィ(CR)において、上記のような階調変換処理を施す手法としては、処理対象である入力画像における濃度ヒストグラムの解析結果を用いる手法(例えば、特許文献1)や、ニューラルネットワークを用いる手法(例えば、特許文献2)が挙げられる。
【0004】
【特許文献1】
特開2002−359754号公報
【0005】
【特許文献2】
特開平11−088683号公報
【0006】
【発明が解決しようとする課題】
濃度ヒストグラムの解析結果を用いる手法は、画像パターンがある程度決まっている場合には有効であるが、濃度ヒストグラムは画像の情報が縮退し過ぎており、画像パターンが異なっているにもかかわらず、濃度ヒストグラムが類似している画像群に対しては、同じ階調変換条件を設定することとなり、画像パターンに応じた適正な階調変換を行うことが難しい(問題点1)。例えば、MRI装置によって撮影された人体上腹部のスライス画像の場合は、肺を表す非常に濃度の高い部分から造影剤を表す非常に濃度の低い部分までが含まれる、様々な濃淡の分布を有する画像が入力されてくるので、上記のような、画像パターンは異なるが濃度ヒストグラムが類似する画像が多数存在し、適正な階調変換を行うことができない。
【0007】
また、ニューラルネットワークを用いる手法は、濃度ヒストグラムが類似していても入力画像の画像パターンに応じて、適当な階調変換条件を設定することが可能であるが、入力画像の画像パターンと導き出された階調変換条件との因果関係が明確でないため、適正な階調変換条件が導き出されなかった場合に、その原因究明が難しく、改善手段を見つけることが困難である(問題点2)。
【0008】
本発明は、上記事情に鑑みなされたものであり、入力画像をその画像パターンに応じて適した階調変換条件で階調変換することができ(問題点1の解決)、入力画像の画像パターンと入力画像用に導出された階調変換条件との因果関係が明確で、適正な階調変換条件が導出されなかった場合にも、その原因究明を容易に行うことができる(問題点2の解決)画像処理方法および装置を提供することを目的とするものである。
【0009】
【課題を解決するための手段】
本発明の画像処理方法は、所定の被写体を表す複数の画像がそれぞれ観察読影に適した可視画像となるように階調変換された複数の正解画像と、これら各正解画像に対して施された上記の各階調変換の条件とを、それぞれ対応付けてデータベースに保存し、上記被写体と同種の被写体を表す入力画像に、多数の異なる階調変換条件による階調変換を施して、多数の階調変換画像を作成し、作成された多数の階調変換画像の少なくとも一部と複数の正解画像の全てとの組合せ毎に、両画像間の類似度を算出し、これら組合せのうち、最も高い類似度が算出された組合せを抽出し、抽出された組合せにおける正解画像に対応付けられた階調変換の条件にしたがって、入力画像を階調変換することを特徴とする方法である。
【0010】
ここで、正解画像をデータベースに保存するとは、適正な階調変換条件で変換された画像データをデータベースに保存するという意味であり、また、階調変換の条件をデータベースに保存するとは、階調変換の条件を表す情報をデータベースに保存するという意味であり、その情報は、階調変換の条件を直接的に示すもの、例えば、階調変換の演算式などであってもよいし、階調変換の条件を間接的に示すもの、例えば、予め登録されている階調変換条件を特定する番号などであってもよい。
【0011】
データベースには、撮影条件の異なる多数の正解画像を保存することが望ましく、撮影条件としては、例えば、造影剤の有無、スライス画像にあってはスライス位置などが考えられる。なお、被写体の種類が異なる複数の画像について階調変換することを想定して、被写体の複数の種類について、上記正解画像を保存するようにしてもよい。
【0012】
上記多数の異なる階調変換条件としては、例えば、階調変換カーブが直線で表される線形変換を行うものとし、この直線の傾きや切片などの各パラメータを変化させた場合の各条件とすることができる。
【0013】
上記「作成された多数の階調変換画像の少なくとも一部と複数の正解画像の全てとの組合せ毎に、両画像間の類似度を算出する」とは、作成した階調変換画像の全てと正解画像の全てとを総当りで組み合わせて、類似度を算出する場合のほか、各正解画像毎に一番高い類似度が算出される組合せを探索し、このような処理を全ての正解画像に対して行う場合などを含む意味である。
【0014】
上記の「最も高い類似度が算出された組合せを抽出する」アルゴリズムについては、種々考えることができるが、例えば、作成したm個の階調変換画像とデータベースに保存されているn個の正解画像とを総当りで(m×n)通りの組合せについて類似度を算出し、最も高い類似度が算出された組合せを抽出する方法や、各正解画像毎に、一番高い類似度が算出された組合せを抽出した後、抽出された全ての組合せの中で、最も高い類似度の組合せを抽出する方法などが考えられる。
【0015】
正解画像毎に一番高い類似度が算出された組合せを抽出するには、例えば、階調変換画像の作成と、類似度の算出とを交互に行うようにして、階調変換画像の作成に用いる階調変換条件を、類似度の算出結果に基づいて変化させてゆき、類似度が最も高くなる組合せを探索する手法や、階調変換画像の作成に用いる階調変換条件を一定の割合で変化させてゆき、その都度、階調変換画像の作成と、類似度の算出を行い、各組合せにおいて類似度を一通り算出し、その中で、最も高い類似度が算出された組合せを選択する手法などが考えられる。
【0016】
また、本発明の画像処理方法は、所定の被写体を表す複数の画像がそれぞれ観察読影に適した可視画像となるように階調変換された複数の正解画像と、これら各正解画像に対して施された上記の各階調変換の条件とを、それぞれ対応付けてデータベースに保存し、上記複数の正解画像の各々に、多数の異なる逆階調変換条件による逆階調変換を施して、多数の逆階調変換画像を作成し、作成された多数の逆階調変換画像と、上記被写体と同種の被写体を表す入力画像の組合せ毎に、両画像間の類似度を算出し、これら組合せのうち、最も高い類似度が算出された組合せを抽出し、抽出された組合せにおける逆階調変換画像の元となる正解画像に対応付けられた階調変換の条件にしたがって、入力画像を階調変換する方法とすることもできる。つまり、類似度の算出方法は、入力画像に対してある階調変換を施した画像と各正解画像とを比較する方法だけでなく、入力画像に対して施される階調変換とは入出力が逆になる逆階調変換を各正解画像に施して得られる逆階調変換画像と入力画像とを比較する方法も考えられる。
【0017】
本発明の画像処理装置は、所定の被写体を表す複数の画像がそれぞれ観察読影に適した可視画像となるように階調変換された複数の正解画像と、これら各正解画像が施された上記の各階調変換の条件とが、それぞれ対応付けて保存されているデータベースと、上記被写体と同種の被写体を表す入力画像に、多数の異なる階調変換条件による階調変換を施して、多数の階調変換画像を作成する階調変換画像作成手段と、作成された多数の階調変換画像の少なくとも一部とデータベースに保存されている複数の正解画像の全てとの組合せ毎に、両画像間の類似度を算出する類似度算出手段と、最も高い類似度が算出された組合せを抽出する抽出手段と、抽出された組合せにおける正解画像に対応付けられた階調変換の条件をデータベースから読み出し、読み出された階調変換の条件にしたがって、入力画像を階調変換する階調変換処理手段とを備えたことを特徴とするものである。
【0018】
上記画像処理装置において、類似度算出手段は、各組合せにおける、階調変換画像と正解画像の対応する画素毎の差分を算出することにより、類似度を算出するものとすることができ、また、上記の各組合せにおいて、階調変換画像と正解画像とにおける被写体の形状および面積が略一致するように、これら両画像のうち少なくとも一方を補正する補正手段をさらに備えてもよい。
【0019】
上記「対応する画素毎の差分を算出することにより類似度を算出する」の具体的な方法としては、例えば、対応する画素毎の画素値の差分値を算出して、それら差分値の総和または二乗平均を求め、その総和または二乗平均が小さいほど類似度が高くなるように、当該類似度を算出する方法が考えられる。
【0020】
また、上記画像処理装置において、上記の各組合せにおいて、階調変換画像と正解画像とにおける被写体の形状が同一の楕円形状となるように、これら両画像を補正して楕円形状画像を得る補正手段と、楕円形状画像における各被写体の画像を複数の同心楕円で複数の部分領域に分割する分割手段とを備え、類似度算出手段が、対応する各部分領域毎の濃度ヒストグラムの差分を算出することにより、類似度を算出するものとしてもよい。
【0021】
ここで、「楕円形状」および「同心楕円」は、真円も含むものとする。また、上記「対応する各部分領域毎の濃度ヒストグラムの差分を算出することにより類似度を算出する」の具体的な方法としては、例えば、対応する各部分領域毎の濃度ヒストグラムについて、各濃度帯域における頻度の差分値を算出して、それら差分値の総和または二乗平均を求め、その総和または二乗平均が小さいほど類似度が高くなるように、当該類似度を算出する方法や、存在する濃度の幅や中心若しくはそれらに類似した概念の指標値の差分に基づいて類似度を算出する方法などが考えられる。
【0022】
また、上記画像処理装置において、上記の各組合せにおいて、階調変換画像と正解画像とを平滑化する平滑化手段をさらに備え、類似度算出手段は、平滑化された階調変換画像と正解画像との類似度を算出するものとしてもよい。
【0023】
本発明の画像処理装置は、所定の被写体を表す複数の画像がそれぞれ観察読影に適した可視画像となるように階調変換された複数の正解画像と、これら各正解画像が施された上記の各階調変換の条件とが、それぞれ対応付けて保存されているデータベースと、データベースに保存されている複数の正解画像に、多数の異なる逆階調変換条件による逆階調変換を施して、多数の逆階調変換画像を作成する逆階調変換画像作成手段と、上記被写体と同種の被写体を表す入力画像と作成された多数の逆階調変換画像との組合せ毎に、両画像間の類似度を算出する類似度算出手段と、最も高い類似度が算出された組合せを抽出する抽出手段と、抽出された組合せにおける逆階調変換画像の元となる正解画像に対応付けられた階調変換の条件をデータベースから読み出し、読み出された階調変換の条件にしたがって、入力画像を階調変換する階調変換処理手段とを備えたものとすることもできる。
【0024】
【発明の効果】
本発明の画像処理方法および装置によれば、画像パターンの類似という概念を利用して、入力画像と適正な階調変換が施された正解画像とを結びつけ、元の画像が入力画像に類似していたと考えられる正解画像に対して施されている階調変換の条件を、入力画像に対して施す階調変換の条件として設定するので、入力画像の画像パターンに応じて適した階調変換の条件で階調変換することができ、かつ、入力画像の画像パターンと設定される階調変換条件との因果関係が明確となり、適正な階調変換の条件が導出されなかった場合にも、その原因究明を容易に行うことができる。
【0025】
上記画像処理装置において、類似度算出手段を、上記各組合せにおける、階調変換画像と正解画像の対応する画素毎の差分を算出することにより、類似度を算出するものとすれば、画像のパターンを直接的に比較して類似度を算出しているので、比較的厳格な類似判断が可能となる。
【0026】
この場合、上記画像処理装置において、上記各組合せにおいて、階調変換画像と正解画像とにおける被写体の形状および面積が略一致するように、これら両画像のうち少なくとも一方を補正する補正手段をさらに備えたものとすれば、画像同士の比較がより容易となり、両画像における被写体の形状や面積の違いによる類似度の誤差を排除することができる。
【0027】
上記画像処理装置において、上記各組合せにおいて、階調変換画像と正解画像とにおける被写体の形状が同一の楕円形状となるように、これら両画像を補正して楕円形状画像を得る補正手段と、楕円形状画像における各被写体の画像を複数の同心楕円で複数の部分領域に分割する分割手段とをさらに備え、類似度算出手段を、対応する各部分領域毎の濃度ヒストグラムの差分を算出することにより、類似度を算出するものとすれば、画像の回転による影響を排除した類似度の算出ができるので、被写体を表す画像が回転している画像についても正しい類似度の算出が可能となる。
【0028】
上記画像処理装置において、階調変換画像と正解画像とを平滑化する平滑化手段をさらに備え、類似度算出手段を、平滑化された階調変換画像と正解画像との類似度を算出するものとすれば、これら両画像の各画素の情報が当該各画素の周辺の画素に拡散するので、両画像における被写体の形状や位置の微小なずれによる類似度の誤差を低減することができる。
【0029】
【発明の実施の形態】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置は、観察読影に適した可視画像となるような適正な条件(正解条件)で階調変換された、いわゆる正解画像が複数保存されているデータベースを用意し、入力画像をある適当な条件で階調変換した画像とデータベース内の各正解画像との類似度を算出し、最も高い類似度が算出されたときの正解画像を抽出し、抽出された正解画像に施されている階調変換の条件と同じ条件にしたがって、入力画像を階調変換するものである。
【0030】
図1は、本発明の第1実施形態による画像処理装置の構成を示すブロック図である。図1に示す画像処理装置100は、所定の被写体を表す複数の画像がそれぞれ観察読影に適した可視画像となるように階調変換された複数の正解画像PSi(i=1,2,…,n)と、これら各正解画像PSiが施された上記各階調変換の条件CSiとが、それぞれ対応付けて保存されているデータベース10と、被写体81と同種の被写体を表す入力画像POに、多数の異なる階調変換条件COt(t=1,2,…)による階調変換を施して、多数の階調変換画像PO′tを作成する階調変換画像作成手段20と、作成されたこれら多数の階調変換画像PO′tの少なくとも一部とデータベース10に保存されている複数の正解画像PSiの全てとの各組合せWit毎に、両画像間の類似度Ritを算出する類似度算出手段30と、最も高い類似度が算出された組合せWmax を抽出する抽出手段40と、抽出された組合せWmax における正解画像に対応付けられた階調変換の条件CSmax をデータベース10から読み出し、読み出された階調変換の条件CSmax にしたがって入力画像POを階調変換し、変換済入力画像PO′を得る階調変換処理手段50とから構成されている。
【0031】
ここで、各手段について、より具体的に説明する。
【0032】
データベース10には、正解画像PSiと、この正解画像PSiに対して施されている階調変換の条件CSiとを1セットとして、正解画像の画像パターンがそれぞれ異なる多数のセットが保存されている。また、これらのセットは、被写体の種類や撮影条件等で分類されており、目的の正解画像または階調変換の条件が容易に検索できるようになっている。なお、被写体の種類としては、例えば、人体の脳、肺、肝臓など、撮影条件としては、造影剤の有無、スライス画像においてはスライス位置などが挙げられる。
【0033】
抽出手段40は、最も高い類似度が算出された組合せWmax を抽出するものであり、そのアルゴリズムは種々考えることができるが、本実施形態においては、二段階に分けて抽出するものとする。まず、データベース10に保存されている各正解画像PSi毎に、一番高い類似度が算出された組合せWimax を抽出し、次に、抽出された全ての組合せの中で、最も高い類似度の組合せWmax を抽出する。
【0034】
正解画像PSi毎に一番高い類似度が算出された組合せWimax を抽出するには、例えば、階調変換画像作成手段20による階調変換画像PO′tの作成と、類似度算出手段30による類似度Ritの算出とを交互に行うようにして、階調変換画像PO′tの作成に用いる階調変換条件を、類似度Ritの算出結果に基づいて変化させてゆき、類似度Ritが最も高くなる組合せを探索する手法や、階調変換画像PO′tの作成に用いる階調変換条件を一定の割合で変化させてゆき、その都度、階調変換画像作成手段20による階調変換画像PO′tの作成と、類似度算出手段30による類似度Ritの算出を行い、各組合せWitにおいて類似度Ritを一通り算出し、その中で、最も高い類似度が算出された組合せを選択する手法などが考えられる。なお、本実施形態においては、後者の手法を採用する。
【0035】
階調変換画像作成手段20は、ある線形な演算式の各パラメータを所定の範囲内で所定の間隔で変化させ、その都度その演算式に基づいて、入力画像POの各画素の信号値(画素値)を変換することにより、入力画像POに対して階調変換が施された階調変換画像PO′tを作成する。
【0036】
類似度算出手段30は、階調変換画像PO′tが作成される度に、作成された階調変換画像PO′tとデータベース10に保存されている正解画像PSiとの類似度Ritを算出する。この類似度Ritの算出は、各正解画像PSi毎にそれぞれの階調変換画像PO′tに対して行う。
【0037】
類似度Ritの算出方法についても種々考えられるが、本実施形態では、類似度Ritの算出対象となる、階調変換画像PO′tと正解画像PSiの対応する各画素毎に画素値の差分を算出し、その各差分の自乗和を、類似度Ritを表す指標値Qitとして求め、この指標値Qitが小さいほど類似度が高い(類似している)と判断する。
【0038】
階調変換処理手段50は、抽出手段40によって最も高い類似度が算出された組合せWmax における正解画像に対応付けられた、この正解画像自身が施された階調変換の条件CSmax をデータベース10から読み出し、その階調変換の条件CSmax にしたがって入力画像POを階調変換する。
【0039】
次に、第1実施形態による画像処理装置100の作用について説明する。なお、本実施形態においては、入力画像POを人体の一部を被写体としたMRI画像とする。
【0040】
図2は、画像処理装置100における処理フローを示した図である。まず、画像処理装置100に画像POが入力されると(ステップS1)、データベース10に保存されている1番目の正解画像PS1と、入力画像POを所定の各条件で階調変換して得られる各階調変換画像PO′tとの各組合せW1tにおける類似度をそれぞれ算出し、一番高い類似度が算出されたときの階調変換画像と正解画像PS1とからなる組合せW1max を抽出する(ステップS2(1))。次に、データベース10に保存されている2番目の正解画像PS2と、各階調変換画像PO′tとの各組合せW2tにおける類似度をそれぞれ算出し、一番高い類似度が算出されたときの階調変換画像と正解画像PS2とからなる組合せW2max を抽出する(ステップS2(2))。同様の抽出処理を繰り返し、最後のn番目の正解画像PSnと、各階調変換画像PO′tとの各組合せWntにおける類似度をそれぞれ算出し、一番高い類似度が算出されたときの組合せWnmax を抽出する(ステップS2(n))。
【0041】
各組合せWimax の具体的な抽出処理は、図3に示すような、処理フローにしたがって行われる。まず、階調変換画像作成手段20が、式(1)に示すような、入力画像POを階調変換するための演算式をベースに、演算式中の各パラメータの組合せKtを設定する(#1)。
【0042】
Xo′=a×Xo +b ・・・(1)
ここで、Xoは入力画像POにおける各画素の画素値、Xo′は階調変換後の画素値、a,bはパラメータである。
【0043】
次に、この式(1)による演算を行って入力画像POを階調変換し、階調変換画像PO′tを作成する(#2)。
【0044】
続いて、類似度算出手段30が、作成された階調変換画像PO′tと正解画像PSiとの類似度Ritを表す指標値Qitとして、両画像の対応する各画素毎の差分の自乗和を、式(2)にしたがって算出する(#3)。
【0045】
Qit=Σ(Xsi−Xo′t)2 ・・・(2)
ここで、Xsiは正解画像PSiの各画素の画素値、Xo′tはパラメータの組合せKtを設定した演算式によって作成された階調変換画像PO′tの各画素の画素値である。
【0046】
そして、パラメータa,bのすべての組合せKtについて、指標値を算出したか否かを確認し(#4)、算出した場合は、抽出手段40が、一番高い類似度を算出したときの階調変換画像PO′tと正解画像PSiの組合せWimax を抽出し(#5)、そうでない場合は、パラメータa,bを変更して、次の組合せKt+1を設定し、再び階調変換画像の作成と類似度の算出を行う。
【0047】
抽出手段40は、上述のようにして、各正解画像PSiについて、一番高い類似度(一番小さい指標値Qit)が算出された組合せWimax を得、これらの組合せの中で、最も高い類似度が算出された組合せWmax をさらに抽出する(ステップS3)。
【0048】
階調変換処理手段50は、抽出された組合せWmax における正解画像に対応付けられた階調変換の条件CSmax をデータベース10から読み出し、当該読み出された階調変換の条件CSmax にしたがって、入力画像POを階調変換する(ステップS4)。
【0049】
このような画像処理装置100によれば、画像パターンの類似という概念を利用して、入力画像と適正な階調変換が施された正解画像とを結びつけ、元の画像が入力画像に類似していたと考えられる正解画像に対して施されている階調変換の条件を、入力画像に対して施す階調変換の条件として設定するので、入力画像の画像パターンに応じて適した階調変換の条件で階調変換することができ、かつ、入力画像の画像パターンと設定される階調変換条件との因果関係が明確となり、適正な階調変換の条件が導出されなかった場合にも、その原因究明を容易に行うことができる。
【0050】
なお、第1実施形態においては、階調変換画像の作成と類似度の算出とを交互に繰り返すようにしているが、もちろん、はじめに多数の階調変換画像を作成しておき、後からそれらの階調変換画像に対して類似度を算出するようにしてもよい。
【0051】
第1実施形態のように、対応する画素毎に画素値の差分を算出することにより類似度を算出する場合には、被写体を表す画像の形状が入力画像と正解画像とで大幅に異なると、正しい類似度の算出を行うことができない。そこで、画像処理装置100において、階調変換画像と正解画像とからなる各組合せにおいて、階調変換画像と正解画像とにおける被写体の形状および面積が略一致するように、これら両画像(または、入力画像と正解画像)のうち少なくとも一方を補正する補正手段60をさらに備えたものとし、類似度の算出対象となる両画像のうち、片方または両方の画像に対して幾何学的変換処理を施し、両画像の被写体の形状を一致させてから、類似度の算出を行うようにするとなおよい。例えば、被写体が腹部の場合には、被写体を楕円形状に変形させる。図4は、上記補正手段60をさらに備えた場合(第2実施形態)の画像処理装置100の構成を示した図である。
【0052】
なお、上記のように、被写体形状を変形させて入力画像と正解画像とで被写体の形状を一致させてから、類似度を算出する方法だけでなく、変形は行わずに、多種多様の被写体形状を有する正解画像を多数用意しておき、すべての正解画像に対して、単に順次、類似度を算出してゆく方法も用いることができる。前者は、少ない正解画像で足りるという利点があり、後者は、複雑なアルゴリズムを使用する必要がないという利点がある。
【0053】
また、画像処理装置100において、階調変換画像と正解画像とからなる各組合せにおいて、階調変換画像と正解画像とにおける被写体の形状が同一の楕円形状となるように、これら両画像(または、入力画像と正解画像)を補正して楕円形状画像を得る補正手段61と、これら楕円形状画像における上記各被写体の画像を複数の同心楕円で複数の部分領域に分割する分割手段62とをさらに備えたものとし、類似度算出手段30が、対応する各部分領域毎の濃度ヒストグラムの差分を算出することにより、類似度を算出するようにしてもよい。図5は、上記補正手段61と上記分割手段62とをさらに備えた場合(第3実施形態)の画像処理装置100の構成を示した図、図6は、楕円形状に補正された両画像の対応する各分割領域毎の濃度ヒストグラムの差分を算出することにより、類似度を算出する場合の一例を表した図である。階調変換画像PO′tと正解画像PSiの対応する各部分領域(g1からg3)毎に、階調変換画像における濃度ヒストグラム(Hog1 からHog3 )と、正解画像における濃度ヒストグラム(Hsg1 からHsg3 )を得、各部分領域における濃度ヒストグラムの差分を算出してヒストグラムの一致度を求め、これら一致度から総合的な類似度を算出するようにすることができる。このようにすれば、画像の回転による影響を排除した類似度の算出ができるので、被写体を表す画像が回転している画像についても正しい類似度の算出が可能となる。また、ヒストグラムの一致度を用いて総合的な類似度を算出する場合には、必ずしも画像の階調変換を行う必要はなく、ヒストグラムを階調変換曲線で変換してもよい。
【0054】
なお、上記第2および第3実施形態においては、補正手段60または61が、両画像における被写体領域を画像認識により認識して抽出した後、抽出した被写体領域が目的の形状となるよう補正するわけだが、各正解画像に対して予め被写体領域を認識しておき、その認識結果を正解画像、階調変換の条件とともに対応付けてデータベースに保存するようにし、補正手段が、その認識結果に基づいて被写体を表す画像の形状や面積を一致させるための補正や、同一の楕円形状への変形を行うようにしてもよい。
【0055】
なお、被写体の形状認識には、中心点から外側に向けてラインスキャンし、急峻な濃度変化があった位置をエッジとみなしてエッジ検出することにより、被写体全体の形状を認識する手法を用いることができる。
【0056】
また、画像処理装置100において、階調変換画像と正解画像とを平滑化する平滑化手段70をさらに備えたものとし、類似度算出手段30が、平滑化された階調変換画像と正解画像との類似度を算出するものとすることもできる。図7は、上記平滑化手段70を備えた場合(第4実施形態)の画像処理装置100の構成を示した図である。このようにすれば、これら両画像の各画素の情報が当該各画素の周辺の画素に拡散するので、両画像における被写体の形状や位置の微小なずれによる類似度の誤差を低減することができる。なお、このような平滑化された画像を類似度の算出対象とする方法は、第1実施形態だけでなく、第2および第3実施形態においても適用することができる。
【0057】
なお、抽出手段40により最も類似度が高くなる組合せWimaxを抽出する際に、組合せWimax における階調変換画像に対して施された階調変換の演算式の各パラメータ値が明らかに的外れである場合には、その組合せから導かれた、入力画像に対して設定する階調変換の条件は採用すべきでないので、各パラメータについて所定の範囲を予め設定しておくとともに、標準的な階調変換の条件を登録しておき、各パラメータ値がその範囲を超えているような場合は、登録されている標準的な階調変換の条件を読み出して、入力画像に対して設定するようにするとよい。
【0058】
また、上記の各実施形態においては、階調変換画像作成手段20が、入力画像に階調変換を施して階調変換画像を作成し、類似度算出手段30が、階調変換画像と正解画像との類似度を算出するようにしているが、これとは逆に、階調変換画像作成手段20が、正解画像に対して、上記階調変換とは入出力が逆になる逆階調変換を施して逆階調変換画像を作成し、類似度算出手段30が、入力画像と逆階調変換画像との類似度を算出するようにしてもよい。
【0059】
また、採用した階調変換の条件は、補正して用いることができるようにしてもよい。更に、補正した結果(正解値)を正解データベースに自動的に追加するようにしてもよい。
【0060】
なお、類似度の算出方法は、本実施例に限定されず、その他の種々の方法を用いることができる。
【図面の簡単な説明】
【図1】第1実施形態による画像処理装置の構成を示したブロック図
【図2】第1実施形態による画像処理装置の処理フローを示した図
【図3】正解画像毎に、一番高い類似度が算出された階調変換画像と正解画像からなる組合せを抽出する処理の処理フローを示した図
【図4】第2実施形態による画像処理装置の構成を示したブロック図
【図5】第3実施形態による画像処理装置の構成を示したブロック図
【図6】対応する分割領域毎の濃度ヒストグラムの一致度に基づいて、全体の類似度を算出する場合の一例を示した図
【図7】第4実施形態による画像処理装置の構成を示したブロック図
【符号の説明】
100 画像処理装置
10 データベース
20 階調変換画像作成手段
30 類似度算出手段
40 抽出手段
50 階調変換処理手段
60 補正手段
61 補正手段
62 分割手段
70 平滑化手段
Claims (8)
- 所定の被写体を表す複数の画像がそれぞれ観察読影に適した可視画像となるように階調変換された複数の正解画像と、該各正解画像に対して施された前記各階調変換の条件とを、それぞれ対応付けてデータベースに保存し、
前記被写体と同種の被写体を表す入力画像に、多数の異なる階調変換条件による階調変換を施して、多数の階調変換画像を作成し、
作成された該多数の階調変換画像の少なくとも一部と前記複数の正解画像の全てとの組合せ毎に、両画像間の類似度を算出し、
前記組合せのうち、最も高い類似度が算出された組合せを抽出し、
抽出された前記組合せにおける正解画像に対応付けられた前記階調変換の条件にしたがって、前記入力画像を階調変換することを特徴とする画像処理方法。 - 所定の被写体を表す複数の画像がそれぞれ観察読影に適した可視画像となるように階調変換された複数の正解画像と、該各正解画像に対して施された前記各階調変換の条件とを、それぞれ対応付けてデータベースに保存し、
前記複数の正解画像の各々に、多数の異なる逆階調変換条件による逆階調変換を施して、多数の逆階調変換画像を作成し、
作成された該多数の逆階調変換画像と、前記被写体と同種の被写体を表す入力画像の組合せ毎に、両画像間の類似度を算出し、
前記組合せのうち、最も高い類似度が算出された組合せを抽出し、
抽出された前記組合せにおける逆階調変換画像の元となる正解画像に対応付けられた前記階調変換の条件にしたがって、前記入力画像を階調変換することを特徴とする画像処理方法。 - 所定の被写体を表す複数の画像がそれぞれ観察読影に適した可視画像となるように階調変換された複数の正解画像と、該各正解画像が施された前記各階調変換の条件とが、それぞれ対応付けて保存されているデータベースと、
前記被写体と同種の被写体を表す入力画像に、多数の異なる階調変換条件による階調変換を施して、多数の階調変換画像を作成する階調変換画像作成手段と、
作成された該多数の階調変換画像の少なくとも一部と前記データベースに保存されている複数の正解画像の全てとの組合せ毎に、両画像間の類似度を算出する類似度算出手段と、
最も高い類似度が算出された前記組合せを抽出する抽出手段と、
抽出された前記組合せにおける正解画像に対応付けられた前記階調変換の条件を前記データベースから読み出し、該読み出された階調変換の条件にしたがって、前記入力画像を階調変換する階調変換処理手段とを備えたことを特徴とする画像処理装置。 - 前記類似度算出手段が、前記各組合せにおける、前記階調変換画像と前記正解画像の対応する画素毎の差分を算出することにより、前記類似度を算出するものであることを特徴とする請求項3記載の画像処理装置。
- 前記各組合せにおいて、前記階調変換画像と前記正解画像とにおける前記被写体の形状および面積が略一致するように、これら両画像のうち少なくとも一方を補正する補正手段をさらに備えたことを特徴とする請求項4記載の画像処理装置。
- 前記各組合せにおいて、前記階調変換画像と前記正解画像とにおける前記被写体の形状が同一の楕円形状となるように、これら両画像を補正して楕円形状画像を得る補正手段と、
前記楕円形状画像における前記各被写体の画像を複数の同心楕円で複数の部分領域に分割する分割手段とをさらに備え、
前記類似度算出手段が、対応する各部分領域毎の濃度ヒストグラムの差分を算出することにより、前記類似度を算出するものであることを特徴とする請求項3記載の画像処理装置。 - 前記各組合せにおいて、前記階調変換画像と前記正解画像とを平滑化する平滑化手段をさらに備え、
前記類似度算出手段が、平滑化された前記階調変換画像と前記正解画像との類似度を算出するものであることを特徴とする請求項3から6いずれか記載の画像処理装置。 - 所定の被写体を表す複数の画像がそれぞれ観察読影に適した可視画像となるように階調変換された複数の正解画像と、該各正解画像が施された前記各階調変換の条件とが、それぞれ対応付けて保存されているデータベースと、
前記データベースに保存されている複数の正解画像に、多数の異なる逆階調変換条件による逆階調変換を施して、多数の逆階調変換画像を作成する逆階調変換画像作成手段と、
前記被写体と同種の被写体を表す入力画像と作成された該多数の逆階調変換画像との組合せ毎に、両画像間の類似度を算出する類似度算出手段と、
最も高い類似度が算出された前記組合せを抽出する抽出手段と、
抽出された前記組合せにおける逆階調変換画像の元となる正解画像に対応付けられた前記階調変換の条件を前記データベースから読み出し、該読み出された階調変換の条件にしたがって、前記入力画像を階調変換する階調変換処理手段とを備えたことを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003029479A JP2004240738A (ja) | 2003-02-06 | 2003-02-06 | 画像処理方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003029479A JP2004240738A (ja) | 2003-02-06 | 2003-02-06 | 画像処理方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004240738A true JP2004240738A (ja) | 2004-08-26 |
Family
ID=32956642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003029479A Withdrawn JP2004240738A (ja) | 2003-02-06 | 2003-02-06 | 画像処理方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004240738A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008099008A (ja) * | 2006-10-12 | 2008-04-24 | Canon Inc | 画像信号処理装置及び画像信号処理方法 |
JP2009134433A (ja) * | 2007-11-29 | 2009-06-18 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
JP2017189384A (ja) * | 2016-04-13 | 2017-10-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2003
- 2003-02-06 JP JP2003029479A patent/JP2004240738A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008099008A (ja) * | 2006-10-12 | 2008-04-24 | Canon Inc | 画像信号処理装置及び画像信号処理方法 |
JP2009134433A (ja) * | 2007-11-29 | 2009-06-18 | Noritsu Koki Co Ltd | 画像補正方法と画像補正装置 |
JP2017189384A (ja) * | 2016-04-13 | 2017-10-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
CN109978037B (zh) | 图像处理方法、模型训练方法、装置、和存储介质 | |
CN109816742B (zh) | 基于全连接卷积神经网络的锥束ct几何伪影去除方法 | |
CN110458831B (zh) | 一种基于深度学习的脊柱侧弯图像处理方法 | |
JP4130661B2 (ja) | 時間的に連続する胸部画像間の経時変化を検出する装置 | |
Chan et al. | Texture-map-based branch-collaborative network for oral cancer detection | |
JP3326070B2 (ja) | 画像診断支援装置の画像処理方法 | |
CN108615239B (zh) | 基于阈值技术和灰度投影的舌图像分割方法 | |
CN110246580B (zh) | 基于神经网络和随机森林的颅侧面影像分析方法和系统 | |
US7961968B2 (en) | Image density conversion method, image enhancement processor, and program thereof | |
CN116739985A (zh) | 一种基于Transformer和卷积神经网络的肺部CT图像分割方法 | |
CN107644411A (zh) | 超声宽景成像方法及装置 | |
WO2020066257A1 (ja) | 分類装置、分類方法、プログラム、ならびに、情報記録媒体 | |
CN107220644B (zh) | 一种心电图扫描图像倾斜度校正方法 | |
CN115239716B (zh) | 一种基于形状先验U-Net的医学图像分割方法 | |
CN111488912A (zh) | 一种基于深度学习神经网络的喉部疾病诊断系统 | |
CN110992370A (zh) | 一种胰腺组织的分割方法、装置及终端设备 | |
CN116152500A (zh) | 一种基于深度学习的全自动牙齿cbct图像分割方法 | |
Goutham et al. | Automatic localization of landmarks in cephalometric images via modified U-Net | |
Fariza et al. | Automatic tooth and background segmentation in dental x-ray using U-Net convolution network | |
JP2004240738A (ja) | 画像処理方法および装置 | |
Kalhor et al. | Assessment of histogram-based medical image contrast enhancement techniques; an implementation | |
CN108629780B (zh) | 基于颜色分解和阈值技术的舌图像分割方法 | |
JP4127537B2 (ja) | 画像処理方法および装置並びにプログラム | |
Mehmood et al. | Enhancement of CT images for visualization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060509 |