JP2011070595A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】画像の鮮鋭度および画像の印象を保持しながらノイズを除去できる画像処理装置を提供する。
【解決手段】行列に配列された複数の画素からなる入力画像データに基づいて、行列の行毎および列毎に画素値を連続関数により近似する関数近似部２と、入力画像データに基づいて、各画素のエッジの方向を算出するエッジ方向算出部３と、各画素の近傍に設定された複数の点の各補間値を、当該点の位置と、当該点に対応する画素におけるエッジの方向と、連続関数とに基づいて算出する補間値算出部５と、補間値算出部５により算出された複数の点の各補間値に基づいて、当該複数の点に対応する画素の出力画素値を算出する出力画素値算出部６と、を備える。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関するものである。

従来、画像処理装置においては、平滑化フィルタやメディアンフィルタ（中央値フィルタ）により、画像データ中のランダムなノイズを除去することが広く行われている（例えば、非特許文献１参照）。平滑化フィルタは、注目画素と周囲の画素との画素値を混合することにより画像をぼやけさせてノイズを除去するもので、図８（ａ）に示すように注目画素と周囲の画素との画素値を均一の重みで混ぜ合わせる移動平均フィルタや、正規分布に従って混ぜ合わせるガウシアンフィルタが知られている。

また、メディアンフィルタは、図８（ｂ）に示すように、注目画素およびその近傍における画素値をソートし、その中央に位置する画素値を注目画素の画素値とすることによりノイズを除去するものである。

財団法人画像情報教育振興協会 技術編ＣＧ標準テキストブック

しかしながら、平滑化フィルタによるノイズ除去においては、画像をぼやけさせるため、画像のエッジ部分の鮮鋭度が失われてしまうことになる。例えば、図９（ａ）に示す元画像を平滑化フィルタで画像処理すると、その出力画像は、図９（ｂ）に示すようになり、画像のエッジ部分の鮮鋭度が失われてしまう。その対策として、注目画素と近傍画素との画素値の差分値が大きい部分はマスクして、エッジを保存することが考えられる。しかし、このようにすると、粒状のランダムノイズもマスクされてしまうため、ノイズ除去が不十分となる。

これに対し、メディアンフィルタによるノイズ除去においては、平滑化フィルタとは異なり画像の鮮鋭度を保ちつつランダムノイズを除去することが可能である。例えば、図９（ａ）に示す元画像をメディアンフィルタで画像処理すると、その出力画像は、図９（ｃ）に示すようになり、画像の鮮鋭度を保持しながらノイズを除去することができる。しかし、メディアンフィルタで画像処理すると、画像の印象が変わってしまう場合がある。例えば、図９（ａ）のような文字の場合は、図９（ｃ）に明瞭に示されているように、文字の角の部分が丸みを帯びて、画像の印象が変わってしまう。

したがって、かかる点に鑑みてなされた本発明の目的は、画像の鮮鋭度および画像の印象を保持しながらノイズを除去できる画像処理装置、画像処理方法、および画像処理プログラムを提供することにある。

上記目的を達成する第１の観点に係る画像処理装置の発明は、
行列に配列された複数の画素からなる入力画像データに基づいて、前記行列の行毎および列毎に画素値を連続関数により近似する関数近似部と、
前記入力画像データに基づいて、前記各画素のエッジの方向を算出するエッジ方向算出部と、
前記各画素の近傍に設定された複数の点の各補間値を、当該点の位置と、当該点に対応する前記画素における前記エッジの方向と、前記連続関数とに基づいて算出する補間値算出部と、
前記補間値算出部により算出された前記複数の点の各補間値に基づいて、前記複数の点に対応する前記画素の出力画素値を算出する出力画素値算出部と、
を備えることを特徴とするものである。

第２の観点に係る発明は、第１の観点に係る画像処理装置において、
前記補間値算出部は、前記複数の点の各補間値を、当該点を基点として前記複数の点に対応する前記画素の前記エッジの方向に延ばした直線と前記連続関数との交点の値に基づいて算出する、ことを特徴とするものである。

第３の観点に係る発明は、第１または２の観点に係る画像処理装置において、
前記エッジ方向算出部が算出した前記画素のエッジの方向と、当該画素の周辺画素のエッジの方向とを混合した混合エッジ方向を算出する混合エッジ方向算出部をさらに備え、
前記補間値算出部は、前記混合エッジ方向算出部により算出された前記混合エッジ方向に基づいて、前記複数の点の各補間値を算出する、ことを特徴とするものである。

第４の観点に係る発明は、第３の観点に係る画像処理装置において、
前記補間値算出部は、次式により前記補間値を算出する、ことを特徴とするものである。

第５の観点に係る発明は、第４の観点に係る画像処理装置において、
前記重み関数Ｄは、前記補間点と前記行または前記列における前記交点との距離と、前記補間点に対応する前記画素の前記混合エッジ方向と、前記交点に対応する前記画素の前記混合エッジ方向と、に基づいて重みを決定する、ことを特徴とするものである。

さらに、上記目的を達成する第６の観点に係る発明は、
画像処理装置による画像処理方法であって、
行列に配列された複数の画素からなる入力画像データに基づいて、前記行列の行毎および列毎に画素値を連続関数により近似するステップと、
前記入力画像データに基づいて、前記各画素のエッジの方向を算出するステップと、
前記各画素の近傍に設定された複数の点の各補間値を、当該点の位置と、当該点に対応する前記画素における前記エッジの方向と、前記連続関数とに基づいて算出するステップと、
前記複数の点の各補間値に基づいて、前記複数の点に対応する前記画素の出力画素値を算出するステップと、
を含むことを特徴とするものである。

さらに、上記目的を達成する第７の観点に係る画像処理プログラムの発明は、
画像処理装置として機能するコンピュータを、
行列に配列された複数の画素からなる入力画像データに基づいて、前記行列の行毎および列毎に画素値を連続関数により近似する関数近似部と、
前記入力画像データに基づいて、前記各画素のエッジの方向を算出するエッジ方向算出部と、
前記各画素の近傍に設定された複数の点の各補間値を、当該点の位置と、当該点に対応する前記画素における前記エッジの方向と、前記連続関数とに基づいて算出する補間値算出部と、
前記補間値算出部により算出された前記複数の点の各補間値に基づいて、前記複数の点に対応する前記画素の出力画素値を算出する出力画素値算出部と、
としてさらに機能させることを特徴とするものである。

本発明においては、入力画像データに基づいて、各行および各列における画素値を連続関数により近似するとともに、各画素のエッジの方向を算出して、各画素近傍の複数の点における各補間値を、当該各点の位置、対応する画素のエッジの方向および連続関数に基づいて算出して入力画像の解像度を高め、その後、補間した複数の点の補間値に基づいて、対応する画素の出力画素値を算出することによりダウンサンプリングして元の解像度に戻している。これにより、画像の鮮鋭度および画像の印象を保持しながらノイズを除去することが可能となる。

本発明の一実施の形態に係る画像処理装置の要部の構成を示す機能ブロック図である。 図１に示した画像処理装置による画像処理の概略動作を示すフローチャートである。 図２に示した関数近似処理を説明するための図である。 図２に示したエッジ方向算出処理を説明するための図である。 図２に示した混合エッジ方向算出処理を説明するための図である。 図２に示した補間値算出処理を説明するための図である。 図１に示した画像処理装置による画像処理結果を示す図面代用写真である。 平滑化フィルタおよびメディアンフィルタによる処理を説明するための図である。 平滑化フィルタおよびメディアンフィルタによる画像処理結果を示す図面代用写真である。

以下、本発明の実施の形態について、図を参照して説明する。

図１は、本発明の一実施の形態に係る画像処理装置の要部の構成を示す機能ブロック図である。本実施の形態に係る画像処理装置は、画像入力部１、関数近似部２、エッジ方向算出部３、混合エッジ方向算出部４、補間値算出部５、および、出力画素値算出部６を有する。画像入力部１は、フレームメモリ等の画像メモリを有し、外部の画像メモリやネットワーク等から写真やイラスト画像等の行列（マトリックス）に配列された複数の画素からなる入力画像データを取得する。

関数近似部２は、画像入力部１が取得した入力画像データに基づいて、行列の行毎および列毎に、すなわち、マトリックスの水平方向ライン毎および垂直方向ライン毎に画素値（輝度値）を連続関数により近似して、その結果を補間値算出部５へ出力する。また、エッジ方向算出部３は、画像入力部１が取得した入力画像データに基づいて、各画素のエッジの方向を算出して、その結果を混合エッジ方向算出部４へ出力する。混合エッジ方向算出部４は、エッジ方向算出部３からの各画素のエッジの方向に基づいて、各画素（注目画素）のエッジの方向と、当該注目画素の周辺画素のエッジの方向とを混合した混合エッジ方向を算出して、その結果を補間値算出部５へ出力する。

補間値算出部５は、各画素の近傍に設定された複数の補間を行う点（補間点）の各補間値を、各補間点の位置と、対応する画素の混合エッジ方向と、関数近似部２から得られる連続関数とに基づいて算出する。例えば、補間点を基点として対応する画素の混合エッジ方向に延ばした直線（例えば、混合エッジ方向がＧ（ｘ，ｙ）＝（１，２）である場合、基点からＧ（ｘ，ｙ）＝（１，２）の方向および混合エッジ方向を１８０度回転させた−Ｇ（ｘ，ｙ）＝（−１，−２）の方向に延ばした直線）と、連続関数との交点の値（輝度値）に基づいて補間値を算出する。この算出した補間値は、出力画素値算出部６へ出力する。

そして、出力画素値算出部６は、注目画素の近傍に設定された複数の点の補間値を算出し、それらの平均を当該注目画素における出力画素値として算出する。この出力画素値の算出結果は、図示しないフレームメモリ等に記憶されて、表示等に供される。

図２は、図１に示した画像処理装置による画像処理の概略動作を示すフローチャートである。先ず、画像処理装置は、画像入力部１において、画像処理すべき画像データを画像メモリに格納する等の画像入力処理を行う（ステップＳ２１）。

次に、画像処理装置は、画像入力部１が取得した入力画像データに基づいて、関数近似部２において各水平方向ラインおよび各垂直方向ラインの輝度値を連続関数により近似する関数近似処理を実行するとともに（ステップＳ２２）、エッジ方向算出部３において各画素のエッジの方向を算出するエッジ方向算出処理を実行する（ステップＳ２３）。

次に、画像処理装置は、混合エッジ方向算出部４において、ステップＳ２３で算出した各画素のエッジの方向に基づいて、注目画素のエッジの方向と、当該注目画素の周辺画素におけるエッジの方向とを混合して混合エッジ方向を算出する混合エッジ方向算出処理を実行する（ステップＳ２４）。

その後、画像処理装置は、補間値算出部５において、各画素の近傍に設定された複数の補間点における各輝度値を、各補間点の位置と、ステップＳ２２で近似した連続関数による輝度値と、ステップＳ２４で算出した混合エッジ方向とに基づいて算出する補間値算出処理を実行する（ステップＳ２５）。ここでは、各画素に対応する複数の補間点として、各画素から水平方向および垂直方向に±１／４画素離れた４点を設定して、入力画像の水平方向および垂直方向の解像度を倍化するものとする。

なお、ステップＳ２２の関数近似処理は、ステップＳ２３のエッジ方向算出処理およびステップＳ２４の混合エッジ方向算出処理と独立しているので、ステップＳ２１とステップＳ２５との間において、任意のタイミングで実行することができる。

その後、画像処理装置は、出力画素値算出部６において、注目画素の水平方向および垂直方向に±１／４画素離れた４点の補間値の平均値を出力画素値として算出する補間値平均化処理を実行して（ステップＳ２６）、その出力画素値を図示しないフレームメモリ等に記憶する。

次に、上記の関数近似処理、エッジ方向算出処理、混合エッジ方向算出処理、補間値算出処理、および、補間値平均化処理について、さらに詳細に説明する。

（関数近似処理）
図３は、関数近似処理を説明するための図である。関数近似処理では、任意の整数ｘ′について、ｘ′−０．５からｘ′＋０．５までをひとつの区間（区間ｘ′と呼ぶ）とし、各区間を３次関数で近似する。ここでは、区間ｘ′における関数値をＶ_ｘ′として、下式で表す。

また、上記の関数値Ｖ_ｘ′における未知のパラメータを決定するため、以下の条件［１］〜［５］を与える。なお、zは画素値（輝度値）とする。

条件［１］
区間ｘ′における右端の値と区間ｘ′＋１における左端の値が一致する。
Ｖ_ｘ′(ｘ′+1/2)−Ｖ_ｘ′+1(ｘ′+1/2)＝０ ・・・（１）

条件［２］
区間ｘ′における関数の平均値が画素ｘ′の値に一致する。

条件［３］
区間ｘ′における右端の接線の傾きと区間ｘ′＋１における左端の接線の傾きが一致する。
ｄＶ_ｘ′(ｘ′+1/2)／ｄｘ−ｄＶ_ｘ′+1(ｘ′+1/2) ／ｄｘ＝０ ・・・（３）

条件［４］
区間ｘ′の中央の接線の傾きが、左右の画素値を結ぶ直線の傾きに一致する。
ｄＶ_ｘ′(ｘ′) ／ｄｘ＝｛ｚ(ｘ′＋１) −ｚ(ｘ′−１)｝／２ ・・・（４）

条件［５］
ｘ′＜０のときはｚ(ｘ′) ＝ｚ(０)、ｘ′＞ｎ（ｎはｘ′の最大値）のときはｚ(ｘ′) ＝ｚ(ｎ)とする。

式（１）より、
（α_ｘ′−α_ｘ′+1）＋（β_ｘ′＋β_ｘ′+1）／２
＋（γ_ｘ′−γ_ｘ′+1）／４＋（δ_ｘ′＋δ_ｘ′+1）／８＝０ ・・・（５）
となる。また、
なので、式（２）より、
α_ｘ′＝−γ_ｘ′／１２＋ｚ（ｘ′） ・・・（６）
が得られる。

式（６）は、条件［５］より、ｘ′に１を加えても成り立つので、
α_ｘ′+1＝−γ_ｘ′+1／１２＋ｚ（ｘ′＋１）
となり、式５の左辺第１項は、
α_ｘ′−α_ｘ′+1＝−（γ_ｘ′−γ_ｘ′+1）／１２＋ｚ（ｘ′）−ｚ（ｘ′＋１）
となる。これを式（５）に代入すると、
（β_ｘ′＋β_ｘ′+1）／２＋（γ_ｘ′−γ_ｘ′+1）／６
＋（δ_ｘ′＋δ_ｘ′+1）／８＋ｚ（ｘ′）−ｚ（ｘ′＋１）＝０ ・・・（７）
となる。また、
ｄＶ_ｘ′(ｘ)／ｄｘ＝β_ｘ′＋２γ_ｘ′（ｘ−ｘ′）＋３δ_ｘ′（ｘ−ｘ′）^２
であるので、式（３）から、
（β_ｘ′−β_ｘ′+1）＋（γ_ｘ′＋γ_ｘ′+1）＋３（δ_ｘ′−δ_ｘ′+1）／４＝０ ・・・（８）
となる。この式（８）を変形して得られる、
γ_ｘ′−γ_ｘ′+1＝２γ_ｘ′＋（β_ｘ′−β_ｘ′+1）＋３（δ_ｘ′−δ_ｘ′+1）／４
を式（７）に代入すると、
γ_ｘ′＝−（２β_ｘ′＋β_ｘ′+1）−３δ_ｘ′／４
−３｛ｚ（ｘ′）−ｚ（ｘ′＋１）｝ ・・・（９）
が得られる。

式（９）は、条件［５］より、ｘ′に１を加えても成り立つので、
γ_ｘ′+1＝−（２β_ｘ′+1＋β_ｘ′+2）−３δ_ｘ′+1／４
−３｛ｚ（ｘ′＋１）−ｚ（ｘ′＋２）｝
γ_ｘ′＋γ_ｘ′+1＝−（２β_ｘ′＋３β_ｘ′+1＋β_ｘ′+2）−３（δ_ｘ′＋δ_ｘ′+1）／４
−３｛ｚ（ｘ′）−ｚ（ｘ′＋２）｝
となる。この結果を、式（８）に代入して、ｘ′から１を引くと、
δ_ｘ′＝−２（β_ｘ′-1＋４β_ｘ′＋β_ｘ′+1）／３−２｛ｚ（ｘ′−１）−ｚ（ｘ′＋１）｝
が得られる。また、このδ_ｘ′を式（９）に代入すると、
γ_ｘ′＝（β_ｘ′-1−β_ｘ′+1）／２
＋３｛ｚ（ｘ′−１）−２ｚ（ｘ′）＋ｚ（ｘ′＋１）｝／２
が得られる。また、式（４）より、
β_ｘ′＝｛ｚ（ｘ′＋１）−ｚ（ｘ′−１）｝／２
が得られる。

以上により、α_ｘ′，β_ｘ′，γ_ｘ′，δ_ｘ′が求められる。本実施の形態に係る画像処理装置においては、関数近似部２により、各水平方向ラインおよび各垂直方向ラインについて上記の計算を行って、関数ＶＸ，ＶＹを求める。

（エッジ方向算出処理）
図４は、エッジ方向算出処理を説明するための図である。図４に示すＸ軸、Ｙ軸、Ｚ軸は、それぞれ画像の水平軸、垂直軸、輝度値に対応している。入力画像データの画素ｘ，ｙにおける輝度値をｚ（ｘ，ｙ）としたとき、下記の４点Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３を３次元空間にプロットすると、図４に示すような平面となる。

図４において、Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３は、同一平面上に存在するものとする。本実施の形態に係る画像処理装置においては、エッジ方向算出部３により、Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３の４点を通過する平面と、ＸＹ平面に平行な面とが交わる直線の傾きをエッジ方向として算出する。実際には、隣接する４点が同一平面上に存在しない場合もあるので、Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３の４点から主成分分析により新たに３つの直交軸を求め、最も寄与率の低い１次元を除いた２次元平面を、これらの４点が作る平面とする。

ここで、４点の分散共分散行列Ａは次のようになる。

これにより、３つの固有値を小さい順にλ_０，λ_１，λ_２とすると、λ_０≦１／４，λ_１＝１／４，λ_２≧１／４であることがわかる。λ_０は寄与率が最も低いため無視し、λ_１，λ_２に対応する固有ベクトルが作る面を求める。

ここで、λ_１＝λ_２のときの固有ベクトルＢは、下式を満たす。

したがって、この場合の固有ベクトルＢは、下式のようになる。なお、下式において、ｎは定数である。

上式において、固有ベクトルＢは、ｚ値が０であるＸＹ平面上のベクトルなので、ベクトルＢをエッジ方向とみなせる。これにより、画素（ｘ，ｙ）におけるエッジ方向ベクトルＧ（ｘ，ｙ）は、下式のように表される。

（混合エッジ方向算出処理）
図５（ａ）および（ｂ）は、混合エッジ方向算出処理を説明するための図である。上述したエッジ方向算出処理により算出されるエッジ方向は、隣接する４画素から決定した局所的なエッジ方向である。このため、エッジ方向がばらつき、そのばらつきにより出力画像にノイズが出る場合がある。そこで、混合エッジ方向算出処理により、局所的にエッジ方向を混合させて、エッジ方向のばらつきを抑制し、出力画像のノイズを軽減する。

図５（ａ）は、画素（ｘ，ｙ）の周辺９画素における重み付きエッジ方向を示す図である。この重み付きエッジ方向は、下式で表される。

上式において、Ｗ(i)は、中央のｘ，ｙに近いほど混合比率を高くするために設けられた重み関数である。ここでは次の重み関数を用いる。

以上により求めた重み付きエッジ方向を主成分分析して、図５（ｂ）に示すように、最も寄与率の高い固有ベクトルＭを混合エッジ方向として算出する。なお、画素（ｘ，ｙ）と、その周辺画素とにおける重み付きエッジ方向はＧ′_０からＧ′_８までの９個であるが、エッジ方向に向きは存在せず、１８０度回転させてもよいので、−Ｇ′_０から−Ｇ′_８を加えた１８個のベクトルについて主成分分析を行う。この場合、１８個のベクトルの平均値は、（０，０）である。

この場合、分散共分散行列Ａは、次のようになる。

また、行列Ａの固有値をλとすると、

これにより、固有値を寄与率の低い順にλ_０，λ_１とすると、λ_１＝Ｓ_ＹＹ＋ｐ／１８＋（ｐ^２＋４ｑ^２）^１／２／１８である。したがって、λ_１に対応する固有ベクトルＭは、下式を満たす。

ただし、固有値の比λ_１／λ_０が小さくなればなるほど、エッジ方向ベクトルＧ′_０からＧ′_８までの偏りが少なくばらついていることを意味するため、λ_１／λ_０が閾値（≧1）以下であれば、
とする。

（補間値算出処理）
補間値算出処理では、上記の混合エッジ方向算出処理で算出された固有ベクトルＭが、零ベクトルでない場合、以下のように補間値を算出する。図６（ａ）は、この場合の補間値算出処理の概要を説明するための図である。

図６において、
は補間する点（補間点）の位置を示す。

補間点ａから、
が示す方向に延ばした直線と、Ｙ座標が、
の水平方向ライン、Ｘ座標が、
の垂直方向ラインとの交点を、それぞれｈ_ｊ，ｖ_ｉとする。

そして、ｈ_０、ｈ_１、ｖ_０、ｖ_１におけるそれぞれの輝度値を、関数近似処理で取得した関数ＶＸ，ＶＹにより求めて、それぞれの値を補間点ａからの距離に応じて重み付けして足し合わせた値を、補間点ａにおける補間値とする。したがって、補間値 ｆは、以下のようになる。

上式において、Ｄは、補間点ａと水平方向ライン（行）または垂直方向ライン（列）における交点（ｈ_０、ｈ_１、ｖ_０、ｖ_１）との距離と、補間点に対応する画素の混合エッジ方向と、上述の交点に対応する画素の混合エッジ方向と、に基づいて重み付けを行う関数である。ここでは次式を用いる。

上記重み付け関数Ｄにおいて、ａ′（補間点に対応する画素），ｂ′（交点に対応する画素）はそれぞれａ，ｂのＸ座標値、Ｙ座標値の小数点以下を切り捨てた点を指す。また、関数Cは、ａ′，ｂ′における混合エッジ方向が近ければ小さい値（０．３）、そうでなければ大きい値（３）を返す。これにより、ａ′，ｂ′における混合エッジ方向が近い場合は、信頼性が高いものとして、重み付けを大きくして当該輝度値の寄与率を高くし、ａ′，ｂ′における混合エッジ方向が遠い場合は、信頼性が低いものとして、重み付けを小さくして当該輝度値の寄与率を低くする。なお、関数Ｃによる重み付け係数は、０．３および３に限らず、適宜設定することができる。

本実施の形態においては、上述したように、補間点ａとして、図６（ｂ）に示すように、各画素（ｉ，ｊ）について、当該画素（ｉ，ｊ）から水平方向および垂直方向にそれぞれ１／４画素離れた４点（ｉ−１／４，ｊ−１／４），（ｉ−１／４，ｊ＋１／４），（ｉ＋１／４，ｊ−１／４）および（ｉ＋１／４，ｊ＋１／４）を設定して、それぞれの画素値（補間値）ｆ（ｉ−１／４，ｊ−１／４），ｆ（ｉ−１／４，ｊ＋１／４），ｆ（ｉ＋１／４，ｊ−１／４）およびｆ（ｉ＋１／４，ｊ＋１／４）を算出する。これにより、入力画像の水平方向および垂直方向の解像度を倍化する。

一方、混合エッジ方向算出処理で算出された固有ベクトルＭが零ベクトルの場合は、エッジ方向が特定できない画素であるため、エッジ方向を考慮しない任意の補間方法、例えば水平方向ラインあるいは垂直方向ラインでのバイリニア法により補間値を算出する。

（補間値平均化処理）
補間値平均化処理では、補間値算出処理で解像度が倍化された画像の補間値を混合して解像度を元に戻す。すなわち、図６（ｂ）に示した画素（ｉ，ｊ）の出力値Ｆ（ｉ，ｊ）を得る場合は、画素（ｉ，ｊ）に対して設定された４点の補間値の平均値を算出する。すなわち、
Ｆ(i,j)＝｛ｆ(i-1/4,j-1/4)＋ｆ(i-1/4,j+1/4)
＋ｆ(i+1/4,j-1/4)＋ｆ(i+1/4,j+1/4)｝／４
を算出する。ただし、画素（ｉ，ｊ）における混合エッジ方向が零ベクトルの場合は、画素（ｉ，ｊ）の周辺画素の例えば移動平均値を出力値Ｆ（ｉ，ｊ）とする。

このように、補間値算出処理においてエッジを考慮した補間法により解像度を倍化することでエッジ成分の保存を図り、補間値平均化処理において解像度が倍化された画像の補間値を混合してダウンサンプリングして解像度を元に戻すことで高周波成分の除去を図る。これにより、画像の鮮鋭度および画像の印象を保持しながら、ノイズを除去することができる。

図７は、本実施の形態に係る画像処理装置による画像処理結果を示す図面代用写真である。図７に示す画像は、図９（ａ）を元画像として処理したものである。図７および図９（ｂ），（ｃ）の比較から明らかなように、本実施の形態に係る画像処理装置によれば、エッジの鮮鋭度や形状を保ちつつノイズが軽減された出力画像が得られることがわかる。

なお、本発明は、上記実施の形態に限定されるものではなく、幾多の変形または変更が可能である。例えば、図１に示す構成において混合エッジ方向算出部４を省略し、エッジ方向算出部３により算出された各画素のエッジ方向と、関数近似部２により近似された各水平方向ラインおよび各垂直方向ラインにおける画素値（輝度値）の連続関数とに基づいて、補間値算出部５により補間点における補間値を算出することもできる。この場合、補間値算出部５は、例えば、補間点を基点としてその近傍における画素のエッジの方向と平行に延ばした直線と、連続関数との交点の値を求め、それらの交点の値に基づいて補間値を算出することができる。

また、各画素の近傍の補間値を算出する点は、４点に限らず、任意の複数点とすることができるとともに、補間点の注目画素からの距離、すなわち解像度も２倍に限らず、任意に設定することができる。

また、図１に示した画像処理装置は、コンピュータを含んで構成して、該コンピュータに、上述した画像入力部１、関数近似部２、エッジ方向算出部３、混合エッジ方向算出部４、補間値算出部５、および、出力画素値算出部６の機能を、画像処理プログラムによって実現させることもできる。

１ 画像入力部
２ 関数近似部
３ エッジ方向算出部
４ 混合エッジ方向算出部
５ 補間値算出部
６ 出力画素値算出部

Claims (7)

1. 行列に配列された複数の画素からなる入力画像データに基づいて、前記行列の行毎および列毎に画素値を連続関数により近似する関数近似部と、
   前記入力画像データに基づいて、前記各画素のエッジの方向を算出するエッジ方向算出部と、
   前記各画素の近傍に設定された複数の点の各補間値を、当該点の位置と、当該点に対応する前記画素における前記エッジの方向と、前記連続関数とに基づいて算出する補間値算出部と、
   前記補間値算出部により算出された前記複数の点の各補間値に基づいて、前記複数の点に対応する前記画素の出力画素値を算出する出力画素値算出部と、
   を備えることを特徴とする画像処理装置。
2. 前記補間値算出部は、前記複数の点の各補間値を、当該点を基点として前記複数の点に対応する前記画素の前記エッジの方向に延ばした直線と前記連続関数との交点の値に基づいて算出する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記エッジ方向算出部が算出した前記画素のエッジの方向と、当該画素の周辺画素のエッジの方向とを混合した混合エッジ方向を算出する混合エッジ方向算出部をさらに備え、
   前記補間値算出部は、前記混合エッジ方向算出部により算出された前記混合エッジ方向に基づいて、前記複数の点の各補間値を算出する、ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補間値算出部は、次式により前記補間値を算出する、ことを特徴とする請求項３に記載の画像処理装置。
   
5. 前記重み関数Ｄは、前記補間点と前記行または前記列における前記交点との距離と、前記補間点に対応する前記画素の前記混合エッジ方向と、前記交点に対応する前記画素の前記混合エッジ方向と、に基づいて重みを決定する、ことを特徴とする請求項４に記載の画像処理装置。
6. 画像処理装置による画像処理方法であって、
   行列に配列された複数の画素からなる入力画像データに基づいて、前記行列の行毎および列毎に画素値を連続関数により近似するステップと、
   前記入力画像データに基づいて、前記各画素のエッジの方向を算出するステップと、
   前記各画素の近傍に設定された複数の点の各補間値を、当該点の位置と、当該点に対応する前記画素における前記エッジの方向と、前記連続関数とに基づいて算出するステップと、
   前記複数の点の各補間値に基づいて、前記複数の点に対応する前記画素の出力画素値を算出するステップと、
   を含むことを特徴とする画像処理方法。
7. 画像処理装置として機能するコンピュータを、
   行列に配列された複数の画素からなる入力画像データに基づいて、前記行列の行毎および列毎に画素値を連続関数により近似する関数近似部と、
   前記入力画像データに基づいて、前記各画素のエッジの方向を算出するエッジ方向算出部と、
   前記各画素の近傍に設定された複数の点の各補間値を、当該点の位置と、当該点に対応する前記画素における前記エッジの方向と、前記連続関数とに基づいて算出する補間値算出部と、
   前記補間値算出部により算出された前記複数の点の各補間値に基づいて、前記複数の点に対応する前記画素の出力画素値を算出する出力画素値算出部と、
   としてさらに機能させるための画像処理プログラム。