JP2015135664A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】画像のフラット、グラデーション、エッジ、テクスチャの各領域を連続的に変化する特徴と捉え、定量的に表現する画像特徴記述を提供する。
【解決手段】画像処理装置は、局所領域Ｃｌｉｐｐｉｎｇ部１０、画像特徴計算部２０、及び特徴画像生成部３０を備える。局所領域Ｃｌｉｐｐｉｎｇ部１０は、入力画像から局所領域を切り出し、画像特徴計算部２０へ出力する。画像特徴計算部２０は、局所領域から画像特徴を計算する。特徴画像生成部３０は、画像特徴から画像全体の特徴画像を生成する。
【選択図】図４

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に、入力画像に対し画像特徴計算を行う画像処理装置、画像処理方法及び画像処理プログラムに関する。

ＭＰＥＧ２やＨ．２６４によって圧縮された映像にはブロックノイズ（Block Noise）やモスキートノイズ（Mosquito Noise）が発生する場合がある。これらのノイズはエッジ（Edge）やライン（Line）など、高周波成分を含む領域に発生しやすい。一方、テクスチャ（Texture）領域においてはマスキング（Masking）効果によりノイズがテクスチャに紛れて視認しにくくなる。これらの性質を考慮することにより、例えばエッジ近傍はエッジ保存型平滑化によってノイズを削減（Noise Reduction）し、テクスチャ領域では細かいテクスチャのぼやけ（Blur）を防ぐために平滑化フィルタ（Filter）をかけないといった領域適応型のNoise Reductionが可能になり、副作用（Texture loss）を抑えながらノイズレベルを低減できる。

特開２００５−２４２５９６号公報

M.Pietikainen, A.Hadid, G. Zhao, T. Ahonen著, "Computer Vision Using Local Binary Patterns", Springer, 2011年 E. Shechtman, M. Irani著, "Space-Time Behavior Based Correlation", CVPR(2005), 2005

しかし、例えば、エッジ検出時に誤ってテクスチャを誤検出するとそこにNoise Reduction Filterがかかってしまい、テクスチャロス（Texture loss）が発生する。従来、エッジとテクスチャを検出（分離）する手法が提案されているが（例えば、特許文献１、非特許文献１）、それぞれ個別に提案されていることと、エッジ／テクスチャの定義が不明瞭なことが問題である。そのため、エッジ／テクスチャの判別は現在でも難しい問題である。エッジとテクスチャとの分離を行うためには、例えば両者の検出結果を確率的に表現して、ベイジアンネットワークモデル（Bayesian Network Model）で統合してエッジ／テクスチャ分離を行う手法が考えられる。

この場合、エッジ／テクスチャをそれぞれ別の検出器（Detector）で検出する必要があり、確率モデルを構築するための学習が必要になる。このため、システムが複雑になるという問題がある。
そこで、発明者らは、フラット、グラデーション、エッジ、テクスチャを連続的に変化する特徴と捉え、それを定量的に表現できる画像特徴記述を見出した。

本発明に係る画像処理装置の一態様は、入力画像から局所領域を切り出す切り出し部と、前記局所領域から画像特徴を表す定量値を計算する画像特徴計算部と、前記画像特徴を表す定量値を用いて画像全体の特徴画像を生成する特徴画像生成部と、を備える。画像特徴計算部が計算する画像特徴を表す定量値により、画像特徴を定量的に表現することを可能にする。

また、本発明に係る画像処理装置の一態様において、前記画像特徴計算部は、前記局所領域の画像の周波数成分を複数の帯域に分割する帯域分割部と、前記画像特徴を表す定量値を局所領域の前記複数の帯域から構成される多次元空間内画素分布の統計解析により計算する特徴解析部と、を備えることが好ましい。帯域分割部が、局所領域の画像の周波数成分を複数の帯域に分割して多次元空間を作り出し、複数の帯域信号として出力する。特徴解析部は、帯域分割部が作り出した多次元空間内画素分布を統計解析することにより、フラット、グラデーション、エッジ、テクスチャの各領域を連続的に変化する特徴として捉え、画像特徴を定量的に計算することを可能とする。

さらに、本発明に係る画像処理装置の一態様において、前記画像特徴計算部は、さらに、前記局所領域内の画素を複数の画像特徴毎に分離するクラスタリング部を備えることが好ましい。クラスタリング部が画像特徴毎に分離するため、特徴解析部が統計解析する精度を向上させることができる。

本発明に係る画像処理装置の一態様において、前記特徴解析部は、前記画像特徴を表す定量値として、連続ランク増分を計算することを特徴とすることが好ましい。連続ランク増分を用いることにより、画像特徴を定量的に表すことができる。

本発明に係る画像処理装置の一態様において、前記帯域分割部は、画像の周波数成分を３次元以上の多次元に分割し、前記特徴解析部は、前記帯域分割部が３次元以上に分割した多次元空間画素分布を用いて、前記画像特徴を計算することが好ましい。例えば、前記帯域分割部は、画像の周波数成分を、輝度、前記輝度の一次微分値、及び前記輝度の二次微分値の３次元に分割することができる。また、これに対応して、前記特徴解析部は、前記帯域分割部が３次元に分割した３次元空間画素分布を用いて、前記画像特徴を表す定量値を計算することができる。これにより、特徴解析部は、多次元空間画素分布を用いて、画像特緒を表す定量値を計算するため、ハードウェア回路を複雑にすることを回避し、計算コストを低減することができる。

本発明に係る画像処理方法の一態様は、入力画像から局所領域を切り出し、前記局所領域から画像特徴を表す定量値を計算し、前記画像特徴を表す定量値を用いて画像全体の特徴画像を生成する。さらに、本発明に係る画像処理プログラムの一態様は、コンピュータに、入力画像から局所領域を切り出す処理と、前記局所領域から画像特徴を表す定量値を計算する処理と、前記画像特徴を表す定量値を用いて画像全体の特徴画像を生成する処理と、を実行させる。

本発明に係る一実施形態によれば、画像に含まれる、フラット、グラデーション、エッジ、テクスチャの各領域を連続的に変化する特徴と捉え、それを定量的に表現できる画像特徴記述を実現する画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

フラット画像の画像特徴量の概念を説明する図である。 グラデーションまたはエッジ画像の画像特徴量の概念を説明する図である。 テクスチャ画像の画像特徴量の概念を説明する図である。 本発明の実施形態１に係る画像処理装置の構成例を示すブロック図である。 本発明の実施形態１に係る画像処理装置の動作例を示すフローチャートである。 局所領域に複数の特徴が含まれる画像の一例を示す図である。 実施形態１の画像処理装置が入力する画像の一例を示す図である。 実施形態１の特徴解析部が局所領域をオーバラップしないで走査する処理を説明する図である。 実施形態１の特徴解析部が局所領域をオーバラップして走査する処理を説明する図である。 画像特徴と、指標値または色との対応の一例を示す図である。 画像特徴の数値の出力例を示す図である。 画像特徴の輝度の表示例を示す図である。 入力画像の一例を示す図である。 図１３に示す入力画像を平滑化した画像例を示す図である。 図１３に示す入力画像を領域適応的平滑化した画像例を示す図である。 本発明の実施形態２に係る画像処理装置において、入力画像を多次元に分割する方法（一次微分）を説明する図である。 本発明の実施形態２に係る画像処理装置において、入力画像を多次元に分割する方法（二次微分）を説明する図である。 本発明の実施形態３に係る画像処理装置において、feature responseと４種類の画像とを対応づける一例を示す図である。 本発明の実施形態３に係る画像処理装置において、グラデーション画像の場合にfeature responseを計算した結果例を示す図である。 本発明の実施形態３に係る画像処理装置において、エッジ／線画像の場合にfeature responseを計算した結果例を示す図である。 本発明の実施形態３に係る画像処理装置において、コーナ画像の場合にfeature responseを計算した結果例を示す図である。 本発明の実施形態３に係る画像処理装置において、複合画像の場合にfeature responseを計算した結果例を示す図である。 本発明の実施形態３に係る画像処理装置の構成例を示すブロック図である。

以下、実施形態について、図面を参照して説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において同一の構成または機能を有する構成要素および相当部分には、同一の符号を付し、その説明は省略する。

実施形態１．
まず、画像特徴をどのようにして連続的に変化する特徴と捉え、それを定量的に表現するかについて説明し、次に画像処理装置および方法の一態様を説明する。
図１から図３に本発明で提案する画像特徴量（微分特徴空間）の概念を説明するグラフを示す。図１にフラット画像、図２にグラデーション及びエッジ画像、図３にテクスチャ画像の画像特徴量の概念を示す。各図の上段は画像から切り出した局所領域であり、ここではフラット、グラデーション、エッジ、テクスチャを示している。これらの局所領域内の各画素において、例えば輝度（局所領域内平均値でオフセットした輝度値）、一次微分、二次微分を要素とした３次元ベクトルを計算し、プロットすると図１から図３の下段に示すグラフのような分布になる。

輝度は局所領域内の画素それぞれの明るさであり、局所領域内の輝度の平均との差分で表す。一次微分は、隣接する画像の輝度の差分を示す。二次微分は、一次微分をさらに微分した値である。
ここで、輝度値は画像信号周波数の低域、一次微分は中域、二次微分は広域と考えると、図１から図３下段は画像周波数を３つの帯域に分割した時の各帯域成分を３次元空間の各軸とした３次元プロットである。定性的に、これらの空間分布は以下に示す性質を持つ。

（１）フラット（Flat）
３次元特徴ベクトルは微分特徴空間で原点付近に収束する。フラット画像では輝度の差がないため、画像特徴量が一つのプロットとして表される。図１から図３において、グラフの原点は、フラット画像のプロットとなる。
３次元特徴ベクトルの共分散行列の固有値はすべて小さくなる。
そのため、共分散行列のＲａｎｋはゼロである（Ｒａｎｋ＝０）。
（２）グラデーション（Gradation）
３次元特徴ベクトルは微分特徴空間で棒状に分布する。
そのため、共分散行列のＲａｎｋは１である（Ｒａｎｋ＝１）。

（３）エッジ（Edge）
コントラストが大きく、エッジの両側の領域はフラットと仮定する。
３次元特徴ベクトルは微分特徴空間で原点に対称な分布になる。
二つのＣｌｕｓｔｅｒ（フラット領域）と、それらをつなぐ軌跡状分布（エッジ部）とを合わせた分布になる。
完全なステップエッジ（Step Edge）ではエッジ部は軌跡状分布にはならず、エッジを表す第三の分布ができる。
３次元特徴ベクトルは平面状に分布する。
そのため、共分散行列のＲａｎｋは２である（Ｒａｎｋ＝２）。
（４）テクスチャ（Texture）
３次元特徴ベクトルは微分特徴空間で原点を中心に広がりをもった分布になる。
共分散行列の固有値はすべて大きくなる。
そのため、共分散行列のＲａｎｋは３である（Ｒａｎｋ＝３）。

上記の性質は画像特徴が理想的な場合のものであり、場合によってはグラデーションとエッジの中間的な画像特徴やエッジとテクスチャの中間的な画像特徴が存在する。上記の共分散行列のＲａｎｋは離散値でしか表されないので、Ｒａｎｋを連続的に表現できる定量値を用いることで、フラット、グラデーション、エッジ、テクスチャを連続的に表現できるようになる。そのような定量値として、非特許文献２に記載されているような連続Ｒａｎｋ増分（Continuous-Rank Increasing Measure）がある。
以下に、上述した連続Ｒａｎｋ増分を計算するまでの流れを、数式を用いて説明する。
式１は局所領域内の各画素が持つ３次元特徴ベクトルである。

式３は局所領域内の３次元ベクトルを縦に並べた行列である。

式３とその転置行列を掛けたＧｒａｍ行列を式４に示す。

式４は式１の３次元特徴ベクトルの共分散行列になっており、この行列のＲａｎｋが前述のフラット、グラデーション、エッジ、テクスチャの４種類の画像特徴を表現している。しかし、共分散行列のＲａｎｋは離散値であるので、次に示す変換式により離散値を連続値に変換する。Ｒａｎｋは、行列が持っている固有値の数である。

式６の値域は［０，１］であり、正規化された値となっている。式１から式６は、画像周波数３次元に分割した場合を表したものである。
加えて、式１は水平方向の微分値しか計算していないが、次式に示すように特徴ベクトル次元を拡張できる。

式７は微分計算を垂直方向（ｙ方向）に拡張し、かつ離散曲率も考慮した場合の特徴ベクトルである。離散曲率Ｗは式８〜式１１で計算される。周波数成分を３次元以上の多次元に分割する場合については、実施形態２で説明する。

なお、図１から図３では、画像特徴量を、輝度を用いて表す場合を示しているが、輝度以外の要素、例えば色情報を用いることも可能である。
以降の説明では、３次元空間内画素分布の場合を一例として説明する。

続いて、本願の実施形態１の画像処理装置の構成例を示す。
図４は、本発明の実施形態１に係る画像処理装置の構成例を示すブロック図である。画像処理装置は、外部から入力される入力画像を処理して特徴画像を出力する装置であり、局所領域Ｃｌｉｐｐｉｎｇ部（切り出し部）１０、画像特徴計算部２０、及び特徴画像生成部３０を備える。
局所領域Ｃｌｉｐｐｉｎｇ部１０は、入力画像から局所領域、例えば８×８画素や１６×１６画素ブロックを切り出す。
画像特徴計算部２０は、局所領域Ｃｌｉｐｐｉｎｇ部１０が切り出した局所領域から画像特徴、例えばフラット／グラデーション／エッジ／テクスチャ特徴を表現する定量値を計算する。
画像特徴計算部２０は、帯域分割部２１、クラスタリング部２２、及び特徴解析部２３を有する。各構成要素については後述する。
特徴画像生成部３０は、画像特徴から画像全体の特徴画像を生成する。

以下、図５に示すフローチャートを参照して、画像処理装置の全体の動作及び帯域分割部２１、クラスタリング部２２、及び特徴解析部２３の詳細を説明する。上述した構成を有することにより、画像処理装置では、入力画像から局所領域Ｃｌｉｐｐｉｎｇ部１０は、入力画像を切り出した局所領域（局所画像パッチ）を、画像特徴計算部２０へ出力する（Ｓ１１）。画像特徴計算部２０は、フラット／グラデーション／エッジ／テクスチャ画像特徴を連続的に表現する指標値を計算する（Ｓ１２〜Ｓ１５）。具体的には、画像特徴計算部２０の各構成要素は以下に記載する機能を実現するように働く。
帯域分割部２１は、画像の周波数成分を複数の帯域に分割し、複数の帯域信号を出力する（Ｓ１２）。帯域分割部２１は、式１、および式７を実行する構成要素であり、画像信号を複数の帯域信号（帯域分割信号）に分離し、それぞれの帯域を特徴ベクトルの要素とする。例えば、各帯域を構成する複数の画素それぞれは、一つの画素が多次元の特徴ベクトルを有する。従って、帯域分割部２１は、帯域を構成する複数の画素それぞれについて、多次元の特徴ベクトルを出力する。

クラスタリング部２２は、局所領域内の画素を複数の画像特徴毎、例えばフラット／グラデーション／エッジ／テクスチャに分離する（Ｓ１３）。従って、クラスタリング部２２は、帯域分割部２１から複数の帯域信号を受け取り、複数の帯域信号をクラスタリングして解析し、解析した結果として複数の帯域信号を各領域に区分して出力する。
クラスタリング部２２は、色や動きなど、本発明の一実施形態で用いる画像特徴と相関が無い特徴を用いて、局所領域内に複数の異なる領域がある場合に予め画素を各領域にクラスタリングする。クラスタリング部２２は、画像特徴と相関がない特徴を装置外部などから受ける情報（外部からの指示）により指示され、クラスタリングにより領域に分けて解析した特徴ベクトルを特徴解析部２３へ出力する。例えば、クラスタリング部２２は、帯域分割部２１から各帯域を構成する各画素の多次元の特徴ベクトルを受け取り、各画素を解析する。そして、各画素をフラット／グラデーション／エッジ／テクスチャの各領域に分離し、各画素がどの領域に対応するかという情報、及び各画素の多次元の特徴ベクトルを出力する。

例えば図６に示すように一つの局所領域に平坦部とテクスチャ部が存在する場合、これら複合特徴の微分特徴分布は両者の性質が混ざった複雑な分布になるため、予め分離できれば画像特徴解析が容易になる。ここでは、例えば色情報を用いてクラスタリングする。
一例として、ｋ平均法や平均値シフト法を用いることにより、局所領域内の同じ色相を持つ画素集合毎にクラスタリングし、それぞれのクラスタで画像特徴を解析する。これにより、画像特徴の解析を評価する画素集合の特性をなるべく均一にして画像特徴計算の分散を小さくして後段（特徴解析部２３）で行う特徴解析を容易にする。
なお、クラスタリング部２２の処理については、例えば、特開２０１２−８８７９６号公報、特開２０１０−２３２９１４号公報に開示された技術を用いることができる。

特徴解析部２３は、画像特徴を局所領域内の多次元空間内画素分布の統計解析により計算する（Ｓ１４）。特徴解析部２３は、計算した画像特徴指標値（例えば、連続Ｒａｎｋ増分）を出力する。画像特徴指標値は、例えば、色（輝度）、数値で表現することができる。
特徴解析部２３は式３〜式１１を実行する構成要素であり、フラット／グラデーション／エッジ／テクスチャを連続的に表現する指標値を計算する。特徴解析部２３は、帯域分割部２１によって分割された局所領域ごとに画像特徴を計算する。

一つの局所領域を解析後、まだ解析していない局所領域がある場合には（Ｓ１５、ＹＥＳ）、画像処理装置は、ステップＳ１１からステップＳ１５の処理を繰り返す。一方、入力画像をすべて解析した場合には（Ｓ１５、ＮＯ）、画像処理装置は、次のステップＳ１６へ進むように構成される。
なお、図５のフローチャートでは、入力画像の各局所領域についてステップＳ１１からＳ１５を繰り返すようにしているが、これに限られるものではない。例えば、ステップＳ１５の処理を設けずに、入力画像の複数の局所領域を各ステップで順次処理する流れでもよい。

特徴画像生成部３０では局所領域毎に計算された画像特徴指標値を画像に再構成し、特徴画像を生成し、出力する（Ｓ１６）。画像に再構成する方法として、例えば式６で得られる正規化された特徴値を０から２５５の輝度値に変換して、画像化する。あるいは、視覚的に見やすくする場合は０度から３６０度までの色相値に変換して画像化する。

加えて、画像処理装置の情報の流れは次のように表すこともできる。
局所領域Ｃｌｉｐｐｉｎｇ部１０が、入力画像の周波数成分を出力する。画像特徴計算部２０が周波数成分を解析して、局所画像の周波数成分に分割し、各局所画像の画像特徴指標値を出力する。特徴画像生成部３０が、各局所画像の画像特徴指標値を用いて特徴画像を生成して出力する。

次に、特徴解析部２３が計算する画像特徴について説明する。
例えば、局所領域Ｃｌｉｐｐｉｎｇ部１０が図７に示す入力画像を受け取る場合を一例として説明する。図７に示す入力画像は、フラットまたはグラデーションの画像として空の部分、エッジやラインの画像として家の部分、弱いテクスチャの画像として雲の部分、及び強いテクスチャの画像として芝生の部分を含む。
特徴解析部２３は、画像特徴を表す定量値を計算するにあたって、局所領域をオーバラップしないで局所領域毎に計算する場合と、局所領域をオーバラップして、例えば入力画像全体について計算する場合とがある。特徴解析部２３は、局所領域をオーバラップしない場合には、図８に示すように局所領域毎に画像特徴を表す定量値を計算して出力する。言い換えると、画像特徴は、局所領域単位で特徴画像生成部３０へ出力される。一方、局所領域をオーバラップする場合には、特徴解析部２３は、入力画像を一画素ずつずらしながら画像特徴を表す定量値を計算する。図９に示すように、局所領域に含まれる画素毎に画像特徴を計算する。言い換えると画像特徴は画素単位で特徴画像生成部３０へ出力される。

特徴解析部２３は、局所ブロックまたは画素それぞれの画像特徴を走査し、一つの局所領域または各画素の画像特徴を計算する。画像特徴は、例えば、連続ランク増分などの指標値（数値）または色で表す。
ここで図１０を参照して、画像特徴と、指標値または色との対応例を説明する。図１０では、局所領域または各画素を、指標値では０．０から１．０の数値範囲を用いて表し、色（輝度）では、黒からグレー、白へと順次変化する色で表す例を示す。特徴解析部２３は、例えば図１０に示すような指標値または色（輝度）を、各ブロックまたは各画素に対応づけて計算し、特徴画像生成部３０へ出力する。

続いて、特徴画像生成部３０が、特徴解析部２３が出力する画像特徴を用いて特徴画像を生成する動作例を説明する。特徴画像生成部３０は、図７の入力画像を解析した画像特徴を用いて、例えば、図１１、図１２に示すような特徴画像を出力する。
図１１は、画像特徴を指標値（数値）として表した特徴画像であり、図１２は、画像特徴を輝度（色）として表した特徴画像である。図１１では、図１０に示す指標値を１０倍して示している。画像処理装置が出力する特徴画像は、画像処理、画像強調、または補正を画像特徴毎に制御する場合に用いられる。画像処理は、ノイズリダクションなどであり、補正には、シャープネス、コントラスト、色（色相、再度）の補正を含む。加えて、図１１に示す画像特徴の表示例は、例えば、計算された画像特徴が正しく求められているか、主観評価と一致するかを確認するために用いることができる。

次に、特徴画像生成部３０が出力する特徴画像の利用について、図７の入力画像から生成された画像特徴指標値を表示した特徴画像（図１１）用いて、画像のノイズリダクションを例に説明する。任意の装置に図１３に示す入力画像が入力された場合、画像に平滑化を行うことで、図１４に示す平滑化画像が得られる。平滑化画像では、ノイズが除去される一方、エッジやラインもぼける。
ここで、一般的な技術では、エッジ保存型の平滑化フィルタを用いることで、エッジやラインがぼけることを低減させる。ところが、エッジ保存型フィルタを用いた場合でも、エッジやテクスチャをぼかしてしまうことがあるという問題がある。そこで、本発明の一実施形態では、画像特徴の指標値を用いて、画像の特徴に応じたノイズリダクションの制御を行う。例えば、式１２を用いて、原画像と平滑化画像とのブレンディングでノイズリダクション強度を制御する。図１５に、図１３に示す入力画像を領域適応的平滑化した画像例を示す。

係数αは画像特徴指標値から決まる係数である。ここでは例としてエッジ部分では値が大きくなるようにするため、係数αが１．０に近くなるように、関数ｆ（ｘ）を用いて設定する。関数ｆ（ｘ）は任意の関数である。この場合、エッジ部分では平滑化の強度が弱まり、エッジを保存しつつ、テクスチャやフラット領域の平滑化強度を強くする。

画像特徴の別の使い方として、ノイズのマスキング効果を考慮する場合がある。ディジタルノイズの場合、ノイズはエッジ近傍のフラット領域で目立つことが多く（モスキートノイズ）、テクスチャ領域のノイズはテクスチャに紛れて目立たないことがある（マスキング効果）。よって、エッジを含む局所領域ではエッジ保存型平滑化フィルタの強度を大きくしてノイズを低減し、テクスチャ領域ではノイズリダクション強度を小さくする制御を行う。または、画像の特徴に応じて、平滑化フィルタの種類を切り替える制御もできる。例えば、エッジ領域ではエッジ保存型フィルタを用い、フラット領域やグラデーション領域ではノイズリダクション強度が大きく、アーチファクトの出にくいガウシアンフィルタを使う、という制御である。

上述した、テクスチャやフラット領域の平滑化強度の調整、または、はエッジ保存型平滑化フィルタの強度の調整において、本実施形態の特徴画像は、画像特徴を連続的に変化する特徴として捉え、定量的な指標値として計算していることから、強度の調整を適切に実施することが可能となる。

以上説明したように、本発明の一実施形態によれば、エッジやテクスチャをそれぞれ個別の手法で検出する必要がなく、各領域に適切なノイズリダクションや超解像を行う場合に画像処理システムを簡易にし、計算コストを低減できる。例えば、ノイズリダクションに応用する場合、ノイズの種類と画像特徴との関係によってはノイズの視認性が変わってくるため、画像特徴に応じてノイズリダクションの強度を切り替える必要がある。
例えば、ＭＰＥＧノイズの一種であるモスキートノイズの場合、このノイズはエッジやラインの近傍で発生するため、エッジ・ラインを検出できると効果的にノイズリダクションができる。しかし、テクスチャ部においてモスキートノイズはテクスチャに埋もれてノイズが見えにくくなるため（Texture Masking）、テクスチャ部においてはノイズリダクションをしない方がテクスチャがぼける副作用が発生しなくなる。しかし、エッジ・ラインとテクスチャとの区別がつきにくい中間的な画像特徴の場合、エッジやテクスチャをそれぞれ別の手法で検出しようとすると、それぞれの手法の未検出・過剰検出の問題により、ノイズリダクションの制御が難しくなる。これに対して、本発明の一実施形態によれば、エッジ・ラインからテクスチャまでの画像特徴を連続的に表現できるため、本発明の一実施形態による画像特徴値を重み係数にしてノイズリダクションのゲイン・コントロールをすることで、各領域に適切なノイズリダクションが可能となる。

実施形態２．
実施形態１では、入力画像の周波数成分を３次元に分割して画像特徴を計算する態様を主に説明した。本実施形態では、周波数成分を３次元以上の多次元に分割して画像特徴を計算する態様について説明する。
画像信号（周波数成分）を帯域分割する手法として、例えば次の二つの処理の手法がある。
（１）固定サイズのフィルタを用いて画像を平滑縮小しながらサブバンドに分割していく方法。
（２）フィルタのサイズと係数（バンドパス特性）を変えながら画像をサブバンドに分割していく方法。

本実施形態では、（２）の手法であって、ガウスフィルタを用いる場合を一例として説明する。
ガウスフィルタ（ガルシアンフィルタ）は、注目画素に近いほど、平均値を計算するときの重みを大きくし、遠くなるほど重みを小さくなるようにガウス分布の関数を用いてレートを計算するフィルタである。ここではガウス分布の関数の記載を省略する。
図１６，１７は、実施形態２に係る画像処理装置において、入力画像を多次元に分割する方法を説明する図である。図１６の左側には、水平、垂直方向の一次微分フィルタ係数Ｉｘ、Ｉｙを示す。一次微分フィルタ係数Ｉｘ、ＩｙにガウスフィルタＧをかけたものが、それぞれＧ・Ｉｘ、Ｇ・Ｉｙになり、図１６の右側に示す。一次微分フィルタ係数Ｉｘ、ＩｙにガウスフィルタＧをかけることで、より低域の信号を通過させるバンドパスフィルタとなる。図１７には、二次微分フィルタの例を示す。図１６，１７では水平・垂直フィルタの例を示している。水平・垂直方向に加え、ななめ方向も同様にしてバンドパス特性の異なるフィルタを設計することが可能である。
これにより、式７はｎ（ｎは２以上の整数）次元ベクトルへ一般化される。

例えば、特徴解析部２３は、上述した式４から式７を以下のように一般化して画像特徴を計算することによって実現する。式１３は、式７を、式１４は式４を、式１５は式５を、式１６は式６をそれぞれ一般化した数式となる。

式１６に示すように、一般化されたｎ次元ベクトルに対しても式６の連続ランク増分は成り立つ。連続ランク増分の定式化は、例えば、Allan Pinkus著、”An interlacing property of eigenvalues strictly totally positive matrices”、Linear Algebra and its Applications 279、１９９８年、ｐｐ．２０１−２０６に基づいて導くことができる。

本実施形態によれば、実施形態１の効果に加え、さらに入力画像の周波数分布をより詳細に解析し、精度の高い画像特徴を計算し、これに基づく特徴画像を生成することが可能になる。

実施形態３．
上記各実施形態の例では画像特徴の連続的表現のために連続Ｒａｎｋ増分を用いたが、他の手法として、画像特徴分布に対して主成分分析を用いて低次元空間へ分布を射影した後、射影後の分布のクラス内分散・クラス間分散を用いる方法、または、画像特徴分布のＭｏｍｅｎｔを計算する方法も考えられる。
例えば、式１６は画像特徴を連続的に表現する定式化であるが、式１６以外にも次に示す定式により画像特徴を連続的に表現できる。

式１７で、ＲをFeature Response（特徴レスポンス）と呼ぶことにする。また、Ｎは式１３で表わされる特徴ベクトルの次元数である。Ｒの値域は［０，１］となる。Ｒの値の物理的な意味は使用する特徴ベクトル（式１３）の特徴に依存する。

ここで、式１７の定性的な事項について説明する。
＊入出力関係
(1)画像信号（入力） → Y信号（濃淡画像、Gray Scale）。
(2)微分計算 → 画素毎の輝度勾配や高次微分を計算する。
(3)共分散行列と固有値の計算 → 局所的な輝度勾配や高次微分の分布を計算する。
(4)特徴指標値（出力） → (3)の分布から画像特徴指標値を計算する。
(4-1)Harris Corner Response
(4-2)連続Rank増分
(4-3)Feature Response

＊各Stepの詳細説明
(1)画像信号
・Y信号（Gray Scale、濃淡画像）を入力する。
(2)微分計算
画像輝度の水平垂直方向の空間微分値
→ 局所的な輝度勾配方向(隣接画素差分や3×3画素サイズのSobel Operatorなど)
→ Harrisの場合は一次微分のみ考慮（エッジの方向のみ考慮）
→ Structure Tensorの場合は
I, Ix, Ixx → BPF特性を考慮したエッジ画素分布
Ix, Iy, Ixx, Iyy → 現状の基本バージョン

(3)共分散行列と固有値の計算
→ 画像特徴（エッジ方向や周波数が）が単純になるほど、
→ 共分散行列（式１３）の第一固有値が大きくなり、
他の固有値（第二固有値以降）はゼロに近くなる。
→ この状態をRank=1という。
→ 逆に、画像特徴（エッジ方向や周波数が）が複雑になるほど、
→ 共分散行列の第一固有値以外の固有値も値が大きくなる。
→ この状態では、Rank=2、3、4・・・、となる。
→ （例）Harris Operatorの場合
→ 微分情報として、水平垂直の一次微分（Ix, Iy）を用いる。
→ 共分散行列の次元数は2（2×2要素の行列）
→ エッジ（勾配方向が一定）ならRank=1になり、
→ コーナー（勾配方向が二つ）ならRank=2になる。

(4)特徴指標値（出力）
→ Rankが大きくなるほど、特徴の複雑さを反映する指標値を定義したい。
→ 本来なら、そのRankそのもので評価すればよいが、通常は離散値になる。
→ そこで、Harris Corner OperatorではCorner Responseを導入している。
→ Space-Time Behavior Based Correlationでは、
連続Rank増分を導入している。

→ 提案手法では、Feature Responseを導入した。
→ 物理的な意味：
⇒ 第一固有値に対する他の固有値の比率が小さいほど、
画像特徴が単純になる（Gradation, Edge）。
⇒ 第一固有値に対する他の固有値の比率が大きいほど、
画像特徴が複雑になる（Corner, Random Texture）。

→ 従来手法との相違点
⇒ 微分項に二次以上の高次微分を用いたり、座標、色などの
情報を加えることにより、より細かい画像特徴指標値を
計算できる。

一例として、画像の一次微分と二次微分からなる式１８の特徴ベクトルを用いた場合について、以下に説明する。
式１８を用いた場合のＭ、およびＲは次のようになる。

この時、Ｒが０（ゼロ）に近いほど局所領域内の画像特徴は複雑なパターン（No preferred direction）になり、Ｒが１．０に近いほどコヒーレント（Coherent/Totally aligned）になる。図１８に、Ｒの値に対する、おおよその画像特徴の対比図を示す。図１８は、Ｒの値に対応づけられる画像の一例として、複合画像（Complex）、コーナ（Conner）、エッジ／線（Edge/Line）、グラデーション（Gradation）の４種類の画像を示す。また、図１８では、各画像において、とり得るＲの値の範囲も併せて示している。

図１９乃至２２に、実際の画像局所Patchを用いてＲを計算した例を示す。図１９は、
グラデーションを含む画像の場合、図２０は、エッジ／線を含む画像の場合、図２１は、コーナを含む画像の場合、図２２は、複合画像の場合であり、それぞれの画像の下に、Ｒの値を示している。
なお、図１９乃至２２の結果は局所領域サイズを８×８画素とし、微分演算は隣接画素差分に基づいている。局所領域サイズや特徴計算に用いるフィルタのタップ数が変わると、上記の計算結果も変わってくる。これは、Feature Responseとして算出する値Ｒをどのような目的に用いるかに応じて、局所領域サイズやフィルタのタップ数を適宜変更するからである。

実施形態４．
実施形態１に示す画像処理装置の画像特徴計算部２０は、例えば、図２３に示すように、クラスタリング部２２を除いた構成であっても、特徴画像を生成することが可能である。図２３に示す画像特徴計算部２５は、帯域分割部２１と特徴解析部２３とから構成される。帯域分割部２６は、特徴解析部２７へ複数の帯域信号（例えば、多次元の特徴ベクトル）を出力する。各構成要素の機能は、実施形態１の画像処理送問と同様であるため説明を省略する。

実施形態５．
上記の各実施形態において、画像処理方法はプログラムによって実現することができる。上述した画像処理方法を実現するプログラム（画像処理プログラム）は、コンピュータに各手段を実行させるプログラムによって実現することができる。プログラムは、コンピュータ内のメモリにロードされ、ＣＰＵ（Central Processing Unit）がプログラムの各命令を実行する。画像処理プログラムは、少なくとも、入力画像から局所領域を切り出す処理、局所領域から画像特徴を表す定量値を計算する処理、及び、画像特徴を表す定量値を用いて画像全体の特徴画像を生成する処理を含む。

加えて、画像処理プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上各実施形態で説明したように、本発明の一実施形態は、当該技術分野の画像特徴を記述する技術に関するものであり、単純な処理で画像特徴の連続的表現を行うことができる点で優れている。一般的には複数の画像特徴はそれぞれ個別の手法で計算されることが多く、複数の画像特徴を同時に取り扱うためには確率モデルのような複雑な処理が必要となる。これに対して、一実施形態ではＬＳＩ（Large Scale Integration）に実装する際にハードウェア回路を複雑にすることを回避し、計算コストを低減することが可能になる。加えて、製品開発コストの低減と開発期間の短縮に寄与することが期待できる。

なお、本発明は上記に示す実施形態に限定されるものではない。本発明の範囲において、上記実施形態の各要素を、当業者であれば容易に考えうる内容に変更、追加、変換することが可能である。

１０ 局所領域Ｃｌｉｐｐｉｎｇ部
２０、２５ 画像特徴計算部
３０ 特徴画像生成部
２１、２６ 帯域分割部
２２ クラスタリング部
２３、２７ 特徴解析部

Claims (10)

1. 入力画像から局所領域を切り出す切り出し部と、
   前記局所領域から画像特徴を表す定量値を計算する画像特徴計算部と、
   前記画像特徴を表す定量値を用いて画像全体の特徴画像を生成する特徴画像生成部と、
   を備える画像処理装置。
2. 前記画像特徴計算部は、
   前記局所領域の画像の周波数成分を複数の帯域に分割する帯域分割部と、
   前記画像特徴を表す定量値を、前記局所領域の前記複数の帯域から構成される多次元空間内画素分布の統計解析により計算する特徴解析部と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像特徴計算部は、さらに、
   前記局所領域内の画素を複数の画像特徴毎に分離するクラスタリング部と、
   を備えることを特徴とする請求項２記載の画像処理装置。
4. 前記特徴解析部は、前記画像特徴を表す定量値として、連続ランク増分を計算することを特徴とする請求項２または３記載の画像処理装置。
5. 前記特徴解析部は、前記画像特徴を表す定量値として、画像レスポンスを計算し、前記画像レスポンスが、入力される画像信号を用いて、画素毎の輝度勾配及び高次微分を計算した後局所的な輝度勾配及び高次微分の分布を計算し、計算した前記輝度勾配及び前記高次微分の分布に基づく指標値であることを特徴とする請求項２または３記載の画像処理装置。
6. 前記帯域分割部は、画像の周波数成分を３次元以上の多次元に分割し、
   前記特徴解析部は、前記帯域分割部が３次元以上に分割した多次元空間画素分布を用いて、前記画像特徴を計算することを特徴とする請求項２乃至５のいずれか一項に記載の画像処理装置。
7. 前記帯域分割部は、画像の周波数成分を３次元以上の多次元に分割し、
   前記特徴解析部は、前記帯域分割部が３次元以上に分割した多次元空間画素分布を用い、さらに、色、時間微分及び画素座標のうちの少なくとも一つを用いて、前記画像特徴を計算することを特徴とする請求項２乃至５のいずれか一項に記載の画像処理装置。
8. 前記帯域分割部は、画像の周波数成分を、輝度、前記輝度の一次微分値、及び前記輝度の二次微分値の３次元に分割し、
   前記特徴解析部は、前記帯域分割部が３次元に分割した３次元空間画素分布を用いて、前記画像特徴を表す定量値を計算することを特徴とする請求項６または７に記載の画像処理装置。
9. 入力画像から局所領域を切り出し、
   前記局所領域から画像特徴を表す定量値を計算し、
   前記画像特徴を表す定量値を用いて画像全体の特徴画像を生成する画像処理方法。
10. コンピュータに、
    入力画像から局所領域を切り出す処理と、
    前記局所領域から画像特徴を表す定量値を計算する処理と、
    前記画像特徴を表す定量値を用いて画像全体の特徴画像を生成する処理と、を実行させる画像処理プログラム。