JP2015036929A - 画像特徴抽出装置、画像特徴抽出方法、画像特徴抽出プログラム及び画像処理システム - Google Patents

Abstract

【課題】誤った画像特徴の抽出を抑えることが可能な画像特徴抽出装置、画像特徴抽出方法、画像特徴抽出プログラム及び画像処理システムを提供する。【解決手段】画像特徴抽出装置１００は、輝度とノイズの関係を示す関数と、入力画像における注目画素周辺の周辺画素の輝度とに基づいてしきい値を決定するしきい値算出部１１０と、決定したしきい値と前記周辺画素に基づいてバイナリコード特徴量を算出するバイナリコード算出部１２０と、を備えるものである。【選択図】図１

Description

本発明は、画像特徴抽出装置、画像特徴抽出方法、画像特徴抽出プログラム及び画像処理システムに関し、特に、入力画像の特徴量を算出する画像特徴抽出装置、画像特徴抽出方法、画像特徴抽出プログラム及び画像処理システムに関する。

従来から、画像の特徴を抽出し、抽出した特徴に基づいて画像に含まれる物体などのパターンを検出する技術が広く利用されている。この画像の特徴を、ローカルバイナリパターン（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ：ＬＢＰ）を用いて抽出する技術が、Ｍａｔｔｉ Ｐｉｅｔｉｋａｉｎｅｎらによって提案されている。

ＬＢＰは、例えば３×３画素領域において、中心画素の輝度値とその他の周辺画素の輝度値との差を算出し、その正負によって、それぞれ０，１を割り当てることを基本とする。ＬＢＰは、演算コストを低く押さえられる一方、画像の濃淡値の変動に頑健で、高い画像特徴性能が得られる。ＬＢＰは、バイナリコードの代表的な手法のひとつである。関連する技術として、例えば、非特許文献１〜２、特許文献１〜３が知られている。

各画素のローカルバイナリコード（バイナリコード特徴量）Ｂ_Ｒは、注目画素と近傍画素との輝度の大小を比較して２値で評価し、全近傍画素に対する評価結果を２進数の数値としてエンコードして表現する。図５のように、入力画像をＩ、注目画素をｇ_ｃ＝Ｉ（ｘ,ｙ）、近傍画素をｇ_ｐ（ｐ＝０．．．７）とすると、画素Ｉ（ｘ,ｙ）におけるこのバイナリコード特徴量ＬＢＰ（ｘ,ｙ）は、次の式１、式２のように求めることができる。

式１は、ＬＢＰの算出式を一般化したものであり、式２は、しきい値ｔｈをｇ_ｃとして最も基本的なＬＢＰ算出式を表したものである。

すなわち、式２によれば、注目画素ｇ_ｃと各近傍画素ｇ_ｐの輝度の差分を１ビットのｓ（ｉ）とし、各ビットに重みづけした合計が、バイナリコード特徴量Ｂ_Ｒとなる。入力画像の全画素に対して、式２によりバイナリコード特徴量Ｂ_Ｒを求める。

図６は、バイナリコード特徴量ＢＬＢＰの算出例を示している。ここで、近傍画素は隣接していなくてもよいが、選択する近傍画素数は８画素とし、８ビットのバイナリコード特徴量ＢＬＢＰとする。図６（ａ）の例では、注目画素の輝度が６であり、左上画素から時計回り（右回り）の順に各近傍画素の輝度が、６，５，２，１，７，８，９，７である。

このため、図６（ｂ）に示すように、注目画素と各近傍画素の大小関係によりｓ（６，６）＝１，ｓ（５，６）＝０，ｓ（２，６）＝０，ｓ（１，６）＝０，ｓ（７，６）＝１，ｓ（８，６）＝１，ｓ（９，６）＝１，ｓ（７，６）＝１となり、８ビットのｓ（ｉ）のパターン（バイナリコードパターン）は、１１１１０００１となる。各ビットの位置に応じた重み付けを図６（ｃ）のようにし、各ビットを合計すると、バイナリコード特徴量ＢＬＢＰ＝１＋１６＋３２＋６４＋１２８＝２４１となる。

Matti Pietikainen, "Computer Vision Using Local Binary Patterns", Computational Imaging and Vision 40, Springer, 2011年, pp.32-35 W.H.Liao, "Region Description Using Extended Local Ternary Patterns", 2010 International Conference on Pattern Recognition, 2010年, pp.1003-1006

特開２０１３−０４１３３０号公報 特開２００５−０８３７７６号公報 特開２００３−１０８９９７号公報

バイナリコードは画素値の小さな変動に反応してしまうため、特に平坦部の微小ノイズに弱いという問題がある。これは、例えば図７（ａ）のような平坦部では、微小な輝度変化はあるものの、図７（ｃ）のように１１１１１１１１となるのが望ましいが、図７（ｂ）のように僅かな輝度の違いがパターン（０１１１１１１１）として現れてしまう。さらに、輝度値が変動している画素の位置によって別のパターンとして算出されるので、同じ平坦画像のバイナリコードであっても、パターンはそれぞれ異なるという結果を招く。

そこで、上記の基本的なＬＢＰであるＢＬＢＰを拡張して様々な改良手法が提案されている。

非特許文献１には、次の従来技術１〜４が記載されている。
（従来技術１）注目画素をしきい値として周辺画素との差分結果を符号化する。
（従来技術２）注目画素＋α（固定値）をしきい値として周辺画素との差分結果を符号化する。
（従来技術３）注目画素および周辺画素の中央値をしきい値として注目画素・周辺画素との差分結果を符号化する。
（従来技術４）注目画素および周辺画素の平均値をしきい値として注目画素・周辺画素との差分結果を符号化する。

また、非特許文献２には、次の従来技術５が記載されている。
（従来技術５）注目画素＋周辺画素の標準偏差をしきい値として周辺画素との差分結果を符号化する。

従来技術１は、上記の一般的なＢＬＢＰであり、しきい値ｔｈとして注目画素のみを使用している。

従来技術２は、次の式３で表され、しきい値ｔｈとして注目画素と定数αの差分値を使用している。αによって注目画素と周辺画素との間にノイズに対するマージンが出来るため、例えばα＝１に設定すると図７（ｃ）の結果を得ることができる。しかし、例えば図８のようにノイズマージンを超えてノイズがある場合には無力である。ここで、例えばα＝３に設定すれば、図８のケースでも対応可能であるが、αを大きくし過ぎると、輝度値の低い低輝度領域でパターンが正しく生成できないという問題がある。例えば、平均輝度値が１０程度の領域にノイズマージンα＝３とした場合などが想定できる。

従来技術３及び４でも上記問題は解決できない。図７（ａ）の場合、中央値、平均値共に１２８となり、図７（ｂ）と同じ結果となる。それどころか、しきい値として注目画素を使用しないので、注目画素もパターンに含める必要があるため、注目画素を含めた９ｂｉｔのパターンを生成する必要があり、従来技術１及び２の場合に比べてバイナリコードの次元数が２倍になってしまう。

従来技術５は式３のαを周辺画素の標準偏差とするに等しい。図７（ａ）の場合、周辺画素の標準偏差は０．５４であり、四捨五入すればα＝１となり、図７（ｃ）の結果を得ることができる。しかし、図８のケースでは、標準偏差は１．３１であるが、四捨五入しても切り上げても問題を解決できない。

このように、従来技術では、ノイズの影響等により誤った画像特徴を抽出する恐れがあるという問題がある。

本発明に係る画像特徴抽出装置は、輝度とノイズの関係を示す関数と、入力画像における注目画素周辺の周辺画素の輝度とに基づいてしきい値を決定するしきい値決定部と、前記決定したしきい値と前記周辺画素に基づいてバイナリコード特徴量を算出するバイナリコード算出部と、を備えるものである。

本発明に係る画像特徴抽出方法は、輝度とノイズの関係を示す関数と、入力画像における注目画素周辺の周辺画素の輝度とに基づいてしきい値を決定し、前記決定したしきい値と前記周辺画素に基づいてバイナリコード特徴量を算出するものである。

本発明に係る画像特徴抽出プログラムは、輝度とノイズの関係を示す関数と、入力画像における注目画素周辺の周辺画素の輝度とに基づいてしきい値を決定し、前記決定したしきい値と前記周辺画素に基づいてバイナリコード特徴量を算出する、画像特徴抽出処理をコンピュータに実行させるためのものである。

本発明に係る画像処理システムは、画像特徴抽出装置と画像検出装置とを備えた画像処理システムであって、前記画像特徴抽出装置は、輝度とノイズの関係を示す関数と、入力画像における注目画素周辺の周辺画素の輝度とに基づいてしきい値を決定するしきい値決定部と、前記決定したしきい値と前記周辺画素に基づいてバイナリコード特徴量を算出するバイナリコード算出部と、を備え、前記画像検出装置は、前記バイナリコード特徴量に基づいてヒストグラムを生成するヒストグラム生成部と、前記生成されたヒストグラムに基づいて画像を識別する画像識別部と、を備えるものである。

本発明によれば、誤った画像特徴の抽出を抑えることが可能な画像特徴抽出装置、画像特徴抽出方法、画像特徴抽出プログラム及び画像処理システムを提供することができる。

実施の形態１に係る画像特徴抽出装置の構成を示すブロック図である。 実施の形態１に係る画像特徴抽出方法を示すフローチャートである。 実施の形態２に係る画像処理システムの構成を示すブロック図である。 実施の形態２に係る画像処理方法を示すフローチャートである。 従来のバイナリコードの算出方法を示す図である。 従来のバイナリコードの算出例を示す図である。 従来のバイナリコードの算出例を示す図である。 従来のバイナリコードの算出例を示す図である。

（実施の形態１）
以下、図面を参照して実施の形態１について説明する。図１は、本実施の形態に係る画像特徴抽出装置の構成を示している。本実施の形態に係る画像特徴抽出装置１００は、入力画像の特徴抽出として、注目画素及び近傍画素（周辺画素）の輝度を２値のバイナリコード特徴量（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｃｏｄｅ：ＬＢＰ、単にバイナリコードとも言う）に符号化する装置である。図１に示すように、画像特徴抽出装置１００は、しきい値算出部１１０、バイナリコード算出部１２０を備えている。

なお、本実施の形態に係る画像特徴抽出方法が実現できれば、その他の機能ブロックで構成してもよい。また、図１の画像特徴抽出装置における各機能（各処理）は、ハードウェア又はソフトウェア、もしくはその両方によって構成されており、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。画像特徴抽出装置の各機能を、ＣＰＵ（Central Processing Unit）やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に後述の画像特徴抽出方法（画像特徴抽出処理）を行うための画像特徴抽出プログラムを格納し、画像特徴抽出装置の各機能を、記憶装置に格納された画像特徴抽出プログラムをＣＰＵで実行することにより実現してもよい。

しきい値算出部（しきい値決定部）１１０は、入力画像が入力され、入力画像のバイナリコードを算出するためのしきい値を決定（算出）する。入力画像は、例えば、輝度信号Ｙ、色信号Ｃｂ，Ｃｒを含むＹＣｂＣｒ方式の画像信号であるが、ＲＧＢ方式等、その他の方式の画像信号であってもよい。本実施の形態では、しきい値算出部１１０は、入力画像における注目画像近傍の近傍画像の平方根に基づいてしきい値を決定する。

バイナリコード算出部１２０は、しきい値算出部１１０により算出されたしきい値に基づいてバイナリコードを算出し出力する。バイナリコード算出部１２０は、入力画像の注目画素と近傍画素の輝度差を、しきい値に基づいて２値のバイナリコード特徴量（ＬＢＰ）に符号化する。

ここで、しきい値算出部１１０で算出するしきい値について説明する。次の式４に示すように、本実施の形態に係るしきい値ｔｈは、式３と同様に、注目画素とノイズマージン値θから構成される。すなわち、しきい値ｔｈは、注目画素とノイズマージン値θの差分値（ｇ_ｃ−θ）である。なお、注目画素及びθの差分と、近傍画素との差に基づいてバイナリコードが算出されるため、θをしきい値と称する場合もある。

このとき、ノイズマージン値θの値はノイズの影響を抑制するための値であるが、輝度値が低い画素と、高い画素では、相対的なノイズ量の大きさが異なる。したがって、ノイズマージン値θを低くすると高輝度の画素でノイズ抑制効果が下がる一方、ノイズマージン値θを高くすると、低輝度の画素においてノイズではない画素をノイズであると誤判定してしまうことになる。そこで、本実施の形態では、一般にノイズ量は光量つまり輝度値の平方根に比例することから、周辺画素の平均輝度値の平方根に応じてノイズマージン値θ（しきい値）を注目画素ごとに適応的に設定する。

すなわち、本実施の形態では、輝度とノイズの関係を示す所定の関数と、近傍画素の輝度とに基づいてしきい値を決定する。上記のようにノイズ量が輝度値の平方根に比例する関係から所定の関数として平方根を用い、近傍画素の輝度の平方根を算出してしきい値を決定する。特に、近傍画素の輝度の平均値または中央値の平方根に基づいてしきい値を決定する。一般的なノイズと輝度の関係から、平方根（１／２乗）を用いることが好ましいが、１／ｎ（ｎは２以上の整数）乗を用いても同様の効果を得ることができる。また、１／ｎ乗に近い関数として対数を用いてもよい。対数の場合、底を２または１０とすることで、平方根の場合と同様の効果を得ることができる。

本実施の形態では、具体的には、次の式５に示すように、各近傍画素ｇ_ｐの輝度平均値の平方根を求めて実数倍し、少数以下を切り捨てた整数値を元にしてノイズマージン値θを決定する。なお、式５においてＩＮＴ（）は整数化を意味し、ｎは実数である。

例えば、近傍画素の平均輝度が一般的なグレーレベルである１２８のときにθ≒２．５となるように設計する場合はｎ≒０．２２となり、ノイズマージン値θの取り得る値は０≦θ≦３となる。

式５によれば、図７（ａ）のケースではθ＝２、図８のケースではθ＝３となるため、いずれの場合もバイナリコードは図７（ｃ）のようになる。したがって、従来技術の問題を解決することができる。

図２は、本実施の形態に係る画像特徴抽出装置で実行される画像特徴抽出方法（画像特徴抽出処理）を示している。

図２に示すように、画像特徴抽出装置１００に画像が入力されると、まず、しきい値算出部１１０は、入力画像の中から注目画素及び近傍画素の輝度を取得する（Ｓ１０１）。

続いて、しきい値算出部１１０は、式５を用いてしきい値を算出する。すなわち、しきい値算出部１１０は、近傍画素の輝度の平均値を算出し（Ｓ１０２）、この平均値の平方根を算出し（Ｓ１０３）、この平方根に基づきしきい値を決定する（Ｓ１０４）。具体的には、式５のように、近傍画素の輝度平均値の平方根を実数倍し、整数化してしきい値（ノイズマージン値θ）を算出する。

続いて、バイナリコード算出部１２０は、式４を用いて、決定したしきい値に基づきバイナリコードを算出する（Ｓ１０５）。バイナリコード算出部１２０は、式４のように、各近傍画素としきい値（注目画素及びθの差分）の差分に基づいてバイナリコードを算出する。

以上のように、本実施の形態では、周辺画素の平均値の平方根をもとにしてバイナリコードのしきい値を決めることとした。これにより、少ない副作用で大きなノイズ抑制効果を得ることのできる適応的なしきい値算出を行うことができる。すなわち、ノイズの影響を受けにくく、安定したバイナリコードが得られるため、画像特徴の解析精度が向上する。従来技術ではできなかった、平坦部を一様なバイナリコードで表現することが可能になる。したがって、ノイズの影響による誤った画像特徴の抽出を抑えることができる。

本実施の形態は、当該技術分野の画像特徴解析の技術に関するものであり、従来技術と比較して、ノイズに対してロバストである面で優れている。

（実施の形態２）
以下、図面を参照して実施の形態２について説明する。本実施の形態では、実施の形態１の画像特徴抽出装置を含む画像処理システムについて説明する。

図２は、本実施の形態に係る画像処理システムの構成を示している。図２に示すように、本実施の形態に係る画像処理システムは、画像特徴抽出装置１００、画像検出装置２００、学習データ記憶装置３００を備えている。画像検出装置２００は、ヒストグラム作成部２１０、識別器２２０を備えている。

学習データ記憶装置３００は、学習データを記憶する記憶部である。学習データは、バイナリコード特徴量に基づいたヒストグラムを予め学習したデータである。

ヒストグラム作成部（ヒストグラム生成部）２１０は、画像特徴抽出装置１００が生成したバイナリコード特徴量に基づきヒストグラムを生成する。

識別器（画像識別部）２２０は、学習結果に基づいて画像認識を行うＳＶＭ（Support Vector Machine）である。識別器２２０は、学習データ記憶装置３００の学習データと、ヒストグラム作成部２１０が生成したヒストグラムを比較し、両者の類似度に基づいて識別結果（検出結果）を出力する。

図４は、本実施の形態に係る画像処理システムで実行される画像処理方法を示している。

図４に示すように、予め、識別器２２０は画像パターンを学習し、学習データを学習データ記憶装置３００に記憶しておく（Ｓ２０１）。例えば、しきい値算出部１１０及びバイナリコード算出部１２０が画像パターンに対し式４及び式５を用いてバイナリコード特徴量を抽出し、ヒストグラム作成部２１０が生成したヒストグラムを学習データとして記憶する。

その後、画像特徴抽出装置１００に画像が入力されると（Ｓ２０２）、しきい値算出部１１０は、式５を用いて、しきい値を算出する（Ｓ２０３）。実施の形態１と同様、式５のように、近傍画素の輝度平均値の平方根を実数倍し、整数化してしきい値（ノイズマージン値θ）を算出する。

続いて、バイナリコード算出部１２０は、式４を用いて、決定したしきい値に基づきバイナリコードを算出する（Ｓ２０４）。実施の形態１と同様、式４のように、各近傍画素としきい値（注目画素及びθの差分）の差分に基づいてバイナリコードを算出する。

続いて、ヒストグラム作成部２１０は、算出したバイナリコードに基づいてヒストグラムを作成する（Ｓ２０５）。例えば、ヒストグラム作成部２１０は、バイナリコードの分布を示す２次元ヒストグラムを作成する。

続いて、識別器２２０は、学習データ記憶装置３００の学習データを参照し、作成されたヒストグラムに基づいて、画像パターンを識別し、識別結果を出力する（Ｓ２０６）。識別器２２０は、学習データと、作成されたヒストグラムを比較し、類似度を示す画像パターンの確度などを識別結果（検出結果）として出力する。

以上のように、本実施の形態では画像処理システムにおいて、実施の形態１の画像特徴抽出装置を備えているため、ノイズの影響が少ないバイナリコードを算出することから、画像パターンの誤検出を防ぐことができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１００ 画像特徴抽出装置
１１０ しきい値算出部
１２０ バイナリコード算出部
２００ 画像検出装置
２１０ ヒストグラム作成部
２２０ 識別器
３００ 学習データ記憶装置

Claims (15)

1. 輝度とノイズの関係を示す関数と、入力画像における注目画素周辺の周辺画素の輝度とに基づいてしきい値を決定するしきい値決定部と、
   前記決定したしきい値と前記周辺画素に基づいてバイナリコード特徴量を算出するバイナリコード算出部と、
   を備える画像特徴抽出装置。
2. 前記関数は平方根を含む関数であり、
   前記しきい値決定部は、前記周辺画素の輝度の平方根に基づいて前記しきい値を決定する、
   請求項１に記載の画像特徴抽出装置。
3. 前記しきい値決定部は、前記周辺画素の輝度の平均値または中央値の平方根に基づいて前記しきい値を決定する、
   請求項２に記載の画像特徴抽出装置。
4. 前記しきい値決定部は、前記注目画素から前記平方根の値を減算して前記しきい値を決定する、
   請求項２または３に記載の画像特徴抽出装置。
5. 前記関数は、１／ｎ（ｎは２以上の整数）乗を含む関数である、
   請求項１に記載の画像特徴抽出装置。
6. 前記ｎは２である、
   請求項５に記載の画像特徴抽出装置。
7. 前記関数は、対数を含む関数である、
   請求項１に記載の画像特徴抽出装置。
8. 前記対数の底は２または１０である、
   請求項７に記載の画像特徴抽出装置。
9. 前記バイナリコード算出部は、前記決定したしきい値を前記周辺画素から減算して前記バイナリコード特徴量を算出する、
   請求項１乃至８のいずれか一項に記載の画像特徴抽出装置。
10. 輝度とノイズの関係を示す関数と、入力画像における注目画素周辺の周辺画素の輝度とに基づいてしきい値を決定し、
    前記決定したしきい値と前記周辺画素に基づいてバイナリコード特徴量を算出する、
    画像特徴抽出方法。
11. 前記関数は平方根を含む関数であり、
    前記しきい値の決定では、前記周辺画素の輝度の平方根に基づいて前記しきい値を決定する、
    請求項１０に記載の画像特徴抽出方法。
12. 前記関数は、１／ｎ（ｎは２以上の整数）乗を含む関数である、
    請求項１０に記載の画像特徴抽出方法。
13. 前記関数は、対数を含む関数である、
    請求項１０に記載の画像特徴抽出方法。
14. 輝度とノイズの関係を示す関数と、入力画像における注目画素周辺の周辺画素の輝度とに基づいてしきい値を決定し、
    前記決定したしきい値と前記周辺画素に基づいてバイナリコード特徴量を算出する、
    画像特徴抽出処理をコンピュータに実行させるための画像特徴抽出プログラム。
15. 画像特徴抽出装置と画像検出装置とを備えた画像処理システムであって、
    前記画像特徴抽出装置は、
    輝度とノイズの関係を示す関数と、入力画像における注目画素周辺の周辺画素の輝度とに基づいてしきい値を決定するしきい値決定部と、
    前記決定したしきい値と前記周辺画素に基づいてバイナリコード特徴量を算出するバイナリコード算出部と、を備え、
    前記画像検出装置は、
    前記バイナリコード特徴量に基づいてヒストグラムを生成するヒストグラム生成部と、
    前記生成されたヒストグラムに基づいて画像を識別する画像識別部と、を備える、
    画像処理システム。

Images