JP2013161126A - 画像認識装置、画像認識方法および画像認識プログラム - Google Patents

Abstract

【課題】画像認識の効率化を図ることができる画像認識装置、画像認識方法および画像認識プログラムを提供する
【解決手段】画像認識装置（例えば、画像認識装置の一例であるカメラＥＣＵ１）は、画像を取得する画像取得部１２と、前記画像取得部１２により取得された画像の輝度の勾配方向および勾配量を求め、求められた勾配方向毎の勾配量について、第１の認識部３１により、ウィンドウをスキャンして、矩形特徴量を求めて、当該矩形特徴量に基づいて識別器により目標の物体が存在すると認識されるウィンドウを抽出し、第２の認識部３２により、前記第１の認識部３１により抽出されたウィンドウについて、あらかじめ定められた特徴量を求めて、当該特徴量に基づいて識別器により前記目標の物体を認識する物体認識部１３と、を備えることを特徴とする。
【選択図】図１

Description

本発明は、画像認識装置、画像認識方法および画像認識プログラムに関する。

近年、車両の運転支援装置や予防安全装置として、車間距離制御装置（ＡＣＣ：Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）や前方車両衝突警報装置（ＦＣＷ：Ｆｏｒｗａｒｄ Ｃｏｌｌｉｓｉｏｎ Ｗａｒｎｉｎｇ）や歩行者衝突警報装置などがあり、車載カメラを用いる安価な装置の普及が期待されている。

車載カメラを用いる物体の認識には、パターン認識が多く用いられている。
パターン認識の手法は、認識したい物体の特徴量をあらかじめ学習して、その学習結果を反映した辞書を作成し、当該辞書の内容と照合することで、撮像した画像の中に物体（物体の画像）があるか否かを認識する手法である。
パターン認識においては、Ｈａａｒ−ｌｉｋｅ特徴量とＡｄａＢｏｏｓｔの識別器とを組み合わせた顔認識アルゴリズム（例えば、非特許文献１参照。）が発表された後、近年では、車載用の物体認識に応用した技術（例えば、特許文献１参照。）も発表されている。
このような物体認識のアルゴリズムでは、Ｈａａｒ−ｌｉｋｅ特徴量を作る際に、積分画像（インテグラルイメージ）の作成により演算処理を高速にしたことも特色としてある。

また、他のよく使われる特徴量として、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量などがある。
また、他のよく使われる識別器として、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）の識別器などがある。
また、前記のようなパターン認識では、撮像した画像の中から目標物体（目標物体の画像）を抽出するために、物体認識する領域（ウィンドウ）を各サイズで設定し、そのウィンドウ毎に前記した物体認識のアルゴリズムの処理を施す。

なお、図２７および図２８を参照して、背景技術に係る物体認識部（例えば、図１（Ａ）に示される物体認識部１３に対応する処理部）により行われるパターン認識の処理について説明する。
図２７は、背景技術に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。
この例では、ＨＯＧ特徴量とＡｄａＢｏｏｓｔの識別器により、認識アルゴリズムを構成している。

まず、物体認識部は、取得した全ての輝度画像に対して、勾配方向と勾配強度を算出し、それぞれの勾配方向毎に勾配強度を積分する処理を行い、この結果である積分勾配画像（インテグラルヒストグラム）を算出する（ステップＳ１００１）。これにより、勾配方向数枚の積分勾配画像が算出される。

次に、物体認識部は、ラスタスキャンにより、勾配方向毎の各積分勾配画像の任意の領域を、あらかじめ設定した任意の座標領域（ウィンドウ）をスライドさせながら抽出する（ステップＳ１００２）。
次に、物体認識部は、抽出した座標領域（ウィンドウ）について、ＨＯＧ特徴量（ベクトル）を算出する（ステップＳ１００３）。これにより、セル単位で勾配ヒストグラムを作成する。

次に、物体認識部は、算出したＨＯＧ特徴量（ベクトル）を用いて、Ｒｅａｌ ＡｄａＢｏｏｓｔの識別器による識別を行い、あらかじめ目標（ターゲット）としている物体（物体の画像）を認識する（ステップＳ１００４）。
ここで、物体認識部は、一連のラスタスキャンが終了したか否かを確認する（ステップＳ１００５）。
そして、物体認識部は、一連のラスタスキャンが終了したと判定した場合には、本処理を終了する。

一方、物体認識部は、一連のラスタスキャンが終了していないと判定した場合には、ラスタスキャンの領域において、ウィンドウをずらして（スライドさせて）、ステップＳ１００２の処理へ移行する。
これにより、物体認識部は、一連のラスタスキャンが終了するまで、ラスタスキャンの領域に対して、順次、ウィンドウをスライドさせて、ステップＳ１００２〜ステップＳ１００４の処理を繰り返して行う。

なお、一連のラスタスキャンでは、例えば、任意の画像領域に対して、同一のスケール（大きさ）のウィンドウを順次スライドさせて前記の処理（勾配ヒストグラムを作成する処理）を繰り返して行うことが終了した後に、ウィンドウのスケールや移動ステップ（スキャンステップ）を変化させて、再び、ウィンドウを順次スライドさせて前記の処理を繰り返して行うことを、あらかじめ定められた分だけ実行する。これにより、特徴ベクトル化を行う。

また、勾配ヒストグラムを作成する処理の方法としては、積分勾配画像を使用しない方法もあるが、積分勾配画像を使用する方法の方が処理時間を速くすることができるため有効である。

ここで、ＨＯＧ特徴量の代わりにＨａａｒ−ｌｉｋｅ特徴量を用いる場合には、上記した積分勾配画像の代わりに通常の積分輝度画像を用いる。この場合、１つの積分画像の作成で済ませることができるため処理を節減することが可能となるが、例えば、特定領域の輝度差の特徴のみを捉えられるだけに限られ、勾配方向毎で特徴を捉えることができない。

図２８は、背景技術に係る物体認識部により行われる処理の手順の他の一例を示すフローチャート図である。
この例では、Ｈａａｒ−ｌｉｋｅ特徴量とＡｄａＢｏｏｓｔの識別器により、認識アルゴリズムを構成している。

まず、物体認識部は、取得した輝度画像に対して、輝度画像を積分する処理を行い、この結果である積分画像（インテグラルイメージ）を算出する（ステップＳ１０１１）。
次に、物体認識部は、ラスタスキャンにより、積分画像の領域を、あらかじめ設定した任意の座標領域（ウィンドウ）で抽出する（ステップＳ１０１２）。
次に、物体認識部は、抽出した座標領域（ウィンドウ）について、Ｈａａｒ−ｌｉｋｅ特徴量（ベクトル）を算出する（ステップＳ１０１３）。

次に、物体認識部は、算出したＨａａｒ−ｌｉｋｅ特徴量（ベクトル）を用いて、Ｒｅａｌ ＡｄａＢｏｏｓｔの識別器による識別を行い、あらかじめ目標（ターゲット）としている物体（物体の画像）を認識する（ステップＳ１０１４）。
ここで、物体認識部は、一連のラスタスキャンが終了したか否かを確認する（ステップＳ１０１５）。
そして、物体認識部は、一連のラスタスキャンが終了したと判定した場合には、本処理を終了する。

一方、物体認識部は、一連のラスタスキャンが終了していないと判定した場合には、ラスタスキャンの領域において、ウィンドウをずらして（スライドさせて）、ステップＳ１０１２の処理へ移行する。
これにより、物体認識部は、一連のラスタスキャンが終了するまで、ラスタスキャンの領域に対して、順次、ウィンドウをスライドさせて、ステップＳ１０１２〜ステップＳ１０１４の処理を繰り返して行う。

なお、一連のラスタスキャンでは、例えば、任意の画像領域に対して、同一のスケール（大きさ）のウィンドウを順次スライドさせて前記の処理を繰り返して行うことが終了した後に、ウィンドウのスケールや移動ステップ（スキャンステップ）を変化させて、再び、ウィンドウを順次スライドさせて前記の処理を繰り返して行うことを、あらかじめ定められた分だけ実行する。

ここで、特徴量としては、他の特徴量が用いられてもよい。
また、Ｒｅａｌ ＡｄａＢｏｏｓｔ以外にも、標準的なＡｄａＢｏｏｓｔやＳＶＭなどの任意の認識アルゴリズムが用いられてもよい。

特開２００７−３１０８０５号公報

Ｐａｕｌ Ｖｉｏｌａ、Ｍｉｃｈａｅｌ Ｊｏｎｅｓ、"Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ"、Ａｃｃｅｐｔｅｄ Ｃｏｎｆｅｒｅｎｃｅ Ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ２００１

しかしながら、上述のような物体認識のアルゴリズムでは、弱識別器の数による差異はあるものの、一般的に、演算処理時間を要する（つまり、演算負荷が重い）処理を行う。しかも、撮像画像の中の目標物体（目標物体の画像）を認識するためのウィンドウを、画像中でラスタスキャンする必要がある。また、パターン認識の結果の精度を上げるためには、ラスタスキャンの移動ステップやウィンドウのスケール（物体との距離に依存する）を細かく設定することが必要になる。

従って、アルゴリズムの処理時間は、ラスタスキャンするウィンドウの数に対して、単純には、掛け算の関係で増大することとなるため、高速のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を搭載したＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等での処理をそのまま装置に実装（組み込み）することは困難であった。

本発明は、このような事情を考慮して為されたものであり、画像認識の効率化を図ることができる画像認識装置、画像認識方法および画像認識プログラムを提供することを目的としている。

（１）上述した課題を解決するために、本発明に係る画像認識装置は、画像を取得する画像取得部と、前記画像取得部により取得された画像の輝度の勾配方向および勾配量を求め、求められた勾配方向毎の勾配量について、第１の認識部により、ウィンドウをスキャンして、矩形特徴量を求めて、当該矩形特徴量に基づいて識別器により目標の物体が存在すると認識されるウィンドウを抽出し、第２の認識部により、前記第１の認識部により抽出されたウィンドウについて、あらかじめ定められた特徴量を求めて、当該特徴量に基づいて識別器により前記目標の物体を認識する物体認識部と、を備えることを特徴とする。

（２）本発明は、上記した（１）に記載の画像認識装置において、前記物体認識部において、前記第１の認識部の処理は、前記第２の認識部の処理よりも、１ウィンドウ当たりの演算処理時間を短くした、ことを特徴とする。

（３）本発明は、上記した（１）または上記した（２）に記載の画像認識装置において、前記物体認識部は、前記矩形特徴量として、単矩形特徴量と、Ｈａａｒ−ｌｉｋｅ特徴量と、同じ勾配方向で、隣接した異なる矩形面積の複数の特徴（Ｈａａｒ−ｌｉｋｅ応用）による特徴量と、同じ勾配方向で、隔たれた同じまたは異なる矩形面積の複数の特徴による特徴量と、異なる勾配方向で、隔たれた同じまたは異なる矩形面積の複数の特徴による特徴量と、のうちの１つ以上を用いる、ことを特徴とする。

（４）本発明は、上記した（１）から上記した（３）のいずれか１つに記載の画像認識装置において、前記物体認識部は、前記矩形特徴量について、複数の矩形に関する関係を特徴量とする場合に、四則演算のうちのいずれかの演算式に適用する、ことを特徴とする。

（５）本発明は、上記した（１）から上記した（４）のいずれか１つに記載の画像認識装置において、前記物体認識部は、前記矩形特徴量として、ウィンドウ単位の平均値と、ウィンドウ単位の標準偏差値と、ラスタスキャン領域の平均値と、ラスタスキャン領域の標準偏差値と、のうちのいずれかを用いて、照明差による正規化を行う、ことを特徴とする。

（６）本発明は、上記した（１）から上記した（５）のいずれか１つに記載の画像認識装置において、前記物体認識部は、前記第１の認識部の識別器により、矩形特徴を学習して弱識別器として選択させ、この動作を認識の際に用いる、ことを特徴とする。

（７）本発明は、上記した（１）から上記した（６）のいずれか１つに記載の画像認識装置において、前記物体認識部は、前記第１の認識部の識別器と前記第２の認識部の識別器とのうちの一方または両方を、Ｂｏｏｓｔｉｎｇまたは他のアンサンブル学習により作る、ことを特徴とする。

（８）本発明は、上記した（１）から上記した（７）のいずれか１つに記載の画像認識装置において、前記物体認識部は、前記第１の認識部の識別器と前記第２の認識部の識別器とのうちの一方または両方として、ＡｄａＢｏｏｓｔの識別器、または、Ｒｅａｌ ＡｄａＢｏｏｓｔの識別器を用いる、ことを特徴とする。

（９）本発明は、上記した（１）から上記した（８）のいずれか１つに記載の画像認識装置において、前記物体認識部は、前記第１の認識部の識別器に関して、前記矩形特徴量のレンジを正規化する係数を用いる、ことを特徴とする。

（１０）本発明は、上記した（９）に記載の画像認識装置において、前記矩形特徴量のレンジを正規化する係数は、学習により前記第１の認識部の識別器を作成する際、同時に学習して決定された値である、ことを特徴とする。

（１１）本発明は、上記した（１）から上記した（１０）のいずれか１つに記載の画像認識装置において、前記物体認識部は、前記第２の認識部により、前記あらかじめ定められた特徴量として、前記第１の認識部により用いられる矩形特徴量とは異なる特徴量を用いる、ことを特徴とする。

（１２）本発明は、上記した（１１）に記載の画像認識装置において、前記物体認識部は、前記第２の認識部により、前記あらかじめ定められた特徴量として、ＨＯＧ特徴量を用いる、ことを特徴とする。

（１３）本発明は、上記した（１）から上記した（１０）のいずれか１つに記載の画像認識装置において、前記物体認識部は、前記第２の認識部により、前記あらかじめ定められた特徴量として、前記勾配方向毎の前記勾配量についての矩形特徴量を用い、前記第１の認識部と前記第２の認識部とで異なる弱識別器を用いる、ことを特徴とする。

（１４）本発明は、上記した（１）から上記した（１３）のいずれか１つに記載の画像認識装置において、前記物体認識部は、前記第１の認識部の識別器と前記第２の認識部の識別器により、双方ともＢｏｏｓｔｉｎｇを用いて、前記第２の認識部の弱識別器の数よりも前記第１の認識部の弱識別器の数を少なくする、ことを特徴とする。

（１５）本発明は、上記した（１）から上記した（１４）のいずれか１つに記載の画像認識装置において、前記物体認識部は、前記第２の認識部の識別器に関して、前記あらかじめ定められた特徴量のレンジを正規化する係数を用いる、ことを特徴とする。

（１６）本発明は、上記した（１５）に記載の画像認識装置において、前記あらかじめ定められた特徴量のレンジを正規化する係数は、学習により前記第２の認識部の識別器を作成する際、同時に学習して決定された値である、ことを特徴とする。

（１７）本発明は、上記した（１）から上記した（１６）のいずれか１つに記載の画像認識装置において、前記物体認識部は、前記第２の認識部により、前記第１の認識部により抽出されたウィンドウの周辺を、さらにスキャンして、あらかじめ定められた特徴量を求めて、当該特徴量に基づいて識別器により前記目標の物体を認識する、ことを特徴とする。

（１８）本発明は、上記した（１）から上記した（１７）のいずれか１つに記載の画像認識装置において、前記物体認識部は、前記第１の認識部により、前記抽出したウィンドウについて、再び１回以上、矩形特徴量を求めて、当該矩形特徴量に基づいて識別器により目標の物体が存在すると認識されるウィンドウを抽出する、ことを特徴とする。

（１９）本発明は、上記した（１）から上記した（１８）のいずれか１つに記載の画像認識装置において、前記物体認識部において、前記第１の認識部の識別器と前記第２の認識部の識別器の何れかまたは両方は、カスケード型の構成を有する、ことを特徴とする。

（２０）上述した課題を解決するために、本発明に係る画像認識方法は、画像取得部が、画像を取得し、物体認識部が、前記画像取得部により取得された画像の輝度の勾配方向および勾配量を求め、求められた勾配方向毎の勾配量について、第１の認識部により、ウィンドウをスキャンして、矩形特徴量を求めて、当該矩形特徴量に基づいて識別器により目標の物体が存在すると認識されるウィンドウを抽出し、第２の認識部により、前記第１の認識部により抽出されたウィンドウについて、あらかじめ定められた特徴量を求めて、当該特徴量に基づいて識別器により前記目標の物体を認識する、ことを特徴とする。

（２１）上述した課題を解決するために、本発明に係る画像認識プログラムは、画像取得部が、画像を取得する手順と、物体認識部が、前記画像取得部により取得された画像の輝度の勾配方向および勾配量を求め、求められた勾配方向毎の勾配量について、第１の認識部により、ウィンドウをスキャンして、矩形特徴量を求めて、当該矩形特徴量に基づいて識別器により目標の物体が存在すると認識されるウィンドウを抽出し、第２の認識部により、前記第１の認識部により抽出されたウィンドウについて、あらかじめ定められた特徴量を求めて、当該特徴量に基づいて識別器により前記目標の物体を認識する手順と、をコンピュータに実行させるためのプログラムである。

以上説明したように、本発明によれば、画像認識の効率化を図ることができる画像認識装置、画像認識方法および画像認識プログラムを提供することが可能になる。

（Ａ）は本発明の一実施形態に係る画像認識システムの構成（ハードウェア構成）を示す概略ブロック図であり、（Ｂ）は物体認識部の構成を示す概略ブロック図である。 本発明の第１実施形態に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。 本発明の第２実施形態に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。 本発明の第３実施形態に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。 本発明の第４実施形態に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。 本発明の第５実施形態に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。 本発明の第６実施形態に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。 （Ａ）は輝度画像の一例を示す図であり、（Ｂ）は勾配の一例を示す図であり、（Ｃ）は勾配強度の一例を示す図であり、（Ｄ）は勾配方向の一例を示す図であり、（Ｅ）は各勾配方向の範囲の一例を示す図である。 （Ａ）、（Ｂ）はラスタスキャンのスケールと移動ステップの例を示す図である。 本発明の一実施形態に係る画像認識システムにおける画像取得から物体認識までの処理の概略的な一例を示す図である。 第１の例に係る勾配方向矩形特徴量Ａを示す図である。 （Ａ）、（Ｂ）、（Ｃ）は第２の例に係る勾配方向矩形特徴量Ｂを示す図である。 第３の例に係る勾配方向矩形特徴量Ｃを示す図である。 第４の例に係る勾配方向矩形特徴量Ｄを示す図である。 第５の例に係る勾配方向矩形特徴量Ｅを示す図である。 勾配方向矩形特徴量の具体例を示す図である。 勾配方向矩形特徴量の具体例を示す図である。 （Ａ）は勾配方向矩形特徴量の照明差の正規化係数の一例を示す図であり、（Ｂ）は勾配方向矩形特徴量の照明差の正規化係数の他の一例を示す図である。 勾配方向矩形特徴量の照明差の正規化係数の他の例を示す図である。 Ｒｅａｌ ＡｄａＢｏｏｓｔの一例について説明するための図である。 勾配方向矩形特徴量のレンジの正規化について説明するための図である。 本発明の第２実施形態に係る絞り込み周辺スキャンの処理を説明するための図である。 勾配方向矩形特徴量とＨＯＧ特徴量との比較を説明するための図である。 （Ａ）はオリジナル画像の一例を示す図であり、（Ｂ）は累積行加算の結果の一例を示す図であり、（Ｃ）は積分画像の一例を示す図である。 （Ａ）および（Ｂ）はＨａａｒ−ｌｉｋｅ特徴量を説明するための図である。 （Ａ）および（Ｂ）はＨＯＧ特徴量を説明するための図である。 背景技術に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。 背景技術に係る物体認識部により行われる処理の手順の他の一例を示すフローチャート図である。 本発明の他の実施形態に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。 本発明の他の実施形態に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。

［用語の説明］
本願において、矩形は、長方形ばかりでなく、正方形も含む。
本願において、勾配方向矩形特徴は、画像の輝度の勾配方向と勾配強度に関する矩形特徴のことである。また、本願において、勾配方向矩形特徴量（または、ＲＯＧ（Ｒｅｃｔａｎｇｌｅ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量）は、勾配方向矩形特徴の特徴量のことであり、矩形の領域における勾配方向特徴量のことである。ここで、勾配方向特徴量は、画像の輝度の勾配方向と勾配強度に関する特徴量のことである。なお、矩形特徴としては、例えば、公知のものを用いることも可能であり、勾配強度は、情報量を低減した公知の勾配度数を用いることもできる。本願において、勾配強度と勾配度数を含む、広義の勾配値を勾配量と定義する。
本願において、積分勾配画像（インテグラルヒストグラム）は、画像の輝度について勾配方向と勾配強度（または、度数）を算出して、それぞれの勾配方向毎に勾配強度（または、度数）を積分した結果（積分勾配値）のことである。ここで、この積分は、例えば、積分勾配画像を求める対象となる領域に含まれる全ての画素（ｐｉｘｅｌ（ピクセル））について行われる。

また、識別器としては、Ｒｅａｌ ＡｄａＢｏｏｓｔの識別器や、ＡｄａＢｏｏｓｔの識別器や、ＳＶＭの識別器など、様々なものを含む。
また、識別器の下位概念として、アンサンブル学習を行う識別器があり、その下位概念として、Ｂｏｏｓｔｉｎｇの識別器があり、その下位概念として、Ｒｅａｌ ＡｄａＢｏｏｓｔの識別器などがある。
ここで、Ｂｏｏｓｔｉｎｇは、複数の弱識別器を使用してアンサンブル学習を行うものである。

［第１実施形態］
本実施形態では、車両に搭載される車載用の画像認識システムを例として説明する。
図１（Ａ）は、本発明の一実施形態に係る画像認識システムの構成（ハードウェア構成）を示す概略ブロック図である。
本実施形態に係る画像認識システムは、カメラＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１と、警報装置２と、ＡＣＣ−ＥＣＵ３と、を備える。
なお、カメラＥＣＵ１は、画像認識装置の一例である。
カメラＥＣＵ１は、カメラ１１と、画像取得部１２と、物体認識部１３と、制御部１４と、を備える。

物体認識部１３は、本実施形態では、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）２１の機能と、マイクロコンピュータ２２の機能と、を用いて構成される。
なお、ＦＰＧＡ２１の機能の代わりに、または、ＦＰＧＡ２１の機能と共に、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）の機能が用いられてもよい。
制御部１４は、本実施形態では、マイクロコンピュータ２２の機能を用いて構成される。
また、物体認識部１３および制御部１４のメモリおよび周辺回路は、ＦＰＧＡ、ＤＳＰ、マイクロコンピュータ内の集積回路に格納されているものを使用するか、もしくはそれらの外部に設けても良い。

ここで、物体認識部１３および制御部１４において、ＦＰＧＡ、ＤＳＰ、マイクロコンピュータといったデバイスについては、任意の数のデバイスが用いられてもよく、例えば、全てのデバイスが用いられてもよく、または、必ずしも全てのデバイスが必要ではなく、１つのデバイスあるいは２つのデバイスに全ての処理の機能を実装することも可能である。

図１（Ｂ）は、物体認識部１３の構成を示す概略ブロック図である。
本実施形態に係る物体認識部１３は、第１の認識部３１と、第２の認識部３２と、を備える。

本実施形態に係る画像認識システムに備えられる各処理部の概要を説明する。
カメラ１１は、本実施形態では、車両の前方、側方または後方等のようにあらかじめ定められた方向の画像を撮像する車両位置に設けられる。
カメラ１１は、画像を撮像し、撮像した画像の信号を画像取得部１２に出力する。
画像取得部１２は、カメラ１１からの画像を画像データとして取り込み、取り込んだ画像データを物体認識部１３に出力する。

物体認識部１３は、画像取得部１２から入力される画像データについて、ＦＰＧＡ２１やマイクロコンピュータ２２により、物体認識のために、画像処理およびパターン認識の演算を行い、物体認識の処理の結果の情報を制御部１４に出力する。この画像処理としては、例えば、前処理のフィルタリング処理などが行われる。
また、パターン認識の結果の情報としては、例えば、画像データの画像中における目標物体の情報が用いられる。

物体認識部１３において、第１の認識部３１は、画像取得部１２から入力される画像データについて、第１の物体認識手法で、物体認識の処理を行う。
物体認識部１３において、第２の認識部３２は、第１の認識部３１により行われる物体認識の処理の結果に基づいて、画像取得部１２から入力される画像データについて、第２の物体認識手法で、物体認識の処理を行う。
物体認識部１３は、第２の認識部３２により行われた物体認識の処理の結果の情報を制御部１４に出力する。

制御部１４は、物体認識部１３から入力される物体認識の処理の結果の情報に基づいて、あらかじめ定められた処理を行い、その結果の情報を警報装置２やＡＣＣ−ＥＣＵ３に出力する。
具体例として、制御部１４は、物体認識部１３から入力される物体認識の処理の結果の情報である目標物体の情報に基づいて、あらかじめ定められた処理として、目標物体との間のＴＴＣ（Ｔｉｍｅ ｔｏ Ｃｏｌｌｉｓｉｏｎ）や距離を算出する処理や、目標物体のトラッキングを行う処理や、他の装置やＥＣＵ（本実施形態では、警報装置２やＡＣＣ−ＥＣＵ３）のアプリケーション機能と通信する処理などを行う。

警報装置２やＡＣＣ−ＥＣＵ３は、カメラＥＣＵ１の制御部１４を介して各アプリケーション機能を実行するように設けられる。
警報装置２は、制御部１４から入力される情報に基づいて、例えば、目標物体が前方の車両である場合における前方車両衝突警報や、目標物体が歩行者である場合における歩行者衝突警報などを行う。
ＡＣＣ−ＥＣＵ３は、制御部１４から入力される情報に基づいて、例えば、目標物体が前方の車両である場合における車間距離制御などを行う。

図２を参照して、本実施形態に係る物体認識部１３により行われる処理について説明する。
図２は、本実施形態に係る物体認識部１３により行われる処理の手順の一例を示すフローチャート図である。
この例では、物体認識部１３の第１の認識部３１がステップＳ２〜ステップＳ５の処理を行い、物体認識部１３の第２の認識部３２がステップＳ６〜ステップＳ８の処理を行う。
なお、ステップＳ１の処理は、物体認識部１３の任意の機能により行われてもよい。

この例では、物体認識部１３の第１の認識部３１においては、勾配方向矩形特徴量とＡｄａＢｏｏｓｔの識別器により、認識アルゴリズムを構成している。
また、この例では、物体認識部１３の第２の認識部３２においては、ＨＯＧ特徴量とＡｄａＢｏｏｓｔの識別器により、認識アルゴリズムを構成している。

まず、物体認識部１３は、取得した輝度画像に対して、輝度画像から勾配方向と勾配強度を算出して勾配方向毎に勾配強度を積分する処理を行い、この結果である積分勾配画像（インテグラルヒストグラム）を算出する（ステップＳ１）。

なお、積分勾配画像（インテグラルヒストグラム）を算出する処理は、積分勾配画像を利用して後の演算処理の時間を短縮するためであり、必ずしも行われなくてもよい。つまり、以降の処理において、積分勾配画像を利用せずに同じ結果が得られる演算を用いてもよい。

次に、物体認識部１３の第１の認識部３１は、ラスタスキャンにより、積分勾配画像の領域を、あらかじめ設定した任意の座標領域（ウィンドウ）で抽出する（ステップＳ２）。
次に、物体認識部１３の第１の認識部３１は、抽出した座標領域（ウィンドウ）について、あらかじめ定められた勾配方向矩形特徴量（ベクトル）を算出する（ステップＳ３）。

次に、物体認識部１３の第１の認識部３１は、算出した勾配方向矩形特徴量（ベクトル）を用いて、Ｂｏｏｓｔｉｎｇの一例であるＲｅａｌ ＡｄａＢｏｏｓｔの識別器による識別を行い、あらかじめ目標（ターゲット）としている物体（物体の画像）が存在していると認識（例えば、推測）される１個以上のウィンドウを抽出する（ステップＳ４）。

ここで、物体認識部１３の第１の認識部３１は、一連のラスタスキャンが終了したか否かを確認する（ステップＳ５）。
そして、物体認識部１３の第１の認識部３１は、一連のラスタスキャンが終了したと判定した場合には、ステップＳ６の処理へ移行させる。

一方、物体認識部１３の第１の認識部３１は、一連のラスタスキャンが終了していないと判定した場合には、ラスタスキャンの領域において、ウィンドウをずらして（スライドさせて）、ステップＳ２の処理へ移行する。
これにより、物体認識部１３の第１の認識部３１は、一連のラスタスキャンが終了するまで、ラスタスキャンの領域に対して、順次、ウィンドウをスライドさせて、ステップＳ２〜ステップＳ４の処理を繰り返して行う。

なお、一連のラスタスキャンでは、例えば、同一のスケール（大きさ）のウィンドウを順次スライドさせて前記の処理を繰り返して行うことが終了した後に、ウィンドウのスケールやスキャンステップを変化させて、再び、ウィンドウを順次スライドさせて前記の処理を繰り返して行うことを、あらかじめ定められた分だけ実行する。

ここで、本実施形態では、物体認識部１３の第１の認識部３１は、目標物体が存在すると認識されるウィンドウを、全ての画像の中から絞り込む役割を有する。このような第１の認識部３１の機能により、例えば、弱識別器の数が極力少ない条件においても、不検出率が比較的低い性能で且つ誤検出率が比較的低い性能を持つような認識アルゴリズムを使用しても有効とすることができる。

なお、識別器による識別に関して、不検出率は、目標物体を目標物体として検出（検知）することができない率のことであり、また、誤検出率は、目標物体以外を目標物体であると認識して検出する率のことである。

次に、物体認識部１３の第２の認識部３２は、第１の認識部３１により絞り込まれた１個以上のウィンドウのそれぞれについて、パターン認識を行って、目標物体を認識する。
具体的には、物体認識部１３の第２の認識部３２は、第１の認識部３１により絞り込まれたウィンドウ（ここでは、１個のウィンドウ）について、あらかじめ定められたＨＯＧ特徴量（ベクトル）を算出する（ステップＳ６）。

次に、物体認識部１３の第２の認識部３２は、算出したＨＯＧ特徴量（ベクトル）を用いて、Ｂｏｏｓｔｉｎｇの一例であるＲｅａｌ ＡｄａＢｏｏｓｔの識別器による識別を行い、あらかじめ目標（ターゲット）としている物体（物体の画像）を認識する（ステップＳ７）。

ここで、物体認識部１３の第２の認識部３２は、第１の認識部３１により絞り込まれたウィンドウの全てについて処理が終了したか否かを確認する（ステップＳ８）。
そして、物体認識部１３の第２の認識部３２は、第１の認識部３１により絞り込まれたウィンドウの全てについて処理が終了したと判定した場合には、本処理を終了する。

一方、物体認識部１３の第２の認識部３２は、第１の認識部３１により絞り込まれたウィンドウの全てについて処理が終了していないと判定した場合には、次のウィンドウを処理するように切り替えて、ステップＳ６の処理へ移行する。
これにより、物体認識部１３の第２の認識部３２は、第１の認識部３１により絞り込まれたウィンドウの全てについて、順次、ウィンドウを切り替えて、ステップＳ６〜ステップＳ７の処理を繰り返して行う。

図２に示されるフローチャートの例では、物体認識部１３において、第２の認識部３２が、第１の認識部３１とは異なる種類の特徴量（異なる観点）を用いて目標物体を認識する処理を行うことが特色となっている。
一例として、第２の認識部３２では、ＨＯＧ特徴量を用いる場合には、目標物体を分割するセルサイズ単位での特徴量を比較的多数の弱識別器で構成することになる。
具体例として、第２の認識部３１の弱識別器の数よりも第１の認識部３１の弱識別器の数の方を少なくする。

このように、本実施形態では、物体認識部１３において、第１の認識部３１では、その演算処理時間が短いことを有効に活用して、ラスタスキャンとの組み合わせを用いた処理を行い、第２の認識部３２では、１ウィンドウ当たりの演算処理時間は第１の認識部３１よりも長いものの、より細かく目標物体を認識する処理を行い、第１の認識部３１で絞り込んだウィンドウのみをスキャンするようにする。

ここで、識別器の機能は、本実施形態では、物体認識部１３の第１の認識部３１や第２の認識部３２により実現される。つまり、物体認識部１３の第１の認識部３１や第２の認識部３２が識別器を備える、と捉えることができる。
また、本実施形態に係る物体認識部１３では、一例として、積分勾配画像を算出する処理の機能をＦＰＧＡ２１により実現し、物体認識部１３（例えば、第１の認識部３１や第２の認識部３２）により行われる他の処理の機能をマイクロコンピュータ２２により実現する。

図２に示される各処理について詳しく説明する。
図８（Ａ）〜図８（Ｅ）を参照して、勾配方向および勾配強度の算出例を説明する。
図８（Ａ）は、輝度画像の一例を示す図である。
この例では、横（水平）方向のｘ軸の画素位置をｕで表しており、右へ行くほど座標値が大きくなる。また、縦（垂直）方向のｙ軸の画素位置をｖで表しており、下へ行くほど座標値が大きくなる。
ｘ−ｙ直交座標の平面上における画素位置は、座標（ｕ、ｖ）で表される。

図８（Ｂ）は、勾配の一例を示す図である。
この例では、座標（ｕ、ｖ）の画素位置における輝度をＩ（ｕ、ｖ）で表す。
座標（ｕ、ｖ）の画素位置における横（水平）方向の輝度の勾配をＩｘで表し、Ｉｘを式（１）で表す。また、座標（ｕ、ｖ）の画素位置における縦（垂直）方向の輝度の勾配をＩｙで表し、Ｉｙを式（２）で表す。

図８（Ｃ）は、勾配強度の一例を示す図である。
この例では、座標（ｕ、ｖ）の画素位置における勾配強度をｍ（ｕ、ｖ）で表し、ｍ（ｕ、ｖ）を式（３）で表す。
図８（Ｄ）は、勾配方向の一例を示す図である。
この例では、座標（ｕ、ｖ）の画素位置における勾配方向をθ（ｕ、ｖ）で表し、θ（ｕ、ｖ）を式（４）で表す。

図８（Ｅ）は、各勾配方向の範囲の一例を示す図である。
この例では、１８０ｄｅｇを８個の方向（方向１〜方向８）の範囲に分けている。この場合、１個の方向の範囲は２２．５ｄｅｇとなり、その範囲の中心の角度を基準とすると±１１．２５ｄｅｇの範囲となる。
この例では、方向１を縦の勾配の範囲とすると、方向５が横の勾配の範囲となる。

ここで、画像における輝度の勾配は、微分画像に対応する。また、例えば、輝度の勾配が所定の閾値より大きい画素位置のつながりを勾配として検出することが可能である。
また、勾配を算出する手法としては、例えば、ソーベルフィルタを用いる手法などのように、他の手法を用いることもできる。
また、積分勾配画像は、例えば、ＨＯＧ特徴量を算出する際によく用いられるが、本実施形態では、矩形特徴量を算出する際に用いることを特徴とする。

図２に示されるステップＳ２の処理におけるラスタスキャンは、例えば、図２８に示されるステップＳ１０１２の処理におけるラスタスキャンと同様である。
ラスタスキャンでは、例えば、スケールＳＣと移動ステップｄｘ、ｄｙを可変に変化させてスキャンする。

図９（Ａ）、（Ｂ）は、ラスタスキャンのスケールと移動ステップの例を示す図である。
この例では、ラスタスキャンのスケールと移動ステップの組み合わせのパターンが４個以上あるとする。

図９（Ａ）は、第１のパターンにおけるラスタスキャンのスケールＳＣ１と移動ステップｄｘ１、ｄｙ１の一例を示す図である。
この例では、ラスタスキャン領域１０１において、横（水平）方向のｘ軸方向と縦（垂直）方向のｙ軸方向とのそれぞれについてスケールＳＣ１の長さを有する正方形のウィンドウ１０２を、あらかじめ定められた初期位置に、設定する。そして、このウィンドウ１０２を、ｘ軸方向に移動ステップｄｘ１ずつスライドさせていくことと、ｙ軸方向に移動ステップｄｙ１ずつスライドさせていくことを行う。

図９（Ｂ）は、第４のパターンにおけるラスタスキャンのスケールＳＣ４と移動ステップｄｘ４、ｄｙ４の一例を示す図である。
この例では、ラスタスキャン領域１１１において、横（水平）方向のｘ軸方向と縦（垂直）方向のｙ軸方向とのそれぞれについてスケールＳＣ４の長さを有する正方形のウィンドウ１１２を、あらかじめ定められた初期位置に、設定する。そして、このウィンドウ１１２を、ｘ軸方向に移動ステップｄｘ４ずつスライドさせていくことと、ｙ軸方向に移動ステップｄｙ４ずつスライドさせていくことを行う。

ここで、本実施形態では、第１のパターンにおけるラスタスキャンのスケールＳＣ１および移動ステップｄｘ１、ｄｙ１の値と、第４のパターンにおけるラスタスキャンのスケールＳＣ４および移動ステップｄｘ４、ｄｙ４の値とは異なっている。
本実施形態では、一例として、それぞれのパターンにおけるラスタスキャンのスケールＳＣが異なっており、そのスケールＳＣに比例した大きさを有する移動ステップｄｘ、ｄｙを用いている。また、本実施形態では、一例として、それぞれのパターンにおけるｘ軸方向の移動ステップｄｘとｙ軸方向の移動ステップｄｙとを同じ値にしている。

なお、他の構成例として、正方形以外の形状（例えば、正方形ではない矩形）を有するウィンドウが用いられてもよい。
また、他の構成例として、あるパターンにおけるｘ軸方向の移動ステップｄｘとｙ軸方向の移動ステップｄｙとを異なる値としてもよい。

図１０は、本発明の一実施形態に係る画像認識システムにおける画像取得から物体認識までの処理の概略的な一例を示す図である。
カメラ１１により撮像される画像のデータが、画像取得部１２により入力画像２０１のデータとして取得される。
例えば、この画像には、道路と前方の車両が映っている。

物体認識部１３では、勾配強度画像２０２に示されるように、複数の勾配方向（本実施形態では、方向１〜方向８の８方向）のそれぞれについて、勾配強度を算出する。
そして、物体認識部１３では、勾配方向毎に、勾配強度の積分画像を、積分勾配画像２０３として作成する（図２に示されるステップＳ１の処理）。

次に、物体認識部１３では、ラスタスキャンの領域２０４において、ウィンドウのスキャンを行う（図２に示されるステップＳ２の処理）。
物体認識部１３では、ラスタスキャンで取得されるウィンドウの画像２０５に関し、各勾配方向の積分勾配画像２０６を取得する。
例えば、このウィンドウの画像２０５は、前方の車両が映る部分の画像である。

そして、物体認識部１３では、同一のウィンドウに関する勾配方向毎の積分勾配画像２０６について、あらかじめ定められた矩形特徴量（勾配方向矩形特徴量）２０７を演算して取得する（図２に示されるステップＳ３の処理）。

次に、物体認識部１３では、Ｒｅａｌ ＡｄａＢｏｏｓｔの識別器による識別を行う（図２に示されるステップＳ４の処理）。
本実施形態では、識別器として、勾配方向毎に弱識別器が設定できる。
具体的には、物体認識部１３では、各勾配方向の積分勾配画像２０６（本実施形態では、８方向の勾配方向毎に、積分勾配画像２０８−１〜積分勾配画像２０８−８とする）について、あらかじめ学習しておいた弱識別器により識別を行う。

図１０の例では、方向１の積分勾配画像２０８−１について、弱識別器により識別を行った結果、Ｗ_１−ｒ１＝４１９．４／ｓ０という値が得られている。ｓ０は、この値が得られた矩形の領域の面積である。そして、物体認識部１３では、この値に基づいて、弱識別器の応答値ｈ１を算出する処理２１０−１を行う。

また、図１０の例では、方向８の積分勾配画像２０８−８について、弱識別器により識別を行った結果、Ｗ_８−ｒ１＝１９８．１／ｓ０という値が得られている。ｓ０は、この値が得られた矩形の領域の面積である。また、図１０の例では、方向８の積分勾配画像２０８−８について、弱識別器により識別を行った結果、Ｗ_８−ｒ２＝５８２．６／ｓ１という値が得られている。ｓ１は、この値が得られた矩形の領域の面積である。続いて、この例では、減算器２０９により、これら２つの値の減算結果（差）を求める。そして、物体認識部１３では、この減算結果の値に基づいて、弱識別器の応答値ｈ８を算出する処理２１０−８を行う。

ここで、本実施形態では、物体認識部１３の第１の認識部３１により、ラスタスキャンを行う処理（図２に示されるステップＳ２の処理）、勾配方向矩形特徴量２０７を取得する処理（図２に示されるステップＳ３の処理）、Ｒｅａｌ ＡｄａＢｏｏｓｔの識別器による識別を行う処理（図２に示されるステップＳ４の処理）を実行する。
第１の認識部３１は、例えば、ラスタスキャンを行って勾配方向矩形特徴量を取得する機能と、識別器（本実施形態では、Ｒｅａｌ ＡｄａＢｏｏｓｔの識別器）の機能とを組み合わせた構成により、実現することができる。

図１１〜図１５を参照して、勾配方向矩形特徴量の例について説明する。
本実施形態では、各勾配方向に分けた勾配強度画像から矩形特徴を抽出するため、その矩形特徴量のことを勾配方向矩形特徴量と定義する。

図１１は、第１の例に係る勾配方向矩形特徴量Ａを示す図である。
この勾配方向矩形特徴量Ａは、１個の矩形（単矩形）３０１の特徴量（単矩形特徴量）を示す。
この勾配方向矩形特徴量Ａは、勾配方向毎の勾配強度画像から単矩形特徴を抽出し、単一領域の勾配を捉えることを目的としたものである。
例えば、目標物体のある部位が同一の勾配方向に集中しているような場合に、単矩形特徴で捉えることができる。

図１２（Ａ）、図１２（Ｂ）、図１２（Ｃ）は、第２の例に係る勾配方向矩形特徴量Ｂを示す図である。
この勾配方向矩形特徴量Ｂは、勾配方向毎の勾配強度画像について、Ｈａａｒ−ｌｉｋｅ特徴量と同様に、矩形の特徴の差分等を用いるものである。また、この勾配方向矩形特徴量Ｂは、隣り合う矩形として同一の面積を有する矩形を用いて、同一の方向内での特徴の差分等を求めるものである。
図１２（Ａ）は、２個の矩形に分けて勾配方向矩形特徴量Ｂを求める場合における勾配強度画像３１１、３１２を示す。この例では、隣り合う白い領域と黒い領域との間で特徴の差分等を求める。
図１２（Ｂ）は、３個の矩形に分けて勾配方向矩形特徴量Ｂを求める場合における勾配強度画像３２１、３２２を示す。この例では、隣り合う白い領域と黒い領域との間で特徴の差分等を求める。
図１２（Ｃ）は、４個の矩形に分けて勾配方向矩形特徴量Ｂを求める場合における勾配強度画像３３１を示す。この例では、隣り合う白い領域と黒い領域との間で特徴の差分等を求める。
この勾配方向矩形特徴量Ｂは、隣接領域の勾配関係を捉える手法であり、本実施形態では、勾配強度画像について抽出するため、通常の輝度画像から求める領域差分よりも、さらに特徴差が際立った部位を抽出することができるという効果が得られる。

図１３は、第３の例に係る勾配方向矩形特徴量Ｃを示す図である。
この勾配方向矩形特徴量Ｃは、勾配方向毎の勾配強度画像について、Ｈａａｒ−ｌｉｋｅ特徴量を応用して、矩形の特徴の差分等を用いるものである。
この勾配方向矩形特徴量Ｃは、隣接領域の勾配関係を捉える手法であり、隣接領域とする２つの領域（白い領域と黒い領域）で領域の形状や面積が異なっている。また、この勾配方向矩形特徴量Ｃは、同一の方向内での特徴の差分等を求めるものである。
図１３の例では、複数（Ｎ個）の勾配方向について、方向１のウィンドウの画像３４１−１、方向２のウィンドウの画像３４１−２、・・・、方向Ｎのウィンドウの画像３４１−Ｎを示す。この例では、勾配方向毎に、矩形の形状や数が異なってもよい。
この勾配方向矩形特徴量Ｃは、図１２（Ａ）、図１２（Ｂ）、図１２（Ｃ）に示される勾配方向矩形特徴量Ｂと似ているが、例えば、隣接する領域の勾配面積比が異なるような場合にも、より適切な抽出を行うことができるという効果が得られる。

図１４は、第４の例に係る勾配方向矩形特徴量Ｄを示す図である。
この勾配方向矩形特徴量Ｄは、勾配方向毎の勾配強度画像の内において、複数の離隔した（隔たれた）矩形の特徴の差分等を用いるものである。
この勾配方向矩形特徴量Ｄは、離隔した領域の勾配関係を捉える手法であり、離隔した領域とする２つの領域（白い領域と黒い領域）で、領域の形状や面積が同じでもよく、または、異なってもよい。また、この勾配方向矩形特徴量Ｄは、同一の方向内での特徴の差分等を求めるものである。
図１４の例では、複数（Ｎ個）の勾配方向について、方向１のウィンドウの画像３５１−１、方向２のウィンドウの画像３５１−２、・・・、方向Ｎのウィンドウの画像３５１−Ｎを示す。この例では、勾配方向毎に、矩形の形状や数が異なってもよい。
この勾配方向矩形特徴量Ｄは、隣接していない領域の間でも特徴を抽出することができるようにしたものである。この勾配方向矩形特徴量Ｄは、目標物体のある方向の勾配が離れた部位の間で存在することを捉え易くする。

図１５は、第５の例に係る勾配方向矩形特徴量Ｅを示す図である。
この勾配方向矩形特徴量Ｅは、異なる勾配方向の勾配強度画像の間に跨って、複数の矩形の特徴の差分等を用いるものである。
この勾配方向矩形特徴量Ｅは、異なる勾配方向の勾配強度画像の間におけるそれぞれの領域の勾配関係を捉える手法であり、２つの領域（白い領域と黒い領域）で、領域の形状や面積や位置が同じでもよく、または、異なってもよい。この勾配方向矩形特徴量Ｅは、異なる方向間での特徴の差分等を求めるものである。
図１５の例では、複数（Ｎ個）の勾配方向について、方向１のウィンドウの画像３６１−１、方向２のウィンドウの画像３６１−２、・・・、方向Ｎのウィンドウの画像３６１−Ｎを示す。この例では、勾配方向毎に、矩形の形状や数が異なってもよい。
この勾配方向矩形特徴量Ｅは、異なる勾配方向に跨る勾配強度画像における複数の矩形の特徴関係を用いるため、異なる勾配方向の間の関係を捉えることができるという効果が得られる。

ここで、勾配方向矩形特徴量Ｂ〜Ｅにおいて、複数の矩形の特徴の差分等を求めることについては、必ずしも領域間の差分だけでなく、差、和、積、商といった四則演算を考慮して、これらのうちの任意の１つ以上の演算を用いて、最適な特徴量を使用する（または、選択などする）ことができるようにする。また、差分（差）としては、差分の絶対値を用いることも可能である。
また、複数の矩形の特徴の差分等における複数の矩形としては、例えば、２個の矩形に限られず、３個以上の矩形が用いられてもよい。

以上のように、本実施形態では、複数種類の勾配方向矩形特徴量Ａ〜Ｅのうちのいずれか１つ、または、任意の２つ以上の組み合わせを用いることができ、これにより、目標物体の特徴をより少ない識別器（本実施形態では、弱識別器）の数で捉えることができ、装置の構成を簡易化することができる。

ここで、勾配方向矩形特徴量を用いることにより得られる効果について、より詳しく説明する。
本実施形態では、図２に示されるステップＳ４の処理において、Ｒｅａｌ ＡｄａＢｏｏｓｔによる識別器で、勾配方向矩形特徴量を識別する。
この場合、勾配方向矩形特徴量とＲｅａｌ ＡｄａＢｏｏｓｔの識別器とを組み合わせると、例えば、弱識別器の数が極力少ない条件にしても、不検出率が低い性能を持ち、且つ、誤検出率が低い性能を持つ物体認識のアルゴリズムを構成することができる。

好ましい具体例として、勾配方向矩形特徴量について、各勾配方向のウィンドウの内の矩形領域（つまり、大きさ）に特に制限を設けず、目標物体の各部位の大小を問わず識別器（本実施形態では、Ｒｅａｌ ＡｄａＢｏｏｓｔの識別器）により学習し、目標物体の特徴を示す弱識別器を選択させる。
これにより、目標物体の大小の勾配矩形特徴の中で、特に有効な部分を厳選することができ、少ない弱識別器の数で識別器を構成することができる。このため、計算回数とメモリアクセス回数が少なく、短い演算処理時間で、目標物体が存在するウィンドウを絞り込むことや、目標物体を識別することができる。

具体的に、このような勾配矩形特徴を物体認識部１３の第１の認識部３１で利用すると、計算回数とメモリアクセス回数が少なく、短い演算処理時間で、目標物体が存在するウィンドウを絞り込むことができる。
また、他の構成例として、このような勾配矩形特徴を物体認識部１３の第２の認識部３２で利用すると、計算回数とメモリアクセス回数が少なく、短い演算処理時間で、目標物体を識別することができる。

なお、識別器による識別に関して、不検出率は、目標物体を目標物体として検出（検知）することができない率のことであり、また、誤検出率は、目標物体以外を目標物体であると認識して検出する率のことである。
また、本実施形態では、ブースティング（Ｂｏｏｓｔｉｎｇ）として、Ｒｅａｌ ＡｄａＢｏｏｓｔを例として説明したが、広義のブースティングに適用しても、同様な効果を得ることが可能である。

図１６は、勾配方向矩形特徴量の具体例を示す図である。
図１６は、学習した多数の勾配強度画像を、８個の勾配方向（方向１〜方向８）の全方向について平均（合成）したもの（平均勾配画像）４０１と、方向１のみ平均したウィンドウの画像４１１−１、方向２のみ平均したウィンドウの画像４１１−２、・・・、方向８のみ平均したウィンドウの画像４１１−８を示す。
この例では、目標物体を車両の背面とした場合を示す。平均勾配画像は、目標物体の勾配による形状を視覚的に把握できる効果がある。

図１６の例では、次のような特徴量（１）〜（５）を用いている。
（１）勾配方向矩形特徴量Ａとして、各勾配矩形フィルタ（図１６に示される各ウィンドウ中の各矩形）を１つ使用する場合に得られる特徴量を用いる。
（２）勾配方向矩形特徴量Ｂとして、複数の矩形の特徴の差分等として減算（差）を使用する場合に得られる特徴量を用いる。
（３）勾配方向矩形特徴量Ｃとして、複数の矩形の特徴の差分等として減算（差）を使用する場合に得られる特徴量を用いる。
（４）勾配方向矩形特徴量Ｄとして、複数の矩形の特徴の差分等として減算（差）を使用する場合に得られる特徴量を用いる。
（５）勾配方向矩形特徴量Ｅとして、複数の矩形の特徴の差分等として減算（差）を使用する場合に得られる特徴量を用いる。

図１６の例では、Ｗ_ｉ−ｒｊにおいて、ｉ（ｉ＝１、２、・・・、８）は方向の番号を表し、ｊ（ｊ＝１、２、・・・）は各ウィンドウ内における矩形の番号を表す。また、Ｗ_ｉ−ｒｊは、方向ｉのウィンドウ内におけるｊ番目の矩形について、単位面積当たりの特徴量の値を表す。
なお、この例では、勾配方向矩形特徴量Ｂ〜Ｅについては、差分等として減算（差）を用いる場合に特徴量が強く現れる関係を示している。

図１７は、勾配方向矩形特徴量の具体例を示す図である。
図１７は、方向１のみ平均したウィンドウの画像４２１−１、方向２のみ平均したウィンドウの画像４２１−２、・・・、方向８のみ平均したウィンドウの画像４２１−８を示す。
この例では、図１６の例の場合と同様に、目標物体を車両の背面とした場合を示す。

図１７の例では、次のような特徴量（３）〜（５）を用いている。
（３）勾配方向矩形特徴量Ｃとして、複数の矩形の特徴の差分等として加算（和）を使用する場合に得られる特徴量を用いる。
（４）勾配方向矩形特徴量Ｄとして、複数の矩形の特徴の差分等として加算（和）を使用する場合に得られる特徴量を用いる。
（５）勾配方向矩形特徴量Ｅとして、複数の矩形の特徴の差分等として加算（和）を使用する場合に得られる特徴量を用いる。

図１７の例では、Ｗ_ｉ−ｒｊにおいて、ｉ（ｉ＝１、２、・・・、８）は方向の番号を表し、ｊ（ｊ＝１、２、・・・）は各ウィンドウ内における矩形の番号を表す。また、Ｗ_ｉ−ｒｊは、方向ｉのウィンドウ内におけるｊ番目の矩形について、単位面積当たりの特徴量の値を表す。
なお、この例では、勾配方向矩形特徴量Ｃ〜Ｅについては、差分等として加算（和）を用いる場合に特徴量が強く現れる関係を示している。また、勾配強度が無いという特徴を用いることもできる。

以上、図１６の例及び図１７の例を示したように、四則演算を利用することで、各特徴量を強く現すことができる。

次に、勾配方向矩形特徴量の照明差の正規化について説明する。
目標物体に対する照明差を補正するために、例えば、ウィンドウサイズによる輝度画像の標準偏差により正規化することができる。なお、このような正規化については、例えば、非特許文献１に記載されている。
この場合、輝度の積分画像と輝度の２乗の積分画像を別に計算しておく。

他の手法として、図１８（Ａ）および図１８（Ｂ）に示されるように、目標物体に対する照明差を補正するために、ウィンドウをスキャンする際に、ウィンドウサイズにおける各勾配方向の勾配強度の平均値や標準偏差を計算し、各勾配矩形特徴をいずれかの計算値で正規化する手法を用いることもできる。

図１８（Ａ）は、勾配方向矩形特徴量の照明差の正規化係数の一例を示す図である。
この例では、ウィンドウ単位で照明差を正規化する。
積分勾配画像Ｘは、複数（Ｎ個）の方向の積分勾配画像である、方向１の積分勾配画像５０１−１、方向２の積分勾配画像５０１−２、・・・、方向Ｎの積分勾配画像５０１−Ｎを加えたものであり、全ての勾配方向についての積分勾配画像５１１である。

ここで、ＸＷ_ｎは、積分勾配画像について、各方向ｎ（ｎは、方向番号）におけるウィンドウ単位での１画素（１ｐｉｘｅｌ）当たりの平均値を表す。
また、ＸＷは、積分勾配画像について、全ての勾配方向におけるウィンドウ単位での１画素（１ｐｉｘｅｌ）当たりの平均値を表す。
また、ＱＷは、積分勾配画像について、強方向勾配（本実施形態では、縦勾配と横勾配）のウィンドウ単位での１画素（１ｐｉｘｅｌ）当たりの平均値を表す。

この例では、平均値を用いて照明差を正規化するための係数（照明差係数１）を示す。
照明差係数１の第１の例として、正規化係数ＸＷは、式（５）により表される。この場合、各勾配方向矩形特徴量を正規化係数ＸＷで除算した値を用いる。

照明差係数１の第２の例として、正規化係数ＱＷは、式（６）により表される。この場合、各勾配方向矩形特徴量を正規化係数ＱＷで除算した値を用いる。
このように、目標物体の性質が強く現れる方向（例えば、車両の場合における縦勾配と横勾配）のみについて、係数値の計算に用いることも可能であり、これにより、演算時間を節約することができる。

なお、この例では、強方向勾配について、縦勾配が方向１にあり、横勾配が方向５にあるとしているが、他の構成が用いられてもよい。強方向は、例えば、ユーザにより手動で設定されてもよく、または、特徴量があらかじめ定められた閾値以上となる方向を強方向として決定するなどのように、所定の条件に基づいて設定されてもよい。

図１８（Ｂ）は、勾配方向矩形特徴量の照明差の正規化係数の他の一例を示す図である。
この例では、ウィンドウ単位で照明差を正規化する。
積分勾配２乗画像Ｘ^２は、複数（Ｎ個）の方向の積分勾配２乗画像である、方向１の積分勾配２乗画像５２１−１、方向２の積分勾配２乗画像５２１−２、・・・、方向Ｎの積分勾配２乗画像５２１−Ｎを加えたものであり、全ての勾配方向についての積分勾配２乗画像５３１である。

ここで、Ｘ２Ｗ_ｎは、積分勾配２乗画像について、各方向ｎ（ｎは、方向番号）におけるウィンドウ単位での１画素（１ｐｉｘｅｌ）当たりの平均値を表す。
また、Ｘ２Ｗは、積分勾配２乗画像について、全ての勾配方向におけるウィンドウ単位での１画素（１ｐｉｘｅｌ）当たりの平均値を表す。
また、Ｑ２Ｗは、積分勾配２乗画像について、強方向勾配（本実施形態では、縦勾配と横勾配）のウィンドウ単位での１画素（１ｐｉｘｅｌ）当たりの平均値を表す。
なお、これらの関係は、図１８（Ａ）に関して示した式（５）、式（６）と同様である。

この例では、標準偏差値を用いて照明差を正規化するための係数（照明差係数２）を示す。
照明差係数２の第１の例として、正規化係数ＸＳは、式（７）により表される。この場合、各勾配方向矩形特徴量を正規化係数ＸＳで除算した値を用いる。

照明差係数２の第２の例として、正規化係数ＱＳは、式（８）により表される。この場合、各勾配方向矩形特徴量を正規化係数ＱＳで除算した値を用いる。
このように、目標物体の性質が強く現れる方向（例えば、車両の場合における縦勾配と横勾配）のみについて、係数値の計算に用いることも可能であり、これにより、演算時間を節約することができる。

なお、この例では、強方向勾配について、縦勾配が方向１にあり、横勾配が方向５にあるとしているが、他の構成が用いられてもよい。強方向は、例えば、ユーザにより手動で設定されてもよく、または、特徴量があらかじめ定められた閾値以上となる方向を強方向として決定するなどのように、所定の条件に基づいて設定されてもよい。

ここで、このように標準偏差値を用いて照明差を正規化する場合には、例えば、あらかじめ、各画素位置における勾配強度を２乗した値を有する画像（勾配２乗画像）を計算しておき、この勾配２乗画像を積分して積分勾配２乗画像を得る。

図１９は、勾配方向矩形特徴量の照明差の正規化係数の他の例を示す図である。
図１９は、撮像画像領域６０１と、その中に設定されるラスタスキャン領域６１１と、その中に設定されるウィンドウ（ウィンドウの領域）６２１を示す。
ラスタスキャン領域６１１を単位として、照明差を正規化することも可能である。

具体的には、図１８（Ａ）を参照して説明したウィンドウを単位として平均値を用いて照明差の正規化係数を求める代わりに、ラスタスキャン領域を単位として平均値を用いて照明差の正規化係数を求めることができる。
また、図１８（Ｂ）を参照して説明したウィンドウを単位として標準偏差を用いて照明差の正規化係数を求める代わりに、ラスタスキャン領域を単位として標準偏差を用いて照明差の正規化係数を求めることができる。

なお、画像全体の照明差を補正するために、ラスタスキャン領域で正規化係数を算出する手法のほかにも、様々なロバスト性を向上させるための手法が用いられてもよい。

図２０を参照して、Ｒｅａｌ ＡｄａＢｏｏｓｔの一例について説明する。
説明の便宜上、物体認識部１３により行われる（処理１）〜（処理７）に分けて、説明する。
画像７０１を例とする。なお、画像７０１としては、本実施形態では、積分勾配画像を用いることができる。

（処理１）
画像７０１の中に設定されるラスタスキャン領域に設定されるウィンドウ７１１を例とする。
ウィンドウ７１１の特徴量を算出する処理７２１として、検出用のウィンドウ７１１から勾配方向矩形特徴量を算出する。この例では、正規化した特徴量を算出する。
また、この例では、特徴次元（インデックスＮｏ）が１からＭ（この例では、Ｍは２８１以上の整数値）まで全ての特徴を算出しているが、実処理では必要な特徴（例えば、事前に学習して辞書に載っているもののみ）を算出する。

（処理２）
辞書から、指定された特徴次元の特徴量をピックアップする処理７２２を行う。
辞書には、あらかじめ行われた学習の結果の情報が記憶されている。

（処理３）
特徴量を量子化する処理７２３を行う。
この例では、量子化数（ＢＩＮの数）を６４としている。０．０から１．０までの実数値となる正規化特徴量を０から６３に量子化するために、正規化特徴量に対してＢＩＮの数である６４との積を求めている。

（処理４）
確率密度関数テーブルを参照する処理７２４を行う。
具体的には、事前に学習して用意しておいた辞書と対応する確率密度関数（事前確率）から、算出された特徴量のＰＯＳ（ポジティブ）の確率とＮＥＧ（ネガティブ）の確率を求める。

（処理５）
弱識別器の応答値ｈを求める処理７２５を行う。
具体的には、弱識別器の出力値として、式（９）で表されるｈの値を算出する。なお、式（９）におけるεは、定数である。
例えば、図２０に示される１つ目の弱識別器では、ＰＯＳがＮＥＧの確率より高いため、ｈは正の値となる。

（処理６）
（処理２）〜（処理５）を任意の数だけ繰り返して実行する処理７２６を行う。この数が、弱識別器の数に相当する。

（処理７）
算出された各弱識別器の応答値ｈの合計（線形和）を求めて、その合計値を強識別器の応答値Ｈとして算出する処理７２７を行う。
そして、算出された強識別器の応答値Ｈがあらかじめ定められた閾値ＴＨよりも大きいと判定した場合には、Ｔｒｕｅ（認識対象）であると判定する。一方、他の場合には、Ｆａｌｓｅ（非認識対象）であると判定する。
ここで、閾値ＴＨとしては、任意の値が用いられてもよく、例えば、あらかじめ、固定的な値が設定される。

なお、識別器としては、Ｒｅａｌ ＡｄａＢｏｏｓｔの識別器以外にも、例えば、Ｂｏｏｓｔｉｎｇ等のアンサンブル学習により作られるものを適用することができる。

次に、図２１（Ａ）、図２１（Ｂ）、図２１（Ｃ）を参照して、勾配方向矩形特徴量のレンジの正規化について説明する。
一般的に、Ｂｏｏｓｔｉｎｇによる識別器では、入力する特徴量を０〜１に正規化する必要がある。
図２０を参照して説明したＲｅａｌ ＡｄａＢｏｏｓｔは、確率密度関数を作成する方式のものであり、確率密度関数に入力する特徴量を０〜１に正規化する。通常は、０〜１の間で密な確率密度関数を作成する場合には、ＢＩＮ数を増やして対応するが、メモリ容量が増大するという問題がある。

そこで、本実施形態では、勾配方向矩形特徴量について、ダイナミックレンジの中の特定の範囲に０〜１のレンジを設けられるように（例えば、Ｒｅａｌ ＡｄａＢｏｏｓｔの場合には、検出率を向上する確率密度関数を作成するように）、正規化する。
ここで、ダイナミックレンジは、本実施形態の場合には、例として、単矩形（単領域）のときには３６０．６であり、２矩形（２領域）のときには±３６０．６である。
なお、前記したダイナミックレンジの中の特定の範囲は、例えば、実験による値により設定することができ、または、学習により最適な係数（例えば、図２１（Ｂ）、図２１（Ｃ）に示されるｏｆｆｓｅｔの値）を決定することにより設定することができる。

図２１（Ａ）は、入力画像８０１と、入力画像８０１について８方向の勾配方向で強度を算出した勾配強度画像８０２を示す。
入力画像８０１について、１画素（１ｐｉｘｅｌ）当たりのレンジが０〜２５５であり、１画素（１ｐｉｘｅｌ）当たりの最大値が２５５であるときには、勾配強度画像８０２について、式（１０）に示されるように、１画素（１ｐｉｘｅｌ）当たりの最大値が３６０．６（厳密には、約３６０．６）となる。

図２１（Ｂ）は、単矩形８１１の特徴の例を示す。
単矩形８１１では、例えば、単矩形８１１内の全ての画素位置の特徴量の平均値を勾配方向矩形特徴量とし、特徴量（勾配方向矩形特徴量）ｆのダイナミックレンジが最小値０から最大値３６０．６である。
特徴量ｆと、正規化係数ｏｆｆｓｅｔと、正規化後の特徴量ｆ＿ｎｏｒｍとの関係は、式（１１）により表される。

図２１（Ｃ）は、２矩形８１２の特徴の例を示す。
２矩形８１２では、例えば、各矩形内の全ての画素位置の特徴量の平均値の差分を勾配方向矩形特徴量とし、特徴量（勾配方向矩形特徴量）ｆのダイナミックレンジが最小値−３６０．６から最大値＋３６０．６である。
特徴量ｆと、正規化係数ｏｆｆｓｅｔと、正規化後の特徴量ｆ＿ｎｏｒｍとの関係は、式（１２）により表される。

図２３（Ａ）および図２３（Ｂ）を参照して、勾配方向矩形特徴量とＨＯＧ特徴量との比較を説明する。
この例では、車両が写る画像について、図１１と図１２で示した勾配方向矩形特徴量ＡとＢをＲｅａｌ ＡｄａＢｏｏｓｔにより選択された特徴量で比較する。

図２３（Ａ）には、勾配方向矩形特徴量について示してある。
図２３（Ａ）の上段には、８方向（方向１〜方向８）について、Ｒｅａｌ ＡｄａＢｏｏｓｔにより選択された各勾配方向のみ平均した勾配画像と特徴量（勾配方向矩形特徴量）の領域を示してある（９０１−１〜９０１−６）。つまり、６つの弱識別器を構成させていることを示す。
また、図２３（Ａ）の下段には、平均勾配画像９１１に、図２３（Ａ）の上段で示した特徴量（勾配方向矩形特徴量）の領域を示してある。これは、目標物体（車両）のどの部位の勾配領域を選択しているかを視覚的に示すためである。

具体的には、弱識別器１では、左縦勾配がある領域が選択されている。
弱識別器２では、横勾配がある領域が選択されている。
弱識別器３では、右縦勾配がある領域が選択されている。
弱識別器４では、縦勾配が無い領域が選択されている。
弱識別器５では、左タイヤに勾配差がある領域が選択されている。
弱識別器６では、右タイヤに勾配差がある領域が選択されている。

このように、本実施形態に係る勾配方向矩形特徴量を用いると、大小の領域の特徴で、最適値を選択することが可能である。これにより、識別器（本実施形態では、弱識別器）の数を少なくすることが可能である。

図２３（Ｂ）には、ＨＯＧ特徴量について示してある。
図２３（Ｂ）には、平均勾配画像９２１に、選択された特徴量（ＨＯＧ特徴量）の領域（セル）を示してある。

このように、ＨＯＧ特徴量を用いると、固定セル単位の特徴を総合的に捉える。このため、比較的、識別器（本実施形態では、弱識別器）の数が多くなるため、図２３（Ｂ）で示した８つの識別器数以上が必要となる。図２３（Ｂ）の各選択されたセル内に示されているラインは、勾配方向を示す。

ここで、弱識別器の数について、車両の認識を行うシミュレーションの結果の例を示す。
このシミュレーションの結果では、勾配方向矩形特徴量で学習した弱識別器の数が約４〜１６個であるときに、ＨＯＧ特徴量で学習した弱識別器の数が約１００個であった。
また、勾配方向矩形特徴量と識別器を用いた場合における１個のウィンドウ当たりの処理時間は、ＨＯＧ特徴量と識別器を用いた場合における１個のウィンドウ当たりの処理時間に対して、約１／５０〜１／６０であった。

図２４（Ａ）、図２４（Ｂ）、図２４（Ｃ）を参照して、積分画像について説明する。
図２４（Ａ）は、オリジナル画像の一例を示す図である。
この例では、オリジナル画像として、輝度画像２００１を示す。
輝度画像２００１について、横（水平）方向のｘ軸、縦（垂直）方向のｙ軸に関し、画素位置（ｘ、ｙ）の輝度値をｉ（ｘ、ｙ）とする。

図２４（Ｂ）は、累積行加算の結果の一例を示す図である。
この例では、枠内の左上から右下まで、繰り返して積分する。
累積行加算の結果２００２において、位置（ｘ、ｙ）の累積行加算値ｓ（ｘ、ｙ）は、式（１３）により表される。

図２４（Ｃ）は、積分画像の一例を示す図である。
この例では、枠内の左上から右下まで、繰り返して積分する。
積分画像２００３において、位置（ｘ、ｙ）の積分値ｉｉ（ｘ、ｙ）は、式（１４）により表される。

図２５（Ａ）および図２５（Ｂ）を参照して、Ｈａａｒ−ｌｉｋｅ特徴量を説明する。
図２５（Ａ）は、２矩形２０１１を示す。
２矩形２０１１の特徴として、左右の矩形の特徴量の差分を用いる。

図２５（Ｂ）は、２矩形特徴の求め方を示す。
ａ、ｂ、ｃ、ｄ，ｅ、ｆを、それぞれ、各点における積分勾配値とする。
左側の領域（領域１）の単矩形特徴量は、式（１５）により表され、４点で算出することができる。
右側の領域（領域２）の単矩形特徴量は、式（１６）により表され、４点で算出することができる。
領域１の特徴量と領域２の特徴量との差分である２矩形特徴量は、式（１７）により表され、６点で算出することができる。

図２６（Ａ）および図２０（Ｂ）を参照して、ＨＯＧ特徴量を説明する。
図２６（Ａ）は、セルによるヒストグラム化の一例を示す。
画像の中に設定されるセル２０２１と、３×３の計９個のセルから構成されるブロック２０２２を示す。
また、１個のセルが横（水平）方向に５画素（５ｐｉｘｅｌ）、縦（垂直）方向に５画素（５ｐｉｘｅｌ）から構成される場合を示す。
そして、セル２０２１について、セル単位での輝度勾配分布２０２３を示す。また、これについて、９方向を例として、方向を横軸とし且つ勾配強度を縦軸とした勾配方向ヒストグラムを示す。
また、この例では、ブロック２０２２の単位で、その領域で、セル内の輝度勾配を正規化する。

図２６（Ｂ）は、ブロック領域により正規化された、ＨＯＧ特徴量を算出する例を示す。
９方向を例として、１個のセル２０３１の特徴ベクトルＦ_ｊ，ｋは、式（１８）により表される。各方向（方向１〜方向９）の特徴ベクトルの成分ｆをｆ_１〜ｆ_９とする。ここで、ｋはセルの横（水平）方向の位置を表し、ｊは縦（垂直）方向の位置を表す。
ブロック２０３２の特徴ベクトルＶは、式（１９）により表される。
この特徴ベクトルＶの大きさにより正規化した結果ｖは、式（２０）により表される。
この例では、ＨＯＧ特徴ベクトルは、９セル×９次元×４ブロック数＝３２４次元となる。

［第２実施形態］
本実施形態に係る画像認識システムの構成は、概略的には、第１実施形態に係る図１（Ａ）および図１（Ｂ）に示される画像認識システムの構成と同様である。
このため、本実施形態では、図１（Ａ）および図１（Ｂ）に示されるものと同じ符号を用いて説明する。
以下では、主に、第１実施形態とは異なる点について説明する。第１実施形態で説明した事項のうちで適用が可能なものについては、本実施形態で適用されてもよい。

図３を参照して、本実施形態に係る物体認識部１３により行われる処理について説明する。
図３は、本実施形態に係る物体認識部１３により行われる処理の手順の一例を示すフローチャート図である。
本実施形態に係るフローチャートの処理については、概略的には、図２に示される第１実施形態に係るフローチャートの処理と比べて、本実施形態に係るフローチャートにおけるステップＳ２１〜ステップＳ２５、ステップＳ２８の処理は、それぞれ、図２に示される第１実施形態に係るフローチャートにおけるステップＳ１〜ステップＳ５、ステップＳ８の処理と同様である。

本実施形態に係るフローチャートにおけるステップＳ２６の処理では、物体認識部１３の第２の認識部３２は、第１の認識部３１により絞り込まれた１個以上のウィンドウのそれぞれについて、パターン認識を行って、目標物体を認識する。
具体的には、物体認識部１３の第２の認識部３２は、第１の認識部３１により絞り込まれたウィンドウ（ここでは、１個のウィンドウ）について、あらかじめ定められた勾配方向矩形特徴量（ベクトル）を算出する（ステップＳ２６）。

また、本実施形態に係るフローチャートにおけるステップＳ２７の処理では、物体認識部１３の第２の認識部３２は、算出した勾配方向矩形特徴量（ベクトル）を用いて、Ｂｏｏｓｔｉｎｇの一例であるＲｅａｌ ＡｄａＢｏｏｓｔの識別器による識別を行い、あらかじめ目標（ターゲット）としている物体（物体の画像）を認識する（ステップＳ２７）。

このように、本実施形態に係るフローチャートの処理では、図２に示される第１実施形態に係るフローチャートの処理と比べて異なる点として、第２の認識部３２において、第１の認識部３１と同様に、勾配矩形特徴と識別器を用いる。

但し、第２の認識部３２では、第１の認識器３１とは異なる特徴を捉える必要があるため、第２の認識部３２の弱識別器を、第１の認識部３１の弱識別器とは異なる弱識別器で構成する。具体的には、例えば、第１の認識部３１と第２の認識部３２とで、勾配矩形特徴の勾配方向、種類、サイズおよび位置などに関して同じ弱識別器を繰り返して用いないようにする。
また、１個のウィンドウ当たりの演算処理時間について、第１の認識部３１の演算処理時間の方が第２の認識部３２の演算処理時間よりも短くなるように設定する。

具体例として、第２の認識部３１の弱識別器の数よりも第１の認識部３１の弱識別器の数の方を少なくする。
一例として、第１の認識部３１と第２の認識部３２が共に勾配方向矩形特徴量を用いるときには、学習した弱識別器の数として、第１の認識部３１が４個である場合には第２の認識部３２を１２個等にして、第１の認識部３１の弱識別器の数を第２の認識部３２の弱識別器の数よりも少なくする。

本実施形態に係る物体認識部１３では、例えば、第１実施形態に係る物体認識部１３と比べて、より演算処理時間を短くすることができる効果があるため、装置への実装性が向上する。
なお、本実施形態では、勾配方向矩形特徴量の照明差の正規化や、レンジの正規化については、第１の認識部３１ばかりでなく、第２の認識部３２についても、第１実施形態で説明したのと同様に、行うことができる。

［第３実施形態］
本実施形態に係る画像認識システムの構成は、概略的には、第１実施形態に係る図１（Ａ）および図１（Ｂ）に示される画像認識システムの構成と同様である。
このため、本実施形態では、図１（Ａ）および図１（Ｂ）に示されるものと同じ符号を用いて説明する。
以下では、主に、第１実施形態とは異なる点について説明する。第１実施形態で説明した事項のうちで適用が可能なものについては、本実施形態で適用されてもよい。

図４を参照して、本実施形態に係る物体認識部１３により行われる処理について説明する。
図４は、本実施形態に係る物体認識部１３により行われる処理の手順の一例を示すフローチャート図である。
本実施形態に係るフローチャートの処理については、概略的には、図２に示される第１実施形態に係るフローチャートの処理と比べて、本実施形態に係るフローチャートにおけるステップＳ４１〜ステップＳ４５の処理は、それぞれ、図２に示される第１実施形態に係るフローチャートにおけるステップＳ１〜ステップＳ５の処理と同様である。

本実施形態に係るフローチャートにおけるステップＳ４６〜ステップＳ４９の処理について説明する。
物体認識部１３の第２の認識部３２は、第１の認識部３１により絞り込まれた１個以上のウィンドウのそれぞれについて、あらかじめ定められた絞り込み周辺スキャンの処理を行って、ウィンドウを抽出する（ステップＳ４６）。

次に、物体認識部１３の第２の認識部３２は、絞り込み周辺スキャンの処理により絞り込まれる１個以上のウィンドウのそれぞれについて、パターン認識を行って、目標物体を認識する。
具体的には、物体認識部１３の第２の認識部３２は、絞り込み周辺スキャンの処理により絞り込まれたウィンドウ（ここでは、１個のウィンドウ）について、あらかじめ定められたＨＯＧ特徴量（ベクトル）を算出する（ステップＳ４７）。

次に、物体認識部１３の第２の認識部３２は、算出したＨＯＧ特徴量（ベクトル）を用いて、Ｂｏｏｓｔｉｎｇの一例であるＲｅａｌ ＡｄａＢｏｏｓｔの識別器による識別を行い、あらかじめ目標（ターゲット）としている物体（物体の画像）を認識する（ステップＳ４８）。

ここで、物体認識部１３の第２の認識部３２は、第１の認識部３１により絞り込まれたウィンドウの全てについて絞り込み周辺スキャンの処理が終了したか否かを確認する（ステップＳ４９）。
そして、物体認識部１３の第２の認識部３２は、第１の認識部３１により絞り込まれたウィンドウの全てについて絞り込み周辺スキャンの処理が終了したと判定した場合には、本処理を終了する。

一方、物体認識部１３の第２の認識部３２は、第１の認識部３１により絞り込まれたウィンドウの全てについて絞り込み周辺スキャンの処理が終了していないと判定した場合には、次のウィンドウを処理するように切り替えて、ステップＳ４６の処理へ移行する。
これにより、物体認識部１３の第２の認識部３２は、第１の認識部３１により絞り込まれたウィンドウの全てについて、順次、ウィンドウを切り替えて、絞り込み周辺スキャンの処理を行うように、ステップＳ４６〜ステップＳ４８の処理を繰り返して行う。

このように、本実施形態に係るフローチャートの処理では、図２に示される第１実施形態に係るフローチャートの処理と比べて異なる点として、第２の認識部３２において、第１の認識部３１で絞り込んだ各ウィンドウの周辺をスキャンして、これにより抽出したウィンドウについて特徴量の算出および識別器による識別を行う。

図２２を参照して、本実施形態に係る絞り込み周辺スキャンの処理を説明する。
本実施形態に係る絞り込み周辺スキャンの処理では、第１の認識部３１によるウィンドウの抽出後のラスタスキャンとして、第１の認識部３１により抽出されたウィンドウを中心にしてその周辺をスキャンする。
この場合に、周辺スキャンを行う対象となるウィンドウのサイズに応じて、移動ステップｄｘ、ｄｙと移動量Ｄｘ、Ｄｙを可変に設定する。
そして、それぞれのウィンドウ毎に、そのウィンドウを中心として、設定した移動ステップｄｘ、ｄｙと移動量Ｄｘ、Ｄｙでスキャンする。つまり、ウィンドウを移動ステップｄｘ、ｄｙずつ移動させて、最大で移動量Ｄｘ、Ｄｙに達するまで移動させる。

このように、第１の認識部３１により絞り込まれたそれぞれのウィンドウを中心に、それぞれのウィンドウのサイズ毎に移動ステップｄｘ、ｄｙと移動量Ｄｘ、Ｄｙを設定する。
ここで、移動ステップｄｘおよび移動量Ｄｘは、横（水平）方向の値であり、また、移動ステップｄｙおよび移動量Ｄｙは、縦（垂直）方向の値である。
また、本実施形態では、ウィンドウのサイズが大きくなるほど、移動ステップｄｘ、ｄｙと移動量Ｄｘ、Ｄｙが大きくなるように設定する。

具体的に、図２２の例では、領域１００１に設定されたウィンドウ１０１１について、当該ウィンドウ１０１１のサイズに応じて、移動ステップ１（ｄｘ１、ｄｙ１）および移動量１（Ｄｘ１、Ｄｙ１）が設定される。

本実施形態では、第２の認識部３２により絞り込み周辺スキャンを行うことにより、例えば、第１の認識部３１により絞り込んだウィンドウに目標物体とのずれが生じた場合においても、第２の認識部３２により目標物体を精度良く認識することができる。

［第４実施形態］
本実施形態に係る画像認識システムの構成は、概略的には、第３実施形態（第１実施形態と同様）に係る図１（Ａ）および図１（Ｂ）に示される画像認識システムの構成と同様である。
このため、本実施形態では、図１（Ａ）および図１（Ｂ）に示されるものと同じ符号を用いて説明する。
以下では、主に、第３実施形態とは異なる点について説明する。第３実施形態で説明した事項のうちで適用が可能なものについては、本実施形態で適用されてもよい。

図５を参照して、本実施形態に係る物体認識部１３により行われる処理について説明する。
図５は、本実施形態に係る物体認識部１３により行われる処理の手順の一例を示すフローチャート図である。
本実施形態に係るフローチャートの処理については、概略的には、図４に示される第３実施形態に係るフローチャートの処理と比べて、本実施形態に係るフローチャートにおけるステップＳ６１〜ステップＳ６６、ステップＳ６９の処理は、それぞれ、図４に示される第３実施形態に係るフローチャートにおけるステップＳ４１〜ステップＳ４６、ステップＳ４９の処理と同様である。

本実施形態に係るフローチャートにおけるステップＳ６７の処理では、物体認識部１３の第２の認識部３２は、絞り込み周辺スキャンの処理により絞り込まれる１個以上のウィンドウのそれぞれについて、パターン認識を行って、目標物体を認識する。
具体的には、物体認識部１３の第２の認識部３２は、絞り込み周辺スキャンの処理により絞り込まれたウィンドウ（ここでは、１個のウィンドウ）について、あらかじめ定められた勾配方向矩形特徴量（ベクトル）を算出する（ステップＳ６７）。

また、本実施形態に係るフローチャートにおけるステップＳ６８の処理では、物体認識部１３の第２の認識部３２は、算出した勾配方向矩形特徴量（ベクトル）を用いて、Ｂｏｏｓｔｉｎｇの一例であるＲｅａｌ ＡｄａＢｏｏｓｔの識別器による識別を行い、あらかじめ目標（ターゲット）としている物体（物体の画像）を認識する（ステップＳ６８）。

このように、本実施形態に係るフローチャートの処理では、図４に示される第３実施形態に係るフローチャートの処理と比べて異なる点として、第２の認識部３２において、第１の認識部３１と同様に、勾配矩形特徴と識別器を用いる。

但し、第２の認識部３２では、第１の認識器３１とは異なる特徴を捉える必要があるため、第２の認識部３２の弱識別器を、第１の認識部３１の弱識別器とは異なる弱識別器で構成する。具体的には、例えば、第１の認識部３１と第２の認識部３２とで、勾配矩形特徴の勾配方向、種類、サイズおよび位置などに関して同じ弱識別器を繰り返して用いないようにする。
また、１個のウィンドウ当たりの演算処理時間について、第１の認識部３１の演算処理時間の方が第２の認識部３２の演算処理時間よりも短くなるように設定する。

具体例として、第２の認識部３１の弱識別器の数よりも第１の認識部３１の弱識別器の数の方を少なくする。
一例として、第１の認識部３１と第２の認識部３２が共に勾配方向矩形特徴量を用いるときには、学習した弱識別器の数として、第１の認識部３１が４個である場合には第２の認識部３２を１２個等にして、第１の認識部３１の弱識別器の数を第２の認識部３２の弱識別器の数よりも少なくする。

本実施形態に係る物体認識部１３では、例えば、第３実施形態に係る物体認識部１３と比べて、より演算処理時間を短くすることができる効果があるため、装置への実装性が向上する。
なお、本実施形態では、勾配方向矩形特徴量の照明差の正規化や、レンジの正規化については、第１の認識部３１ばかりでなく、第２の認識部３２についても、第１実施形態で説明したのと同様に、行うことができる。

［第５実施形態］
本実施形態に係る画像認識システムの構成は、概略的には、第３実施形態または第４実施形態（第１実施形態と同様）に係る図１（Ａ）および図１（Ｂ）に示される画像認識システムの構成と同様である。
このため、本実施形態では、図１（Ａ）および図１（Ｂ）に示されるものと同じ符号を用いて説明する。
以下では、主に、第３実施形態または第４実施形態とは異なる点について説明する。第３実施形態または第４実施形態で説明した事項のうちで適用が可能なものについては、本実施形態で適用されてもよい。

図６を参照して、本実施形態に係る物体認識部１３により行われる処理について説明する。
図６は、本実施形態に係る物体認識部１３により行われる処理の手順の一例を示すフローチャート図である。
本実施形態に係るフローチャートの処理については、概略的には、図４に示される第３実施形態または図５に示される第４実施形態に係るフローチャートの処理と比べて、本実施形態に係るフローチャートにおけるステップＳ８１〜ステップＳ８５、ステップＳ８９〜ステップＳ９２の処理は、それぞれ、図４に示される第３実施形態に係るフローチャートにおけるステップＳ４１〜ステップＳ４５、ステップＳ４６〜ステップＳ４９の処理、または、図５に示される第４実施形態に係るフローチャートにおけるステップＳ６１〜ステップＳ６５、ステップＳ６６〜ステップＳ６９の処理と同様である。

本実施形態に係るフローチャートにおけるステップＳ８６〜ステップＳ８８の処理について説明する。
物体認識部１３の第１の認識部３１は、ステップＳ８２〜ステップＳ８５の処理（一連のラスタスキャンの処理）により抽出した座標領域（ウィンドウ）について、あらかじめ定められた勾配方向矩形特徴量（ベクトル）を算出する（ステップＳ８６）。

次に、物体認識部１３の第１の認識部３１は、算出した勾配方向矩形特徴量（ベクトル）を用いて、Ｂｏｏｓｔｉｎｇの一例であるＲｅａｌ ＡｄａＢｏｏｓｔの識別器による識別を行い、あらかじめ目標（ターゲット）としている物体（物体の画像）が存在していると認識（例えば、推測）される１個以上のウィンドウを抽出する（ステップＳ８７）。

ここで、物体認識部１３の第１の認識部３１は、ステップＳ８２〜ステップＳ８５の処理（一連のラスタスキャンの処理）により抽出したウィンドウの全てについて処理が終了したか否かを確認する（ステップＳ８８）。
そして、物体認識部１３の第１の認識部３１は、ステップＳ８２〜ステップＳ８５の処理（一連のラスタスキャンの処理）により抽出したウィンドウの全てについて処理が終了したと判定した場合には、ステップＳ８９の処理へ移行させる。

一方、物体認識部１３の第１の認識部３１は、ステップＳ８２〜ステップＳ８５の処理（一連のラスタスキャンの処理）により抽出したウィンドウの全てについて処理が終了していないと判定した場合には、次のウィンドウに切り替えて、ステップＳ８６の処理へ移行する。
これにより、物体認識部１３の第１の認識部３１は、ステップＳ８２〜ステップＳ８５の処理（一連のラスタスキャンの処理）により抽出したウィンドウの全てについて処理が終了するまで、順次、ウィンドウを切り替えて、ステップＳ８６〜ステップＳ８７の処理を繰り返して行う。

ここで、本実施形態では、物体認識部１３の第１の認識部３１において、上段の識別（ステップＳ８４の処理における１回目の識別）で使用する弱識別器の数の方を、下段の識別（ステップＳ８７の処理における２回目の識別）で使用する弱識別器の数よりも、少なくする。すなわち、識別の回数が増える毎に、次第に、弱識別器の数を多くして、精度を上げる。つまり、第１の認識部３１による抽出ウィンドウ数を、より少なく絞り込む。

このように、本実施形態では、第１の認識部３１により行う識別の段数を、２段にした。これにより、第１の認識部３１による識別性能の向上と物体認識部１３全体の処理時間の短縮を高めることができる。
また、他の構成例として、第１の認識部３１により行う識別の段数を３段以上にすることもでき、これにより、第１の認識部３１による識別性能の向上と物体認識部１３全体の処理時間の短縮をさらに高めることができる。

ここで、他の構成例として、第１の認識部３１により行う２段目以降の識別の処理に、絞り込み周辺スキャンの処理を適用することもできる。
また、他の構成例として、第２の認識部３２により行われる絞り込み周辺スキャンの処理をなくすことも可能である。この場合、第２の認識部３２は、例えば、第１実施形態や第２実施形態と同様に、第１の認識部３１により抽出された各ウィンドウについて、特徴量の算出および識別の処理を行う。

［第６実施形態］
本実施形態に係る画像認識システムの構成は、概略的には、第３実施形態または第４実施形態（第１実施形態と同様）に係る図１（Ａ）および図１（Ｂ）に示される画像認識システムの構成と同様である。
このため、本実施形態では、図１（Ａ）および図１（Ｂ）に示されるものと同じ符号を用いて説明する。
以下では、主に、第３実施形態または第４実施形態とは異なる点について説明する。第３実施形態または第４実施形態で説明した事項のうちで適用が可能なものについては、本実施形態で適用されてもよい。

図７を参照して、本実施形態に係る物体認識部１３により行われる処理について説明する。
図７は、本実施形態に係る物体認識部１３により行われる処理の手順の一例を示すフローチャート図である。
本実施形態に係るフローチャートの処理については、概略的には、図４に示される第３実施形態または図５に示される第４実施形態に係るフローチャートの処理と比べて、本実施形態に係るフローチャートにおけるステップＳ１１１〜ステップＳ１１３、ステップＳ１１５、ステップＳ１１６、ステップＳ１１７、ステップＳ１１９の処理は、それぞれ、図４に示される第３実施形態に係るフローチャートにおけるステップＳ４１〜ステップＳ４３、ステップＳ４５、ステップＳ４６、ステップＳ４７、ステップＳ４９の処理、または、図５に示される第４実施形態に係るフローチャートにおけるステップＳ６１〜ステップＳ６３、ステップＳ６５、ステップＳ６６、ステップＳ６７、ステップＳ６９の処理と同様である。

本実施形態に係るフローチャートにおけるステップＳ１１４とステップＳ１１８の処理では、物体認識部１３の第１の認識部３１と第２の認識部３２は、カスケード型の識別器の構成を使用して、算出した勾配方向矩形特徴量（ベクトル）を用いて、Ｂｏｏｓｔｉｎｇの一例であるＲｅａｌ ＡｄａＢｏｏｓｔの識別器による識別を行い、あらかじめ目標（ターゲット）としている物体（物体の画像）を認識する。

ここで、カスケード型の構成については、例えば、非特許文献１に記載された構成と同様な構成を用いることができる。
本実施形態では、第１の認識部３１において、カスケード型の構成により多段の識別を実現することで、構成をコンパクトにすることを実現して、第５実施形態と同様な効果を得ることができる。また、第２の認識部３２においても、カスケード型の構成により多段の識別を実現することで、第１の認識部３１をカスケード型にすることと同様の効果が得られる。図７のステップＳ１１４のカスケード型Ｒｅａｌ ＡｄａＢｏｏｓｔ識別器によるウィンドウ抽出と、ステップＳ１１８のカスケード型Ｒｅａｌ ＡｄａＢｏｏｓｔ識別器による識別では、カスケード型内における各強識別器によりウィンドウが棄却されると、ラスタスキャンのステップ（それぞれ、ステップＳ１１２、ステップＳ１１６）に戻る。本実施形態のカスケード型は、第１の認識部３１と第２の認識部３２の何れかまたは両方に適用が可能である。

ここで、他の構成例として、第２の認識部３２により行われる絞り込み周辺スキャンの処理をなくすことも可能である。この場合、第２の認識部３２は、例えば、第１実施形態や第２実施形態と同様に、第１の認識部３１により抽出された各ウィンドウについて、特徴量の算出および識別の処理を行う。

以上に示した実施形態（第１実施形態〜第６実施形態）では、図２〜図７に示したように、第１の認識部３１または第１の認識部３１の初段部にてラスタスキャンを繰り返した後に、第２の認識部３２または第１の認識部３１の２段目以降でラスタスキャンにより抽出したウィンドウについて認識する構成を説明した。
これに関して、他の類似の構成例として、第１実施形態〜第６実施形態の全ての各々において、第１の認識部３１と第２の認識部３２の処理を連続させて行い、第２の認識部３２の終端でラスタスキャンを繰り返す構成としても良い。

このような他の類似の構成例を具体的に示す。以下で、図２に示されるフローチャートの処理に類似する構成例と、図７に示されるフローチャートの処理に類似する構成例について説明する。

図２９を参照して、図２に示されるフローチャートの処理に類似する構成例を説明する。
図２９は、本発明の他の実施形態に係る物体認識部１３により行われる処理の手順の一例を示すフローチャート図である。

ここで、本実施形態に係るフローチャートの処理については、概略的には、図２に示される第１実施形態に係るフローチャートの処理と比べて、本実施形態に係るフローチャートにおけるステップＳ２０１〜ステップＳ２０４、ステップＳ２０６、ステップＳ２０７の処理は、それぞれ、図２に示される第１実施形態に係るフローチャートにおけるステップＳ１〜ステップＳ４、ステップＳ６、ステップＳ７の処理と同様である。

本実施形態に係るフローチャートにおけるステップＳ２０５の処理では、図２に示されるフローチャートにおけるステップＳ５の処理と同じ処理位置において、物体認識部１３の第１の認識部３１は、ウィンドウを抽出したか否かを判定し、この判定の結果、ウィンドウを抽出しなかったと判定した場合には、ラスタスキャンの処理（ステップＳ２０２の処理）に戻る一方、ウィンドウを抽出したと判定した場合には、続けて、第２の認識部３２によるＨＯＧ特徴量（ベクトル）算出の処理（ステップＳ２０６の処理）以降の処理を実行させる。

また、本実施形態に係るフローチャートにおけるステップＳ２０８の処理では、図２に示されるフローチャートにおけるステップＳ８の処理と同じ処理位置（終端処理位置）において、物体認識部１３の第２の認識部３２は、ラスタスキャンが終了したか否かを判定し、この判定の結果、ラスタスキャンが終了するまで、ラスタスキャンの処理を繰り返して実行するためにステップＳ２０２の処理へ戻す。

図３０を参照して、図７に示されるフローチャートの処理に類似する構成例を説明する。
図３０は、本発明の他の実施形態に係る物体認識部１３により行われる処理の手順の一例を示すフローチャート図である。

ここで、本実施形態に係るフローチャートの処理については、概略的には、図７に示される第６実施形態に係るフローチャートの処理と比べて、図７に示されるステップＳ１１５、ステップＳ１１６の処理を無くし、第１の認識部３１と第２の認識部３２を一つのカスケード型に括り付けた構成としている。また、概略的には、本実施形態に係るフローチャートにおけるステップＳ２２１〜ステップＳ２２４、ステップＳ２２６の処理は、それぞれ、図７に示される第６実施形態に係るフローチャートにおけるステップＳ１１１〜ステップＳ１１４、ステップＳ１１８の処理と同様である。

本実施形態に係るフローチャートにおけるステップＳ２２５の処理では、物体認識部１３の第２の認識部３２は、ＨＯＧ特徴量（ベクトル）を算出する。本実施形態では、一つのカスケード型内で第１の認識部３１と第２の認識部３２に分ける特色を生かし、第２の認識部３２においては第１の認識部３１で使用する勾配方向矩形特徴量とは異なる特徴量を使用する。

また、本実施形態に係るフローチャートにおけるステップＳ２２４、ステップＳ２２６の処理では、カスケード型内における各強識別器によりウィンドウが棄却されると（つまり、目標物体では無いウィンドウと判断されると）、ラスタスキャンの処理（ステップＳ２２２の処理）に戻る。

また、本実施形態に係るフローチャートにおけるステップＳ２２７の処理では、図７に示されるフローチャートにおけるステップＳ１１９の処理と同じ処理位置（終端処理位置）において、物体認識部１３の第２の認識部３２は、ラスタスキャンが終了したか否かを判定し、この判定の結果、ラスタスキャンが終了するまで、ラスタスキャンの処理を繰り返して実行するためにステップＳ２２２の処理へ戻す。

［以上に示した実施形態に関する構成例の説明］
以上に示した実施形態（第１実施形態〜第６実施形態）に係る画像認識システムについて、（実施形態に係る構成例１）〜（実施形態に係る構成例１７）を示す。

（実施形態に係る構成例１）
第１〜６実施形態に係る画像認識システムの物体認識部１３では、撮像された輝度画像から勾配方向と勾配量を求め、勾配方向毎の勾配量画像（その積分画像は、インテグラルヒストグラムと呼ばれる場合がある）について、第１の認識部３１により、それぞれウィンドウをスキャンして、学習した勾配方向矩形特徴量（各方向に分けた勾配量から矩形特徴を抽出するもの）によるパターン認識で、目標物体が存在するウィンドウを絞り込み、そして、第２の認識部３２により、絞り込みしたウィンドウで再度パターン認識を行って、最終的に目標物体を認識する。

（実施形態に係る構成例２）
第１〜６実施形態に係る画像認識システムの物体認識部１３では、第１の認識部３１の処理は、第２の認識部３２の処理よりも、１ウィンドウ当たりの演算処理時間を短くする。

（実施形態に係る構成例３）
第１〜６実施形態に係る画像認識システムの物体認識部１３では、第１の認識部３１における勾配矩形特徴と識別器は、認識の際に、次のような＜実施形態に係る構成例３−１＞〜＜実施形態に係る構成例３−１１＞を用いる。

＜実施形態に係る構成例３−１＞
第１〜６実施形態に係る画像認識システムの物体認識部１３では、図１１に示されるように、勾配方向矩形特徴量として、勾配量画像の単矩形特徴量を用いる。

＜実施形態に係る構成例３−２＞
第１〜６実施形態に係る画像認識システムの物体認識部１３では、図１２に示されるように、勾配方向矩形特徴量として、勾配量画像のＨａａｒ−ｌｉｋｅ特徴量を用いる。

＜実施形態に係る構成例３−３＞
第１〜６実施形態に係る画像認識システムの物体認識部１３では、図１３に示されるように、勾配方向矩形特徴量として、勾配量画像の同じ勾配方向で、隣接した異なる矩形面積の複数の特徴（Ｈａａｒ−ｌｉｋｅ応用）を用いる。

＜実施形態に係る構成例３−４＞
第１〜６実施形態に係る画像認識システムの物体認識部１３では、図１４に示されるように、勾配方向矩形特徴量として、勾配量画像の同じ勾配方向で、隔たれた同じ（または、異なる）矩形面積の複数の特徴を用いる。

＜実施形態に係る構成例３−５＞
第１〜６実施形態に係る画像認識システムの物体認識部１３では、図１５に示されるように、勾配方向矩形特徴量として、勾配量画像の異なる勾配方向で、隔たれた同じ（または、異なる）矩形面積の複数の特徴を用いる。

＜実施形態に係る構成例３−６＞
第１〜６実施形態に係る画像認識システムの物体認識部１３では、勾配方向矩形特徴量で、複数の勾配矩形の関係を特徴量とする場合に、四則演算のうちのいずれかの演算式に適用する。

＜実施形態に係る構成例３−７＞
第１〜６実施形態に係る画像認識システムの物体認識部１３では、勾配方向矩形特徴量として、＜実施形態に係る構成例３−１＞〜＜実施形態に係る構成例３−６＞のうち、いずれか２つ以上を組み合わせたもの、または、全てを組み合わせたものを用いる。

＜実施形態に係る構成例３−８＞
第１〜６実施形態に係る画像認識システムの物体認識部１３では、図１８（Ａ）に示されるように、勾配方向矩形特徴量として、照明差による正規化を行うために、ウィンドウ単位の勾配平均値を用いる。

＜実施形態に係る構成例３−９＞
第１〜６実施形態に係る画像認識システムの物体認識部１３では、図１８（Ｂ）に示されるように、勾配方向矩形特徴量として、照明差による正規化を行うために、ウィンドウ単位の勾配標準偏差値を用いる。

＜実施形態に係る構成例３−１０＞
第１〜６実施形態に係る画像認識システムの物体認識部１３では、図１９に示されるように、勾配方向矩形特徴量として、照明差による正規化を行うために、ラスタスキャン領域の勾配平均値を用いる。

＜実施形態に係る構成例３−１１＞
第１〜６実施形態に係る画像認識システムの物体認識部１３では、図１９に示されるように、勾配方向矩形特徴量として、照明差による正規化を行うために、ラスタスキャン領域の勾配標準偏差値を用いる。

（実施形態に係る構成例４）
第１〜６実施形態に係る画像認識システムの物体認識部１３では、識別器（第１の認識部３１の識別器、および、実施形態２、４、５、６では勾配矩形特徴を用いる第２の認識部３２の識別器）は、勾配矩形特徴を学習して弱識別器として選択させ、認識の際に用いる。
なお、勾配方向矩形特徴量としては、例えば、（実施形態に係る構成例３）の＜実施形態に係る構成例３−１＞〜＜実施形態に係る構成例３−１１＞に示されるものを用いる。

（実施形態に係る構成例５）
第１〜６実施形態に係る画像認識システムの物体認識部１３では、識別器（第１の認識部３１の識別器や、第２の認識部３２の識別器）は、Ｂｏｏｓｔｉｎｇ等のアンサンブル学習により作られる。

（実施形態に係る構成例６）
第１〜６実施形態に係る画像認識システムの物体認識部１３では、識別器（第１の認識部３１の識別器や、第２の認識部３２の識別器）は、ＡｄａＢｏｏｓｔ、または、Ｒｅａｌ ＡｄａＢｏｏｓｔを用いる。

（実施形態に係る構成例７）
第１〜６実施形態に係る画像認識システムの物体認識部１３では、図２１（Ａ）、図２１（Ｂ）、図２１（Ｃ）に示されるように、第１の認識部３１の識別器は、最適な弱識別器を選択するために、特徴量のレンジを正規化する係数を用いる。

（実施形態に係る構成例８）
第１〜６実施形態に係る画像認識システムの物体認識部１３では、前記係数（特徴量のレンジを正規化する係数）は、学習により第１の認識部３１の識別器を作成する際、同時に学習して決定した値である。

（実施形態に係る構成例９）
第１、３、５、６実施形態に係る画像認識システムの物体認識部１３では、第２の認識部３２は、第１の認識部３１により用いられる勾配方向矩形特徴量とは異なる特徴量を用いる。

（実施形態に係る構成例１０）
第１、３、５、６実施形態に係る画像認識システムの物体認識部１３では、第２の認識部３２は、ＨＯＧ特徴量を用いる。

（実施形態に係る構成例１１）
第２、４、５、６実施形態に係る画像認識システムの物体認識部１３では、第１の認識部３１と第２の認識部３２は、勾配矩形特徴を用い、第１の認識部３１の弱識別器と第２の認識部３２の弱識別器とが異なる。つまり、第１の認識部３１と第２の認識部３２とで、例えば、勾配矩形特徴の勾配方向、種類、サイズおよび位置などに関して同じ弱識別器を繰り返して用いないようにする。
なお、勾配方向矩形特徴量としては、例えば、（実施形態に係る構成例３）の＜実施形態に係る構成例３−１＞〜＜実施形態に係る構成例３−１１＞に示されるものを用いる。

（実施形態に係る構成例１２）
第１〜６実施形態に係る画像認識システムの物体認識部１３では、第１の認識部３１の識別器と第２の認識部３２の識別器は、双方ともＢｏｏｓｔｉｎｇを用いて、第２の認識部３２の弱識別器の数よりも第１の認識部３１の弱識別器の数の方を少なくする。

（実施形態に係る構成例１３）
第１〜６実施形態に係る画像認識システムの物体認識部１３では、図２１（Ａ）、図２１（Ｂ）、図２１（Ｃ）に示されるように、第２の認識部３２の識別器は、最適な弱識別器を選択するために、特徴量のレンジを正規化する係数を用いる。

（実施形態に係る構成例１４）
第１〜６実施形態に係る画像認識システムの物体認識部１３では、前記係数（特徴量のレンジを正規化する係数）は、学習により第２の認識部３２の識別器を作成する際、同時に学習して決定した値である。

（実施形態に係る構成例１５）
第３〜６実施形態に係る画像認識システムの物体認識部１３では、第２の認識部３２は、第１の認識部３１で抽出したウィンドウの周辺を、さらにスキャン（絞り込み周辺スキャン）してから認識処理を実行する。

（実施形態に係る構成例１６）
第５実施形態に係る画像認識システムの物体認識部１３では、第１の認識部３１は、絞り込んだウィンドウについて、１回以上、再び、学習した勾配方向矩形特徴量によるパターン認識で、目標物体が存在するウィンドウを絞り込む。

（実施形態に係る構成例１７）
第６実施形態に係る画像認識システムの物体認識部１３では、第１の認識部３１の識別器と第２の認識部３２の識別器の何れかまたは両方は、カスケード型の構成を有する。

なお、第２、４、５、６実施形態において、第２の認識部３２では、第１の認識部３１と同様に勾配矩形特徴を用いる場合には、以上で明記したもの以外についても、第１の認識部３１で用いられる勾配矩形特徴に適用することが可能な構成を適用することが可能である。

以上のように、第１〜６実施形態に係る画像認識システムの物体認識部１３によると、画像認識の効率化を図ることができる。
第１〜６実施形態に係る画像認識システムの物体認識部１３によると、例えば、勾配矩形特徴を用いる識別器において少ない弱識別器の構成が可能であり、演算処理時間を短くすることができる。
また、第１〜６実施形態に係る画像認識システムの物体認識部１３によると、例えば、第１の認識部３１により比較的粗い処理を行った後に、第２の認識部３２により比較的細かい処理を行うことにより、全体として、演算処理時間を短くすることを図ることが可能である。

また、第１〜６実施形態に係る画像認識システムの物体認識部１３によると、例えば、車載用の装置に実装（組み込み）することが可能である。
このように、第１〜６実施形態に係る画像認識システムの物体認識部１３によると、例えば、識別性能を維持した上で、車載用の装置に実装（組み込み）することができる程度に十分な演算処理速度が得られるため、１つの装置で、車間距離制御装置（ＡＣＣ）や前方車両衝突警報装置（ＦＣＷ）や歩行者衝突警報装置などの適用が可能となる効果を有する。

第１〜６実施形態では、ターゲットとする物体の認識に好適な装置や、方法や、これらに用いるコンピュータプログラムなどを提供することができる。

［以上の実施形態についてのまとめ］
ここで、以上の実施形態では、図１（Ａ）に示される物体認識部１３を含む装置やシステムを車載用として車両に設ける構成を示したが、他の例として、他の任意の移動体に設けることも可能である。
また、以上の実施形態では、目標物体として、車両の背面を具体例として説明したが、例えば、車両の側面、２輪車、歩行者などや、あるいは、車室内の乗員の認識や顔の認識などのように、他の目標物体を認識する場合に適用することも可能である。

また、勾配方向矩形特徴量について、以上の実施形態では、勾配方向毎の積分画像による積分勾配画像（インテグラルヒストグラム）を用いて勾配方向矩形特徴量を作成する手法を例として示したが、必ずしも積分勾配画像（インテグラルヒストグラム）が用いられなくてもよく、他の構成例として、セル単位で１画素（１ｐｉｘｅｌ）毎に方向を投票するように処理する手法などのように、他の手法が用いられてもよい。

なお、図１（Ａ）および図１（Ｂ）における任意の構成部により行われる処理の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。ここで言う「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは、表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことを言う。さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことを言う。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記に限られず、マイクロコンピュータのほか、例えば、ＦＰＧＡ、あるいは、ＤＳＰなどのデバイスを用いて、図１（Ａ）および図１（Ｂ）における任意の構成部により行われる処理を実現することも可能である。

以上、本発明の各実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…カメラＥＣＵ、２…警報装置、３…ＡＣＣ−ＥＣＵ、１１…カメラ、１２…画像取得部、１３…物体認識部、１４…制御部、２１…ＦＰＧＡ（または、ＤＳＰ）、２２…マイクロコンピュータ、
１０１、１１１…ラスタスキャン領域、１０２、１１２…ウィンドウ、
２０１…画像、２０２…勾配強度画像、２０３、２０６、２０８−１〜２０８−８…積分勾配画像、２０４…ラスタスキャン領域、２０５…画像、２０７…勾配方向矩形特徴量、２０９…減算器、２１０−１〜２１０−８…処理、
３０１…単矩形、
３１１、３１２、３２１、３２２、３３１…勾配強度画像、
３４１−１〜３４１−Ｎ…画像、
３５１−１〜３５１−Ｎ…画像、
３６１−１〜３６１−Ｎ…画像、
４０１…平均勾配画像、４１１−１〜４１１−８…画像、
４２１−１〜４２１−８…画像、
５０１−１〜５０１−Ｎ、５１１…積分勾配画像、
５２１−１〜５２１−Ｎ、５３１…積分勾配２乗画像、
６０１…撮像画像領域、６１１…ラスタスキャン領域、６２１…ウィンドウ、
７０１…画像、７１１…ウィンドウ、７２１〜７２７…処理、
８０１…画像、８０２…勾配強度画像、８１１…単矩形、８１２…２矩形、
９０１−１〜９０１−８…勾配画像、９１１、９２１…平均勾配画像、
１００１…領域、１０１１…ウィンドウ、
２００１…輝度画像、２００２…累積行加算の結果、２００３…積分画像、
２０１１…２矩形、
２０２１、２０３１…セル、２０２２、２０３２…ブロック、２０２３…輝度勾配分布

Claims (21)

1. 画像を取得する画像取得部と、
   前記画像取得部により取得された画像の輝度の勾配方向および勾配量を求め、求められた勾配方向毎の勾配量について、第１の認識部により、ウィンドウをスキャンして、矩形特徴量を求めて、当該矩形特徴量に基づいて識別器により目標の物体が存在すると認識されるウィンドウを抽出し、第２の認識部により、前記第１の認識部により抽出されたウィンドウについて、あらかじめ定められた特徴量を求めて、当該特徴量に基づいて識別器により前記目標の物体を認識する物体認識部と、
   を備えることを特徴とする画像認識装置。
2. 前記物体認識部において、前記第１の認識部の処理は、前記第２の認識部の処理よりも、１ウィンドウ当たりの演算処理時間を短くした、
   ことを特徴とする請求項１に記載の画像認識装置。
3. 前記物体認識部は、前記矩形特徴量として、
   単矩形特徴量と、
   Ｈａａｒ−ｌｉｋｅ特徴量と、
   同じ勾配方向で、隣接した異なる矩形面積の複数の特徴（Ｈａａｒ−ｌｉｋｅ応用）による特徴量と、
   同じ勾配方向で、隔たれた同じまたは異なる矩形面積の複数の特徴による特徴量と、
   異なる勾配方向で、隔たれた同じまたは異なる矩形面積の複数の特徴による特徴量と、
   のうちの１つ以上を用いる、
   ことを特徴とする請求項１または請求項２に記載の画像認識装置。
4. 前記物体認識部は、前記矩形特徴量について、複数の矩形に関する関係を特徴量とする場合に、四則演算のうちのいずれかの演算式に適用する、
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像認識装置。
5. 前記物体認識部は、前記矩形特徴量として、
   ウィンドウ単位の平均値と、
   ウィンドウ単位の標準偏差値と、
   ラスタスキャン領域の平均値と、
   ラスタスキャン領域の標準偏差値と、
   のうちのいずれかを用いて、照明差による正規化を行う、
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像認識装置。
6. 前記物体認識部は、前記第１の認識部の識別器により、矩形特徴を学習して弱識別器として選択させ、この動作を認識の際に用いる、
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の画像認識装置。
7. 前記物体認識部は、前記第１の認識部の識別器と前記第２の認識部の識別器とのうちの一方または両方を、Ｂｏｏｓｔｉｎｇまたは他のアンサンブル学習により作る、
   ことを特徴とする請求項１から請求項６のいずれか１項に記載の画像認識装置。
8. 前記物体認識部は、前記第１の認識部の識別器と前記第２の認識部の識別器とのうちの一方または両方として、ＡｄａＢｏｏｓｔの識別器、または、Ｒｅａｌ ＡｄａＢｏｏｓｔの識別器を用いる、
   ことを特徴とする請求項１から請求項７のいずれか１項に記載の画像認識装置。
9. 前記物体認識部は、前記第１の認識部の識別器に関して、前記矩形特徴量のレンジを正規化する係数を用いる、
   ことを特徴とする請求項１から請求項８のいずれか１項に記載の画像認識装置。
10. 前記矩形特徴量のレンジを正規化する係数は、学習により前記第１の認識部の識別器を作成する際、同時に学習して決定された値である、
    ことを特徴とする請求項９に記載の画像認識装置。
11. 前記物体認識部は、前記第２の認識部により、前記あらかじめ定められた特徴量として、前記第１の認識部により用いられる矩形特徴量とは異なる特徴量を用いる、
    ことを特徴とする請求項１から請求項１０のいずれか１項に記載の画像認識装置。
12. 前記物体認識部は、前記第２の認識部により、前記あらかじめ定められた特徴量として、ＨＯＧ特徴量を用いる、
    ことを特徴とする請求項１１に記載の画像認識装置。
13. 前記物体認識部は、前記第２の認識部により、前記あらかじめ定められた特徴量として、前記勾配方向毎の前記勾配量についての矩形特徴量を用い、
    前記第１の認識部と前記第２の認識部とで異なる弱識別器を用いる、
    ことを特徴とする請求項１から請求項１０のいずれか１項に記載の画像認識装置。
14. 前記物体認識部は、前記第１の認識部の識別器と前記第２の認識部の識別器により、双方ともＢｏｏｓｔｉｎｇを用いて、前記第２の認識部の弱識別器の数よりも前記第１の認識部の弱識別器の数を少なくする、
    ことを特徴とする請求項１から請求項１３のいずれか１項に記載の画像認識装置。
15. 前記物体認識部は、前記第２の認識部の識別器に関して、前記あらかじめ定められた特徴量のレンジを正規化する係数を用いる、
    ことを特徴とする請求項１から請求項１４のいずれか１項に記載の画像認識装置。
16. 前記あらかじめ定められた特徴量のレンジを正規化する係数は、学習により前記第２の認識部の識別器を作成する際、同時に学習して決定された値である、
    ことを特徴とする請求項１５に記載の画像認識装置。
17. 前記物体認識部は、前記第２の認識部により、前記第１の認識部により抽出されたウィンドウの周辺を、さらにスキャンして、あらかじめ定められた特徴量を求めて、当該特徴量に基づいて識別器により前記目標の物体を認識する、
    ことを特徴とする請求項１から請求項１６のいずれか１項に記載の画像認識装置。
18. 前記物体認識部は、前記第１の認識部により、前記抽出したウィンドウについて、再び１回以上、矩形特徴量を求めて、当該矩形特徴量に基づいて識別器により目標の物体が存在すると認識されるウィンドウを抽出する、
    ことを特徴とする請求項１から請求項１７のいずれか１項に記載の画像認識装置。
19. 前記物体認識部において、前記第１の認識部の識別器と前記第２の認識部の識別器の何れかまたは両方は、カスケード型の構成を有する、
    ことを特徴とする請求項１から請求項１８のいずれか１項に記載の画像認識装置。
20. 画像取得部が、画像を取得し、
    物体認識部が、前記画像取得部により取得された画像の輝度の勾配方向および勾配量を求め、求められた勾配方向毎の勾配量について、第１の認識部により、ウィンドウをスキャンして、矩形特徴量を求めて、当該矩形特徴量に基づいて識別器により目標の物体が存在すると認識されるウィンドウを抽出し、第２の認識部により、前記第１の認識部により抽出されたウィンドウについて、あらかじめ定められた特徴量を求めて、当該特徴量に基づいて識別器により前記目標の物体を認識する、
    ことを特徴とする画像認識方法。
21. 画像取得部が、画像を取得する手順と、
    物体認識部が、前記画像取得部により取得された画像の輝度の勾配方向および勾配量を求め、求められた勾配方向毎の勾配量について、第１の認識部により、ウィンドウをスキャンして、矩形特徴量を求めて、当該矩形特徴量に基づいて識別器により目標の物体が存在すると認識されるウィンドウを抽出し、第２の認識部により、前記第１の認識部により抽出されたウィンドウについて、あらかじめ定められた特徴量を求めて、当該特徴量に基づいて識別器により前記目標の物体を認識する手順と、
    をコンピュータに実行させるための画像認識プログラム。