JP2009080522A - 物体画像認識装置 - Google Patents

Abstract

【課題】対象物体を認識するには輪郭を判定する必要があり、従来のエッジ強度や、エッジ強度を二値化する方法では、物体の輪郭を判定することが困難である。
【解決手段】認識対象物体が予め判明している静止画と、対象物体を認識するための静止画との二枚の静止画の各々から認識対象物体画像の対となる部分の特徴量を特徴量抽出手段で抽出して符号算出手段で符号化し、対となる部分の符号の積を符号積算出手段で求め、符号積を各静止画の認識対象物体画像の異なる複数の対となる部分に対してそれぞれ求め、求めた複数の符号積を成分とする静止画の符号積ベクトルを符号積ベクトル算出手段で求め、この符号積ベクトルを二枚の静止画に対し符号積ベクトル照合手段で照合し類似度を計算することで、対象物体を認識する。
【選択図】図１

Description

この発明は、例えば映像や静止画に写る特定の物体を認識する画像認識技術に関するものである。

映像や静止画などから特定物体の画像を抽出する画像認識技術においては、照明条件に依存せずに正確に目的の画像を認識することが重要な課題となっている。
従来の画像認識技術においては、エッジ強度を判定することで目的の物体か否かを判断する手法が非特許文献１に提案されている。この手法は、例えばエッジ強度がある閾値より一定以上であれば、例えば顔画像に類似している、などと判断する。また特許文献１には、増分符号と呼ばれるエッジ検出手法により画像照合を行なう技術が記載されている。この技術は隣り合うピクセルの輝度差を取り、輝度差が正であれば１を、輝度差が負であれば０を割り当て、画像を二値化し、画像認識を行なう手法である。

特開2006-146626号公報「パターン認識方法および装置」（株式会社日立製作所） Viola, P.; Jones, M., "Rapid Object Detection Using a Boosted Cascade of Simple Features", IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), ISSN: 1063-6919, Vol. 1, pp. 511-518, December 2001

以上のような従来技術の場合、次のような問題がある。例えば顔の輪郭を認識したい場合、その輪郭を捉える必要があるが、非特許文献１に記載のように、エッジ強度で判別する手法では輪郭か否か判定することが困難である。例えば、図４の画像Ａ、Ｂ、Ｃに示すようにエッジ強度を、白色領域の輝度合計―黒色領域の輝度合計、で計算したとする。物体が暗く背景が明るい画像Ａでは、顔の輪郭のエッジ強度は正になる。物体が明るく背景が暗い画像Ｂでは、顔の輪郭のエッジ強度は負になる。また物体も背景も明るい画像Ｃではエッジ強度は小さくなる。従って、エッジ強度に対して適当な閾値を設けて輪郭を判断することができない。
また特許文献１に記載されている方法によりエッジ強度を二値化しても画像Ａでは符号１に、画像Ｂでは符号０になるため、同様に輪郭が判断できない。

この発明は、上記問題点を解決するためになされたもので、照明条件などに依存せず、対象物を正確に認識することを目的とする。

この発明に係る物体画像認識装置は、取得された認識対象物体が予め判明している静止画と、対象物体を認識するための静止画との二枚の静止画の各々から認識対象物体画像の対となる部分の特徴量を求める特徴量抽出手段と、
特徴量抽出手段で求められた特徴量を離散化して符号を算出する符号算出手段と、
符号算出手段で算出された符号から対となる符号の積である符号積を計算する符号積算出手段と、
特徴量抽出手段と符号算出手段及び符号積算出手段の処理を複数回繰り返し上記認識対象物体画像の複数の異なる対となる部分の特徴量から認識対象物体に固有の複数のパターンの符号積を求め、符号積算出手段で計算された複数の符号積を成分とする各静止画の符号積ベクトルを求める符号積ベクトル算出手段と、
符号積ベクトル算出手段で得られた二枚の静止画の符号積ベクトル間の類似度を計算する符号積ベクトル照合手段とを備える。

この発明によれば、取得された認識対象物体が予め判明している静止画と、対象物体を認識するための静止画との二枚の静止画の各々から認識対象物体画像の対となる部分の特徴量を抽出して、その特徴量を符号化し、対となる部分の符号を乗算して符号積を求め、この符号積を各静止画の認識対象物体画像の異なる複数の対となる部分に対してそれぞれ求め、求めた複数の符号積を成分とする各静止画の符号積ベクトルを符号積ベクトル算出手段で求め、この符号積ベクトルを二枚の静止画で照合して類似度を計算することで、照明条件などに依存せずに特徴量同士の依存関係を求めることができ、正確な物体の認識を実現することが可能となる。

実施の形態１．
実施の形態１では、特徴量の符号積ベクトルを比較して二枚の画像の類似度を計算する手法について述べる。

図１はこの発明の実施の形態１による物体認識装置の機能構成を示すブロック図である。
画像取得部９０は、カメラや動画像などから静止画を取得する手段である。
特徴量抽出部１０１は、画像取得部９０で取得した静止画の認識対象物体の画像からエッジ強度や、エッジの方向や、色や、ウェーブレット変換係数や、離散コサイン変換係数などの画像の特徴量を求める手段である。
符号算出部１０２は、特徴量抽出部１０１で求めた特徴量の値を離散化し、それを特徴量の符号として出力する手段である。
符号積算出部１０３は、符号算出部１０２で求めた対となる２つの符号から、それらの積を求め、符号積として出力する手段である。
符号積ベクトル算出部１０４は、前記符号積を複数求めて、符号積ベクトルとして出力する手段である。
符号積ベクトル照合部１０５は、２つの符号積ベクトル間の類似度を求めることで、二枚の画像を照合する手段である。

次に、物体認識装置の動作について、図２および図３に示す動作手順に従って説明する。図２は、実施の形態１の動作フローチャートであり、図３は実施の形態１の動作例を図示したものである。

まず、画像取得部９０は画像照合の対象となる二枚の静止画、即ち、一枚は認識対象物体が予め判明している静止画、他の一枚は対象物体を認識するための静止画を取得する（ステップＳＴ１０１）。

次に、特徴量抽出部１０１は、画像取得部９０が取得した静止画の認識対象物体画像から対となる二つの特徴量を求める（ステップＳＴ１０２）。
ここで対となる二つの特徴量とは、認識対象となる物体の相関や対称性に基づいた任意の二箇所の特徴量である。例えば、人間の顔において、二つの目は左右対称な位置に存在するし、また目の位置と鼻の位置には大まかな相関がある。そこで人間の顔画像を認識したい場合には、両目の特徴量や、目と鼻の特徴量、口と鼻の特徴量など顔画像の対称性や相関に基づいた対となる特徴量を抽出する。
例えば、特徴量抽出部１０１は、特徴量として対となる二つのエッジ強度を求める。エッジ強度の算出例を図３(1)に示す。図３(1)は、両眼のエッジ強度を対として求めた例である。ここでエッジ強度は、領域内の白色領域の輝度合計から黒色領域の輝度合計を差し引いたものとして算出される。

また特徴量抽出部１０１は、特徴量として非特許文献１に記載の、“Rectangle Feature”と呼ばれるハール基底状のパターンを利用して、エッジ強度を求めてもよい。

また特徴量抽出部１０１が、認識対象物体画像から抽出する特徴量はエッジ強度に限らず、例えば色や、ウェーブレット変換係数や、離散コサイン変換係数などでもよい。あるいは参照文献１ Porikli, F.; Tuzel, O.; Meer, P.; ,“Covariance Tracking using Model Update Based on Lie Algebra”,Computer Vision and Pattern Recognition 2006, Volume 1, 17-22 June 2006 Page(s):728 - 735 に記載の、分散や共分散を特徴量として抽出してもよい。さらには参照文献２ 田口 進也、神田 準史郎、島 嘉宏、瀧口 純一、“特徴量ベクトルの相関係数行列を用いた少ないサンプルでの高精度画像認識 : 道路標識認識への適用”電子情報通信学会技術研究報告. IE, 画像工学、Vol.106, No.537(20070216) pp. 55-60、IE2006-270 に記載の相関係数を特徴量として抽出してもよい。

次に符号算出部１０２は、前記算出した対となる特徴量を離散化し、これを特徴量の符号として出力する（ステップＳＴ１０３）。
例えば、図３(2)に示すように、符号算出部１０２は、特徴量として求めたエッジ強度が"0"より大きければこのエッジ符号を"1"とし、求めたエッジ強度が"0"より小さければこの特徴量符号を"-1"とし、求めたエッジ強度が"0"であれば特徴量の符号を"0"とする。

または符号算出部１０２は、閾値を設定して、特徴量を離散化してもよい。例えば、符号算出部１０２は、閾値を“th”と設定し、特徴量として求めたエッジ強度が閾値“th”以上ならば特徴量の符号を“1”とし、エッジ強度が閾値“-th"以下ならば特徴量の符号を“-１”とし、エッジ強度が"-th"から"th"の間にある場合は特徴量の符号を“0”とする。

次に、符号積算出部１０３は、対となる符号の積を求める（ステップＳＴ１０４）。
例えば、図３(3)に示すように、符号積算出部１０３は、対となる特徴量の符号が（１、１）の場合には１×１＝１を出力する。あるいは対となる特徴量の符号が（−１、１）の場合には−１×１＝−１を出力する、などの計算を行なう。

次に符号積ベクトル算出部１０４は、ステップＳＴ１０２からステップＳＴ１０４の処理を繰り返し、複数パターンの符号積を求め、これを符号積ベクトルとして出力する（ステップＳＴ１０５）。ここで符号積ベクトル算出部１０４は、画像取得部９０で取得した二枚の静止画に対してそれぞれ符号積ベクトルを求める。
例えば、符号積ベクトル算出部１０４は、図３(4)に示すように、入力された認識対象物体画像である顔画像に対して複数の対となるエッジパターンに対して各々の符号積を求め、これらを成分とする符号積ベクトルを出力する。図３(4)の場合は５組の対となるエッジパターンに対し符号積を求め、これらを成分とする符号積ベクトル ＝ （１、０、−１、１、−１）を出力する。
ここで符号積のパターン選択方法として、例えばランダムに選択してもよいし、物体に固有の対称性などを考慮してパターンを予め選んでおいてもよい。

次に、符号積ベクトル照合部１０５は、前記ステップＳＴ１０５で求めた二枚の静止画の認識対象物体画像に対するそれぞれの符号積ベクトル間の類似度を求める（ステップＳＴ１０６）。
この類似度により、一枚は認識対象物体が予め判明している静止画であるから、他の一枚の静止画における対象物体を認識することができる。

符号積ベクトル照合部１０５による類似度の算出は、例えば、前記ステップＳＴ１０５で求めた符号積ベクトル間の内積を計算し、類似度として算出する。この類似度の大小により二つの画像が似通っているかどうかを判断することができる。
例えば、取得された一方の静止画の符号積ベクトルＶ１が
Ｖ１＝（１、１、−１、１）
であり、取得されたもう一方の静止画の符号積ベクトルＶ２が
Ｖ２＝（０、１、−１、−１）
の場合、Ｖ１とＶ２の類似度Ｓは
Ｓ ＝ ＜Ｖ１、Ｖ２＞
＝ １×０ ＋ １×１ ＋（−１）×（−１）＋ １×（−１）
＝ １
となる。

また例えば、符号積ベクトル照合部１０５は、２つの符号積ベクトルの中で値が同じ箇所をカウントし、これを類似度としてもよい。例えば、前記符号積ベクトルＶ１とＶ２が与えられた場合、値が同じ箇所は２番目と３番目の２箇所なので、Ｖ１とＶ２の類似度Ｓは２となる。
また例えば、符号積ベクトル照合部１０５は、２つの符号積ベクトルの角度やユークリッド距離、などの方法により算出し、これらを類似度としてもよい。

図４を用いて、実施の形態１で述べた手法の利点を述べる。
エッジ強度の符号積を求めた例を画像Ｄ、Ｅ、Ｆに示す。例えば、画像Ｄ、Ｅ、Ｆにおいて、対となる矩形状のエッジ強度を求めたとする。画像Ｄでは２つのエッジ強度は共に正であり、画像Ｅでは２つのエッジ強度は共に負であり、画像Ｆでは２つのエッジ強度は共に正である。従って、画像Ｄ、Ｅ、Ｆすべての場合においてエッジ強度の符号積は１となり、輪郭があると判断できる。
このように、特徴量の符号積を利用することで、画像の撮影条件や照明条件の変化などに依存せずに輪郭が判断でき、この輪郭判断に基づいて画像認識を行なうことが可能である。

実施の形態２．
実施の形態１では二枚の静止画の認識対象物体画像のそれぞれの符号積ベクトルを照合し、その二枚の静止画の認識対象物体画像の類似度を算出する手法について述べた。本実施の形態では、特定の物体の符号積ベクトルパターンデータベースを用いて、入力された静止画の認識対象物体画像が特定の物体か否かを判断する手法について述べる。

本実施の形態の構成図を図５に示す。本実施の形態は、実施の形態１の構成に符号積ベクトルパターンデータベース２０６を追加したものである。ここで、符号積ベクトルパターンデータベース２０６は、例えば、様々な物体の画像に対して予め求めた符号積ベクトルと、その物体の種類情報、例えば人物の顔や道路標識などを保存したものである。

ここで符号積ベクトルパターンデータベース２０６に保存される符号積ベクトルパターンは、多数の画像を集め、その画像から符号積ベクトルを算出して、それらを保存しておいてもよい。
また符号積ベクトルパターンデータベース２０６に保存される符号積ベクトルパターンは、参照文献３ Robert E. Schapire, Yoram Singer, “Improved Boosting Algorithms Using Confidence-rated Predictions”, Machine Learning,Volume 37, Issue 3, The Eleventh Annual Conference on computational Learning Theory, Pages: 297 336,1999 に記載のAdaboostなどの統計的学習手法を用いて決定してもよい。

以下、本実施の形態の動作について述べる。
まず、画像取得部９０は画像照合の対象となる一枚の静止画を取得する。

次に、実施の形態１同様に、画像取得部９０が取得した静止画の認識対象物体画像に対して、特徴量抽出部１０１は認識対象物体の特徴量を抽出し、符号算出部１０２は特徴量抽出部１０１が求めた特徴量の値を離散化して特徴量の符号を求め、符号積算出部１０３は対となる特徴量の符号の積を算出し、符号積ベクトル算出部１０４は複数パターンの符号積を計算して符号積ベクトルを求め、出力する。

次に、符号積ベクトル照合部１０５は、符号積ベクトル算出部１０４で求めた符号積ベクトルと、符号積ベクトルパターンデータベース２０６に保存された符号積ベクトルとの照合を行ない、入力画像に写る対象物体の種類や性質を決定する。

例えば、符号積ベクトル照合部１０５は、符号積ベクトル算出部１０４で求めた符号積ベクトルと、符号積ベクトルパターンデータベース２０６に保存された符号積ベクトルとの類似度を実施の形態１におけるステップＳＴ１０６と同様の処理によって求め、符号積ベクトルパターンデータベース２０６の中で最も類似度の高い符号積ベクトルを探し、入力画像に写る物体の種類、例えば人物の顔などを決定する。

本実施の形態で述べたように、符号積ベクトルのパターンを保持しておくことで、様々な種類の対象物を判別することができる。

実施の形態３．
特定の対象物ではなく、画像のテクスチャを分類したいという要求がある場合、特徴量の符号積ではなく、特徴量の符号そのものを利用したほうがよい認識結果が得られる。
そこで本実施の形態では、符号積ベクトルではなく、符号ベクトルを利用して、テクスチャ画像などを認識する手法について述べる。

本実施の形態の構成図を図６に示す。
本実施の形態３では、図５に示す実施の形態２の構成から符号積算出部１０３と、符号積ベクトル算出部１０４と、符号積ベクトル照合１０５とを取り除き、代わりに符号ベクトル算出部３０４と符号ベクトル照合部３０５を追加し、符号積ベクトルパターンデータベース２０６の代わりに符号ベクトルパターンデータデータベース３０６を設けたものである。

以下、本実施の形態の動作について述べる。
まず、画像取得部９０は一枚の静止画を取得する。

次に、画像取得部９０が取得した静止画の認識対象物体画像に対して、特徴量抽出部１０１は特徴量を抽出する。例えば、図７(1)に示すように、認識対象物体画像がビルの窓のように周期的な場合、その周期に合わせた周期的な矩形状のエッジの強度を求める。

次に、符号算出部１０２は前記特徴量抽出部１０１が求めた特徴量の値を離散化して特徴量の符号を求める。例えば、図７(2)に示すように、矩形状のエッジ強度が0より大きければ１を特徴量の符号とする。

次に、符号ベクトル算出部３０４は、特徴量抽出部１０１による特徴量抽出処理と符号算出部１０２による符号を求める処理を繰り返し、複数パターンの特徴量の符号を求め、これを符号ベクトルとして出力する。
例えば、図７(3)に示すように、ビルの窓の画像に特徴的な周期的エッジパターンの符号を求め、これらを成分とする特徴量の符号ベクトルを出力する。

次に、符号ベクトル照合部３０５は、符号ベクトル算出部３０４で求めた符号ベクトルと、符号ベクトルパターンデータベース３０６に保存された符号ベクトルとの照合を行ない、認識対象物体の種類や性質を決定する。

例えば、符号ベクトル照合部３０５は、符号ベクトル算出部３０４で求めた符号ベクトルと、符号ベクトルパターンデータベース３０６に保存された符号ベクトルとの類似度を実施の形態１におけるステップＳＴ１０６と同様の処理によって求め、符号ベクトルパターンデータベース３０６の中で最も類似度の高い符号ベクトルを探し、認識対象物体の種類を決定する。

ここで符号ベクトルパターンデータベース３０６に保存される符号ベクトルパターンは、多数の画像を集め、その画像から符号ベクトルを算出して、それらを保存しておいてもよい。また参照文献３に記載のAdaboostなどの統計的学習手法を用いて、符号ベクトルパターンを抽出し、保存しておくこともできる。

以上のように、本実施の形態では、例えば、複雑なパターンの矩形状のエッジの符号を求め、それらの符号ベクトルを利用することで、周期的なテクスチャを持つ物体を判別することが可能である。

なお、本実施の形態は上記実施の形態２に対応する構成について説明したが、実施の形態１に対応する構成であってもよい。即ち図６から符号ベクトルパターンデータデータベース３０６を省いた構成にする。次にその構成の概略動作について説明する。

画像取得部９０は、認識対象物体が予め判明している静止画と、対象物体を認識するための静止画との二枚の静止画を取得する。
特徴量抽出部１０１は、画像取得部９０が取得した静止画の認識対象物体画像から対となる二つの特徴量を求める。例えば、図３(1)に示すように特徴量として対となる両眼のエッジ強度を求める。エッジ強度の算出は、領域内の白色領域の輝度合計から黒色領域の輝度合計を差し引いたものとして算出される。

符号算出部１０２は、前記算出した対となる特徴量を離散化し、これを特徴量の符号として出力する。例えば、図３(2)に示すように、特徴量として求めたエッジ強度が"0"より大きければこのエッジ符号を"1"とし、求めたエッジ強度が"0"より小さければこの特徴量符号を"-1"とし、求めたエッジ強度が"0"であれば特徴量の符号を"0"とする。

次に符号ベクトル算出部３０４は、特徴量抽出部１０１と符号算出部１０２の処理を繰り返し、複数パターンの符号を求め、これを符号ベクトルとして出力する（。ここで符号ベクトル算出部３０４は、画像取得部９０で取得した二枚の静止画に対してそれぞれ符号ベクトルを求める。
次に、符号ベクトル照合部３０５は、符号ベクトル算出部３０４で求めた二枚の静止の認識対象画像に対するそれぞれの符号ベクトル間の類似度を求める。

符号ベクトル照合部３０５は、符号ベクトル算出部３０４で求めた符号ベクトル間の内積を計算し、類似度として算出する。また、符号ベクトル照合部３０５は、２つの符号ベクトルの中で値が同じ箇所をカウントし、これを類似度としてもよい。この類似度の大小により二つの画像が似通っているかどうかを判断することができる。
この類似度により、一枚は認識対象物体が予め判明している静止画であるから、他の一枚の静止画における対象物体を認識することが可能となる。

以上の、実施の形態１、実施の形態２および実施の形態３を組み合わせることで、画像認識を行なってもよい。

実施の形態４．
実施の形態１および実施の形態２では対となる符合の積（符号積）を利用して物体を認識する手法について述べた。しかし、抽出する特徴量によっては符号の積が計算できないことがある。そこで本実施の形態では、対となる符合の距離（符号距離）を利用した物体認識手法について述べる。

本実施の形態の構成図を図８に示す。
本実施の形態４では、図１に示す実施の形態１の構成から符号積算出部１０３と、符号積ベクトル算出部１０４と、符号積ベクトル照合１０５とを取り除き、代わりに符号距離算出部４０３と符号距離ベクトル算出部４０４および符号距離ベクトル照合部４０５を追加したものである。

次に実施の形態４の動作例について述べる。図９は、実施の形態４の動作フローチャートである。
まず、実施の形態１同様に、画像取得部９０は画像照合の対象となる二枚の静止画、即ち、一枚は認識対象物体が予め判明している静止画、他の一枚は対象物体を認識するための静止画を取得する（ステップＳＴ４０１）。

次に、特徴量抽出部１０１は、画像取得部９０が取得した静止画の認識対象物体画像から対となる二つの特徴量を求める（ステップＳＴ４０２）。
ここで対となる二つの特徴量とは、認識対象となる物体の相関や対称性に基づいた任意の二箇所の特徴量である。例えば、人間の顔において、二つの目は左右対称な位置に存在するし、また目の位置と鼻の位置とは大まかな相関がある。そこで人間の顔画像を認識したい場合には、両目の特徴量や、目と鼻の特徴量、口と鼻の特徴量など顔画像に特徴的な２箇所の特徴量を抽出する。

例えば、特徴量抽出部１０１は、特徴量としてエッジの方位角を抽出してもよい。また特徴量抽出部１０１は、参照文献１に記載の分散共分散行列や、参照文献２に記載の相関係数行列（相関行列）などの行列を特徴量として抽出してもよい。

次に符号算出部１０２は、前記算出した対となる特徴量を必要に応じて離散化し、これを特徴量の符号として出力する（ステップＳＴ４０３）。
例えば、特徴量抽出部１０１において、エッジの方位角θを特徴量として抽出したとする。ここで方位角θは、０≦θ≦２πである。このとき例えば符号算出部１０２は、次式に従いθを８段階に離散化した値δを求め、これを特徴量の符号として出力する。
δ＝floor(θ/ (２π/8))
ここで floor は床関数(floor function)であり、また離散化値δは ０≦δ≦７ である。

また、例えば特徴量抽出部１０１が前述の分散共分散行列や相関係数行列を特徴量として抽出した場合、符号算出部１０２は特にこれらの特徴量に対する離散化を行なわなくてもよい。 これは、分散共分散行列や相関係数行列などの特徴量は連続値として意味を持つためである。

次に、符号距離算出部４０３は、対となる符号の距離（符号距離）を求める（ステップＳＴ４０４）。
例えば、符号算出部１０２でエッジの方位角を離散化し、対となる符号δ１とδ２を求めたとする。ここで０≦δ１≦７，０≦δ２≦７，である。このとき、符号距離算出部４０３は、符号δ１と符号δ２の距離ｄを次式に従って求める。
ｄ=min(|δ１―δ２|，８−|δ１―δ２|)
ここで距離ｄは、対となる二つのエッジの方位角がお互いに近いほど小さな値をとる。

また例えば、符号算出部１０２で対となる分散共分散行列Ｍ１とＭ２を求めたとする。このとき符号距離算出部４０３は、参考文献１に記載の方法に従って行列Ｍ１とＭ２の距離ｄとして算出してもよい。 すわなち、符号距離算出部４０３は、行列Ｍ１とＭ２の一般化固有値を求め、次にそれら一般化固有値の対数の二乗和を求め、最後に求めた二乗和の平方根を求め、これを行列Ｍ１とＭ２の距離ｄとして算出してもよい。

次に符号距離ベクトル算出部４０４は、ステップＳＴ４０２からステップＳＴ４０４の処理を繰り返し、複数パターンの対となる特徴量に対して各々符号距離を求め、これを符号距離ベクトルとして出力する（ステップＳＴ４０５）。ここで符号距離ベクトル算出部４０４は、画像取得部９０で取得した二枚の静止画に対してそれぞれ符号距離ベクトルを求める。

次に、符号距離ベクトル照合部４０５は、前記ステップＳＴ４０５で求めた二枚の静止画の認識対象物体画像に対するそれぞれの符号距離ベクトル間の類似度を求める（ステップＳＴ４０６）。
この類似度により、一枚は認識対象物体が予め判明している静止画であるから、他の一枚の静止画における対象物体を認識することができる。

符号距離ベクトル照合部４０５による類似度の算出は、例えば、前記ステップＳＴ４０５で求めた符号距離ベクトル間の内積を計算し、類似度として算出する。この類似度の大小により二つの画像が似通っているかどうかを判断することができる。
また符号距離ベクトル照合部４０５における類似度は、２つの符号距離ベクトルの角度やユークリッド距離などの方法により算出してもよい。

例えば特徴量として、エッジの方位角や分散共分散行列を抽出した場合には、それらの符号積は意味を持たない。従って、本実施の形態で述べたように符号距離を求めることで、抽出した特徴量に応じた画像認識が可能となる。

実施の形態５．
実施の形態４では二枚の静止画の認識対象物体画像のそれぞれの符号距離ベクトルを照合し、その二枚の静止画の認識対象物体画像の類似度を算出する手法について述べた。本実施の形態では、特定の物体の符号距離ベクトルパターンデータベースを用いて、入力された静止画の認識対象物体画像が特定の物体か否かを判断する手法について述べる。

稲荷
本実施の形態の構成図を図１０に示す。本実施の形態は、実施の形態４の構成に符号距離ベクトルパターンデータベース５０６を追加したものである。ここで、符号距離ベクトルパターンデータベース５０６は、例えば、様々な物体の画像に対して予め求めた符号距離ベクトルと、その物体の種類情報、例えば人物の顔や道路標識などを保存したものである。

ここで符号距離ベクトルパターンデータベース５０６に保存される符号距離ベクトルパターンは、多数の画像を集め、その画像から符号距離ベクトルを算出して、それらを保存しておいてもよい。
また符号距離ベクトルパターンデータベース５０６に保存される符号距離ベクトルパターンは、参照文献３に記載のAdaboostなどの統計的学習手法を用いて決定してもよい。

以下、本実施の形態の動作について述べる。
まず、画像取得部９０は画像照合の対象となる一枚の静止画を取得する。

次に、実施の形態１同様に、画像取得部９０が取得した静止画の認識対象物体画像に対して、特徴量抽出部１０１は認識対象物体の特徴量を抽出し、符号算出部１０２は特徴量抽出部１０１が求めた特徴量の値を離散化して特徴量の符号を求め、符号距離算出部４０３は対となる特徴量の符号の距離を算出し、符号距離ベクトル算出部４０４は複数パターンの符号距離を計算して符号距離ベクトルを求め出力する。

次に、符号距離ベクトル照合部４０５は、符号距離ベクトル算出部４０４で求めた符号距離ベクトルと、符号距離ベクトルパターンデータベース５０６に保存された符号距離ベクトルとの照合を行ない、入力画像に写る対象物体の種類や性質を決定する。

例えば、符号距離ベクトル照合部４０５は、符号距離ベクトル算出部４０４で求めた符号距離ベクトルと、符号距離ベクトルパターンデータベース５０６に保存された符号距離ベクトルとの類似度を実施の形態４におけるステップＳＴ４０６と同様の処理によって求め、符号距離ベクトルパターンデータベース５０６の中で最も類似度の高い符号距離ベクトルを探し、入力画像に写る物体の種類、例えば人物の顔などを決定する。

本実施の形態で述べたように、符号距離ベクトルのパターンを符号距離ベクトルパターンデータベース５０６に保持しておくことで、様々な種類の対象物を判別することができる。

この発明に係る物体画像認識装置は道路標識認識装置や人物カウント装置などに利用可能である。

この発明の実施の形態１の構成図である。 実施の形態１の動作フローチャートである。 実施の形態１の動作例を図示した説明図である。 従来技術とこの発明による目的画像判断の効果説明図である。 実施の形態２の構成図である。 実施の形態３の構成図である。 実施の形態３の動作例を図示した説明図である。 実施の形態４の構成図である。 実施の形態４の動作フローチャートである。 実施の形態５の構成図である。

符号の説明

９０；画像取得部、１０１；特徴量抽出部、１０２；符号算出部、１０３；符号積算出部、１０４；符号積ベクトル算出部、１０５；符号積ベクトル照合部、２０６；符号積ベクトルパターンデータベース、３０４；符号ベクトル算出部、３０５；符号ベクトル照合部、３０６；符号ベクトルパターンデータデータベース、４０３；符号距離算出部、４０４；符号距離ベクトル算出部、４０５；符号距離ベクトル照合部、５０６；符号距離ベクトルパターンデータベース。

Claims (16)

1. 取得された認識対象物体が予め判明している静止画と、対象物体を認識するための静止画との二枚の静止画の各々から認識対象物体画像の対となる部分の特徴量を求める特徴量抽出手段と、
   特徴量抽出手段で求められた特徴量を離散化して符号を算出する符号算出手段と、
   符号算出手段で算出された符号から対となる符号の積である符号積を計算する符号積算出手段と、
   特徴量抽出手段と符号算出手段及び符号積算出手段の処理を複数回繰り返し上記認識対象物体画像の複数の異なる対となる部分の特徴量から複数の符号積を求め、符号積算出手段で計算された複数の符号積を成分とする各静止画の符号積ベクトルを求める符号積ベクトル算出手段と、
   符号積ベクトル算出手段で得られた二枚の静止画の符号積ベクトル間の類似度を計算する符号積ベクトル照合手段とを備えたことを特徴とする物体画像認識装置。
2. 特徴量抽出手段は、認識対象物体に固有な相関や対称性に基づく複数の対となる部分の特徴量を抽出し、
   符号積算出手段は、特徴量抽出手段で抽出した特徴量が符号算出手段で符号化された符号から認識対象物体に固有な相関や対称性に基づく複数のパターンの符号積を求める構成にされたことを特徴とする請求項１記載の物体画像認識装置。
3. 符号積ベクトル照合手段は、符号積ベクトルの内積により画像の類似度を計算する構成にされたことを特徴とする請求項１記載の物体画像認識装置。
4. 符号積ベクトル照合手段は、二つの符号積ベクトルの間で値が同じ箇所をカウントすることにより画像の類似度を計算する構成にされたことを特徴とする請求項１記載の物体画像認識装置。
5. 認識対象物体が予め判明している静止画の代わりに様々な物体画像の符号積ベクトルがパターンとして保持される符号積ベクトルパターンデータベースを備え、
   符号積ベクトル照合手段は、対象物体を認識するための静止画の符号積ベクトルと符号積ベクトルパターンデータベースの符号積ベクトルとを照合することで、認識対象物体の種類を決定する構成にされたことを特徴とする請求項１記載の物体画像認識装置。
6. 取得された認識対象物体が予め判明している静止画と、対象物体を認識するための静止画との二枚の静止画の各々から認識対象物体画像の対となる部分の特徴量を求める特徴量抽出手段と、
   特徴量抽出手段で求められた特徴量を離散化して符号を算出する符号算出手段と、
   特徴量抽出手段と符号算出手段の処理を複数回繰り返し上記認識対象物体画像に固有の特徴量から複数の符号を求め、複数の符号を成分とする各静止画の符号のベクトルを求める符号ベクトル算出手段と、
   符号ベクトル算出手段で得られた二枚の静止画の符号ベクトル間の類似度を計算する符号ベクトル照合手段とを備えたことを特徴とする物体画像認識装置。
7. 符号ベクトル照合手段は、符号ベクトルの内積により画像の類似度を計算する構成にされたことを特徴とする請求項６記載の物体画像認識装置。
8. 符号ベクトル照合手段は、二つの符号ベクトルの間で値が同じ箇所をカウントすることにより画像の類似度を計算する構成にされたことを特徴とする請求項６記載の物体画像認識装置。
9. 認識対象物体が予め判明している静止画の代わりに様々な物体画像の符号ベクトルがパターンとして保持される符号ベクトルパターンデータベースを備え、
   符号ベクトル照合手段は、対象物体を認識するための静止画の符号ベクトルと符号ベクトルパターンデータベースの符号ベクトルとを照合することで、認識対象物体の種類を決定する構成にされたことを特徴とする請求項６記載の物体画像認識装置。
10. 符号積ベクトル照合手段は、二つの符号積ベクトルの角度または、二つの符号積ベクトルのユークリッド距離により画像の類似度を計算する構成されたことを特徴とする請求項１記載の物体画像認識装置。
11. 取得された認識対象物体が予め判明している静止画と、対象物体を認識するための静止画との二枚の静止画の各々から認識対象物体画像の対となる部分の特徴量を求める特徴量抽出手段と、
    特徴量抽出手段で求められた特徴量を離散化して符号を算出する符号算出手段と、
    符号算出手段で算出された符号から対となる符号の距離である符号距離を計算する符号距離算出手段と、
    特徴量抽出手段と符号算出手段及び符号距離算出手段の処理を複数回繰り返し上記認識対象物体画像の複数の異なる対となる部分の特徴量から複数の符号距離を求め、符号距離算出手段で計算された複数の符号距離を成分とする各静止画の符号距離ベクトルを求める符号距離ベクトル算出手段と、
    符号距離ベクトル算出手段で得られた二枚の静止画の符号距離ベクトル間の類似度を計算する符号距離ベクトル照合手段とを備えたことを特徴とする物体画像認識装置。
12. 特徴量抽出手段は、認識対象物体に固有な相関や対称性に基づく複数の対となる部分の特徴量を抽出し、
    符号距離算出手段は、特徴量抽出手段で抽出した特徴量が符号算出手段で符号化された符号から認識対象物体に固有な相関や対称性に基づく複数のパターンの符号距離を求める構成にされたことを特徴とする請求項１１記載の物体画像認識装置。
13. 符号距離ベクトル照合手段は、符号距離ベクトルの内積により画像の類似度を計算する構成にされたことを特徴とする請求項１１記載の物体画像認識装置。
14. 符号距離ベクトル照合手段は、二つの符号距離ベクトルの間で値が同じ箇所をカウントすることにより画像の類似度を計算する構成にされたことを特徴とする請求項１１記載の物体画像認識装置。
15. 符号距離ベクトル照合手段は、二つの符号距離ベクトルの角度または、二つの符号距離ベクトルのユークリッド距離により画像の類似度を計算する構成にされたことを特徴とする請求項１１記載の物体画像認識装置。
16. 認識対象物体が予め判明している静止画の代わりに様々な物体画像の符号距離ベクトルがパターンとして保持される符号距離ベクトルパターンデータベースを備え、
    符号距離ベクトル照合手段は、対象物体を認識するための静止画の符号距離ベクトルと符号距離ベクトルパターンデータベースの符号距離ベクトルとを照合することで、認識対象物体の種類を決定する構成にされたことを特徴とする請求項１１記載の物体画像認識装置。

Images