JP2010231254A - 画像解析装置、画像解析方法およびプログラム - Google Patents

Abstract

【課題】オブジェクトの検出処理と特定オブジェクトの追跡処理とを効率的にすることができる画像解析装置を提供すること。
【解決手段】画像解析装置は、動画に含まれる複数の動画構成画像のそれぞれに撮像された特定被写体のオブジェクトから、種類が異なる複数の特徴量を抽出する特徴量抽出部と、抽出された複数の特徴量の信頼度を算出する信頼度算出部と、特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する特徴量記憶部とを備える。
【選択図】図２

Description

本発明は、画像解析装置、画像解析方法およびプログラムに関する。

携帯情報端末において動画像から高速に顔と顔部品を追跡することができるとされる顔追跡方法が知られている（例えば、特許文献１参照。）。また、人物の向きによらず、少ない計算量で監視領域内の人物の同定を行なうことができるとされる画像監視装置が知られている（例えば、特許文献２参照。）。
特開２００６−２２８０６１号公報 特開２０００−３５０１８７号公報

上記引用文献１に記載の技術では、不十分な精度の特徴量が記憶されると、顔部品を追跡できなくなってしまう。上記引用文献２に記載の技術においても同様に、人物の同定に不十分な精度の特徴量が記憶されると、人物を同定することができなくなってしまう。

上記課題を解決するために、本発明の第１の態様においては、画像解析装置であって、動画に含まれる複数の動画構成画像のそれぞれに撮像された特定被写体のオブジェクトから、種類が異なる複数の特徴量を抽出する特徴量抽出部と、抽出された複数の特徴量の信頼度を算出する信頼度算出部と、特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する特徴量記憶部とを備える。

信頼度算出部は、当該特定被写体のオブジェクトから抽出されるべき予め定められた複数の基準特徴量に対する抽出された特徴量の適合度が高い場合に、より大きい信頼度を算出してよい。

信頼度算出部は、抽出された特徴量が、画質がより高い特定被写体の画像から抽出された場合に、より大きい信頼度を算出してよい。

信頼度算出部は、抽出された特徴量が、解像度がより高い特定被写体の画像から抽出された場合に、より大きい信頼度を算出してよい。

信頼度算出部は、抽出された特徴量が、階調幅がより広い特定被写体の画像から抽出された場合に、より大きい信頼度を算出してよい。

特徴量記憶部は、抽出された複数の特徴量のうち、予め定めれた値より大きい信頼度で抽出された特徴量を記憶してよい。

特徴量記憶部は、複数の動画構成画像から抽出された同一種類の複数の特徴量のうち、より大きい信頼度で抽出された特徴量をより優先して記憶してよい。

特徴量記憶部は、一の動画構成画像から抽出された複数種類の特徴量のうち、より大きい信頼度で抽出された種類の特徴量をより優先して記憶してよい。

特徴量記憶部は、信頼度にさらに対応づけて特徴量を記憶しており、画像解析装置は、特徴量記憶部が記憶している信頼度より大きい信頼度の特徴量が他の動画構成画像から抽出された場合に、特徴量記憶部が記憶している特徴量を、当該他の動画構成画像から抽出された特徴量で更新する特徴量更新部をさらに備えてよい。

所定の特徴量に適合する特徴量が画像から抽出されるべき被写体の種別を示す種別情報を、所定の特徴量に対応づけて格納する被写体情報格納部と、特徴量記憶部が記憶している特徴量に適合する特徴量に対応づけて被写体情報格納部が格納している種別情報が示す被写体の種別を、特徴量記憶部が記憶している特徴量が抽出された被写体の種別として判断する被写体特定部とをさらに備えてよい。

被写体情報格納部は、複数の特徴量の組み合わせに対応づけて、当該複数の特徴量にそれぞれ適合する複数の特徴量が抽出されるべき被写体の種別を示す種別情報を格納し、被写体特定部は、特徴量記憶部が記憶している複数の特徴量にそれぞれ適合する複数の特徴量に対応づけて被写体情報格納部が格納している種別情報が示す被写体の種別を、特徴量記憶部が記憶している複数の特徴量が抽出された被写体の種別として判断してよい。

検索する被写体像から抽出されるべき特徴量を取得する検索被写体情報取得部と、検索被写体情報取得部が取得した特徴量に適合する特徴量を、特徴量記憶部が記憶している特徴量の中から特定する特徴量抽出部と、特徴量抽出部が抽出した特徴量が抽出された被写体を識別する情報を出力する出力部とをさらに備えてよい。

本発明の第２の態様においては、画像解析方法であって、動画に含まれる複数の動画構成画像のそれぞれに撮像された特定被写体のオブジェクトから、種類が異なる複数の特徴量を抽出する特徴量抽出段階と、抽出された複数の特徴量の信頼度を算出する信頼度算出段階と、特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する特徴量記憶段階とを備える。

本発明の第３の態様においては、画像解析装置のプログラムであって、コンピュータを、動画に含まれる複数の動画構成画像のそれぞれに撮像された特定被写体のオブジェクトから、種類が異なる複数の特徴量を抽出する特徴量抽出部、抽出された複数の特徴量の信頼度を算出する信頼度算出部、特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する特徴量記憶部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態における画像処理システム１０の一例を示す。以下に説明するように、画像処理システム１０は、一実施形態において店舗用の画像処理システムとして機能することができる。

画像処理システム１０は、店舗空間１６０を撮像する複数の撮像装置１００ａ−ｂ、店舗サーバ１７０、通信ネットワーク１５０、画像解析装置１１０、解析結果データベース１１２、および端末装置１８０を備える。なお、以下の説明において、撮像装置１００ａおよび撮像装置１００ｂを、撮像装置１００と総称する場合がある。同様に、以後の説明においては、末尾の英文字など、数字符号に続く文字を省略することで、数字符号が指し示すものを総称することがある。

撮像装置１００ａは店舗空間１６０を撮像する。撮像装置１００ａは、店舗空間１６０内の人物１６４ａおよび人物１６４ｂを、店舗空間１６０内の商品棚１６２ａ、商品棚１６２ｂなどとともに撮像して、動画を生成する。撮像装置１００ａは、店舗空間１６０を撮像して得られた動画を、店舗サーバ１７０に供給する。なお、撮像装置１００ｂは、撮像装置１００ａと異なる位置に設けられる。その他の点では、撮像装置１００ｂの機能および動作は撮像装置１００ａの機能および動作と略同一であるので、撮像装置１００については説明を省略する。

店舗サーバ１７０は、撮像装置１００ａおよび撮像装置１００ｂから供給された動画を、画像解析装置１１０に向けて通信ネットワーク１５０に送出する。通信ネットワーク１５０としては、インターネットなどの電気通信回線を例示することができる。店舗サーバ１７０は、例えば撮像装置１００の近傍に設けられる。他の形態において、店舗サーバ１７０は店舗空間１６０内に設けられてもよい。

また、店舗サーバ１７０は、撮像装置１００の撮像動作を制御する。例えば、店舗サーバ１７０は、撮像装置１００の撮像機能のオン／オフ、撮像レートなどを制御する。撮像装置１００がズーム撮影できる場合には、店舗サーバ１７０は撮像装置１００のズーム値を制御してもよい。また、撮像装置１００の撮像方向が可変である場合には、店舗サーバ１７０は撮像装置１００の撮像方向を制御してもよい。

画像解析装置１１０は、店舗空間１６０とは異なる空間に設けられ、撮像装置１００がそれぞれ撮像した動画を、通信ネットワーク１５０を通じて店舗サーバ１７０から取得する。画像解析装置１１０は、動画を解析して、解析結果を端末装置１８０に向けて通信ネットワーク１５０に送出する。

なお、画像解析装置１１０は、解析結果を解析結果データベース１１２に出力してもよい。画像解析装置１１０は、解析結果を解析結果データベース１１２から読み出して、読み出した解析結果を端末装置１８０に送信してもよい。なお、解析結果データベース１１２は、画像解析装置１１０が有してもよい。他にも、解析結果データベース１１２は、画像解析装置１１０が設けられた空間とは異なる空間に設けられてよい。この場合、画像解析装置１１０は、通信ネットワーク１５０を介して解析結果データベース１１２に解析結果を送信してもよい。

端末装置１８０は、画像解析装置１１０による解析結果を、通信ネットワーク１５０を通じて画像解析装置１１０から取得する。端末装置１８０は、解析結果をユーザの指示に応じて加工して表示する。端末装置１８０は、画像解析装置１１０が設けられた空間とは異なる空間に設けられてよい。端末装置１８０は、店舗空間１６０の近傍または店舗空間１６０内に設けられてもよい。

以下に、画像解析装置１１０の動作の一例を概略的に説明する。画像解析装置１１０は、撮像装置１００が撮像した動画に含まれる複数のフレーム画像のそれぞれから、人物１６４などの移動体が撮像されたオブジェクトを検出するとともに、同じ被写体のオブジェクトを画像内において追跡する。このとき、画像解析装置１１０は、複数の弱識別器を利用してオブジェクトを検出および追跡する。

具体的には、画像解析装置１１０は、低解像度画像から識別結果を算出する複数の弱識別器、中解像度画像から識別結果を算出する複数の弱識別器、高解像度画像から識別結果を算出する複数の弱識別器を有している。これらの弱識別器は、画像から抽出した特徴量に基づき、識別結果を算出する。

低解像度画像用の弱識別器は、人物など特定種類の被写体のオブジェクトを抽出するための弱識別器であり、低解像度画像から多様な種類の特徴量を抽出して識別結果を算出する。これにより、高いロバスト性で人物のオブジェクトを検出することができる。なお、低解像度画像用の弱識別器は、追跡対象のオブジェクトに適応されずに用いられる。低解像度画像用の弱識別器は、例えば事前学習等によって高いロバスト性で人物のオブジェクトを検出できるよう構築されている。

中解像度画像用の弱識別器も同様に、多様な種類の特徴量を抽出して識別結果を算出する。中解像度画像用の弱識別器は、人物など特定種類の被写体のオブジェクトを抽出するための複数の弱識別器と、追跡対象のオブジェクトに対して適応化されていく複数の弱識別器とにより構築される。特定種類の被写体のオブジェクトを抽出するための弱識別器は、低解像度画像用の弱識別器と同様に、事前学習等によって構築され、追跡対象のオブジェクトに適応されずに用いられる。また、中解像度画像用の弱識別器のうち、追跡対象の人物に対して適応化される弱識別器は、例えばオンライン学習によりフレーム毎に学習されていく。

高解像度画像用の弱識別器も、多様な種類の特徴量を抽出して識別結果を算出する。高解像度画像用の弱識別器は追跡対象のオブジェクトに対して、オンライン学習によりフレーム毎に適応化されていく。

事前学習で弱識別器を構築する場合、教師画像を用いた強化学習の手法を用いることができる。また、弱識別器群は、Ａｄａｂｏｏｓｔ等のブースティングを用いた集団学習により構築されてよい。また、オンライン学習としては、オンラインブースティングの手法を用いることができる。

画像解析装置１１０は、フレーム画像毎に異なる組み合わせの弱識別器を用いてオブジェクトを抽出したり、フレーム画像毎に異なる組み合わせの弱識別器を適応化して得られた弱識別器を用いてオブジェクトを抽出したりする。このように、画像解析装置１１０は、特定種類のオブジェクトをロバストに検出する弱識別器と、被写体に適応化することができる追跡処理とを組み合わせた識別器を用いて、オブジェクトを抽出する。このため、画像解析装置１１０は、特定種類のオブジェクトをロバストに検出でき、かつ高精度に追跡することができる。

なお、画像解析装置１１０は、抽出した特徴量に基づいてオブジェクトを識別して、識別した結果を解析結果データベース１１２に出力してよい。また、画像解析装置１１０は、検索対象の特徴量を外部から取得して、取得した特徴量が抽出されたオブジェクトの動画を特定する情報を、解析結果データベース１１２に出力してよい。

なお、本実施形態において、"オブジェクトを抽出する"とは、画像領域から特定のオブジェクトを検出および追跡することを指す。また、画像解析装置１１０は、抽出したオブジェクトが存在する領域を識別する座標情報などの位置情報を解析結果として出力してよい。他にも画像解析装置１１０は、オブジェクトが存在する領域を切り出したオブジェクト画像を出力してもよい。

なお、記憶媒体９０は、画像解析装置１１０用のプログラムを記憶している。記憶媒体９０が記憶しているプログラムは、本実施形態に係る画像解析装置１１０として機能するコンピュータなどの電子情報処理装置に提供される。当該コンピュータが有するＣＰＵは、当該プログラムの内容に応じて動作して、当該コンピュータの各部を制御する。ＣＰＵが実行するプログラムは、本図および以後の図に関連して説明される画像解析装置１１０などとして当該コンピュータを機能させる。

記憶媒体９０としては、ＣＤ−ＲＯＭの他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＯまたはＭＤなどの光磁気記録媒体、テープ媒体またはハードディスク装置などの磁気記録媒体、半導体メモリ、磁気メモリなどを例示することができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置が記憶媒体９０として機能することもできる。

また、記憶媒体９０は、画像処理システム１０用のプログラムを記憶してよい。画像処理システム１０用のプログラムは、画像解析装置１１０の他に、本図および以後の図に関連して説明される解析結果データベース１１２、店舗サーバ１７０、端末装置１８０、および撮像装置１００の少なくともいずれかとして、コンピュータを機能させることができる。

図２は、画像解析装置１１０のブロック構成の一例を示す。画像解析装置１１０は、画像取得部２００、特徴量抽出部２１０、適合度算出部２２０、信頼度算出部２０２、オブジェクト抽出部２３０、基準特徴量算出部２４０、オブジェクト領域推定部２５０、向き特定部２６０、特徴量更新部２７０、特徴量記憶部２８０、被写体解析部２０４、出力部２９０、および解析結果出力部２９２を有する。基準特徴量算出部２４０は、更新特徴量選択部２４２、更新特徴量算出部２４４、および非更新特徴量選択部２４６を含む。

画像取得部２００は、撮像装置１００が撮像した動画を、通信ネットワーク１５０を通じて店舗サーバ１７０から取得する。画像取得部２００が取得した動画は、特徴量抽出部２１０およびオブジェクト抽出部２３０に供給される。

特徴量抽出部２１０は、動画に含まれるフレーム画像から特徴量を抽出する。特徴量としては、輝度分布などの輝度特徴量、種々のウェーブレット特徴量、Ｈａａｒ−ｌｉｋｅ特徴量、Ｅｄｇｅｌｅｔ特徴量、ＥＯＨ特徴量、ＨＯＧ特徴量などを例示することができる。

適合度算出部２２０は、基準特徴量に対する、特徴量抽出部２１０が抽出した特徴量の適合度を出力する。具体的には、特徴量記憶部２８０が基準特徴量を記憶していて、適合度算出部２２０は、特徴量記憶部２８０が記憶している基準特徴量に対する適合度を出力する。

なお、特徴量抽出部２１０は、異なる特徴量の種類毎に特徴量を抽出する。また、特徴量記憶部２８０は、異なる種類のそれぞれについて基準特徴量を記憶している。そして、適合度算出部２２０は、種類毎に適合度を算出する。

なお、異なる種類の特徴量としては、上記したようにＨａａｒ−ｌｉｋｅ特徴量、Ｅｄｇｅｌｅｔ特徴量など、特徴量の種類そのものが異なる特徴量であってよい。他にも、異なる種類の特徴量としては、異なる算出方法で算出した特徴量を含むことができる。異なる算出方法としては、異なる解像度の画像から抽出することを含む。つまり、特徴量の種類そのものが同じあっても、異なる解像度の画像から抽出された特徴量を、本実施形態においては異なる種類の特徴量とみなすことができる。

例えばＨａａｒ−Ｌｉｋｅ特徴などの矩形特徴を用いた場合には、検出窓に設定した第１矩形領域の画素値の合計値と、検出窓に設定した第２矩形領域内の画素値の合計値との差（以下、"合計値の差"と呼ぶ。）が、特徴量となる。この場合において基準特徴量は、抽出対象となる被写体のオブジェクトから算出されることが期待される、合計値の差の基準値であってよい。この場合において、オブジェクトの画像から抽出された合計値の差と、当該基準値との差の一致度を、特徴量の適合度とみなすことができる。

オブジェクト抽出部２３０は、適合度算出部２２０が算出した各種類についての適合度に基づき、対象とした画像が特定のオブジェクトの画像であるか否かを判断する。つまり、オブジェクト抽出部２３０は、抽出することができる。

なお、特徴量抽出部２１０、適合度算出部２２０、特徴量記憶部２８０、およびオブジェクト抽出部２３０は、識別器の処理として実装され得る。例えば、特徴量の１つの種類に着目すれば、特徴量抽出部２１０が特徴量を抽出してから適合度算出部２２０が適合度を出力するまでの処理を、一の弱識別器による処理とみなすことができる。そして、複数の種類についての適合度からオブジェクトの画像であるか否かを判断するオブジェクト抽出部２３０の処理までを含めると、オブジェクトを抽出するための一の識別器の処理とみなすことができる。このように、弱識別器による評価値は、この発明における適合度の一例とみなすことができる。したがって、複数種類の特徴量にそれぞれ対応する複数の弱識別器により一つの識別器を形成した場合には、複数の弱識別器のそれぞれによる評価値を、それぞれ対応する種類の特徴量の適合度とみなすことができる。

オブジェクト抽出部２３０は、オブジェクトの画像として判断した場合には、オブジェクトを含む所定の領域の画像であるオブジェクト周辺画像をフレーム画像から切り出して、基準特徴量算出部２４０に供給される。基準特徴量算出部２４０は、オブジェクト抽出部２３０から供給された画像を用いて、次のフレーム画像からオブジェクトを抽出するための基準特徴量を算出する。基準特徴量算出部２４０が算出した基準特徴量は、特徴量更新部２７０によって特徴量記憶部２８０に記憶される。これにより、特徴量記憶部２８０が記憶している基準特徴量は、基準特徴量算出部２４０が算出した基準特徴量で更新される。

そして、次のフレーム画像から、上述した特徴量抽出部２１０、適合度算出部２２０、およびオブジェクト抽出部２３０における処理により、オブジェクトが抽出される。この動作を繰り返すことによって、複数のフレーム画像のそれぞれから、オブジェクトが抽出される。

なお、基準特徴量算出部２４０は、オブジェクト周辺画像を用いて学習することで、オブジェクト周辺画像に適応した基準特徴量を算出する。このように基準特徴量算出部２４０は、現フレームのオブジェクトの画像に適応した特徴量を算出することができる。このため、基準特徴量算出部２４０は、特定のオブジェクトの追跡に適した基準特徴量を算出することができる。

なお、基準特徴量算出部２４０によってオブジェクト周辺画像に適応した基準特徴量が算出されるが、一の基準特徴量を更新することは、上述した弱識別器の処理が適応化されることを意味する。つまり、基準特徴量算出部２４０により基準特徴量が算出されて特徴量記憶部２８０に記憶されるまでの特徴量更新処理は、適応した弱識別器を構築する処理とみなすことができる。基準特徴量算出部２４０における基準特徴量の算出処理が学習に基づく場合、特徴量更新処理は、上述した識別器のオンライン学習処理とみなすことができる。

なお、基準特徴量算出部２４０は、抽出されたオブジェクトとして撮像された被写体の向きに応じて基準特徴量を更新することができる。例えば、基準特徴量算出部２４０は、特徴量記憶部２８０が被写体の向き毎に、オブジェクトを抽出するための基準特徴量を記憶してよい。この場合に、基準特徴量算出部２４０は、抽出されたオブジェクトとして撮像された被写体の向きに対応する基準特徴量を選択して更新することができる。

なお、向き特定部２６０は、オブジェクトとして撮像された被写体の向きを特定する。特徴量記憶部２８０が向き毎に基準特徴量を記憶している場合、向き特定部２６０は、最も適合する基準特徴量に対応づけて特徴量記憶部２８０が記憶している向きを、被写体の向きとすることができる。基準特徴量算出部２４０は、向き特定部２６０が特定した向きに基づき、上述の基準特徴量の更新処理をすることができる。

また、基準特徴量算出部２４０は、適合度算出部２２０が算出した適合度に基づき、基準特徴量を算出してよい。例えば、次フレーム画像からオブジェクトを抽出するための基準特徴量として、適合度が低い基準特徴量を除外して、適合度がより高い基準特徴量を組み入れることができる。言い換えると、弱識別器の組み合わせを替えることができる。このため、特定の被写体のオブジェクトを追跡する追跡処理の精度を向上することができる。

また、基準特徴量算出部２４０は、各フレームにおけるオブジェクトの位置に基づき基準特徴量を算出することができる。例えば、基準特徴量算出部２４０は、現フレームにおけるオブジェクトの画像を正解画像として用いて学習したり、現フレームにおけるオブジェクトの領域以外の領域の画像を不正解画像として用いて学習したりすることで、基準特徴量を算出することができる。

なお、オブジェクト領域推定部２５０は、次のフレーム画像上におけるオブジェクトの位置を推定する。具体的には、動画におけるオブジェクトの動き速度と、現フレーム画像におけるオブジェクトの位置とに基づき、次のフレーム画像上におけるオブジェクトの位置を推定することができる。オブジェクト領域推定部２５０は、現フレーム画像から、当該推定した位置を含む領域の画像を切り出して、基準特徴量算出部２４０に供給してよい。

この場合に、基準特徴量算出部２４０は、オブジェクト領域推定部２５０から供給された画像を不正解画像として学習することにより、基準特徴量を算出することができる。これにより、特徴量記憶部２８０が記憶している基準特徴量セットは、次のフレーム画像におけるオブジェクトの周辺の画像が検出されにくいものに強化されているので、次フレーム画像からのオブジェクトの検出確率を高めることができる。

信頼度算出部２０２は、特徴量抽出部２１０により抽出された複数の特徴量の信頼度を算出する。例えば、信頼度算出部２０２は、当該特定被写体のオブジェクトから抽出されるべき予め定められた複数の基準特徴量に対する抽出された特徴量の適合度が高い場合に、より大きい信頼度を算出する。

上述したように弱識別器による評価値を適合度とした場合には、各弱識別器による評価値を、複数の特徴量の信頼度の指標とすることができる。例えば、人物の顔を検出するための識別器は、様々な特徴を持つ人物の顔を検出することを目的として、様々な種類の弱識別器を用いて形成される。これらの弱識別器で特定の人物の顔のオブジェクトを評価した結果、高い評価値が得られた弱識別器は、その人物を特定（または、認識）するのに適した弱識別器とみなすことができる。つまり、当該オブジェクトは、高い評価値が得られた弱識別器に対応する種類の特徴量を有するとみなすことができる。したがって、信頼度算出部２０２は、より高い評価値が得られた弱識別器に対応する種類の特徴量の信頼度を、この発明における特定被写体のオブジェクトから抽出された特徴量の信頼度としてより高く算出することができる。

信頼度算出部２０２は、抽出された特徴量が、画質がより高い特定被写体の画像から抽出された場合に、より大きい信頼度を算出してもよい。より具体的には、信頼度算出部２０２は、抽出された特徴量が、解像度がより高い特定被写体の画像から抽出された場合に、より大きい信頼度を算出してよい。つまり、オブジェクト領域の画像の解像度が高いほど、より大きい信頼度を算出する。

他にも、信頼度算出部２０２は、抽出された特徴量が、階調幅がより広い特定被写体の画像から抽出された場合に、より大きい信頼度を算出してもよい。このように、信頼度算出部２０２は、画質がより高い画像から抽出された特徴量について、より大きい信頼度を算出する。

そして、特徴量記憶部２８０は、特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する。具体的には、特徴量記憶部２８０は、抽出された複数の特徴量のうち、予め定めれた値より大きい信頼度で抽出された特徴量を記憶する。

特徴量記憶部２８０は、複数のフレーム画像から抽出された同一種類の複数の特徴量のうち、より大きい信頼度で抽出された特徴量をより優先して記憶する。特徴量記憶部２８０は、一のフレーム画像から抽出された複数種類の特徴量のうち、より大きい信頼度で抽出された種類の特徴量をより優先して記憶する。このように、特徴量記憶部２８０は、特徴量空間および時間空間について、より大きい信頼度で抽出された種類の特徴量をより優先して記憶することができる。

なお、特徴量記憶部２８０は、信頼度にさらに対応づけて特徴量を記憶していてよい。特徴量更新部２７０は、特徴量記憶部２８０が記憶している信頼度より大きい信頼度の特徴量が他のフレーム画像から抽出された場合に、特徴量記憶部２８０が記憶している特徴量を、当該他のフレーム画像から抽出された特徴量で更新してよい。このため、抽出信頼度が高い特徴量を蓄積していくことができる。

被写体解析部２０４は、特徴量記憶部２８０が記憶している基準特徴量を用いて被写体の画像を解析する。具体的には、特徴量記憶部２８０が記憶している基準特徴量が抽出された人物の属性を判断したり、当該人物を認識したりする。解析結果出力部２９２は、被写体解析部２０４が解析した解析結果を外部に出力する。なお、被写体解析部２０４の機能および動作については、図３に関連して説明する。

ここで、基準特徴量算出部２４０における各部の動作について概略説明すると、更新特徴量選択部２４２は、更新すべき種類を特定する。例えば、更新特徴量選択部２４２による処理としては、上述したような適合度の低い種類の基準特徴量を除外して、新たな基準特徴量を導入したりすることができる。そして、更新特徴量算出部２４４は、更新特徴量選択部２４２が選択した種類の特徴量を、学習等によって適応化する。また、非更新特徴量選択部２４６は、適応化せずに次フレーム画像においてもオブジェクト抽出に使用する種類の特徴量を選択してよい。なお、基準特徴量算出部２４０における各部の動作については後に詳述する。

また、出力部２９０は、オブジェクト抽出部２３０が抽出したオブジェクトの情報を、外部に出力する。例えば、出力部２９０は、抽出されたオブジェクトの位置、抽出されたオブジェクトの画像そのものを、解析結果データベース１１２、端末装置１８０などに出力してよい。以上説明したように、画像解析装置１１０によると、オブジェクトの検出処理とオブジェクトの追跡処理とを一体的に行うことができ、オブジェクトを追跡するための演算量を低減することができる。

図３は、被写体解析部２０４のブロック構成の一例を示す。被写体解析部２０４は、解析対象画像取得部３１０、特徴量抽出部３２０、被写体情報格納部３３０、および被写体特定部３４０を含む。

被写体情報格納部３３０は、所定の特徴量に適合する特徴量が画像から抽出されるべき被写体の種別を示す種別情報を、所定の特徴量に対応づけて格納する。被写体特定部３４０は、特徴量記憶部２８０が記憶している特徴量に適合する特徴量に対応づけて被写体情報格納部が格納している種別情報が示す被写体の種別を、特徴量記憶部２８０が記憶している特徴量が抽出された被写体の種別として判断する。被写体の種別としては、年齢、性別などを例示することができる。

例えば、被写体情報格納部３３０は、複数の特徴量の組み合わせに対応づけて、当該複数の特徴量にそれぞれ適合する複数の特徴量が抽出されるべき被写体の種別を示す種別情報を格納している。被写体特定部３４０は、特徴量記憶部２８０が記憶している複数の特徴量にそれぞれ適合する複数の特徴量に対応づけて被写体情報格納部が格納している種別情報が示す被写体の種別を、特徴量記憶部２８０が記憶している複数の特徴量が抽出された被写体の種別として判断する。このように、被写体特定部３４０は、適合する特徴量の組み合わせに基づき、被写体の種別を判断することができる。例えば、被写体特定部３４０は、特定の特徴量の組み合わせについて適合した場合に、抽出されたオブジェクトが、当該組み合わせに対応する種別の被写体の画像であると判断することができる。

解析対象画像取得部３１０は、特定すべき被写体の画像を取得する。特徴量抽出部３２０は、解析対象画像取得部３１０が取得した画像から特徴量を抽出する。なお、解析対象画像取得部３１０および特徴量抽出部３２０は、検索する被写体像から抽出されるべき特徴量を取得する検索被写体情報取得部として機能することができる。

被写体特定部３４０は、抽出された特徴量に適合する特徴量を、特徴量記憶部２８０が記憶している特徴量の中から特定する。具体的には、被写体情報格納部３３０は、特徴量記憶部２８０が記憶している特徴量を、被写体を識別する情報に対応づけて記憶している。被写体を識別する情報としては、人物を識別する情報、上述の被写体の種別を識別する情報などを例示することができる。

そして、被写体特定部３４０は、特徴量抽出部３２０が抽出した特徴量に適合する特徴量に対応づけて被写体情報格納部３３０が格納している、被写体を識別する情報を特定する。そして、解析結果出力部２９２は、特徴量抽出部３２０が抽出した特徴量が抽出された被写体を識別する情報を出力する。なお、被写体解析部２０４の機能および動作については、図８および図９に関連してより詳細に説明する。

図４は、画像解析装置１１０における処理内容の一例を模式的に示す。以下に、画像解析装置１１０の機能および動作を、識別器あるいは弱識別器による処理を例に挙げて説明する。

識別器セット４０４は、画像解析装置１１０がオブジェクト抽出処理に用いることができる複数の識別器４０２ａ〜ｃを有している。識別器４０２ａ〜ｃは、それぞれ被写体の異なる向きに対応している。具体的には、識別器４０２ａは、人物の正面顔を検出するのに適した複数の弱識別器４００ａ〜ｃにより形成される。

ここで弱識別器４００ａは、低解像度画像に対する１以上の弱識別器４００により形成される。以後の図において、１つの弱識別器４００は１つの横長の矩形で示される。弱識別器４００ｂは、中解像度画像に対する１以上の弱識別器４００により形成され、弱識別器４００ｃは、高解像度画像に対する１以上の弱識別器４００により形成される。

また、識別器４０２ｂは、人物の右横顔を右横顔を検出するのに適した複数の弱識別器４００により形成され、識別器４０２ｃは、人物の左横顔を右横顔を検出するのに適した複数の弱識別器４００により形成される。この点を除いて、識別器４０２ｂおよび識別器４０２ｃは識別器４０２ａと略同一の構成を有するので、説明を省略する。

以下に、本図を用いて、画像解析装置１１０が、識別器セット４０４から、オブジェクト抽出に用いる識別器セット４６４を生成する処理を説明する。ここでは、説明の都合上、オブジェクト抽出部２３０は、処理４８０において、前のフレーム画像から特定のオブジェクトを既に抽出しているものとする。オブジェクト抽出部２３０は、オブジェクトの領域を示す情報を基準特徴量算出部２４０に供給する。

なお、オブジェクトが抽出された段階においては、適合度算出部２２０は識別器セット４６４に含まれる識別器を用いて適合度を算出している。適合度算出部２２０が算出した適合度は、基準特徴量算出部２４０に供給される。また、オブジェクトが抽出された段階においては、向き特定部２６０は、オブジェクトが示す被写体の向きを特定しており、特定した向きも基準特徴量算出部２４０に供給される。また、オブジェクトが抽出された段階においては、オブジェクト領域推定部２５０は、次フレーム画像におけるオブジェクトが存在する領域を推定しており、推定した領域を示す情報は基準特徴量算出部２４０に供給されている。

更新特徴量算出部２４４は、オブジェクトの領域を示す情報に基づき、オブジェクトの周辺の画像であるオブジェクト周辺画像４１２を生成する（処理４１０）。ここでいうオブジェクト周辺画像とは、オブジェクトの領域と、オブジェクトの周囲の領域とを含む。そして、更新特徴量算出部２４４は、オブジェクト周辺画像４１２を用いて、所定の画素数の教師画像４２２を複数生成する（処理４２０）。

教師画像４２２は、正解画像および不正解画像を含む。更新特徴量算出部２４４は、オブジェクト周辺画像４１２中のオブジェクトの領域の画像から、複数の正解画像を生成する。また、更新特徴量算出部２４４は、オブジェクト周辺画像４１２中のオブジェクト以外の領域を含む領域の画像から、複数の不正解画像を生成する。

処理４３０において、非更新特徴量選択部２４６により、識別器４０２が有する弱識別器の中から、次のフレーム画像においてオブジェクトを抽出するためにオブジェクト抽出部２３０が使用する識別器が選択される。処理４３０において選択された識別器は、オブジェクト周辺画像に適応されずに、オブジェクト抽出に用いられる。

なお、以後の説明では、向き特定部２６０により人物の正面顔のオブジェクトが抽出されたとする。この場合、処理４３０で選択される弱識別器４００、および、処理４５０で適応される弱識別器４００は、いずれも識別器４０２ａを形成する弱識別器４００から選択される。もちろん、右横顔のオブジェクトが抽出された場合には識別器４０２ｂから選択され、左横顔のオブジェクトが抽出された場合には識別器４０２ｃから選択されることは言うまでもない。

このとき、オブジェクトへの適合度が高い弱識別器４００が選択されてよい。また、低解像度画像用の弱識別器４００ａの中から所定数の弱識別器４００が選択されてよい。また、低解像度画像用の弱識別器４００ａに加えて、中解像度画像用の弱識別器４００ａの中から、所定数の弱識別器４００が選択されてよい。

一方、更新特徴量選択部２４２の処理により、オブジェクト周辺画像に適応させる弱識別器４００を選択する。具体的には、処理４４０において、識別器セット４０４に含まれる弱識別器４００のそれぞれによりオブジェクト周辺画像に対する判定処理がなされ、識別結果４４２が算出される。そして、処理４５０において、識別結果４４２に基づき、識別器セット４６４を生成する。

例えば、更新特徴量選択部２４２による処理により、適応させるべき弱識別器４００が選択される。選択された識別器は、オブジェクト周辺画像に適応されてオブジェクト抽出に用いられる。このとき、オブジェクトへの適合度がより低い弱識別器４００が、適応させるべき弱識別器としてより優先的に選択されてよい。また、中解像度画像用の弱識別器４００ｂから、所定数の弱識別器４００が選択されてよい。また、弱識別器４００ｂからの弱識別器４００に加えて、高解像度画像用の弱識別器４００ａの中から、所定数の弱識別器４００が選択されてよい。

ここで、更新特徴量選択部２４２により選択された弱識別器４００は、更新特徴量算出部２４４による処理により、オブジェクト周辺画像４１２に適応される。ここでは、教師画像４２２を用いたオンラインブースティングの手法により、弱識別器４００を適応させてよい。そして、特徴量更新部２７０による処理により、適応された弱識別器４６０を生成する。

処理４５０で適応された弱識別器４６０と、処理４３０で選択された弱識別器４００により、識別器セット４６４が構築される。なお、処理４３０で選択された弱識別器４００は適応されていないが、次のフレーム画像からのオブジェクト抽出に用いられる弱識別器であるので、便宜上、符号を変えて弱識別器４６０として示している。

上述したように、弱識別器４６０ａは、いずれも弱識別器４００ａと同じ識別処理をする弱識別器となる。そして、弱識別器４６０ａのうちの所定数の弱識別器４６０が、次のフレーム画像からのオブジェクト抽出処理に用いられる。

また、弱識別器４６０ｂのうちの一部の弱識別器４６０は、いずれも弱識別器４００ｂのうちの対応する弱識別器４００と同じ識別処理をする弱識別器であってよい。このうちの一部の弱識別器４６０が、次のフレーム画像からのオブジェクト抽出処理に用いられる。そして、それ以外の弱識別器４６０は、弱識別器４００ｂのうちの対応する弱識別器４００が処理４５０において適応された弱識別器であってよい。適応された弱識別器は、次のフレーム画像からのオブジェクト抽出処理に用いられる。

また、弱識別器４６０ｃのうち更新する弱識別器として選択された弱識別器４６０は、弱識別器４００ｃのうちの対応する弱識別器４００が処理４５０において適応された弱識別器であって、これらの弱識別器がオブジェクト抽出処理に用いられる。

処理４８０において、オブジェクト抽出部２３０は、識別器セット４６４のうち、オブジェクト抽出処理に用いられるべき弱識別器４６０を用いて、次のフレーム画像からオブジェクトを抽出する。なお、処理４７０は、オブジェクト領域推定部２５０が次のフレーム画像上においてオブジェクトが存在する領域を推定する処理を示している。処理４８０においては、オブジェクト抽出部２３０は、処理４７０において推定された領域の画像である推定領域画像４７２に対して、識別器セット４６４に含まれる弱識別器を用いて、オブジェクトの探索・認識処理をする。

図５は、処理４５０における処理内容の一例を模式的に示す。識別器５０２ａは、特定のオブジェクトの検出処理に用いられる識別器であるとする。本図を参照して、次のフレーム画像に対するオブジェクト抽出処理に用いられる新たな識別器を構築する場合の処理を説明する。ここでは特に、オブジェクト周辺画像に適応させる弱識別器を構築する処理を中心に説明する。なお、正面顔に対する識別器４６２ａに対する処理が以下に説明されるが、識別器４６２ｂ、識別器４６２ｃに対する処理も同様であることは言うまでもない。

識別器５０２ａは、識別器４６２ａのうち、オブジェクト抽出に実際に用いられる識別器を示す。識別器５０２ａは、弱識別器５００ａおよび弱識別器５００ｂに分けられる。弱識別器５００ａは、弱識別器４６０ａのうちのオブジェクト抽出に用いられる弱識別器４６０と、弱識別器４６０ｂのうちオブジェクト抽出に用いられ、オブジェクト周辺画像に適応され得ない弱識別器４６０とを示している。弱識別器５００ｂは、オブジェクト周辺画像に適応され得る弱識別器を示している。

弱識別器５００ａは、高解像度用の弱識別器４６０ａの一部と、中解像度用の弱識別器４６０ｂの一部とを含む。特定のオブジェクトが抽出された場合、オブジェクト抽出部２３０は、弱識別器５００ａを用いて、後続の１以上のフレーム画像から特定のオブジェクトを抽出する。なお、撮像された人物の顔の向きが大きく変わった場合には、識別器４６２ｂなど、顔の向きに対応する他の識別器４６２が用いられる。この場合においても、特定の顔向きのオブジェクトが抽出された後は、後続の１以上のフレーム画像から特定の顔向き用に構築された識別器が用いられてよい。

このように、人物検出用の弱識別器４００ａから選択された、特定のオブジェクトを抽出するのに適した組み合わせの低解像度用および一部の中解像度用の弱識別器５００ａが、後続の１以上のフレーム画像からのオブジェクト抽出処理に用いられる。このため、他のオブジェクトを誤検出する確率を低減しつつ、演算量を低減することができる。

続いて、弱識別器５００ｂに対する処理を説明する。弱識別器５００ｂは、Ｐ個の弱識別器５００により形成される。処理５１０において、更新特徴量選択部２４２による処理により、除外するＮ個の弱識別器が選択される。具体的には、オブジェクトの画像に対する適合度が小さいものから順に、Ｎ個の弱識別器が除外する弱識別器として選択されてよい。弱識別器５００ｂに示されるように、弱識別器５００ｂは、（Ｐ−Ｎ）個の弱識別器５２０Ａと、Ｎ個の弱識別器５２０Ｂとに分けられる。処理５３０における除外処理で弱識別器５２０Ｂが除外することにより、（Ｐ−Ｎ）個の弱識別器５２０Ａが残る。

次に、次のフレーム画像からのオブジェクト抽出処理に用いられる弱識別器５６２を識別器４０２ａから生成する処理を説明する。処理５５０において、更新特徴量算出部２４４による処理により、追加するＭ個の弱識別器の候補を、識別器４０２ａに含まれる弱識別器４００の中から選択する。この場合、オブジェクトの画像への適合度が高い順にＭ個の弱識別器４００が選択されてよい。選択された弱識別器は、弱識別器５５２として示されている。

処理５６０においては、選択された弱識別器５５２と、教師画像４２２とを用いて、オンラインブースティングの手法によりＮ個の弱識別器５６２が、次のフレーム画像からのオブジェクト抽出処理に用いられる識別器として決定される。

更新特徴量算出部２４４による処理により、（Ｐ−Ｎ）個の弱識別器５２０Ａと、Ｎ個の弱識別器５６２とが結合されて、Ｐ個の弱識別器が形成される。形成された弱識別器と、弱識別器５００ａとにより、次のフレーム画像からのオブジェクト抽出処理に実際に用いられる識別器が構築される。オブジェクト抽出部２３０は、構築された識別器を用いて次のフレーム画像からオブジェクトを抽出する。

そして、更なる次のフレーム画像からオブジェクトを抽出するための識別器は、現在のフレーム画像で構築された識別器を本図の識別器５０２とみなして本図で説明した処理をすることで構築される。そしてこのような処理を繰り返すことで、動画に含まれる複数のフレーム画像から特定のオブジェクトを検出・追跡することができる。

以上説明したように、あるフレーム画像内のオブジェクトの画像に対してより高い適合度が算出された弱識別器が、次のフレーム画像からのオブジェクト抽出処理用の弱識別器として、より優先して選択される。したがって、あるオブジェクトに対して、複数のフレーム画像において何度も用いられた弱識別器が存在した場合、当該オブジェクトは、当該弱識別器に対応する種類の特徴量を強く有しているといえる。言い換えると、より多く用いられた弱識別器に対応する種類の特徴量は、少数しか用いられていない弱識別器に対応する種類の特徴量より、オブジェクトの画像から抽出される特徴量としての信頼度は高いといえる。したがって、信頼度算出部２０２は、複数のフレーム画像に対してより高い頻度で用いられた弱識別器に対応する特徴量の信頼度を、この発明における特定被写体のオブジェクトから抽出された特徴量の信頼度としてより高く算出することができる。

図６は、正解画像および不正解画像の画像領域の一例を示す。フレーム画像６００上の領域６１０は、フレーム画像６００から抽出されたオブジェクトが存在する領域を示す。領域６２０は、抽出されたオブジェクトの周囲の領域を示す。領域６１０および領域６２０の領域の画像は、図４および図５に関連して説明したオブジェクト周辺画像に該当する。

教師画像４２２を生成する場合、更新特徴量算出部２４４は、領域６１０に対応する画像から、複数の正解画像を生成する。また、更新特徴量算出部２４４は、領域６２０に対応する画像から、複数の不正解画像を生成する。複数の正解画像および複数の不正解画像を用いた学習により、識別器をフレーム周辺画像に適応させることができる。

図７は、正解画像および不正解画像の画像領域の他の一例を示す。フレーム画像７００−１、フレーム画像７００−２、フレーム画像７００−３は、この順で撮像された連続するフレーム画像であるとする。更新特徴量算出部２４４は、フレーム画像７００−１上およびフレーム画像７００−２上に、フレーム画像７００−３からオブジェクトを抽出するための教師画像４２２を生成する。

フレーム画像７００−２上の領域７１０ｂは、図６で説明した領域６１０に該当しており、領域７１０ｂから複数の正解画像が生成される。フレーム画像７００−２上の領域７２０ａは、図６で説明した領域６２０に該当しており、領域７２０ａから複数の不正解画像が生成される。

フレーム画像７００−１上の領域７１０ａは、フレーム画像７００−１から抽出されたオブジェクトの領域であり、更新特徴量算出部２４４における処理において、領域７１０ａから複数の正解画像が生成される。なお、フレーム画像７００−１上の領域７１０ａから抽出されたオブジェクトと、フレーム画像７００−２上の領域７１０ｂから抽出されたオブジェクトは、ともに同じ被写体のオブジェクトであるとする。

また、フレーム画像７００−２上の領域７２０ｂは、フレーム画像７００−２において他のオブジェクトが抽出された領域であり、更新特徴量算出部２４４における処理において、領域７２０ｂから複数の不正解画像が生成される。このように他のオブジェクトの領域から不正解画像を生成することにより、他のオブジェクトを特定のオブジェクトとして検出してしまう確率を低減することができる。

また、領域７２０ｃは、領域７２０ａに存在しているオブジェクトが、次のフレーム画像７００−３において存在すると予測される領域を示している。領域７２０ｃは、オブジェクト領域推定部２５０により、オブジェクトの動きに基づき推定される。更新特徴量算出部２４４における処理により、フレーム画像７００−２上の領域７２０ｃから、複数の不正解画像が生成される。

フレーム画像７００−２上の領域７２０ｃには、フレーム画像７００−３における特定のオブジェクトの周囲に存在する被写体が撮像されている確率が高い。したがって、フレーム画像７００−２上の領域７２０ｃを不正解画像とすることで、フレーム画像７００−３から、追跡対象のオブジェクトの近傍に存在する他の被写体のオブジェクトを追跡対象のオブジェクトとして検出してしまう確率を低減することができる。

なお、オブジェクト抽出部２３０は、フレーム画像７００−３の領域７２０ｃから、オブジェクトを抽出してもよい。つまり、オブジェクト抽出部２３０がオブジェクトを抽出する抽出対象の領域と、不正解画像を生成する対象の領域とは、画像領域上の同じ領域であってよい。なお、不正解画像を生成する対象の領域は、抽出対象の領域より小さくてもよい。

以上説明したように、画像解析装置１１０によると、オブジェクトの検出処理とオブジェクトの認識処理とを一括して行うことができる識別器を構築することができる。このため、これらの処理に要する演算量を著しく低減することができる。

なお、図４から図７などにおいては、画像解析装置１１０の機能および動作を、識別器あるいは弱識別器による処理を例に挙げて説明した。上述のように、特徴量抽出部２１０、適合度算出部２２０、特徴量記憶部２８０、およびオブジェクト抽出部２３０の機能および動作は、弱識別器の機能および動作とみなすことができる。そして、基準特徴量を適応および更新は、識別器の選択および適応とみなすことができる。したがって、画像解析装置１１０の各構成要素が、基準特徴量に関して以下のように動作することで、図４から図７などにおいて識別器に関連して具体的に説明した機能と等価な機能を実現することができる。

これにより、画像解析装置１１０は、動画から特定のオブジェクトを抽出することができる。オブジェクトの抽出とは、オブジェクト毎に位置を特定することにより追跡することを含む。特徴量記憶部２８０は、種類が異なる複数の基準特徴量を記憶している。特徴量抽出部２１０は、動画に含まれる複数のフレーム画像のそれぞれから、種類が異なる複数の特徴量を抽出する。オブジェクト抽出部２３０は、特徴量記憶部２８０が記憶している複数の基準特徴量に対する抽出された複数の特徴量の適合度に基づき、フレーム画像からオブジェクトを抽出する。

基準特徴量算出部２４０は、特徴量記憶部２８０が記憶している基準特徴量より、抽出されたオブジェクトの特徴量に種類に応じて予め定められた強度で適応させた複数の基準特徴量を算出する。そして、特徴量更新部２７０は、特徴量記憶部２８０が記憶している複数の基準特徴量を、基準特徴量算出部２４０が算出した基準特徴量で更新する。

なお、基準特徴量算出部２４０は、適合度がより大きい種類ほど、抽出されたオブジェクトの特徴量により大きい強度で適応させた複数の基準特徴量を算出してよい。また、基準特徴量算出部２４０は、抽出されたオブジェクトの特徴量に、種類に応じた頻度で適応させた複数の基準特徴量を算出してよい。

特徴量記憶部２８０は、異なる解像度の画像から抽出された複数の特徴量に対応する複数の基準特徴量を記憶している。そして、特徴量抽出部２１０は、異なる解像度の画像から複数の特徴量を抽出する。基準特徴量算出部２４０は、抽出されたオブジェクトの特徴量に、解像度に応じた強度で適応させた複数の基準特徴量を算出する。基準特徴量算出部２４０は、抽出されたオブジェクトの特徴量に、解像度が大きいほどより大きい強度で適応させた複数の基準特徴量を算出してよい。なお、基準特徴量算出部２４０は、抽出されたオブジェクトの特徴量に適応させた、予め定められた値より大きい解像度に対応する複数の基準特徴量を算出してよい。

基準特徴量算出部２４０の動作について、更新特徴量選択部２４２は、非更新特徴量選択部２４６が選択した基準特徴量の種類以外の種類のうち、適合度がより大きい種類をより優先して選択する。更新特徴量算出部２４４は、更新特徴量選択部２４２が選択した種類について、抽出されたオブジェクトの特徴量に適応させた１以上の基準特徴量を算出する。更新特徴量算出部２４４は、適応させた複数の基準特徴量のうち、抽出されたオブジェクトの特徴量への適応度がより大きい基準特徴量を、適応させた基準特徴量としてより優先して選択する。なお、適応度としては、学習処理における学習誤差を例示することができる。

なお、オブジェクト抽出部２３０は、更新され得る予め定められたＰ種類の基準特徴量を少なくとも用いて、オブジェクトを抽出してよい。そして、更新特徴量算出部２４４は、適応度がより大きいＮ種類の基準特徴量を、適応させた基準特徴量としてより優先して選択してよい。そして、非更新特徴量選択部２４６は、オブジェクト抽出部２３０がフレーム画像からオブジェクトを抽出する場合に用いた、適合度が予め定められた値以上である（Ｐ−Ｎ）種類の基準特徴量を、適応させた基準特徴量とする。この場合に、適応度の順に選択したＮ種類の特徴量を、基準特徴量としてよい。

そして、更新特徴量選択部２４２は、適合度がより大きい、Ｎより多いＭ種類の特徴量の種類を選択する。このとき、適合度が高い順にＭ種類の特徴量が選択されてよい。基準特徴量算出部２４０は、更新特徴量選択部２４２が選択したＭ種類について、抽出されたオブジェクトの特徴量に適応させた基準特徴量を算出する。そして基準特徴量算出部２４０は、算出したＭ種類の基準特徴量のうち、適応度がより大きいＮ種類の基準特徴量を、適応させた基準特徴量としてより優先して選択してよい。

なお、非更新特徴量選択部２４６は、オブジェクト抽出部２３０がフレーム画像からオブジェクトを抽出する場合に用いた、所定の条件に適合する１以上の種類の基準特徴量を、適応させた基準特徴量としてよい。つまり、所定の条件に適合する１以上の種類の基準特徴量は更新されずに、オブジェクト抽出部２３０により次のフレーム画像におけるオブジェクト抽出処理に用いられる。

更新しない特徴量を選択する場合には、非更新特徴量選択部２４６は、オブジェクト抽出部２３０がフレーム画像からオブジェクトを抽出する場合に用いた、適合度が予め定められた値以上である１以上の種類の基準特徴量を、適応させた基準特徴量としてよい。また、非更新特徴量選択部２４６は、教師画像４２２に基づき、適応させた基準特徴量を選択してよい。具体的には、非更新特徴量選択部２４６は、教師画像４２２に基づく学習により、正解画像に対して正解を判定することができる確率が予め定められた値より高い組み合わせの基準特徴量を選択してよい。また、非更新特徴量選択部２４６は、さらに、教師画像４２２に基づく学習により、不正解画像に対して不正解を判定することができる確率が予め定められた値より高い組み合わせの基準特徴量を選択してもよい。

特徴量を適応させる処理においては、基準特徴量算出部２４０は、抽出されたオブジェクトを含む領域の画像を正解画像として学習して得られた基準特徴量を、適応させた基準特徴量として算出してよい。また、基準特徴量算出部２４０は、抽出されたオブジェクト以外の領域を領域の画像を不正解画像として学習して得られた基準特徴量を、適応させた基準特徴量として算出してよい。

なお、基準特徴量算出部２４０は、フレーム画像における抽出された特定のオブジェクトを含む領域の画像を正解画像とすることにより、基準特徴量を算出してよい。基準特徴量算出部２４０は、フレーム画像の前のフレーム画像から抽出された特定のオブジェクトを含む領域の画像を正解画像とすることにより、基準特徴量を算出する。ここで、オブジェクト抽出部２３０は、特徴量抽出部２１０が次のフレーム画像から抽出した特徴量の、基準特徴量に対する適合度に基づき、次のフレーム画像から特定のオブジェクトを抽出してよい。

基準特徴量算出部２４０は、フレーム画像における抽出された特定のオブジェクトを含まない領域の画像を不正解画像とすることにより、基準特徴量を算出してよい。また、基準特徴量算出部２４０は、フレーム画像において抽出された特定のオブジェクトから予め定められた距離離れた領域の画像を不正解画像とすることにより、基準特徴量を算出してよい。また、基準特徴量算出部２４０は、フレーム画像から抽出された他のオブジェクトを含む領域の画像を不正解画像とすることにより、基準特徴量を算出してよい。

オブジェクト領域推定部２５０は、動画から抽出された特定のオブジェクトの移動量に基づき、他のフレーム画像において特定のオブジェクトが存在すべき領域を推定する。基準特徴量算出部２４０は、他のフレーム画像におけるオブジェクト領域推定部２５０が推定した領域を含む画像を不正解画像とすることにより、基準特徴量を算出してよい。

なお、適合度算出部２２０は、基準特徴量に対する特徴量抽出部２１０が抽出した特徴量の適合度を、種類毎に算出する。そして、オブジェクト抽出部２３０は、種類毎に算出された適合度に基づき、複数のフレーム画像のそれぞれからオブジェクトを抽出する。この場合に、オブジェクト抽出部２３０は、予め定められた適合度より大きい適合度が算出された特徴量の数が予め定められた値より多い場合に、特定のオブジェクトとして抽出してよい。他にも、オブジェクト抽出部２３０は、適合度を所定の重みづけで重みづけした合計値が予め定められた値より大きい場合に、特定のオブジェクトとして抽出してもよい。

なお、特徴量記憶部２８０は、被写体の向きに対応づけて複数の基準特徴量を記憶している。特徴量抽出部２１０が動画に含まれる複数のフレーム画像のそれぞれから複数の特徴量を抽出する。オブジェクト抽出部２３０は、被写体の向きに対応づけて記憶された複数の基準特徴量に対する抽出された複数の特徴量の適合度に基づき、フレーム画像から特定被写体のオブジェクトを抽出する。

向き特定部２６０は、特定被写体の向きを特定する。このとき、基準特徴量に対する適合度に基づき、向きを特定してよい。例えば、向き特定部２６０は、特徴量記憶部２８０が記憶している複数の特徴量のうち、予め定められた値より大きい適合度が算出された基準特徴量に対応づけて特徴量記憶部２８０が記憶している被写体の向きを特定被写体の向きとして特定してよい。

このように、向き特定部２６０は、予め定められた解像度より小さい解像度の画像から特徴量抽出部２１０が抽出した特徴量を、同解像度の基準特徴量とそれぞれ比較することにより、被写体の向きのそれぞれについて適合度を算出してよい。そして、向き特定部２６０は、より大きい適合度が算出された基準特徴量に対応づけられた被写体の向きを、特定被写体の向きとして特定してよい。

そして、基準特徴量算出部２４０は、特徴量記憶部２８０が記憶している基準特徴量より、抽出されたオブジェクトに適応させた基準特徴量を算出する。特徴量更新部２７０は、特徴量記憶部２８０が特定された向きに対応づけて記憶している基準特徴量を、基準特徴量算出部２４０が算出した基準特徴量で更新してよい。これにより、被写体の向きに応じた適切な組み合わせの基準特徴量を、学習により強化していくことができる。

図８は、画像解析装置１１０により構築された識別器の構成の一例を示す。図１から図７に関連して上述したように、特定のオブジェクトを識別するのに適した識別器がオンライン学習により構築されていく。特徴量記憶部２８０による処理により、このような識別器をオブジェクトの種類毎に、例えば人物毎に記憶することができる。

具体的には、本図を参照して、被写体ＩＤ＃１で特定されるオブジェクトを検出する検出処理用に構築された識別器８０４−１は、正面顔検出用の識別器８０２ａ、右顔検出用の識別器８０２ｂ、および左顔検出用の識別器８０２ｃにより形成される。他の被写体の識別器もオンライン学習することで、被写体ＩＤ＃２で特定されるオブジェクトを検出する検出処理用の識別器８０４−２、被写体ＩＤ＃２で特定されるオブジェクトを検出する検出処理用の識別器８０４−３もまた構築される。これらの識別器８０４に含まれる弱識別器は、検出された特徴量の信頼度が高いことを条件として強化学習されている。

図９は、被写体情報格納部３３０が格納しているデータの一例をテーブル形式で示す。被写体情報格納部３３０は、被写体種別に対応づけて特徴量とフィルタＩＤを格納している。フィルタＩＤは、特徴量を算出する画像フィルタ、例えば上記した弱識別器として組み込まれる画像フィルタを識別する情報であってよい。つまり、フィルタＩＤは、特徴量の種類を示していると言い換えることもできる。

被写体特定部３４０は、特定のオブジェクトから抽出された特徴量のうちフィルタＩＤで識別されるフィルタを用いて算出された特徴量が、被写体情報格納部３３０が格納している特徴量に適合する場合に、当該特徴量が抽出されたオブジェクトは、当該フィルタＩＤおよび特徴量に対応づけて被写体情報格納部３３０が格納している種別の被写体のオブジェクトであると判断する。被写体の種別としては、性別、年齢、表情および興味度などの人物属性などを例示することができる。また、被写体の種別として、個々の人物を例示することもできる。

以下に、被写体特定部３４０による被写体種別の特定処理について説明する。オブジェクトの種別を特定する特定対象のオブジェクトとしては、オブジェクト抽出部２３０が抽出したオブジェクトと、新たに入力された画像中のオブジェクトとが考えられる。前者の場合、構築された識別器用の基準特徴量との比較によりオブジェクトの種別を特定する。後者の場合、新たに入力された画像から特徴量抽出部３２０が抽出した特徴量との比較により、オブジェクトの種別を特定する。

まず、前者の場合について以下に説明する。図８に関連して説明したように、画像解析装置１１０によって被写体毎に識別器が構築されている。これらの識別器用の基準特徴量は、被写体のオブジェクトから抽出され得る代表的な特徴量とみなすことができる。

被写体特定部３４０は、構築された識別器用の基準特徴量と、被写体情報格納部３３０が格納している特徴量とをフィルタ毎に比較して、その適合度を算出する。被写体特定部３４０は、算出した適合度が予め定められた値よりも大きい場合に、オブジェクト抽出部２３０により抽出されたオブジェクトは、被写体情報格納部３３０が格納している種別の被写体のオブジェクトであると判断する。これにより、画像解析装置１１０は、追跡したオブジェクトが、いずれの人物属性のオブジェクトであるか、またはいずれの人物のオブジェクトであるかを、特徴量の比較により高速に特定することができる。

次に、後者の場合について以下に説明する。特徴量抽出部３２０は、解析対象画像取得部３１０が取得した画像から、特徴量を抽出する。例えば、特徴量抽出部３２０は、フィルタＩＤで識別される画像フィルタにより、特徴量を抽出してよい。被写体特定部３４０は、特徴量抽出部３２０が抽出した特徴量と、被写体情報格納部３３０が格納している特徴量とをフィルタ毎に比較して、その適合度を算出する。被写体特定部３４０は、算出した適合度が予め定められた値よりも大きい場合に、解析対象画像取得部３１０が取得した画像中のオブジェクトは、被写体情報格納部３３０が格納している種別の被写体のオブジェクトであると判断する。これにより、画像解析装置１１０は、新たに入力された画像に含まれるオブジェクトが、いずれの人物属性のオブジェクトであるか、またはいずれの人物のオブジェクトであるかを、特徴量の比較により高速に特定することができる。

なお、被写体情報格納部３３０は、構築された識別器用の基準特徴量を、人物毎（例えば、本図の人物Ａ、Ｂなど）の特徴量として記憶してよい。被写体情報格納部３３０は、既に記憶している特徴量と当該基準特徴量との間の一致度が、予め定められた値より大きい場合に、既に記憶している特徴量を当該基準特徴量で更新してもよい。これにより、被写体情報格納部３３０は、異なるタイミングで撮像された被写体のオブジェクトから、オブジェクト認識用に有効な特徴量を蓄積していくことができる。

このように、画像解析装置１１０によると、人物属性、個々の人物などの被写体種別を、特徴量の比較により高速に特定することができる。このため、被写体種別を特定するための演算量を低減することができ、ひいては高速に被写体種別を特定することができる。このため、顧客の人物属性を特定することで、特定の商品を購入した顧客層を画像から特定することができる。

以上図１から図９に関連して説明したように、画像処理システム１０によると、顧客を正確に追跡することができるので、顧客情報を正確に分析したり、当該顧客が興味を持った商品を正確に分析したりすることができる。このように、画像処理システム１０は、店舗用の画像処理システムとして機能することができる。

その他、画像処理システム１０は多様な用途に適用することができる。例えば、画像処理システム１０によると、顧客が興味を持った商品の情報に基づき広告コンテンツを顧客に提供することもでき、この場合、画像処理システム１０はサイネージシステムとして機能することができる。また、画像処理システム１０は、不審者が注目したものを特定する監視システムあるいは防犯システムとして機能することもできる。また、画像処理システム１０は、被写体を認証する認証システムとして機能することができる。

また、画像解析装置１１０は、異なる店舗空間１６０の動画を取得して、解析してもよい。これにより、顧客の動向などを店舗間で比較することができる。また、上記においては店舗用のシステムとして画像処理システム１０の機能および動作を説明したが、画像処理システム１０の用途としては、店舗用以外にも種々の用途に利用することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

一実施形態における画像処理システム１０の一例を示す図である。 画像解析装置１１０のブロック構成の一例を示す図である。 被写体解析部２０４のブロック構成の一例を示す図である。 画像解析装置１１０における処理内容の一例を模式的に示す図である。 処理４５０における処理内容の一例を模式的に示す図である。 正解画像および不正解画像の画像領域の一例を示す図である。 正解画像および不正解画像の画像領域の他の一例を示す図である。 画像解析装置１１０により構築された識別器の構成の一例を示す図である。 被写体情報格納部３３０が格納しているデータの一例をテーブル形式で示す図である。

１０ 画像処理システム
９０ 記憶媒体
１００ 撮像装置
１１０ 画像解析装置
１１２ 解析結果データベース
１５０ 通信ネットワーク
１６０ 店舗空間
１６２ 商品棚
１６４ 人物
１７０ 店舗サーバ
１８０ 端末装置
２００ 画像取得部
２０２ 信頼度算出部
２０４ 被写体解析部
２１０ 特徴量抽出部
２２０ 適合度算出部
２３０ オブジェクト抽出部
２４０ 基準特徴量算出部
２４２ 更新特徴量選択部
２４４ 更新特徴量算出部
２４６ 非更新特徴量選択部
２５０ オブジェクト領域推定部
２６０ 向き特定部
２７０ 特徴量更新部
２８０ 特徴量記憶部
２９０ 出力部
２９２ 解析結果出力部
３１０ 解析対象画像取得部
３２０ 特徴量抽出部
３３０ 被写体情報格納部
３４０ 被写体特定部
４００ 弱識別器
４０２ 識別器
４０４ 識別器セット
４１０、４２０、４３０、４４０、４５０、４７０、４８０、５１０、５３０、５５０、５６０ 処理
４１２ オブジェクト周辺画像
４２２ 教師画像
４４２ 識別結果
４６０ 弱識別器
４６２ 識別器
４６４ 識別器セット
４７２ 推定領域画像
５００、５２０、５５２、５６２ 弱識別器
５０２ 識別器
６００、７００ フレーム画像
６１０、６２０、７１０、７２０ 領域
８０２、８０４ 識別器

Claims (14)

1. 動画に含まれる複数の動画構成画像のそれぞれに撮像された特定被写体のオブジェクトから、種類が異なる複数の特徴量を抽出する特徴量抽出部と、
   抽出された前記複数の特徴量の信頼度を算出する信頼度算出部と、
   前記特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する特徴量記憶部と
   を備える画像解析装置。
2. 前記信頼度算出部は、当該特定被写体のオブジェクトから抽出されるべき予め定められた複数の基準特徴量に対する前記抽出された特徴量の適合度が高い場合に、より大きい信頼度を算出する
   請求項１に記載の画像解析装置。
3. 前記信頼度算出部は、抽出された前記特徴量が、画質がより高い前記特定被写体の画像から抽出された場合に、より大きい信頼度を算出する
   請求項１または２に記載の画像解析装置。
4. 前記信頼度算出部は、抽出された前記特徴量が、解像度がより高い前記特定被写体の画像から抽出された場合に、より大きい信頼度を算出する
   請求項３に記載の画像解析装置。
5. 前記信頼度算出部は、抽出された前記特徴量が、階調幅がより広い前記特定被写体の画像から抽出された場合に、より大きい信頼度を算出する
   請求項３に記載の画像解析装置。
6. 前記特徴量記憶部は、抽出された前記複数の特徴量のうち、予め定めれた値より大きい信頼度で抽出された前記特徴量を記憶する
   請求項１乃至５のいずれかに記載の画像解析装置。
7. 前記特徴量記憶部は、複数の動画構成画像から抽出された同一種類の複数の前記特徴量のうち、より大きい信頼度で抽出された特徴量をより優先して記憶する
   請求項１乃至６のいずれかに記載の画像解析装置。
8. 前記特徴量記憶部は、一の動画構成画像から抽出された複数種類の前記特徴量のうち、より大きい信頼度で抽出された種類の特徴量をより優先して記憶する
   請求項１乃至６のいずれかに記載の画像解析装置。
9. 前記特徴量記憶部は、信頼度にさらに対応づけて前記特徴量を記憶しており、
   前記画像解析装置は、
   前記特徴量記憶部が記憶している前記信頼度より大きい信頼度の特徴量が他の動画構成画像から抽出された場合に、前記特徴量記憶部が記憶している特徴量を、当該他の動画構成画像から抽出された特徴量で更新する特徴量更新部
   をさらに備える請求項１乃至８のいずれかに記載の画像解析装置。
10. 所定の特徴量に適合する特徴量が画像から抽出されるべき被写体の種別を示す種別情報を、所定の特徴量に対応づけて格納する被写体情報格納部と、
    前記特徴量記憶部が記憶している特徴量に適合する特徴量に対応づけて前記被写体情報格納部が格納している前記種別情報が示す被写体の種別を、前記特徴量記憶部が記憶している特徴量が抽出された被写体の種別として判断する被写体特定部と
    をさらに備える請求項１乃至９のいずれかに記載の画像解析装置。
11. 前記被写体情報格納部は、複数の特徴量の組み合わせに対応づけて、当該複数の特徴量にそれぞれ適合する複数の特徴量が抽出されるべき被写体の種別を示す前記種別情報を格納し、
    前記被写体特定部は、前記特徴量記憶部が記憶している複数の特徴量にそれぞれ適合する複数の特徴量に対応づけて前記被写体情報格納部が格納している前記種別情報が示す被写体の種別を、前記特徴量記憶部が記憶している複数の特徴量が抽出された被写体の種別として判断する
    請求項１０に記載の画像解析装置。
12. 検索する被写体像から抽出されるべき特徴量を取得する検索被写体情報取得部と、
    前記検索被写体情報取得部が取得した特徴量に適合する特徴量を、前記特徴量記憶部が記憶している特徴量の中から特定する特徴量抽出部と、
    前記特徴量抽出部が抽出した特徴量が抽出された被写体を識別する情報を出力する出力部と
    をさらに備える請求項１乃至１１のいずれかに記載の画像解析装置。
13. 動画に含まれる複数の動画構成画像のそれぞれに撮像された特定被写体のオブジェクトから、種類が異なる複数の特徴量を抽出する特徴量抽出段階と、
    抽出された前記複数の特徴量の信頼度を算出する信頼度算出段階と、
    前記特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する特徴量記憶段階と
    を備える画像解析方法。
14. 画像解析装置のプログラムであって、コンピュータを、
    動画に含まれる複数の動画構成画像のそれぞれに撮像された特定被写体のオブジェクトから、種類が異なる複数の特徴量を抽出する特徴量抽出部、
    抽出された前記複数の特徴量の信頼度を算出する信頼度算出部、
    前記特定被写体を識別する情報および特徴量の種類に対応づけて、より大きい信頼度が算出された特徴量をより優先して記憶する特徴量記憶部
    として機能させるプログラム。

Images