JP2019197353A - 属性決定装置、属性決定システムおよび属性決定方法 - Google Patents

Abstract

【課題】各フレームの画像に基づいて人物の属性を決定する際に、属性の認識に影響を与える事象が複数フレームにわたって続く場合でも、人物の属性を精度よく決定する。【解決手段】属性決定装置３は、人物認識部１１ａと、人物同定部１１ｂと、属性決定部１１ｃとを備える。属性決定部１１ｃは、各フレーム間で人物の像が同一人の像であると判断された人物に関して、各フレームごとに、属性の認識結果に事象の認識結果を加味した属性情報を、認識した属性の各クラスについて求め、各クラスについて、属性情報を複数フレームで統合した結果に基づいて、人物の属性を決定する。【選択図】図２

Description

本発明は、人物を上方から撮影した各フレームの画像に基づいて、人物の属性を決定する属性決定装置、属性決定システムおよび属性決定方法に関する。

従来、カメラで人物を撮影した画像から、人物の性別や年齢などの属性を精度良く認識する技術として、顔画像を用いた属性認識手法が広く知られている（例えば特許文献１、２参照）。しかし、例えば店舗において、ある商品群とコンタクトをとる人物の属性を顔画像に基づいて認識するためには、各売り場や各陳列棚に、顔画像を取得するためのカメラを設置する必要がある。この場合、カメラの設置台数が多くなり、コストが掛かるだけでなく、カメラを向けられるユーザの心理的負担も高くなる。

そこで、コスト低減およびユーザの心理的負担の軽減の観点から、店舗の天井などにカメラを設置し、人物を上方から広域に撮影して画像を取得し、取得した画像から人物の属性を認識する方法が考えられる。例えば特許文献３のシステムでは、天井や壁面に設置したメインカメラで店舗全域を撮影して人物の画像部分を解析し、顧客の顔、髪型、衣服、身長、アクセサリ、靴などを総合的に考慮して性別、年齢層を推測し、特定が困難な場合は、売り場の陳列棚の近くに設置した補助カメラで撮影した顔画像を詳細に解析して性別、年齢層を推測するようにしている。

特開２０１０−６１４６５号公報（請求項１〜２、図１、図５等参照） 特開２００８−１７６６８９号公報（請求項１〜２、図１等参照） 特開２００７−７４３３０号公報（請求項１〜３、段落〔００２１〕、〔００２３〕、図１等参照）

しかし、天井などに設置されたカメラで撮影された画像から、人物の属性を精度よく判定するのは難易度が高い。このことは、特許文献３において、属性の特定が困難な場合には、補助カメラによって取得される顔画像を利用して属性を推測していることからも容易に理解できる。

例えば、店舗内では、人物が歩行したり、立ち止まったり、陳列棚の下部の商品をとるためにしゃがみ込んだり、立ち上がったりする。このように、人物の位置、行動、姿勢などが時系列で変わる場合、撮影画像に基づく人物の属性の認識結果が各フレーム間で異なる場合があり得る。例えば、人物が歩行中であるフレームでは、撮影画像に基づいて「２０代男性」との認識結果が得られ、同じ人物が立ち止まっているフレームでは、撮影画像に基づいて「４０代男性」との認識結果が得られる場合があり得る。これは、人物が歩行中の場合、画像内で人物の像にブレが生じ、上記画像に基づく人物の属性の認識精度が低下することに起因する。

同様に、例えば、人物がしゃがみ込んだフレームでは、撮影画像に基づいて「２０代男性」との認識結果が得られ、同じ人物が立ち上がったフレームでは、撮影画像に基づいて「４０代男性」との認識結果が得られる場合があり得る。これは、しゃがみ込んでいる人物を上方から撮影すると、人物の身体の一部が隠れた画像が取得され、人物の全身の画像データが得られないため、上記画像に基づく属性の認識精度が低下することに起因する。

人物を上方から撮影した各フレームの画像に基づき、各フレーム間で同一人物の属性を判断（決定）する場合において、「歩行中」や「しゃがみ込み」など、属性の認識精度を低下させる事象（属性の認識に影響を及ぼす事象）が数フレーム（例えばｍを２以上の自然数としてｍフレーム）にわたって続くと、その後のフレームにおいて、上記事象の消滅によって高い精度で属性を認識できたとしても、上記数フレームにおける精度の低い属性の認識結果の影響により、全フレーム（例えばＭをｍよりも大きい３以上の自然数としてＭフレーム）として誤った属性の決定（例えば、実際は「４０代男性」である人物にして「２０代男性」の属性決定）がなされる場合があり得る（この例については後述する実施の形態の中で比較例として説明する）。これでは、人物の属性を精度よく決定できているとは言えない。

本発明は、上記の問題点を解決するためになされたもので、その目的は、人物を上方から撮影した各フレームの画像に基づいて各フレーム間で同一の人物の属性を決定する際に、属性の認識に影響を与える事象が数フレームにわたって続く場合でも、全体として（各フレームのトータルで）人物の属性を精度よく決定することができる属性決定装置、属性決定システムおよび属性決定方法を提供することにある。

本発明の一側面に係る属性決定装置は、人物を上方から撮影した各フレームの画像に基づいて、前記人物の属性を決定する属性決定装置であって、各フレームの前記画像に基づいて、前記画像内における前記人物の像の情報を示す人物情報と、前記人物の属性と、前記属性の認識に影響を与える事象とを、各フレームごとに認識する人物認識部と、各フレームの前記人物情報に基づいて、各フレーム間で前記人物の像が同一人の像であるか否かを判断する人物同定部と、各フレーム間で前記人物の像が同一人の像であると判断された前記人物に関して、各フレームごとに、前記属性の認識結果に前記事象の認識結果を加味した属性情報を、認識した前記属性の各クラスについて求め、前記各クラスについて、前記属性情報を複数フレームで統合した結果に基づいて、前記人物の前記属性を決定する属性決定部とを備えている。

本発明の他の側面に係る属性決定システムは、上記の属性決定装置と、前記属性決定装置と通信回線を介して接続される管理サーバーとを含み、前記管理サーバーは、前記属性決定装置から送出される情報を格納する格納部を備え、前記情報には、前記属性決定装置の前記属性決定部によって決定された前記属性が含まれる。

本発明のさらに他の側面に係る属性決定方法は、人物を上方から撮影した各フレームの画像に基づいて、前記人物の属性を決定する属性決定方法であって、各フレームの前記画像に基づいて、前記画像内における前記人物の像の情報を示す人物情報と、前記人物の属性と、前記属性の認識に影響を与える事象とを、各フレームごとに認識する人物認識工程と、各フレームの前記人物情報に基づいて、各フレーム間で前記人物の像が同一人の像であるか否かを判断する人物同定工程と、各フレーム間で前記人物の像が同一人の像であると判断された前記人物に関して、各フレームごとに、前記属性の認識結果に前記事象の認識結果を加味した属性情報を、認識した前記属性の各クラスについて求め、前記各クラスについて、前記属性情報を複数フレームで統合した結果に基づいて、前記人物の前記属性を決定する属性決定工程とを含む。

属性の認識に影響を与える事象が数フレームにわたって続く場合でも、最終的な属性決定に対する上記数フレームの悪影響を低減し、全体として（各フレームのトータルで）人物の属性を精度よく決定することができる。

本発明の実施の一形態の属性決定システムの概略の構成を示すブロック図である。 上記属性決定システムが有する属性決定装置の詳細な構成を示すブロック図である。 任意のフレームの画像内の人物の像および人物矩形の一例を示す説明図である。 画像内における人物の像の様々な位置を模式的に示す説明図である。 ｎフレーム目の画像と、（ｎ＋１）フレーム目の画像とを模式的に示す説明図である。 上記属性決定システムが有する管理サーバーの詳細な構成を示すブロック図である。 上記属性決定システムにおける処理の流れを示すフローチャートである。 上記属性決定システムにおいて、１フレーム目について得られた情報の一例を示す説明図である。 上記属性決定システムにおいて、２フレーム目について得られた情報の一例を示す説明図である。 上記属性決定システムにおいて、３フレーム目について得られた情報の一例を示す説明図である。 本発明の他の実施の形態の属性決定システムにおいて得られる、時間的に異なる複数フレームのうち、一部のフレームの画像を模式的に示す説明図である。 上記属性決定システムにおける処理の流れを示すフローチャートである。 上記属性決定システムにおいて、１フレーム目について得られた情報の一例を示す説明図である。 上記属性決定システムにおいて、２フレーム目について得られた情報の一例を示す説明図である。 上記属性決定システムにおいて、３フレーム目について得られた情報の一例を示す説明図である。 本発明のさらに他の実施の形態の属性決定システムにおいて得られる、時間的に異なる複数フレームのうち、一部のフレームの画像を模式的に示す説明図である。 上記属性決定システムにおける処理の流れを示すフローチャートである。 上記属性決定システムにおいて、１フレーム目および２フレーム目について得られた情報の一例を示す説明図である。 上記属性決定システムにおいて、３フレーム目について得られた情報の一例を示す説明図である。 本発明のさらに他の実施の形態の属性決定システムにおいて、２人の人物を上方から撮影した任意のフレームの画像を模式的に示す説明図である。 上記画像内で、２人の人物の像の位置を規定する人物矩形をそれぞれ示す説明図である。 上記属性決定システムにおける処理の流れを示すフローチャートである。 上記属性決定システムにおいて、１フレーム目および２フレーム目について得られた情報の一例を示す説明図である。 上記属性決定システムにおいて、３フレーム目について得られた情報の一例を示す説明図である。

本発明の各実施の形態について、図面に基づいて説明すれば、以下の通りである。なお、本発明は、以下の内容に限定されるわけではない。

＜実施の形態１＞
〔属性決定システム〕
図１は、本実施形態の属性決定システム１の概略の構成を示すブロック図である。属性決定装置１は、撮像部２と、属性決定装置３と、管理サーバー４とを有して構成されている。撮像部２と属性決定装置３とは、通信回線Ｎ１を介して通信可能に接続されており、属性決定装置３と管理サーバー４とは、通信回線Ｎ２を介して通信可能に接続されている。通信回線Ｎ１およびＮ２は、例えばケーブル、光ファイバー、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット回線などから適宜選択されて構成される。以下、撮像部２、属性決定装置３および管理サーバー４の詳細について説明する。

（撮像部）
撮像部２は、例えば店舗の天井または壁に設置され、店舗内の人物を上方から撮影して時間的に異なる各フレームの画像を取得するカメラで構成されている。店舗内に設置される撮像部２の台数は、特に限定されず、１台であってもよいし、２台以上であってもよい。少なくとも１台の撮像部２で取得された画像のデータは、通信回線Ｎ１を介して属性決定装置３に出力される。

（属性決定装置）
属性決定装置３は、撮像部２で取得されて該属性決定装置３に入力された画像、つまり、人物を上方から撮影した各フレームの画像に基づいて、人物の属性を決定する端末装置であり、例えばパーソナルコンピュータで構成されている。属性決定装置３は、撮像部２が設置される店舗と同じ店舗内に設置されていてもよいし、店舗の外部に撮像部２と通信可能に設置されていてもよい。

図２は、属性決定装置３の詳細な構成を示すブロック図である。属性決定装置３は、認識処理部１１と、記憶部１２と、入力部１３と、表示部１４と、通信部１５と、制御部１６とを有して構成されている。

記憶部１２は、属性決定装置３の各部を動作させるための動作プログラム、および認識処理部１１での処理によって得られるデータ（例えば決定された人物の属性に関する情報）等を記憶するメモリであり、例えばハードディスクで構成されている。なお、記憶部１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、光ディスク、光磁気ディスク、不揮発性メモリなどの記録媒体から適宜選択して構成されてもよい。

入力部１３は、例えばキーボード、マウス、タッチパッド、タッチパネルなどで構成され、例えば属性決定装置３を操作する操作者（ユーザ）による各種の指示入力を受け付ける。表示部１４は、認識処理部１１での処理結果（例えば決定された属性）をはじめとして、各種の情報を表示するデバイスであり、例えば液晶表示装置で構成される。通信部１５は、外部と通信するための入出力ポートを含むインターフェースである。通信部１５は、外部と無線通信を行う場合、アンテナ、送受信回路、変調回路、復調回路などを含んで構成される。制御部１６は、属性決定装置３の各部の動作を制御する中央演算処理装置（ＣＰＵ；Central Processing Unit）で構成されており、記憶部１２に記憶された動作プログラムに従って動作する。

認識処理部１１は、人物の属性決定にかかわる処理を行う演算装置であり、例えばリアルタイムな画像処理に特化した演算装置であるＧＰＵ（Graphics Processing Unit）で構成されている。なお、認識処理部１１は、制御部１６と同一のまたは別個のＣＰＵで構成されていてもよい。このような認識処理部１１は、人物認識部１１ａと、人物同定部１１ｂと、属性決定部１１ｃとを有している。すなわち、認識処理部１１を構成するＧＰＵは、人物認識部１１ａと、人物同定部１１ｂと、属性決定部１１ｃとしての機能を有している。

人物認識部１１ａは、人物を上方から撮影した各フレームの画像に基づいて、画像内における人物の像の情報を示す人物情報と、人物の属性と、属性の認識に影響を与える事象とを、各フレームごとに認識する。

上記人物情報には、例えば、画像内における人物の像の位置、人物の像に含まれる色の種類および比率、人物の像の大きさなどが含まれる。ここで、画像内における人物の像の位置は、例えば上記画像内で上記像を含む人物矩形によって規定される。図３は、任意のフレームの画像２ａ内の人物の像Ｐおよび人物矩形Ｒの一例を示している。なお、図３において、符号５は、店舗内の商品棚を指し、符号６は、店舗内の通路を指す。画像２ａ内の人物の像Ｐの認識（人物像の有無および位置の認識）は、例えば公知の画像処理ソフトウェアに基づく処理により、人物の頭の形状および位置、各関節位置などを特定することによって行うことができる。人物認識部１１ａは、画像２ａ内で人物の像Ｐを認識すると、画像２ａ内で人物の像Ｐを取り囲む人物矩形Ｒを設定することができ、この人物矩形Ｒにより、画像２ａ内での人物の像Ｐの位置を規定することができる。

なお、人物矩形Ｒは、画像２ａ内における人物の像Ｐの位置を正確に規定する点では、人物の像Ｐの少なくとも一部と接するように、人物の像Ｐを取り囲む矩形（枠）であることが望ましいが、必ずしも人物の像Ｐと接していることは必要とされない。例えば、人物矩形Ｒと人物の像Ｐとの間に、所定の（少しの）マージンがあってもよい。また、矩形とは、一般的に長方形を指すが、ここでは、長方形の特殊な形状である正方形も含む概念とする。

上記した人物の属性は、人物の年齢および性別の少なくとも一方である。なお、人物認識部１１ａは、人物の年齢を、１歳ごとの満年齢で認識してもよいが、２０代、３０代、４０代などの大まかな年代で認識してもよいし、子供、大人、老人などの区分で認識してもよい。性別は、男性または女性を示す。

本実施形態では、人物認識部１１ａは、深層学習（ディープラーニング）などの機械学習が可能なニューラルネットワークを含んで構成されており、このニューラルネットワークを利用して、人物の属性を認識することができる。より具体的には、各フレームの画像のデータを、属性認識について予め学習されたニューラルネットワークに入力すると、ニューラルネットワークから属性の認識結果が出力されるとともに、その認識結果の確からしさを示すスコアが算出される。これにより、例えば、人物の年齢は４０代であり、性別は男性であるという認識結果と、その確からしさを示すスコア（例えば０．８）とを得ることができる。なお、上記スコアは、０〜１の間の値（点数）であり、１に近づくほど認識結果の確からしさが増大することを示す。

上記した属性の認識に影響を与える事象には、例えば、画像内における人物の像の位置が含まれる。図４は、画像２ａ内における人物の像Ｐの様々な位置を模式的に示している。画像２ａ内の（１）の位置では、店舗内の吊り看板７で人物の像Ｐの一部が遮られており、（２）の位置では、撮像部２の直下に人物が位置しているために、人物の全身が画像２ａに映りにくくなっている。これらのケースでは、属性を認識するための人物の画像データが欠損するため、画像に基づく人物の属性の認識に影響を与える。つまり、上記（１）および（２）で示した人物の像Ｐの位置は、人物の属性の認識に影響を与える事象となる。一方、画像２ａ内で、人物の像Ｐが画像端に近い（３）の位置では、人物の全身が撮影されているため、属性を認識するための人物の画像データが十分存在し、画像に基づく属性の認識に最適となる。つまり、上記（３）の位置は、人物の属性の認識に影響を与える事象とはならない。ただし、人物の像Ｐが（３）の位置よりも画像端に寄りすぎると、人物の像Ｐが画像２ａ内に収まらず、人物の画像データが欠損する可能性があり、この場合は、人物の属性の認識に影響を与える事象となり得る。

人物同定部１１ｂは、人物認識部１１ａによって認識された各フレームの人物情報（時系列情報）に基づいて、各フレーム間で（人物矩形内の）人物の像が同一人の像であるか否かを判断する。図５は、ｎフレーム目の画像２ａと、（ｎ＋１）フレーム目の画像２ａとを模式的に示している（ｎは自然数とする）。例えば、人物同定部１１ｂは、ｎフレーム目の画像２ａ内の人物矩形Ｒ_nの位置と、（ｎ＋１）フレーム目の画像２ａ内の人物矩形Ｒ_n+1の位置とを比較し、これらの位置の差（人物矩形の移動量）が所定範囲内（フレームレートに応じて決まる）であるか否かを判断することにより、人物矩形Ｒ_nと人物矩形Ｒ_n+1とが同一人について示すものであるか否か、つまり、人物矩形Ｒ_n内の人物の像Ｐ_nと、人物矩形Ｒ_n+1内の人物の像Ｐ_n+1とが同一人の像であるか否かを判断することができる。

また、人物同定部１１ｂは、人物矩形Ｒ_nの縦（横）の長さと、人物矩形Ｒ_n+1の縦（横）の長さとの差が所定範囲内であるか否か、人物矩形Ｒ_n内で各色が占める面積と、人物矩形Ｒ_n+1内で各色が占める面積との差（または比）が所定範囲内であるか否か、などを判断することによって、人物矩形Ｒ_n内の人物の像Ｐ_nと、人物矩形Ｒ_n+1内の人物の像Ｐ_n+1とが同一人の像であるか否かを判断してもよい。

属性決定部１１ｃは、人物同定部１１ｂによって各フレーム間で人物の像が同一人の像であると判断された人物に関して、各フレームごとに、属性の認識結果に事象の認識結果を加味した属性情報を、認識した属性の各クラスについて求める。例えば、属性として年齢および性別を考えたとき、年齢のクラスとしては、例えば２０代、３０代、４０代、・・・が存在し、性別のクラスとしては、男性および女性の２クラスが存在する。したがって、属性全体のクラスとしては、年齢のクラス数×性別のクラス数だけ存在することになる。よって、属性決定部１１ｃは、各クラスごとに（例えば２０代男性、３０代男性、・・・４０代女性の各クラスごとに）、属性情報を求めることになる。なお、属性情報の具体例については後述する。特に、属性決定部１１ｃは、属性の認識に影響を与える事象（ここでは人物の像の位置）の認識結果に対応してスコアの信頼度（採用率）を設定し、人物認識部１１ａによって算出されたスコアと、設定した上記信頼度とに基づいて、上記クラスごとに上記属性情報を求める。

ここで、上記の信頼度としては、例えば０〜１の数値範囲を考えることができる。例えば、図４で示した画像２ａ内で、人物の像Ｐが（３）の位置にある場合、上述したように上記位置が人物の属性の認識に与える影響はほとんどないため、この場合は、スコアの信頼度を１．０に設定する。また、人物の像Ｐが（２）または（３）の位置にある場合、上述したように、上記位置は人物の属性の認識に悪影響を及ぼす可能性があるため、例えば（２）の位置については、スコアの信頼度を０．７に設定し、（１）の位置については、スコアの信頼度を０．２に設定する。なお、画像２ａ内でユーザが任意にエリアを設定し、設定したエリアごとに上記の信頼度を設定してもよい。

属性決定部１１ｃは、人物認識部１１ａによって算出されたスコアに、上記信頼度を乗算することによって属性情報をクラスごとに求め、各クラスについて、属性情報を複数フレームで統合した結果に基づいて、人物の属性を決定する。なお、属性決定の処理の詳細については、後述する動作説明の中で行う。

（管理サーバー）
図１で示した管理サーバー４は、属性決定装置３で決定された人物の属性に関する情報を格納する端末装置であり、例えばパーソナルコンピュータで構成されている。図６は、管理サーバー４の詳細な構成を示すブロック図である。管理サーバー４は、格納部２１と、通信部２２と、制御部２３とを有している。

格納部２１は、管理サーバー４の各部を動作させるための動作プログラム、および属性決定装置３から送出される情報（例えば属性決定部１１ｃによって決定された属性）を格納するメモリであり、例えばハードディスクで構成されている。なお、格納部２１は、ＲＡＭ、ＲＯＭ、光ディスク、光磁気ディスク、不揮発性メモリなどの記録媒体から適宜選択して構成されてもよい。

通信部２２は、外部と通信するための入出力ポートを含むインターフェースである。通信部２２は、外部と無線通信を行う場合、アンテナ、送受信回路、変調回路、復調回路などを含んで構成される。制御部２３は、管理サーバー４の各部の動作を制御するＣＰＵで構成されており、格納部２１に記憶された動作プログラムに従って動作する。

なお、管理サーバー４は、その他、キーボードなどの入力部、ディスプレイなどの表示部、属性決定装置３の認識処理部１１と同様の処理を行う演算処理部を含んで構成されていてもよい。

〔属性決定方法〕
次に、本実施形態の属性決定システム１における動作（属性決定方法）について説明する。図７は、上記属性決定システム１における処理の流れを示すフローチャートである。なお、以下での説明を簡略化するため、ここでは、人物の属性を、「４０代男性」と「２０代男性」との２クラスに分類することとし、属性を判断する対象となる人物は、「４０代男性」であるとする（「４０代男性」が属性として正解であるとする）。なお、以下で示す属性Ａ_nは、ｎフレーム目の画像に基づいて人物認識部１１ａが認識した属性であって、ｎフレーム目の画像に映っている人物の属性を示し、属性決定部１１ｃが最終的に決定する属性Ｂとは区別されるものとする。

まず、属性決定装置３は、撮像部２から、ｎ＝１として（Ｓ１）、１フレーム目の画像を取得すると（Ｓ２）、人物認識部１１ａは、上記画像に基づき、上述した手法で、人物矩形Ｒ_n（＝Ｒ₁）と、人物の属性Ａ_n（＝Ａ₁）と、属性Ａ_nの認識に影響を与える事象（ここでは人物矩形Ｒ_nによって規定される人物の像Ｐ_n（＝Ｐ₁）の位置）とを認識するとともに、属性Ａ_nの認識結果の確からしさを示すスコアＣ_n（＝Ｃ₁）を算出する（Ｓ３；人物認識工程）。これらの認識結果およびスコアＣ_nは、記憶部１２に記憶される。

次に、人物同定部１１ｂは、人物矩形Ｒ_n内の人物を同定するが（Ｓ４；人物同定工程）、最初のフレームであるため（ｎ＝１であるため）、人物矩形Ｒ_n内の人物の像Ｐ_nに識別番号を付与することをもって人物の同定とする（例えばＩＤ＝０００１とする）。Ｓ３で認識した人物矩形Ｒ_n等の情報は、Ｓ４で付与された識別番号と対応付けて記憶部１２に記憶される。なお、Ｓ４の処理は、人物矩形Ｒ_nが認識された後であれば、Ｓ３の属性Ａ_nの認識、上記事象の認識、スコアＣ_nの算出と並行して行われてもよい。

続いて、属性決定部１１ｃは、Ｓ３での属性Ａ_nの認識に影響を与える事象の認識結果に対応してスコアＣ_nの信頼度ｆ（Ａ_n）（＝ｆ（Ａ₁））を設定する（Ｓ５〜Ｓ７）。つまり、Ｓ３にて認識された事象（人物の像Ｐ_nの位置）が、属性認識に影響を与える位置である場合（Ｓ５でＹｅｓ）、属性決定部１１ｃは、上記事象の認識結果に対応して、スコアＣ_nの信頼度ｆ（Ａ_n）を１未満に設定する（Ｓ６）。一方、Ｓ３にて認識された事象（人物の像Ｐ_nの位置）が、属性認識に影響を与えない位置である場合（Ｓ５でＮｏ）、属性決定部１１ｃは、スコアＣ_nの信頼度ｆ（Ａ_n）を１に設定する（Ｓ７）。なお、上記の信頼度ｆ（Ａ_n）は、Ｓ５での認識結果、つまり、属性Ａ_nの認識に影響を与える事象の認識結果に対応して設定される値であり、Ｓ３での属性Ａ_nの認識結果（クラス）には依存しない（以下の実施形態でも同じ）。

次に、属性決定部１１ｃは、Ｓ３で算出されたスコアＣ_nと、上記で設定した信頼度ｆ（Ａ_n）とに基づいて、属性情報Ｑ_n（＝Ｑ₁）を属性Ａ_nのクラスごとに求める（Ｓ８）。例えば、「２０代男性」、「４０代男性」のクラスごとに、スコアＣ_n×信頼度ｆ（Ａ_n）の値が、属性情報Ｑ_nとして求められる。求めた属性情報Ｑ_nは、記憶部１２に人物の識別情報と対応付けて記憶される。

ここで、図８は、１フレーム目について得られた情報の一例を示している。この例では、ＩＤ＝０００１の人物について、属性Ａ₁が「２０代男性」（この属性のクラスを「Ｐ_20M」とする）である確からしさを示すスコアＣ₁（Ｐ_20M）が０．７であり、属性Ａ₁が「４０代男性」（この属性のクラスを「Ｐ_40M」とする）である確からしさを示すスコアＣ₁（Ｐ_40M）が０．０１となっている。画像内において、人物の像Ｐ₁の位置が、属性Ａ₁の認識に影響を与える位置（図４の（１）の位置と同じ）であり、人物認識部１１ａが上記画像に基づいて人物の属性Ａ₁の認識を精度よく行うことができなかった結果、「４０代男性」が正解であるにもかかわらず、「４０代男性」のスコアＣ₁（Ｐ_40M）よりも、「２０代男性」のスコアＣ₁（Ｐ_20M）のほうが高くなっている。

そこで、人物の像Ｐ₁の位置が属性Ａ₁の認識に影響を与える位置であることを考慮し、図８の例では、スコアＣ₁の信頼度ｆ（Ａ₁）を、ｆ（Ａ₁）＝ｆ₁（Ａ₁）＝０．２に設定している。これにより、各クラスについて、属性Ａ₁の認識結果に上記位置の認識結果を加味した属性情報Ｑ₁として、「２０代男性」のクラスについては、Ｑ₁（Ｐ_20M）＝Ｃ₁（Ｐ_20M）×ｆ₁（Ａ₁）＝０．７×０．２＝０．１４が得られており、「４０代男性」のクラスについては、Ｑ₁（Ｐ_40M）＝Ｃ₁（Ｐ_40M）×ｆ₁（Ａ₁）＝０．０１×０．２＝０．００２が得られている。

次に、属性決定部１１ｃは、処理を継続するか否か、つまり、次の（ｎ＋１）フレーム目の画像についても、上記と同様の処理を行うか否かを判断する（Ｓ９）。基本的には、属性決定部１１ｃは、Ｓ９にて処理を継続すると判断して、Ｓ１０に移行する。Ｓ１０では、属性決定装置３は、ｎ＝ｎ＋１とし、その後、Ｓ２以降の処理を繰り返す。つまり、属性決定装置３は、撮像部２から、２フレーム目の画像を取得して、Ｓ２以降の処理を繰り返す。この場合、Ｓ４では、人物同定部１１ｂは、１フレーム目の人物情報と、２フレーム目の人物情報（例えば各フレームにおける人物矩形の位置（移動量）、大きさなど）に基づいて、各フレーム間で人物矩形内の人物の像が同一人の像であるか否かを判断する。

以降、同様にして、（ｎ＋２）フレーム目以降の画像についても、Ｓ２以降の処理を繰り返す。そして、例えば、（ｎ＋ｋ）フレーム目（ｋは３以上の自然数とする）の画像に基づいて認識された人物のＩＤが、（ｎ＋（ｋ−１））フレーム目の画像に基づいて認識された人物のＩＤと異なる場合、属性決定部１１ｃは、各フレーム間で同一人についての属性Ｂを決定できないため、Ｓ９にて、処理を継続しないと判断してＳ１１に移行する。

図９は、２フレーム目について得られた情報の一例を示している。この例では、ＩＤ＝０００１の人物について、１フレーム目と同様に、属性Ａ₂が「２０代男性」である確からしさを示すスコアＣ₂（Ｐ_20M）が０．７であり、属性Ａ₂が「４０代男性」である確からしさを示すスコアＣ₂（Ｐ_40M）が０．０１となっている。画像内において、人物の像Ｐ₂の位置が、属性Ａ₂の認識に影響を与える位置（図４の（２）の位置と同じ）であり、人物認識部１１ａが上記画像に基づいて人物の属性Ａ₂の認識を精度よく行うことができなかった結果、「４０代男性」が正解であるにもかかわらず、「２０代男性」のスコアＣ₂（Ｐ_40M）よりも、「２０代男性」のスコアＣ₂（Ｐ_20M）のほうが高くなっている。

そこで、人物の像Ｐ₂の位置が属性Ａ₂の認識に影響を与える位置であることを考慮し、図９の例では、スコアＣ₂の信頼度ｆ（Ａ₂）を、ｆ（Ａ₂）＝ｆ₂（Ａ₂）＝０．７に設定している。これにより、各クラスについて、属性Ａ₂の認識結果に上記位置の認識結果を加味した属性情報Ｑ₂として、「２０代男性」のクラスについては、Ｑ₂（Ｐ_20M）＝Ｃ₂（Ｐ_20M）×ｆ₂（Ａ₂）＝０．７×０．７＝０．４９が得られており、「４０代男性」のクラスについては、Ｑ₂（Ｐ_40M）＝Ｃ₂（Ｐ_40M）×ｆ₂（Ａ₂）＝０．０１×０．７＝０．００７が得られている。なお、人物像の上記（２）の位置は、上記（１）の位置に比べて属性認識に与える影響が小さいため、スコアＣ₂の信頼度ｆ（Ａ₂）を、スコアＣ₁の信頼度ｆ（Ａ₁）よりも高く設定している。

一方、図１０は、３フレーム目について得られた情報の一例を示している。この例では、ＩＤ＝０００１の人物について、属性Ａ₃が「２０代男性」である確からしさを示すスコアＣ₃（Ｐ_20M）が０．０５であり、属性Ａ₃が「４０代男性」である確からしさを示すスコアＣ₃（Ｐ_40M）が０．９となっている。画像内において、人物の像Ｐ₃の位置が、属性Ａ₃の認識にほとんど影響を与えない位置（図４の（３）の位置と同じ）であり、人物認識部１１ａが上記画像に基づいて人物の属性Ａ₃の認識を精度よく行うことができた結果、「２０代男性」のスコアＣ₃（Ｐ_20M）よりも、「４０代男性」のスコアＣ₃（Ｐ_40M）のほうが高くなっている。これらのスコアＣ₃（Ｐ_20M）およびＣ₃（Ｐ_40M）の大小関係は、「４０代男性」を正解とする答えと対応する関係と言える。

人物の像Ｐ₃の位置が属性Ａ₃の認識にほとんど影響を与えない位置であることを考慮し、図１０の例では、スコアＣ₃の信頼度ｆ（Ａ₃）を、ｆ（Ａ₃）＝ｆ₃（Ａ₃）＝１．０に設定している。これにより、各クラスについて、属性Ａ₃の認識結果に上記位置の認識結果を加味した属性情報Ｑ₃として、「２０代男性」のクラスについては、Ｑ₃（Ｐ_20M）＝Ｃ₃（Ｐ_20M）×ｆ₃（Ａ₃）＝０．０５×１．０＝０．０５が得られており、「４０代男性」のクラスについては、Ｑ₃（Ｐ_40M）＝Ｃ₃（Ｐ_40M）×ｆ₃（Ａ₃））＝０．９×１．０＝０．９が得られている。

Ｓ１１では、属性決定部１１ｃは、属性Ａ_nの各クラスについて、各フレームごとに求めた属性情報Ｑ_nを複数フレームで統合し、その結果に基づいて人物の属性Ｂを決定する。なお、上述したＳ５〜Ｓ９、Ｓ１１の工程は、属性決定工程に対応する。

ここで、フレーム数ｎが３つの上記の例において、仮に、属性認識に影響を与える位置（信頼度ｆ（Ａ_n））を考慮せずに属性Ｂを決定する場合（比較例１とする）、３フレームトータルでの「２０代男性」の認識結果を示す評価値Ｚ（Ｐ_20M）’は、スコアＣ_nを用いて以下の式で算出される。
Ｚ（Ｐ_20M）’＝Ｃ₁（Ｐ_20M）＋Ｃ₂（Ｐ_20M）＋Ｃ₃（Ｐ_20M）
＝０．７＋０．７＋０．０５
＝１．４５
一方、３フレームトータルでの「４０代男性」の認識結果を示す評価値Ｚ（Ｐ_40M）’は、スコアＣ_nを用いて以下の式で算出される。
Ｚ（Ｐ_40M）’＝Ｃ₁（Ｐ_40M）＋Ｃ₂（Ｐ_40M）＋Ｃ₃（Ｐ_40M）
＝０．０１＋０．０１＋０．９
＝０．９２
上記より、Ｚ（Ｐ_40M）’＞Ｚ（Ｐ_40M）’であるため、この場合は、属性Ｂが「２０代男性」と決定されることになる。つまり、「４０代男性」が正解であるにもかかわらず、３フレームトータルでは、属性Ｂは「２０代男性」と誤った決定がされることになる。

これに対して、本実施形態のように、属性認識に影響を与える位置（信頼度ｆ（Ａ_n））を考慮して属性Ｂを決定する場合、３フレームトータルでの「２０代男性」の認識結果を示す評価値Ｚ（Ｐ_20M）は、属性情報Ｑ_nを用いて以下の式で算出される。
Ｚ（Ｐ_20M）＝Ｑ₁（Ｐ_20M）＋Ｑ₂（Ｐ_20M）＋Ｑ₃（Ｐ_20M）
＝Ｃ₁（Ｐ_20M）・ｆ₁（Ａ₁）＋Ｃ₂（Ｐ_20M）・ｆ₂（Ａ₂）
＋Ｃ₃（Ｐ_20M）・ｆ₃（Ａ₃）
＝０．１４＋０．４９＋０．０５
＝０．６８
一方、３フレームトータルでの「４０代男性」の認識結果を示す評価値Ｚ（Ｐ_40M）は、属性情報Ｑ_nを用いて以下の式で算出される。
Ｚ（Ｐ_40M）＝Ｑ₁（Ｐ_40M）＋Ｑ₂（Ｐ_40M）＋Ｑ₃（Ｐ_40M）
＝Ｃ₁（Ｐ_40M）・ｆ₁（Ａ₁）＋Ｃ₂（Ｐ_40M）・ｆ₂（Ａ₂）
＋Ｃ₃（Ｐ_40M）・ｆ₃（Ａ₃）
＝０．００２＋０．００７＋０．９
＝０．９０９
上記より、Ｚ（Ｐ_20M）＜Ｚ（Ｐ_40M）であるため、属性決定部１１ｃは、３フレームトータルで、人物の属性Ｂは「４０代男性」であると決定する。この場合、決定された属性Ｂは、正しい属性と一致している。

Ｓ１１にて、属性決定部１１ｃによって決定された属性Ｂは、記憶部１２に記憶される（Ｓ１２；記憶工程）。なお、Ｓ１２において、属性Ｂを記憶部１２に記憶する代わりに、属性Ｂの情報を通信部１５を介して管理サーバー４に送出し、管理サーバー４の格納部２１（図６参照）に格納させてもよく、また、記憶部１２と格納部２１との両方に属性Ｂの情報を記憶させるようにしてもよい。

〔効果〕
以上のように、属性決定部１１ｃは、各フレーム間で同一人であると判断された人物に関して、各フレームごとに、人物認識部１１ａによる属性Ａ_nの認識結果に、属性Ａ_nの認識に影響を与える事象（ここでは画像内での人物の像Ｐ_nの位置）の認識結果を加味した属性情報Ｑ_nを、認識した属性Ａ_nの各クラスについて求める（Ｓ５〜Ｓ８）。これにより、属性決定部１１ｃが、各クラスについて、属性情報Ｑ_nを複数フレームで統合した結果に基づいて、人物の属性Ｂを決定する際に（Ｓ１１）、属性Ａ_nの認識に影響を与える事象が生じたフレームについては、属性Ａ_nの認識結果の最終的な属性決定への寄与度を相対的に小さくし、属性Ａ_nの認識に影響を与える事象が生じていないフレームについては、属性Ａ_nの認識結果の最終的な属性決定への寄与度を相対的に大きくすることができる。その結果、属性Ａ_nの認識に影響を与える事象が数フレーム（上記の例では１フレーム目、２フレーム目）にわたって続く場合でも、最終的な属性Ｂの決定に対する上記数フレームの悪影響（属性Ａ_nの認識精度の低下の影響）を低減して、全体として（複数フレームのトータルで）人物の属性Ｂを精度よく決定することができる。

また、属性決定部１１ｃは、属性Ａ_nの認識に影響を与える事象の認識結果に対応してスコアＣ_nの信頼度ｆ（Ａ_n）を設定し、人物認識部１１ａによって算出されたスコアＣ_nと、上記の信頼度ｆ（Ａ_n）とに基づいて、クラスごとに属性情報Ｑ_nを求める。このように、上記事象の認識結果に対応して信頼度ｆ（Ａ_n）を設定してクラスごとに属性情報Ｑ_nを求めることにより、各フレームについて得られる上記認識結果の属性Ｂの決定への寄与度を、上記事象に応じてクラスごとに適切に調整し、人物の属性Ｂを確実に精度よく決定することができる。

また、上記の信頼度ｆ（Ａ_n）は、属性Ａ_nの認識に影響を与える事象としての、人物の像Ｐ_nの位置に基づいて設定されている。これにより、属性決定部１１ｃは、各フレームごとに、上記信頼度ｆ（Ａ_n）を用いて、人物の像Ｐ_nの位置を考慮した適切な属性情報Ｑ_nを取得することができる。

また、上記の信頼度ｆ（Ａ_n）は、画像内における人物の像Ｐ_nの位置が、全身が撮影された位置であるか否かに基づいて設定されている。これにより、本実施形態のように、人物の像Ｐ_nの位置が、全身が撮影された位置である場合とそうでない場合とで信頼度ｆ（Ａ_n）に差を持たせて、人物の像Ｐ_nの位置に応じた適切な属性情報Ｑ_nを取得することができる。

特に、本実施形態では、画像内における人物の像Ｐ_nの位置が、全身が撮影された位置（例えば図４の（３）の位置）である場合の信頼度ｆ（Ａ_n）は、画像内における人物の像Ｐ_nの位置が、全身の一部のみが撮影された位置（例えば図４の（１）または（２）の位置）である場合の信頼度ｆ（Ａ_n）よりも高く設定されている。これにより、人物の全身が撮影された画像に基づき、高い精度で認識される人物の属性Ａ_nについては、その認識結果の信頼度ｆ（Ａ_n）を上げて、最終的な属性Ｂの決定に対する上記認識結果の寄与度を高めた属性情報Ｑ_nを得ることができる。一方、人物の全身の一部のみが撮影された画像に基づき、低い精度で認識される人物の属性Ａ_nについては、その認識結果の信頼度ｆ（Ａ_n）を下げて、最終的な属性Ｂの決定に対する上記認識結果の寄与度を低くした属性情報Ｑ_nを得ることができる。

また、人物の属性（Ａ_nおよびＢ）は、人物の年齢および性別である。これにより、人物の年齢および性別を、複数フレームのトータルで精度よく決定することができる。なお、上記属性は、人物の年齢および性別のどちらか一方だけであってもよい。この場合であっても、上述した本実施形態の属性決定方法を採用することによって、人物の年齢または性別を、複数フレームのトータルで精度よく決定することができる。

また、本実施形態の属性決定装置３は、属性決定部１１ｃによって決定された属性Ｂを記憶する記憶部１２を備えている。これにより、例えば店舗やシステムの管理者（責任者）は、記憶部１２に記憶された属性Ｂの情報をもとに、店舗を訪れる人物の分析（どのような年代層が店舗に多く訪れるか）、人物の属性Ｂに応じた商品の開発や販売、マーケティングに関する分析などを行うことが可能となる。

また、本実施形態の属性決定システム１は、上述した属性決定装置３と、管理サーバー４とを含み、管理サーバー４は、属性決定装置３から送出される情報を格納する格納部２１を備え、上記情報には、属性決定装置３の属性決定部１１ｃによって決定された属性Ｂが含まれている。これにより、システムの管理者（責任者）は、管理サーバー４の格納部２１に記憶された属性Ｂの情報をもとに、店舗を訪れる人物の分析等を行うことが可能となる。また、店舗が複数存在し、各店舗に属性決定装置３が設けられる場合には、各属性決定装置３から送出される情報（属性Ｂ）を管理サーバー４の格納部２１にて一括管理（集中管理）し、格納された情報をもとに、複数の店舗間で分析結果を比較することも容易となる。

＜実施の形態２＞
本実施形態では、属性Ａ_nの認識に影響を与える事象に人物の行動が含まれ、上記行動を加味して属性Ｂを決定する以外は、実施の形態１と同様である。なお、人物の行動については、後述するように、画像内の人物の像（画像データ）から把握することができる。以下、実施の形態１と異なる部分について説明する。

図１１は、時間的に異なる複数フレームのうち、一部のフレームの画像２ａ₁〜２ａ₄を模式的に示している。なお、図１１の画像２ａ₁〜２ａ₄は、いずれも人物を斜め上方から撮影して得られた画像である。同図に示すように、店舗内で人物が行動するパターンとしては、歩行や立ち止まりなどが考えられ、この他にも、走行、旋回などが考えられる。人物の行動が、歩行中、走行中、旋回中など、動きを伴う行動である場合、画像内では人物の像がブレやすい。この場合、上記画像に基づく人物の属性Ａ_nの認識精度が低下しやすくなる。一方、人物の行動が立ち止まりなどの滞留行動（歩みを止める行動）である場合、画像内では人物の像にブレがほとんど生じないため、上記画像に基づく人物の属性Ａ_nの認識精度の低下はほとんど生じない。

そこで、本実施形態では、属性決定部１１ｃは、属性Ａ_nの認識に影響を与える行動（歩行中などの動きを伴う行動）については、図１１に示すように、信頼度ｆ（Ａ_n）を１未満（例えば０．２）に設定し、属性Ａ_nの認識に影響を与えない行動（立ち止まりなどの滞留行動）については、信頼度ｆ（Ａ_n）を１に設定して、各フレームごとに属性情報Ｑ_nを各クラスについて求め、求めた属性情報Ｑ_nを複数フレームで統合した結果に基づいて、人物の属性Ｂを決定するようにしている。

図１２は、本実施形態の属性決定システム１における処理の流れを示すフローチャートである。なお、図１２のフローチャートは、図７のフローチャートのＳ３およびＳ５を、それぞれＳ３−１およびＳ５−１に置き換えたものである。なお、ここでは、実施の形態１と同様に、属性を判断する対象となる人物は、「４０代男性」であるとする（「４０代男性」が属性として正解であるとする）。

Ｓ３−１（人物認識工程）では、人物認識部１１ａは、人物を上方から撮影したｎフレーム目の画像に基づき、人物矩形Ｒ_nと、人物の属性Ａ_nと、属性Ａ_nの認識に影響を与える事象（ここでは人物の行動）とを認識するとともに、属性Ａ_nの認識結果の確からしさを示すスコアＣ_nを算出する（人物認識工程）。

ここで、人物の行動の認識およびスコアＣ_nの算出は、予め学習されたニューラルネットワークを用いることによって行うことができる。つまり、人物認識部１１ａは、各画像２ａ₁〜２ａ₄のデータを、予め行動認識用に学習されたニューラルネットワークに入力することにより、ニューラルネットワークから人物の行動の認識結果およびその確からしさを示すスコアＣ_nを出力させることができる。したがって、人物認識部１１ａは、ニューラルネットワークからの出力に基づき、人物の行動が、属性認識に影響を与える行動（動きを伴う行動）であるか、属性認識に影響を与えない滞留行動であるかを認識することができる。Ｓ３−１で得られた認識結果およびスコアＣ_nは、記憶部１２に記憶される。

Ｓ５−１では、属性決定部１１ｃは、Ｓ３−１での属性Ａ_nの認識に影響を与える事象の認識結果に対応してスコアＣ_nの信頼度ｆ（Ａ_n）を設定する（Ｓ５−１〜Ｓ７）。つまり、Ｓ３−１にて認識された事象（人物の行動）が、属性認識に影響を与える行動（動きを伴う行動）である場合（Ｓ５−１でＹｅｓ）、属性決定部１１ｃは、上記認識結果に対応して、スコアＣ_nの信頼度ｆ（Ａ_n）を１未満（例えば０．２）に設定する（Ｓ６）。一方、Ｓ３−１にて認識された事象（人物の行動）が、属性認識に影響を与えない滞留行動である場合（Ｓ５−１でＮｏ）、属性決定部１１ｃは、スコアＣ_nの信頼度ｆ（Ａ_n）を１に設定する（Ｓ７）。

次に、属性決定部１１ｃは、Ｓ３−１で算出されたスコアＣ_nと、上記で設定した信頼度ｆ（Ａ_n）とに基づいて、属性情報Ｑ_n（＝Ｑ₁）を属性Ａ_nのクラスごとに求める（Ｓ８）。求めた属性情報Ｑ_nは、記憶部１２に人物の識別情報と対応付けて記憶される。

（ｎ＋１）フレーム目以降の画像についてもＳ２以降の処理を繰り返し（Ｓ９、Ｓ１０）、例えば異なるフレーム間で人物のＩＤが異なる場合など、処理の継続が不要となった時点で（Ｓ９でＮｏ）、処理を継続しないと判断してＳ１１に移行する。Ｓ１１では、属性決定部１１ｃは、属性Ａ_nの各クラスについて、各フレームごとに求めた属性情報Ｑ_nを複数フレームで統合し、その結果に基づいて人物の属性Ｂを決定する。なお、上述したＳ５−１〜Ｓ９、Ｓ１１の工程は、属性決定工程に対応する。

図１３は、１フレーム目について得られた情報の一例を示している。この例では、ＩＤ＝０００１の人物について、属性Ａ₁が「２０代男性」である確からしさを示すスコアＣ₁（Ｐ_20M）が０．７であり、属性Ａ₁が「４０代男性」である確からしさを示すスコアＣ₁（Ｐ_40M）が０．０１となっている。人物の行動が動きを伴う行動（歩行中）であり、画像内で人物の像にブレが生じ、人物認識部１１ａが上記画像に基づいて人物の属性Ａ₁の認識を精度よく行うことができなかった結果、「４０代男性」が正解であるにもかかわらず、「４０代男性」のスコアＣ₁（Ｐ_40M）よりも、「２０代男性」のスコアＣ₁（Ｐ_20M）のほうが高くなっている。

そこで、人物の行動が属性Ａ₁の認識に影響を与える行動であることを考慮し、図１３の例では、スコアＣ₁の信頼度ｆ（Ａ₁）を、ｆ（Ａ₁）＝ｆ₁（Ａ₁）＝０．２に設定している。これにより、各クラスについて、属性Ａ₁の認識結果に上記行動の認識結果を加味した属性情報Ｑ₁として、「２０代男性」のクラスについては、Ｑ₁（Ｐ_20M）＝Ｃ₁（Ｐ_20M）×ｆ₁（Ａ₁）＝０．７×０．２＝０．１４が得られており、「４０代男性」のクラスについては、Ｑ₁（Ｐ_40M）＝Ｃ₁（Ｐ_40M）×ｆ₁（Ａ₁）＝０．０１×０．２＝０．００２が得られている。

図１４は、２フレーム目について得られた情報の一例を示している。この例においても、ＩＤ＝０００１の人物について、人物の行動が動きを伴う行動（歩行中）であるため、１フレーム目と同様に、「４０代男性」が正解であるにもかかわらず、「４０代男性」のスコアＣ₂（Ｐ_40M）よりも、「２０代男性」のスコアＣ₂（Ｐ_20M）のほうが高くなっている。そこで、１フレーム目と同様に、人物の行動が属性Ａ₂の認識に影響を与える行動であることを考慮し、スコアＣ₂の信頼度ｆ（Ａ₂）を、ｆ（Ａ₂）＝ｆ₂（Ａ₂）＝０．２に設定している。これにより、各クラスについて、属性Ａ₂の認識結果に上記行動の認識結果を加味した属性情報Ｑ₂として、「２０代男性」のクラスについては、Ｑ₂（Ｐ_20M）＝Ｃ₂（Ｐ_20M）×ｆ₂（Ａ₂）＝０．７×０．２＝０．１４が得られており、「４０代男性」のクラスについては、Ｑ₂（Ｐ_40M）＝Ｃ₂（Ｐ_40M）×ｆ₂（Ａ₂）＝０．０１×０．２＝０．００２が得られている。

図１５は、３フレーム目について得られた情報の一例を示している。この例では、ＩＤ＝０００１の人物について、属性Ａ₃が「２０代男性」である確からしさを示すスコアＣ₃（Ｐ_20M）が０．０５であり、属性Ａ₃が「４０代男性」である確からしさを示すスコアＣ₃（Ｐ_40M）が０．９となっている。人物の行動が滞留行動（立ち止まり）であり、画像内で人物の像にブレが生じず、人物認識部１１ａが上記画像に基づいて人物の属性Ａ₃の認識を精度よく行うことができた結果、「２０代男性」のスコアＣ₃（Ｐ_20M）よりも、「４０代男性」のスコアＣ₃（Ｐ_40M）のほうが高くなっている。これらのスコアＣ₃（Ｐ_20M）およびＣ₃（Ｐ_40M）の大小関係は、「４０代男性」を正解とする答えと対応する関係と言える。

人物の行動が属性Ａ₃の認識にほとんど影響を与えない行動であることを考慮し、図１５の例では、スコアＣ₃の信頼度ｆ（Ａ₃）を、ｆ（Ａ₃）＝ｆ₃（Ａ₃）＝１．０に設定している。これにより、各クラスについて、属性Ａ₃の認識結果に上記位置の認識結果を加味した属性情報Ｑ₃として、「２０代男性」のクラスについては、Ｑ₃（Ｐ_20M）＝Ｃ₃（Ｐ_20M）×ｆ₃（Ａ₃）＝０．０５×１．０＝０．０５が得られており、「４０代男性」のクラスについては、Ｑ₃（Ｐ_40M）＝Ｃ₃（Ｐ_40M）×ｆ₃（Ａ₃）＝０．９×１．０＝０．９が得られている。

フレーム数ｎが３つの上記の例において、仮に、属性認識に影響を与える人物の行動（信頼度ｆ（Ａ_n））を考慮せずに属性Ｂを決定する場合（比較例２とする）、３フレームトータルでの「２０代男性」の認識結果の評価値Ｚ（Ｐ_20M）’は、スコアＣ_nを用いて以下の式で算出される。
Ｚ（Ｐ_20M）’＝Ｃ₁（Ｐ_20M）＋Ｃ₂（Ｐ_20M）＋Ｃ₃（Ｐ_20M）
＝０．７＋０．７＋０．０５
＝１．４５
一方、３フレームトータルでの「４０代男性」の認識結果の評価値Ｚ（Ｐ_40M）’ は、スコアＣ_nを用いて以下の式で算出される。
Ｚ（Ｐ_40M）’＝Ｃ₁（Ｐ_40M）＋Ｃ₂（Ｐ_40M）＋Ｃ₃（Ｐ_40M）
＝０．０１＋０．０１＋０．９
＝０．９２
上記より、Ｚ（Ｐ_40M）’＞Ｚ（Ｐ_40M）’であるため、この場合は、属性Ｂが「２０代男性」と決定されることになる。つまり、「４０代男性」が正解であるにもかかわらず、３フレームトータルでは、属性Ｂは「２０代男性」と誤った決定がされることになる。

これに対して、本実施形態のように、属性認識に影響を与える人物の行動（信頼度ｆ（Ａ_n））を考慮して属性Ｂを決定する場合、３フレームトータルでの「２０代男性」の認識結果の評価値Ｚ（Ｐ_20M）は、属性情報Ｑ_nを用いて以下の式で算出される。
Ｚ（Ｐ_20M）＝Ｑ₁（Ｐ_20M）＋Ｑ₂（Ｐ_20M）＋Ｑ₃（Ｐ_20M）
＝Ｃ₁（Ｐ_20M）・ｆ₁（Ａ₁）＋Ｃ₂（Ｐ_20M）・ｆ₂（Ａ₂）
＋Ｃ₃（Ｐ_20M）・ｆ₃（Ａ₃）
＝０．１４＋０．１４＋０．０５
＝０．３３
一方、３フレームトータルでの「４０代男性」の認識結果の評価値Ｚ（Ｐ_40M）は、属性情報Ｑ_nを用いて以下の式で算出される。
Ｚ（Ｐ_40M）＝Ｑ₁（Ｐ_40M）＋Ｑ₂（Ｐ_40M）＋Ｑ₃（Ｐ_40M）
＝Ｃ₁（Ｐ_40M）・ｆ₁（Ａ₁）＋Ｃ₂（Ｐ_40M）・ｆ₂（Ａ₂）
＋Ｃ₃（Ｐ_40M）・ｆ₃（Ａ₃）
＝０．００２＋０．００２＋０．９
＝０．９０４
上記より、Ｚ（Ｐ_20M）＜Ｚ（Ｐ_40M）であるため、属性決定部１１ｃは、３フレームトータルで、人物の属性Ｂは「４０代男性」であると決定する。この場合、決定された属性Ｂは、正しい属性と一致している。

以上のように、本実施形態においても、属性決定部１１ｃは、各フレームごとに、人物認識部１１ａによる属性Ａ_nの認識結果に、属性Ａ_nの認識に影響を与える事象（ここでは人物の行動）の認識結果を加味した属性情報Ｑ_n、認識した属性Ａ_nの各クラスについて求める（Ｓ５−１〜Ｓ８）。これにより、属性決定部１１ｃが、各クラスについて、属性情報Ｑ_nを複数フレームで統合した結果に基づいて、人物の属性Ｂを決定する際に（Ｓ１１）、属性Ａ_nの認識に影響を与える行動（動きを伴う行動）が生じたフレームについては、属性Ａ_nの認識結果の最終的な属性決定への寄与度を相対的に小さくし、属性Ａ_nの認識に影響を与える行動が生じていないフレームについては、属性Ａ_nの認識結果の最終的な属性決定への寄与度を相対的に大きくすることができる。その結果、属性Ａ_nの認識に影響を与える行動が数フレーム（上記の例では１フレーム目、２フレーム目）にわたって続く場合でも、最終的な属性Ｂの決定に対する上記数フレームの悪影響（属性Ａ_nの認識精度の低下の影響）を低減して、全体として（複数フレームのトータルで）人物の属性Ｂを精度よく決定することができる。

また、上記の信頼度ｆ（Ａ_n）は、属性Ａ_nの認識に影響を与える事象、つまり、画像内における人物の像から把握される人物の行動に基づいて設定されている。これにより、属性決定部１１ｃは、上記信頼度ｆ（Ａ_n）を用いて、人物の行動を考慮した適切な属性情報Ｑ_nを取得することができる。

また、上記の信頼度ｆ（Ａ_n）は、人物の行動が、動きを伴う行動であるか否かに基づいて設定されている。これにより、人物の行動が、動きを伴う行動である場合とそうでない場合とで信頼度ｆ（Ａ_n）に差を持たせて、人物の行動に応じた属性情報Ｑ_nを取得することができる。

特に、本実施形態では、人物の行動が動きを伴う行動である場合の信頼度ｆ（Ａ_n）は、人物の行動が滞留行動である場合の信頼度ｆ（Ａ_n）よりも低く設定されている。これにより、動きを伴う人物の行動が撮影された画像に基づき、低い精度で認識される人物の属性Ａ_nについては、その認識結果の信頼度ｆ（Ａ_n）を下げて、最終的な属性Ｂの決定に対する上記認識結果の寄与度を低くした属性情報Ｑ_nを得ることができる。一方、人物の滞留行動が撮影された画像に基づき、高い精度で認識される人物の属性Ａ_nについては、その認識結果の信頼度ｆ（Ａ_n）を上げて、最終的な属性Ｂの決定に対する上記認識結果の寄与度を高めた属性情報Ｑ_nを得ることができる。

＜実施の形態３＞
本実施形態では、属性Ａ_nの認識に影響を与える事象に人物の姿勢がさらに含まれ、上記姿勢をさらに加味して属性Ｂを決定する以外は、実施の形態２と同様である。なお、人物の姿勢については、後述するように、画像内の人物の像（画像データ）から把握することができる。以下、実施の形態２と異なる部分について説明する。なお、「姿勢」とは、体の構えを指す点で、動作の有無に着目した「行動」とは区別されるが、立ち止まった姿勢など、一部の姿勢については、行動（立ち止まり）と重複する場合もある。

図１６は、時間的に異なる複数フレームのうち、一部のフレームの画像２ａ₁₁〜２ａ₁₅を模式的に示している。なお、図１６の画像２ａ₁₁〜２ａ₁₅は、いずれも人物を斜め上方から撮影して得られた画像である。同図に示すように、店舗内で人物がとる姿勢としては、例えば店舗内の商品棚の最下部の商品を観察するときの「しゃがみ込み」がある。なお、立ち止まった状態からしゃがみ込むまでの動作（例えばしゃがみ始め）や、しゃがみ込んだ状態から立ち止まるまでの動作（例えば立ち上がり）は、行動と認識することができる。

人物の姿勢が「しゃがみ込み」である場合、人物を上方から撮影した画像では、上半身によって下半身が隠れる画像が得られる。また、上方から見て、全身の一部が商品棚に隠れるような姿勢では、全身の一部のみを撮影した画像が得られる。これらの場合、人物の画像データが欠落しているため（全身の画像データが得られないため）、上記画像に基づく人物の属性Ａ_nの認識精度が低下しやすくなる。一方、人物の姿勢が、立ち止まりなど、全身が撮影される姿勢である場合、人物の撮影画像においては、人物の画像データの欠落がないため、上記画像に基づく人物の属性Ａ_nの認識精度の低下はほとんどない。

そこで、本実施形態では、属性決定部１１ｃは、人物の姿勢が属性Ａ_nの認識に影響を与える姿勢（例えば全身の一部しか撮影されない姿勢）である場合は、図１６に示すように、信頼度ｆ（Ａ_n）を１未満に設定し、人物の姿勢が属性Ａ_nの認識に影響を与えない姿勢（例えば全身が撮影される姿勢）である場合は、信頼度ｆ（Ａ_n）を１に設定して、各フレームごとに属性情報Ｑ_nを各クラスについて求め、求めた属性情報Ｑ_nを複数フレームで統合した結果に基づいて、人物の属性Ｂを決定するようにしている。なお、人物の行動については、実施の形態２と同様に、動きを伴う行動の場合には信頼度ｆ（Ａ_n）を１未満に設定し、滞留行動の場合には信頼度ｆ（Ａ_n）を１に設定して、各フレームごとおよび各クラスごとに属性情報Ｑ_nを求める。

図１７は、本実施形態の属性決定システム１における処理の流れを示すフローチャートである。なお、図１７のフローチャートは、図１２のフローチャートのＳ３−１およびＳ５−１を、それぞれＳ３−２およびＳ５−２に置き換えたものである。なお、ここでは、実施の形態２と同様に、属性を判断する対象となる人物は、「４０代男性」であるとする（「４０代男性」が属性として正解であるとする）。

Ｓ３−２（人物認識工程）では、人物認識部１１ａは、人物を上方から撮影したｎフレーム目の画像に基づき、人物矩形Ｒ_nと、人物の属性Ａ_nと、属性Ａ_nの認識に影響を与える事象（ここでは人物の行動および姿勢）とを認識するとともに、属性Ａ_nの認識結果の確からしさを示すスコアＣ_nを算出する（人物認識工程）。

ここで、人物の姿勢の認識およびスコアＣ_nの算出は、予め学習されたニューラルネットワークを用いることによって行うことができる。つまり、人物認識部１１ａは、各画像２ａ₁〜２ａ₄のデータを、予め姿勢認識用に学習されたニューラルネットワークに入力することにより、ニューラルネットワークから人物の姿勢の認識結果およびその確からしさを示すスコアＣ_nを出力させることができる。したがって、人物認識部１１ａは、ニューラルネットワークからの出力に基づき、人物の姿勢が、属性認識に影響を与える姿勢（全身の一部のみが撮影された姿勢）であるか、属性認識に影響を与えない姿勢（全身が撮影された姿勢）であるかを認識することができる。Ｓ３−１で得られた認識結果およびスコアＣ_nは、記憶部１２に記憶される。

Ｓ５−２では、属性決定部１１ｃは、Ｓ３−２での属性Ａ_nの認識に影響を与える事象の認識結果に対応してスコアＣ_nの信頼度ｆ（Ａ_n）を設定する（Ｓ５−２〜Ｓ７）。つまり、Ｓ３−２にて認識された事象（人物の行動、姿勢）が、属性認識に影響を与える事象である場合（Ｓ５−２でＹｅｓ）、属性決定部１１ｃは、上記認識結果に対応して、スコアＣ_nの信頼度ｆ（Ａ_n）を１未満に設定する（Ｓ６）。一方、Ｓ３−２にて認識された事象（人物の行動、姿勢）が、属性認識に影響を与えない事象である場合（Ｓ５−２でＮｏ）、属性決定部１１ｃは、スコアＣ_nの信頼度ｆ（Ａ_n）を１に設定する（Ｓ７）。

次に、属性決定部１１ｃは、Ｓ３−２で算出されたスコアＣ_nと、上記で設定した信頼度ｆ（Ａ_n）とに基づいて、属性情報Ｑ_n（＝Ｑ₁）を属性Ａ_nのクラスごとに求める（Ｓ８）。求めた属性情報Ｑ_nは、記憶部１２に人物の識別情報と対応付けて記憶される。

（ｎ＋１）フレーム目以降の画像についてもＳ２以降の処理を繰り返し（Ｓ９、Ｓ１０）、例えば異なるフレーム間で人物のＩＤが異なる場合など、処理の継続が不要となった時点で（Ｓ９でＮｏ）、処理を継続しないと判断してＳ１１に移行する。Ｓ１１では、属性決定部１１ｃは、各フレームごとに求めた属性情報Ｑ_nを複数フレームで統合し、その結果に基づいて人物の属性Ｂを決定する。なお、上述したＳ５−２〜Ｓ９、Ｓ１１の工程は、属性決定工程に対応する。

図１８は、１フレーム目および２フレーム目について得られた情報の一例を示している。この例では、ＩＤ＝０００１の人物について、Ｃ₁（Ｐ_20M）＝Ｃ₂（Ｐ_20M）＝０．８であり、Ｃ₁（Ｐ_40M）＝Ｃ₂（Ｐ_40M）＝０．０１となっている。画像中の人物の姿勢が「しゃがみ込み」であり、全身の一部のみ撮影された姿勢であるため、人物認識部１１ａが上記画像に基づいて人物の属性Ａ₁・Ａ₂の認識を精度よく行うことができなかった結果、「４０代男性」が正解であるにもかかわらず、「４０代男性」のスコアＣ₁（Ｐ_40M）およびＣ₂（Ｐ_40M）よりも、「２０代男性」のスコアＣ₁（Ｐ_20M）およびＣ₂（Ｐ_20M）のほうが高くなっている。

そこで、人物の姿勢が属性Ａ₁・Ａ₂の認識に影響を与える姿勢であることを考慮し、図１８の例では、１フレーム目のスコアＣ₁の信頼度ｆ（Ａ₁）を、ｆ（Ａ₁）＝ｆ₁（Ａ₁）＝０．２に設定し、２フレーム目のスコアＣ₂の信頼度ｆ（Ａ₂）を、ｆ（Ａ₂）＝ｆ₂（Ａ₁）＝０．２に設定している。これにより、１フレーム目の属性Ａ₁の認識結果に上記姿勢の認識結果を加味した属性情報Ｑ₁として、Ｑ₁（Ｐ_20M）＝Ｃ₁（Ｐ_20M）×ｆ₁（Ａ₁）＝０．８×０．２＝０．１６が得られており、Ｑ₁（Ｐ_40M）＝Ｃ₁（Ｐ_40M）×ｆ₁（Ａ₁）＝０．０１×０．２＝０．００２が得られている。また、２フレーム目の属性Ａ₂の認識結果に上記姿勢の認識結果を加味した属性情報Ｑ₂として、Ｑ₂（Ｐ_20M）＝Ｃ₂（Ｐ_20M）×ｆ₂（Ａ₂）＝０．８×０．２＝０．１６が得られており、Ｑ₂（Ｐ_40M）＝Ｃ₂（Ｐ_40M）×ｆ₂（Ａ₃）＝０．０１×０．２＝０．００２が得られている。

図１９は、３フレーム目について得られた情報の一例を示している。この例では、ＩＤ＝０００１の人物について、スコアＣ₃（Ｐ_20M）が０．０５であり、スコアＣ₃（Ｐ_40M）が０．９となっている。画像中の人物の姿勢が「立ち止まり」であり、全身が撮影された姿勢であるため、人物認識部１１ａが上記画像に基づいて人物の属性Ａ₃の認識を精度よく行うことができた結果、「２０代男性」のスコアＣ₃（Ｐ_20M）よりも、「４０代男性」のスコアＣ₃（Ｐ_40M）のほうが高くなっている。これらのスコアＣ₃（Ｐ_20M）およびＣ₃（Ｐ_40M）の大小関係は、「４０代男性」を正解とする答えと対応する関係と言える。

人物の姿勢が属性Ａ₃の認識にほとんど影響を与えない姿勢であることを考慮し、図１９の例では、スコアＣ₃の信頼度ｆ（Ａ₃）を、ｆ（Ａ₃）＝ｆ₃（Ａ₃）＝１．０に設定している。これにより、各クラスについて、属性Ａ₃の認識結果に上記位置の認識結果を加味した属性情報Ｑ₃として、「２０代男性」のクラスについては、Ｑ₃（Ｐ_20M）＝Ｃ₃（Ｐ_20M）×ｆ₃（Ａ₃）＝０．０５×１．０＝０．０５が得られており、「４０代男性」のクラスについては、Ｑ₃（Ｐ_40M）＝Ｃ₃（Ｐ_40M）×ｆ₃（Ａ₃）＝０．９×１．０＝０．９が得られている。

フレーム数ｎが３つの上記の例において、仮に、属性認識に影響を与える人物の姿勢（信頼度ｆ（Ａ_n））を考慮せずに属性Ｂを決定する場合（比較例３とする）、３フレームトータルでの「２０代男性」の認識結果の評価値Ｚ（Ｐ_20M）’は、スコアＣ_nを用いて以下の式で算出される。
Ｚ（Ｐ_20M）’＝Ｃ₁（Ｐ_20M）＋Ｃ₂（Ｐ_20M）＋Ｃ₃（Ｐ_20M）
＝０．８＋０．８＋０．０５
＝１．６５
一方、３フレームトータルでの「４０代男性」の認識結果の評価値Ｚ（Ｐ_40M）’ は、スコアＣ_nを用いて以下の式で算出される。
Ｚ（Ｐ_40M）’＝Ｃ₁（Ｐ_40M）＋Ｃ₂（Ｐ_40M）＋Ｃ₃（Ｐ_40M）
＝０．０１＋０．０１＋０．９
＝０．９２
上記より、Ｚ（Ｐ_40M）’＞Ｚ（Ｐ_40M）’であるため、この場合は、属性Ｂが「２０代男性」と決定されることになる。つまり、「４０代男性」が正解であるにもかかわらず、３フレームトータルでは、属性Ｂは「２０代男性」と誤った決定がされることになる。

これに対して、本実施形態のように、属性認識に影響を与える人物の姿勢（信頼度ｆ（Ａ_n））を考慮して属性Ｂを決定する場合、３フレームトータルでの「２０代男性」の認識結果の評価値Ｚ（Ｐ_20M）は、属性情報Ｑ_nを用いて以下の式で算出される。
Ｚ（Ｐ_20M）＝Ｑ₁（Ｐ_20M）＋Ｑ₂（Ｐ_20M）＋Ｑ₃（Ｐ_20M）
＝Ｃ₁（Ｐ_20M）・ｆ₁（Ａ₁）＋Ｃ₂（Ｐ_20M）・ｆ₂（Ａ₂）
＋Ｃ₃（Ｐ_20M）・ｆ₃（Ａ₃）
＝０．１６＋０．１６＋０．０５
＝０．３７
一方、３フレームトータルでの「４０代男性」の認識結果の評価値Ｚ（Ｐ_40M）は、属性情報Ｑ_nを用いて以下の式で算出される。
Ｚ（Ｐ_40M）＝Ｑ₁（Ｐ_40M）＋Ｑ₂（Ｐ_40M）＋Ｑ₃（Ｐ_40M）
＝Ｃ₁（Ｐ_40M）・ｆ₁（Ａ₁）＋Ｃ₂（Ｐ_40M）・ｆ₂（Ａ₂）
＋Ｃ₃（Ｐ_40M）・ｆ₃（Ａ₃）
＝０．００２＋０．００２＋０．９
＝０．９０４
上記より、Ｚ（Ｐ_20M）＜Ｚ（Ｐ_40M）であるため、属性決定部１１ｃは、３フレームトータルで、人物の属性Ｂは「４０代男性」であると決定する。この場合、決定された属性Ｂは、正しい属性と一致している。

以上のように、本実施形態においても、属性決定部１１ｃは、各フレームごとに、人物認識部１１ａによる属性Ａ_nの認識結果に、属性Ａ_nの認識に影響を与える事象（ここでは人物の姿勢）の認識結果を加味した属性情報Ｑ_nを各クラスについて求める（Ｓ５−２〜Ｓ８）。これにより、属性決定部１１ｃが、各クラスについて、属性情報Ｑ_nを複数フレームで統合した結果に基づいて、人物の属性Ｂを決定する際に（Ｓ１１）、属性Ａ_nの認識に影響を与える姿勢が生じたフレームについては、属性Ａ_nの認識結果の最終的な属性決定への寄与度を相対的に小さくし、属性Ａ_nの認識に影響を与える姿勢が生じていないフレームについては、属性Ａ_nの認識結果の最終的な属性決定への寄与度を相対的に大きくすることができる。その結果、属性Ａ_nの認識に影響を与える姿勢が数フレーム（上記の例では１フレーム目、２フレーム目）にわたって続く場合でも、最終的な属性Ｂの決定に対する上記数フレームの悪影響（属性Ａ_nの認識精度の低下の影響）を低減して、複数フレームのトータルで人物の属性Ｂを精度よく決定することができる。

また、上記の信頼度ｆ（Ａ_n）は、属性Ａ_nの認識に影響を与える事象、つまり、画像内における人物の像から把握される人物の姿勢に基づいて設定されている。これにより、属性決定部１１ｃは、上記信頼度ｆ（Ａ_n）を用いて、人物の姿勢を考慮した適切な属性情報Ｑ_nを取得することができる。

また、上記の信頼度ｆ（Ａ_n）は、画像内における人物の姿勢が、全身の一部のみが撮影された姿勢であるか否かに基づいて設定されている。これにより、人物の姿勢が、全身が撮影された姿勢である場合とそうでない場合とで信頼度ｆ（Ａ_n）に差を持たせて、人物の姿勢に応じた属性情報Ｑ_nを取得することができる。

特に、本実施形態では、画像内における人物の姿勢が、全身の一部のみが撮影された姿勢である場合の信頼度ｆ（Ａ_n）は、画像内における人物の姿勢が、全身が撮影された姿勢である場合の信頼度ｆ（Ａ_n）よりも低く設定されている。これにより、全身の一部のみが撮影された画像に基づき、低い精度で認識される人物の属性Ａ_nについては、その認識結果の信頼度ｆ（Ａ_n）を下げて、最終的な属性Ｂの決定に対する上記認識結果の寄与度を低くした属性情報Ｑ_nを得ることができる。一方、全身が撮影された画像に基づき、高い精度で認識される人物の属性Ａ_nについては、その認識結果の信頼度ｆ（Ａ_n）を上げて、最終的な属性Ｂの決定に対する上記認識結果の寄与度を高めた属性情報Ｑ_nを得ることができる。

＜実施の形態４＞
本実施形態では、属性Ａ_nの認識に影響を与える事象として、人物の位置を考えている点で実施の形態１と共通しているが、画像内での複数人の人物の像の位置関係、つまり、各人物矩形の位置関係を加味して属性Ｂを決定している点で、実施の形態１とは異なっている。以下、実施の形態１と異なる部分について説明する。

図２０は、２人の人物を上方から撮影した任意のフレームの画像２ａを模式的に示している。例えば、店舗内（実空間）において、２人の人物が物理的に密着していたり、一方の人物が他方の人物に密着せずに覆いかぶさる状態であった場合には、２人の人物を上方から撮影して得られる画像２ａでは、同図のように、２人の人物の像Ｐａ・Ｐｂが互いに重なる。その結果、図２１に示すように、画像２ａ内では、２人の人物の像Ｐａ・Ｐｂの位置を規定する人物矩形Ｒａ・Ｒｂも互いに重なる。この場合、人物矩形Ｒａ内の情報のうち、人物矩形Ｒｂと重なる部分の情報は、人物矩形Ｒｂ内の像Ｐｂに対応する人物の属性の認識に影響を及ぼす。同様に、人物矩形Ｒｂ内の情報のうち、人物矩形Ｒａと重なる部分の情報は、人物矩形Ｒａ内の像Ｐａに対応する人物の属性の認識に影響を及ぼす。その結果、双方の人物の属性の認識精度が低下する可能性がある。一方、画像２ａ内で各人物矩形Ｒａ・Ｒｂが離れている場合は、各人物矩形Ｒａ・Ｒｂ内の情報が、各人物の属性認識に互いに影響を及ぼすことはなく、各人物の属性の認識精度は向上する。

そこで、本実施形態では、属性決定部１１ｃは、画像２ａ内で、人物の像Ｐａの位置を規定する一の人物矩形Ｒａが、他の人物の像Ｐｂの位置を規定する他の人物矩形Ｒｂと重なっている場合には、信頼度ｆ（Ａ_n）を１未満に設定し、一の人物矩形Ｒａが他の人物矩形Ｒｂと離れている場合には、信頼度ｆ（Ａ_n）を１に設定して、各フレームごとに属性情報Ｑ_nを各クラスについて求め、求めた属性情報Ｑ_nを複数フレームで統合した結果に基づいて、人物の属性Ｂを決定するようにしている。

図２２は、本実施形態の属性決定システム１における処理の流れを示すフローチャートである。なお、図２２のフローチャートは、図７のフローチャートのＳ３およびＳ５を、それぞれＳ３−３およびＳ５−３に置き換えたものである。なお、ここでは、実施の形態１と同様に、属性を判断する対象となる人物（ＩＤ＝０００１の人物）は、「４０代男性」であるとする（「４０代男性」が属性として正解であるとする）。

Ｓ３−３（人物認識工程）では、人物認識部１１ａは、実施の形態１と同様の手法で、２人の人物を上方から撮影したｎフレーム目の画像に基づいて、２人の人物の像を認識し、一方の人物の人物矩形Ｒ_naと、その人物矩形Ｒ_na内の像に対応する人物の属性Ａ_nと、属性Ａ_nの認識に影響を与える事象（ここでは他の人物の人物矩形Ｒ_nb）とを認識するとともに、属性Ａ_nの認識結果の確からしさを示すスコアＣ_nを算出する（人物認識工程）。得られた認識結果およびスコアＣ_nは、記憶部１２に記憶される。Ｓ４では、一の人物矩形Ｒ_naの人物に、ＩＤ＝０００１の識別番号を付与し、他の人物矩形Ｒ_nbの人物に、ＩＤ＝０００２の識別番号を付与する。

Ｓ５−３では、属性決定部１１ｃは、Ｓ３−３での属性Ａ_nの認識に影響を与える事象の認識結果（他の人物矩形Ｒ_nbが一の人物矩形Ｒ_naと重なっているか否か）に対応してスコアＣ_nの信頼度ｆ（Ａ_n）を設定する（Ｓ５−３〜Ｓ７）。つまり、画像内で、一の人物矩形Ｒ_naと他の人物矩形Ｒ_nbとが重なっており、他の人物矩形Ｒ_nbが一の人物矩形Ｒ_na内の像に対応する人物（ＩＤ＝０００１）の属性認識に影響を与える場合（Ｓ５−３でＹｅｓ）、属性決定部１１ｃは、上記認識結果に対応して、スコアＣ_nの信頼度ｆ（Ａ_n）を１未満に設定する（Ｓ６）。一方、画像内で、一の人物矩形Ｒ_naと他の人物矩形Ｒ_nbとが離れており、他の人物矩形Ｒ_nbが一の人物矩形Ｒ_na内の像に対応する人物の属性認識に影響を与えない場合（Ｓ５−２でＮｏ）、属性決定部１１ｃは、スコアＣ_nの信頼度ｆ（Ａ_n）を１に設定する（Ｓ７）。

次に、属性決定部１１ｃは、Ｓ３−３で算出されたスコアＣ_nと、上記で設定した信頼度ｆ（Ａ_n）とに基づいて、属性情報Ｑ_n（＝Ｑ₁）を属性Ａ_nのクラスごとに求める（Ｓ８）。求めた属性情報Ｑ_nは、記憶部１２に人物の識別情報（ＩＤ＝０００１）と対応付けて記憶される。

（ｎ＋１）フレーム目以降の画像についてもＳ２以降の処理を繰り返し（Ｓ９、Ｓ１０）、処理の継続が不要となった時点でＳ１１に移行する。Ｓ１１では、属性決定部１１ｃは、各フレームごとに求めた属性情報Ｑ_nを複数フレームで統合し、その結果に基づいて人物の属性Ｂを決定する。なお、上述したＳ５−３〜Ｓ９、Ｓ１１の工程は、属性決定工程に対応する。

図２３は、１フレーム目および２フレーム目について得られた情報の一例を示している。この例では、ＩＤ＝０００１の人物について、Ｃ₁（Ｐ_20M）＝Ｃ₂（Ｐ_20M）＝０．７であり、Ｃ₁（Ｐ_40M）＝Ｃ₂（Ｐ_40M）＝０．０１となっている。画像中で人物矩形Ｒ_na・Ｒ_nbが重なっており、人物認識部１１ａが、人物矩形Ｒ_na内の像に対応する人物（ＩＤ＝０００１）の属性Ａ₁・Ａ₂の認識を精度よく行うことができなかった結果、「４０代男性」が正解であるにもかかわらず、「４０代男性」のスコアＣ₁（Ｐ_40M）およびＣ₂（Ｐ_40M）よりも、「２０代男性」のスコアＣ₁（Ｐ_20M）およびＣ₂（Ｐ_20M）のほうが高くなっている。

そこで、人物矩形Ｒ_nbが、人物（ＩＤ＝０００１）の属性Ａ₁・Ａ₂の認識に影響を与える位置にあることを考慮し、図２３の例では、１フレーム目のスコアＣ₁の信頼度ｆ（Ａ₁）を、ｆ（Ａ₁）＝ｆ₁（Ａ₁）０．１に設定し、２フレーム目のスコアＣ₂の信頼度ｆ（Ａ₂）を、ｆ（Ａ₂）＝ｆ₂（Ａ₂）＝０．１に設定している。これにより、１フレーム目の属性Ａ₁の認識結果に上記人物矩形Ｒ_nbの認識結果（位置）を加味した属性情報Ｑ₁として、Ｑ₁（Ｐ_20M）＝Ｃ₁（Ｐ_20M）×ｆ₁（Ａ₁）＝０．７×０．１＝０．０７が得られており、Ｑ₁（Ｐ_40M）＝Ｃ₁（Ｐ_40M）×ｆ₁（Ａ₁）＝０．０１×０．１＝０．００１が得られている。また、２フレーム目の属性Ａ₂の認識結果に上記人物矩形Ｒ_nbの認識結果（位置）を加味した属性情報Ｑ₂として、Ｑ₂（Ｐ_20M）＝Ｃ₂（Ｐ_20M）×ｆ₂（Ａ₂）＝０．７×０．１＝０．０７が得られており、Ｑ₂（Ｐ_40M）＝Ｃ₂（Ｐ_40M）×ｆ₂（Ａ₂）＝０．０１×０．１＝０．００１が得られている。

図２４は、３フレーム目について得られた情報の一例を示している。この例では、ＩＤ＝０００１の人物について、スコアＣ₃（Ｐ_20M）が０．０１であり、スコアＣ₃（Ｐ_40M）が０．９となっている。画像中で人物矩形Ｒ_na・Ｒ_nbが互いに離れており、人物認識部１１ａが上記画像（人物矩形Ｒ_na内の人物（ＩＤ＝０００１）の像）に基づいて人物の属性Ａ₃の認識を精度よく行うことができた結果、「２０代男性」のスコアＣ₃（Ｐ_20M）よりも、「４０代男性」のスコアＣ₃（Ｐ_40M）のほうが高くなっている。これらのスコアＣ₃（Ｐ_20M）およびＣ₃（Ｐ_40M）の大小関係は、「４０代男性」を正解とする答えと対応する関係と言える。

人物矩形Ｒ_nbが、人物（ＩＤ＝０００１）の属性Ａ₃の認識にほとんど影響を与えない位置であることを考慮し、図２４の例では、スコアＣ₃の信頼度ｆ（Ａ₃）を、ｆ（Ａ₃）＝ｆ₃（Ａ₃）＝１．０に設定している。これにより、各クラスについて、人物（ＩＤ＝０００１）の属性Ａ₃の認識結果に上記人物矩形Ｒ_nbの認識結果を加味した属性情報Ｑ₃として、「２０代男性」のクラスについては、Ｑ₃（Ｐ_20M）＝Ｃ₃（Ｐ_20M）×ｆ₃（Ａ₃）＝０．０１×１．０＝０．０１が得られており、「４０代男性」のクラスについては、Ｑ₃（Ｐ_40M）＝Ｃ₃（Ｐ_40M）×ｆ₃（Ａ₃）＝０．９×１．０＝０．９が得られている。

フレーム数ｎが３つの上記の例において、仮に、属性認識に影響を与える人物矩形Ｒ_nbの位置（信頼度ｆ（Ａ_n））を考慮せずに属性Ｂを決定する場合（比較例４とする）、３フレームトータルでの「２０代男性」の認識結果の評価値Ｚ（Ｐ_20M）’は、スコアＣ_nを用いて以下の式で算出される。
Ｚ（Ｐ_20M）’＝Ｃ₁（Ｐ_20M）＋Ｃ₂（Ｐ_20M）＋Ｃ₃（Ｐ_20M）
＝０．７＋０．７＋０．０１
＝１．４１
一方、３フレームトータルでの「４０代男性」の認識結果の評価値Ｚ（Ｐ_40M）’ は、スコアＣ_nを用いて以下の式で算出される。
Ｚ（Ｐ_40M）’＝Ｃ₁（Ｐ_40M）＋Ｃ₂（Ｐ_40M）＋Ｃ₃（Ｐ_40M）
＝０．０１＋０．０１＋０．９
＝０．９２
上記より、Ｚ（Ｐ_40M）’＞Ｚ（Ｐ_40M）’であるため、この場合は、属性Ｂが「２０代男性」と決定されることになる。つまり、「４０代男性」が正解であるにもかかわらず、３フレームトータルでは、属性Ｂは「２０代男性」と誤った決定がされることになる。

これに対して、本実施形態のように、属性認識に影響を与える人物矩形Ｒ_nbの位置（信頼度ｆ（Ａ_n））を考慮して属性Ｂを決定する場合、３フレームトータルでの「２０代男性」の認識結果の評価値Ｚ（Ｐ_20M）は、属性情報Ｑ_nを用いて以下の式で算出される。
Ｚ（Ｐ_20M）＝Ｑ₁（Ｐ_20M）＋Ｑ₂（Ｐ_20M）＋Ｑ₃（Ｐ_20M）
＝Ｃ₁（Ｐ_20M）・ｆ₁（Ａ₁）＋Ｃ₂（Ｐ_20M）・ｆ₂（Ａ₂）
＋Ｃ₃（Ｐ_20M）・ｆ₃（Ａ₃）
＝０．０７＋０．０７＋０．０１
＝０．１５
一方、３フレームトータルでの「４０代男性」の認識結果の評価値Ｚ（Ｐ_40M）は、属性情報Ｑ_nを用いて以下の式で算出される。
Ｚ（Ｐ_40M）＝Ｑ₁（Ｐ_40M）＋Ｑ₂（Ｐ_40M）＋Ｑ₃（Ｐ_40M）
＝Ｃ₁（Ｐ_40M）・ｆ₁（Ａ₁）＋Ｃ₂（Ｐ_40M）・ｆ₂（Ａ₂）
＋Ｃ₃（Ｐ_40M）・ｆ₃（Ａ₃）
＝０．００１＋０．００１＋０．９
＝０．９０２
上記より、Ｚ（Ｐ_20M）＜Ｚ（Ｐ_40M）であるため、属性決定部１１ｃは、３フレームトータルで、人物の属性Ｂは「４０代男性」であると決定する。この場合、決定された属性Ｂは、正しい属性と一致している。

以上のように、本実施形態においても、属性決定部１１ｃは、各フレームごとに、人物認識部１１ａによる属性Ａ_nの認識結果に、属性Ａ_nの認識に影響を与える事象（人物の位置（特に人物矩形Ｒ_na・Ｒ_nbの重なり））の認識結果を加味した属性情報Ｑ_nを各クラスについて求める（Ｓ５−３〜Ｓ８）。これにより、属性決定部１１ｃが、各クラスについて、属性情報Ｑ_nを複数フレームで統合した結果に基づいて、人物の属性Ｂを決定する際に（Ｓ１１）、属性Ａ_nの認識に影響を与える事象が生じたフレーム（画像内で人物矩形Ｒ_na・Ｒ_nbが重なっているフレーム）については、属性Ａ_nの認識結果の最終的な属性決定への寄与度を相対的に小さくし、属性Ａ_nの認識に影響を与える事象が生じていないフレーム（画像内で人物矩形Ｒ_na・Ｒ_nbが離れているフレーム）については、属性Ａ_nの認識結果の最終的な属性決定への寄与度を相対的に大きくすることができる。その結果、属性Ａ_nの認識に影響を与える事象（人物矩形Ｒ_na・Ｒ_nbの重なり）が数フレーム（上記の例では１フレーム目、２フレーム目）にわたって続く場合でも、最終的な属性Ｂの決定に対する上記数フレームの悪影響（属性Ａ_nの認識精度の低下の影響）を低減して、複数フレームのトータルで人物の属性Ｂを精度よく決定することができる。

また、上記の信頼度ｆ（Ａ_n）は、画像内で、一の人物矩形Ｒ_naが他の人物矩形Ｒ_nbと重なっているか否かに基づいて設定されている。これにより、画像内で、一の人物矩形Ｒ_naが他の人物矩形Ｒ_nbと重なっている場合とそうでない場合とで信頼度ｆ（Ａ_n）に差を持たせて、人物矩形Ｒ_na・Ｒ_nbの位置に応じた属性情報Ｑ_nを取得することができる。

特に、本実施形態では、画像内で、一の人物矩形Ｒ_naが他の人物矩形Ｒ_nbと重なっている場合の信頼度ｆ（Ａ_n）は、一の人物矩形Ｒ_naが他の人物矩形Ｒ_nbから離れている場合の信頼度ｆ（Ａ_n）よりも低く設定されている。これにより、人物矩形Ｒ_na・Ｒ_nbが重なっている画像に基づき、低い精度で認識される人物の属性Ａ_nについては、その認識結果の信頼度ｆ（Ａ_n）を下げて、最終的な属性Ｂの決定に対する上記認識結果の寄与度を低くした属性情報Ｑ_nを得ることができる。一方、人物矩形Ｒ_na・Ｒ_nbが離れている画像に基づき、高い精度で認識される人物の属性Ａ_nについては、その認識結果の信頼度ｆ（Ａ_n）を上げて、最終的な属性Ｂの決定に対する上記認識結果の寄与度を高めた属性情報Ｑ_nを得ることができる。

＜プログラムおよび記録媒体＞
以上の各実施の形態で説明した属性決定装置３は、例えば、所定のプログラム（アプリケーションソフトウェア）をインストールしたコンピュータ（ＰＣ）で構成することができる。上記プログラムをコンピュータ（例えばＣＰＵとしての制御部１６）が読み取って実行することにより、属性決定装置３の各部を動作させて上述した各処理（各工程）を実行させることができる。このようなプログラムは、例えばネットワークを介して外部からダウンロードすることによって取得されて記憶部１２に記憶される。また、上記プログラムは、例えばＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読取可能な記録媒体に記録され、この記録媒体から上記プログラムをコンピュータが読み取って記憶部１２に記憶する形態であってもよい。

＜補足＞
以上の各実施の形態を組み合わせて、複数フレームのトータルで人物の属性を決定することも可能である。例えば、属性の認識に影響を与える事象として、人物の位置、行動、姿勢を適宜組み合わせて信頼度を設定し、上記信頼度とスコアとに基づいて各フレームごとに属性情報を求め、複数フレームで属性情報を統合することによって、属性を決定するようにしてもよい。

以上で説明した本実施形態の属性決定装置、属性決定システムおよび属性決定方法は、以下のように表現されてもよい。また、本実施形態で説明した内容は、以下のプログラムおよび記録媒体を含む。

１．人物を上方から撮影した各フレームの画像に基づいて、前記人物の属性を決定する属性決定装置であって、
各フレームの前記画像に基づいて、前記画像内における前記人物の像の情報を示す人物情報と、前記人物の属性と、前記属性の認識に影響を与える事象とを、各フレームごとに認識する人物認識部と、
各フレームの前記人物情報に基づいて、各フレーム間で前記人物の像が同一人の像であるか否かを判断する人物同定部と、
各フレーム間で前記人物の像が同一人の像であると判断された前記人物に関して、各フレームごとに、前記属性の認識結果に前記事象の認識結果を加味した属性情報を、認識した前記属性の各クラスについて求め、前記各クラスについて、前記属性情報を複数フレームで統合した結果に基づいて、前記人物の前記属性を決定する属性決定部とを備えていることを特徴とする属性決定装置。

２．前記人物認識部は、各フレームの前記画像に基づいて、前記属性の認識結果の確からしさを示すスコアを算出し、
前記属性決定部は、前記事象の認識結果に対応して前記スコアの信頼度を設定し、前記人物認識部によって算出された前記スコアと、前記信頼度とに基づいて、前記クラスごとに前記属性情報を求めることを特徴とする前記１に記載の属性決定装置。

３．前記事象は、前記画像内における前記人物の像の位置を含み、
前記信頼度は、前記人物の像の位置に基づいて設定されていることを特徴とする前記２に記載の属性決定装置。

４．前記信頼度は、前記画像内における前記人物の像の位置が、全身が撮影された位置であるか否かに基づいて設定されていることを特徴とする前記３に記載の属性決定装置。

５．前記画像内における前記人物の像の位置が、全身が撮影された位置である場合の前記信頼度は、前記画像内における前記人物の像の位置が、全身の一部のみが撮影された位置である場合の前記信頼度よりも高く設定されていることを特徴とする前記４に記載の属性決定装置。

６．前記信頼度は、前記画像内で、前記人物の像の位置を規定する一の人物矩形が、他の人物の像の位置を規定する他の人物矩形と重なっているか否かに基づいて設定されていることを特徴とする前記３に記載の属性決定装置。

７．前記画像内で、前記一の人物矩形が前記他の人物矩形と重なっている場合の前記信頼度は、前記一の人物矩形が前記他の人物矩形から離れている場合の前記信頼度よりも低く設定されていることを特徴とする前記６に記載の属性決定装置。

８．前記事象は、前記画像内における前記人物の像から把握される前記人物の行動を含み、
前記信頼度は、前記人物の行動に基づいて設定されていることを特徴とする前記２から７のいずれかに記載の属性決定装置。

９．前記信頼度は、前記人物の行動が、動きを伴う行動であるか否かに基づいて設定されていることを特徴とする前記８に記載の属性決定装置。

１０．前記人物の行動が動きを伴う行動である場合の前記信頼度は、前記人物の行動が滞留行動である場合の前記信頼度よりも低く設定されていることを特徴とする前記９に記載の属性決定装置。

１１．前記事象は、前記画像内における前記人物の像から把握される前記人物の姿勢を含み、
前記信頼度は、前記人物の姿勢に基づいて設定されていることを特徴とする前記２から１０のいずれかに記載の属性決定装置。

１２．前記信頼度は、前記画像内における前記人物の姿勢が、全身の一部のみが撮影された姿勢であるか否かに基づいて設定されていることを特徴とする前記１１に記載の属性決定装置。

１３．前記画像内における前記人物の姿勢が、全身の一部のみが撮影された姿勢である場合の前記信頼度は、前記画像内における前記人物の姿勢が、全身が撮影された姿勢である場合の前記信頼度よりも低く設定されていることを特徴とする前記１２に記載の属性決定装置。

１４．前記人物の前記属性は、前記人物の年齢および性別の少なくとも一方であることを特徴とする前記１から１３のいずれかに記載の属性決定装置。

１５．前記属性決定部によって決定された前記属性を記憶する記憶部をさらに備えていることを特徴とする前記１から１４のいずれかに記載の属性決定装置。

１６．前記１から１５のいずれかに記載の属性決定装置と、
前記属性決定装置と通信回線を介して接続される管理サーバーとを含み、
前記管理サーバーは、前記属性決定装置から送出される情報を格納する格納部を備え、
前記情報には、前記属性決定装置の前記属性決定部によって決定された前記属性が含まれることを特徴とする属性決定システム。

１７．人物を上方から撮影した各フレームの画像に基づいて、前記人物の属性を決定する属性決定方法であって、
各フレームの前記画像に基づいて、前記画像内における前記人物の像の情報を示す人物情報と、前記人物の属性と、前記属性の認識に影響を与える事象とを、各フレームごとに認識する人物認識工程と、
各フレームの前記人物情報に基づいて、各フレーム間で前記人物の像が同一人の像であるか否かを判断する人物同定工程と、
各フレーム間で前記人物の像が同一人の像であると判断された前記人物に関して、各フレームごとに、前記属性の認識結果に前記事象の認識結果を加味した属性情報を、認識した前記属性の各クラスについて求め、前記各クラスについて、前記属性情報を複数フレームで統合した結果に基づいて、前記人物の前記属性を決定する属性決定工程とを含むことを特徴とする属性決定方法。

１８．前記人物認識工程では、各フレームの前記画像に基づいて、前記属性の認識結果の確からしさを示すスコアを算出し、
前記属性決定工程では、前記事象の認識結果に対応して前記スコアの信頼度を設定し、前記人物認識部によって算出された前記スコアと、前記信頼度とに基づいて、前記クラスごとに前記属性情報を求めることを特徴とする前記１７に記載の属性決定方法。

１９．前記事象は、前記画像内における前記人物の像の位置を含み、
前記信頼度は、前記人物の像の位置に基づいて設定されていることを特徴とする前記１８に記載の属性決定方法。

２０．前記信頼度は、前記画像内における前記人物の像の位置が、全身が撮影された位置であるか否かに基づいて設定されていることを特徴とする前記１９に記載の属性決定方法。

２１．前記画像内における前記人物の像の位置が、全身が撮影された位置である場合の前記信頼度は、前記画像内における前記人物の像の位置が、全身の一部のみが撮影された位置である場合の前記信頼度よりも高く設定されていることを特徴とする前記２０に記載の属性決定方法。

２２．前記信頼度は、前記画像内で、前記人物の像の位置を規定する一の人物矩形が、他の人物の像の位置を規定する他の人物矩形と重なっているか否かに基づいて設定されていることを特徴とする前記１９に記載の属性決定方法。

２３．前記画像内で、前記一の人物矩形が前記他の人物矩形と重なっている場合の前記信頼度は、前記一の人物矩形が前記他の人物矩形から離れている場合の前記信頼度よりも低く設定されていることを特徴とする前記２２に記載の属性決定方法。

２４．前記事象は、前記画像内における前記人物の像から把握される前記人物の行動を含み、
前記信頼度は、前記人物の行動に基づいて設定されていることを特徴とする前記１８から２３のいずれかに記載の属性決定方法。

２５．前記信頼度は、前記人物の行動が、動きを伴う行動であるか否かに基づいて設定されていることを特徴とする前記２４に記載の属性決定方法。

２６．前記人物の行動が動きを伴う行動である場合の前記信頼度は、前記人物の行動が滞留行動である場合の前記信頼度よりも低く設定されていることを特徴とする前記２５に記載の属性決定方法。

２７．前記事象は、前記画像内における前記人物の像から把握される前記人物の姿勢を含み、
前記信頼度は、前記人物の姿勢に基づいて設定されていることを特徴とする前記１８から２６のいずれかに記載の属性決定方法。

２８．前記信頼度は、前記画像内における前記人物の姿勢が、全身の一部のみが撮影された姿勢であるか否かに基づいて設定されていることを特徴とする前記２７に記載の属性決定方法。

２９．前記画像内における前記人物の姿勢が、全身の一部のみが撮影された姿勢である場合の前記信頼度は、前記画像内における前記人物の姿勢が、全身が撮影された姿勢である場合の前記信頼度よりも低く設定されていることを特徴とする前記２８に記載の属性決定方法。

３０．前記人物の前記属性は、前記人物の年齢および性別の少なくとも一方であることを特徴とする前記１７から２９のいずれかに記載の属性決定方法。

３１．前記属性決定工程によって決定された前記属性を記憶する記憶工程をさらに含むことを特徴とする請求項１７から３０のいずれかに記載の属性決定方法。

３２．前記１７から３１のいずれかに記載の属性決定方法をコンピュータに実行させるための属性決定プログラム。

３３．前記３２に記載の属性決定プログラムを記録した、コンピュータ読取可能な記録媒体。

以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。

本発明は、人物を上方から撮影した各フレームの画像に基づいて、人物の属性を決定する装置、システムおよび方法に利用可能である。

１ 属性決定システム
３ 属性決定装置
４ 管理サーバー
１１ａ 人物認識部
１１ｂ 人物同定部
１１ｃ 属性決定部
１２ 記憶部
２１ 格納部

Claims (20)

1. 人物を上方から撮影した各フレームの画像に基づいて、前記人物の属性を決定する属性決定装置であって、
   各フレームの前記画像に基づいて、前記画像内における前記人物の像の情報を示す人物情報と、前記人物の属性と、前記属性の認識に影響を与える事象とを、各フレームごとに認識する人物認識部と、
   各フレームの前記人物情報に基づいて、各フレーム間で前記人物の像が同一人の像であるか否かを判断する人物同定部と、
   各フレーム間で前記人物の像が同一人の像であると判断された前記人物に関して、各フレームごとに、前記属性の認識結果に前記事象の認識結果を加味した属性情報を、認識した前記属性の各クラスについて求め、前記各クラスについて、前記属性情報を複数フレームで統合した結果に基づいて、前記人物の前記属性を決定する属性決定部とを備えていることを特徴とする属性決定装置。
2. 前記人物認識部は、各フレームの前記画像に基づいて、前記属性の認識結果の確からしさを示すスコアを算出し、
   前記属性決定部は、前記事象の認識結果に対応して前記スコアの信頼度を設定し、前記人物認識部によって算出された前記スコアと、前記信頼度とに基づいて、前記クラスごとに前記属性情報を求めることを特徴とする請求項１に記載の属性決定装置。
3. 前記事象は、前記画像内における前記人物の像の位置を含み、
   前記信頼度は、前記人物の像の位置に基づいて設定されていることを特徴とする請求項２に記載の属性決定装置。
4. 前記信頼度は、前記画像内における前記人物の像の位置が、全身が撮影された位置であるか否かに基づいて設定されていることを特徴とする請求項３に記載の属性決定装置。
5. 前記画像内における前記人物の像の位置が、全身が撮影された位置である場合の前記信頼度は、前記画像内における前記人物の像の位置が、全身の一部のみが撮影された位置である場合の前記信頼度よりも高く設定されていることを特徴とする請求項４に記載の属性決定装置。
6. 前記信頼度は、前記画像内で、前記人物の像の位置を規定する一の人物矩形が、他の人物の像の位置を規定する他の人物矩形と重なっているか否かに基づいて設定されていることを特徴とする請求項３に記載の属性決定装置。
7. 前記画像内で、前記一の人物矩形が前記他の人物矩形と重なっている場合の前記信頼度は、前記一の人物矩形が前記他の人物矩形から離れている場合の前記信頼度よりも低く設定されていることを特徴とする請求項６に記載の属性決定装置。
8. 前記事象は、前記画像内における前記人物の像から把握される前記人物の行動を含み、
   前記信頼度は、前記人物の行動に基づいて設定されていることを特徴とする請求項２から７のいずれかに記載の属性決定装置。
9. 前記信頼度は、前記人物の行動が、動きを伴う行動であるか否かに基づいて設定されていることを特徴とする請求項８に記載の属性決定装置。
10. 前記人物の行動が動きを伴う行動である場合の前記信頼度は、前記人物の行動が滞留行動である場合の前記信頼度よりも低く設定されていることを特徴とする請求項９に記載の属性決定装置。
11. 前記事象は、前記画像内における前記人物の像から把握される前記人物の姿勢を含み、
    前記信頼度は、前記人物の姿勢に基づいて設定されていることを特徴とする請求項２から１０のいずれかに記載の属性決定装置。
12. 前記信頼度は、前記画像内における前記人物の姿勢が、全身の一部のみが撮影された姿勢であるか否かに基づいて設定されていることを特徴とする請求項１１に記載の属性決定装置。
13. 前記画像内における前記人物の姿勢が、全身の一部のみが撮影された姿勢である場合の前記信頼度は、前記画像内における前記人物の姿勢が、全身が撮影された姿勢である場合の前記信頼度よりも低く設定されていることを特徴とする請求項１２に記載の属性決定装置。
14. 前記人物の前記属性は、前記人物の年齢および性別の少なくとも一方であることを特徴とする請求項１から１３のいずれかに記載の属性決定装置。
15. 前記属性決定部によって決定された前記属性を記憶する記憶部をさらに備えていることを特徴とする請求項１から１４のいずれかに記載の属性決定装置。
16. 請求項１から１５のいずれかに記載の属性決定装置と、
    前記属性決定装置と通信回線を介して接続される管理サーバーとを含み、
    前記管理サーバーは、前記属性決定装置から送出される情報を格納する格納部を備え、
    前記情報には、前記属性決定装置の前記属性決定部によって決定された前記属性が含まれることを特徴とする属性決定システム。
17. 人物を上方から撮影した各フレームの画像に基づいて、前記人物の属性を決定する属性決定方法であって、
    各フレームの前記画像に基づいて、前記画像内における前記人物の像の情報を示す人物情報と、前記人物の属性と、前記属性の認識に影響を与える事象とを、各フレームごとに認識する人物認識工程と、
    各フレームの前記人物情報に基づいて、各フレーム間で前記人物の像が同一人の像であるか否かを判断する人物同定工程と、
    各フレーム間で前記人物の像が同一人の像であると判断された前記人物に関して、各フレームごとに、前記属性の認識結果に前記事象の認識結果を加味した属性情報を、認識した前記属性の各クラスについて求め、前記各クラスについて、前記属性情報を複数フレームで統合した結果に基づいて、前記人物の前記属性を決定する属性決定工程とを含むことを特徴とする属性決定方法。
18. 前記人物認識工程では、各フレームの前記画像に基づいて、前記属性の認識結果の確からしさを示すスコアを算出し、
    前記属性決定工程では、前記事象の認識結果に対応して前記スコアの信頼度を設定し、前記人物認識部によって算出された前記スコアと、前記信頼度とに基づいて、前記クラスごとに前記属性情報を求めることを特徴とする請求項１７に記載の属性決定方法。
19. 前記人物の前記属性は、前記人物の年齢および性別の少なくとも一方であることを特徴とする請求項１７または１８に記載の属性決定方法。
20. 前記属性決定工程よって決定された前記属性を記憶する記憶工程をさらに含むことを特徴とする請求項１７から１９のいずれかに記載の属性決定方法。

Images