JP2010033474A - 属性別人数集計装置、属性別人数集計方法、および属性別人数集計システム - Google Patents

Abstract

【課題】デパートやショッピングセンタ等の大型店舗において、売上改善策や、集客率の向上対策を講じるときの指標が直接的に得られる属性別人数集計装置を提供する。
【解決手段】カメラ３は、撮像画像を、接続されているセンサユニット２に入力している。カメラ３は、１秒間に数十フレームの撮像画像をセンサユニット２に入力する。センサユニット２は、カメラ３から入力される撮像画像を一時的に撮像画像入力部２２のバッファメモリに記憶する。センサユニット２は、バッファメモリに記憶した撮像画像を、記憶した順番に属性推定部２３で処理し、撮像された人の属性を推定するとともに、その人数を属性別に計数する。操作ユニット１は、集計対称エリア毎に、対応するセンサユニット２で属性別に計数された人数を集計する。
【選択図】図１

Description

この発明は、訪れた人を性別、年代、年齢等の属性別に集計し、集計結果を出力する属性別人数集計装置、属性別人数集計方法、および属性別人数集計システムに関する。

従来、講演会会場やスポーツ競技場等の施設における来場者の人数を、カメラを用いて計数する装置が提案されている（例えば、特許文献１参照）。この特許文献１は、複数のカメラを用いて、来場者の人数を計数する。具体的には、複数のカメラで、来場者の人数を計数する場所を略同時に複数の方向から撮像する。カメラ毎に、撮像画像を処理し、撮像されている来場者の人数を計数する。また、２つのカメラの組合せ毎に、これら２つのカメラの撮像画像に撮像されている来場者の顔画像を照合し、重複して撮像されている来場者の人数を計数する。そして、各カメラの撮像画像に撮像されていた来場者の合計人数から、２つのカメラの組合せ毎に、重複して撮像されていた来場者の合計人数を差し引いた人数を、来場者の人数とする構成である。

また、店舗内の売り場やレジ等の複数の箇所に設置したカメラで撮像した顧客の撮像画像を処理し、顧客の性別や年齢等の属性を推定し、売り場毎に、立ち寄る顧客の傾向を調べる装置も提案されている（特許文献２参照）。
特開２００７−１０２３４１号公報 特開２００４−３４８６１８号公報

しかしながら、デパートやショッピングセンタ等の大型店舗では、売上改善策や、集客率の向上対策を講じるときに、店舗全体の来店者数だけでなく、フロア毎の来店者数やフロア間の来店者数の差、売り場毎の来店者数や売り場間の来店者数の差等を指標にしている。

特許文献２の装置は、単に、売り場やレジ等に立ち寄った顧客の人数を属性別に集計しているだけである。このため、デパートやショッピングセンタ等の大型店舗に適用しても、店舗全体の来店者数だけでなく、フロア毎の来店者数やフロア間の来店者数の差、売り場毎の来店者数や売り場間の来店者数の差等を得ることができない。すなわち、特許文献２の装置は、デパートやショッピングセンタ等の大型店舗において、売上改善策や、集客率の向上対策を講じるときの指標が直接的に得られなかった。

この発明の目的は、デパートやショッピングセンタ等の大型店舗において、売上改善策や、集客率の向上対策を講じるときの指標が直接的に得られる属性別人数集計装置、属性別人数集計方法、および属性別人数集計システムを提供することにある。

この発明の属性別人数集計装置は、上記課題を解決し、その目的を達するために、以下のように構成している。

カメラ管理手段が、複数のカメラを、グループに分けて管理する。各カメラは、集計対象エリアに入る人が通行する場所を撮像する位置に取り付けられる。集計対象エリアは、デパートやショッピングセンタ等の大型店舗（施設）、施設内のフロアや、売り場等、複数のエリアを設定できる。集計対象エリアに入る人が通行する場所とは、その集計対称エリアの入口や出入口、通路、エレベータの出口、エスカレータの出口等である。カメラ管理手段では、集計対象エリア毎に、その集計対象エリアに入る人が通行する場所を撮像する位置に取り付けられているカメラを、１つのグループとして管理する。

属性推定手段が、カメラ毎に、そのカメラの撮像画像を処理し、撮像された人物について、性別や年代（または年齢）を属性として推定する。また、計数手段が、カメラ毎に、属性推定手段による推定結果に基づいて、撮像された人物の人数を属性別に計数する。また、集計手段が、カメラ管理手段がカメラを管理しているグループ毎に、そのグループに属する各カメラについて、計数手段が属性別に計数した人数を集計する。すなわち、設定した集計対象エリア毎に、その集計対象エリアに入った人の人数を、属性別に集計することができる。そして、集計結果出力手段が、集計手段による集計結果を出力する。

したがって、デパートやショッピングセンタ等の大型店舗で利用すれば、出力された集計結果から、店舗全体の来店者数だけでなく、フロア毎の来店者数やフロア間の来店者数の差、売り場毎の来店者数や売り場間の来店者数の差等が得られる。すなわち、デパートやショッピングセンタ等の大型店舗において、売上改善策や、集客率の向上対策を講じるときの指標が直接的に得られる。

また、集計結果出力手段は、集計結果を帳票形式で出力してもよいが、集計対象エリア間の差異が分かりやすいように、棒グラフや円グラフ等で出力するのが好ましい。また、出力は、表示出力であってもよいし、印字出力であってもよい。

この発明によれば、デパートやショッピングセンタ等の大型店舗において、売上改善策や、集客率の向上対策を講じるときの指標が直接的に得られる。

以下、この発明の実施形態について説明する。

図１は、この発明にかかる属性別人数集計装置を適用した属性別人数集計システムの構成を示す概略図である。この属性別人数集計システムは、予め設定した１または複数の集計対象エリアについて、集計対象エリア毎に、その集計対象エリアに入った人の人数を属性別に計測し、その計測結果を出力するシステムである。ここでは、この属性別人数集計システムを、デパートやショッピングセンタ等の大型店舗において、売上改善策や、集客率の向上対策を講じるときの指標を直接的に得るものとして利用した場合を例にして説明する。この属性別人数集計システムでは、デパートやショッピングセンタ等の大型店舗（施設）、施設内のフロアや、売り場等を、集計対象エリアに設定している。また、このシステムでは、属性は性別、および年代である。

図１に示すように、この属性別人数集計システムは、操作ユニット１と、複数のセンサユニット２と、複数のカメラ３と、を備えている。操作ユニット１は、管理室等に設置される。操作ユニット１は、パーソナルコンピュータ等の情報処理装置であり、後述する処理を実行するためのアプリケーションプログラムをインストールしている。各センサユニット２は、図示していないハブ（集線装置）を介して操作ユニット１にデータ通信可能に接続している。センサユニット２と、カメラ３とは１対１で対応付けている。各センサユニット２は、対応付けたカメラ３と接続している。カメラ３は、１秒間に、数十フレーム（例えば、３０フレーム）の撮像画像を接続されているセンサユニット２に入力する。

操作ユニット１は、設定した集計対象エリアに基づいて、複数のカメラ３をグループに分けて管理する。具体的には、操作ユニット１は、集計対象エリア毎に、その集計対象エリアに入る人が通行する場所を撮像する位置に取り付けたカメラ３を１つのグループとして管理する。集計対象エリアに入る人が通行する場所とは、その集計対称エリアの入口や出入口、通路、エレベータの出口、エスカレータの出口等である。また、カメラ３は、集計対象エリア内に入る人の顔を略正面から撮像する向きに取り付けている。言い換えれば、集計対象エリアから出る人の後ろ姿を撮像する向きに取り付けている。例えば、大型店舗（施設）の各入口（出入口を含む）に取り付けたカメラ３を、この施設を集計対象エリアとしたグループで管理する。また、施設内のフロア毎に、そのフロアの各入口（出入口を含む）エレベータの出口、エスカレータの出口等に取り付けたカメラ３を、このフロアを集計対象エリアとしたグループで管理する。また、売り場毎に、その売り場の各入口（出入口を含む）に取り付けたカメラ３を、この売り場を集計対象エリアとしたグループで管理する。各カメラ３には、識別番号が割り当てられており、操作ユニット１はこの識別番号でカメラ３を管理する。また、センサユニット２は、接続されているカメラ３の識別番号を記憶している。

各センサユニット２は、接続されているカメラ３から入力されている撮像画像を処理し、集計対象エリア内に入った人の属性（性別、および年代）を推定し、その人数を属性別に計数する。また、各センサユニット２は、予め定めた時間帯で区切って、集計対象エリア内に入った人の人数を計数する。例えば、５分単位や、１０分単位で区切った時間帯毎に、集計対象エリア内に入った人の人数を属性別に計数する。

操作ユニット１は、各センサユニット２の計数結果を取得し、カメラ３を管理しているグループ単位で集計する。これにより、集計対象エリア毎に、その集計対象エリアに入った人の人数を属性別に集計した集計結果を得る。操作ユニット１は、集計結果の表示出力や印字出力を行う。

図２は、センサユニットの主要部の構成を示す図である。センサユニット２は、制御部２１と、撮像画像入力部２２と、属性推定部２３と、記憶部２４と、通信部２５と、を備えている。制御部２１は、センサユニット２本体の動作を制御する。制御部２１は、現在時刻を経時するタイマや、動作時のワーキングエリアとして使用するメモリ等も有している。撮像画像入力部２２は、接続されているカメラ３の撮像画像が入力される。撮像画像入力部２２は、入力されたカメラ３の撮像画像を一時的に保持するバッファメモリを有している。属性推定部２３は、撮像画像入力部２２に入力された撮像画像を処理し、撮像された人の属性を推定する。この属性推定部２３は、ニューラルネットワークを用いた構成であり、予め実年齢がわかっている顔画像から必要な特徴量（例えば、目尻、ほうれい線、口元、顎等の特徴量）を抽出し、抽出した特徴量から性別や年代を推定する処理を学習させている。カメラ３の撮像画像を処理して、性別、および年代を推定するニューラルネットワークについては、公知であるので、ここでは詳細な説明を省略する。記憶部２４は、属性推定部２３における属性の推定結果に基づいて、撮像された人の人数を属性別に計数した属性別計数情報を記憶する。

この属性別計数情報は、図３に示すように、５分単位で区切った時間帯毎に、その間に、属性推定部２３で推定された属性別の人数を対応付けた情報である。上述したように、カメラ３は、集計対象エリアに入る人の顔を略正面から撮像する位置に取り付けている。属性推定部２３では、顔が撮像されなかった人の属性を推定することはできない。すなわち、後ろ姿が撮像された人、すなわち集計対象エリアから出た人、については属性を推定することができない。したがって、センサユニット２は、５分単位で区切った時間帯毎に、接続されているカメラ３が撮像している入口を通って、集計対象エリアに入った人の人数を属性別に計数し、属性別計数情報として記憶する。

図４は、操作ユニットの主要部の構成を示す図である。操作ユニット１は、制御部１１と、操作部１２と、表示部１３と、記憶部１４と、通信部１５と、を備えている。制御部１１は、本体の動作を制御する。操作部１２は、キーボードやマウス等の入力デバイスを備え、オペレータ等による入力操作を受け付ける。表示部１３は、表示器を備え、集計対象エリアに入った人の人数を属性別に表示する。記憶部１４は、各センサユニット２から取得した属性別計数情報を記憶する。また、記憶部１４は、集計対象エリア毎に、その集計対象エリアの入口に設置しているカメラ３の識別コードを対応付けたグループ管理情報を記憶している。操作ユニット１は、このグループ管理情報を用いて、各カメラ３が属するグループ、およびそのグループが対応する集計対象エリアを管理する。

なお、操作ユニット１は、特に図示していないが、接続されているプリンタ等に印字データを出力する構成等も有している。

次に、この人数計測システムの動作について説明する。カメラ３は、撮像画像を、接続されているセンサユニット２に入力している。カメラ３は、上述したように、１秒間に数十フレームの撮像画像をセンサユニット２に入力する。センサユニット２は、カメラ３から入力される撮像画像を一時的に撮像画像入力部２２のバッファメモリに記憶する。センサユニット２は、バッファメモリに記憶した撮像画像を、記憶した順番に属性推定部２３で処理し、撮像された人の属性を推定するとともに、その人数を属性別に計数する。

図５は、センサユニットの動作を示すフローチャートである。属性推定部２３は、バッファメモリに記憶している撮像画像を記憶した順番に読み出して処理する。属性推定部２３は、処理対象の撮像画像をバッファメモリから取り込む（ｓ１）。この処理対象の撮像画像は、この時点で、以下の処理を行っておらず、且つバッファメモリに記憶している時間的に最も古い撮像画像である。属性推定部２３は、前回の処理対象の撮像画像に撮像されていて、今回の処理対象の撮像画像に撮像されていない人がいるかどうかを判定する（ｓ２）。ｓ２では、カメラ３の撮像エリアを通り抜けた人の有無を判定している。すなわち、前回の処理対象の撮像画像に撮像されていて、今回の処理対象の撮像画像に撮像されていない人は、カメラ３の撮像エリアを通り抜けた人である。属性推定部２３は、ｓ２でカメラ３の撮像エリアを通り抜けた人がいないと判定すると、処理対象の撮像画像を１フレーム進め（ｓ７）、ｓ１に戻る。

属性推定部２３は、ｓ２でカメラ３の撮像エリアを通り抜けた人がいると判定すると、その人が集計対象エリアに入ったかどうかを判定する（ｓ３）。ｓ３では、カメラ３の撮像エリアを通り抜けた人の移動方向を検出し、この移動方向が集計対象エリアに入る方向であるかどうかを判定する。カメラ３の撮像エリアを通り抜けた人の移動方向は、この人が撮像されている複数フレームの撮像画像から移動ベクトルを求めることにより得られる。また、カメラ３の撮像方向は既知である。属性推定部２３は、カメラ３の撮像エリアを通り抜けた人の移動方向が集計対象エリアに入る方向でないと判定すると、ｓ７で処理対象の撮像画像を１フレーム進め、ｓ１に戻る。

属性推定部２３は、カメラ３の撮像エリアを通り抜けた人が集計対象エリアに入ったと判定すると、今回カメラ３の撮像エリアを通り抜けた人について、この人の属性を推定するのに最も適した顔画像（最適顔画像）を取得する（ｓ４）。ｓ４では、この時点における処理対象の撮像画像よりも以前の、数十フレームの撮像画像の中から、今回カメラ３の撮像エリアを通り抜けた人の顔の向き、顔の大きさが最適である撮像画像を選択し、ここで選択した撮像画像から、今回カメラ３の撮像エリアを通り抜けた人の顔画像を切り出す。センサユニット２は、上述したように、カメラ３から入力された撮像画像を一時的に撮像画像入力部２２のバッファメモリに保持している。属性推定部２３は、ｓ４で取得した顔画像を処理し、性別、および年代を推定する（ｓ５）。ｓ５では、目尻、ほうれい線、口元、顎等の特徴量を抽出し、抽出した特徴量から性別、および年代を推定する。

センサユニット２は、属性推定部２３が集計対象エリアに入った人の属性を推定すると、記憶部２４に記憶している属性別計数情報を更新する（ｓ６）。ｓ６では、今回の処理対象の撮像画像を撮像した時刻において、今回推定した属性に対応する人数を１カウントアップする。その後、属性推定部２３は、ｓ７で処理対象の撮像画像を１フレーム進め、ｓ１に戻る。

なお、属性推定部２３は、カメラ３の撮像エリアを通り抜け、移動方向が集計対象エリアに入る方向であった人を複数人検出した場合には、各人について、ｓ４〜ｓ６にかかる処理を行う。

センサユニット２は、上記図５に示した処理を実行することにより、時間帯で区切って、接続されているカメラ３の撮像エリアを通って、集計対象エリアに入った人の人数を属性別に計数する。

また、センサユニット２は、集計対象エリアに入ったと判定した人が撮像されている複数フレームの撮像画像の中から、属性を推定するのに最も適した顔画像を取得する構成としているので、属性の推定精度を十分に確保することができる。

また、集計対象エリアに入ったと判定した人についてのみ、その人の属性を推定するので、属性の推定にかかる処理を無駄に行うことがない。例えば、カメラ３の撮像エリア内に入った後に、集計対象エリアに入らずに、引き返した人の属性を推定しない。

なお、上記の説明では、属性推定部２３は、属性として年代を推定するとしたが、年齢を推定する構成としてもよい。

次に、操作ユニット１の動作について説明する。操作ユニット１は、接続されているセンサユニット２毎に、そのセンサユニット２が記憶部２４に記憶している属性別計数情報を取得する。簡単にいうと、操作ユニット１は、センサユニット２に対して属性別計数情報の送信を要求し、この要求に応じてセンサユニット２から送信されてきた属性別計数情報を受信することにより、この属性別計数情報を取得する。センサユニット２からの属性別計数情報の取得は、一定時間毎や、集計対象エリアに入った人を集計するとき等、適当なタイミングで行えばよい。操作ユニット１は、各センサユニット２から取得した属性別計数情報を記憶部１４に記憶する。このとき、操作ユニット１は、記憶部１４に記憶している該当するセンサユニット２の属性別計数情報を、今回取得した属性別計数情報に更新する。

図６は、操作ユニットにおける集計処理を示すフローチャートである。操作ユニット１は、集計処理を行う集計対象エリア、および集計期間の設定入力を受け付ける（ｓ１１）。この入力は、オペレータが入力デバイスを操作して行う。集計対象エリアは、予め設定されている施設、フロア、売り場等の中から、１または複数設定できる。

操作ユニット１は、ｓ１１で設定入力を受け付けた集計対象エリア毎に、記憶部１４に記憶しているグループ管理情報を用いて、その集計対象エリアに対応するグループに属するカメラ３を判断する（ｓ１２）。ｓ１２で判断される集計対象エリアに対応するグループに属するカメラ３は、この集計対象エリアの各入口に取り付けたカメラであり、この集計対象エリアに入った人は、いずれかのカメラ３で撮像され、センサユニット２で属性が推定されている。

操作ユニット１は、ｓ１１で設定入力を受け付けた集計対象エリア毎に、その集計対象エリアに対応するグループに属する各カメラ３が接続されているセンサユニット２から取得した属性別計数情報を記憶部１４から読み出し、ｓ１１で設定入力を受け付けた集計期間において、この集計対象エリアに入った人の人数を属性別に集計する（ｓ１３）。各センサユニット２からの属性別計数情報の取得は、このタイミングで行ってもよいし、事前に行っていてもよい。ｓ１３では、ｓ１１で設定入力を受け付けた集計期間において、集計対象エリア毎に、対応するグループに属するカメラ３が接続されている各センサユニット２で計測された属性別の人数を、属性別に加算する。これにより、操作ユニット１は、ｓ１１で設定入力を受け付けた集計対象エリア毎に、設定入力を受け付けた集計期間において、その集計対象エリアに入った人の人数を属性別に取得する。

操作ユニット１は、ｓ１３で得た集計結果を出力し（ｓ１４）、本処理を終了する。ｓ１４では、例えば図７に示すように、表示部１３において、今回設定入力を受け付けた集計対象エリア毎に、棒グラフで、設定入力を受け付けた集計期間に、この集計対象エリアに入った人の人数を属性別に示す画面を表示器に表示する。また、属性別に、色やハッチング等を替えて人数を表示する。図７では、施設（全体）、レストランフロア、イベントフロア、紳士副売り場、婦人服売り場、および子供服売り場について、集計結果を表示している画面例を示している。また、今回設定入力を受け付けた集計期間については、画面上部に表示している。したがって、オペレータは、出力された集計結果から、店舗全体の来店者数だけでなく、フロア毎の来店者数やフロア間の来店者数の差、売り場毎の来店者数や売り場間の来店者数の差等が視覚的に得られる。また、各集計対象エリアに入った人の属性別の割合も視覚的に判断できる。すなわち、デパートやショッピングセンタ等の大型店舗において、売上改善策や、集客率の向上対策を講じるときの指標が直接的、且つ簡単に得られる。

また、集計結果の出力は、図８に示すように、帳票形式で表示するようにしてもよい。また、操作ユニット１は、集計結果を接続されているプリンタに、印字出力させることもできる。また、棒グラフではなく、円グラフ等で集計結果を出力するようにしてもよい。

また、上記説明では、設定入力した集計期間において、複数の集計対象エリアに入った人の人数を属性別に集計し、出力するとしたが、１つの集計対象エリアについて、設定入力した複数の集計期間毎に、その集計対象エリアに入った人の人数を属性別に集計し、出力する構成としてもよい。例えば、設定入力した集計対象エリアについて、月別に、その集計対象エリアに入った人の人数を属性別に集計し、出力する構成としてもよい。

また、センサユニット２は、複数のカメラ３を接続し、接続されているカメラ３毎に上述した処理を行う構成としてもよい。また、操作ユニット１と、センサユニット２と、を一体に構成した装置としてもよい。

さらに、上記の実施形態では、集計対象エリアに入る人についてのみ、人数を属性別に計数するとしたが、集計対象エリアから出る人についても、人数を属性別に計数する構成としてもよい。この場合には、集計対象エリアから出る人を略正面から撮像するカメラ３と、このカメラ３の撮像画像を処理して、属性を推定するセンサユニット２と、を設ければよい。このようにすれば、集計対称エリア内にいる人の人数を属性別に集計することができる。

人数計測システムの構成を示す概略図である。 センサユニットの主要部の構成を示す図である。 属性別計数情報を示す図である。 操作ユニットの主要部の構成を示す図である。 センサユニットの動作を示すフローチャートである。 操作ユニットにおける集計処理を示すフローチャートである。 集計結果の表示画面例を示す図である。 集計結果の表示画面例を示す図である。

符号の説明

１−操作ユニット
２−センサユニット
３−カメラ
１１−制御部
１２−操作部
１３−表示部
１４−記憶部
１５−通信部
２１−制御部
２２−撮像画像入力部
２３−属性推定部
２４−記憶部
２５−通信部

Claims (7)

1. 複数のカメラを、グループに分けて管理するカメラ管理手段と、
   前記カメラ毎に、そのカメラの撮像画像を処理し、撮像された人物の属性を推定する属性推定手段と、
   前記カメラ毎に、前記属性推定手段による推定結果に基づいて、撮像された人物の人数を属性別に計数する計数手段と、
   前記カメラ管理手段がカメラを管理しているグループ毎に、そのグループに属する各カメラについて、前記計数手段が属性別に計数した人数を集計する集計手段と、
   前記集計手段による集計結果を出力する集計結果出力手段と、を備えた属性別人数集計装置。
2. 前記カメラ管理手段は、集計対象エリア毎に、その集計対象エリアに入る人が通行する場所が撮像エリアであるカメラを同じグループで管理する手段である、請求項１に記載の属性別人数集計装置。
3. 前記計数手段は、予め定めた時間帯で区切って、各カメラで撮像された人物の人数を属性別に計数する手段であり、
   前記集計手段は、指定された期間における属性別の人数を集計する手段である、請求項１、または２に記載の属性別人数集計装置。
4. 前記属性推定手段は、少なくとも性別、および年代を属性として推定する手段である、請求項１〜３のいずれかに記載の属性別人数集計装置。
5. 前記集計結果出力手段は、前記集計手段による集計結果を、属性別の人数の比率を示すグラフを表示器に表示する手段である、請求項１〜４のいずれかに記載の属性別人数集計装置。
6. グループに分けて管理している複数のカメラについて、カメラ毎に、撮像画像を処理し、撮像された人物の属性を推定する属性推定ステップと、
   前記カメラ毎に、前記属性推定ステップによる推定結果に基づいて、撮像された人物の人数を属性別に計数し、記憶する計数ステップと、
   前記グループ毎に、そのグループに属する各カメラについて、前記計数ステップが属性別に計数した人数を集計する集計ステップと、
   前記集計ステップによる集計結果を表示出力、または印字出力する集計結果出力ステップと、を有する属性別人数集計方法。
7. 複数のカメラと、
   これら複数のカメラを、グループに分けて管理するカメラ管理手段、
   前記カメラ毎に、そのカメラの撮像画像を処理し、撮像された人物の属性を推定する属性推定手段、
   前記カメラ毎に、前記属性推定手段による推定結果に基づいて、撮像された人物の人数を属性別に計数する計数手段、
   前記カメラ管理手段がカメラを管理しているグループ毎に、そのグループに属する各カメラについて、前記計数手段が属性別に計数した人数を集計する集計手段、および、
   前記集計手段による集計結果を出力する集計結果出力手段、を備えた属性別人数集計装置と、
   を有する属性別人数集計システム。

Images