JP2011233119A - 広告効果測定装置、広告効果測定方法およびプログラム - Google Patents

Abstract

【課題】被写体の顔方向に対しロバストかつ処理速度の速い属性識別を実現する。また、被写体の年齢層識別において、主観年齢層を精度良く識別できる技術を提供する。
【解決手段】広告効果測定装置３は、広告媒体の近傍の第１のエリアを撮像する混雑度計測カメラ１ａによって撮像された撮像画像を画素単位に信号処理し、第１のエリア内の滞在者数を計測する混雑度計測エンジン１４と、第１のエリア内の一部のエリアである第２のエリアを撮像する顔方向推定カメラ１ｂによって撮像された撮像画像内の顔領域を検出し、各顔領域の顔方向を推定し、第２のエリア内における広告媒体の視聴者数を計測する顔方向推定エンジン１８と、混雑度計測カメラエリアカバー率と、顔方向推定カメラエリアカバー率と、第１の画像処理手段の計測値と、第２の画像処理手段の計測値とに基づいて、広告媒体の効果を示す統計解析情報２４を生成する統計解析情報生成部２３とを備える。
【選択図】図２

Description

本発明は、広告効果測定装置、広告効果測定方法およびプログラムに関する。特に、本発明は、本発明は、カメラを用いて広告効果を測定する広告効果測定装置、広告効果測定方法およびプログラムに関する。

カメラを用いた広告効果測定装置は、基本的に、以下の２つの方法を利用し、広告を視聴したと思われる人数を測定する。
（１）画素単位の信号処理をベースとした人数計測
フレーム間処理に基づき画像から前景領域を取得し、当該領域が何人分の人物に相当するのかを、予め各画素に与えられた荷重値に基づいて算出する方法である（例えば、特許文献１参照）。当該方法では、１人の人物に対して、小さな画像サイズ（例えば、数画素〜１０画素程度）を割り当てれば足りるため、人数計測の対象エリアを比較的広くすることができる。例えば、解像度ＶＧＡ（６４０×４８０）のカメラを用いる場合、対象エリアは１００ｍ四方程度となる。
（２）人間の顔等の物体検出をベースとした人数計測
画像から顔を認識する過程において、付帯情報として各顔の向き（顔方向）、性別、年代などの人物属性を推定する方法である。当該方法では、推定された顔方向に基づいて、広告の方向を向いている人数、即ち、広告を視聴している可能性が高い人数を計測する。また、当該方法では、推定された人物属性に基づいて、性別毎、年代毎の広告効果を推計する。

特開２００９−２９４７５５号公報

しかしながら、上記の方法は以下の問題がある。
（１）の方法は、人物の顔方向、即ち、広告を視聴していそうなのか否かを推定することができない。また、性別、年代などの人物属性を推定することができない。
（２）の方法は、人物の顔方向と属性とを推定することができるが、それを実現するため顔領域に対してある程度の画像サイズ（例えば、２０画素×２０画素〜４０画素×４０画素）が割り当てる必要がある。従って、人数計測の対象エリアは比較的狭くなる。例えば、解像度ＶＧＡのカメラを用いる場合、対象エリアは１０ｍ四方程度となる。

本発明は、このような事情を考慮してなされたものであり、その目的は、被写体の顔方向に対しロバストかつ処理速度の速い属性識別を実現する技術を提供することにある。また、被写体の年齢層識別において、主観年齢層を精度良く識別できる技術を提供することにある。

上述した課題を解決するために、本発明の一実施態様である広告効果測定装置は、広告媒体の近傍の第１のエリアを撮像する第１のカメラによって撮像された撮像画像を画素単位に信号処理し、前記第１のエリア内の滞在者数を計測する第１の画像処理手段と、前記第１のエリア内の一部のエリアである第２のエリアを撮像する第２のカメラによって撮像された撮像画像内の顔領域を検出し、各顔領域の顔方向を推定し、前記第２のエリア内における前記広告媒体の視聴者数を計測する第２の画像処理手段と、前記第１のカメラのエリアカバー率と、前記第２のカメラのエリアカバー率と、前記第１の画像処理手段の計測値と、前記第２の画像処理手段の計測値とに基づいて、前記広告媒体の効果を示す広告効果情報を生成する広告効果情報生成手段とを備えることを特徴とする。

上述広告効果測定装置において、前記第２の画像処理手段は、前記第２のカメラの撮像画像を取得する撮像画像取得手段と、前記第２のカメラの撮像画像から顔領域を検出し顔切出画像データを出力する認識用顔領域検出手段と、前記認識用顔領域検出手段によって出力された前記顔切出画像データに基づいて、前記第２のカメラの撮像画像の被写体の顔方向を推定し、顔方向が前記広告媒体を方向と一致している者を視聴者として視聴者数を計数する顔方向推定手段とを有するようにしてもよい。

上述広告効果測定装置において、前記第２の画像処理手段は、学習用データとして、種々の方向から撮像された顔画像データ、前記顔画像データの被写体の顔方向を示す学習用顔方向パラメータ、前記被写体の属性データを取得する学習用データ取得手段と、前記学習用データ取得手段によって取得された前記顔画像データから、被写体の顔領域を検出して切り出した顔切出画像データを出力する学習用顔領域検出手段と、前記学習用顔領域検出手段によって出力された前記顔切出画像データであって前記学習用顔方向パラメータが同一である複数の前記顔切出画像データと、当該複数の顔切出画像データそれぞれの前記属性データとに基づいて、前記被写体の顔方向別に、前記被写体の属性を識別する属性識別器を生成する顔方向別属性識別器生成手段と、前記顔方向別属性識別器生成手段によって生成された前記属性識別器を記憶する顔方向別属性識別器記憶手段と、前記第２のカメラの撮像画像を取得する撮像画像取得手段と、前記第２のカメラの撮像画像から顔領域を検出し顔切出画像データを出力する認識用顔領域検出手段と、前記認識用顔領域検出手段によって出力された前記顔切出画像データに基づいて、前記第２のカメラの撮像画像の被写体の顔方向を推定し、顔方向が前記広告媒体を方向と一致している者を視聴者として視聴者数を計数するとともに、前記被写体の顔方向を示す属性識別用顔方向パラメータを出力する顔方向推定手段と、前記顔方向推定手段によって出力された前記属性識別用顔方向パラメータに基づいて、前記前記第２のカメラの撮像画像から、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する認識用顔領域再検出手段と、前記顔方向推定手段によって出力された前記属性識別用顔方向パラメータに基づいて、前記顔方向別属性識別器記憶手段に記憶されている複数の前記属性識別器のなかから１または２以上の前記属性識別器を選択し、当該選択した１または２以上の前記属性識別器に、前記認識用顔領域再検出手段が出力した前記顔切出画像データを入力し、前記前記第２のカメラの撮像画像の被写体に係る識別結果を取得する属性識別手段とを有し、人物属性別の視聴者数を算出するようにしてもよい。

上述広告効果測定装置において、前記広告効果情報生成手段は、注目率、延べ滞在人秒、延べ視聴人秒、人物属性別の延べ視聴人秒、又は、人秒ベースの注目率を集計することによって前記広告効果情報を生成するようにしてもよい。

上述広告効果測定装置において、前記広告効果情報生成手段は、前記広告媒体の設置場所に係る場所属性情報として、前記滞在者数に係る性別比率、年代比率、又は性別と年代とを組み合わせた属性区分比率を算出するようにしてもよい。

上述した課題を解決するために、本発明の他の実施態様である広告効果測定方法は、広告媒体の効果を測定する広告効果測定装置における広告効果指標測定方法であって、前記広告効果測定装置の第１の画像処理手段が、広告媒体の近傍の第１のエリアを撮像する第１のカメラによって撮像された撮像画像を画素単位に信号処理し、前記第１のエリア内の滞在者数を計測し、前記広告効果測定装置の第２の画像処理手段が、前記第１のエリア内の一部のエリアである第２のエリアを撮像する第２のカメラによって撮像された撮像画像内の顔領域の検出し、各顔方向を推定し、前記第２のエリア内における前記広告媒体の視聴者数を計測し、前記広告効果測定装置の第２の広告効果情報生成手段が、前記第１のカメラのエリアカバー率と、前記第２のカメラのエリアカバー率と、前記第１の画像処理手段による計測値と、前記第２の画像処理手段による計測値とに基づいて、前記広告媒体の効果を示す広告効果情報を生成することを特徴とする。

上述した課題を解決するために、本発明の他の実施態様であるプログラムは、上述の広告効果測定装置の処理をコンピュータに実行させるためのプログラムである。

本発明によれば、被写体の顔方向に対しロバストかつ処理速度の速い属性識別を実現できるようになる。また、被写体の年齢層識別において、主観年齢層を精度良く識別できるようになる。

本発明の一実施形態による広告効果測定装置３の設置環境の一例を説明するための説明図である。 広告効果測定装置３の構成例を示す構成図である。 カメラ制御に関連する処理の一例を示すフローチャートである。 混雑度計測エンジン１４のチューニングに関連する処理の一例を示すフローチャートである。 顔方向推定エンジン１８のチューニングに関連する処理の一例を示すフローチャートである。 性別と年代とを組み合わせた区分け方法の一例である。 効果の測定に関連する処理の一例を示すフローチャートである。 統計解析情報の生成に関連する処理の一例を示すフローチャートである。 注目率について説明するための説明図である。 ＧＳＴについて説明するための説明図である。 ＧＶＴについて説明するための説明図である。 統計解析情報生成処理における統計解析情報の出力例を説明するための説明図である。 統計解析情報生成処理における統計解析情報の出力例を説明するための説明図である。 顔方向推定エンジン１８の構成の一例を示す機能ブロック図である。 認識用顔領域再検出部１２４の処理を説明するための説明図である。 年齢層識別を説明するための説明図である。 年齢層識別を説明するための説明した説明図である。 顔方向推定エンジン１８の動作の一例を示すフローチャートである。

以下、本発明の一実施形態について図面を参照して説明する。図１は、本発明の一実施形態による広告効果測定装置３の設置環境の一例を説明するための説明図である。図１において、１ａは混雑度計測カメラ、１ｂは顔方向推定カメラ、２はテレビ、デジタルサイネージ、看板、ポスター、張り紙などの広告媒体（ディスプレイ）、３は広告効果推定装置である。混雑度計測カメラ１ａおよび顔方向推定カメラ１ｂは、データ送受信用ケーブルを介して、測定効果推定装置３と接続している。

広告効果測定装置３は、画素単位の信号処理をベースとした人数計測を行う画像処理装置（後述する、混雑度計測エンジン１４）と、人間の顔検出をベースとした人数計測を行う画像処理装置（後述する、顔方向推定エンジン１８）を兼ね備える。換言すれば、広告効果測定装置３は、混雑度計測エンジン１４および顔方向推定エンジン１８を含んで構成される。広告効果測定装置３は、例えば、パーソナルコンピュータである。

混雑度計測カメラ１ａは、広告媒体２の近傍を撮像するカメラである。広告媒体２の近傍とは、広告媒体２の広告視聴可能エリアの少なくとも一部のエリアを含むエリアである。広告視聴可能エリアとは、広告媒体２の種類、大きさ、設置場所の特性などに応じて異なるが、当該広告媒体によって広告しようとする広告内容が視聴者に伝わる範囲である。例えば、広場に面したビルの壁面に設置した大型の看板の場合、該広場の全域で該看板の広告内容がわかるのであれば、どんなに該ビルからの水平距離が離れていても、該広場全体が当該看板の近傍に該当する。また、例えば、屋内の矩形の支柱の一の面に設置した看板の場合、どんなに該支柱に近い位置であっても、該看板が見えない該一の面の反対側の面側は、該看板の近傍に該当しない。

顔方向推定カメラ１ｂもまた、広告媒体２の近傍を撮像するカメラである。但し、混雑度計測カメラ１ａの撮影範囲（「第１のエリア」に相当、以下、混雑度計測カメラ撮影範囲という）と、顔方向推定カメラ１ｂの撮影範囲（「第２のエリア」に相当。以下、顔方向推定カメラ撮影範囲という）は、互いに異なる。

混雑度計測カメラ撮影範囲は、広告視聴可能エリアの全体又は広告視聴可能エリアの一部である。顔方向推定カメラ撮影範囲は、混雑度計測カメラ撮影範囲の一部である。なお、広告媒体２と混雑度計測カメラ１ａとの位置関係などによっては、図１に示すように、混雑度計測カメラ撮影範囲が、広告視聴可能エリア外のエリアを含む場合があるが、混雑度計測カメラ撮影範囲における広告視聴可能エリア外の占める割合は、広告視聴可能エリア内の占める割合に比べ非常に小さく、無視できる程度である。仮に、広告視聴可能エリア外の占める割合が非常に小さいとまでは言えない程度であっても、後述するように、混雑度計測チューニング部１３において、フレーム画像における混雑度計測の対象範囲（即ち、フレーム画像の全領域のうち混雑度計測の計測対象範囲）の指定が可能であるため、広告視聴可能エリア外が撮像されることについて無視することできる。顔方向推定カメラ撮影範囲についても同様である。
従って、顔方向推定カメラ撮影範囲も混雑度計測カメラ撮影範囲も、広告視聴可能エリア内について考えればよく、顔方向推定カメラ撮影範囲は、混雑度計測カメラ撮影範囲よりも狭いということになる。

混雑度計測カメラ１ａは、撮像画像（後述する、フレーム画像）を広告効果測定装置３に提供する。同様に、顔方向推定カメラ１ｂは、フレーム画像を広告効果測定装置３に提供する。

なお、図１には、混雑度カメラ１ａを１台示したが、混雑度カメラ１ａは複数台のカメラから構成されるものであってもよい。顔方向推定カメラ１ｂについても同様である。また、混雑度計測カメラ1ａと顔方向推定カメラ１ｂとは、機器としては同一のものであってもよい。

図２は、広告効果測定装置３の構成例を示す構成図である。広告効果測定装置３は、図２に示すように、カメラ制御部１２、混雑度計測チューニング部１３、混雑度計測エンジン１４、顔方向推定チューニング部１７、顔方向推定エンジン１８、クライアント部１９、混雑度計測エンジン制御部２０、顔方向推定エンジン制御部２１および統計解析情報生成部２３を備える。

カメラ制御部１２は、混雑度計測カメラ１ａからフレーム画像を取得する。カメラ制御部１２は、混雑度計測カメラ１ａから取得したフレーム画像を混雑度計測チューニング１３および混雑度計測エンジン制御部２０に出力する。また、カメラ制御部１２は、顔方向推定カメラ1ｂからフレーム画像を取得する。カメラ制御部１２は、顔方向推定カメラ1ｂから取得したフレーム画像を顔方向推定チューニング部１７および顔方向推定エンジン制御部２１に出力する。

混雑度計測エンジン１４は、上述の如く、画素単位の信号処理をベースとした人数計測を行う画像処理機能を備える。混雑度計測エンジン１４は、フレーム画像を取得した場合、上記画像処理機能によって混雑度を計測し、計測結果を出力する。より詳細には、混雑度計測エンジン１４は、混雑度計測カメラ１ａから出力されたフレーム画像を取得した場合、当該フレーム画像に撮像されたエリア、即ち、混雑度計測カメラ撮影範囲内の画素単位を信号処理し、混雑度計測カメラ撮影範囲内の滞在者数を混雑度として計測し、計測結果として出力する。

例えば、混雑度計測エンジン１４は、混雑度計測カメラ１ａから出力されたフレーム画像を混雑度計測チューニング部１３から取得した場合、混雑度計測カメラ撮影範囲内の滞在者数を混雑度計測チューニング部１３に出力する。また、例えば、混雑度計測エンジン１４は、混雑度計測カメラ１ａから出力されたフレーム画像を混雑度エンジン制御部２０から取得した場合、混雑度計測カメラ撮影範囲内の滞在者数を混雑度エンジン制御部２０に出力する。

顔方向推定エンジン１８は、上述の如く、人間の顔検出をベースとした人数計測を行う画像処理機能を有する。顔方向推定エンジン１８は、フレーム画像を取得した場合、上記画像処理機能によって広告媒体２の視聴者数を計測し、計測結果を出力する。より詳細には、顔方向推定エンジン１８は、顔方向推定カメラ1ｂから出力されたフレーム画像を取得した場合、当該フレーム画像に撮像されたエリア、即ち、顔方向推定カメラ撮影範囲内の顔領域の検出処理と、検出された顔領域内の顔方向の推定処理とにより、顔方向推定カメラ撮影範囲内における広告媒体２の視聴者数を計測し、計測結果として出力する。

例えば、顔方向推定エンジン１８は、顔方向推定カメラ1ｂから出力されたフレーム画像を顔方向推定チューニング部１７から取得した場合、顔方向推定カメラ撮影範囲内における広告媒体２の視聴者数を顔方向推定チューニング部１７に出力する。また、例えば、顔方向推定エンジン１８は、顔方向推定カメラ1ｂから出力されたフレーム画像を顔方向推定エンジン制御部２１から取得した場合、顔方向推定カメラ撮影範囲内における広告媒体２の視聴者数を顔方向推定エンジン制御部２１に出力する。

なお、顔方向推定エンジン１８は、人物属性別の視聴者数を計測し、計測結果として出力することもできる。

混雑度計測チューニング部１３は、混雑度計測エンジン１４のパラメータのチューニング機能を備える。即ち、混雑度計測チューニング部１３は、カメラ制御部１２を介して取得した混雑度計測カメラ１ａからのフレーム画像を混雑度計測エンジン１４に出力し、混雑度計測エンジン１４から応答として計測結果を取得する。混雑度計測チューニング部１３は、混雑度計測エンジン１４から取得した計測結果を非図示のモニタ部を介して、又はネットワークを介して設定者に出力し、設定者に計測結果を確認させて、設定者から混雑度計測エンジン１４の適切なパラメータ値の設定を受け付ける。

顔方向推定チューニング部１７は、顔方向推定エンジン１８のパラメータのチューニング機能を有する。即ち、顔方向推定チューニング部１７は、カメラ制御部１２を介して取得した顔方向推定カメラ1ｂからのフレーム画像を顔方向推定エンジン１８に出力し、顔方向推定エンジン１８から応答として計測結果を取得する。顔方向推定チューニング部１７は、顔方向推定エンジン１８から取得した計測結果を非図示のモニタ部を介して、又はネットワークを介して設定者に出力し、設定者に計測結果を確認させて、設定者から顔方向推定エンジン１８の適切なパラメータ値の設定を受け付ける。

混雑度計測エンジン制御部２０は、クライアント部１９によって起動され、カメラ制御部１２を介して取得した混雑度計測カメラ１ａからのフレーム画像を混雑度計測エンジン１４に出力し、混雑度計測エンジン１４から応答として計測結果を取得する。混雑度計測エンジン制御部２０は、混雑度計測エンジン１４から取得した計測結果をクライアント部１９に出力する。

顔方向推定エンジン制御部２１は、クライアント部１９によって起動され、カメラ制御部１２を介して取得した顔方向推定カメラ1ｂからのフレーム画像を顔方向推定エンジン１８に出力し、顔方向推定エンジン１８から応答として計測結果を取得する。顔方向推定エンジン制御部２１は、顔方向推定エンジン１８から取得した計測結果をクライアント部１９に出力する。

クライアント部１９は、混雑度計測エンジン１４から出力された計測結果を混雑度計測エンジン制御部２０から取得する。また、クライアント部１９は、顔方向推定エンジン１８から出力された計測結果を顔方向推定エンジン制御部２１から取得する。クライアント部１９は、混雑度計測エンジン制御部２０から取得した計測結果と、顔方向推定エンジン制御部２１から取得した計測結果とを時系列に対応付けて効果測定データ２２として出力する。つまり、クライアント部１９によって出力される効果測定データ２２は、混雑度計測エンジン１４と顔方向推定エンジン１８の各計測結果が時系列に記載されているデータである。

統計解析情報生成部２３は、クライアント部１９から出力される効果測定データ２２を取得する。統計解析情報生成部２３は、効果測定データ２２に基づいて広告効果情報として統計解析情報２４を生成し、出力する。統計解析情報２４は、広告媒体２の効果を示す情報であって、広告効果指標又は場所属性情報を所定の集計期間（時間）、集計方法に従って集計し、若しくは、広告効果指標又は場所属性情報を集計することなく、人間に分りやすい表示形式によって表したものである。

広告効果指標は、効果測定データ２２から得られる広告効果を示す指標である。広告効果指標には、例えば、注目率、述べ滞在人秒（ＧＳＴ：ＧｒｏｓｓＳｔａｙｉｎｇＴｉｍｅ）、延べ視聴人秒（ＧＶＴ：：ＧｒｏｓｓＶｉｅｗｉｎｇＴｉｍｅ）などがある。上記注目率には、後述の下記式（１）に従って算出される注目率、後述の下記式（２）に従って算出される注目率（人秒ベースの注目率とも称する）などがある。なお、上記注目率などと人物属性とを組み合わせたものも広告効果指標である。即ち、例えば、人物属性別の注目率なども広告効果指標である。人物属性の一例は、性別、年代、男女と年代とを組み合わせた属性区分比率である。

場所属性情報は、効果測定データ２２から得られる場所の属性を示す情報である。具体的には、広告効果指標は、混雑度計測エンジン制御部２０から出力される滞在者に関する情報であるが、顔方向に関係なく、顔領域の検出数、即ち滞在者数を顔方向推定エンジン制御部２１に出力させるようにした場合には、当該滞在者に関する情報も用いることができる。場所属性情報には、例えば、混雑度、顔数、男女比率、年代比率、上記属性区分比率などがある。

所定の集計期間の一例は、１時間単位、又は、１日単位である。所定の集計方法の一例は、曜日別の集計、平日／週末別の集計、又は、曜日を考慮しない集計である。

図３は、カメラ制御に関連する処理の一例を示すフローチャートである。なお、図３に示すカメラ設定ファイル３１は、カメラに関するパラメータを記述した設定ファイルであって、混雑度計測カメラ1ａのパラメータと顔方向推定カメラ１ｂのパラメータを個別に設定可能である。カメラ設定ファイル３１には、例えば、「カメラタイプ」「ＩＰカメラ設定項目」「ＵＳＢカメラの設定項目」「解像度」「画像品質」「フレームレート」「色空間、圧縮形式」などの設定項目がある。カメラタイプには、使用するカメラのタイプ（ＵＳＢカメラ／ＩＰカメラ）の別を設定する。ＩＰカメラを設定した場合、ＩＰカメラ設定項目には、当該カメラのＩＰアドレス、ポート番号、アクセスのためのユーザ名、パスワード、当該カメラのデバイス名等を設定する。ＵＳＢカメラを設定した場合、ＵＳＢカメラの設定項目には、当該カメラのデバイス名等を設定する。また、解像度、画像品質、フレームレート、色空間、圧縮形式には、それぞれ、取得するフレーム画像の解像度、画像品質、フレームレート、色空間、圧縮形式を設定する。なお、上記設定項目は実施のための一例であって、これに限定されるものではない。

図３において、カメラ制御部１２は、カメラタイプ選択処理として、カメラ設定ファイル３１に従い、混雑度計測カメラ１ａおよび顔方向推定カメラとして利用するカメラタイプをそれぞれ選択する（ステップＳ３２）。次いで、カメラ制御部１２は、カメラ設定処理として、カメラ設定ファイル３１に従い、混雑度計測カメラ１ａおよび顔方向推定カメラ1ｂに対し、解像度や画像品質などカメラに関するパラメータをそれぞれ設定（書き込む。以下、同様）する（ステップＳ３３）。

次いで、カメラ制御部１２は、フレーム画像取得要求受領処理として、外部からのフレーム画像取得要求３４を受領する（ステップＳ３５）。次いで、カメラ制御部１２は、フレーム画像取得処理として、カメラタイプ選択処理３２およびカメラ設定処理３３で設定した項目に従って、混雑度計測カメラ１ａまたは顔方向推定カメラ1ｂにアクセスし、フレーム画像を取得する（ステップＳ３６）。次いで、カメラ制御部１２は、フレーム画像送信処理として、フレーム画像取得要求３４の送信元に対し、フレーム画像を送信する（ステップＳ３７）。そして、本フローチャートは終了する。

なお、混雑度計測カメラ１ａ、顔方向推定1ａが複数台のカメラから構成される場合、カメラ制御部１２は、カメラ設定処理をカメラ毎に実施する（ステップＳ３３）。また、混雑度計測カメラ１ａ、顔方向推定1ａが複数台のカメラから構成される場合、カメラ制御部１２は、フレーム画像取得処理（ステップＳ３６）において、複数台のカメラから取得した画像を１枚の画像に合成する。画像の合成処理方法としては、単純に複数のフレームを並べて繋ぎ合せる方法、画像から特徴点を抽出してそれらの対応問題を解き、画像間の変形を射影変換で近似して重ね合わせる方法などが挙げられる（参考文献１参照）。

（参考文献１）
“局所的な輝度変動にロバストなパノラマ画像生成法”星野准一、電子情報通信学会論文誌．Ｄ−ＩＩ，情報・システム，ＩＩ−情報処理 Ｊ８２−Ｄ−ＩＩ（２）ｐｐ．２２２−２２９ １９９９０２２５

図４は、混雑度計測エンジン１４のチューニングに関連する処理の一例を示すフローチャートである。なお、図４に示すカメラキャリブレーションデータファイル１６は、混雑度計測カメラ１ａの校正作業で得られる当該カメラの焦点距離、画像中心、レンズ歪み、カメラ姿勢、カメラ位置などのカメラパラメータ、カメラパラメータにもとづき算出された荷重値（それぞれの画素が何人分に該当するのかを表す値）を記憶したファイルである。カメラキャリブレーションデータファイル１６は、例えば、外部から取得する。なお、荷重値算出などの詳細は、上記特許文献１に記載されている。

図４において、混雑度計測チューニング部１３は、混雑度計測エンジンパラメータ設定処理として、混雑度計測エンジン１４に関するパラメータを設定する（ステップＳ４０）。具体的には、例えば、混雑度計測チューニング部１３は、背景領域作成時に使用するフレーム画像数、サンプリング間隔などの混雑度計測エンジン１４で使用する種々のパラメータを設定し、また、フレーム画像における混雑度計測の対象範囲（即ち、フレーム画像の全領域のうち混雑度計測の計測対象範囲）を設定する。なお、上記設定項目は実施のための一例であって、これに限定されるものではない。混雑度計測チューニング部１３は、設定した値を混雑度計測エンジンパラメータファイル４１に記憶する。

次いで、混雑度計測チューニング部１３は、混雑度計測エンジン１４に混雑度計測処理を要求する。具体的には、混雑度計測チューニング部１３は、フレーム画像、カメラキャリブレーションデータファイル１６、混雑度計測エンジンパラメータファイル４１を混雑度計測エンジン１４に出力する。混雑度計測チューニング部１３からフレーム画像等を取得した混雑度計測エンジン１４は、混雑度計測処理として、画素単位の信号処理をベースとして人数計測する（ステップＳ４２）。具体的には、混雑度計測エンジン１４は、フレーム間処理に基づいて、フレーム画像から前景領域を取得し、当該領域が何人分の人物に相当するのかを、カメラキャリブレーションデータファイル１６に記載された、予め各画素に与えられている荷重値に基づいて算出する。なお、混雑度計測処理の詳細は、上記特許文献１（例えば、明細書の００５３〜００５６）に記載されている。混雑度計測結果４３には、処理時刻、混雑度（人数）、滞留人数などが含まれる。混雑度計測エンジン１４は、混雑度計測結果４３を混雑度計測チューニング部１３に出力する。

次いで、混雑度計測チューニング部１３は、混雑度計測結果確認処理として、前景領域検出結果、滞留領域検出結果、混雑度、滞留人数を画像、グラフ、表によってリアルタイム表示し、目視によって人間に確認させることによって、混雑度計測エンジン１４の適切なパラメータ値の設定を受け付ける（ステップＳ４４）。混雑度計測結果確認処理では、目視可能な態様によって、混雑度計測対象範囲をフレーム画像に重畳表示する。即ち、混雑度計測結果確認処理は、前景領域、滞留領域はそれぞれ異なる色でフレーム画像に重畳して表示し、混雑度計測エンジンパラメータ設定処理（上述のステップＳ４０）で設定した前景領域又は滞留領域検出用パラメータの妥当性を確認する処理である。

次いで、混雑度計測チューニング部１３は、チューニングを完了するか否かを判断する（ステップＳ４５）。例えば、混雑度計測チューニング部１３は、設定されたパラメータが妥当であるか否かの妥当性を確認し、妥当であると確認した場合に、チューニングを完了すると判断する。混雑度計測チューニング部１３は、チューニングを完了しないと判断した場合（ステップＳ４５：Ｎｏ）、ステップＳ４０に戻る。一方、混雑度計測チューニング部１３は、チューニングを完了すると判断した場合（ステップＳ４５：Ｙｅｓ）、最終的なパラメータを混雑度計測エンジンパラメータファイル４６として記載し、本フローチャートは終了する。

図５は、顔方向推定エンジン１８のチューニングに関連する処理の一例を示すフローチャートである。図６は、性別と年代とを組み合わせた区分け方法の一例である。図５において、顔方向推定チューニング部１７は、顔方向推定エンジンパラメータ設定処理として、顔方向推定エンジン１８に関するパラメータを設定する（ステップＳ６０）。具体的には、例えば、顔方向推定チューニング部１７は、検出する顔の大きさの最大サイズ、最小サイズ、検出する顔の角度範囲、広告方向を向いているか否かの判定基準パラメータなどの顔方向推定エンジン１８で使用する種々のパラメータを設定し、また、フレーム画像における顔方向推定の対象範囲（即ち、フレーム画像の全領域のうち顔方向推定の推定対象範囲）を設定する。なお、上記設定項目は実施のための一例であって、これに限定されるものではない。顔方向推定チューニング部１７は、設定した値を顔方向推定エンジンパラメータファイル６１に記載する。

次いで、顔方向推定チューニング部１７は、顔方向推定エンジン１８に顔方向推定処理を要求する。具体的には、顔方向推定チューニング部１７は、フレーム画像、顔方向推定エンジンパラメータファイル６１を顔方向推定エンジン１８に出力する。顔方向推定チューニング部１７からフレーム画像等を取得した顔方向推定エンジン１８は、顔方向推定処理として、顔方向推定エンジンパラメータファイル６１に従って、フレーム画像から人物の顔領域の検出し、人数を計測する（ステップＳ６２）。なお、顔方向推定エンジン１８は、顔の数だけでなく、顔の角度、広告方向を向いているか否かの判定基準パラメータに従って、広告の方向を向いている顔の数（以降、正面顔の数という）の計測、性別、年代などの推定も可能である。当該処理は、下記参考文献２−４等に記載されている方法に基づいて実現可能である。

（参考文献２）
“サポートベクトル回帰を用いた三次元物体の姿勢推定法”安藤慎吾、草地良規、鈴木章、荒川賢一、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ８９−Ｄ Ｎｏ．８、ｐｐ．１８４０−１８４７、２００６．
（参考文献３）
“同時確率増分符号相関による高速物体検出・識別”安藤慎吾、鈴木章、高橋裕子、安野貴之、ＭＩＲＵ２００７．
（参考文献４）
“顔画像による自動性別・年代推定”瀧川えりな、細井聖、ＯＭＲＯＮ ＴＥＣＨＮＩＣＳ Ｖｏｌ．４３ Ｎｏ．１（通巻１４５号）２００３．

なお、顔方向推定結果６３には、処理時刻、検出された顔の数、正面顔の数、性別毎の顔の数、性別毎の正面顔の数、年代毎の顔の数、年代毎の正面顔の数、検出された顔の性別年代、各顔の正面向きとして検出された時間の累積（注視時間）、各顔の注視開始時刻、注視終了時刻などが含まれる。顔方向推定エンジン１８は、顔方向推定結果６３を顔方向推定チューニング部１７に出力する。

次いで、顔方向推定チューニング部１７は、顔方向推定結果確認処理として、顔検出結果、顔方向推定結果６３、性別推定結果、年代推定結果、顔の数、正面顔の数、性別毎の顔の数、性別毎の正面顔の数、年代毎の顔の数、年代毎の正面顔の数、注視時間、性別年代毎の注視時間などを画像、グラフ、表によってリアルタイム表示し、目視によって人間に確認させることによって、顔方向推定エンジン１８の適切なパラメータ値の設定を受け付ける（ステップＳ６４）。顔方向推定結果確認処理は、目視可能な態様によって、顔方向推定処理の対象範囲をフレーム画像に重畳表示する。即ち、顔方向推定結果確認処理は、顔検出結果、顔方向推定結果６３、性別推定結果、年代推定結果、注視時間はフレーム画像に重畳して表示し、顔方向推定エンジンパラメータ設定処理（上述のステップＳ６０）で設定したパラメータの妥当性を確認する処理である。

なお、年代の区分け方法としては、１０歳代、２０歳代、など１０歳刻みに年代を区分けする方法、若年層、壮年層、老年層などおおまかに年代を区分けする方法、図６に示すような広告業界で広く用いられている性別と年代を組み合わせた区分け方法などがある。

次いで、顔方向推定チューニング部１７は、チューニングを完了するか否かを判断する（ステップＳ６５）。例えば、顔方向推定チューニング部１７は、設定されたパラメータが妥当であるか否かの妥当性を確認し、妥当であると確認した場合に、チューニングを完了すると判断する。顔方向推定チューニング部１７は、チューニングを完了しないと判断した場合（ステップＳ６５：Ｎｏ）、ステップＳ６０に戻る。一方、顔方向推定チューニング部１７は、チューニングを完了すると判断した場合（ステップＳ６５：Ｙｅｓ）、最終的な顔方向推定エンジンパラメータファイル６６として記載し、本フローチャートは終了する。

図７は、効果の測定に関連する処理の一例を示すフローチャートである。なお、図７に示す混雑度計測エンジンパラメータファイル４６は、図４に示すように、混雑度計測チューニング部１３によって記憶されたパラメータファイルである。また、顔方向推定エンジンパラメータファイル６６は、図５に示すように、顔方向推定チューニング部１７によって記憶されたパラメータファイルである。

図７において、クライアント部１９は、効果測定クライアントパラメータ設定処理として、効果測定クライアントに関するパラメータを設定する（ステップＳ７０）。具体的には、例えば、クライアント部１９は、カメラ設置場所、識別番号を設定する。なお、上記設定項目は実施のための一例であって、これに限定されるものではない。

次いで、顔方向推定エンジン制御部２１は、顔方向推定エンジン制御処理として、クライアント部１９からの指示に基づいて、顔方向推定エンジン１８を起動する（ステップＳ７１）。顔方向推定エンジン１８を起動した顔方向推定エンジン制御部２１は、顔方向推定チューニング部１７と同様に、顔方向推定エンジン１８に顔方向推定処理を要求する。

次いで、顔方向推定エンジン１８は、顔方向推定エンジンパラメータファイル６６に従って、図５に示す顔方向推定処理と同様、フレーム画像から人物の顔領域の検出し、人数を計測する（ステップＳ６２）。顔方向推定エンジン１８は、顔方向推定結果６３を顔方向推定エンジン制御部２１に出力する。

次いで、混雑度計測エンジン制御部２０は、混雑度計測エンジン制御処理として、クライアント部１９からの指示に基づいて、混雑度計測エンジン１４を起動する（ステップＳ７２）。混雑度計測エンジン１４を起動した混雑度計測エンジン制御部２０は、混雑度計測チューニング部１３と同様に、混雑度計測エンジン１４に混雑度計測処理を要求する。

次いで、混雑度計測エンジン１４は、混雑度計測エンジンパラメータファイル４６等に従って、図４に示す顔方向推定処理と同様、画素単位の信号処理をベースとして人数計測する（ステップＳ４２）。混雑度計測エンジン１４は、混雑度計測結果４３を混雑度計測エンジン制御部２０に出力する。

次いで、クライアント部１９は、混雑度計測／顔方向推定結果取得処理として、顔方向推定エンジン制御部２１から顔方向推定結果６３を取得し、混雑度計測エンジン制御部２０から混雑度計測結果４３を取得する（ステップＳ７３）。なお、クライアント部１９は、顔方向推定結果６３と混雑度計測結果４３とを同じタイミングで取得してもよいし、異なるタイミングで取得してもよい。つまり、顔方向推定結果６３および混雑度計測結果４３の各取得タイミングを同期させてもよいし、非同期とさせてもよい。

次いで、クライアント部１９は、効果測定データ作成処理として、顔方向推定結果６３と混雑度計測結果４３とから、効果測定データ２２を作成する（ステップＳ７４）。そして、本フローチャートは終了する。なお、効果測定データ２２は、カメラ設置場所を示すデータを含むデータであって、顔方向推定結果６３と混雑度計測結果４３とが時系列に記載されているデータである。

図８は、統計解析情報の生成に関連する処理の一例を示すフローチャートである。図８に示すように、統計解析情報生成部２３は、統計解析情報生成処理として、効果測定データ２２、混雑度計測カメラエリアカバー率８１、顔方向推定カメラエリアカバー率８２に基づいて、統計解析情報２４を算出する。

混雑度計測カメラエリアカバー率８１は、混雑度計測を実施したいエリアのうち、どの程度の割合のエリアを混雑度計測カメラ１ａで撮影しているかを示す値（パーセンテージ）である。つまり、図１の例において、混雑度計測カメラエリアカバー率８１は、広告視聴可能エリアのうち混雑度計測カメラ撮影範囲の占める割合に相当する。

顔方向推定カメラエリアカバー率８２は、顔方向推定を実施したいエリアのうち、どの程度の割合のエリアを顔方向推定カメラ1ｂで撮影しているかを示す値（パーセンテージ）である。具体的には、図１の例において、顔方向推定カメラエリアカバー率８２は、広告視聴可能エリアのうち顔方向推定カメラ撮影範囲の占める割合に相当する。

統計解析情報生成処理には、種々の方法が考えられる。統計解析情報生成処理の最も単純な方法は、滞在者数および視聴者数を集計し、滞在者数および視聴者数を用いた統計解析情報２４を生成する方法もある。即ち、上記方法は、効果測定データ２２をそのまま利用し、統計解析情報２４を生成する方法である。

統計解析情報生成処理の他の方法として、広告効果指標である注目率を算出し、統計解析情報２４とする方法、若しくは、注目率を集計し、注目率を用いた統計解析情報２４を生成する方法もある。以下、注目率の算出方法を説明する。図９は、注目率について説明するための説明図である。

図９（ａ）は、混雑度計測カメラ１ａおよび顔方向推定カメラ１ｂの撮影範囲を表している。図９（ａ）に示すように、混雑度計測カメラ撮影範囲は、広告視聴可能エリアの１００［％］であるものとし、顔方向推定カメラ撮影範囲は、広告視聴可能エリアの５０［％］であって、かつ、混雑度計測カメラ撮影範囲に包含されているものとする。また、混雑度計測処理と顔方向推定処理は１秒間隔で同期して実行されているとする。

図９（ｂ）は、広告を視聴している人数等の推移を表している。図９（ｂ）において、横軸は時間[秒]である。外側の矩形内の黒丸は、各時刻における混雑度計測カメラ撮影範囲内に存在する人物を表し、内側の矩形内の黒丸は、各時刻における顔方向推定カメラ撮影範囲内に存在する人物を表している。黒丸と黒丸とを結ぶ線、即ち、同一人物の異なる時刻を結ぶ線のうち、一重線は当該人物が広告の方向を向いていないことを表し、二重線は当該人物が広告の方向を向いていることを表している。なお、図９（ｂ）のＧＳＴおよびＧＶＴについては後述する。

図９（ｂ）に示すように、時刻ｔ１では、Ａ〜Ｊの１０名が混雑度計測カメラ撮影範囲内に存在し、うちＧ〜Ｊの４名が顔方向推定カメラ撮影範囲に存在しているものとする。Ｆ、Ｊは時刻ｔ１で広告の方向を向いているものとする。他の８名（Ａ〜Ｅ、Ｇ〜Ｉ）は広告の方向を向いていないものとする。時刻ｔ２〜時刻ｔ１０では、Ａ〜Ｉの９名が混雑度計測カメラ撮影範囲から立ち去り、Ｊ１名のみが顔方向推定カメラ撮影範囲に存在し、継続して広告の方向を向いているものとする。

図９（ｃ）は、上記の図９（ａ）（ｂ）の前提における、各時刻の混雑度計測結果、顔方向推定結果（検出された顔の数）および注目率を表している。例えば、時刻ｔ１における、混雑度計測結果は混雑度計測カメラ１ａにて把握される混雑度計測カメラ撮影範囲内に存在しているＡ−Ｊの１０名、顔方向推定結果は混雑度計測カメラ１ａにて把握される顔方向推定カメラ撮影範囲内に存在しかつ広告の方向を向いているＪの１名である。なお、ここでは、検出された顔の数を広告の方向を向いている人数としているが、顔の角度と広告方向を向いているか否かの判定基準パラメータに基づいて、検出された顔の中から正面向きの顔だけを絞り込み、その数を広告の方向を向いている人数としてもよい。

統計解析情報生成部２３は、混雑度計測結果と検出された顔の数から、下記式（１）に従って、各時刻における注目率［％］を算出する。

注目率［％］＝｛（検出された顔の数／（顔方向推定カメラエリアカバー率／１００））／（混雑度計測結果／（混雑度計測カメラエリアカバー率／１００））｝×１００…（１）
但し、注目率は１００％を上限とし、それを超えた場合は１００％とする。

例えば、図９（ａ）によれば、混雑度計測カメラエリアカバー率８１は１００、顔方向推定カメラエリアカバー率８２は５０、図９（ｂ）によれば、時刻ｔ１における、検出された顔の数は１、混雑度計測結果は１０であるから、統計解析情報生成部２３は、上記式（１）に従って、時刻ｔ１における注目率［％］を下記の如く算出する。

注目率［％］＝｛（１／（５０／１００））／（１０／（１００／１００））｝×１００＝｛（１／０．５）／（１０／１）｝×１００＝２０[％]

また、例えば、図９（ｂ）によれば、時刻ｔ２における、検出された顔の数は１、混雑度計測結果は１であるから、統計解析情報生成部２３は、上記式（１）に従って、時刻ｔ１における注目率［％］を下記の如く算出する。

注目率［％］＝｛（１／（５０／１００））／（１／（１００／１００））｝×１００＝｛（１／０．５）／（１／１）｝×１００＝２００[％]
計算結果が上限である１００[％]を越えたため、注目率は１００[％]となる。

以上のように、上記式（１）の注目率は、混雑度計測カメラエリアカバー率８１と顔方向推定カメラエリアカバー率８２とを用いて算出するが、これは、当該注目率が、混雑度計測エンジン１４および顔方向推定エンジン１８の双方を考慮した指標であることを意味している。換言すれば、上記注目率は、混雑度計測カメラエリアカバー率８１と顔方向推定カメラエリアカバー率８２とを用いているため、比較的広い範囲で人数カウント可能であるという混雑度計測エンジン１４の利点と、比較的狭い範囲が対象だが、広告方向を向いている人数（広告を視聴した人数に該当）を取得可能という顔方向推定エンジン１８の利点とを組み合わせた指標であることを表している。従って、顔方向推定カメラ撮影範囲を超える比較的広く範囲、例えば広告視聴可能エリア全体などを対象として、何人中、何人が広告を見ていたかの割合を推計することができるようになる。

統計解析情報生成処理の他の方法として、広告効果指標である延べ滞在人秒（ＧＳＴ）を算出し、統計解析情報２４とする方法、若しくは、延べ滞在人秒を集計し、延べ滞在人秒を用いた統計解析情報２４を生成する方法もある。以下、図１０を用いて、延べ滞在人秒の算出方法を説明する。図１０は、ＧＳＴについて説明するための説明図である。

図１０（ａ）は、ＧＳＴの概念を説明した図である。図１０（ａ）のグラフの横軸は時間[秒]、縦軸は混雑度[人数]である。黒丸は、一定又は任意の処理間隔で得られる混雑度計測結果４３である。ＧＳＴは、図１０（ａ）のグラフにおける斜線部分の面積によって表される量である。即ち、ＧＳＴは、当該処理時刻における混雑度計測結果４３と次の処理時刻迄の時間間隔とを掛け合わし、算出された値を単位時間内で積算することによって算出される値である。

図１０（ｂ）は、１時間単位のＧＳＴを算出する場合の説明図である。図１０（ｂ）において、１１Ａは、処理時刻（時：分：秒）である。図１０（ｂ）の例では、０８：００：００から０９：００：００迄、１０分間隔で処理が実行されている。１１Ｂは、混雑度計測結果４３である。

１１Ｃは、１１Ｂに対し、エリアカバー率の修正を加えた値である。エリアカバー率の修正は、混雑度計測結果４３を混雑度計測カメラエリアカバー率８１で除算することによって行われる。図１０（ｂ）の例では、混雑度計測カメラカバー率８１は１００％であるため、１１Ｂを１（＝１００％）で除算した値が１１Ｃとなる。なお、仮に、混雑度計測カメラカバー率８１が５０％である場合は０．５で除算し、２００％の場合は２で除算する。

１１Ｄは、当該処理時刻から次の処理時刻迄の時間間隔である。図１０（ｂ）の例では、６００秒となる。１１Ｅは、１１Ｃと１１Ｄを掛け算した値である。１１Ｆは、１時間単位で算出されたＧＳＴ[人秒]である。例えば、０８時台のＧＳＴは、０８：００：００における１１Ｅから、０９：００：００直前の処理時刻の１１Ｅ（図１０（ｂ）の例では０８：５０：００における１１Ｅ）を積算して求められる。具体的には、図１０（ｂ）の例では、０８時台のＧＳＴは、６０００＋１２３００＋１８０００＋５１００＋１２０００＋１８０００＝７１４００[人秒]となる。なお、ＧＳＴ算出の時間幅は、１時間に限られず、任意の時間、早朝、昼間、夕方、夜間、深夜、午前、午後、１日、１週間など種々の時間幅が考えられる。

以上、図１０に示す例によれば、混雑度計測カメラエリアカバー率８１が１００％ではない場合、即ち広告効果測定を実施したいエリアと実際に混雑度計測カメラ1ａが撮影するエリアとが異なる場合でも、混雑度計測カメラエリアカバー率８１を用いることにより、広告効果測定を実施したいエリア全体でのＧＳＴを推計することが可能になる。

また、ＧＳＴは、人数と時間の両方の概念を包含した指標であって、滞在時間で重みを付けて人数を計測した値である。従って、ＧＳＴを広告効果指標として用いることにより、個々人の滞在時間と全体的な人数といった複数の指標を、統合的な一つの指標として取り扱うことが可能となるため、効果的に、広告効果を定量化および可視化することができるようになる。

統計解析情報生成処理の他の方法として、広告効果指標である延べ視聴人秒（ＧＶＴ）を算出し、統計解析情報２４とする方法、若しくは、延べ視聴人秒を集計し、延べ視聴人秒を用いた統計解析情報２４を生成する方法もある。以下、図１１を用いて、延べ視聴人秒の算出方法を説明する。図１１は、ＧＶＴについて説明するための説明図である。

図１１（ａ）は、ＧＶＴの概念を説明した図である。図１１（ａ）のグラフの横軸は時間[秒]、縦軸は顔方向推定結果の中の検出された顔の数である。黒丸は、一定又は任意の処理間隔で得られる顔方向推定結果６３である。ＧＶＴは、図１１（ａ）のグラフにおける斜線部分の面積によって表される量である。即ち、ＧＶＴは、当該処理時刻における検出された顔の数、即ち顔方向推定結果６３と次の処理時刻迄の時間間隔とを掛け合わし、算出された値を単位時間内で積算することによって算出される値である。なお、ＧＶＴは、検出された顔の数に代えて、正面顔の数を使って算出してもよいが、ここでは検出された顔の数によって算出する例を説明する。

図１１（ｂ）は、１時間単位のＧＶＴを算出する場合の説明図である。図１１（ｂ）において、１２Ａは処理時刻（時：分：秒）である。図１１（ｂ）の例では、０８：００：００から０９：００：００迄、１０分間隔で処理が実行されている。１２Ｂは、検出された顔の数である。

１２Ｃは１２Ｂに対し、エリアカバー率の修正を加えた値である。エリアカバー率の修正は、検出された顔の数を顔方向推定カメラエリアカバー率８２で除算することによって行われる。図１１（ａ）の例では、顔方向推定カメラカバー率８２は５０％であるため、１１Ｂを０．５（＝５０％）で除算した値が１２Ｃとなる。なお、仮に、顔方向推定カメラカバー率８２が１００％である場合は１で除算し、２００％の場合は２で除算する。

１２Ｄは、当該処理時刻から次の処理時刻迄の時間間隔である。図１１（ｂ）の例では、６００秒となる。１２Ｅは、１２Ｃと１２Ｄを掛け算した値である。１２Ｆは、１時間単位で算出されたＧＶＴ[人秒]である。例えば、０８時台のＧＶＴは、０８：００：００における１２Ｅから、０９：００：００直前の処理時刻の１２Ｅ（図１１（ｂ）の例では０８：５０：００における１２Ｅ）を積算して求められる。具体的には、図１１（ｂ）の例では、０８時台のＧＶＴは、６０００＋６０００＋３６００＋２４００＋９６００＋１８０００＝４５６００[人秒]となる。なお、ＧＶＴ算出の時間幅は、１時間に限られず、任意の時間、早朝、昼間、夕方、夜間、深夜、午前、午後、１日、１週間など種々の時間幅が考えられる。

また、顔方向推定結果６３には検出された顔の数に加え、その内訳である性別毎の顔の数、年代毎の顔の数、図６に示した性別と年代を組み合わせた区分け毎の顔の数が記載されているため、人物属性別にＧＶＴを算出することも容易に可能である。なお、人物属性別に情報を出力するためには、人物属性別の視聴者数が必要となるが、これについては後述する。

以上、図１１に示す例によれば、顔方向推定カメラエリアカバー率８２が１００％ではない場合、即ち広告効果測定を実施したいエリアと実際に顔方向推定カメラ1ｂが撮影するエリアとが異なる場合でも、顔方向推定カメラエリアカバー率８２を用いることにより、広告効果測定を実施したいエリア全体でのＧＶＴを推計することが可能になる。

また、ＧＶＴもＧＳＴと同様、人数と時間の両方の概念を包含した指標であって、注視時間で重みを付けて人数を計測した値である。従って、ＧＶＴを広告効果指標として用いることにより、個々人の注視時間と、顔の数、即ち全体的な人数といった複数の指標を、統合的な一つの指標として取り扱うことが可能となるため、効果的に、広告効果を定量化および可視化することができるようになる。

統計解析情報生成処理の他の方法として、広告効果指標である人秒ベースの注目率を算出し、統計解析情報２４とする方法、若しくは、人秒ベースの注目率を集計し、人秒ベースの注目率を用いた統計解析情報２４を生成する方法もある。以下、人秒ベースの注目率の算出方法を説明する。

統計解析情報２４は、上記式（１）による注目率に代えて、下記式（２）従って、人秒ベースの注目率[％]を算出する。

人秒ベースの注目率[％]＝（ＧＶＴ／ＧＳＴ）×１００…（２）
但し、人秒ベースの注目率は１００％を上限とし、それを超えた場合は１００％とする。

人秒ベースの注目率は、上記式（２）に示すように、ＧＶＴをＧＳＴで除算して算出される。人秒ベースの注目率も、何人中、何人が広告を見ていたかを表す割合であって、ＧＳＴおよびＧＶＴを算出した際の時間単位毎に算出される。

例えば、図９の例において、時刻ｔ１〜時刻ｔ１０迄の１０秒間を時間単位とした場合、該１０秒間のＧＳＴは１９[人秒]、ＧＶＴは１０[人秒]であるため、上記式（２）に従って、人秒ベースの注目率＝（１０／１９）×１００＝５２．６％（小数点第２位四捨五入）となる。

また、図１０および図１１の例において、人秒ベースの注目率＝（０８時台のＧＶＴ／０８時台のＧＳＴ）×１００＝（４５６００／７１４００）×１００＝６３．９％（小数点第２位四捨五入）となる。

以上、人秒ベースの注目率は、１時間単位又は１日単位などの時間単位における代表値を算出する際に、容易に算出することができる。また、人秒ベースの注目率は、使用目途にも依るが、より人間の直観に合致するため有用である。例えば、図９の例において、代表値に平均値を用いる方法を例とすると、時刻ｔ１〜時刻ｔ１０迄の１０秒間の注目率の代表値（平均値）は、注目率＝（２０＋１００＋１００＋１００＋１００＋１００＋１００＋１００＋１００＋１００）／１０＝９２％と算出され、１名の長時間視聴者（具体的にはＪ）の存在によって算出される注目率１００％の事例数に重み付けされ、比較的高い値となる。換言すれば、１名の長時間視聴者による注目率に代表値が引っ張られ、比較的高い値となる。しかし、当該１０秒間における人秒ベースの注目率は、上述の如く５２．６％となるため、当該場合、人秒ベースの注目率の方が人間の直観により合致する。

以下、図１２および図１３を用いて、具体的な統計解析情報２４について更に説明する。図１２および図１３は、統計解析情報生成処理における統計解析情報の出力例を説明するための説明図である。

図１２（ａ）は、曜日別に、１時間単位でＧＳＴおよびＧＶＴを集計した集計結果の一例である。具体的には、図１２（ａ）に示す例は、月曜日の時間推移の一例である。統計解析情報生成部２３は、効果測定データ２２から曜日別にデータ（広告効果指標）を抽出し、曜日別に、１時間単位でＧＳＴおよびＧＶＴを集計し、図１２（ａ）に示すような集計結果を出力する。

なお、統計解析情報生成部２３は、曜日別の集計に代えて、同様に、曜日を考慮しない全日（月曜〜日曜）、平日（月曜〜金曜）／週末（土曜、日曜）別に集計してもよい。また、統計解析情報生成部２３は、１時間単位の集計に代えて、同様に、１日単位に集計してもよい。なお、図１２（ｂ）は、全日、平日、週末、曜日別に、１日単位でＧＳＴおよびＧＶＴを集計した集計結果である。また、上述の平日、週末以外にも、祝日別に集計する方法、週別に集計する方法、月別に集計する方法、季節別に集計する方法など種々の集計方法が考えられる。

また、統計解析情報生成部２３は、ＧＳＴおよびＧＶＴに代えて、上記式（１）によって示される注目率について集計してもよい。具体的には、例えば、統計解析情報生成部２３は、上記式（１）によって示される注目率について集計時間単位（例えば、１時間又は１日）の代表値（例えば平均値）を算出し、算出した代表値を集計値としてもよい。

また、統計解析情報生成部２３は、更に、人物属性別に集計してもよい。例えば、図１２（ａ）に示す集計を性別毎に行って、性別、曜日別に、１時間単位のＧＳＴおよびＧＶＴを集計してもよい。なお、人物属性別に情報を出力するためには、人物属性別の視聴者数が必要となるが、これについては後述する。

図１２（ｂ）に示すような広告効果指標を統計解析情報２４として出力することによって、当該広告の当該設置場所における効果が得られるため、当該広告または当該設置場所の今後のマーケティング、販売促進、広告コンテンツのプランニング等に利用することができる。

また、統計解析情報生成部２３は、ＧＳＴおよびＧＶＴに代えて、人秒ベースの注目率について集計してもよい。また、統計解析情報生成部２３は、人物属性別のＧＶＴである人物属性別ＧＶＴについて集計してもよい。なお、人物属性別に情報を出力するためには、人物属性別の視聴者数が必要となるが、これについては後述する。

図１３（ａ）は、曜日別に、１時間単位で性別比率を集計した集計結果の一例である。具体的には、図１３（ａ）に示す例は、月曜日の時間推移の一例である。統計解析情報生成部２３は、効果測定データ２２から曜日別にデータ（場所属性情報）を抽出し、曜日別に、１時間単位で性別比率を集計し、図１３（ａ）に示すような集計結果を出力する。

なお、統計解析情報生成部２３は、曜日別の集計に代えて、同様に、全日、平日／週末別に集計してもよい。また、統計解析情報生成部２３は、１時間単位の集計に代えて、同様に、１日単位に集計してもよい。なお、図１3（ｂ）は、全日、平日、週末、曜日別に、１日単位で性別比率を集計した集計結果である。また、統計解析情報生成部２３は、性別比率に代えて、年代比率、図６に示した性別と年代とを組み合わせた属性区分比率についても集計してよい。

図１３（ｂ）に示すような場所属性情報を統計解析情報２４として出力することによって、当該場所に、どのような属性の人がどのような時間に多いのか、または少ないのか、といった当該場所固有の特性が得られるため、マーケティング、販売促進、広告コンテンツのプランニング等に利用することができる。

以下、図１４から図１８を用いて、顔方向を推定方法および人物属性別の視聴者数の算出方法について詳細に説明する。図１４は、顔方向推定エンジン１８の構成の一例を示す機能ブロック図である。図１５は、認識用顔領域再検出部１２４の処理を説明するための説明図である。

顔方向推定エンジン１８は、図１４に示すように、学習処理部１１０および認識処理部１２０を備える。学習処理部１１０は、学習用データ取得部１１１、学習用顔領域検出部１１２、顔方向別属性識別器生成部１１３および顔方向別属性識別器記憶部１１４を備える。認識処理部１２０は、計測用画像データ取得部１２１、認識用顔領域検出部１２２、顔方向推定部１２３、認識用顔領域再検出部１２４、属性識別部１２５および結果出力部１２６を備える。

学習用データ取得部１１１は、学習用データとして、顔方向推定カメラ１ｂによって種々の方向から撮像された顔画像データ、上記顔画像データの被写体の顔方向を示す学習用顔方向パラメータ、被写体の属性データを取得する。学習用データ取得部１１１は、顔画像データを学習用顔領域検出部１１２に出力する。

また、学習用データ取得部１１１は、学習用顔方向パラメータ（例えば、ｙａｗ角の値、ｐｉｔｃｈ角の値など）を学習用データとして取得する。学習用データ取得部１１１は、学習用顔方向パラメータを、何れの顔画像データに係る学習用顔方向パラメータであるかわかる態様（顔画像データと学習用顔方向パラメータとの対応関係がわかる態様）により、顔方向別属性識別器生成部１１３に出力する。例えば、学習用データ取得部１１１は、学習用顔方向パラメータを、顔画像データを識別する識別情報に対応付けて顔方向別属性識別器生成部１１３に出力する。なお、学習用顔方向パラメータは、各顔画像データの撮像時に設定した顔方向を手作業で入力したものである。

また、学習用データ取得部１１１は、各顔画像データの被写体の属性データを学習用データとして取得する。学習用データ取得部１１１は、属性データを、何れの顔画像データに係る属性データであるかわかる態様（顔画像データと属性データとの対応関係がわかる態様）により、顔方向別属性識別器生成部１１３に出力する。例えば、学習用データ取得部１１１は、属性データを、顔画像データを識別する識別情報に対応付けて顔方向別属性識別器生成部１１３に出力する。

また、学習処理部１１０において、主観年齢層を識別する属性識別器を生成する場合、学習用データ取得部１１１は、主観年齢に係る集計データ（顔画像データを多数の人物に予め提示して得られた当該顔画像データの被写体の主観年齢の割合を集計した集計データ）を学習用データとして取得する。学習用データ取得部１１１は、集計データを、何れの顔画像データに係る集計データであるかわかる態様（顔画像データと集計データとの対応関係がわかる態様）により、顔方向別属性識別器生成部１１３に出力する。例えば、学習用データ取得部１１１は、集計データを、顔画像データを識別する識別情報に対応付けて顔方向別属性識別器生成部１１３に出力する。なお、主観年齢層を識別する識別器を生成する場合の具体例などについては後述する

学習用顔領域検出部１１２は、学習用データ取得部１１１から顔画像データを取得し、顔画像データから顔領域を検出する。例えば、学習用顔領域検出部１１２は、確率的増分符号相関などの統計的手法（例えば、参考文献５参照）を利用し、顔領域を高速に検出してもよい。

（参考文献５）
「個体差のある対象の画像照合に適した確率的増分符号相関」三田雄志、金子敏充、堀修 電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８８−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１６１４−１６２３，２００５．

顔領域を検出した学習用顔領域検出部１１２は、顔画像データから顔領域を切り出した画像（以下、「顔切出画像データ」という）を、何れの顔画像データに係る顔切出画像データであるかわかる態様（顔画像データと顔切出画像データとの対応関係がわかる態様）により、顔方向別属性識別器生成部１１３に出力する。例えば、学習用顔領域検出部１１２は、顔切出画像データを、切り出し元の顔画像データを識別する識別情報に対応付けて顔方向別属性識別器生成部１１３に出力する。なお、学習処理部１１０の学習用顔領域検出部１１２は、認識処理部１２０の認識用顔領域検出部１２２に比べ、処理時間における制約は厳しくない。認識用顔領域検出部１２２は認識時に顔領域を検出するが、学習用顔領域検出部１１２は属性識別器の学習時に顔領域を検出するからである。

顔方向別属性識別器生成部１１３は、学習用データ取得部１１１から学習用データ（学習用顔方向パラメータ、属性データ）を取得する。また、顔方向別属性識別器生成部１１３は、学習用顔領域検出部１１２から顔切出画像データを取得する。なお、学習用顔方向パラメータ、属性データおよび顔切出画像データは、何れも、それぞれが何れの顔画像データに係る情報であるか識別可能である。換言すれば、学習用顔方向パラメータ、属性データおよび顔切出画像データのぞれぞれは互いに対応付けられている。

また、学習処理部１１０において、主観年齢層を識別する属性識別器を生成する場合、顔方向別属性識別器生成部１１３は、学習用データ取得部１１１から学習用データ（集計データ）を取得する。なお、集計データは、何れも、それぞれが何れの顔画像データに係る情報であるか識別可能である。換言すれば、学習用顔方向パラメータ、属性データ、集計データおよび顔切出画像データのぞれぞれは互いに対応付けられている。

学習用データおよび顔切出画像データを取得した顔方向別属性識別器生成部１１３は、顔方向別に、属性識別器を生成する。例えば、顔方向別属性識別器生成部１１３は、男性か女性かを識別できる性別識別器などの属性識別器を顔方向別に生成する。

具体的には、顔方向別属性識別器生成部１１３は、学習用顔領域検出部１１２によって出力された顔切出画像データであって学習用顔方向パラメータが同一である複数の顔切出画像データと、当該複数の顔切出画像データそれぞれの属性データとに基づいて、被写体の顔方向別に、被写体の属性を識別する属性識別器を生成する。より詳細には、顔方向別属性識別器生成部１１３は、学習用顔方向パラメータの値が一致する顔切出画像データ（顔方向の一致する顔切出画像データ）を１つのグループとし、各グループ内の属性（各グループ内の顔切出画像データに対応する属性データに基づく属性）を教師信号として属性識別器に学習させる。顔方向別属性識別器生成部１１３は、全ての顔方向に対して当該処理を行うことによって、顔方向別の属性識別器を生成する。なお、顔方向別属性識別器生成部１１３は、学習用顔方向パラメータに基づいて、各属性識別器に顔方向に係る情報（例えば、ｙａｗ角およびｐｉｔｃｈ角の組合せ）を示すタグを付加する。

顔方向別属性識別器生成部１１３は、生成した全ての属性識別器を顔方向別属性識別器記憶部１１４に記憶する。なお、顔方向別属性識別器生成部１１３は、属性識別器の生成結果を管理し、全ての顔方向の属性識別器を生成したか否かを判断する。なお、顔方向別属性識別器生成部１１３が生成する属性識別器の種類は、２クラスを判別できるものであれば何でもよい。例えば、サポートベクトルマシンやフィードフォワード型ニューラルネットワークなどが代表的なところである。

また、主観年齢層を識別する識別器を生成する場合、顔方向別属性識別器生成部１１３は、所定の閾値に基づいて、集計データによって示される各主観年齢層（各クラス）の正解／不正解を判定し、複数の主観年齢層を正解と判定した場合に、正解と判定した主観年齢層における評価の頻度（正解と判定した各クラスに属すると評価した他者の割合）に応じて重み付けした内分値、又は、上記評価の割合を等価とした内分値を教師信号として属性識別器に渡して、属性識別器を生成する。

顔方向別属性識別器記憶部１１４は、メモリまたはＨＤＤであって、顔方向別属性識別器生成部１１３によって生成された全ての属性識別器を記録する。顔方向別属性識別器記憶部１１４に記憶された属性識別器は、属性識別部１２５からの要求に応じて属性識別部１２５に出力される。

計測用画像データ取得部１２１は、顔方向推定カメラ１ｂから出力された撮像画像を計測用画像データとして取得する。なお、計測用画像データ取得部１２１が取得する計測用画像データは、視聴人数の計測用、又は、人物属性別の視聴人数の計測用の画像データである。計測用画像データ取得部１２１は、計測用画像データを認識用顔領域検出部１２２および認識用顔領域再検出部１２４に出力する。

認識用顔領域検出部１２２は、計測用画像データ取得部１２１から計測用画像データを取得し、計測用画像データから顔領域を検出する。例えば、認識用顔領域検出部１２２は、学習用顔領域検出部１１２と同様の手法を利用し、計測用画像データから顔領域を検出する。顔領域を検出した認識用顔領域検出部１２２は、計測用画像データから顔領域を切り出した顔切出画像データを顔方向推定部１２３に出力する。なお、認識処理部１２０の認識用顔領域検出部１２２は、学習処理部１１０の学習用顔領域検出部１１２に比べ、処理時間における制約は厳しい。学習用顔領域検出部１１２は属性識別器の学習時に顔領域を検出するが、認識用顔領域検出部１２２は認識時に顔領域を検出するからである。従って、確率的増分符号相関などの統計的手法を利用し、顔領域を高速に検出することが好ましい。

顔方向推定部１２３は、認識用顔領域検出部１２２から顔切出画像データを取得する。顔切出画像データを取得した顔方向推定部１２３は、認識用顔領域検出部１２２によって出力された顔切出画像データに基づいて、計測用画像の被写体の顔方向を推定し、被写体の顔方向を示す属性識別用顔方向パラメータを出力する。属性識別用顔方向パラメータは、例えば、ｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角およびスケール値に係るものである。スケール値とは、顔領域として検出される方形枠に対する顔の占める大きさ（例えば、ドット数）を定量的に算出したものである（例えば、ある基準値に対する相対値として表現してもよい）。

より詳細には、顔方向推定部１２３は、顔切出画像データから顔領域の明度パターンを検出し、検出した顔領域の明度パターンに基づいて、属性識別用顔方向パラメータを推定する。例えば、顔方向推定部１２３は、主成分分析とサポートベクトル回帰を組み合わせたパラメータ推定法（例えば、参考文献６参照）を利用し、高精度に、属性識別用顔方向パラメータを推定する。参考文献６参照の手法を利用することによって、学習していない顔方向を含む連続的な顔方向推定が可能となる。

（参考文献６）
「サポートベクトル回帰を用いた三次元物体の姿勢推定法」安藤慎吾，草地良規，鈴木章， 荒川賢一 電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８９−Ｄ Ｎｏ．８，ｐｐ．１８４０−１８４７，２００６．

顔方向を推定した顔方向推定部１２３は、ｒｏｌｌ角およびスケール値に係る属性識別用顔方向パラメータを認識用顔領域再検出部１２４に出力し、ｙａｗ角およびｐｉｔｃｈ角に係る属性識別用顔方向パラメータを属性識別部１２５に出力する。

また、顔方向推定部１２３は、顔切出画像データ毎に推定した顔方向と、予め設定した広告方向とを比較し、顔方向が広告方向である顔切出画像データの数、即ち、視聴人数を計数する。視聴人数を計数した顔方向推定部１２３は、計数した視聴人数を結果出力部１２６に出力する。

また、顔方向推定部１２３は、上記比較の結果、顔方向が広告方向であるか否かを示す情報を、ｙａｗ角およびｐｉｔｃｈ角に係る属性識別用顔方向パラメータに対応付けて、属性識別部１２５に出力してもよい。つまり、顔方向推定部１２３は、視聴者に係る属性識別用顔方向パラメータであるか、非視聴者に係る属性識別用顔方向パラメータであるかがわかる態様により、属性識別用顔方向パラメータを属性識別部１２５に出力してもよい。

認識用顔領域再検出部１２４は、計測用画像データ取得部１２１から計測用画像データを取得する。また、認識用顔領域再検出部１２４は、顔方向推定部１２３からｒｏｌｌ角およびスケール値に係る属性識別用顔方向パラメータを取得する。計測用画像データ、ｒｏｌｌ角およびスケール値に係る属性識別用顔方向パラメータを取得した認識用顔領域再検出部１２４は、顔方向推定部１２３によって出力された属性識別用顔方向パラメータ（ｒｏｌｌ角およびスケール値）に基づいて、計測用画像データから、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する。具体的には、認識用顔領域再検出部１２４は、図１５に示すように、ｒｏｌｌ角が０°かつスケール値が１になるように正規化されるように、計測用画像データから顔領域を切り出した顔切出画像データを出力する。つまり、認識用顔領域再検出部１２４は、回転や大きさの微妙なぶれを補正するために、再度、計測用画像データから顔領域を切り出した顔切出画像データを出力している。認識用顔領域再検出部１２４は、顔切出画像データを属性識別部１２５に出力する。

属性識別部１２５は、顔方向推定部１２３からｙａｗ角およびｐｉｔｃｈ角に係る属性識別用顔方向パラメータを取得する。また、属性識別部１２５は、認識用顔領域再検出部１２４から顔切出画像データを取得する。ｙａｗ角およびｐｉｔｃｈ角に係る属性識別用顔方向パラメータ、顔切出画像データを取得した属性識別部１２５は、顔方向推定部１２３によって出力された属性識別用顔方向パラメータ（ｙａｗ角およびｐｉｔｃｈ角）に基づいて、顔方向別属性識別器記憶部１１４に記憶されている複数の属性識別器のなかから１または２以上の属性識別器を選択する。

属性識別部１２５による属性識別器の選択基準は種々の方法が考えられるが、例えば、属性識別部１２５は、基準基準１または選択基準２の何れかに従って属性識別器を選択する。
（選択基準１）
顔方向別属性識別器記憶部１１４に記憶されている複数の属性識別器がｙａｗ角とｐｉｔｃｈ角に関する２次元空間上に格子状に並べられていると想定し、ユークリッド距離による最近傍の属性識別器を１つ選択する。換言すれば、顔方向別属性識別器記憶部１１４に記憶されている複数の属性識別器のそれぞれを、顔方向推定部１２３から出力されたｙａｗ角およびｐｉｔｃｈ角から構成される２次元空間に配置したときの、ユークリッド距離に基づいて最近傍の属性識別器を１つ選択する。
（選択基準２）
顔方向別属性識別器記憶部１１４に記憶されている複数の属性識別器がｙａｗ角とｐｉｔｃｈ角に関する２次元空間上に格子状に並べられていると想定し、ユークリッド距離による４近傍の識別器を選択する。換言すれば、顔方向別属性識別器記憶部１１４に記憶されている複数の属性識別器のそれぞれを、顔方向推定部１２３から出力されたｙａｗ角およびｐｉｔｃｈ角から構成される２次元空間に配置したときの、ユークリッド距離に基づいて近傍の属性識別器を２つ以上選択する。

基準基準１に従って１つの属性識別器を選択した場合、属性識別部１２５は、当該選択した１つの属性識別器に、認識用顔領域再検出部１２４から取得した顔切出画像データを入力し、識別結果を得る。そして、属性識別部１２５は、当該識別結果を結果出力部１２６に出力する。

また、属性識別部１２５は、顔方向が広告方向であるか否かを示す情報を顔方向推定部１２３から取得した場合には、識別結果別の視聴者数、即ち、人物属性別の視聴人数を計数する。人物属性別の視聴人数を計数した属性識別部１２５は、計数した人物属性別の視聴人数を結果出力部１２６に出力する。

基準基準２に従って４つの属性識別器を選択した場合、属性識別部１２５は、当該選択した４つの属性識別器のそれぞれに、認識用顔領域再検出部１２４から取得した顔切出画像データを入力し、それぞれから識別結果を得る。そして、属性識別部１２５は、それぞれから取得した識別結果から最終的な識別結果を算出し（例えば、距離による重み付き平均を用いて計測用画像の被写体に係る最終的な識別結果を算出する）、最終的な識別結果を結果出力部１２６に出力する。
例えば、サポートベクトルマシン等では最後にｓｉｇｎ関数を乗じて１か−１の何れかを出力するが、ここでは、それぞれから取得した識別結果について、ｓｉｇｎ関数を乗じる前の数値を（一時的な）識別結果とし、デジタル画像の拡大などで用いられるバイリニア補間と同様の手法を用いて、それぞれの識別結果を重み付き平均する。次いで、ｓｉｇｎ関数をかけ、（最終的な）識別結果として結果出力部１２６に出力する。なお、バイキュービック補間のように５近傍以上の重み付き平均を利用した手法、スプライン補間などの、より高度な手法を利用可能であり、バリエーションは多彩である。

結果出力部１２６は、顔方向推定部１２３および属性識別部１２５から取得した情報を出力する。例えば、結果出力部１２６は、属性識別部１２５から識別結果である各人の属性情報を取得した場合には、当該属性情報を出力する。また、結果出力部１２６は、顔方向推定部１２３から視聴人数を取得した場合には、当該視聴人数を出力する。また、結果出力部１２６は、属性識別部１２５から人物属性別の視聴人数を取得した場合には、当該人物属性別の視聴人数を出力する。

続いて、図１６および図１７を用いて、年齢層識別において、主観年齢層を識別する属性識別器を生成する場合の具体例などについて説明する。図１６および図１７は、主観年齢層の概念を説明するための説明図である。図１６（ａ）に示すように、一人の顔画像に対し、多数の人物の主観年齢層を集計すると、複数のクラス（層）にばらつく可能性が高い。そのため、まず、主観年齢層で全体のａ％（ａはあらかじめ決定するパラメータ値）を超えるもクラスのみを正解とする。例えば、図１６（ｂ）に示す例では、２０歳〜３４歳のクラスおよび３５歳〜４９歳のクラスは正解とするが、１９歳以下のクラスおよび５０歳以上のクラスは不正解とする。

ところで、主観年齢層を分けるときのクラスの分け方も種々の分け方が考えられるが（例えば、図１６に示す方法やｎ十代毎に分ける方法）、通常、主観年齢層が３クラス以上となるような分け方を設定する。４クラスの主観年齢層（１９歳以下のクラス、２０歳〜３４歳のクラス、３５歳〜４９歳のクラス、５０歳以上のクラス）を設定する場合、例えば、図１７（ａ）のように、１９歳以下と２０歳以上を識別する属性識別器１、３４歳以下と３５歳以上を識別する属性識別器２、４９歳以下と５０歳以上を識別する属性識別器２をそれぞれ学習する。つまり、属性識別器１、２、３の識別結果を分析すれば、上記４クラスの主観年齢層に対応できる。各属性識別器は２クラスの年齢層（例えば、図１７（ａ）に示す属性識別器２の場合、３４歳以下のクラスと３５歳以上のクラス）を判別し、１か−１として出力する最も単純な識別器の組合せで構成可能である。

問題は、正解が２クラス以上発生する場合（例えば、図１６（ｂ）のような結果が出る顔画像の場合）の対処であるが、当該問題の対処としては、例えば、属性識別器を学習するために渡す教師信号として、下記式（３）に従って算出される内分値を与えるようにしてもよい。

内分値＝（Ｏ_Ｓ×Ｐ_Ｓ＋Ｏ_Ｂ×Ｐ_Ｂ）÷（Ｐ_Ｓ＋Ｐ_Ｂ）…（３）
但し、Ｏ_Ｓはある属性識別器Ｘにおいて小さい方の年齢層Ｓであると判別された場合の出力値、Ｏ_Ｂは当該属性識別器Ｘにおいて大きい方の年齢層Ｂであると判別された場合の出力値、Ｐ_Ｓは年齢層Ｓに含まれる最大の主観年齢層に属すると評価した他者の割合（頻度）、Ｐ_Ｂは年齢層Ｂに含まれる最小の主観年齢層に属すると評価した他者の割合（頻度である。

具体的には、属性識別器２の場合、図１７（ａ）に示すように、小さい方の年齢層Ｓ（３４歳以下のクラス）であると判別された場合の出力値Ｏ_Ｓ＝−１、大きい方の年齢層Ｂ（３５歳以上のクラス）であると判別された場合の出力値Ｏ_Ｂ＝１、図１６（ａ）に示すように、年齢層Ｓ（３４歳以下のクラス）に含まれる最大の主観年齢層（２０〜３４歳のクラス）に属すると評価した他者の頻度Ｐ_Ｓ＝０．６、年齢層Ｂ（３５歳以上のクラス）に含まれる最小の主観年齢層（３５〜４９歳のクラス）に属すると評価した他者の頻度P_Ｂ＝０．３である。従って、属性識別器２に係る内分値（教師信号）は、上記式（３）に従って、図１７（ｂ）に示すように、（−１×０．６＋１×０．３）÷（０．６＋０．３）＝−０．３３３と算出される。

同様に、属性識別器１の場合、図１７（ａ）に示すように、小さい方の年齢層Ｓ（１９歳以下のクラス）であると判別された場合の出力値Ｏ_Ｓ＝−１、大きい方の年齢層Ｂ（２０歳以上のクラス）であると判別された場合の出力値Ｏ_Ｂ＝１、図１６（ａ）に示すように、年齢層Ｓ（１９歳以下のクラス）に含まれる最大の主観年齢層（１９歳以下のクラス）に属すると評価した他者の頻度Ｐ_Ｓ＝０．１、年齢層Ｂ（２０歳以上のクラス）に含まれる最小の主観年齢層（２０〜３４歳のクラス）に属すると評価した他者の頻度P_Ｂ＝０．６である。従って、属性識別器１に係る内分値（教師信号）は、上記式（３）に従って、図１７（ｂ）に示すように、（−１×０．１＋１×０．６）÷（０．１＋０．６）＝０．７１４と算出される。

同様に、属性識別器３の場合、図１７（ａ）に示すように、小さい方の年齢層Ｓ（４９歳以下のクラス）であると判別された場合の出力値Ｏ_Ｓ＝−１、大きい方の年齢層Ｂ（５０歳以上のクラス）であると判別された場合の出力値Ｏ_Ｂ＝１、図１６（ａ）に示すように、年齢層Ｓ（４９歳以下のクラス）に含まれる最大の主観年齢層（３５〜４９歳以下のクラス）に属すると評価した他者の頻度Ｐ_Ｓ＝０．３、年齢層Ｂ（５０歳以上のクラス）に含まれる最小の主観年齢層（５０歳以上のクラス）に属すると評価した他者の頻度P_Ｂ＝０である。従って、属性識別器３に係る内分値（教師信号）は、上記式（３）に従って、図１７（ｂ）に示すように、（−１×０．３＋１×０）÷（０．３＋０）＝−１と算出される。

また、より単純に、それぞれの頻度（割合）を等価と考え、下記式（４）に従って内分値を算出してもよい。即ち、上記式（３）において、Ｐ_Ｓ＝Ｐ_Ｂ＝０．５としてもよい。

内分値＝（Ｏ_Ｓ×０．５＋Ｏ_Ｂ×０．５）÷（０．５＋０．５）…（４）

なお、上記式（４）に従えば、例えば、属性識別器２に係る内分値（教師信号）は、（−１×０．５＋１×０．５）÷（０．５＋０．５）＝０と算出される。

なお、基礎実験等により、パラメータａを適切に設定すれば、クラス間が隣接せずに正解が２クラス以上発生するケースは稀であることが分かっている。そのため、複数の正解クラスが隣接しないケースは無視する。仮に、複数の正解クラスが隣接しないようなデータが出現した場合には、当該データを学習データから除外する。また、属性識別器から矛盾する結果（例えば、１９歳以下、かつ、３５歳以上であるという結果）が出力される可能性を否定できないため、矛盾した結果の出力されたときのルール（例えば、「常に、年齢が少ない方のクラスを優先して出力する」というようなルール）を予め設定しておくことよい。

続いて、図１８を用いて顔方向推定エンジン１８の動作を説明する。図１８は、顔方向推定エンジン１８の動作の一例を示すフローチャートである。図１８（ａ）に示すフローチャートは、学習処理部１１０の動作の流れである。図１８（ｂ）に示すフローチャートは、認識処理部１２０の動作の流れである。図１８（ｃ）に示すフローチャートは、顔方向別属性識別器生成部１１３が主観年代に係る教師信号を作成する場合の動作の流れである。

図１８（ａ）において、学習用データ取得部１１１は、学習用データ（顔画像データ、学習用顔方向パラメータ、属性データ、集計データ）を取得する（ステップＳ１１１）。学習用データ取得部１１１は顔画像データを学習用顔領域検出部１１２に供給し、学習用顔方向パラメータおよび属性データを顔方向別属性識別器生成部１１３に供給する。

次いで、学習用顔領域検出部１１２は、顔画像データから顔領域を検出する（ステップＳ１１２）。学習用顔領域検出部１１２は、顔切出画像データを顔方向別属性識別器生成部１１３に供給する。

次いで、顔方向別属性識別器生成部１１３は、属性識別器を生成する（ステップＳ１１３）。具体的には、顔方向別属性識別器生成部１１３は、図１８（ｃ）のフローチャートを実行し、教師信号を用いて属性識別器を生成する。顔方向別属性識別器生成部１１３は、生成した属性識別器を顔方向別属性識別器記憶部１１４に記憶する（ステップＳ１１４）。

次いで、顔方向別属性識別器生成部１１３は、全ての顔方向の属性識別器を生成したか否かを判断する（ステップＳ１１５）。顔方向別属性識別器生成部１１３は、全ての顔方向の属性識別器を生成していないと判断した場合（ステップＳ１１５：Ｎｏ）、ステップＳ１１１に戻る。一方、顔方向別属性識別器生成部１１３は、全ての顔方向の属性識別器を生成したと判断した場合（ステップＳ１１５：Ｙｅｓ）、図１８（ａ）に示すフローチャートは終了する。

図１８（ｂ）において、計測用画像データ取得部１２１は、計測用画像データを取得する（ステップＳ１２１）。計測用画像データ取得部１２１は、計測用画像データを認識用顔領域検出部１２２および認識用顔領域再検出部１２４に供給する。

次いで、認識用顔領域検出部１２２は、計測用画像データから顔領域を検出する（ステップＳ１２２）。認識用顔領域検出部１２２は、顔切出画像データを顔方向推定部１２３に供給する。

次いで、顔方向推定部１２３は、認識用顔領域検出部１２２によって出力された顔切出画像データに基づいて、計測用画像の顔方向を推定する（ステップＳ１２３）。顔方向推定部１２３は、計測用画像の被写体の顔方向を示す属性識別用顔方向パラメータ（ｒｏｌｌ角およびスケール値）を認識用顔領域再検出部１２４に供給し、計測用画像の被写体の顔方向を示す属性識別用顔方向パラメータ（ｙａｗ角およびｐｉｔｃｈ角）を属性識別部１２５に供給する。

次いで、認識用顔領域再検出部１２４は、顔方向推定部１２３によって出力された属性識別用顔方向パラメータ（ｒｏｌｌ角およびスケール値）に基づいて、計測用画像データから顔領域を再度切り出す（ステップＳ１２４）。認識用顔領域再検出部１２４は、顔切出画像データを属性識別部１２５に供給する。

次いで、属性識別部１２５は、顔方向推定部１２３によって出力された属性識別用顔方向パラメータ（ｙａｗ角およびｐｉｔｃｈ角）に基づいて、顔方向別属性識別器記憶部１４に記憶されている複数の属性識別器のなかから１または２以上の属性識別器を選択する（ステップＳ１２５）。そして、属性識別部１２５は、選択した属性識別器に、認識用顔領域再検出部１２４から取得した顔切出画像データを入力し、識別結果を得る（ステップＳ１２６）。結果出力部１２６では、属性識別部１２５から識別結果を取得し出力する（ステップＳ１２７）。そして、図１８（ｂ）に示すフローチャートは終了する。

図１８（ｃ）において、顔方向別属性識別器生成部１１３は、学習用データ取得部１１１から学習用データ（集計データ）を取得する。具体的には、顔方向別属性識別器生成部１１３は、学習用データ取得部１１１から、例えば、図１６（ａ）に示すように、主観年齢層頻度データを取得する（ステップＳ１３１）。

次いで、顔方向別属性識別器生成部１１３は、図１６（ｂ）に示すように、予め設定した閾値ａに基づいて、各クラスについて正解／不正解を判別する（ステップＳ１３２）。顔方向別属性識別器生成部１１３は、正解になったクラスについて、主観年齢層頻度データにばらつきがある場合は、上述の如く、複数隣り合う正解クラス同士での頻度による重み付き内分値を算出し、教師信号を作成する（ステップＳ１３３）（例えば図１７（ｂ）を参照）。

なお、図１６（ｂ）は２クラスに正解がまたがる場合を示しているが、３クラス以上に正解がまたがる場合でも、教師信号”−１”に該当する正解クラスの頻度の割合の合計値と、教師信号”１”に該当する正解クラスの頻度の割合の合計値とで内分値を容易に算出することができる。また、前述したが、頻度の割合を全て等価とし内分値を計算してもよい。なお、正解になったクラスについて、主観年齢層頻度データにばらつきがない場合は、通常通り適切に、１または−１を教師信号として各属性識別器に出力する。また、不正解になったクラスは無視する。

顔方向別属性識別器生成部１１３は、全ての人物の教師信号を作成したか否かを判断する（ステップＳ１３４）。顔方向別属性識別器生成部１１３は、全ての人物の教師信号を作成していないと判断した場合（ステップＳ１３４：Ｎｏ）、ステップＳ１３１に戻る。一方、顔方向別属性識別器生成部１１３は、全ての顔方向の属性識別器を生成したと判断した場合（ステップＳ１３４：Ｙｅｓ）、図１８（ｃ）に示すフローチャートは終了する。

以上、顔方向推定エンジン１８によれば、顔検出後に顔の姿勢を示すｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角およびスケール値を推定し、その結果をもとに入力画像から顔領域を再度切出すとともに、最も適切な識別器を１つ、あるいは複数個選択し、重み付き平均等を利用して結果を統合することにより、被写体の顔方向に対しロバストかつ処理速度の速い属性識別を実現できるようになる。
また、適切な教師信号を算出して設定するため、主観年齢層を精度良く識別できるようになる。具体的には、年齢層識別においては、予め集計した主観年齢層の頻度分布を基に、ある閾値を通して正解／不正解を決定し、さらに、正解クラスの頻度の割合を重みとした内分値（正解と判定した各クラスに属すると評価した他者の割合を重みとした内分値）、または、頻度の割合を全て等価とした内分値を教師信号として識別器に渡すことによって、主観年齢層を精度良く識別できるようになる。

以上、図１４から図１８において説明した顔方向推定エンジン１８によれば、顔検出後に顔の姿勢を示すｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角およびスケール値を推定し、その結果をもとに入力画像から顔領域を再度切出すとともに、最も適切な識別器を１つ、あるいは複数個選択し、重み付き平均等を利用して結果を統合することにより、被写体の顔方向に対しロバストかつ処理速度の速い属性識別を実現できるようになる。
また、図１４から図１８において説明した顔方向推定エンジン１８によれば、適切な教師信号を算出して設定するため、主観年齢層を精度良く識別できるようになる。具体的には、年齢層識別においては、予め集計した主観年齢層の頻度分布を基に、ある閾値を通して正解／不正解を決定し、さらに、正解クラスの頻度の割合を重みとした内分値（正解と判定した各クラスに属すると評価した他者の割合を重みとした内分値）、または、頻度の割合を全て等価とした内分値を教師信号として識別器に渡すことによって、主観年齢層を精度良く識別できるようになる。
なお、図１４に示す顔方向推定エンジン１８は、画像処理部１１０および認識処理部１２０の両方を備える構成であるが、広告効果測定装置３の外部の装置が画像処理部１１０の機能を備え、顔方向推定エンジン１８は、認識処理部１２０のみを備えるようにしてもよい。

なお、本発明の一実施形態による広告効果測定装置３の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本発明の一実施形態による広告効果測定装置３の各処理に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

1ａ…混雑度計測カメラ
１ｂ…顔方向推定カメラ
２…広告媒体
３…広告効果測定装置
１２…カメラ制御部
１３…混雑度計測チューニング部
１４…混雑度計測エンジン
１７…顔方向推定チューニング部
１８…顔方向推定エンジン
１９…クライアント部
２０…混雑度計測エンジン制御部
２１…顔方向推定エンジン制御部
２３…統計解析情報生成部
１１０…学習処理部
１１１…学習用データ取得部
１１２…学習用顔領域検出部
１１３…顔方向別属性識別器生成部
１１４…顔方向別属性識別器記憶部
１２０…認識処理部
１２１…計測用画像データ取得部
１２２…認識用顔領域検出部
１２３…顔方向推定部
１２４…認識用顔領域再検出部
１２５…属性識別部
１２６…結果出力部

Claims (7)

1. 広告媒体の近傍の第１のエリアを撮像する第１のカメラによって撮像された撮像画像を画素単位に信号処理し、前記第１のエリア内の滞在者数を計測する第１の画像処理手段と、
   前記第１のエリア内の一部のエリアである第２のエリアを撮像する第２のカメラによって撮像された撮像画像内の顔領域を検出し、各顔領域の顔方向を推定し、前記第２のエリア内における前記広告媒体の視聴者数を計測する第２の画像処理手段と、
   前記第１のカメラのエリアカバー率と、前記第２のカメラのエリアカバー率と、前記第１の画像処理手段の計測値と、前記第２の画像処理手段の計測値とに基づいて、前記広告媒体の効果を示す広告効果情報を生成する広告効果情報生成手段と
   を備えることを特徴とする広告効果測定装置。
2. 前記第２の画像処理手段は、
   前記第２のカメラの撮像画像を取得する撮像画像取得手段と、
   前記第２のカメラの撮像画像から顔領域を検出し顔切出画像データを出力する認識用顔領域検出手段と、
   前記認識用顔領域検出手段によって出力された前記顔切出画像データに基づいて、前記第２のカメラの撮像画像の被写体の顔方向を推定し、顔方向が前記広告媒体を方向と一致している者を視聴者として視聴者数を計数する顔方向推定手段と
   を有することを特徴とする請求項１に記載の広告効果測定装置。
3. 前記第２の画像処理手段は、
   学習用データとして、種々の方向から撮像された顔画像データ、前記顔画像データの被写体の顔方向を示す学習用顔方向パラメータ、前記被写体の属性データを取得する学習用データ取得手段と、
   前記学習用データ取得手段によって取得された前記顔画像データから、被写体の顔領域を検出して切り出した顔切出画像データを出力する学習用顔領域検出手段と、
   前記学習用顔領域検出手段によって出力された前記顔切出画像データであって前記学習用顔方向パラメータが同一である複数の前記顔切出画像データと、当該複数の顔切出画像データそれぞれの前記属性データとに基づいて、前記被写体の顔方向別に、前記被写体の属性を識別する属性識別器を生成する顔方向別属性識別器生成手段と、
   前記顔方向別属性識別器生成手段によって生成された前記属性識別器を記憶する顔方向別属性識別器記憶手段と、
   前記第２のカメラの撮像画像を取得する撮像画像取得手段と、
   前記第２のカメラの撮像画像から顔領域を検出し顔切出画像データを出力する認識用顔領域検出手段と、
   前記認識用顔領域検出手段によって出力された前記顔切出画像データに基づいて、前記第２のカメラの撮像画像の被写体の顔方向を推定し、顔方向が前記広告媒体を方向と一致している者を視聴者として視聴者数を計数するとともに、前記被写体の顔方向を示す属性識別用顔方向パラメータを出力する顔方向推定手段と、
   前記顔方向推定手段によって出力された前記属性識別用顔方向パラメータに基づいて、前記前記第２のカメラの撮像画像から、被写体の顔領域を再度検出して切り出した顔切出画像データを出力する認識用顔領域再検出手段と、
   前記顔方向推定手段によって出力された前記属性識別用顔方向パラメータに基づいて、前記顔方向別属性識別器記憶手段に記憶されている複数の前記属性識別器のなかから１または２以上の前記属性識別器を選択し、当該選択した１または２以上の前記属性識別器に、前記認識用顔領域再検出手段が出力した前記顔切出画像データを入力し、前記前記第２のカメラの撮像画像の被写体に係る識別結果を取得する属性識別手段と
   を有し、
   人物属性別の視聴者数を算出することを特徴とする請求項１に記載の広告効果測定装置。
4. 前記広告効果情報生成手段は、
   注目率、延べ滞在人秒、延べ視聴人秒、人物属性別の延べ視聴人秒、又は、人秒ベースの注目率を集計することによって前記広告効果情報を生成することを特徴とする請求項１から請求項３の何れか1項に記載の広告効果測定装置。
5. 前記広告効果情報生成手段は、
   前記広告媒体の設置場所に係る場所属性情報として、前記滞在者数に係る性別比率、年代比率、又は性別と年代とを組み合わせた属性区分比率を算出することを特徴とする請求項１から請求項３の何れか1項に記載の広告効果測定装置。
6. 広告媒体の効果を測定する広告効果測定装置における広告効果指標測定方法であって、
   前記広告効果測定装置の第１の画像処理手段が、広告媒体の近傍の第１のエリアを撮像する第１のカメラによって撮像された撮像画像を画素単位に信号処理し、前記第１のエリア内の滞在者数を計測し、
   前記広告効果測定装置の第２の画像処理手段が、前記第１のエリア内の一部のエリアである第２のエリアを撮像する第２のカメラによって撮像された撮像画像内の顔領域の検出し、各顔方向を推定し、前記第２のエリア内における前記広告媒体の視聴者数を計測し、
   前記広告効果測定装置の第２の広告効果情報生成手段が、前記第１のカメラのエリアカバー率と、前記第２のカメラのエリアカバー率と、前記第１の画像処理手段による計測値と、前記第２の画像処理手段による計測値とに基づいて、前記広告媒体の効果を示す広告効果情報を生成することを特徴とする広告効果測定方法。
7. 請求項１から請求項５の何れか１項に記載の広告効果測定装置の処理をコンピュータに実行させるためのプログラム。

Images