JP2010146282A - 広告効果測定装置 - Google Patents

Abstract

【課題】顔検出処理の効率を向上できる、広告効果測定装置を提供する。
【解決手段】広告効果測定装置１０は、広告媒体の前方を撮像して画像を生成するカメラ１２、およびカメラ１２によって生成された画像から人物の顔を検出するコンピュータ１６を含む。コンピュータ１６は、複数の画像それぞれについて全体からテンプレートマッチングによって人物の顔を検出する。そして、その結果得られる人物の顔の写り込み範囲に基づいて変動検出範囲を設定する。コンピュータ１６は、所定期間が経過するまでは画像全体からの検出と変動検出範囲内での検出とを交互に行う。コンピュータ１６は、所定期間が経過すれば、それまでに得られた写り込み範囲に基づいて確定検出範囲を設定し、確定検出範囲内で画像から人物の顔を検出する。
【選択図】図１

Description

この発明は広告効果測定装置に関し、より特定的には、撮像した画像から人物の顔検出を行う広告効果測定装置に関する。

この種の従来技術の一例が特許文献１において開示されている。特許文献１には、カメラによって広告媒体の周囲を撮像して生成された画像から人物の顔を検出し、当該広告媒体を見た人物の性別や年代等の属性を識別することについて記載されている。
特開２００８−１１２４０１号公報

通常、撮像範囲が固定されたカメラによって生成される画像には、人物の足だけが写る範囲や空または天井だけが写る範囲等、人物の顔が写らない範囲が生じる。このため、画像全体を検出対象にすると、人物の顔が写らない範囲も検出対象に含まれ効率が悪い。特許文献１には、人物の顔を効率よく検出するための具体的な手段については開示されていない。

それゆえに、この発明の主たる目的は、顔検出処理の効率を向上できる、広告効果測定装置を提供することである。

上述の目的を達成するために、請求項１に記載の広告効果測定装置は、広告媒体の効果を測定する広告効果測定装置であって、前記広告媒体の周囲を撮像して画像を生成する撮像手段と、前記画像全体から人物の顔を検出する第１顔検出手段と、前記画像から人物の顔を検出する検出範囲を前記第１顔検出手段の検出結果に基づいて設定する範囲設定手段と、前記範囲設定手段によって設定される前記検出範囲内で前記画像から人物の顔を検出する第２顔検出手段とを備える。

請求項２に記載の広告効果測定装置は、請求項１に記載の広告効果測定装置において、前記範囲設定手段は、複数の前記画像についての前記第１顔検出手段の検出結果に基づいて前記検出範囲を設定することを特徴とする。

請求項３に記載の広告効果測定装置は、請求項１に記載の広告効果測定装置において、前記範囲設定手段は、時間帯毎に、対応する時間帯に生成された前記画像についての前記第１顔検出手段の検出結果に基づいて前記検出範囲を設定することを特徴とする。

請求項４に記載の広告効果測定装置は、請求項１に記載の広告効果測定装置において、前記範囲設定手段は、前記検出範囲として、所定期間経過前は直前までの前記第１顔検出手段の検出結果に基づいて変動しうる変動検出範囲を設定し、前記所定期間経過後は前記所定期間経過までの前記第１顔検出手段の検出結果に基づいて確定される確定検出範囲を設定し、前記第２顔検出手段は、前記所定期間経過前は前記変動検出範囲内で前記画像から人物の顔を検出し、前記所定期間経過後は前記確定検出範囲内で前記画像から人物の顔を検出することを特徴とする。

請求項１に記載の広告効果測定装置では、画像全体からの人物の顔の検出結果に基づいて当該画像において人物の顔が写る範囲（写り込み範囲）を特定し、それに基づいて検出範囲を設定する。そして、当該検出範囲内で画像から人物の顔を検出する。このように検出範囲を設定して当該検出範囲内で画像から人物の顔を検出することによって、人物の顔が写らない範囲を検出対象から除外でき、顔検出処理の効率を向上できる。

請求項２に記載の広告効果測定装置では、複数の画像全体からの人物の顔の検出結果に基づいて複数の画像それぞれについて写り込み範囲を特定する。そして、複数の画像の写り込み範囲に基づいて複数の画像からそれぞれもれなく人物の顔を検出できる範囲を検出範囲として設定する。これによって、人物の顔の検出もれを抑えることができ、顔検出処理の効率を向上しつつ測定結果の信頼性を維持できる。

たとえば駅構内やショッピングモール等では深夜から早朝にかけては人通りが極端に減少するといったように、撮像手段が生成する画像において写り込み範囲は時間帯に応じて変化する可能性がある。請求項３に記載の広告効果測定装置では、時間帯毎に、対応する時間帯に生成された画像について写り込み範囲を特定し検出範囲を設定する。そして、時間帯毎に設定された検出範囲内で画像から人物の顔を検出する。このように、時間帯毎に設定した検出範囲を時間帯に応じて使い分けることによって、より的確に人物の顔が写らない範囲を検出対象から除外でき、顔検出処理の効率をより向上できる。

測定結果の信頼性を向上させるためには、画像全体からの人物の顔の検出結果をより多く取得し、それらに基づいて検出範囲を設定することが望ましい。請求項４に記載の広告効果測定装置では、たとえば、所定期間経過前は第１顔検出手段による顔検出と第２顔検出手段による顔検出とが交互に切り替えられる。所定期間経過前における第２顔検出手段の顔検出には、その直前までの第１顔検出手段の検出結果に基づいて変動しうる変動検出範囲が用いられる。そして、所定期間が経過すれば、第２顔検出手段は、所定期間経過までの第１顔検出手段の検出結果に基づいて確定される確定検出範囲を用いて画像から人物の顔を検出する。このように、所定期間が経過する前すなわち第１顔検出手段による検出結果を蓄積している状態であっても、第２顔検出手段が変動検出範囲内で画像から人物の顔を検出することによって、顔検出処理の効率を向上できる。

この発明によれば、顔検出処理の効率を向上できる。

以下、図面を参照してこの発明の実施の形態について説明する。
図１は、この発明の一実施形態の広告効果測定装置１０の電気的構成を示すブロック図である。図２は、広告効果測定装置１０のカメラ１２と広告媒体１００との位置関係を説明するための図解図である。

図１を参照して、広告効果測定装置１０は、カメラ１２と、画像キャプチャ装置１４と、コンピュータ１６と、記憶装置１８とを備える。図２をも参照して、広告効果測定装置１０は、たとえば広告媒体１００を見ている人物（歩行者）と見ていない人物とを性別や年代毎にカウントすることによって、広告媒体１００の広告効果を測定する。広告媒体１００は、動画もしくは静止画を表示するディスプレイまたは看板やポスター等であって、たとえば電車の駅構内やショッピングモール等に設置される。

図２に示すように、カメラ１２は、たとえば広告媒体１００の上側に固定され、広告媒体１００の前方を固定の撮像範囲で撮像して画像（動画）を生成する。すなわち、カメラ１２は広告媒体１００の前方を固定の撮像範囲で撮像して複数フレームの画像を順次生成する。カメラ１２は、常時アクティブに設定されている。このようなカメラ１２の撮像範囲は、所定数（通常は１人）の利用者を撮像するために自動販売機等に設けられるカメラの撮像範囲に比べて大幅に広い。このことから広告効果測定装置１０では、カメラ１２によって生成される画像の画素数が大きくなり、後述の顔検出処理における負荷が極めて大きくなる。

図１に示すように、カメラ１２は、画像キャプチャ装置１４に所定のフレームレート（たとえば１秒間に３０フレーム）で画像を入力する。画像キャプチャ装置１４は、カメラ１２からの画像をフレーム毎に抽出（取得）し、１秒間に所定数（たとえば３０フレーム分）の画像をコンピュータ１６に与える。コンピュータ１６には、カメラ１２によって生成された画像が画像キャプチャ装置１４を介して略タイムラグなく与えられる。

コンピュータ１６は、画像記憶部１８、第１顔検出部２０、第２顔検出部２２、顔情報記憶部２４、範囲設定部２６、アドレス記憶部２８、時間帯設定部３０、顔抽出部３２、視線・属性識別部３４および識別結果記憶部３６を含む。

画像記憶部１８は、画像キャプチャ装置１４からの画像を記憶（格納）する。第１顔検出部２０は、画像記憶部１８に格納される画像全体から人物の顔を検出する。第２顔検出部２２は、画像記憶部１８に格納される画像から範囲設定部２６によって設定される変動検出範囲または確定検出範囲内で人物の顔を検出する。顔情報記憶部２４は、第１顔検出部２０および第２顔検出部２２によって取得される顔情報を格納する。範囲設定部２６は、変動検出範囲、１時間毎の最大範囲および時間帯毎の確定検出範囲を後述のように設定する。アドレス記憶部２８は、範囲設定部２６によって設定される範囲に関する情報（アドレス）を格納する。時間帯設定部３０は、アドレス記憶部２８に格納される情報に基づいて後述のように時間帯を設定する。顔抽出部３２は、画像記憶部１８に格納される画像から顔情報記憶部２４に格納される顔情報に基づいて人物の顔を抽出する（切り出す）。視線・属性識別部３４は、顔抽出部３２によって抽出される人物の顔から当該人物の視線ならびに性別および年代等の属性を識別する。識別結果記憶部３６は、視線・属性識別部３４の識別結果を格納する。

この他にもコンピュータ１６は、図３〜図５および図９に示す動作を実行するためのプログラムを格納する図示しないプログラム記憶部、ならびに年月日および時刻を取得するための図示しないクロック等を含む。

この実施形態において、カメラ１２が撮像手段に相当し、第１顔検出部２０が第１顔検出手段に相当し、第２顔検出部２２が第２顔検出手段に相当し、範囲設定部２６が範囲設定手段に相当する。

なお、実際のコンピュータ１６は、ＣＰＵ、ＲＡＭ、ＲＯＭ、バッファメモリおよびＨＤＤ（ハードディスクドライブ：ハードディスクを含む）等を含んで構成される。記憶手段であるバッファメモリおよびＨＤＤ等が画像記憶部１８として機能する。また、記憶手段であるＲＡＭおよびＨＤＤ等が顔情報記憶部２４、アドレス記憶部２８および識別結果記憶部３６として機能する。

ついで、このような広告効果測定装置１０の動作の一例について説明する。
広告効果測定装置１０のコンピュータ１６は、画像キャプチャ装置１４から与えられる画像から図３および図４に示す顔検出処理によって人物の顔を検出し、画像から人物の顔を検出できれば図５に示す識別処理によって人物の顔から視線や属性を識別する。そして、その識別結果に基づいてどのような人物が広告媒体１００を見たのかを判定する。つまり、広告媒体１００の広告効果を判定する。

図３および図４を参照して、顔検出処理について説明する。
コンピュータ１６は、全体検出モード、変動範囲検出モードおよび確定範囲検出モードのいずれか１つの検出モードで画像から人物の顔を検出する。全体検出モードでは、画像キャプチャ装置１４からの画像全体（画像の全範囲）から人物の顔が検出される。変動範囲検出モードでは、後述のように設定される変動検出範囲内で画像から人物の顔が検出される。確定範囲検出モードでは、後述のように設定される確定検出範囲内で画像から人物の顔が検出される。顔検出処理の開始時には、検出モードが全体検出モードに設定されている。

図３に示すように、ステップＳ１で検出モードが全体検出モードであれば、コンピュータ１６は、開始から所定期間（たとえば１週間）が経過したか否かを判定する（ステップＳ３）。所定期間が経過していなければ、コンピュータ１６の第１顔検出部２０は、画像記憶部１８に格納された画像キャプチャ装置１４からの画像全体から人物の顔を検出する（ステップＳ５）。

ステップＳ５では、テンプレートマッチングによって人物の顔を検出する。テンプレートマッチングは、人物の顔の特徴のパターンであるパッチ（テンプレート）を画像上に配置し、パッチを移動させつつパッチとパッチが配置された部分とを照合（マッチング）することによってその部分に人物の顔が写っているか否かを判定するものである。図６を参照して、この実施形態では以下のようにしてパッチＰを移動させる。

図６（ａ）に示すように、まず画像の左下隅とパッチＰの左下隅とが一致するようにパッチＰを画像上に配置し、そこからマッチングが終わる度にパッチＰを所定距離ずつ右方向に移動させる。そして、図６（ｂ）に示すように、パッチＰが画像の右端に達すれば、パッチＰを所定距離だけ上方向に移動させ、今度はマッチングが終わる度にパッチＰを所定距離ずつ左方向に移動させる。そして、パッチＰが画像の左端に達すれば、再びパッチＰを所定距離だけ上方向に移動させ、マッチングが終わる度にパッチＰを所定距離ずつ右方向に移動させる。これをパッチＰが画像全体をスキャン（走査）するまで繰り返す。１つのパッチＰによる画像のスキャンが終われば、異なるサイズのパッチＰによって当該画像をスキャンする。

この実施形態では、最初のスキャンにおけるパッチが画像に配置できる最大の正方形に設定される。そして、２回目以降のスキャンにおけるパッチの縦サイズおよび横サイズはそれぞれ、前回のスキャンにおけるパッチの縦サイズおよび横サイズの０．８倍に設定される。このように０．８倍することによってパッチの縦サイズおよび横サイズに小数点以下の値が生じる場合は、当該小数点以下の値を切り上げてパッチの縦および横サイズが整数になるように調整される。具体的には、画像キャプチャ装置１４からの画像のサイズは、たとえば縦７６８ピクセル×横１０２４ピクセルである。したがって、１回目のスキャンにおけるパッチのサイズは縦７６８ピクセル×横７６８ピクセルに設定され、２回目のスキャンにおけるパッチのサイズは縦６１５ピクセル×横６１５ピクセルに設定される。１フレーム分の画像についてのスキャンは、パッチのサイズが縦２０ピクセル×横２０ピクセル未満になるまで繰り返される。

また、この実施形態では、パッチの上方向の移動距離がパッチの縦サイズの０．１５倍に設定され、パッチの横方向の移動距離がパッチの横サイズの０．４５倍に設定される。パッチのサイズと同様に、上方向および横方向の移動距離に小数点以下の値が生じる場合は、当該小数点以下の値を切り上げて移動距離が整数になるように調整される。

テンプレートマッチングによって画像に写る人物の顔を検出できれば、第１顔検出部２０は、人物の顔を検出できたときのパッチの位置やサイズ等の情報を、当該画像とともに当該画像に関連付けて顔情報として顔情報記憶部２４に格納する。すなわち、コンピュータ１６は、画像上における人物の顔の位置や大きさ等の顔情報を取得する。

第１顔検出部２０は、１秒間に入力される所定数（ここでは３０フレーム分）の画像それぞれについて、このようなテンプレートマッチングを行う（ステップＳ７）。そして、所定数の全ての画像についてテンプレートマッチングが終了すればステップＳ９に進む。ステップＳ９では、顔情報が関連付けられた画像すなわち顔を検出できた画像があるか否かがコンピュータ１６によって判定される。顔を検出できた画像があれば、コンピュータ１６の範囲設定部２６は、最小左端アドレス、最大右端アドレス、最小下端アドレスおよび最大上端アドレスを取得する（ステップＳ１１）。

ステップＳ１１では、以下のようにして、最小左端アドレス、最大右端アドレス、最小下端アドレスおよび最大上端アドレスが取得される。

まず、範囲設定部２６は、顔情報記憶部２４に格納された顔情報に基づいて、顔を検出できた全ての画像について人物の顔が写る範囲（以下、写り込み範囲という）を特定する。詳しくは図７を参照して、範囲設定部２６は、顔を検出できた画像において、左端に写る顔Ｆ１の位置およびサイズに基づいて写り込み範囲の左端アドレスを取得し、右端に写る顔Ｆ２の位置およびサイズに基づいて写り込み範囲の右端アドレスを取得し、下端に写る顔Ｆ３の位置およびサイズに基づいて写り込み範囲の下端アドレスを取得し、上端に写る顔Ｆ４の位置およびサイズに基づいて写り込み範囲の上端アドレスを取得する。このように、左端アドレス、右端アドレス、下端アドレスおよび上端アドレスを取得することによって、画像上の写り込み範囲を特定できる。

左端アドレスおよび右端アドレスは、画像の左下隅を原点として右方向に何番目のピクセルであるのかを示す数値である。また、下端アドレスおよび上端アドレスは、画像の左下隅を原点として上方向に何番目のピクセルであるのかを示す数値である。画像のサイズは上述のように縦７６８ピクセル×横１０２４ピクセルであるので、たとえば画像中央の縦６００ピクセル×横８００ピクセルの範囲を写り込み範囲とすると、左端アドレスは１１２、右端アドレスは９１１、下端アドレスは８４、上端アドレスは６８３になる。図７には、左端アドレスにあるピクセルの左端から上下に延ばした破線に符号Ｘ１が付され、右端アドレスにあるピクセルの右端から上下に延ばした破線に符号Ｘ２が付され、下端アドレスにあるピクセルの下端から左右に延ばした破線に符号Ｙ１が付され、上端アドレスにあるピクセルの上端から左右に延ばした破線に符号Ｙ２が付されている。符号Ｘ１，Ｘ２，Ｙ１およびＹ２に囲まれる範囲が写り込み範囲である。なお、画像に写る顔が１つの場合は、当該顔の位置およびサイズが写り込み範囲になることはいうまでもない。

顔を検出できた全ての画像について左端アドレス、右端アドレス、下端アドレスおよび上端アドレスを取得すれば、範囲設定部２６は、それらから最小左端アドレス、最大右端アドレス、最小下端アドレスおよび最大上端アドレスを取得（選択）する。なお、所定数（ここでは３０フレーム分）の画像のうち顔を検出できた画像が１フレーム分のみである場合、当該画像における写り込み範囲の左端アドレス、右端アドレス、下端アドレスおよび上端アドレスが、最小左端アドレス、最大右端アドレス、最小下端アドレスおよび最大上端アドレスとして取得されることはいうまでもない。

ステップＳ１１の後、変動範囲検出モードで用いる変動検出範囲のアドレスがアドレス記憶部２８に格納されているか否かが確認される。すなわち、変動検出範囲が設定されているか否かが確認される（ステップＳ１３）。変動検出範囲が設定されていなければ、範囲設定部２６は、ステップＳ１１で取得した最小左端アドレス、最大右端アドレス、最小下端アドレスおよび最大上端アドレスを変動検出範囲の左右上下のアドレスとしてアドレス記憶部２８に格納する。これによって変動検出範囲が設定される（ステップＳ１５）。その後、ステップＳ１７に進む。

一方、２回目以降の全体検出モードであって変動検出範囲が既に設定されていれば、範囲設定部２６は、ステップＳ１１で取得した最小左端アドレスと、変動検出範囲の左端アドレスとを比較する。ステップＳ１１で取得した最大右端アドレス、最小下端アドレスおよび最大上端アドレスについても同様に、変動検出範囲の右端アドレス、下端アドレスおよび上端アドレスと比較する。そして、範囲設定部２６は、これらの比較結果に基づいて変動検出範囲を更新する必要があるか否かを判定する（ステップＳ１９）。

ステップＳ１９では、最小左端アドレスが変動検出範囲の左端アドレスよりも小さければ変動検出範囲を更新する必要があると判定される。最小下端アドレスが変動検出範囲の下端アドレスよりも小さい場合も同様である。また、ステップＳ１９では、最大右端アドレスが変動検出範囲の右端アドレスよりも大きければ変動検出範囲を更新する必要があると判定される。最大上端アドレスが変動検出範囲の上端アドレスよりも大きい場合も同様である。変動検出範囲を更新する必要があると判定すれば、ステップＳ２１に進む。

ステップＳ２１において、範囲設定部２６は、最小左端アドレスが変動検出範囲の左端アドレスよりも小さければ、当該最小左端アドレスを変動検出範囲の新たな左端アドレスに設定する。最小下端アドレスについても同様である。また、範囲設定部２６は、最大右端アドレスが変動検出範囲の右端アドレスよりも大きければ、当該最大右端アドレスを変動検出範囲の新たな右端アドレスに設定する。最大上端アドレスについても同様である。すなわち、範囲設定部２６は、ステップＳ１１で取得した各アドレスに変動検出範囲を広げるアドレスがあればそれを採用して変動検出範囲を更新する。これによって、直前までのステップＳ５においてテンプレートマッチングを行った複数の画像からもれなく人物の顔を検出できる範囲に変動検出範囲が更新される。その後、ステップＳ１７に進む。

一方、変動検出範囲を更新する必要がなければ、ステップＳ２１を経ることなく、ステップＳ１７に進む。すなわち、ステップＳ１１で取得した各アドレスに変動検出範囲を広げるアドレスがなければ、変動検出範囲を更新することなくステップＳ１７に進む。

ステップＳ１７では、今回のステップＳ１１と前回のステップＳ１１とが同一日時か否かが判定される。なお、この実施形態において「日時」とは、日付と時刻における時（じ）の単位とを合わせたものを意味する。

同一日時でなければ、範囲設定部２６は、今回のステップＳ１１で取得した最小左端アドレス、最大右端アドレス、最小下端アドレスおよび最大上端アドレスを、アドレス記憶部２８に格納されている記録テーブルに現在の日時における最大範囲の左右上下のアドレスとして記録し（ステップＳ２３）、ステップＳ２５に進む。今回のステップＳ１１が１回目のステップＳ１１であれば比較すべき日時がないのでステップＳ２３を経てステップＳ２５に進む。ここで、表１に記録テーブルの一例を示す。

表１を参照して、記録テーブルは所定期間（ここでは１週間）を日時で区切ったものであって、記録テーブルには日時毎に最大範囲の左端アドレス、右端アドレス、下端アドレスおよび上端アドレス）が記録される。表１には、顔検出処理の開始が１日（月曜日）の午前９時であって、１日（月曜日）の午前９時から８日（月曜日）の午前８時までの最大範囲の各アドレスを記録する記録テーブルが示されている。

一方、今回のステップＳ１１と前回のステップＳ１１とが同一日時であれば、範囲設定部２６は、今回のステップＳ１１で取得した最小左端アドレスと、記録テーブルの現在の日時における最大範囲の左端アドレスとを比較する。今回のステップＳ１１で取得した最大右端アドレス、最小下端アドレスおよび最大上端アドレスについても同様に、記録テーブルの現在の日時における最大範囲の右端アドレス、下端アドレスおよび上端アドレスと比較する。そして、これらの比較結果に基づいて最大範囲を更新する必要があるか否かを判定する（ステップＳ２７）。

ステップＳ２７では、今回の最小左端アドレスが最大範囲の左端アドレスよりも小さければ最大範囲を更新する必要があると判定される。今回の最小下端アドレスが最大範囲の下端アドレスよりも小さい場合も同様である。また、ステップＳ２７では、今回の最大右端アドレスが最大範囲の右端アドレスよりも大きければ最大範囲を更新する必要があると判定される。今回の最大上端アドレスが最大範囲の上端アドレスよりも大きい場合も同様である。最大範囲を更新する必要があると判定すれば、ステップＳ２９に進む。

ステップＳ２９において、範囲設定部２６は、今回の最小左端アドレスが最大範囲の左端アドレスよりも小さければ、今回の最小左端アドレスを最大範囲の新たな左端アドレスに設定する。今回の最小下端アドレスについても同様である。また、範囲設定部２６は、今回の最大右端アドレスが最大範囲の右端アドレスよりも大きければ、今回の最大右端アドレスを最大範囲の新たな右端アドレスに設定する。今回の最大上端アドレスについても同様である。すなわち、ステップＳ１１で取得した各アドレスに最大範囲を広げるアドレスがあればそれを採用して最大範囲を更新する。その後、ステップＳ２５に進む。

一方、最大範囲を更新する必要がなければ、ステップＳ２９を経ることなく、ステップＳ２５に進む。すなわち、ステップＳ１１で取得した各アドレスに最大範囲を広げるアドレスがなければ、最大範囲を更新することなくステップＳ２５に進む。

ステップＳ２５では検出モードが全体検出モードから変動範囲検出モードに切り替えられ、ステップＳ２５の後にステップＳ１に戻る。また、ステップＳ９で顔を検出できた画像がなければステップＳ３１に進み、変動検出範囲が設定されているか否かが判定される。変動検出範囲が設定されていなければステップＳ１に戻り、一方、変動検出範囲が設定されていればステップＳ２５を経てステップＳ１に戻る。すなわち、変動検出範囲が設定されていなければ変動検出範囲が設定されるまで全体検出モードを繰り返し、変動検出範囲が設定されていれば検出モードが変動範囲検出モードに切り替えられる。ステップＳ２５で検出モードが変動範囲検出モードに切り替えられることによって、ステップＳ１からステップＳ３３（図４参照）に進む。

図４に示すように、ステップＳ３３で確定範囲検出モードでなければ、コンピュータ１６の第２顔検出部２２は、設定されている変動検出範囲内でステップＳ５と同様にテンプレートマッチングによって画像から人物の顔を検出する（ステップＳ３５）。そして、１秒間に入力される所定数（ここでは３０フレーム分）の画像についてテンプレートマッチングが行われ（ステップＳ３７）、所定数の全ての画像について変動検出範囲内でのテンプレートマッチングが終了すれば、検出モードが変動範囲検出モードから全体検出モードに切り替えられる（ステップＳ３９）。図３に戻って、その後、ステップＳ１に戻る。

すなわち、図８（ａ）〜図８（ｆ）に示すように、コンピュータ１６は、一旦変動検出範囲を設定すれば、所定期間（ここでは１週間）が経過するまでは全体検出モードと変動範囲検出モードとを交互に切り替えて画像から人物の顔を検出する。そして、ステップＳ３で所定期間が経過すれば、コンピュータ１６の時間帯設定部３０は、アドレス記憶部２８の記録テーブルに記録された最大範囲のアドレスを用いて所定の時間帯を設定する（ステップＳ４１）。

ここで、図９を参照して、ステップＳ４１の時間帯設定処理について説明する。
まず、時間帯設定部３０は、アドレス記憶部２８の記録テーブルに記録された日時毎の各アドレスを用いて、日時毎の最大範囲のサイズ（縦サイズ×横サイズで求められる画素数）をそれぞれ算出する（ステップＳ１０１）。そして、コンピュータ１６は、午前０時台から午後１１時台までのそれぞれについて、所定期間（ここでは１週間）分の最大範囲の画素数を合計する。すなわち、時（時刻）毎の合計画素数が算出される（ステップＳ１０３）。このようにして得られる時毎の合計画素数のグラフを図１０に示す。

図１０をも参照して、時間帯設定部３０は、連続する（隣り合う）２つの時間台においてそれらの合計画素数の変化量が所定値（たとえば１１０万ピクセル）以上になる箇所を検出する。そして、コンピュータ１６は、合計画素数の変化量が所定値以上になる２つの時間台の境となる時点を区切り時点として取得し（ステップＳ１０５）、２つの区切り時点間を所定の時間帯に設定し（ステップＳ１０７）、時間帯設定処理を終了する。

たとえば図１０の場合では、午前９時台の合計画素数と午前１０時台の合計画素数との差、午後６時台の合計画素数と午後７時台の合計画素数との差、および午後１０時台の合計画素数と午後１１時台の合計画素数との差が１１０万ピクセル以上になる。したがって、図１０の場合では、午前１０時、午後７時および午後１１が区切り時点に設定され、午前１０時から午後６時までが第１時間帯、午後７時から午後１０時までが第２時間帯、午後１１から午前９時までが第３時間帯に設定される。上述の所定値は、縦７６８ピクセル×横１０２４ピクセル×２０％×７日という計算によって算出されたものである。このような所定値を用いることによって、画像キャプチャ装置１４からの画像の画素数（縦７６８ピクセル×横１０２４ピクセル）に対して、７日間（１週間）の変化率が所定変化率（ここでは２０％）を超えているか否かを確認できる。

図３に戻って、ステップＳ４１の後、範囲設定部２６は時間帯設定部３０によって設定された時間帯毎に、確定検出範囲を設定する（ステップＳ４３）。

ステップＳ４３では、以下のようにして確定検出範囲が設定される。
範囲設定部２６は、ステップＳ４１で設定された時間帯毎に、アドレス記憶部２８の記録テーブルから対応する時（時刻）の左端アドレス、右端アドレス、下端アドレスおよび上端アドレスを取得する。そして、時間帯毎に、これらから最小の左端アドレスおよび下端アドレスと、最大の右端アドレスおよび上端アドレスとを取得し、確定検出範囲の左右上下のアドレスとしてアドレス記憶部２８に格納する。これによって、ステップＳ４１で設定された時間帯毎に確定検出範囲が設定される。

具体的に図１０の場合、たとえば第１時間帯の確定検出範囲は、記録テーブルから１日〜７日の午前１０時台〜午後６時台の各アドレスを取得し、これらから最小の左端アドレスおよび下端アドレスと、最大の右端アドレスおよび上端アドレスとを取得することによって設定される。このように時間帯毎に確定検出範囲を設定することによって、対応する時間帯にステップＳ５においてテンプレートマッチングを行った複数の画像からもれなく人物の顔を検出できる確定検出範囲が得られる。

ステップＳ４３の後、検出モードが確定範囲検出モードに切り替えられ（ステップＳ４５）、ステップＳ１およびステップＳ３３を経てステップＳ４７に進む（図４参照）。ステップＳ４７では、第２顔検出部２２が、現在の時刻に対応する確定検出範囲を選択して、テンプレートマッチングによって当該確定検出範囲内で画像から人物の顔を検出する。ステップＳ４７に進んだ後にはステップＳ４７が繰り返される。すなわち、図８（ｇ）および図８（ｈ）に示すように、コンピュータ１６は、所定期間が経過すれば時間帯毎の確定検出範囲を設定して確定範囲検出モードに切り替え、以降は確定範囲検出モードを継続する。

なお、ステップＳ４１において、変化量が所定値以上になる箇所がない場合または変化量が所定値以上になる箇所が１つしかない場合（区切り時点を１つしか設定できない場合）は、ステップＳ４３において、ステップＳ４１に移る直前の変動検出範囲を確定検出範囲として設定すればよい。

また、ステップＳ１１において、取得した最小左端アドレスおよび最小下端アドレスから所定のピクセル数を減算するとともに、取得した最大右端アドレスおよび最大上端アドレスに所定のピクセル数を加算してもよい。これによって、画像上で実際に顔が写った範囲に対して若干のマージンを有する変動検出範囲および確定検出範囲を設定できる。

ついで、図５に示す識別処理について説明する。
図５に示すように、ステップＳ２０１で顔情報を取得するまで待機し、顔情報を取得すれば、コンピュータ１６の顔抽出部３２は、顔情報に関連付けられた画像から顔情報に基づいて人物の顔を抽出する（切り出す）。そして、このようにして切り出された人物の顔から、コンピュータ１６の視線・属性識別部３４が、当該人物の視線を識別し（ステップＳ２０３）、当該人物の性別および年代等の属性を識別する（ステップＳ２０５）。ステップＳ２０３では、たとえば人物の顔の目の位置に基づいて人物の視線を識別する。これによって、画像に写った人物が広告媒体１００を見ているか否かを把握できる。また、ステップＳ２０５では、たとえば当該人物の顔とテンプレート画像との比較結果に基づいて当該人物の属性を識別する。

その後、視線および属性の識別結果をコンピュータ１６の識別結果記憶部３６に格納し（ステップＳ２０７）、ステップＳ２０１に戻って同様の処理を繰り返す。このようにして得られた視線および属性の識別結果は所定のタイミングで集計され、たとえば何年何月何日（何曜日）の何時にどのような属性の人物が広告媒体１００を見ていたのかといった情報を得るために用いられる。

このような広告効果測定装置１０によれば、変動検出範囲および確定検出範囲を設定していずれかの検出範囲内で画像から人物の顔を検出することによって、人物の顔が写らない範囲を検出対象から除外でき、顔検出処理の効率を向上できる。

複数の画像それぞれについて写り込み範囲を特定し、それらに基づいて複数の画像からそれぞれもれなく人物の顔を検出できる範囲を変動検出範囲および確定検出範囲として設定することによって、人物の顔の検出もれを抑えることができる。したがって、顔検出処理の効率を向上しつつ測定結果の信頼性を維持できる。

確定範囲検出モードにおいて時間帯に応じて確定検出範囲を使い分けることによって、より的確に人物の顔が写らない範囲を検出対象から除外でき、顔検出処理の効率をより向上できる。

所定期間（ここでは１週間）が経過する前であっても、全体検出モードと変動範囲検出モードとを交互に切り替えることによって、変動範囲検出モードにおいて変動検出範囲内で画像から人物の顔を検出することができ、顔検出処理の効率を向上できる。すなわち確定検出範囲を設定するためのデータ（最大範囲のアドレス）を記録テーブルに蓄積している状態であっても、変動検出範囲内で画像から人物の顔を検出することができ、顔検出処理の効率を向上できる。

時間帯設定手段としても機能するコンピュータ１６が、所定期間（ここでは１週間）における所定時間（ここでは１時間）毎の最大範囲の画素数を合計（集計）し、時間帯を設定する。これによって、実際の状況に応じて人通りの多い時間帯や人通りの少ない時間帯を把握でき、時間帯毎の確定検出範囲を適切に設定できる。

ここで、全体体検出モードおよび変動範囲検出モードにおける１フレーム分の画像についてのマッチング回数について、具体例を挙げて説明する。全体検出モードにおけるマッチング回数と、変動範囲検出モードにおけるマッチング回数とを表２に示す。全体検出モードおよび変動範囲検出モードのいずれにおいても上述のようにパッチサイズおよびパッチの移動距離を設定した。また、変動範囲検出モードにおける変動検出範囲は縦４４０ピクセル×横１０１５ピクセルであった。

表２を参照して、全体検出モードではマッチング回数の合計が３６６２８３回になったのに対し、変動範囲検出モードではマッチング回数の合計が１５９１５５回になった。このように変動範囲検出モードでは変動検出範囲内でテンプレートマッチングすることによって、マッチング回数を減らすことができ、顔検出処理の効率を向上できることがわかる。なお、確定範囲検出モードであっても変動範囲検出モードと同様に顔検出処理の効率を向上できることはいうまでもない。

なお、上述の実施形態では、記録テーブルのデータ（最大範囲のアドレス）に基づいて時間帯を設定する場合について説明したが、これに限定されない。時間帯は、たとえば交通量調査等によって得られた統計に基づいて予め設定されていてもよい。

上述の実施形態では、記録テーブルのデータに基づいて時間帯毎の確定検出範囲を設定する場合について説明したが、これに限定されない。たとえば、記録テーブルのデータに基づいて曜日毎に確定検出範囲を設定するようにしてもよい。また、記録テーブルのデータに基づいて、曜日毎に時間帯を設定し、曜日毎の時間帯について確定検出範囲を設定するようにしてもよい。さらに、所定期間（上述の実施形態では１週間）全体検出モードと変動範囲検出モードとを交互に行うことによって得られた変動検出範囲を所定期間経過後に確定検出範囲に設定するようにしてもよい。

上述の実施形態では、複数の画像からの人物の顔の検出結果に基づいて検出範囲を設定する場合について説明したが、これに限定されない。たとえば任意の１フレーム分の画像の写り込み範囲に基づいて検出範囲を設定するようにしてもよい。

上述の実施形態ではテンプレートマッチングによって人物の顔を検出する場合について説明したが、これに限定されない。たとえば統計的識別手法等によって人物の顔を検出するようにしてもよい。この発明によれば、画像の画素数が大きくなるほど負荷が大きくなるいずれの顔検出処理においても効率を向上できる。

撮像手段と広告媒体との位置関係は上述の実施形態に限定されない。撮像手段は、人物が広告媒体を見ているか否かを識別できる画像を生成できれば任意に配置できる。たとえば撮像手段を、広告媒体の横側に配置してもよいし、広告媒体の下側に配置してもよい。

この発明の一実施形態の広告効果測定装置の電気的構成を示すブロック図である。 広告媒体とカメラとの位置関係を説明するための図解図である。 この発明の顔検出処理の一例を示すフロー図である。 図３の続きを示すフロー図である。 この発明の識別処理の一例を示すフロー図である。 テンプレートマッチングにおけるパッチの移動態様を説明するための図解図である。 画像における写り込み範囲を説明するための図解図である。 全体検出モード、変動範囲検出モードおよび確定範囲検出モードにおける顔検出態様を説明するための図解図である。 この発明の時間帯設定処理の一例を示すフロー図である。 時毎の合計画素数を示すグラフである。

符号の説明

１０ 広告効果測定装置
１２ カメラ
１４ 画像キャプチャ装置
１６ コンピュータ
２０ 第１顔検出部
２２ 第２顔検出部
２６ 範囲設定部
１００ 広告媒体

Claims (4)

1. 広告媒体の効果を測定する広告効果測定装置であって、
   前記広告媒体の周囲を撮像して画像を生成する撮像手段と、
   前記画像全体から人物の顔を検出する第１顔検出手段と、
   前記画像から人物の顔を検出する検出範囲を前記第１顔検出手段の検出結果に基づいて設定する範囲設定手段と、
   前記範囲設定手段によって設定される前記検出範囲内で前記画像から人物の顔を検出する第２顔検出手段とを備える、広告効果測定装置。
2. 前記範囲設定手段は、複数の前記画像についての前記第１顔検出手段の検出結果に基づいて前記検出範囲を設定する、請求項１に記載の広告効果測定装置。
3. 前記範囲設定手段は、時間帯毎に、対応する時間帯に生成された前記画像についての前記第１顔検出手段の検出結果に基づいて前記検出範囲を設定する、請求項１に記載の広告効果測定装置。
4. 前記範囲設定手段は、前記検出範囲として、所定期間経過前は直前までの前記第１顔検出手段の検出結果に基づいて変動しうる変動検出範囲を設定し、前記所定期間経過後は前記所定期間経過までの前記第１顔検出手段の検出結果に基づいて確定される確定検出範囲を設定し、
   前記第２顔検出手段は、前記所定期間経過前は前記変動検出範囲内で前記画像から人物の顔を検出し、前記所定期間経過後は前記確定検出範囲内で前記画像から人物の顔を検出する、請求項１に記載の広告効果測定装置。

Images