JP2005267611A - 表示装置 - Google Patents

Abstract

【課題】広告画像を見ている人毎に最適な広告画像が表示できる表示装置を得ること。
【解決手段】表示装置は、２つ以上の画像を表示する表示器と、表示器を見るユーザの位置に向けられたカメラと、少なくとも２つの顔カテゴリに基づいて、カメラによって捕捉された画像内の人間の顔を検出する顔検出器と、１つ以上の異なる期間について、顔検出器による顔カテゴリの検出の頻度に応じて、この期間に表示器に表示すべき画像の組を選択する選択器とを備える。
【選択図】 図１

Description

本発明は、表示装置に関する。

店舗やこの他の公共の場所で、広告マテリアル等を表示するために電子表示装置が広く用いられている。このような装置は、「電子看板（digital signage：デジタルサイネージ）」等とも呼ばれる。

一般的な装置では、テレビジョンモニタと、ビデオプレーヤ（例えば、ＶＨＳカセットテーププレーヤ）とによって、テレビジョンモニタの近くに陳列されている商品について、買い物客の購入意欲を高めるマテリアルを再生する。例えば、ソニー（商標）ＮＳＰ１００（商標）デジタル再生装置等の高度な装置も提案されている。この装置は、ネットワークに接続可能な再生装置（playout device）であり、デジタルネットワークを介してビデオ（オプションとしてオーディオ）マテリアルと再生スケジュール（playout schedule）とを受信し、この再生スケジュールに基づいて、ビデオ及びオーディオマテリアルを表示装置に再生する。

これらの装置により、例えば、ユーザがカセットテープを選択したり、所望のマテリアルをＮＳＰ１００再生装置にロードしたりすることによって、ユーザは、マテリアルの再生をある程度制御できるが、現在広告を見ている人毎に最適となるようにマテリアルを表示することは容易ではない。

国際特許公開公報ＷＯ０１／４５００４号及び米国特許第５９６６６９６号には、広告を見ている人の検出に基づいて、マテリアルの再生を変更する電子看板（デジタルサイネージ）装置が開示されている。米国特許第５９６６６９６号では、近傍検出器（proximity detectors）を用いて、表示画面を見ている人を検出し、これにより、表示画面をアイドルモードからアクティブモードに切り換えている。国際特許公開公報ＷＯ０１／４５００４号には、表示画面の前にいる人のある特性を検出し、その表示画面に再生するマテリアルを制御する技術が開示されている。

本発明に係る表示装置は、２つ以上の画像を表示する表示器と、表示器を見るユーザの位置に向けられたカメラと、少なくとも２つの顔カテゴリに基づいて、カメラによって捕捉された画像内の人間の顔を検出する顔検出器と、１つ以上の異なる期間について、顔検出器による顔カテゴリの検出の頻度に応じて、この期間に表示器に表示すべき画像の組を選択する選択器とを備える。

本発明は、検出された個々の顔に対応するのではなく、異なる期間（例えば、１日のうちの複数の時間帯）において収集された統計情報に基づいて、画像（例えば、広告コンテンツ）を表示することによって、既に提案されている電子看板（デジタルサイネージ）装置を改良する手法を提供する。これにより、表示装置において、有効なマテリアルを再生することができる。

本発明のこの他の側面及び特徴は、添付の特許請求の範囲において定義されている。

図１は、本発明に基づく表示装置（display arrangement）の構成を示すブロック図である。この表示装置は、販売のために陳列されている商品と共に、店（店舗）の棚の上の所定の位置に取り付けられている。表示装置１００は、カメラ１１０と、グラフィックスカード１２０と、プラズマディスプレイ画面（もちろん、他の種類の表示装置を用いてもよい）２３０と、オーディオ発生器１４０と、顔検出／認識モジュール１５０と、統計解析モジュール１６０と、ネットワークインタフェース１７０と、コミュニケーションバス１８０と、データストレージ装置１９０と、ローカルメモリ１９２と、プロセッサ１９４とを備える。この表示装置１００は、通信ネットワーク１９６を介して、このような装置のネットワークに接続される。制御コンピュータ６００は、通信ネットワーク１９６を介して表示装置１００と通信する。

以下の説明における各機能は、ソフトウェア制御に基づいて完全に又は部分的に動作するものであってもよい。このようなソフトウェアは、記録媒体（例えば、光ディスク媒体）、ネットワーク又はインターネット接続、又はこの他の提供媒体を介して供給される。

カメラ１１０は、プラズマディスプレイ画面１３０の取付台に一体化され、表示画面を見ている人間の顔の画像を捕捉するために用いられる。捕捉されたビデオ画像は、人間の顔を検出し、及び顔認識評価（facial recognition analyses）を行うために解析される。カメラ１１０は、販売されている製品又は利用可能なサービスの広告画像を含む宣伝用のプレゼンテーションから顧客の注意を逸らさないように、及び表示されたマテリアルに対する顧客の自然な反応を妨げないように、例えばプラズマディスプレイ画面１３０の筐体内に目立たないように取り付けられている。

プラズマディスプレイ画面１３０は、グラフィックスカード１２０によって駆動され、データストレージ装置１９０に保存されている選択可能な販売促進用の表示シーケンスから選択された表示情報を表示する。プロセッサ１９４は、ソニー（商標）ＮＳＰ１００（商標）プロセッサであり（又はこれに基づいて動作し）、通信ネットワーク１９６を介した表示シーケンスのダウンロードを制御する。基本的なＮＳＰ１００プロセッサは、通常、「プッシュ」モードで動作し、すなわちサーバからプッシュされたコンテンツを受信し、このコンテンツを表示する。ここで、プロセッサ１９４は、「プル」モードで動作することもでき、このモードでは、プロセッサ１９４は、例えば、画面を見ている人の特徴に応じて、表示すべき適切なコンテンツを要求し又はダウンロードする。

制御コンピュータ６００は、ローカル表示装置を構成することができ、この特別な表示装置により、特定のプラズマディスプレイ画面１３０で利用可能な表示シーケンスの選択可能な範囲を決定する。

グラフィックスカード１２０は、保存されたＭＰＥＧフォーマットの表示マテリアルをプラズマディスプレイ画面１３０に表示させるＭＰＥＧ（又はＮＳＰ１００で用いられている専用のフォーマット）復号ユニットを備える。

オーディオ発生器１４０は、グラフィックスカード１２０と協働し、販売促進用表示シーケンスのための音響効果を生成する。音響効果は、各用途の要求に応じて、ＭＰＥＧビデオシーケンスによって再生してもよく、独自に再生してもよい。

顔検出／認識モジュール１５０は、カメラ１１０（及び関連する表示画面）の前の所定の空間的範囲内に現れる人間の顔の存在を識別する顔検出ソフトウェアと、顔認識ソフトウェアとを備える。顔認識ソフトウェアは、同じカメラ又は他のカメラ位置において以前に検出された個々の顔又は検出された顔のデータベース内に保存されている個々の顔を認識する。顔検出アルゴリズムは、人間の顔である可能性がある形状の視野を解析し、検出されたオブジェクトの特徴と、メモリに保存されているテンプレートの顔の特徴との一致を検出する。また、顔のようなオブジェクトが実際に人間の顔に対応するか否かを判定するために、瞬きや口の動きのような顔の運動を用いることもできる。

１組の特徴顔パラメータ（characteristic facial parameters）は、画素の色の黒レベル（darkness level）を分析することによって算出される。目、眉、頬骨、鼻のような顔の特徴は、隣接する画像領域に亘る黒レベルの急激な変化を検出することによって特定できる。肌の色合いと髪の色の検出には、画素の色ヒストグラムを用いることができる。検出された顔上には、顔の骨格を表現するための複数のアンカポイント（anchor points）を定義することができる。アンカポイントは、黒レベルの変化に基づいて判定される。アンカポイントは、例えば、口の端、眉線上の点、頬骨、及び鼻柱と鼻の頭に対応する点を含む。各アンカポイントを結ぶことによって、三角形の網が形成され、各三角形の角度は、顔パラメータの特徴の組として用いられ、これに基づいて、検出された同様の顔を照合し、したがって顔認識評価を行うことができる。

変形例として、顔を認識する所謂固有顔法を用いることもできる。固有顔法では、局所的な顔の特徴ではなく、顔全体が調べられる。ここでは、まず、検出された顔のデータベースを分析し、合成顔（composite face）を定義し、新たに検出された各顔の全体を合成顔と比較する。そして、検出された顔と合成顔との間の差異を示す数値をその顔の固有のパラメータデータとして用いる。

なお、多くの自動化された顔検出、認識、相関及び／又は特徴付け方式において、顔の検出、相関又は認識は、顔が存在する又はある顔が他の顔と同じである可能性の検出に関連する統計的な処理に基づいている。この可能性は、閾値確率と比較でき、これにより、一見明確な「ＹＥＳ／ＮＯ」の結論が導き出されるが、この結論の基礎となるのは、上述のような統計的処理である。この説明において実行される顔処理の性質は、このような統計的性質を有するものであり、したがって、あるパラメータ（例えば、表情カテゴリ）の検出への参照情報は、最も可能性が高いカテゴリ、閾値確率を超えているカテゴリ、又はこれに類するカテゴリの検出に関連することは、当業者にとって明らかである。

統計解析モジュール１６０は、カメラ１１０によってローカルで検出された個々の顔の数、性別データ、年齢カテゴリデータ、プラズマディスプレイ画面１３０の前の所定の空間的範囲内に各検出された顔が存在した時間（すなわち、インショット時間（in-shot time））を含む人間の顔に関する累積的な統計情報を維持する。顔検出／認識モジュール１５０は、各人の顔のインショット時間と滞在時間（dwell time）の両方を検出することができる。滞在時間とは、検出された人間の顔がプラズマディスプレイ画面１３０を直接見ていた（すなわち、プラズマディスプレイ画面１３０の方を向いていた）時間を表す。また、累積的な滞在時間を記録してもよい。累積的な滞在時間とは、所定の期間内に検出された全ての顔又は検出された所定のカテゴリの顔（例えば、男性の顔又は子供の顔）が特定のカメラに関連している表示画面に向けられた状態で滞在していた時間の合計を表す。これに代えて、所定の顔ＩＤ又は所定の顔カテゴリに関して、ネットワークの別の場所における複数の異なる表示画面／カメラの前の総滞在時間を表す累積的な滞在時間を算出してもよい。ローカルメモリ１９２は、制御コンピュータ６００による包括的な統計的解析のためのデータをダウンロードする前に、限られた量のローカルな統計情報に対するローカルデータ処理及びストレージを行うために用いることができる。

なお、プラズマディスプレイ画面以外の表示技術を用いてもよい。また、店舗内ネットワーク（store-wide network）のコンテキストにおいては、当業者は、表示端末装置において、どの演算処理を行うか、及び１又は複数の中央サーバにおいて、どの演算処理を行うかを選択できる。実際、処理の性質によっては、表示端末装置と中央サーバの両方で実行できる処理もある。例えば、どのコンテンツを表示すべきかを決定するための幾つかの統計的な処理は、端末装置において、速やかにローカルで実行することが望ましい。同じ情報に関するより詳細な分析、例えば、画面内のマーケティング広告スペースにどのようなデータを含ませるかといった分析は、サーバで行ってもよい。

特定の位置において、カメラ及び関連する顔検出器によって捕捉された情報を表示するグラフィカルユーザインタフェース（ＧＵＩ）を図２に示す。ＧＵＩ２００は、最近検出された顔のグリッド２１０を含む。検出された人間の顔の代表キースタンプ画像は、右のグリッド、すなわち位置２１２に現れ、時間が経過するとともに、左に、すなわち、位置２１４、続いて位置２１６に移動する。この特定の構成において、代表キースタンプは、各画像フレームの画素データの色ヒストグラムを分析し、平均色ヒストグラムを判定し、平均色ヒストグラムにコンテンツが最も近いシーケンスからの画像を代表キースタンプとして選択することによって、所定の画像シーケンスから作成される。

グリッド列のヘッディングによって示されるように位置２１２に示される画像は、２分前に捕捉された画像であり、位置２１４に示される画像は、４分前に捕捉された画像であり、位置２１６に示される画像は、６分前に捕捉された画像である。グリッドの各行は、所定のカメラ１１０によって提供される画像を表す。ＧＵＩパネル２２０は、最も最近に捕捉された幾つかの顔を表示するために用いられる。このＧＵＩパネルに表示される顔の数は、それぞれ１つ、２つ及び４つの画像に対応する、表示画面上の適切なボタン２２２、２２４、２２６をクリックすることによって、ユーザにより選択可能である。また、ＧＵＩ２００は、最近捕捉された顔のＧＵＩパネル２２０に表示されている代表キースタンプ画像のうち、ユーザによって選択された１つの代表キースタンプ画像に関連する顔統計パネル２３０を有している。統計情報に関連する代表キースタンプ画像２３８は、顔統計パネル２３０内にも表示される。この例示的な構成においては、表示される統計情報は、顔ＩＤ２３２と、この実施例では７秒である所定のカメラによって検出された顔の累積的な滞在時間２３４と、３秒であるインショット時間２３６とである。累積的な滞在時間は、この場合、検出された全ての顔（如何なるカテゴリに属する顔であってもよい。）がプラズマディスプレイ画面１３０の方に向けられていた時間の合計を表す。

図３は、顔検出／認識モジュール１５０によって検出された顔カテゴリに基づいて、表示すべき画像の組をどのように選択するかを説明するフローチャートである。

捕捉された画像シーケンスは、ステージ３１０において、顔検出／認識モジュール１５０によって、ローカルで分析される。この分析の少なくとも一部は、検出された顔に関連する画像の捕捉が完了する前に実行してもよい。

ステージ３２０においては、検出された人間の顔の所定の特性に基づいて、捕捉された画像シーケンス（又はシーケンス内の１つ顔）にローカル顔ＩＤが割り当てられる。

次に、ステージ３３０において、統計解析モジュール１６０は、顔検出／認識モジュール１５０が導き出した情報に基づいて、検出された顔の性別カテゴリ（すなわち、男性／女性）を判定し、ステージ３４０において、検出された顔は、例えば、子供、青年、労働年齢の大人、定年年齢以上の大人等、所定の又は可変の年齢カテゴリの１つに対応付けられる。多くの場合、年齢カテゴリは、販売する商品のマーケティング要求に応じて決定される。年齢カテゴリは、顔検出／認識モジュール１５０において、肌の色合い／テクスチャ、髪の色、顔の特徴の相対的比率等を分析することによって判定してもよい。

ステージ３５０において、ローカル顔ＩＤに関連する性別カテゴリと年齢カテゴリ及び現在の日時、インショット時間及び滞在時間を含む追加的な情報は、客プロファイルとして統合され、この情報は、ステージ３６０において、ローカルメモリ１９２に（オプションとしてリモートのメモリに）保存される。

変形例においては、例えば、人種、感情表現に関する特定の物理的特性及びカテゴリ等の追加的な情報を用いて客プロファイルを確立又は補強してもよい。

次に、ステージ３５０において判定された客プロファイルに基づいて、ステージ３７０において、ローカルに保存された複数の販売促進用のシーケンスから、プラズマディスプレイ画面１３０上に表示する１つのシーケンスが選択される。

ステージ３８０において、選択された販売促進用表示シーケンスと、これに付随する全ての音声データがローカルのデータストレージ装置１９０から読み出され、グラフィックスカード１２０及びオーディオ発生器１４０によって復号され、プラズマディスプレイ画面１３０を介して、これらのデータに基づく情報が買い物客に提供される。

選択された広告シーケンスが最初から最後まで表示されると、ステージ３９０において、カメラ１１０及び顔検出／認識モジュール１５０は、同じ人間の顔がまだショット内に存在するか否かを検出する。同じ人間の顔が既にショット内に存在せず、ショット内に他の顔も検出されなければ、ステージ３９２において、アイドルタイマ（idle timer）がトリガされ、個々の人間の顔の検出の間に経過する時間が監視される。一方、ステージ３２０において割り当てられたＩＤと同じ顔ＩＤを有する人間の顔が、ステージ３９０においてショット内にまだあると判定された場合、処理は、ステージ３９４に進み、同じ商品に関する拡張された広告シーケンスが初期の広告シーケンスとして表示され、又は客プロファイルに適合する新たに選択された販売促進用のシーケンスがプラズマディスプレイ画面１３０に表示される。

図４は、検出された顔の年齢、性別及び表情カテゴリに基づいて、特定の画像の組をどのように選択し、表示するかを説明するフローチャートである。

ステージ４１０において、店舗のオーディオ／ビデオ販売フロアに設置されているプラズマディスプレイ画面１３０に関連しているカメラ１１０によって顔が検出される。

ステージ４２０において、顔検出／認識モジュール１５０は、検出された顔が子供の顔であるか否かを判定し、検出された顔が子供の顔であれば、子供用のアニメのデジタルビデオディスク（ＤＶＤ）用の販売促進映像を提供する。一方、ステージ４２０において、検出された顔が子供の顔ではないと判定された場合、処理は、ステージ４３０に進み、顔検出／認識モジュール１５０は、検出された顔が６５歳より高い年齢のグループに属する可能性が高いか否かを判定する。検出された顔が６５歳以上に分類された場合、オーディオ発生器１４０は、ステージ４３２において、音量を通常より大きく設定し、次に、ステージ４３４において、古い映画のビデオの販売促進用の映像をプラズマディスプレイ画面１３０に表示させる。

ステージ４３０において、検出された顔が６５歳以下の人間の顔であると判定された場合、ステージ４４０において、検出された顔が男性の顔であるか女性の顔であるかが判定される。顔が男性の顔であると判定された場合、処理は、ステージ４５０に進み、サイエンスフィクションのＤＶＤの販売促進用の映像がプラズマディスプレイ画面１３０に表示される。サイエンスフィクションの販売促進用の映像を表示している間、（ステージ４５２において）カメラ１１０は、この男性の顔の監視を継続し、販売促進用のマテリアルを表示している間、その表情が退屈を表しているか否か、又はその男性が既に表示画面から顔を背けているか否かを判定する。退屈又は画面から顔を背けていることが検出されない場合、その買い物客に対し、サイエンスフィクションのＤＶＤの販売促進用のデータの表示が継続される。一方、退屈している顔が検出され、又は顔がディスプレイから所定の角度以上背けられていることが検出された場合、処理は、ステージ４５４に進み、表示画面に異なる販売促進用の映像、この場合、アクション／冒険映画のＤＶＤの販売促進用の映像を提供し、顧客の注意を取り戻し、累積的な滞在時間を増加させる。

ステージ４４０において、検出された顔が女性の顔であると判定された場合、ステージ４６０において、プラズマディスプレイ画面１３０に時代劇のＤＶＤ販売促進用のシーケンスが表示される。サイエンスフィクションの販売促進用の映像を表示している間、（ステージ４６２において）カメラ１１０は、この女性の顔の監視を継続し、販売促進用のマテリアルを表示している間、その表情が退屈を表しているか否か、又はその女性が既に表示画面から顔を背けているか否かを判定する。退屈又は画面から顔を背けていることが検出されない場合、その買い物客に対し、時代劇のＤＶＤの販売促進用のデータの表示が継続される。一方、退屈している顔が検出され、又は顔がディスプレイから所定の角度以上背けられていることが検出された場合、処理は、ステージ４６４に進み、表示画面に異なる販売促進用の映像、この場合、プラズマディスプレイ画面１３０には、時代劇のＤＶＤの販売促進用の映像に代えて、恋愛コメディのＤＶＤの販売促進用の映像が表示される。

図４のフローチャートは、商品の販売促進に関連しているが、例えば金融サービス等のサービスのための広告をプラズマディスプレイ画面１３０上に表示してもよいことは明らかである。更に、個々の買い物客の検出された特性に基づいて、宣伝用の表示を選択するのではなく、統計解析モジュール１６０からのデータを用いて、所定の期間に亘る特定の年齢又は性別カテゴリに属する顔の検出の周期を判定し、異なるカテゴリで検出された顔の相対的な出現頻度に基づいて、販売促進用のシーケンスを選択してもよい。このような処理は、各期間毎（例えば、３０秒毎、５分毎、閾値を超える顔分布の変化に応じて定められる可変の期間毎）に実行され、これにより、１つ以上の異なる期間における顔検出器による顔カテゴリの検出の周期に応じて、その期間に表示装置に表示する１組の画像が選択される。これに代えて例えば、常に最新の３０秒の間の顔カテゴリに基づいてマテリアルが表示されるように、期間を回転させてもよい。これに代えて、検出された顔の履歴データベースを用いて、所定の曜日の所定の日時（若しくは固定の又は可変の期間）に店舗内にいる可能性が最も高い買い物客のカテゴリを判定し、これに応じて表示する販売促進用のシーケンスを選択してもよい。何れの場合も、ある期間に表示される画像は、その期間において最も頻繁に出現するカテゴリ（又はその期間に複数の種類の画像を表示できる場合は、カテゴリのグループ）に対応する。

図５は、顔検出／認識モジュール１５０の出力に基づくアイドルモードとアクティブモードとの間の遷移について、図１の表示装置をどのように制御するかを説明するフローチャートである。

プラズマディスプレイ画面１３０は、初期的には、節電状態である非アクティブモード（アイドルモード）にあるが、このモードでもカメラ１１０及び顔検出／認識モジュール１５０は、パワーオン状態にあり、完全に動作することができる。ステージの５１０において、顔検出／認識モジュール１５０は、カメラ１によって人間の顔の存在を検出し、ステージ５２０において、統計解析モジュール１６０は、人間の顔が最初に検出された時刻のログを記録する。

ステージ５３０において、プロセッサ１９４は、プラズマディスプレイ画面１３０に制御信号を送り、アクティブモードを開始し、このアクティブモードでは、画面に所定の電力が供給され、宣伝用の画像／音声のシーケンスの再生が開始される。

ステージ５４０において、統計解析モジュール１６０は、カメラ１に関するローカルの人数（head count）カウントをインクリメントする。顔検出／認識モジュール１５０は、ローカルの人数カウントをインクリメントする前に、最近検出された顔を再確認し、現在検出されている顔が、同じカメラによって、最近ログに記録された顔と同じであるか否かを判定し、現在検出されている顔が最近検出された顔と同じである場合、ローカルの人数カウントは、インクリメントされない。このような相互確認を行う時間ウィンドウ（time window）は、この具体例では２時間であるが、この期間は、オペレータが制御コンピュータ６００を介して任意に設定することができる。

ステージ５５０においは、カメラ１によって捕捉された人間の顔の画像のサブセットは、後の表示及び／又は分析のために、メモリ１９２又はデータストレージ装置１９０に保存される。画像は、利用可能な記憶容量に基づいて設定された所定の周期及び品質で捕捉される。

ステージ５６０において、顔検出／認識モジュール１５０は、人間の顔がまだショット内にあるか否かを判定する。顔がまだショット内にあると判定された場合、ステージ５６２において画像捕捉が継続される。一方、人間の顔がショット内にない場合、ショットのタイマが停止され、ステージ５７０において、捕捉された画像シーケンスが顔検出／認識モジュール１５０によって分析され、カメラ１によって特定された人間の顔の総滞在時間が算出される。総滞在時間とは、顔がカメラ、したがって表示画面の方を直接（所定の公差範囲内の角度で）向いていた時間の合計である。

ステージ５７０においては、現在検出されている顔の滞在時間を含むように（全ての顔カテゴリの買い物客についての）累積的な滞在時間がインクリメントされる。ステージ５８０において、これまで検出されていた人間の顔が既にカメラのショット内になく、他の人間の顔もショット内にないと判定された場合、アイドル時間カウンタによるカウントが開始される。アイドル時間カウンタが動作している間、この具体例では５分間に設定されている最大アイドル時間が経過したか否かが判定される。この間、表示画面は、アクティブモードを維持するが、表示画面には動的な映像ではなく、静的な画像が表示される。顔検出／認識モジュール１５０によって更なる人間の顔が検出されないままアイドル時間が最大アイドル時間を超えると、プロセッサ１９４は、節電のため、ステージ５９２において、プラズマディスプレイ画面１３０を非アクティブモードにパワーダウンする。Ｐ１１この構成では、アイドル時間カウンタは、人間の顔がショット内にないと判定すると直ちにカウントを開始するが、（例えば、図３を用いて説明した）変形例においては、アイドル時間カウンタは、所定の販売促進用のシーケンスが終わった時点で、人間の顔がショット内にないと判定した場合にのみカウントを開始するようにしてもよい。

図６は、ネットワーク接続された複数の機器を制御する制御コンピュータ６００の構成を示している。制御コンピュータ６００は、店舗内に配設されているそれぞれのローカルの表示装置からダウンロードされた統計情報を照合及び分析する。なお、統計的解析は、個々の顔検出／認識モジュール１５０及び統計解析モジュール１６０を用いて、個々の表示装置において、少なくとも部分的にローカルに実行される（又は実行することができる）。

この特定の構成においては、制御コンピュータ６００は、個々のカメラからの統計情報を照合し、検出された顔の履歴データベースを保存し、複数の位置において検出された人間の顔の総合的な統計的解析を実行するために設けられている。変形例においては、制御コンピュータ６００を必要とせず、例えば、「グリッド」型コンピュータシステムを用いて、分散的に総合的な分析を実行する。

制御コンピュータ６００は、包括的人数及び人数統計解析器６１２、顔相関モジュール６１４、客経路追跡モジュール（customer path-tracking module）６１６及び購入／広告相関器６１８を含む統計解析ユニット６１０と、統計データベース６２０と、ディスプレイシーケンスレポジトリ６３０と、ローカルディスプレイ構成モジュール６４０と、入力装置６５０と、例えばリモートストレージ装置へのアクセスを提供する機能を含むネットワークインタフェース６６０とを備える。

制御コンピュータ６００は、通信ネットワーク１９６を介して、ローカルディスプレイ画面と関連するカメラとに関連付けて保存されている統計情報をダウンロードし、これらの統計情報を照合及び分析した後、統計データベース６２０にこの情報を保存する。統計データベース６２０は、表示画面に関連するメモリ１９２にローカルに保存されている統計より長い期間のデータ（この実施例では、１年間の統計情報）を保存する。制御コンピュータ６００においては、各検出された顔に関する代表キースタンプ画像及び特徴的な画像パラメータの組もメモリに保存される。ディスプレイシーケンスレポジトリ６３０は、個々のプラズマディスプレイ画面についての選択的なダウンロードのために、複数の異なるプロモーション用表示シーケンスを保存する。ローカルディスプレイ構成モジュール６４０は、ソフトウェアプログラムの制御の下で自動的に、又は制御コンピュータ６００のオペレータが入力装置６５０を用いて手動で各ローカルディスプレイの構成を可能にする。

統計解析ユニット６１０において、包括的人数及び人数統計解析器６１２は、各ローカルの表示装置からの人数統計を照合し、これにより、各表示装置に注目した買い物客の人数を比較できる（以下の図８の説明参照）。各表示に関連するこの人数は、店舗内のプラズマディスプレイ画面１３０の位置や、実際に表示された販売促進用のシーケンスに依存する。また、包括的人数及び人数統計解析器６１２においては、例えば、所定の年齢カテゴリ又は性別カテゴリにおいて検出された顔の総数等の他の人数統計も照合される。

顔相関モジュール６１４は、個々のローカルの表示装置からのローカル顔ＩＤに関するデータを照合し、顔検出／認識モジュール１５０によって判定された特徴的な顔パラメータを比較し、異なるカメラの間で検出された所定の顔の一致を判定する。これにより、一致が検出された場合、２つ以上のカメラにおいて、所定の顔について、ローカル顔ＩＤにグローバル顔ＩＤ（global face ID）が関連付けられ及び割り当てられる。このグローバル顔ＩＤについて、各異なるカメラにおける検出時間と滞在時間が照合され、これにより、店舗内における所定の買い物客の行動が追跡され、及び各表示画面を見るために費やされた時間が算出される。客経路追跡モジュール６１６は、この情報を用いて、所定の曜日、所定の時刻、所定の季節、或いは、例えば、主要なスポーツイベントの期間、雨の日の午後、夏の日の等特定の購入「環境」において、店舗内で所定の組の買い物客が移動する可能性が最も高い経路を判定する（以下の図９の説明参照）。

更に、広告又は宣伝のマテリアルの各組（又は少なくとも幾つかの組）について、買い物客がマテリアルを見ている間の表情を示すデータが保存される。この情報は、自動検出によって少なくとも近似させることができる（この場合、「関心を示す」、「退屈」又は他の表情カテゴリを表す単純なデータを一組の広告マテリアルに関連付けて保存すればよい）。このデータは、全てのユーザについて、又はランダムに選択された複数のユーザについて、又は特別に選択された複数のユーザ（例えば、関連する商品を購入したユーザ）について、平均化してもよい。このデータは、所定の視聴期間、例えば、１０秒毎の視聴期間のサンプルにおけるユーザの表情カテゴリを表していてもよい。このデータは、表情カテゴリがサンプリングされた表示マテリアルにおける特定の点に関連付けてもよい。

購入／広告相関器６１８は、プラズマディスプレイ画面１３０において宣伝される商品の購入と、プラズマディスプレイ画面１３０における視聴イベントとをリンクさせる。購買情報は、会計時に読み取られる商品バーコードから得られる。会計コーナに設置されているカメラは、商品を購入している買い物客の顔を検出し、この買い物客の顔と、関連するプラズマディスプレイ画面１３０において最近検出された顔とを照合する。商品を購入した買い物客の顔と、関連する販売促進用のシーケンスが実際に表示されていたプラズマディスプレイ画面１３０において検出された顔とが一致した場合、その買い物客の滞在時間と共に、広告と購買の間の相関情報が登録される。また、商品棚に向けられたカメラからの情報を用いて、関連するプラズマディスプレイ画面を見ていると検出された顔ＩＤを有する買い物客が、宣伝された商品を実際に購入したか否かを判定してもよい。

また、購入／広告相関器６１８は、顧客ロイヤルティカード（customer loyalty card）の情報を分析することもできる。顧客ロイヤルティカードは、特定の個人の購入プロファイル及び／又は統計的な組分けに関する情報を保存するために用いられる。ロイヤルティカードに保存される顧客に関する情報の詳細は、店舗内のカメラからの顔検出／認識情報及び買い物客が実際に購入した、宣伝された商品に関する情報に関連付けられる。これにより、個々の買い物客の購買行動に対する広告の影響を効果的に評価することができる。このように、会計からの情報（購入された商品のバーコード、買い物客の顔の特徴、及び顧客ロイヤルティカードデータを含む。）と、ローカルディスプレイ画面において検出された顔とを相関させることにより、販売促進用の映像の効果を客観的に評価できる。

店舗レイアウトと、この店舗レイアウトにおける複数の表示装置の位置とを表すＧＵＩを図７に示す。領域７１０は、商品が陳列されている棚を表し、表示画面及びこれに関連するカメラを含む個々の表示装置の位置は、例えば、アイコン７２２、７２４、７２６等のカメラアイコンによって示されている。このＧＵＩには、陳列棚に対する、及び店舗の入口／出口７４０に対する各表示画面の位置が明確に示されている。

プラズマディスプレイ画面に組み込まれているカメラ以外にも店舗の会計コーナ（又は、店舗内の他の位置）には、他のカメラ（図示せず）が設置されている。これらの会計用カメラは、買い物客の顔を検出し、この買い物客が、プラズマディスプレイ画面の１つに関して、以前に、販売促進用のシーケンスを見ていることが検出されているか否かを判定するために、商品を購入する買い物客に向けられる。更に、幾つかのカメラは、買い物客ではなく商品に向けてもよく、これにより、棚から商品を手に取るユーザの振る舞いを監視でき、及び、この情報を他のカメラからの顔検出／認識データに関連付けることができる。

図８は、図７の店舗及び表示装置のレイアウトにおける包括的な人数統計の概要を示している。図８に示すように、店舗の入口／出口７４０の付近に設置されているカメラ７２２では、最も多い２７５０人の買い物客の顔が捕捉され、店舗内の１つの角に設置されているカメラ７３０では、最も少ない２８５人の買い物客の顔が捕捉されている。

ユーザは、例えば、コンピュータマウス等の入力装置を用いてカメラのアイコンを選択することによって、ＧＵＩに表示されている各カメラに関連しているローカルの統計にアクセスできる。各カメラには、ローカルの人数と滞在時間を含むローカルの統計情報を表示するためのプルダウンメニューが関連付けられている。特定の陳列領域においては、人数及び滞在時間は、対応する位置で販売されている商品及び表示装置に表示されている宣伝のメディアの両方の関数となる。このＧＵＩでは、この位置マップ上に、カラーコードを用いて、集客の程度を表すことができ、例えば、赤を用いて、人が多い「ホットスポット」を示し、青を用いて「コールドスポット」（買い物客が比較的少ない場所）を示すことができる。

図９は、図７の店舗マップ内の別の場所に位置する異なるカメラによる、同じ人間の顔の検出と認識に基づいて判定された、買い物客が移動する可能性が最も高い経路を示している。最も可能性が高い経路は、客経路追跡モジュール６１６において、異なるカメラ位置における所定のグローバル顔ＩＤの検出時間を関連付け、複数の異なるグローバル顔ＩＤについて、この分析を繰り返すことによって算出される。

詳しくは、図９に示す具体例では、買い物客が移動する可能性が最も高い経路は、店舗入口の左側のカメラ７２２からカメラ７２４、続いて店舗の奥の壁に設置されているカメラ７３２、続いて店舗の右側に設置されているカメラ７３４、７２８、続いてカメラ７３６、そして、カメラ７３８から店舗のフロントを通過して、出口７４０に向かう経路である。この場合、最も可能性が高い経路は、店舗の（入口から見て）一番右手の壁に陳列されている商品を避けている。一日のうちの異なる時間帯毎に、又は異なる年齢カテゴリ、性別カテゴリ等に対応して検出された顔のサブセット毎に最も可能性が高い経路を求めてもよい。これにより、小売業者は、異なる買い物客のグループ及びこれらの買い物客が最も足を運びやすい特定の商品陳列領域に関する有益な情報を得ることができる。この情報を用いて、導出された買い物客の振る舞いに応じて、戦略的に商品を陳列することができる。

図１０は、図６の制御コンピュータ６００において、ネットワーク接続された複数の機器からの包括的な統計情報をどのように分析するかを示すフローチャートである。

ステージ１１００において、制御コンピュータ６００は、店舗内の異なる位置に取り付けられた複数台、すなわちＮ台のカメラにおいてそれぞれ検出された顔に関するローカルに保存された統計情報をネットワークからダウンロードする。ここでダウンロードされる情報としては、例えば、ローカル顔ＩＤと、各ローカル顔ＩＤに関する最初の検出日時と、特定のカメラ前における各顔ＩＤの滞在時間と、異なる時刻において異なるカメラで検出された顔の相互相関のために用いられる一組の顔照合パラメータと、商品の販売をプラズマディスプレイ画面１３０に表示させた販売促進用のシーケンスに関連付けるために用いられる、所定のローカル顔ＩＤを有する買い物客に対して表示された商品の商品ＩＤとが含まれる。

ステージ１２００において、（図８に示すように）個々のカメラのローカルの人数統計を用いて、包括的な人数統計を更新する。ステージ１３００において、異なるローカル顔ＩＤに関連している顔照合パラメータの相関を調べ、同じ顔が２つ以上のカメラで検出されているか否かを判定する。ステージ１４００において、少なくとも２つの異なるカメラにおいて、同じ顔が検出され、認識されているか否かを判定し、同じ顔が検出及び認識されている場合、ステージ１４１０において、この顔にグローバル顔ＩＤを割り当てる。

次に、処理は、ステージ１４２０に進み、ここで、各カメラにおいて顔が最初に検出された時間及び個々のプラズマディスプレイ画面１３０における滞在時間を用いて、店舗内の別の場所に設置されているカメラ間における所定のグローバル顔ＩＤを有する買い物客の経路を追跡する。ステージ１４３０において、この特定の買い物客に関する、対応する顔が検出された全てのカメラ位置における滞在時間を含む累積的な滞在時間が算出される。

ステージ１４００において、ローカル顔ＩＤが２つ以上のカメラにおいて検出された顔に対応すると判定された場合、処理演算の更なるシーケンスが実行される。詳しくは、ステージ１４５０において、顔が検出されたカメラの１つが店舗の会計コーナに向けられているカメラであるか否かが判定され、このカメラが会計コーナに向けられている場合、ステージ１４６０において、グローバル顔ＩＤは、そのグローバル顔ＩＤに対応する顔が検出された１つ以上の表示画面に表示された商品広告ＩＤに関連付けられる。ステージ１４７０において、会計コーナで買い物客が購入し、商品バーコードによって特定された商品は、商品広告ＩＤに関連付けられ、そして、ステージ１４８０において、買い物客が表示画面の前で関連する販売促進広告を見ていた滞在時間と共に、購入された商品と、買い物客が見た広告との間の相関情報が統計データベース６２０に登録される。

ここに開示した構成により、広告の有効性を判定することができる。この有効性の指標を用いて、表示装置に広告を表示する際の適切なコストを算出することができる。このような電子看板（デジタルサイネージ）方式は、店舗（ショップ）環境のみではなく、（例えば、）娯楽施設又は鉄道／バス停等、広告の表示に適した如何なる場所にも応用できる。更に、この技術は、広告のみではなく、表示される情報の分布の有効性の監視及びカスタマイズに広く応用できる。例えば、この技術は、博物館、学校、待合所等に適用してもよい。

図１１は、図７〜図９に示すネットワーク接続された表示装置からの包括的な統計の累積的な履歴を表示するＧＵＩを示している。ＧＵＩは、日時グリッド２１００を含み、日時グリッド２１００の５つの各列は、所定の日付を表し、５つの各行は、１時間毎の期間を表している。グリッド内の黒い正方形は、対応する日時に関連する、捕捉された顔の代表キースタンプ画像である。グリッドによって表示される期間は、ＧＵＩのカレンダーパネル２２００を用いて選択できる。ウィンドウ２３００には、日時グリッド２１００内の所定の正方形に関連している統計情報が表示される。

この具体例では、グリッド２１００内の左上のボックスが選択されており、このため、１月２５日の午前９時から午前１０時までの統計情報が表示されている。表示される統計情報は、その期間に全てのカメラで検出された顔の総数、男性の顔と女性の顔の割合、平均滞在時間、平均インショット時間等を含む。

ここでは、特定の実施例について説明したが、本発明は、これに限定されるわけではなく、本発明の範囲内で多くの変更及び追加を行うことができることは明らかである。例えば、本発明の範囲から逸脱することなく、特許請求の範囲に示す従属請求項の様々な組合せを独立請求項の特徴に加えることができる。

本発明に基づく表示装置の構成を示す図である。 特定の位置において、カメラ及び関連する顔検出器によって捕捉された情報を表示するグラフィカルユーザインタフェースを示す図である。 顔検出器によって検出された顔カテゴリに基づいて、表示すべき画像の組を選択する処理を説明するフローチャートである。 検出された顔の年齢、性別及び表情カテゴリに基づいて、特定の画像の組を表示する処理を説明するフローチャートである。 顔検出器の出力に基づいて、アイドルモードとアクティブモードとの間の遷移について、図１の表示装置をどのように制御するかを説明するフローチャートである。 ネットワーク接続された複数の機器を制御する制御コンピュータの構成を示す図である。 店舗レイアウトと、この店舗レイアウトにおける複数の表示装置の位置とを示す図である。 図７の店舗及び表示装置のレイアウトにおける包括的な人数統計の概要を示す図である。 図７の店舗マップ内の別の場所に位置する異なるカメラによる、同じ人間の顔の検出と認識に基づいて判定された、買い物客が移動する可能性が最も高い経路を示す図である。 図６の制御コンピュータにおいて、ネットワーク接続された複数の機器からの包括的な統計情報をどのように分析するかを示すフローチャートである。 図８に示すネットワーク接続された表示装置からの包括的な統計の累積的な履歴を表示するＧＵＩを示す図である。

Claims (18)

1. ２つ以上の画像を表示する表示器と、
   上記表示器を見るユーザの位置に向けられたカメラと、
   少なくとも２つの顔カテゴリに基づいて、上記カメラによって捕捉された画像内の人間の顔を検出する顔検出器と、
   １つ以上の異なる期間について、上記顔検出器による顔カテゴリの検出の頻度に応じて、該期間に上記表示器に表示すべき画像の組を選択する選択器とを備える表示装置。
2. 上記画像の組は、広告画像を含むことを特徴とする請求項１記載の表示装置。
3. 上記カテゴリは、２つ以上の年齢カテゴリを含むことを特徴とする請求項１記載の表
4. 上記カテゴリは、性別カテゴリを含むことを特徴とする請求項１記載の表示装置。
5. 上記カテゴリは、２つ以上の表情カテゴリを含むことを特徴とする請求項１記載の表示装置。
6. 各画像の組について、上記人間の顔の表情カテゴリを示すデータを保存するメモリを備える請求項５記載の表示装置。
7. 上記顔検出器は、検出された各顔について、該顔が上記表示画面に向けられた時間を示す滞在時間を検出することを特徴とする請求項１記載の表示装置。
8. 上記セレクタは、各カテゴリにおいて、顔の累積的な滞在時間に基づいて、画像の組を選択することを特徴とする請求項７記載の表示装置。
9. 上記顔検出器は、上記検出された顔が上記表示画面に向けられていない時間を検出することを特徴とする請求項７記載の表示装置。
10. 上記表示器は、少なくともアイドルモード及びアクティブモードを有し、上記顔検出器に接続され、少なくとも所定の期間、顔が検出されない場合、上記アクティブモードから上記アイドルモードに変化し、顔の検出に対応して上記アイドルモードからアクティブモードに変化することを特徴とする請求項１記載の表示装置。
11. 上記アイドルモードは、省電力モードであることを特徴とする請求項１０記載の表示装置。
12. 上記選択器は、上記期間に検出された顔カテゴリ頻度データに応答することを特徴とする請求項１記載の表示装置。
13. 上記選択器は、対応する先行する期間に検出された顔カテゴリ頻度データに応答することを特徴とする請求項１記載の表示装置。
14. 上記対応する先行する期間は、実質的に前日の同期間であることを特徴とする請求項１３記載の表示装置。
15. 表示器を見るユーザの画像を捕捉するステップと、
    少なくとも２つの顔カテゴリに基づいて上記捕捉された画像内の人間の顔を検出するステップと、
    １つ以上の異なる期間について、上記顔検出器による顔カテゴリの検出の頻度に応じて、該期間に上記表示器に表示すべき画像の組を選択するステップとを有する表示方法。
16. 請求項１５記載の表示方法のステップを実行するプログラムコードを有するコンピュータソフトウェアを提供する提供媒体。
17. 当該提供媒体は、伝送媒体であることを特徴とする請求項１６記載の提供媒体。
18. 当該提供媒体は、ストレージ媒体であることを特徴とする請求項１６記載の提供媒体。

Images