JP2013050945A - 人物トラッキング及びインタラクティブ広告 - Google Patents

Abstract

【課題】広告の有効性を良好に評価及び判定する広告システムを提供する。
【解決手段】システムは、ディスプレイを備えた、ディスプレイを通じて潜在顧客に広告コンテンツを提供するように構成された広告ステーションと、この広告ステーションに潜在顧客が接近すると、この潜在顧客の画像を捕捉するように構成された１つ以上のカメラとを含む。本システムは更に、データ処理システムを含み、捕捉された画像を解析することにより、潜在顧客の視線方向及び身体姿勢方向を判定し、判定された視線方向及び身体姿勢方向に基づいて、広告コンテンツにおける潜在顧客の関心度を判定する。
【選択図】図１

Description

本開示は、概して個人のトラッキングに関し、一部の実施例では、ユーザの関心を推測し、インタラクティブ広告のコンテキストにおけるユーザの経験を増進するためのトラッキングデータの使用に関する。

製品及びサービスの広告は、至る所にある。広告掲示板、看板、及びその他の広告媒体が、潜在顧客の注意を惹こうと競い合っている。近年、ユーザの関与を促すインタラクティブ広告ディスプレイが導入されている。広告は普及しているものの、特定の形態の広告の有効性を判定することは、難しいかもしれない。例えば、特定の広告が、宣伝した製品又はサービスの売り上げ又はこれに対する関心を効果的に向上させる結果に繋がるか否かを、広告主（又は広告主に料金を支払っているクライアント）が判定することは難しいかもしれない。このことは、看板又はインタラクティブ広告ディスプレイの場合に、特に当てはまるであろう。製品又はサービスに対する注意を惹くことと、その売り上げを増加させることにおける広告の有効性は、このような広告の価値の決定において重要なので、このようにして提供された広告の有効性を更に良好に評価及び判定する必要がある。

当初の特許を受けようとする発明に相当する態様の一部を、以下に記載する。なお、これらの態様は、あくまでも読者に本開示の主題がとり得る各種実施例のある程度の形態を簡潔に説明するために提示されたものであって、本発明の範囲を限定するものではない。勿論、本発明は、以下に記載しない各種態様も包含し得る。

本開示の主題の一部の実施例は、概して個人のトラッキングに関する。特定の実施例では、トラッキングデータをインタラクティブ広告システムに関連付けて使用する。例えば、一実施例においては、ディスプレイを備えた、このディスプレイを通じて潜在顧客に広告コンテンツを提供するように構成された広告ステーションと、この広告ステーションに潜在顧客が接近すると潜在顧客の画像を捕捉するように構成された１つ以上のカメラを、システムが含む。このシステムは更に、データ処理システムを含み、この処理システムが、プロセッサと、このプロセッサにより実行されるアプリケーション命令を有するメモリとを含むものでよい。このデータ処理システムは、捕捉された画像を解析するためのアプリケーション命令を実行して、潜在顧客の視線方向及び身体姿勢方向を判定し、この判定された視線方向及び身体姿勢方向に基づいて、広告コンテンツにおける潜在顧客の関心度を判定するように構成される。

別の実施例において、方法が、広告コンテンツを表示する広告ステーションを通過する人の視線方向又は身体姿勢方向のうちの少なくとも１つに関するデータを受信するステップと、受信したデータを処理して、広告ステーションによって表示する広告コンテンツにおける人の関心度を推測するステップとを含む。更なる実施例においては、方法が、少なくとも１つのカメラから画像データを受信するステップと、画像データを電子的に処理することにより、人の運動方向とは関係なく、画像データ中に描かれた人の身体姿勢方向及び視線方向を予測するステップとを含む。

更なる実施例において、格納された実行可能命令を有する、１つ以上の非一時的なコンピュータ読取可能媒体を、製品が含む。広告コンテンツを表示する広告ステーションを通過する人の視線方向のデータを受信し、受信した視線方向のデータを解析することにより、広告ステーションによって表示する広告コンテンツにおける人の関心度を推測するように適合される命令を、この実行可能命令が含み得る。

本発明の技術的効果は、ユーザのトラッキングと、このようなトラッキングに基づいて、広告コンテンツにおけるユーザの関心度を判定することの改善を含む。インタラクティブ広告のコンテキストにおいて、トラッキング対象の個人は、制約のない環境で自由に動く可能性がある。しかし、様々なカメラ画像からのトラッキング情報を融合して、例えば各人の位置、移動方向、トラッキング履歴、身体姿勢、及び注視角等、特定の特性を判定することによって、データ処理システム２６は、観測結果の間で平滑化及び補間を行うことにより、各個人の瞬間的な身体姿勢及び視線を予測できる。遮蔽に因って観測対象を見失ったり、動いているＰＴＺカメラの動作ぶれに因って安定した顔捕捉ができなくなったりした場合でも、本発明による実施例は尚、「ベストゲス（ｂｅｓｔ ｇｕｅｓｓ）」補間及び経時的外挿を用いて、トラッカーを維持できる。また、本発明による実施例により、特定の個人が、現在放映中の広告プログラムに対して大きな注意を払っているか又は関心を持っているか（例えば、現在、インタラクティブ広告ステーションとインタラクションを行っているのか、単に広告ステーションに通りかかっただけなのか、又は広告ステーションへの悪戯で立ち止まっただけなのか）の判定も可能になる。更に、本発明による実施例により、人の集団が集団で広告ステーションとインタラクションを行っているか否か（例えば、現在誰かが仲間と議論しているか（互いに見つめ合っているか）、彼らに参加するよう勧めているか、又は購入の支援について親に相談しているのか？）を、システムが直接推測できる。更に、このような情報に基づいて、広告システムは、関与レベルを最も良い状態で測れるように、そのシナリオ／コンテンツを最適に更新できる。そして、人々の注意に反応することによって、本システムは、強力なインテリジェンス性能を発揮するので、本システムとインタラクションを行おうとする人口が増加し、より多くの人々に本システムとのインタラクションを促すことができる。

本開示の一実施例による、データ処理システムを有する広告ステーションを含む広告システムのブロック図である。 本開示の一実施例による、ネットワークを通じて通信するデータ処理システム及び広告ステーションを含む、広告システムのブロック図である。 本開示の一実施例による、本開示に記載の機能性を提供する、プロセッサベースの装置又はシステムのブロック図である。 本開示の一実施例による、広告ステーションに通りかかった人を示す図である。 本開示の一実施例による、図４の人及び広告ステーションの平面図である。 本開示の一実施例による、広告ステーションが出力するコンテンツをユーザ関心度に基づいて制御するプロセスの概略フローチャートである。 本開示の一実施例による、ユーザトラッキングデータの解析を通じて推測可能な、広告ステーションによって出力する広告コンテンツにおけるユーザ関心度の例を示す図である。 本開示の一実施例による、ユーザトラッキングデータの解析を通じて推測可能な、広告ステーションによって出力する広告コンテンツにおけるユーザ関心度の例を示す図である。 本開示の一実施例による、ユーザトラッキングデータの解析を通じて推測可能な、広告ステーションによって出力する広告コンテンツにおけるユーザ関心度の例を示す図である。 本開示の一実施例による、ユーザトラッキングデータの解析を通じて推測可能な、広告ステーションによって出力する広告コンテンツにおけるユーザ関心度の例を示す図である。

ここで記載する主題の各種態様に関連して、上記の特徴を様々に改良できる。同様に、これらの各種態様に、更なる特徴を盛り込んでもよい。これらの改良及び追加の特徴は、独立的にも、いかなる組み合わせにおいても、存在し得る。例えば、図示の実施例の１つ以上に関連して以下で論じる各種特徴を、本開示に記載のいかなる実施例にも、単独又はいかなる組み合わせにおいても、組み込むことができる。繰り返しになるが、上記の発明の概要はあくまでも、特許請求の範囲を限定することなく、ここで開示する主題のある程度の態様とコンテキストを読者にわかり易く説明することを意図したものである。

全図面を通じて、類似の符号で類似の部分を示した添付図面を参照して下記の詳細な説明を読めば、本技術のこれらの及びその他の特徴、態様、及び利点の理解が深まるであろう。

本開示の主題の１つ以上の特定の実施例を以下に記述する。これらの実施例の説明を簡潔にするために、実際の実装における特徴の全てを本明細書に記述することはない。なお、こうした実際の実装の開発は、いかなるエンジニアリング又は設計のプロジェクトにおいてもそうであるが、それぞれの実装によって異なるであろうシステム的及びビジネス的な制約の順守等の、開発者の個々の目的に合わせて、実装に合わせた選択を多数行う必要がある。更に、こうした開発努力は、煩雑で時間を浪費するものかもしれないが、それでもやはり、本開示の利益を受ける当業者にとっては、設計、製造、及び作製に関する日常的な仕事であろう。本技術の各種実施例の要素を説明する際、単数名詞は、その要素が１つ以上あることを意味することとする。「有する」「含む」及び「備える」といった表現は、包括的であり、列挙した要素以外にも更に要素があり得ることを意味することとする。

本開示の一部の実施例は、身体姿勢及び視線方向等、個人の様子のトラッキングに関する。更に、一部の実施例では、このような情報を用いて、ユーザに提供される広告コンテンツに対するユーザのインタラクション及び関心度を推測する。また、このような情報を用いて、インタラクティブ広告コンテンツに関するユーザの体験を増進する。視線は「注意の焦点」の強力な指標となり、双方向性について有用な情報を提供する。一実施例では、システムは、両方の固定カメラ画像から、及びパン・チルト・ズーム（ＰＴＺ）カメラを用いて、個人の身体姿勢及び視線を一緒にトラッキングすることにより、高解像度の高品質画像を得る。人々の身体姿勢及び視線のトラッキングは、固定及びパン・チルト・ズーム（ＰＴＺ）カメラの両方からの画像を融合させて動作する、集中型のトラッカーを用いて可能である。但し、別の実施例では、身体姿勢及び視線のうちの１つ又は両方を、単一のカメラのみ（例えば、１つの固定カメラ又は１つのＰＴＺカメラ）の画像データから判定することもできる。

図１に、一実施例によるシステム１０を示す。システム１０は、付近の人（即ち、潜在顧客）に対して広告を出力する広告ステーション１２を含む、広告システムであってよい。図示の広告ステーション１２は、潜在顧客に対して広告コンテンツを出力するディスプレイ１４及びスピーカ１６を含む。一部の実施例において、広告コンテンツ１８は、動画と音声の両方からなるマルチメディアコンテンツを含む。但し、例えば、動画のみ、音声のみ、音声有り又は無しの静止画像を含む、いずれの適切な広告コンテンツ１８も、広告ステーション１２によって出力可能である。

広告ステーション１２は、広告ステーション１２の様々な構成要素を制御するための、及び広告コンテンツ１８を出力するための、コントローラ２０を含む。図示の実施例において、広告ステーション１２は、ディスプレイ１４付近の領域から画像データを捕捉するための、１つ以上のカメラ２２を含む。例えば、１つ以上のカメラ２２を位置決めして、ディスプレイ１４を使用するか又はその付近を通過する潜在顧客の像を捕捉できる。カメラ２２は、少なくとも１つの固定カメラ又は少なくとも１つのＰＴＺカメラの一方を含むものでも、両方を含むものでもよい。例えば、一実施例において、カメラ２２は、４つの固定カメラ及び４つのＰＴＺカメラを含む。

更に、構造化照明素子２４も、図１に概略的に示すように、広告ステーション１２に含めることができる。例えば、構造化照明素子２４は、動画プロジェクタ、赤外線エミッタ、スポットライト、又はレーザポインタのうちの１つ以上を含む。このような装置を用いて、ユーザのインタラクションを能動的に促進できる。例えば、投影光（レーザ、スポットライト、又はその他何らかの方向付けられた光のいずれの形態であってもよい）を用いて、広告システム１２のユーザの注意を特定の場所に向けること（例えば、特定のコンテンツを注視したり、特定のコンテンツとのインタラクションを行ったりすること）や、ユーザを驚かせることができる。加えて、構造化照明素子２４を用いて、カメラ２２からの画像データの解析の際、理解及び対象認識を促すために、環境に対して追加照明を施すことができる。図１では、カメラ２２を広告ステーション１２の一部として示し、構造化照明素子２４を広告ステーション１２から分離して示しているが、システム１０のこれら及びその他の構成要素を、別の様式で設けてもよいことは、理解できよう。例えば、ディスプレイ１４、１つ以上のカメラ２２、及びシステム１０のその他の構成要素を、一実施例では、共通のハウジング内に設けてもよいが、これらの構成要素を、別の実施例では、別個のハウジング内に設けてもよい。

更に、データ処理システム２６を広告ステーション１２に含めることで、（例えば、カメラ２２からの）画像データを受信及び処理できる。具体的には、一部の実施例では、画像データを処理することにより、様々なユーザ特性を判定して、カメラ２２の有効表示画面内のユーザをトラッキングできる。例えば、データ処理システム２６で画像データを解析して、各人の位置、移動方向、トラッキング履歴、身体姿勢方向、及び（例えば、移動方向又は身体姿勢方向に対する）視線方向又は角度を判定できる。加えて、このような特性を使用して、その後、広告ステーション１２に対する個人の関心度又は熱中度を推測できる。

図１では、データ処理システム２６がコントローラ２０に組み込まれているように示しているが、別の実施例では、データ処理システム２６が広告ステーション１２から分離したものであってもよい。例えば、図２において、システム１０は、ネットワーク２８を経由して１つ以上の広告ステーション１２と接続するデータ処理システム２６を含む。このような実施例では、広告ステーション１２のカメラ２２（又はこのような広告ステーションの周りの領域を監視するその他のカメラ）で、ネットワーク２８を経由してデータ処理システム２６に画像データを提供できる。その後、以下に論じるように、このデータをデータ処理システム２６で処理し、広告コンテンツにおける、撮像された人の所望の特性及び関心度を判定できる。更に、データ処理システム２６で、このような解析の結果又は解析に基づく命令を、ネットワーク２８を経由して広告ステーション１２に出力できる。

コントローラ２０及びデータ処理システム２６の一方又は両方を、一実施例により、図３に概略的に示すように、プロセッサベースシステム３０（例えば、コンピュータ）の形態で設けることができる。このようなプロセッサベースのシステムで、画像データの解析、身体姿勢及び視線方向の判定、広告コンテンツにおけるユーザの関心の判定等、本開示に記載の機能を実施できる。図示のプロセッサベースシステム３０は、本明細書に記載の機能の全て又は一部を実行するソフトウェアを含む、様々なソフトウェアを実行するように構成された、パーソナルコンピュータ等の汎用コンピュータであってもよい。或いは、プロセッサベースシステム３０は、とりわけシステムの一部として提供された専用ソフトウェア及び／又はハードウェアに基づく、本技術の全て又は一部を実施するように構成された、メインフレームコンピュータ、分散型計算システム、或いは特定用途向けコンピュータ、又はワークステーションを含み得る。更に、プロセッサベースシステム３０は、本願で開示の機能の実施を容易にする、単一のプロセッサ又は複数のプロセッサのいずれを含むものでもよい。

一般的に、プロセッサベースシステム３０は、システム３０の様々なルーチン及び処理機能を実行可能な、中央演算処理装置（ＣＰＵ）等のマイクロコントローラ又はマイクロプロセッサ３２を含み得る。例えば、マイクロプロセッサ３２は、特定のプロセスを生じるように構成された、様々なオペレーティングシステム命令、及びソフトウェアルーチンを実行可能である。このルーチンは、メモリ３４（例えば、パソコンのランダムアクセスメモリ（ＲＡＭ））又は１つ以上の大容量格納装置３６（例えば、内蔵又は外付けハードドライブ、ＳＳＤ、光ディスク、磁気格納装置、又はその他いずれかの適切な格納装置）等、１つ以上の非一時的なコンピュータ読取可能媒体を含む製品に格納されたものであっても、備え付けられたものであってもよい。加えて、マイクロプロセッサ３２は、コンピュータベースの実装において、本技術の一部として提供されるデータ等、様々なルーチン又はソフトウェアプログラム用の入力として提供されるデータを処理する。

このようなデータの格納又は提供は、メモリ３４又は大容量格納装置３６によって可能である。或いは、このようなデータを、１つ以上の入力装置３８を経由して、マイクロプロセッサ３２に提供してもよい。入力装置３８は、キーボードやマウス等の手動入力装置を含み得る。加えて、入力装置３８は、有線又は無線イーサネット(商標）カード、無線ネットワークアダプタ、或いはローカルエリアネットワーク又はインターネット等の、いずれか適切な通信ネットワーク２８を経由する別の装置との通信を容易にするように構成された、その他様々なポート又は装置のいずれか等、ネットワーク装置を含み得る。このようなネットワーク装置を通じて、システム３０は、システム３０に接近しているか離れているかにかかわらず、別のネットワーク接続された電子システムとデータのやり取り及び通信ができる。ネットワーク２８は、スイッチ、ルータ、サーバ又はその他のコンピュータ、ネットワークアダプタ、通信ケーブル等を含む、通信を容易にする各種コンポーネントを含み得る。

１つ以上の格納されたルーチンに従ってデータを処理することによって得られた結果等、マイクロプロセッサ３２によって生成された結果を、ディスプレイ４０又はプリンタ４２等、１つ以上の出力装置を経由してオペレータに報告できる。表示又は印刷された出力に基づいて、オペレータは、入力装置３８等を通じて、追加又は代替の処理を要求すること、或いは追加又は代替のデータを提供することができる。プロセッサベースシステム３０の各種コンポーネント間の通信は、通常、チップセット、及びシステム３０のコンポーネントを電気的に接続する、１つ以上のバス又はインターコネクタを経由して可能である。

広告環境５０を概略的に示した図４、及び図５を参照すると、広告システム１０、広告ステーション１２、及びデータ処理システム２６の動作がよくわかるであろう。これらの図解において、人５２は、壁５４に実装された広告ステーション１２を通過している。１つ以上のカメラ２２（図１）を環境５０に設けて、人５２の像を捕捉できる。例えば、１つ以上のカメラ２２を、広告ステーション１２内に（例えば、ディスプレイ１４の周りのフレーム内に）、又は広告ステーション１２から歩道を隔てて、又は広告ステーション１２から離れた壁５４上等に、取り付けることができる。人５２が広告ステーション１２に通りかかると、人５２は方向５６に向かって移動する可能性がある。また、人５２が方向５６に向かって歩くとき、人５２の身体姿勢は方向５８（図５）の方に向いている一方で、人５２の視線方向は、広告ステーション１２のディスプレイ１４に向かう方向６０に向いている（例えば、人はディスプレイ１４上の広告コンテンツを注視している）可能性がある。図５に最もわかりやすく示すように、人５２が方向５６に向かって移動している間、人５２の身体６２は、方向５８の方に向く姿勢で回転する可能性がある。同様に、人５２の頭部６４は、広告ステーション１２によって出力された広告コンテンツを人５２が注視できるように、広告ステーション１２に向かう方向６０に向けられる可能性がある。

一実施例によるインタラクティブ広告の方法を、図６のフローチャート７０に概略的に示す。システム１０は、カメラ２２を経由する等して、ユーザ像を捕捉できる（ブロック７２）。こうして捕捉された像を、リアルタイムでの処理、近リアルタイム処理、又は後処理を含む、このような画像の処理が可能な適切な期間だけ格納できる。この方法は更に、ユーザトラッキングデータを受信するステップも含み得る（ブロック７４）。このようなトラッキングデータは、視線方向、身体姿勢方向、運動方向、位置等のうちの１つ以上等、これら上述の特性を含み得る。このようなトラッキングデータの受信は、（例えば、データ処理システム２６を用いて）捕捉された像を処理して、このような特性を抽出することにより、可能である。但し、別の実施例では、このデータの受信を、何らかの別のシステム又はソースから行ってもよい。視線方向及び身体姿勢方向等の特性を判定する技術の一例を、図７〜１０の説明に従って以下に提示する。

ユーザトラッキングデータを受信すると、このデータを処理して、広告ステーション１２付近の潜在顧客の、出力広告コンテンツへの関心度を推測する（ブロック７６）。例えば、身体姿勢方向及び視線方向の一方又は両方を処理して、広告ステーション１２が提供するコンテンツに対するユーザの関心度を推測できる。また、広告システム１０で、推測された潜在顧客の関心度に基づいて、広告ステーション１２が提供するコンテンツを制御できる（ブロック７８）。例えば、広告ステーション１２は、ユーザが出力コンテンツに最低限の関心しか示さない場合に、広告コンテンツを更新することにより、新たなユーザに広告ステーション１２を注視させるか、又はこれとのインタラクションを開始するように促すことができる。このような更新には、表示コンテンツの特性を変更すること（例えば、色、文字、明度等を変更すること）、表示コンテンツの新たな再生部分を開始すること（例えば、キャラクターが通行人に呼びかけること）、又は（例えば、コントローラ２０によって）全く異なるコンテンツを選択することを含み得る。付近のユーザの関心度が高い場合には、広告ステーション１２で、コンテンツを変化させて、ユーザの注意を惹いたり、更なるインタラクションを促すことができる。

１人以上のユーザ又は潜在顧客の関心の推測を、判定された特性の解析に基づいて行うことができ、このことは、図７〜１０を参照するとよくわかる。例えば、図７に示す実施例では、ユーザ８２及びユーザ８４が、広告ステーション１２に通りかかったところを概略的に示す。本図面において、ユーザ８２及び８４の移動方向５６、身体姿勢方向５８、及び視線方向６０は、広告ステーション１２とほぼ平行である。そのため、この実施例では、ユーザ８２及び８４は広告ステーション１２に向かって歩いておらず、彼らの身体姿勢は広告ステーション１２に向いていないので、ユーザ８２及び８４は、広告ステーション１２を見ていない。結果的に、このデータから、広告システム１０は、広告ステーション１２が提供する広告コンテンツに、ユーザ８２及び８４は関心がない又は熱中していないと推測できる。

図８において、ユーザ８２及び８４は、それぞれの身体姿勢５８を類似方向に向けて、それぞれの移動方向５６に向かって移動している。しかし、彼らの視線方向６０は、いずれも広告ステーション１２に向いている。視線方向６０が与えられると、広告システム１０は、広告ステーション１２が提供している広告コンテンツを、ユーザ８２及び８４が少なくとも一瞥しており、図７で示したシナリオよりも高い関心度を呈していると、推測できる。ユーザが広告コンテンツを注視する時間の長さから、更なる推測を引き出すこともできる。例えば、ユーザが閾値時間よりも長い間、広告ステーション１２の方向を見ている場合は、関心度が比較的高いと推測できる。

図９のように、ユーザ８２及び８４は、身体姿勢方向５８及び視線方向６０を広告ステーション１２に向けた状態で、静止位置にある可能性がある。このような状況の像を解析することによって、広告システム１０は、ユーザ８２及び８４が、広告ステーション１２に表示されている広告を注視するために立ち止まっていると判定し、ユーザがこれに対してより高い関心を持っていると推測できる。同様に、図１０のように、ユーザ８２及び８４の身体姿勢方向５８は、いずれも広告ステーション１２に向いており、概ね視線方向６０が互いに向き合っている可能性がある。このようなデータから、広告システム１０は、ユーザ８２及び８４が、広告ステーション１２が提供する広告コンテンツに関心を持っていることと、視線方向６０が概ね反対側のユーザの方に向いているので、ユーザ８２及び８４が、集団で広告コンテンツとインタラクションを行っているか又はこれについて議論している集団の一員であることも、推測できる。同様に、ユーザと広告ステーション１２との接近度及び表示コンテンツによって、広告システムは、ユーザが広告ステーション１２のコンテンツとインタラクションを行っていると推測することもできよう。更に、ユーザのその他の関係性及び活動（例えば、集団内の１ユーザが最初に広告ステーションに興味を示し、集団内の他者の注意を出力コンテンツに向けること）を推測するために、位置、運動方向、身体姿勢方向、視線方向等も用い得ることは、理解できよう。

上述のように、広告システム１０は、捕捉された画像データから特定のトラッキング特性を判定できる。制約のない環境で、複数の個人の位置、身体姿勢、及び頭部姿勢方向を予測することによって視線方向をトラッキングする一実施例は、以下のように実施される。この実施例では、固定カメラからの人検出を、能動的に制御されたパン・チルト・ズーム（ＰＴＺ）から得られた方向顔検出と組み合わせて、連続モンテカルロフィルタリング及びＭＣＭＣ（マルコフ連鎖モンテカルロ）サンプリングの組み合わせを用いて、運動方向とは無関係に、身体姿勢及び頭部姿勢（視線）方向の両方を予測する。調査における身体姿勢及び視線のトラッキングには、多くの利点がある。これによって、人々の注意の焦点をトラッキングし、バイオメトリクス顔認証用の作動中のカメラの制御を最適化し、対になっている人どうしの間に、より良好なインタラクション評価指標を設けることができる。視線及び顔検出情報を利用できると、混雑した環境でのトラッキングを行うための位置特定及びデータ結合も改善する。この技術は、上述のようなインタラクティブ広告の状況において有益であるだけでなく、その他多くの状況にも広く適用可能である。

主要な乗換駅、スポーツ会場、及び校庭等、制約のない条件下で個人を検出及びトラッキングすることは、多くの用途において重要であろう。その上、概して運動が自由であり、頻繁に遮蔽されることに因り、人の視線及び注意を理解することは、更に難しくなる。また、標準的な調査ビデオにおける顔画像は通常、解像度が低いので、検出率が制限されている。せいぜい視線情報を得るだけだった一部の従来技術とは異なり、本開示の一実施例では、マルチビュー・パン・チルト・ズーム（ＰＴＺ）カメラを用いて、リアルタイムで身体姿勢及び頭部の配向両方の、統合的で総体的なトラッキングに取り組んでいる。殆どの場合、頭部姿勢から視線を合理的に求められることが、想到されよう。以下で使用する際に、「頭部姿勢」とは、視線又は視覚的な注意の焦点を指し、これらの用語を同義に使用できる。結合された人トラッカー、姿勢トラッカー、及び視線トラッカーを統合及び同期することで、相互のアップデート及びフィードバックを用いた、確実なトラッキングが可能になる。注視角を判定できれば、注意に関する有力な示唆が得られるので、調査システムにとって有益であろう。特に、事象認識におけるインタラクションモデルの一部として、個人の集団が互いに向き合っているか（例えば、話しているか）、同じ方向を向いているか（例えば、対立が起こりそうになる前に、別の集団を見ているか）、又は（例えば、彼らが無関係であるため、又は彼らが「防御」体勢になっているため）互いに別の方を向いているかを知ることは、重要であろう。

以下に記載の実施例では、マルチビュー人物トラッキングを非同期ＰＴＺ視線トラッキングと結合し、姿勢と視線を組み合わせて着実な予測を行える、統合されたフレームワークを提供する。ここでは、結合されたパーティクルフィルタリングトラッカーで、身体姿勢及び視線を一緒に予測する。人物トラッキングを用いてＰＴＺカメラを制御し、顔検出及び視線予測を行うこともできるが、結果として得られる顔検出位置を用いて、トラッキング性能を更に改善できる。このようにして、トラッキング情報を能動的に利用することにより、正面顔画像を捕捉する確率が最も高い状態で、ＰＴＺカメラを制御できる。本実施例は、視線方向の指標として個人の歩行方向を用いていた、人が静止している状況では破綻する従来の取り組みを改良したものと考えられる。本願で開示するフレームワークは、汎用であり、その他多くの視覚に基づく用途に適用可能である。例えば、このフレームワークでは、顔検出から視線情報を直接取得するので、特に人が静止している環境において、最適なバイオメトリクス顔認証が可能になるであろう。

一実施例では、固定カメラのネットワークを用いて、或る場所全体にわたって人物トラッキングを実行する。この人トラッカーでは、１つ以上のＰＴＺカメラをターゲットの個人に向けて動かして、クローズアップ画像を得る。集中型のトラッカーを基面（例えば、ターゲットの個人が動く地面を表す平面）上で動かして、人トラッカー及び顔トラッカーからの情報を融合する。顔検出からの視線推測には、大きな演算負荷がかかるので、人トラッカー及び顔トラッカーをリアルタイムで作動させるために、非同期的に動作させてもよい。本システムは、単一又は複数のカメラのいずれかにおいても動作可能である。複数のカメラを設置すると、混雑状態における全体的なトラッキング性能を改善するであろう。この場合の視線トラッキングは、例えばソーシャルインタラクション、アテンションモデル、及び挙動を解析するための、高度な判定の実施においても有用である。

各個人は、状態ベクトルｓ＝［ｘ，ｖ，α，φ，θ］を用いて表すことができ、このとき、ｘは（Ｘ，Ｙ）基面計測ワールド上の位置であり、ｖは基面上の速度であり、αは基面放線の周りの身体の水平回転方向であり、φは水平注視角であり、θは垂直注視角（水平軸よりも上では正、下では負）である。このシステムには、２種類の観測対象、即ち、ｚを基準点とし、Ｒをこの測定の不確実性とする人検出（ｚ、Ｒ）と、追加パラメータγ及びρを水平及び垂直注視角とする顔検出（ｚ、Ｒ，γ，ρ）がある。各人の頭部及び足元の位置は、画像ベースの人検出から抽出され、アンセンテッド変換（ＵＴ）を用いて、それぞれワールド頭部平面（例えば、人の頭部の高さにおいて基面と平行な平面）及び基面に逆投影される。次に、ＰｉｔｔＰａｔｔ製の顔検出器を用いて、ＰＴＺ画面中の顔位置及び姿勢を取得する。これらの計測ワールド基準点は、再び逆投影により得られる。顔姿勢は、顔の特徴を照合することによって得られる。個人の注視角は、画像空間における顔のパン角及びローテート角をワールドスペースにマッピングすることによって得られる。最後に、ワールド注視角は、ｎ_w＝ｎ_imgＲ^-Tを用いて画像ローカル顔法線ｎ_imgをワールド座標にマッピングすることによって得られる。このとき、Ｒは投影Ｐ＝［Ｒ｜ｔ］の回転マトリクスである。観測対象注視角（γ，ρ）は、この法線ベクトルから直接得られる。顔の幅及び長さを用いて、顔位置の信頼水準共分散を予測する。共分散は、再び画像から頭部平面へのＵＴを用い、その後基面へのダウンプロジェクションを行うことによって、画像から基面に投影される。

人の注視角を位置及び速度とは無関係に予測し、身体姿勢を無視していた従来の取り組みとは対照的に、本実施例では、運動方向、身体姿勢、及び視線の間の関係性を正確にモデリングする。第一に、この実施例では、身体姿勢を運動方向と厳密に結び付けてはいない。人は、特に待っているときや、集団内で立っているとき、前後左右に移動する可能性がある（とはいえ、人は、加速すると横方向に動く可能性が減り、更に高速では、前方運動のみが想定される）。第二に、頭部姿勢は運動方向に結びつけられていないものの、身体姿勢に対して頭部がとり得る姿勢には、比較的厳しい制限がある。このモデルの下では、身体姿勢が注視角及び速度に緩く結合されているだけなので、身体姿勢の予測が自明ではない（即ち、これは間接的にしか観測されない）。全ての状態予測は、連続モンテカルロフィルタを用いて実施できる。測定結果を経時トラッキングと結び付ける方法の場合、連続モンテカルロフィルタでは、（ｉ）動的モデル（ｉｉ）本発明によるシステムの観測モデルが、下記のように定められる。

動的モデル：上記の記載に従って、状態ベクトルはｓ＝［ｘ，ｖ，α，φ，θ］であり、状態予測モデルは以下のように分解される：
ｐ（ｓ_t+1｜ｓ_t）＝ｐ（ｑ_t+1｜ｑ_t）ｐ（α_t+1｜ｖ_t+1，α_t）・・・（１）
ｐ（φ_t+1｜φ_t，α_t+1）ｐ（θ_t+1｜θ_t）
ここで、略称のｑ＝（ｘ，ｖ）＝（ｘ，ｙ，ｖ_x，ｖ_y）である。位置及び速度については、標準的な線形動的モデル
ｐ（ｑ_t+1｜ｑ_t）＝Ｎ（ｑ_t+1−Ｆ_tｑ_t，Ｑ_t）・・・（２）
を用いる。Ｎは正規分布を表し、Ｆ_tはｘ_t+1＝ｘ_t＋ｖ_tΔｔに対応する標準等速状態予測器であり、Ｑ_tは標準システム動特性である。数式（１）の第２項は、現在の速度ベクトルを考慮した身体姿勢の伝播を記述している。本発明により、以下のモデルを仮定する。

・・・（３）
Ｐ^f＝０．８は人が前方に歩く確率（０．５ｍ／ｓ＜ｖ＜２ｍ／ｓの中速）であり、Ｐ^b＝０．１５は後方に歩く確率（中速）であり、Ｐ^o＝０．０５は、実験的経験則に基づく、運動方向関係性に対して任意の姿勢を許容する背景確率である。ν_t+1を用いて、速度ベクトルｖ_t+1の方向を表し、σναを用いて、運動ベクトルと身体姿勢との間の偏差の、予測される分布を表す。前項Ｎ（α_t+1−α_t，σα）は、ひいては経時的な身体姿勢の変化を限定する、システムのノイズ成分を表す。姿勢における変化は全て、定常姿勢モデルからの偏差に起因する。

数式（１）の第３項は、現在の身体姿勢を考慮した水平注視角の伝播を記述している。我々は、以下のモデルを仮定する。

・・・（４）
ここで、

及びＰ_g＝０．６で重み付けされた２つの項は、α_t+1±π／３の範囲内の任意の値を許容するが身体姿勢の周りの分布を好む傾向がある、身体姿勢（α_t+1）に対する注視角（φ_t+1）の分布を定義する。最後に、数式（１）は、傾斜角の伝播

を記述しており、第１項は人が水平方向を好む傾向があることをモデリングしており、第２項はシステムノイズを表している。なお、上記全ての数式において、角度差に関して注意が必要である。

時間とともにパーティクルを前方に伝播させるために、先の重み付けされたサンプルの集合

を前提として、状態遷移密度の数式（１）からのサンプリングが必要である。位置、速度、及び垂直頭部姿勢についてのサンプリングは、容易である。速度、身体姿勢、及び水平頭部姿勢の間の緩い結合は、遷移密度の数式（３）及び数式（４）の、自明でない集合によって表される。これらの遷移密度からサンプルを生成するために、本発明の実施例では、２つのマルコフ連鎖モンテカルロ（ＭＣＭＣ）を実行する。数式（３）で実証されるように、本発明の実施例では、以下のように、メトロポリス抽出法を用いて、新しいサンプルを取得する。
・開始：パーティクルｉの

に

を設定する。
・プロポーザルステップ：ジャンプ分布

からのサンプリングを行うことによって、新しいサンプル

を提示する。
・アクセプタンス・ステップ：

を設定する。ｒ≧１の場合、新しいサンプルを受け取る。そうでない場合には、確率ｒと一緒に、これを受け取る。受け取られない場合には、

を設定する。
・繰り返し：ｋ＝Ｎステップが完了するまで。

通常、実行されるのは、少ない固定数のステップ（Ｎ＝２０）のみである。上記のサンプリングは、数式（４）の水平頭部角について繰り返される。いずれの場合も、ジャンプ分布は、分散の比、即ち身体姿勢の

を除き、システムノイズ分布と等しくなるように設定される。

及び

も同様に定義される。上記のＭＣＭＣサンプリングによって、予測されるシステムノイズ分布、及び緩い相対姿勢制約の両方に付随するパーティクルのみを生成できる。本発明者は、１０００個のパーティクルで十分であることを見いだした。

観測モデル：その重み

及び経時的な前方伝播に従ってパーティクル分布

をサンプリングした後（上述のようにＭＣＭＣを用いる）、新しいサンプル

を得る。サンプルの重み付けは、次に記載される観測対象尤度モデルに従って行われる。人検出の場合は、観測対象を（ｚ_t+1，Ｒ_t+1）で表し、尤度モデルは、
ｐ（ｚ_t+1｜ｓ_t+1）＝Ｎ（ｚ_t+1−ｘ_t+1｜Ｒ_t+1）・・・（５）
となる。

顔検出（ｚ_t+1，Ｒ_t+1，γ_t+1，ρ_t+1）の場合、観測対象尤度モデルは
ｐ（ｚ_t+1，γ_t+1，ρ_t+1｜ｓ_t+1）＝Ｎ（ｚ_t+1−ｘ_t+1｜Ｒ_t+1）・・・（６）
Ｎ（λ（（γ_t+1，ρ_t+1），（φ_t+1，θ_t+1）），σλ）
となり、λ（．）は、それぞれ視線ベクトル（φ_t+1，θ_t+1）で表される単位円上の位置と観測された顔方向（γ_t+1，ρ_t+1）との間の大圏距離（角度で表す）である。

値σλは、顔方向測定に起因する不確実性である。全体的に、トラッキング状態更新プロセスは、下記のアルゴリズムに要約されるように動作する：

データ結合：今までのところ、観測対象が既にトラックに割り当てられていると仮定している。このセクションでは、トラックを割り当てるための観測をどのように行うかを詳述する。複数の人々のトラッキングを可能にするためには、観測結果を、経時的にトラックに割り当てられなければならない。本システムでは、観測結果が、複数のカメラ画像から非同期的に生じる。観測結果は、（時間的に異なる可能性のある）投影マトリクスを考慮して、共通のワールド基準フレーム内に投影され、観測結果が、得られた順に集中型のトラッカーによってコンシュームされる。各時間ステップにおいて、（人又は顔）検出の集合

が、トラック

に割り当てられなければならない。ここでは、ムンカーズ（Ｍｕｎｋｒｅｓ）アルゴリズムを用いてトラックｋにとって最適な観測対象ｌの１対１割り当てを決定するために、距離測定

を構築する。トラックに割り当てられない観測結果は、新しいターゲットとして確認可能で、これを用いて、新規候補トラックを生じることができる。自身に割り当てられた検出が得られないトラックは、時間と共に前方に伝播するので、重み更新を受けない。

顔検出を使用すると、付加的な位置情報源をもたらされるので、トラッキングを改善できる。結果、顔検出が人どうしの遮蔽の影響を受けにくい、混雑した環境で、これが特に有用であることがわかっている。別の利点は、視線情報が追加成分を検出−トラック間割り当て距離測定に導入することであり、これは配向された顔を人物トラックに割り当てるために有効に作用する。

人検出では、メトリックを下記のターゲットゲートから演算する。

ここで、

は観測対象ｌの位置共分散であり、

は時間ｔにおけるトラックｋのｉ番目のパーティクルの位置である。すると、以下のように距離測定が行われる。

顔検出では、上記の式を角度距離用の追加項によってオーグメントする。

ここで、

及び

は全てのパーティクル注視角の一次球体モーメントから計算され（角度平均）、σλはこのモーメントからの標準偏差、

は観測対象ｌにおける水平及び垂直視線観測角度である。ＰＴＺカメラのみが顔検出を提供し、固定カメラのみが人検出を提供するので、全人検出又は全顔検出のいずれかとのデータ結合が実行されるが、群衆の視線が混ざり合うことはない。

ここでは、本発明の一部の特徴のみを記述及び図示したが、当業者には多くの修飾及び改変が想到されよう。したがって、添付の特許請求の範囲は、こうした修飾及び改変も全て、本発明の概念において網羅しているものと理解されたい。

Claims (25)

1. ディスプレイを含み、該ディスプレイを通じて潜在顧客に広告コンテンツを提供するように構成された、広告ステーションと、
   前記潜在顧客が前記広告ステーションに接近すると前記潜在顧客の画像を捕捉するように構成された１つ以上のカメラと、
   プロセッサ及び該プロセッサにより実行されるアプリケーション命令を有するメモリを含むデータ処理システムであって、前記捕捉された画像を解析するためのアプリケーション命令を実行して、前記潜在顧客の視線方向及び身体姿勢方向を判定し、該判定された視線方向及び身体姿勢方向に基づいて前記広告コンテンツにおける前記潜在顧客の関心度を判定するように構成される、データ処理システムと、
   を備えたシステム。
2. 前記広告ステーションが、前記判定された潜在顧客の関心度に基づいてコンテンツを選択するためのコントローラを含む、請求項１に記載のシステム。
3. 構造化照明素子を含み、コントローラが、前期判定された潜在顧客の関心度に基づいて該構造化照明素子を制御する、請求項１に記載のシステム。
4. 前記広告ステーションが、前記潜在顧客にインタラクティブ広告コンテンツを提供するように構成されている、請求項１に記載のシステム。
5. 前記広告ステーションが、データ処理システムを含む、請求項１に記載のシステム。
6. 広告コンテンツを表示している広告ステーションを通過する人の視線方向又は身体姿勢方向のうちの少なくとも１つに関するデータを受信するステップと、
   前記受信したデータを処理して、前記広告ステーションによって表示した広告コンテンツにおける前記人の関心度を推測するステップと、
   を含む方法。
7. 前記広告ステーションを通過する人の前記推測された関心度に基づいて、前記広告コンテンツを自動的に更新する広告ステーションを含む、請求項６に記載の方法。
8. 前記広告コンテンツを更新するステップが、前記広告ステーションによって表示する様々な広告コンテンツを選択するステップを含む、請求項７に記載の方法。
9. 前記視線方向又は身体姿勢方向のうちの少なくとも１つに関するデータを受信するステップが、視線方向に関するデータを受信するステップを含み、前記受信データを処理して人の関心度を推測するステップが、少なくとも１人の人が閾値時間よりも長く広告ステーションを見たことを検出するステップを含む、請求項６に記載の方法。
10. 前記視線方向又は身体姿勢方向のうちの少なくとも１つに関するデータを受信するステップが、視線方向及び身体姿勢方向の両方に関するデータを受信するステップを含み、前記受信データを処理するステップが、視線方向及び身体姿勢方向に関する前記受信データを処理して、前記広告コンテンツにおける前記人の関心度を推測するステップを含む、請求項６に記載の方法。
11. 前記視線方向及び身体姿勢方向に関する受信データを処理するステップが、人の集団が集合的に前記広告ステーションとインタラクションを行っていることを判定するステップを含む、請求項１０に記載の方法。
12. 前記視線方向及び身体姿勢方向に関する受信データを処理するステップが、少なくとも２人の人が前記広告ステーションについて会話していることを判定するステップを含む、請求項１１に記載の方法。
13. 前記視線方向及び身体姿勢方向に関する受信データを処理するステップが、複数人が前記広告ステーションとインタラクションを行っているか否かを判定するステップを含む、請求項１０に記載の方法。
14. 構造化光源から或る領域に光のビームを投影することにより、少なくとも１人が、該領域を注視して、該領域内に表示されたコンテンツとインタラクションを行うように誘導するステップを含む、請求項６に記載の方法。
15. 少なくとも１つのカメラから画像データを受信するステップと、
    前記画像データを電子的に処理して、人の運動方向とは関係なく、前記画像データ中に描かれた人の身体姿勢方向及び視線方向を予測するステップと、
    を含む方法。
16. 前記少なくとも１つのカメラから画像データを受信するステップが、単一の固定カメラだけで画像データを受信するステップを含み、前記画像データを電子的に処理するステップが、前記単一の固定カメラのみからの画像データを電子的に処理するステップを含む、請求項１５に記載の方法。
17. 前記少なくとも１つのカメラから画像データを受信するステップが、複数のカメラから画像データを受信するステップを含み、前記画像データを電子的に処理するステップが、前記複数のカメラのうちの少なくとも２つのカメラの各々からの画像データを電子的に処理するステップを含む、請求項１５に記載の方法。
18. 制約のない環境で少なくとも１つの固定カメラ及び少なくとも１つのパン・チルト・ズームカメラを用いて画像データを捕捉するステップを含む、請求項１７に記載の方法。
19. 少なくとも１つの固定カメラからのデータに基づいて人をトラッキングするステップと、前記人のトラッキングに基づいて少なくとも１つのパン・チルト・ズームカメラを制御することにより、前記人に更に接近した画像を捕捉して視線方向の予測を容易にするステップとを含む、請求項１８に記載の方法。
20. 前記少なくとも１つのパン・チルト・ズームカメラの制御の結果得られる顔検出位置を用いて、前記少なくとも１つの固定カメラを用いるトラッキングの性能を改善するステップを含む、請求項１９に記載の方法。
21. 前記複数のカメラから画像データを受信するステップが、広告ステーションに隣接する領域の画像データを受信するステップを含む、請求項１７に記載の方法。
22. 前記画像データを処理して身体姿勢方向及び視線方向を予測するステップが、連続モンテカルロフィルタを用いるステップを含む、請求項１５に記載の方法。
23. 実行可能命令が格納された、１つ以上の非一時的なコンピュータ読取可能媒体を含み、該実行可能命令が、
    広告コンテンツを表示している広告ステーションを通過する人の視線方向に関するデータを受信するように適合される命令と、
    前記視線方向に関する受信データを解析して、前記広告ステーションによって表示した広告コンテンツにおける前記人の関心度を推測するように適合される命令とを含む、製品。
24. 前記１つ以上の非一時的なコンピュータ読取可能媒体が、前記格納された実行可能命令を少なくとも集合的に有する複数の非一時的なコンピュータ読取可能媒体を含む、請求項２３に記載の製品。
25. 前記１つ以上の非一時的なコンピュータ読取可能媒体が、コンピュータの格納媒体又はランダムアクセスメモリを含む、請求項２３に記載の製品。